KR102484103B1 - 표시 시스템 - Google Patents

표시 시스템 Download PDF

Info

Publication number
KR102484103B1
KR102484103B1 KR1020160021398A KR20160021398A KR102484103B1 KR 102484103 B1 KR102484103 B1 KR 102484103B1 KR 1020160021398 A KR1020160021398 A KR 1020160021398A KR 20160021398 A KR20160021398 A KR 20160021398A KR 102484103 B1 KR102484103 B1 KR 102484103B1
Authority
KR
South Korea
Prior art keywords
person
photographing
image
construction machine
area
Prior art date
Application number
KR1020160021398A
Other languages
English (en)
Other versions
KR20170099252A (ko
Inventor
장경률
Original Assignee
현대두산인프라코어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대두산인프라코어(주) filed Critical 현대두산인프라코어(주)
Priority to KR1020160021398A priority Critical patent/KR102484103B1/ko
Priority to PCT/KR2017/001426 priority patent/WO2017146403A1/ko
Priority to CN201780013077.4A priority patent/CN108699816A/zh
Publication of KR20170099252A publication Critical patent/KR20170099252A/ko
Application granted granted Critical
Publication of KR102484103B1 publication Critical patent/KR102484103B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot

Abstract

본 발명의 실시예는 표시 시스템에 관한 것으로, 표시 시스템은 건설기계에 서로 이격되어 설치되고 상기 건설기계의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성하는 복수의 촬영장치와 상기 복수의 촬영장치가 서로 중복 촬영하는 중복영역에 위치하는 사람 또는 물체의 유무를 검출하는 검출장치와, 상기 복수의 촬영장치에서 촬영된 영상을 출력하도록 상기 건설기계의 내부에 설치되는 표시장치, 그리고 상기 복수의 촬영장치가 촬영한 촬영영상을 조합하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환하고 상기 검출장치의 검출 여부에 따라 상기 중복영역을 촬영한 촬영영상을 상기 표시장치에 선택적으로 출력하는 제어장치를 포함한다.

Description

표시 시스템{DISPLAY SYSTEM}
본 발명의 실시예는 표시 시스템에 관한 것으로, 더욱 상세하게는 건설기계의 외부영역을 촬영한 영상을 건설기계의 내부에 위치하는 운전자에게 제공하는 표시 시스템에 관한 것이다.
일반적으로 건설기계는 주행체에 선회체가 지지된다. 선회체는 회전되며 굴착작업 토사적재 작업등을 수행한다. 즉, 건설기계가 위치하는 작업영역에서 선회체가 회전되며 작업을 수행할 수 있어, 주행에 의한 넓은 영역의 작업을 수행할 수 있을 뿐만 아니라 회전에 따른 넓은 영역의 작업을 수행한다.
하지만, 이러한 선회체의 회전시, 건설기계의 외부영역에 위치하는 사람 또는 물체와 충돌하는 사고가 발생되는 문제점이 있다. 따라서, 운전자는 건설기계의 선회체 회전 전, 건설기계의 외부영역에 사람 또는 물체가 위치하는지 살펴야 한다.
또한, 건설기계는 일반 차량에 비해 상대적으로 높은 차고를 갖도록 형성되어 있어, 운전자가 건설기계의 외부영역을 사이드 미러나 룸 미러로 확인이 어려운 사각영역이 다수 존재한다.
따라서, 운전자가 위치하는 캐빈 내부에서 건설기계를 둘러싸는 외부영역 전체를 파악하는데 어려움이 있다.
선행기술문헌 1: 공개특허공보 제10-2014-0094575호(2014.07.30) 선행기술문헌 2: 등록특허공보 제10-1123738호(2012.03.16)
본 발명의 실시예는 운전자가 내부에서 건설기계의 외부영역을 확인할 수 있도록 영상정보를 표시하는 표시 시스템을 제공한다.
본 발명의 일 실시예에 따르면, 표시 시스템은 건설기계에 서로 이격되어 설치되고 상기 건설기계의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성하는 복수의 촬영장치와 상기 복수의 촬영장치가 서로 중복 촬영하는 중복영역에 위치하는 사람 또는 물체의 유무를 검출하는 검출장치와, 상기 복수의 촬영장치에서 촬영된 영상을 출력하도록 상기 건설기계의 내부에 설치되는 표시장치, 그리고 상기 복수의 촬영장치가 촬영한 촬영영상을 조합하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환하고 상기 검출장치의 검출 여부에 따라 상기 중복영역을 촬영한 촬영영상을 상기 표시장치에 선택적으로 출력하는 제어장치를 포함한다.
또한, 상기 제어장치는 상기 복수의 촬영장치가 촬영한 촬영영상을 기설정된 기준라인을 중심으로 합성하여 변환영상을 생성하는 영상 변환부를 포함할 수 있다.
또한, 상기 제어장치는 상기 복수의 쵤영장치가 촬영한 촬영영상을 조합하여 기설정된 기준라인을 중심으로 합성하여 상기 건설기계를 상부에서 내려다본 시점의 변환영상으로 생성할 수 있다.
또한, 상기 검출장치는 상기 중복영역 중 상기 기준라인이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 상기 제어장치는 상기 검출장치에 의해 상기 중복영역에 사람 또는 물체가 있다고 판단한 경우, 사람 또는 물체가 검출된 상기 중복영역의 촬영영상과 상기 영상 변환부에 의해 변환된 변환영상을 함께 상기 표시장치에 출력할 수 있다.
또한, 상기 제어장치는 상기 중복영역에서 사람 또는 물체가 상기 기준라인에서 멀리 있는 일방향에 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향을 촬영한 촬영영상을 출력할 수 있다.
또한, 상기 제어장치는 상기 중복영역에서 사람 또는 물체가 상기 기준라인에 인접하게 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향과 사람 또는 물체가 검출된 중복영역의 타방향을 촬영한 촬영영상을 출력할 수 있다.
또한, 상기 제어장치는 상기 표시장치에 출력되는 변환영상에 검출된 사람 또는 물체의 위치를 함께 표시하는 위치 표시부를 더 포함할 수 있다.
또한, 상기 복수의 촬영장치는 상기 건설기계의 전방에 설치된 제1 촬영부재와, 상기 건설기계의 우측에 설치된 제2 촬영부재와, 상기 건설기계의 후방에 설치된 제3 촬영부재, 그리고 상기 건설기계의 좌측에 설치된 제4 촬영부재를 포함할 수 있다.
또한, 상기 중복영역은 복수로 형성되어, 상기 제1 촬영부재가 촬영하는 영역과 상기 제2 촬영부재가 촬영하는 영역이 서로 중복되는 제1 중복영역과, 상기 제2 촬영부재가 촬영하는 영역과 상기 제3 촬영부재가 촬영하는 영역이 서로 중복되는 제2 중복영역과, 상기 제3 촬영부재가 촬영하는 영역과 상기 제4 촬영부재가 촬영하는 영역이 서로 중복되는 제3 중복영역, 그리고 상기 제4 촬영부재가 촬영하는 영역과 상기 제1 촬영부재가 촬영하는 영역이 서로 중복되는 제4 중복영역을 포함할 수 있다.
또한, 상기 검출장치는 복수로 형성되어, 상기 제1 중복영역의 사람 또는 물체의 유무를 검출하는 제1 검출부재와, 상기 제2 중복영역의 사람 또는 물체의 유무를 검출하는 제2 검출부재와, 상기 제3 중복영역의 사람 또는 물체의 유무를 검출하는 제3 검출부재, 그리고 상기 제4 중복영역의 사람 또는 물체의 유무를 검출하는 제4 검출부재를 포함할 수 있다.
또한, 상기 제어장치는 상기 복수의 검출장치 중 둘 이상이 상기 복수의 중복영역 중 둘 이상에 사람 또는 물체가 위치한다고 검출한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 상기 둘 이상의 중복영역을 촬영한 촬영영상을 모두 상기 표시장치에 출력할 수 있다.
본 발명의 실시예에 따르면, 표시 시스템은 운전자가 내부에서 건설기계의 외부영역을 확인할 수 있도록 건설기계의 외부영을 촬영한 영상정보를 영상의 왜곡없이 효과적으로 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 표시 시스템의 구성을 나타낸 구성도 이다.
도 2는 도 1의 설치위치 및 촬영영역을 나타낸 도면이다.
도 3 내지 도 5는 표시장치의 출력상태를 나타낸 도면이다.
도 6은 도 1의 제어장치의 동작순서를 나타낸 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도면들은 개략적이고 축적에 맞게 도시되지 않았다는 것을 일러둔다. 도면에 있는 부분들의 상대적인 치수 및 비율은 도면에서의 명확성 및 편의를 위해 그 크기에 있어 과장되거나 감소되어 도시되었으며 임의의 치수는 단지 예시적인 것이지 한정적인 것은 아니다. 그리고 둘 이상의 도면에 나타나는 동일한 구조물 요소 또는 부품에는 동일한 참조 부호가 유사한 특징을 나타내기 위해 사용된다.
본 발명의 실시예는 본 발명의 이상적인 실시예를 구체적으로 나타낸다. 그 결과, 도해의 다양한 변형이 예상된다. 따라서 실시예는 도시한 영역의 특정 형태에 국한되지 않으며, 예를 들면 제조에 의한 형태의 변형도 포함한다.
이하, 도 1 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 표시 시스템(101)을 설명한다.
본 발명의 일 실시예에 따른 표시 시스템(101)은, 도 1에 도시된 바와 같이, 복수의 촬영장치(100)와, 검출장치(200)와, 표시장치(300), 그리고 제어장치(600)를 포함한다.
복수의 촬영장치(100)는, 도 2에 도시된 바와 같이, 건설기계(50)에 서로 이격되어 설치된다. 또한, 복수의 촬영장치(100)는 건설기계(50)의 외부영역 일부가 서로 중복되도록 촬영한다. 즉, 복수의 촬영장치(100)는 건설기계(50)의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성한다.
구체적으로, 건설기계(50)는 주행체(10)와 선회체(20)를 포함한다. 또한, 선회체(20)는 주행체(10)에 회전 가능하게 지지된다. 그리고, 복수의 촬영장치(100)는 건설기계(50)의 주행체(10)에 지지되는 선회체(20)의 외부에 서로 이격되어 설치된다.
즉, 복수의 촬영장치(100)는 건설기계(50)의 선회체(20)의 외측에 서로 이격되어 설치되어 건설기계(50)의 외부영역 일부가 서로 중복되도록 3차원뷰(3d-view)로 촬영된 촬영영상을 생성한다.
일예로, 복수의 촬영장치(100)는 건설기계(50)의 선회체(20) 외측에 설치되어, 건설기계(50)의 상부에서 일정각도로 경사지게 하부방향을 향해 상기 건설기계(50)의 외부영역을 3차원으로 촬영한다.
검출장치(200)는 복수의 촬영장치(100)가 서로 중복 촬영하는 중복영역(400)에 위치하는 사람 또는 물체의 유무를 검출한다. 구체적으로, 검출장치(200)는 복수의 촬영장치(100) 사이의 건설기계(50)의 선회체(20) 외측에 설치되어, 복수의 촬영장치(100)가 서로 중복 촬영하는 중복영역(400)에 위치하는 사람 또는 물체의 유무를 검출한다.
즉, 검출장치(200)는 복수의 촬영장치(100)가 서로 중복 촬영하는 중복영역(400)의 공간 상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
표시장치(300)는 건설기계(50)의 내부에 설치된다. 또한, 표시장치(300)는 복수의 촬영장치(100)가 촬영한 영상을 건설기계의 내부에 설치되어 운전자에게 출력한다. 구체적으로, 표시장치(300)는 건설기계(50)의 선회체(20) 중 캐빈 내부에 설치되어, 운전자가 표시장치(300)로 제공되는 정보를 시작적으로 확인할 수 있도록 한다. 일예로, 표시장치(300)는 건설기계(50)의 캐빈 내부에 건설기계(50)를 조작하는 조작반과 인접한 위치에 설치될 수 있다.
제어장치(600)는 검출장치(200)의 검출 여부에 따라, 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 선택적으로 출력한다. 또한, 제어장치(600)는 복수의 촬영장치(100)가 촬영한 영상을 조합하여 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환한다. 구체적으로, 검출장치(200)가 중복영역(400)에 사람 또는 물체가 있다고 검출한 경우, 제어장치(600)는 복수의 촬영장치(100)가 촬영한 촬영영상 중 해당 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있다.
즉, 제어장치(600)는 검출장치(200)의 검출 여부에 따라 중복영역(400)을 촬영한 3차원영상의 촬영영상을 선택적으로 표시장치(300)에 출력시켜, 운전자가 이러한 정보를 시각적으로 확인할 수 있도록 할 수 있다.
따라서, 본 발명의 일 실시예에 따른 표시 시스템(101)은 캐빈 내부에서 운전자가 건설기계(50)의 외부영역의 상황을 효과적으로 인지할 수 있도록 운전자에게 제공할 수 있다.
또한, 표시 시스템(101)은 검출장치(200)의 검출 유무에 따라 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있어, 캐빈 내부의 운전자가 선회체(20)의 회전의 가능여부와 장애물의 등장여부 또는 이러한 장애물이 선회체(20)의 회전 또는 작업에 방해되는지를 효과적으로 판단할 수 있다.
그리고, 표시 시스템(101)의 제어장치(600)는 검출장치(200)의 검출 여부에 따라 중복영역(400)을 촬영한 3차원영상을 표시장치(300)에 출력할 수 있어, 운전자는 이러한 촬영영상을 기초로하여 선회체(20)의 회전 또는 건설기계(50)의 작업시 선회체(20)와 장애물의 충돌을 효과적으로 방지할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어장치(600)는, 앞서 서술한 도 1에 도시한 바와 같이, 영상 변환부(610)를 포함할 수 있다.
영상 변환부(610)는, 앞서 서술한 도 2에 도시한 바와 같이, 복수의 촬영장치(100)가 촬영한 3차원영상의 촬영영상을 기설정된 기준라인(500)을 기준으로 2차원영상으로 변환시켜 합성할 수 있다. 구체적으로, 영상 변환부(610)는 복수의 촬영장치(100)가 촬영한 3차원영상의 공간의 좌표를 평면의 좌표로 변환시켜 기설정된 기준라인(500)을 중심으로 합성하여 표시장치(300)에 2차원영상인 변환영상이 출력되도록 할 수 있다.
즉, 기설정된 기준라인(500)은 복수의 촬영장치(100) 각각이 촬영한 3차원영상이 2차원영상으로 변환되어 서로 결합되는 경계선일 수 있다. 따라서, 기준라인(500)의 수는 중복영역(400)의 수와 동일하게 형성될 수 있다.
따라서, 운전자는 캐빈 내부에서 표시장치(300)로부터 서로 다른 위치에서 촬영한 중복영역(400) 중, 사람 또는 물체가 있다고 판단된 중복영역(400)의 촬영영상인 3차원영상을 제공받을 수 있다. 따라서, 운전자는 서로 다른 위치에서 촬영한 복수의 촬영장치(100)에 의해 다양한 시점(view-point)에서 건설기계(50)의 외부영역을 확인할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어장치(600)는 복수의 촬영장치가 촬영한 영상을 조합하여 기설정된 기준라인(500)을 중심으로 합성하여 건설기계(50)를 상부에서 내려다본 시점(Top-view)의 변환영상으로 만들 수 있다.
제어장치(600)는 복수의 촬영장치(100)가 촬영한 영상을 기설정된 기준라인(500)을 중심으로 조합하여 건설기계(50)를 상부에서 내려다본 시점이 되도록 변환할 수 있다.
따라서, 제어장치(600)는 건설기계(50)의 외부영역을 건설기계(50)를 상부에서 내려다본 시점이 되도록 복수의 촬영장치(100)가 촬영한 촬영영상인 3차원영상을 조합하여 기설정된 기준라인(500)을 중심으로 합성하여 변환영상인 2차원영상으로 변환시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 검출장치(200)는 중복영역(400) 중 기설정된 기준라인(500)이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
영상 변환부(610)가 중복영역(400)을 기설정된 기준라인(500)을 중심으로 3차원영상을 2차원영상으로 합성하여 변환하는 경우, 영상의 왜곡이 발생되는 문제점이 있다. 즉, 3차원영상의 합성이 평면좌표인 바닥면을 기준으로 이뤄져 있어, 높이를 갖는 물체 또는 사람이 중복영역(400) 상의 특정위치에 위치하는 경우 변환된 2차원영상에서 사라져 보이는 문제점이 발생될 수 있다.
상술한 중복영역(400) 상의 특정위치는 3차원영상이 2차원영상으로 변환되어 서로 결합되는 경계선인 기설정된 기준라인(500)일 수 있다. 즉, 검출장치(200)는 기설정된 기준라인(500)의 공간영역에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
따라서, 검출장치(200)가 중복영역(400) 중 기준라인(500)이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출 할 수 있어, 영상 변환부(610)에 의해 3차원영상이 기설정된 기준라인(500)을 중심으로 합성되어 2차원영상으로 변환시 발생될 수 있는 영상 왜곡으로 인한 문제가 효과적으로 해결될 수 있다.
또한, 검출장치(200)가 높이를 갖는 물체가 기준라인(500)이 형성되는 영역에 위치하는 경우에도 효과적으로 검출할 수 있어, 운전자는 표시장치(300)에 의해 제공되는 정보를 활용하여 선회체(20)의 회전시 사람 또는 물체와의 충돌을 방지할 수 있다.
구체적으로, 검출장치(200)의 설치시 이러한 기설정된 기준라인(500)이 고려되어 설치될 수 있다.
또한, 본 발명의 일 실시예에 따른 제어장치(600)는 중복영역(400)에 사람 또는 물체가 있다고 판단한 경우, 사람 또는 물체가 검출된 중복영역(400)의 촬영영상과 영상 변환부(610)에 의해 변환된 변환영상을 함께 표시장치(300)에 출력할 수 있다.
제어장치(600)는 중복영역(400)에 사람 또는 물체가 존재 유무를 판단할 수 있다. 구체적으로, 제어장치(600)는 영역 판단부(620)를 포함할 수 있다. 영역 판단부(620)는 검출장치(200)가 검출한 정보를 기초로 중복영역(400)에 위치하는 사람 또는 물체의 여부를 판단할 수 있다. 구체적으로, 영역 판단부(620)는 검출장치(200)에 의해 중복영역(400)에 사람 또는 물체의 위치를 검출하면, 해당 중복영역(400)에 사람 또는 물체가 있다고 판단할 수 있다.
즉, 영역 판단부(620)는 검출장치(200)가 검출한 중복영역(400)에 사람 또는 물체가 위치하는지 유무를 검출한 정보를 기초로, 중복영역(400) 위치하는 사람 또는 물체의 여부를 판단할 수 있다.
영역 판단부(620)가 중복영역(400)이 형성되는 영역에 사람 또는 물체가 있다고 판단한 경우, 제어장치(600)는 사람 또는 물체가 검출된 중복영역(400)의 촬영영상인 3차원영상 및 영상 변환부(610)에 의해 변환된 변환영상인 2차원영상을 함께 표시장치(300)에 출력할 수 있다.
구체적으로, 제어장치(600)는 표시장치(300)의 화면을 분할하여, 사람 또는 물체가 검출된 중복영역(400)의 3차원영상 및 영상 변환부(610)에 의해 변환된 2차원영상을 함께 출력되도록 할 수 있다.
따라서, 운전자는 표시장치(300)를 통해 건설기계의 외부영역을 촬영한 3차원영상이 2차원영상으로 변환된 정보와 사람 또는 물체가 검출된 중복영역(400)의 3차원영상 정보를 함께 제공받을 수 있다. 즉, 운전자는 표시장치(300)를 통해 건설기계(50)의 외부영역의 장애물 또는 사람의 접근 등을 시각적으로 인지할 수 있다.
또한, 운전자에게 표시장치(300)를 통해 중복영역(400)에 사람 또는 물체가 위치한다고 판단된 경우, 제어장치(600)는 운전자에게 표시장치(300)를 통해 사람 또는 물체가 검출된 중복영역(400)의 3차원영상을 제공할 수 있다.
즉, 운전자는 제어장치(600)에 의해 2차원영상을 통해 선회체(20)의 회전 또는 건설기계(50)의 작업시 간섭 또는 방해 요소를 확인할 수 있다. 그리고, 운전자는 사람 또는 물체가 검출된 중복영역(400)의 3차원영상을 통해 중복영역(400)에 위치하는 물체가 선회체(20)의 회전 또는 건설기계(50)의 작업에 방해를 하는지 여부를 정확하게 판단할 수 있다.
또한, 제어장치(600)가 운전자에게 2차원영상 및 사람 또는 물체가 검출된 중복영역(400)의 3차원영상을 함께 제공할 수 있어, 운전자는 영상 변환부(610)가 3차원영상을 2차원영상으로 변환시 발생할 수 있는 영상의 왜곡과 같은 오류 없이 중복영역(400)에 위치하는 사람 또는 물체를 확인할 수 있다.
또는, 영역 판단부(620)가 기준라인(500)이 형성되는 영역에 사람 또는 물체가 있다고 판단한 경우, 제어장치(600)는 사람 또는 물체가 검출된 기준라인(500)을 포함하는 중복영역(400)의 3차원영상 및 영상 변환부(610)에 의해 변환된 2차원영상을 함께 표시장치(300)에 출력할 수 있다. 이때, 기준라인(500)은 표시장치(300)에 출력되지 않는다.
즉, 제어장치(600)는 모드 선택부(640)를 포함하고 있다. 모드 선택부(640)는 중복영역(400)을 촬영한 영상을 제공하는 촬영영상 모드와 촬영영상이 변환된 변환영상만을 제공하는 변환영상 모드를 포함하며, 운전자에게 촬영영상 모드 또는 변환영상 모드 중 어느 하나로 선택되어 표시 시스템(101)으로 영상을 출력할 수 있다.
운전자가 변환영상 모드를 선택한 경우, 제어장치(600)는 검출장치(200)의 검출 여부와 상관없이 영상 변환부(610)에 의해 변환된 변환영상을 표시장치(300)에 출력할 수 있다.
또는, 운전자가 촬영영상 모드를 선택한 경우, 중복영역(400)을 촬영한 영상 및 영상 변환부(610)에 의해 변환된 변환영상을 함께 출력할 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는 검출장치(200)에 의해 사람 또는 물체가 기준라인(500)에 인접하게 위치한다고 판단한 경우 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있다.
제어장치(600)가 중복영역(400) 중 기준라인(500)과 인접한 위치에 사람 또는 물체가 위치한다고 판단한 경우, 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)의 일측 그리고 상기 일측과 인접한 중복영역(400)의 타측을 촬영한 촬영영상이 함께 표시장치(300)에 출력될 수 있다.
따라서, 운전자는 중복영역(400)의 기준라인(500)에 사람 또는 물체가 인접하게 위치한 경우, 변환영상을 생성시 발생될 수 있는 영상의 왜곡 없이 운전자에게 정확하게 전달할 수 있다. 따라서, 운전자가 건설기계(50)의 작업시 왜곡된 영상에 의해 발생될 수 있는 사고를 미연에 방지할 수 있다.
또는, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는 검출장치(200)에 의해 사람 또는 물체가 기준라인(500)에 상대적으로 멀리 떨어진 중복영역(400) 내에 위치한다고 판단한 경우 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)을 촬영한 촬영영상을 표시장치(300)에 출력할 수 있다.
제어장치(600)가 중복영역(400) 중 기준라인(500)과 상대적으로 멀리 떨어진 위치에 사람 또는 물체가 위치한다고 판단한 경우, 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 위치하는 중복영역(400)의 일측을 촬영한 촬영영상이 함께 표시장치(300)에 출력될 수 있다.
즉, 검출장치(200)는 기준라인(500)으로부터 사람 또는 물체의 인접거리를 검출하여 제어장치(600)에 전달하고, 제어장치(600)는 검출장치(200)로부터 제공받은 사람 또는 물체의 기준라인(500)으로부터의 인접거리를 기초로 복수의 촬영장치(100)가 촬영한 촬영영상 중 어떤 영상을 우선 또는 중복하여 표시장치(300)에 출력할 것인지 결정할 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)은, 도 1 및 도 3에 도시한 바와 같이, 표시장치(300)에 출력되는 변환영상에 건설기계의 상부 이미지(image)(301)를 함께 표시할 수 있다.
운전자가 표시장치(300)를 통해 출력되는 변환영상인 2차원영상이 건설기계(50)를 상부에서 내려다본 시점(Top-view)임을 인지할 수 있도록 변환영상을 출력하는 표시장치(300)의 일영역에는 건설기계(50)의 상부 이미지(301)가 표시되도록 할 수 있다. 즉, 복수의 촬영장치(100)가 촬영한 3차원영상들은 건설기계(50)의 상부 이미지(301)를 중심으로 2차원영상으로 변환되어 표시장치(300)에 출력될 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는 위치 표시부(630)를 더 포함할 수 있다.
위치 표시부(630)는 표시장치(300)에 출력되는 변환영상 상에 검출장치(200)가 검출한 사람 또는 물체의 위치 정보를 함께 표시하는 하도록 할 수 있다. 즉, 제어장치(600)는 표시장치(300)에 출력되는 2차원영상 상에 검출장치(200)가 검출한 사람 또는 물체의 위치 정보를 함께 표시(350)하여 출력되도록 할 수 있다.
위치 표시부(630)는 검출장치(200)에 의한 사람 또는 물체의 감도의 크기를 기초로 표시장치(300)에 출력되는 변환영상인 2차원영상 상에서 사람 또는 물체의 현재 위치가 표시되도록 할 수 있다. 일예로, 검출장치(200)는 MOD(Moving Object Detection), 초음파센서, Radar, Lidar 중 어느 하나일 수 있다.
즉, 제어장치(600)는 검출장치(200)로부터 송신받는 정보를 좌표로 변환하여 검출장치(200)에 의해 검출된 사람 또는 물체의 위치로 표시하는 위치 표시장치(300)를 더 포함할 수 있다.
따라서, 운전자는 표시장치(300)를 통해 제공되는 정보로 검출장치(200)에 의해 검출된 사람 또는 물체의 위치 또한 시각적으로 확인할 수 있다. 또한, 영상의 왜곡으로 2차원영상에서 사람 또는 물체가 사라진 경우에도, 운전자는 이들의 위치를 시각적으로 확인할 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 복수의 촬영장치(100)는, 앞서 서술한 2에 도시한 바와 같이, 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)를 포함할 수 있다.
제1 촬영부재(110)는 건설기계(50)의 앞쪽에 설치될 수 있다. 구체적으로, 제1 촬영부재(110)는 건설기계(50)의 상부에서 하부방향을 향해 경사지게 건설기계(50)의 앞쪽방향을 3차원영상으로 촬영할 수 있다.
제2 촬영부재(120)는 제1 촬영부재(110)와 이격되어 건설기계(50)의 우측에 설치될 수 있다. 구체적으로, 제2 촬영부재(120)는 건설기계(50)의 상부에서 하부방향를 향해 경사지게 건설기계(50)의 우측방향을 3차원영상으로 촬영할 수 있다.
제3 촬영부재(130)는 제2 촬영부재(120)와 이격되어 건설기계(50)의 뒤쪽에 설치될 수 있다. 구체적으로, 제3 촬영부재(130)는 건설기계(50)의 상부에서 하부방향을 향해 경사지게 건설기계(50)의 뒤쪽방향을 3차원영상으로 촬영할 수 있다.
제4 촬영부재(140)는 제3 촬영부재(130)와 이격되어 건설기계(50)의 좌측에 설치될 수 있다. 구체적으로, 제4 촬영부재(140)는 건설기계(50)의 상부에서 하부방향을 향해 경사지게 건설기계(50)의 좌측방향을 3차원영상으로 촬영할 수 있다.
이때, 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)가 촬영하는 건설기계(50)의 외부영역의 일부는 서로 중복되어 촬영될 수 있다.
따라서, 복수의 촬영장치(100)가 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)를 포함하고 있어, 건설기계(50)를 둘러싼 건설기계(50)의 외부영역을 효과적으로 3차원으로 촬영할 수 있다. 즉, 제어장치(600)는 건설기계(50)의 선회체(20)의 선회 동작시 물체 또는 사람과의 충돌을 방지하기 위해 필요한 정보를 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)를 포함하는 복수의 촬영장치(100)로부터 입력 받을 수 있다.
또한, 본 발명의 일 실시예에 따른 중복영역(400)은, 앞서 서술한 도 1에 도시한 바와 같이, 복수로 형성되어, 제1 중복영역(410)과 제2 중복영역(420)과 제3 중복영역(430) 그리고 제4 중복영역(440)을 포함할 수 있다.
제1 중복영역(410)은 제1 촬영부재(110)가 촬영하는 영역과 제2 촬영부재(120)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제1 중복영역(410)은 건설기계(50) 앞쪽의 우측 모서리와 인접한 영역일 수 있다.
제2 중복영역(420)은 제2 촬영부재(120)가 촬영하는 영역과 제3 촬영부재(130)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제2 중복영역(420)은 건설기계(50) 뒤쪽의 우측 모서리와 인접한 영역일 수 있다.
제3 중복영역(430)은 제3 촬영부재(130)가 촬영하는 영역과 제4 촬영부재(140)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제3 중복영역(430)은 건설기계(50) 뒤쪽의 좌측 모서리와 인접한 영역일 수 있다.
제4 중복영역(440)은 제4 촬영부재(140)가 촬영하는 영역과 제1 촬영부재(110)가 촬영하는 영역의 일부가 서로 중복되는 영역일 수 있다. 즉, 제4 중복영역(440)은 건설기계(50) 앞쪽의 좌측 모서리와 인접한 영역일 수 있다.
따라서, 중복영역(400)은 복수로 형성되어 있어, 건설기계(50)를 둘러싼 건설기계(50)의 외부영역의 넓은 범위를 효과적으로 촬영할 수 있다.
그리고, 기준라인(500)은 제1 중복영역(410)의 촬영영상을 합성하기 위한 제1 기준라인(510)과 제2 중복영역(420)의 촬영영상을 합성하기 위한 제2 기준라인(520)과 제3 중복영역(430)의 촬영영상을 합성하기 위한 제3 기준라인(530)과 제4 중복영역(440)의 촬영영상을 합성하기 위한 제4 기준라인(540)을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 검출장치(200)는, 앞서 서술한 도 2에 도시한 바와 같이, 복수로 형성되어, 제1 검출부재(210)와 제2 검출부재(220)와 제3 검출부재(230)와 제4 검출부재(240)를 포함할 수 있다.
제1 검출부재(210)는 제1 중복영역(410)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제1 검출부재(210)는 제1 촬영부재(110)와 제2 촬영부재(120)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 앞쪽의 우측 모서리 부분의 제1 중복영역(410)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제1 검출부재(210)는 제1 중복영역(410)이 형성되는 건설기계(50)의 선회체(20) 앞쪽의 우측 모서리 부분에 설치되어 제1 중복영역(410)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제1 검출부재(210)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제1 중복영역(410)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제1 검출부재(210)는 제1 중복영역(410)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
제2 검출부재(220)는 제2 중복영역(420)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제2 검출부재(220)는 제2 촬영부재(120)와 제3 촬영부재(130)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 뒤쪽의 우측 모서리 부분의 제2 중복영역(420)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제2 검출부재(220)는 제2 중복영역(420)이 형성되는 건설기계(50)의 선회체(20) 뒤쪽의 우측 모서리 부분에 설치되어 제2 중복영역(420)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제2 검출부재(220)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제2 중복영역(420)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제2 검출부재(220)는 제2 중복영역(420)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
제3 검출부재(230)는 제3 중복영역(430)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제3 검출부재(230)는 제3 촬영부재(130)와 제4 촬영부재(140)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 뒤쪽의 좌측 모서리 부분의 제3 중복영역(430)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제3 검출부재(230)는 제3 중복영역(430)이 형성되는 건설기계(50)의 선회체(20) 뒤쪽의 좌측 모서리 부분에 설치되어 제3 중복영역(430)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제3 검출부재(230)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제3 중복영역(430)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제3 검출부재(230)는 제3 중복영역(430)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
제4 검출부재(240)는 제4 중복영역(440)의 사람 또는 물체의 유무를 검출할 수 있다. 구체적으로, 제4 검출부재(240)는 제4 촬영부재(140)와 제1 촬영부재(110)가 촬영하는 촬영영역이 일부 중복된 건설기계(50) 앞쪽의 좌측 모서리 부분의 제4 중복영역(440)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
또한, 제4 검출부재(240)는 제4 중복영역(440)이 형성되는 건설기계(50)의 선회체(20) 앞쪽의 좌측 모서리 부분에 설치되어 제4 중복영역(440)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다. 그리고, 제4 검출부재(240)는 건설기계(50)의 상부에서 하부를 향해 경사지게 제4 중복영역(440)에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
즉, 제4 검출부재(240)는 제4 중복영역(440)의 공간상에 위치하는 사람 또는 물체의 유무를 검출할 수 있다.
따라서, 검출장치(200)는 복수로 형성되어, 제어장치(600)가 운전자에게 건설기계(50)를 둘러싸는 건설기계(50)의 외부영역을 3차원으로 촬영하여 2차원영상으로 변환시 발생될 수 있는 영상의 왜곡과 같은 오류 없이 중복영역(400)에 위치하는 사람 또는 물체를 3차원영상으로 제공할 수 있다.
일예로, 도 2 및 도 4에 도시한 바와 같이, 제어장치(600)는 제2 검출부재(220)에 의해 제2 중복영역(420)에 사람이 검출된 경우, 제2 중복영역(420)에 사람이 있다고 판단할 수 있다. 따라서, 제어장치(600)는 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)에 의해 촬영된 영상을 영상 변환부(610)를 통해 건설기계를 상부에서 내려다본 시점(Top-view)의 영상으로 변환시킨 변환영상(310)을 표시장치(300)에 출력할 수 있다.
또한, 제어장치(600)는 제2 촬영부재(120)와 제3 촬영부재(130)가 제2 중복영역(420)을 촬영한 촬영영상(330,340)을 각각 표시장치(300)에 출력할 수 있다.
이때, 제어장치(600)는 제2 검출부재(220)에 의해 사람이 검출된 위치를 위치 표시부(630)에 의해 변환영상(310) 상에 함께 표시(350)하여 출력할 수 있다.
따라서, 운전자는 표시장치(300)의 변환영상(310)에는 출력되지 않았던 사람의 영상을 제2 촬영부재(120)와 제3 촬영부재(130)가 촬영영상(330,340)을 통해 제공받고, 검출된 사람의 위치를 변환영상(310) 상에 함께 출력되는 검출표시(350)로 제공받을 수 있다.
또한, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)는, 둘 이상의 검출장치(200)가 둘 이상의 중복영역(400)에 사람 또는 물체가 위치한다고 검출한 경우, 둘 이상의 중복영역(400)을 촬영한 촬영영상을 모두 표시장치(300)에 출력할 수 있다.
제어장치(600)는 복수의 검출장치(200) 중 둘 이상의 검출장치(200)가 복수의 중복영역(400) 중 둘 이상의 중복영역(400)에 사람 또는 물체가 위치한다고 검출한 경우, 복수의 촬영장치(100)가 촬영한 촬영영상 중 사람 또는 물체가 검출된 둘이 상의 중복영역(400)을 촬영한 촬영영상을 모두 표시장치(300)를 통해 운전자에게 제공할 수 있다.
따라서, 운전자는 복수의 중복영역(400)에 의해 발생될 수 있는 영상의 왜곡 없이, 표시장치(300)를 통해 제공되는 영상으로 사람 또는 물체의 위치를 정확하게 파악할 수 있다.
일예로, 도 2 및 도 5에 도시한 바와 같이, 제어장치(600)는 제1 검출부재(210) 및 제2 검출부재(220)에 의해 제1 중복영역(410) 및 제2 중복영역(420)에 사람 또는 물체가 있다고 검출된 경우, 제1 중복영역(410) 및 제2 중복영역(420)에 사람 또는 물체가 있다고 판단할 수 있다.
따라서, 제어장치(600)는 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)에 의해 촬영된 영상을 영상 변환부(610)를 통해 건설기계를 상부에서 내려다본 시점(Top-view)의 영상으로 변환시킨 변환영상(310)을 표시장치(300)에 출력할 수 있다.
또한, 제어장치(600)는 제1 중복영역(410)과 제2 중복영역(420)을 촬영한 영상을 모두 표시장치(300)에 출력할 수 있다. 구체적으로, 제1 촬영부재(110)가 촬영한 촬영영상(320)과 제2 촬영부재(120)가 촬영한 촬영영상(330) 그리고 제3 촬영부재(130)가 촬영한 촬영영상(340)을 모두 표시장치(300)에 출력할 수 있다.
그리고, 제어장치(600)는 제1 검출부재(210)와 제2 검출부재(220)에 의해 사람이 검출된 위치를 위치 표시부(630)에 의해 변환영상(310) 상에 함께 표시(350)하여 출력할 수 있다.
또는, 도 2 및 도 3에 도시된 바와 같이, 제1 중복영역(410)과 제2 중복영역(420)과 제3 중복영역(430) 그리고 제4 중복영역(440) 모두에 사람 또는 물체의 위치가 검출되지 않는 경우, 제어장치(600)는 제1 촬영부재(110)와 제2 촬영부재(120)와 제3 촬영부재(130) 그리고 제4 촬영부재(140)에 의해 촬영된 촬영영상을 영상 변환부(610)를 통해 건설기계를 상부에서 내려다본 시점(Top-view)의 영상으로 변환시킨 변환영상(310)만을 표시장치(300)에 출력할 수 있다.
이하, 도 1 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 표시 시스템(101)의 제어장치(600)의 제어방법을 설명한다.
운전자는 촬영영상 모드 또는 변환영상 모드 중 어느 하나로 표시 시스템(101)이 동작되도록 선택한다(S100).
또한, 운전자가 변환영상 모드를 선택한 경우, 표시장치(300)는 복수의 촬영장치(100)가 촬영한 영상을 영상 변환부(610)에 의해 변환된 건설기계를 상부에서 내려다본 시점(Top-view)의 영상을 표시장치(300)에 출력한다(S150). 즉, 변환영상 모드를 선택한 경우, 제어장치(600)는 검출장치(200)의 검출 여부와 관계없이 영상 변환부(610)에 의해 변환된 변환영상(310)만을 표시장치(300)에 출력한다.
또는, 운전자가 촬영영상 모드를 선택한 경우, 검출장치(200)는 중복영역(400)에 위치하는 사람 또는 물체의 유무를 검출한다(S200).
검출장치(200)는 검출한 정보를 영역 판단부(620)에 전달하고, 영역 판단부(620)는 중복영역(400)에 사람 또는 물체의 여부를 판단한다.
또한, 중복영역(400)에 사람 또는 물체가 있는 경우, 영상 변환부(610)에 의해 변환된 건설기계를 상부에서 내려다본 시점(Top-view)의 영상과 사람 또는 물체가 검출된 중복영역(400)을 촬영한 촬영영상을 함께 표시장치(300)에 출력한다(S300).
또는, 중복영역(400)에 사람 또는 물체가 있는 없는 경우, 영상 변환부(610)에 의해 변환된 건설기계를 상부에서 내려다본 시점(Top-view)의 영상을 표시장치(300)에 출력한다(S150).
이와 같은 구성에 의하여, 본 발명의 일 실시예에 따른 표시 시스템(101)은 건설기계(50)의 캐빈 내부에 위치하는 운전자에게 건설기계(50)를 둘러싸는 건설기계(50)의 외부영역의 촬영영상을 효과적으로 제공할 수 있다.
또한, 표시 시스템(101)은 검출장치(200)를 포함하고 있어 높이를 갖는 물체가 복수의 촬영장치(100)가 중복 촬영한 중복영역(400) 상에 위치하여도, 운전자는 표시장치(300)를 통해 촬영영상과 변환영상을 함께 제공받을 수 있다. 따라서, 운전자는 영상의 왜곡 없이 중복영역(400)에 위치하는 물체의 형상 및 위치를 확인할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명은 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 복수의 촬영장치 101: 표시 시스템
110: 제1 촬영부재 120: 제2 촬영부재
130: 제3 촬영부재 140: 제4 촬영부재
200: 검출장치 210: 제1 검출부재
220: 제2 검출부재 230: 제3 검출부재
240: 제4 검출부재 300: 표시장치
400: 중복영역 500: 기준라인
600: 제어장치 610: 영상 변환부
620: 영역 판단부 630: 위치 표시부

Claims (12)

  1. 건설기계에 서로 이격되어 설치되고, 상기 건설기계의 외부영역 일부가 서로 중복되도록 촬영하여 촬영영상을 생성하는 복수의 촬영장치;
    상기 복수의 촬영장치가 서로 중복 촬영하는 중복영역에 위치하는 사람 또는 물체의 유무를 검출하는 검출장치;
    상기 복수의 촬영장치에서 촬영된 영상을 출력하도록 상기 건설기계의 내부에 설치되는 표시장치; 및
    상기 복수의 촬영장치가 촬영한 촬영영상을 조합하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 영상을 변환하고, 상기 검출장치에 의해 상기 중복영역에 사람 또는 물체가 있다고 판단한 경우, 사람 또는 물체가 검출된 상기 중복영역의 촬영영상과 상기 건설기계를 상부에서 내려다본 시점이 되도록 변환한 영상을 함께 상기 표시장치에 출력하는 제어장치
    를 포함하는 표시 시스템.
  2. 제1항에서,
    상기 제어장치는,
    상기 복수의 촬영장치가 촬영한 촬영영상을 기설정된 기준라인을 중심으로 합성하여 상기 건설기계를 상부에서 내려다본 시점이 되도록 변환한 영상인 변환영상을 생성하는 영상 변환부를 포함하는 표시 시스템.
  3. 제1항에서,
    상기 제어장치는 상기 복수의 쵤영장치가 촬영한 촬영영상을 조합하여 기설정된 기준라인을 중심으로 합성하여 상기 건설기계를 상부에서 내려다본 시점의 변환영상으로 만드는 것을 특징으로 하는 표시 시스템.
  4. 제2항에서,
    상기 검출장치는 상기 중복영역 중 상기 기준라인이 형성되는 영역에 위치하는 사람 또는 물체의 유무를 검출하는 것을 특징으로 하는 표시 시스템.
  5. 삭제
  6. 제2항에서,
    상기 제어장치는,
    상기 중복영역에서 사람 또는 물체가 상기 기준라인에서 멀리 있는 일방향에 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향을 촬영한 촬영영상을 출력하는 것을 특징으로 하는 표시 시스템.
  7. 제2항에서,
    상기 제어장치는,
    상기 중복영역에서 사람 또는 물체가 상기 기준라인에 인접하게 위치한다고 판단한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 사람 또는 물체가 검출된 상기 중복영역의 일방향과 사람 또는 물체가 검출된 중복영역의 타방향을 촬영한 촬영영상을 출력하는 것을 특징으로 하는 표시 시스템.
  8. 제1항에서,
    상기 제어장치는,
    상기 표시장치에 출력되는 상기 변환한 영상에 검출된 사람 또는 물체의 위치를 함께 표시하는 위치 표시부를 더 포함하는 표시 시스템.
  9. 제1항에서,
    상기 복수의 촬영장치는,
    상기 건설기계의 전방에 설치된 제1 촬영부재;
    상기 건설기계의 우측에 설치된 제2 촬영부재;
    상기 건설기계의 후방에 설치된 제3 촬영부재; 및
    상기 건설기계의 좌측에 설치된 제4 촬영부재
    를 포함하는 표시 시스템.
  10. 제9항에서,
    상기 중복영역은 복수로 형성되어,
    상기 제1 촬영부재가 촬영하는 영역과 상기 제2 촬영부재가 촬영하는 영역이 서로 중복되는 제1 중복영역;
    상기 제2 촬영부재가 촬영하는 영역과 상기 제3 촬영부재가 촬영하는 영역이 서로 중복되는 제2 중복영역;
    상기 제3 촬영부재가 촬영하는 영역과 상기 제4 촬영부재가 촬영하는 영역이 서로 중복되는 제3 중복영역; 및
    상기 제4 촬영부재가 촬영하는 영역과 상기 제1 촬영부재가 촬영하는 영역이 서로 중복되는 제4 중복영역
    을 포함하는 표시 시스템.
  11. 제10항에서,
    상기 검출장치는 복수로 형성되어,
    상기 제1 중복영역의 사람 또는 물체의 유무를 검출하는 제1 검출부재;
    상기 제2 중복영역의 사람 또는 물체의 유무를 검출하는 제2 검출부재;
    상기 제3 중복영역의 사람 또는 물체의 유무를 검출하는 제3 검출부재; 및
    상기 제4 중복영역의 사람 또는 물체의 유무를 검출하는 제4 검출부재
    를 포함하는 표시 시스템.
  12. 제11항에서,
    상기 제어장치는,
    상기 복수의 검출장치 중 둘 이상이 상기 복수의 중복영역 중 둘 이상에 사람 또는 물체가 위치한다고 검출한 경우, 상기 복수의 촬영장치가 촬영한 촬영영상 중 상기 둘 이상의 중복영역을 촬영한 촬영영상을 모두 상기 표시장치에 출력하는 것을 특징으로 하는 표시 시스템.
KR1020160021398A 2016-02-23 2016-02-23 표시 시스템 KR102484103B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160021398A KR102484103B1 (ko) 2016-02-23 2016-02-23 표시 시스템
PCT/KR2017/001426 WO2017146403A1 (ko) 2016-02-23 2017-02-09 표시 시스템
CN201780013077.4A CN108699816A (zh) 2016-02-23 2017-02-09 显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160021398A KR102484103B1 (ko) 2016-02-23 2016-02-23 표시 시스템

Publications (2)

Publication Number Publication Date
KR20170099252A KR20170099252A (ko) 2017-08-31
KR102484103B1 true KR102484103B1 (ko) 2023-01-04

Family

ID=59685325

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160021398A KR102484103B1 (ko) 2016-02-23 2016-02-23 표시 시스템

Country Status (3)

Country Link
KR (1) KR102484103B1 (ko)
CN (1) CN108699816A (ko)
WO (1) WO2017146403A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4130395A4 (en) * 2020-03-27 2023-03-15 Sumitomo Heavy Industries, Ltd. IMAGE CAPTURE DEVICE FOR WORK MACHINE, INFORMATION MANAGEMENT SYSTEM, INFORMATION TERMINAL AND IMAGE CAPTURE PROGRAM FOR WORK MACHINE
US20230237806A1 (en) * 2022-01-24 2023-07-27 Caterpillar Inc. Object detection vision system
KR102606126B1 (ko) * 2023-08-16 2023-11-24 오토아이티(주) 영상 왜곡 영역과 카메라간 상관성을 고려한 객체 검출동작을 수행하는 어라운드 뷰 모니터 영상 처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
CN103827943A (zh) 2012-09-20 2014-05-28 株式会社小松制作所 工作车辆用周边监视系统以及工作车辆

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011266010B2 (en) * 2010-06-18 2015-01-29 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
KR20140118115A (ko) * 2013-03-28 2014-10-08 삼성전기주식회사 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법
JP6165085B2 (ja) * 2014-03-07 2017-07-19 日立建機株式会社 作業機械の周辺監視装置
WO2015162801A1 (ja) * 2014-04-25 2015-10-29 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
JP6204884B2 (ja) * 2014-07-25 2017-09-27 日立建機株式会社 旋回式作業機の周囲表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008095307A (ja) 2006-10-06 2008-04-24 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
CN103827943A (zh) 2012-09-20 2014-05-28 株式会社小松制作所 工作车辆用周边监视系统以及工作车辆

Also Published As

Publication number Publication date
KR20170099252A (ko) 2017-08-31
CN108699816A (zh) 2018-10-23
WO2017146403A1 (ko) 2017-08-31

Similar Documents

Publication Publication Date Title
US11657618B2 (en) Display apparatus
US10527413B2 (en) Outside recognition device
CN109691088B (zh) 图像处理设备、图像处理方法、以及程序
JP5529943B2 (ja) 作業車両用周辺監視システム及び作業車両
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
US20080043113A1 (en) Image processor and visual field support device
JP2010166196A (ja) 車両周辺監視装置
JP7283059B2 (ja) 周辺監視装置
JP5959264B2 (ja) 画像処理装置及び方法、並びにコンピュータプログラム
KR102484103B1 (ko) 표시 시스템
WO2010070920A1 (ja) 車両周囲画像生成装置
JP6730177B2 (ja) 画像生成装置および画像生成方法
JP5926315B2 (ja) 作業車両用周辺監視システム及び作業車両
JP6699427B2 (ja) 車両用表示装置および車両用表示方法
JP2004240480A (ja) 運転支援装置
JP2020068515A (ja) 画像処理装置
WO2018159016A1 (ja) 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018110328A (ja) 画像処理装置および画像処理方法
KR102007535B1 (ko) 건설기계의 화면표시장치
JP5271186B2 (ja) 車両用画像表示装置
JP2019185381A (ja) 車両周囲画像生成装置
JP2014235639A (ja) 車両表示装置
JP4685050B2 (ja) 表示装置
JP6999239B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right