KR20160111102A - 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 - Google Patents

건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR20160111102A
KR20160111102A KR1020150035809A KR20150035809A KR20160111102A KR 20160111102 A KR20160111102 A KR 20160111102A KR 1020150035809 A KR1020150035809 A KR 1020150035809A KR 20150035809 A KR20150035809 A KR 20150035809A KR 20160111102 A KR20160111102 A KR 20160111102A
Authority
KR
South Korea
Prior art keywords
rectangular area
seat
driver
image
rotation
Prior art date
Application number
KR1020150035809A
Other languages
English (en)
Inventor
장경률
김정대
주승훈
Original Assignee
두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020150035809A priority Critical patent/KR20160111102A/ko
Publication of KR20160111102A publication Critical patent/KR20160111102A/ko

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F3/00Dredgers; Soil-shifting machines
    • E02F3/04Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24Safety devices, e.g. for preventing overload
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/261Surveying the work-site to be treated
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23238Control of image capture or reproduction to achieve a very large field of view, e.g. panorama
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/247Arrangements of television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast
    • H04N7/181Closed circuit television systems, i.e. systems in which the signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

건설 기계의 사각 영역 표시 방법에 따르면, 건설 기계에 장착된 카메라로 건설 기계의 전방위 이미지들을 획득할 수 있다. 상기 이미지들로부터 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득할 수 있다. 상기 가상 이미지를 상기 운전석의 모니터에 표시할 수 있다. 따라서, 운전석의 작업자는 모니터에 표시된 가상 이미지를 확인하여, 붐의 회전 방향에 사람이나 구조물이 존재하는지 여부를 확실하게 인식할 수 있다.

Description

건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치{METHOD OF DISPLAYING A DEAD ZONE OF A CONSTRUCTION MACHINE AND APPARATUS FOR PERFORMING THE SAME}

본 발명은 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치에 관한 것으로서, 보다 구체적으로는 굴삭기의 붐에 의해 형성되는 사각 영역을 운전석의 모니터에 표시하는 방법, 및 이러한 방법을 수행하기 위한 장치에 관한 것이다.

일반적으로, 굴삭기는 하부 주행체, 하부 주행체 상에 선회 가능하게 연결된 선회체, 선회체에 연결된 붐, 붐에 연결된 암 및 암에 선택적으로 연결되는 어태치먼트를 포함할 수 있다. 어태치먼트는 버킷, 브레이커, 크러셔 등을 포함할 수 있다.

붐이 회전할 때, 운전석에 착석한 작업자는 운전석의 전방, 후방 및 측면들을 모두 확인할 수는 없을 것이다. 이로 인하여, 전방에 사람이나 고정물이 존재할 경우, 대형 안전 사고가 유발될 수 있다.

관련 기술들에 따르면, 운전석에 카메라를 설치하여, 카메라에서 촬영한 이미지를 운전석의 모니터에 표시할 수 있다. 작업자는 모니터에 표시된 이미지를 보면서 안전 사고가 발생되지 않도록 붐을 회전시킬 수는 있다.

그러나, 붐의 회전에 의해서, 운전석의 작업자가 붐에 의해 가려져서 볼 수 없는 영역, 즉 사각 영역이 발생될 수 있다. 이러한 사각 영역은 현재 사각 영역을 촬영하는 카메라로도 표시할 수 없다.

본 발명은 붐의 회전에 의해 발생되는 사각 영역을 정확하게 표시할 수 있는 건설 기계의 사각 영역 표시 방법을 제공한다.

또한, 본 발명은 상기된 방법을 수행하기 위한 장치도 제공한다.

본 발명의 일 견지에 따른 건설 기계의 사각 영역 표시 방법에 따르면, 건설 기계의 전방위에 대한 이미지들을 획득할 수 있다. 상기 이미지들로부터 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득할 수 있다. 상기 가상 이미지를 상기 운전석의 모니터에 표시할 수 있다.

예시적인 실시예들에 있어서, 상기 이미지들은 상기 건설 기계의 전방 이미지, 측면 이미지들 및 후방 이미지를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 표시 방법은 상기 운전석의 회전을 감지하는 것을 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 표시 방법은 상기 작업 기구의 회전 각도를 측정하고, 상기 작업 기구의 회전에 따른 상기 사각 영역의 발생 여부를 판단하고; 그리고 상기 사각 영역의 발생 판단에 따른 상기 사각 영역의 위치를 산출하는 것을 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 표시 방법은 상기 작업 기구의 회전 방향과 회전 각도에 따른 상기 작업 기구의 사각 대체 영역을 산출하는 것을 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 사각 영역은 상기 작업 기구의 회전 방향, 상기 작업 각도 및 상기 운전석의 회전에 의해 형성될 수 있다.

예시적인 실시예들에 있어서, 상기 사각 영역의 이미지를 획득하는 것은 상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성하는 것을 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설 기계는 굴삭기를 포함할 수 있다. 상기 작업 기구는 상기 굴삭기의 붐을 포함할 수 있다.

본 발명의 다른 견지에 따른 건설 기계의 사각 영역 표시 장치는 카메라 유닛, 이미지 정합부, 제어부 및 모니터를 포함할 수 있다. 카메라 유닛은 건설 기계의 전방위에 대한 이미지들을 획득할 수 있다. 이미지 정합부는 상기 이미지들을 처리할 수 있다. 제어부는 상기 이미지 정합부에서 처리된 이미지들 중에서 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득할 수 있다. 모니터는 상기 제어부에 의해 획득된 상기 가상 이미지를 표시할 수 있다.

예시적인 실시예들에 있어서, 상기 카메라 유닛은 상기 운전석의 전방을 촬영하는 전방 카메라, 상기 운전석의 후방을 촬영하는 후방 카메라, 상기 운전석의 우측을 촬영하는 우측 카메라, 및 상기 운전석의 좌측을 촬영하는 좌측 카메라를 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 이미지 정합부는 상기 제어부의 제어 신호에 의해서 상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성할 수 있다.

예시적인 실시예들에 있어서, 상기 표시 장치는 상기 운전석의 회전을 감지하여 상기 제어부로 전송하는 회전 감지부를 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 표시 장치는 상기 작업 기구의 회전 각도를 측정하여 상기 제어부로 전송하는 회전각도 측정부를 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 표시 장치는 상기 작업 기구의 회전에 따른 상기 사각 영역의 위치를 감지하는 사각 영역 감지부를 더 포함할 수 있다.

예시적인 실시예들에 있어서, 상기 건설 기계는 굴삭기를 포함할 수 있다. 상기 작업 기구는 상기 굴삭기의 붐을 포함할 수 있다.

상기된 본 발명에 따르면, 카메라들에서 촬영한 이미지들을 처리하여 붐의 회전에 따른 사각 영역에 대한 가상 이미지를 획득할 수 있다. 운전석의 작업자는 모니터에 표시된 가상 이미지를 확인하여, 붐의 회전 방향에 사람이나 구조물이 존재하는지 여부를 확실하게 인식할 수 있다. 따라서, 붐의 회전에 의한 안전 사고를 미연에 방지할 수 있다.

도 1은 본 발명의 실시예에 따른 건설 기계의 사각 영역 표시 장치를 나타낸 블럭도이다.
도 2는 도 1의 장치를 이용해서 건설 기계의 사각 영역을 표시하는 방법을 순차적으로 나타낸 흐름도이다.
도 3 내지 도 8은 도 2의 방법에 따라 표시되는 이미지들이다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

건설 기계의 사각 영역 표시 장치

도 1은 본 발명의 실시예에 따른 건설 기계의 사각 영역 표시 장치를 나타낸 블럭도이다.

도 1을 참조하면, 본 실시예에 따른 건설 기계의 사각 영역 표시 장치는 카메라 유닛(110), 이미지 정합부(120), 회전 감지부(130), 회전 각도 측정부(140), 사각 영역 감지부(150), 제어부(160) 및 모니터(170)를 포함할 수 있다.

본 실시예에서, 건설 기계는 운전석 및 운전석에 연결된 작업 기구를 포함할 수 있다. 예를 들어서, 건설 기계는 굴삭기를 포함할 수 있다. 굴삭기는 주행체, 주행체 상에 선회 가능하게 연결된 운전석, 운전석에 연결된 붐, 붐에 연결된 암 및 암에 선택적으로 연결되는 어태치먼트를 포함할 수 있다. 운전석에 착석한 작업자는 붐의 회전에 따라 붐에 의해 가려지는 영역, 즉 사각 영역을 볼 수 없을 것이다. 예를 들어서, 사각 영역은 붐의 회전 방향에 위치하여 붐에 의해서 가려지는 영역에 해당될 수 있다. 부가적으로, 사각 영역은 상기 작업 기구의 회전 방향, 상기 작업 각도 및 상기 운전석의 회전에 의해서 가려지는 영역도 포함할 수 있다. 그러나, 본 실시예의 사각 영역 표시 장치는 굴삭기 이외에도 다른 건설 기계들에도 적용될 수 있다.

카메라 유닛(110)은 굴삭기의 전방위에 대한 이미지들을 획득할 수 있다. 즉, 카메라 유닛(110)은 굴삭기의 운전석에서 보여지는 모습들을 촬영하여 이미지들을 획득할 수 있다. 카메라 유닛(110)에서 촬영된 이미지들은 모니터(170)에 표시될 수 있다. 따라서, ATM(Around View Monitoring) 시스템이 굴삭기에 적용될 수 있다.

본 실시예에서, 카메라 유닛(110)은 전방 카메라(112), 후방 카메라(114), 좌측 카메라(116) 및 우측 카메라(118)를 포함할 수 있다. 전방 카메라(112)는 운전석의 전방에 배치되어, 운전석에서 전방을 바라본 모습들을 촬영할 수 있다. 후방 카메라(114)는 운전석의 후방에 배치되어, 운전석에서 후방을 바라본 모습들을 촬영할 수 있다. 좌측 카메라(116)는 운전석의 좌측에 배치되어, 운전석에서 좌측을 바라본 모습들을 촬영할 수 있다. 우측 카메라(118)는 운전석의 우측에 배치되어, 운전석에서 우측을 바라본 모습들을 촬영할 수 있다. 따라서, 이미지들은 전방 이미지, 후방 이미지, 좌측 이미지, 우측 이미지 등을 포함할 수 있다. 그러나, 카메라 유닛(110)은 2대, 3대 또는 5대 이상의 카메라들을 포함할 수도 있다.

카메라 유닛(110)에서 촬영한 이미지들은 이미지 정합부(120)로 전송될 수 있다. 이미지 정합부(120)는 이미지들을 계속적으로 정합시킬 수 있다. 예를 들어서, 이미지 정합부(120)는 전방 카메라(112)가 현재 촬영한 이미지에 전방 카메라(112)가 현재 직전 사전 촬영한 사전 이미지를 합성하여, 가상 이미지를 형성할 수 있다. 이미지 정합부(120)에서 정합된 이미지들은 제어부(160)로 전송될 수 있다.

회전 감지부(130)는 운전석의 회전을 감지할 수 있다. 사각 영역은 운전석의 회전에 따라 변화되므로, 회전 감지부(130)는 운전석의 회전을 감지하고, 이를 제어부(160)로 전송할 수 있다.

회전 각도 측정부(140)는 작업 기구인 붐의 회전 방향 및 회전 각도를 측정할 수 있다. 사각 영역은 붐의 회전 방향과 회전 각도에 의존하여 변경되므로, 회전 각도 측정부(1400는 붐의 회전 방향과 회전 각도를 측정하여, 이를 제어부(160)로 전송할 수 있다.

사각 영역 감지부(150)는 회전 각도 측정부(140)에서 측정된 붐의 회전 방향과 회전 각도에 따라 발생되는 사각 영역의 위치를 감지할 수 있다. 사각 영역은 붐의 회전 각도에 따라 계속적으로 변경되므로, 사각 영역 감지부(150)는 붐의 회전 각도에 따른 사각 영역의 위치를 감지하여, 이를 제어부(160)로 전송할 수 있다.

전술한 바와 같이, 제어부(160)는 이미지 정합부(120)로부터 정합된 가상 이미지들을 계속적으로 수신할 수 있다. 또한, 제어부(160)는 회전 감지부(130)로부터 운전석의 회전에 대한 정보를 수신할 수 있다. 아울러, 제어부(160)는 사각 영역 감지부(150)로부터 사각 영역의 위치에 대한 정보도 수신할 수 있다. 제어부(160)는 사각 대체 영역을 산출할 수 있다. 사각 대체 영역은 현재의 전방 카메라(112) 위치에서는 사각 영역이지만, 직전의 전방 카메라(112) 위치에서는 사각 영역이 아닌 영역을 의미할 수 있다. 제어부(160)는 가상 이미지들 중에서 현재 붐의 위치에서 상기된 정보들을 근거로 사각 영역에 해당하는 가상 이미지를 선정할 수 있다. 제어부(160)는 선정된 가상 이미지를 모니터(170)로 전송할 수 있다.

모니터(170)는 전송된 가상 이미지를 표시할 수 있다. 모니터(170)에 표시된 가상 이미지는 사각 영역을 촬영한 전방 카메라(112)의 현재 이미지에 사각 영역을 직전에 촬영한 전방 카메라(112)의 사전 이미지, 즉 사각 대체 영역을 촬영한 사전 이미지가 합성된 이미지일 수 있다. 현재의 전방 카메라(112) 위치에서 상기 영역이 사각 영역에 해당되지만, 직전의 전방 카메라(112) 위치에서는 상기 영역이 사각 영역에 해당되지 않을 수 있다. 따라서, 현재 이미지 상에는 붐에 가려져서 사람이나 구조물이 보이지 않을 수도 있지만, 사전 이미지 상에는 사람이나 구조물이 표시될 수 있다. 그러므로, 현재 이미지와 사전 이미지가 합성된 가상 이미지 상에는 사람이나 구조물이 표시될 수 있다. 결과적으로, 작업자는 모니터(170)에 표시된 가상 이미지를 보고, 사각 영역에 사람이나 구조물이 존재한다는 것을 확인할 수 있다.

건설 기계의 사각 영역 표시 방법

도 2는 도 1의 장치를 이용해서 건설 기계의 사각 영역을 표시하는 방법을 순차적으로 나타낸 흐름도이고, 도 3 내지 도 8은 도 2의 방법에 따라 표시되는 이미지들이다.

도 1 및 도 2를 참조하면, 단계 ST210에서, 카메라 유닛(110)이 굴삭기의 전방위에 대한 이미지들을 획득할 수 있다. 즉, 카메라 유닛(110)은 굴삭기의 운전석에서 바라본 모습들을 촬영하여, 이미지들을 획득할 수 있다. 전방 카메라(112)에서 촬영한 전방 이미지, 후방 카메라(114)에서 촬영한 후방 이미지, 좌측 카메라(116)에서 촬영한 좌측 이미지, 및 우측 카메라(116)에서 촬영한 우측 이미지가 획득될 수 있다.

단계 ST220에서, 이미지 정합부(120)는 이미지들을 계속적으로 정합시킬 수 있다. 예를 들어서, 운전석이 회전함에 따라 전방 카메라(112)는 어느 한 영역을 시간 차이를 두고 촬영하여 2개의 이미지들이 획득될 수 있다. 2개의 이미지들은 동일한 영역을 표시하므로, 이미지 정합부(120)는 동일 영역을 촬영한 2개의 이미지들을 합성하여, 가상 이미지를 형성할 수 있다. 가상 이미지들은 제어부(160)로 계속적으로 전송될 수 있다.

단계 ST230에서, 회전 각도 측정부(140)가 붐의 회전 각도를 측정할 수 있다. 측정된 붐의 회전 각도는 사각 영역 감지부(150)로 전송될 수 있다. 사각 영역 감지부(150)는 붐의 회전 각도에 따라 사각 영역이 발생되는지 여부를 판단할 수 있다. 사각 영역이 발생된다는 것이 확인되면, 도 3에 도시된 바와 같이, 사각 영역 감지부(150)는 사각 영역의 위치를 산출할 수 있다.

단계 ST240에서, 도 4에 도시된 바와 같이, 제어부(160)는 전송된 가상 이미지들 중에서 사각 영역에 해당하는 가상 이미지를 저장할 수 있다. 붐이 계속적으로 회전한다면 사각 영역도 계속적으로 변경되므로, 제어부(160)는 변경되는 사각 영역에 대응하는 가상 이미지를 계속적으로 저장할 수 있다.

단계 ST250에서, 회전 감지부(130)가 운전석의 회전을 감지할 수 있다. 감지된 운전석의 회전은 제어부(160)로 전송될 수 있다. 도 5에 도시된 바와 같이, 제어부(160)는 운전석의 회전에 대한 정보에 따라 붐의 사각 대체 영역의 위치를 산출할 수 있다.

단계 ST260에서, 도 6에 도시된 바와 같이, 제어부(160)는 현재 사각 영역에 대응하는 사각 대체 영역을 촬영한 사전 이미지를 선정할 수 있다. 사전 이미지 상에는 사람이 존재하는 것으로 표시될 수 있다.

단계 ST270에서, 제어부(160)는 사각 영역을 촬영한 현재 이미지에 사각 대체 영역을 촬영한 사전 이미지를 합성하여, 사각 영역을 표시하는 가상 이미지를 형성할 수 있다. 도 7에 도시된 바와 같이, 사각 영역을 촬영한 현재 이미지 상에는 붐에 가려져서 사람이 보이지 않지만, 사각 대체 영역을 촬영한 사전 이미지 상에는 사람이 보일 수 있다. 따라서, 사각 영역을 나타낸 가상 이미지 상에는 사람이 존재하는 것으로 표시될 수 있다.

단계 ST280에서, 도 8에 도시된 바와 같이, 모니터(170)는 제어부(160)로부터 전송된 가상 이미지를 표시할 수 있다. 모니터(170)에 표시된 사각 영역의 가상 이미지 상에는 사람이 존재하게 되므로, 작업자는 모니터(170)에 표시된 가상 이미지를 확인하여, 안전 사고의 발생을 사전에 방지할 수가 있게 된다.

상술한 바와 같이 본 실시예들에 따르면, 카메라들에서 촬영한 이미지들을 처리하여 붐의 회전에 따른 사각 영역에 대한 가상 이미지를 획득할 수 있다. 운전석의 작업자는 모니터에 표시된 가상 이미지를 확인하여, 붐의 회전 방향에 사람이나 구조물이 존재하는지 여부를 확실하게 인식할 수 있다. 따라서, 붐의 회전에 의한 안전 사고를 미연에 방지할 수 있다.

상술한 바와 같이, 본 발명의 바람직한 실시예들을 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110 ; 카메라 유닛 112 ; 전방 카메라
114 ; 후방 카메라 116 ; 좌측 카메라
118 ; 우측 카메라 120 ; 이미지 정합부
130 ; 회전 감지부 140 ; 회전각도 측정부
150 ; 사각 영역 감지부 160 ; 제어부
170 ; 모니터

Claims (15)

  1. 건설 기계의 전방위 이미지들을 획득하고;
    상기 이미지들로부터 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득하고; 그리고
    상기 가상 이미지를 상기 운전석의 모니터에 표시하는 것을 포함하는 건설 기계의 사각 영역 표시 방법.
  2. 제 1 항에 있어서, 상기 이미지들은 상기 건설 기계의 전방 이미지, 측면 이미지들 및 후방 이미지를 포함하는 건설 기계의 사각 영역 표시 방법.
  3. 제 1 항에 있어서, 상기 운전석의 회전을 감지하는 것을 더 포함하는 건설 기계의 사각 영역 표시 방법.
  4. 제 1 항에 있어서,
    상기 작업 기구의 회전 각도를 감지하고,
    상기 작업 기구의 회전 각도에 따른 상기 사각 영역의 발생 여부를 판단하고; 그리고
    상기 사각 영역의 발생 판단에 따른 상기 사각 영역의 위치를 산출하는 것을 더 포함하는 건설 기계의 사각 영역 표시 방법.
  5. 제 4 항에 있어서, 상기 작업 기구의 회전 방향과 회전 각도에 따른 상기 작업 기구의 사각 대체 영역을 산출하는 것을 더 포함하는 건설 기계의 사각 영역 표시 방법.
  6. 제 1 항에 있어서, 상기 사각 영역은 상기 작업 기구의 회전 방향, 상기 작업 각도 및 상기 운전석의 회전에 의해 형성되는 건설 기계의 사각 영역 표시 방법.
  7. 제 1 항에 있어서, 상기 사각 영역의 이미지를 획득하는 것은
    상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성하여 상기 가상 이미지를 획득하는 것을 포함하는 건설 기계의 사각 영역 표시 방법.
  8. 제 1 항에 있어서, 상기 건설 기계는 굴삭기를 포함하고, 상기 작업 기구는 상기 굴삭기의 붐을 포함하는 건설 기계의 사각 영역 표시 방법.
  9. 건설 기계의 전방위 이미지들을 획득하는 카메라 유닛;
    상기 카메라 유닛들로부터 획득한 상기 이미지들을 처리하는 이미지 정합부;
    상기 이미지 정합부에서 처리된 이미지들 중 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득하는 제어부; 및
    상기 제어부에 의해 획득된 상기 가상 이미지를 표시하는 모니터를 포함하는 건설 기계의 사각 영역 표시 장치.
  10. 제 9 항에 있어서, 상기 카메라 유닛은
    상기 운전석의 전방을 촬영하는 전방 카메라;
    상기 운전석의 후방을 촬영하는 후방 카메라;
    상기 운전석의 우측을 촬영하는 우측 카메라; 및
    상기 운전석의 좌측을 촬영하는 좌측 카메라를 포함하는 건설 기계의 사각 영역 표시 장치.
  11. 제 9 항에 있어서, 상기 이미지 정합부는 상기 제어부의 제어 신호에 의해서 상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성하는 건설 기계의 사각 영역 표시 장치.
  12. 제 9 항에 있어서, 상기 운전석의 회전을 감지하여 상기 제어부로 전송하는 회전 감지부를 더 포함하는 건설 기계의 사각 영역 표시 장치.
  13. 제 9 항에 있어서, 상기 작업 기구의 회전 각도를 측정하여 상기 제어부로 전송하는 회전각도 측정부를 더 포함하는 건설 기계의 사각 영역 표시 장치.
  14. 제 9 항에 있어서, 상기 작업 기구의 회전 각도에 따른 상기 사각 영역의 위치를 감지하는 사각 영역 감지부를 더 포함하는 건설 기계의 사각 영역 표시 장치.
  15. 제 9 항에 있어서, 상기 건설 기계는 굴삭기를 포함하고, 상기 작업 기구는 상기 굴삭기의 붐을 포함하는 건설 기계의 사각 영역 표시 장치.
KR1020150035809A 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 KR20160111102A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150035809A KR20160111102A (ko) 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020150035809A KR20160111102A (ko) 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
US15/069,288 US10060098B2 (en) 2015-03-16 2016-03-14 Method of displaying a dead zone of a construction machine and apparatus for performing the same
EP16160253.7A EP3078779A3 (en) 2015-03-16 2016-03-15 Method of displaying a dead zone of a construction machine and apparatus for performing the same
EP16194111.7A EP3141663A1 (en) 2015-03-16 2016-03-15 Method of displaying a dead zone of a construction machine and apparatus for performing the same

Publications (1)

Publication Number Publication Date
KR20160111102A true KR20160111102A (ko) 2016-09-26

Family

ID=56081206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150035809A KR20160111102A (ko) 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치

Country Status (3)

Country Link
US (1) US10060098B2 (ko)
EP (2) EP3141663A1 (ko)
KR (1) KR20160111102A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3267680A4 (en) * 2015-03-03 2018-10-03 Hitachi Construction Machinery Co., Ltd. Device for monitoring surroundings of vehicle
US10011976B1 (en) 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1037252A (ja) * 1996-07-22 1998-02-10 Shin Caterpillar Mitsubishi Ltd 車両周辺表示方法およびその装置
JP3351984B2 (ja) * 1997-04-22 2002-12-03 国土交通省関東地方整備局長 作業用走行車の視界改善装置および方法
JP2002314990A (ja) * 2001-04-12 2002-10-25 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP5143481B2 (ja) 2007-06-28 2013-02-13 住友建機株式会社 建設機械用モニター装置
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP5158051B2 (ja) 2009-09-18 2013-03-06 三菱自動車工業株式会社 運転支援装置
IL201336A (en) * 2009-10-01 2014-03-31 Rafael Advanced Defense Sys System and method for assisting navigation of a vehicle in circumstances where there is a possibility of the view being obscured
KR101640602B1 (ko) 2009-12-15 2016-07-18 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
JP5667638B2 (ja) 2010-10-22 2015-02-12 日立建機株式会社 作業機械の周辺監視装置
JP5497617B2 (ja) * 2010-11-16 2014-05-21 住友重機械工業株式会社 画像生成装置及び操作支援システム
KR101735116B1 (ko) * 2011-01-24 2017-05-15 두산인프라코어 주식회사 건설중장비의 운행정보 기록장치
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
US9580885B2 (en) * 2011-10-19 2017-02-28 Sumitomo Heavy Industries, Ltd. Swing operating machine and method of controlling swing operating machine
US20140118533A1 (en) * 2012-01-27 2014-05-01 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
KR102007535B1 (ko) 2012-01-30 2019-08-05 두산인프라코어 주식회사 건설기계의 화면표시장치
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
KR102123127B1 (ko) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 화면모드 선택 장치 및 방법
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
JP6393412B2 (ja) * 2015-04-24 2018-09-19 株式会社日立製作所 体積推定装置及びそれを備えた油圧ショベル
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System

Also Published As

Publication number Publication date
EP3141663A1 (en) 2017-03-15
EP3078779A2 (en) 2016-10-12
US20160273195A1 (en) 2016-09-22
US10060098B2 (en) 2018-08-28
EP3078779A3 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
EP2899496B1 (en) Periphery-information acquisition device for vehicle
EP1277026B1 (en) Combined stereovision, color 3d digitizing and motion capture system
JP4136859B2 (ja) 位置姿勢計測方法
US8866811B2 (en) Image processing apparatus and image processing method
KR100969576B1 (ko) 카메라 파라미터 캘리브레이션 장치 및 방법
JP4323377B2 (ja) 画像表示装置
US20140211995A1 (en) Point-of-gaze estimation robust to head rotations and/or estimation device rotations
US9123096B2 (en) Information processing apparatus and control method thereof
US6046431A (en) Remote operator viewing and measurement system for arc welding
EP1886281B1 (en) Image processing method and image processing apparatus
JP4751939B2 (ja) 車載カメラの校正装置
JP5714232B2 (ja) キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
US6539330B2 (en) Method and apparatus for measuring 3-D information
KR20140060321A (ko) 작업기의 주위 감시 장치
EP1835472A2 (en) Object detection apparatus
JP4803449B2 (ja) 車載カメラの校正装置、校正方法、並びにこの校正方法を用いた車両の生産方法
JP4517049B2 (ja) 視線検出方法および視線検出装置
WO2012053105A1 (ja) 作業機械の周辺監視装置
JP5802476B2 (ja) 建設機械制御システム
US6694194B2 (en) Remote work supporting system
JP4537557B2 (ja) 情報呈示システム
KR20170045145A (ko) 위치 계측 시스템 및 위치 계측 방법
US8155385B2 (en) Image-processing system and image-processing method
EP2309925B1 (de) Röntgenbild-aufnahmesystem und röntgenbild-aufnahmeverfahren zur aufnahme von bilddaten mit röntgengeräten für eine volumenrekonstruktion
DE102007033486B4 (de) Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild

Legal Events

Date Code Title Description
A201 Request for examination