KR102426631B1 - 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 - Google Patents

건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 Download PDF

Info

Publication number
KR102426631B1
KR102426631B1 KR1020150035809A KR20150035809A KR102426631B1 KR 102426631 B1 KR102426631 B1 KR 102426631B1 KR 1020150035809 A KR1020150035809 A KR 1020150035809A KR 20150035809 A KR20150035809 A KR 20150035809A KR 102426631 B1 KR102426631 B1 KR 102426631B1
Authority
KR
South Korea
Prior art keywords
blind area
driver
seat
construction machine
image
Prior art date
Application number
KR1020150035809A
Other languages
English (en)
Other versions
KR20160111102A (ko
Inventor
장경률
김정대
주승훈
Original Assignee
현대두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대두산인프라코어 주식회사 filed Critical 현대두산인프라코어 주식회사
Priority to KR1020150035809A priority Critical patent/KR102426631B1/ko
Priority to US15/069,288 priority patent/US10060098B2/en
Priority to EP16160253.7A priority patent/EP3078779A3/en
Priority to EP16194111.7A priority patent/EP3141663A1/en
Publication of KR20160111102A publication Critical patent/KR20160111102A/ko
Application granted granted Critical
Publication of KR102426631B1 publication Critical patent/KR102426631B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

건설 기계의 사각 영역 표시 방법에 따르면, 건설 기계에 장착된 카메라로 건설 기계의 전방위 이미지들을 획득할 수 있다. 상기 이미지들로부터 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득할 수 있다. 상기 가상 이미지를 상기 운전석의 모니터에 표시할 수 있다. 따라서, 운전석의 작업자는 모니터에 표시된 가상 이미지를 확인하여, 붐의 회전 방향에 사람이나 구조물이 존재하는지 여부를 확실하게 인식할 수 있다.

Description

건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치{METHOD OF DISPLAYING A DEAD ZONE OF A CONSTRUCTION MACHINE AND APPARATUS FOR PERFORMING THE SAME}
본 발명은 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치에 관한 것으로서, 보다 구체적으로는 굴삭기의 붐에 의해 형성되는 사각 영역을 운전석의 모니터에 표시하는 방법, 및 이러한 방법을 수행하기 위한 장치에 관한 것이다.
일반적으로, 굴삭기는 하부 주행체, 하부 주행체 상에 선회 가능하게 연결된 선회체, 선회체에 연결된 붐, 붐에 연결된 암 및 암에 선택적으로 연결되는 어태치먼트를 포함할 수 있다. 어태치먼트는 버킷, 브레이커, 크러셔 등을 포함할 수 있다.
붐이 회전할 때, 운전석에 착석한 작업자는 운전석의 전방, 후방 및 측면들을 모두 확인할 수는 없을 것이다. 이로 인하여, 전방에 사람이나 고정물이 존재할 경우, 대형 안전 사고가 유발될 수 있다.
관련 기술들에 따르면, 운전석에 카메라를 설치하여, 카메라에서 촬영한 이미지를 운전석의 모니터에 표시할 수 있다. 작업자는 모니터에 표시된 이미지를 보면서 안전 사고가 발생되지 않도록 붐을 회전시킬 수는 있다.
그러나, 붐의 회전에 의해서, 운전석의 작업자가 붐에 의해 가려져서 볼 수 없는 영역, 즉 사각 영역이 발생될 수 있다. 이러한 사각 영역은 현재 사각 영역을 촬영하는 카메라로도 표시할 수 없다.
본 발명은 붐의 회전에 의해 발생되는 사각 영역을 정확하게 표시할 수 있는 건설 기계의 사각 영역 표시 방법을 제공한다.
또한, 본 발명은 상기된 방법을 수행하기 위한 장치도 제공한다.
본 발명의 일 견지에 따른 건설 기계의 사각 영역 표시 방법에 따르면, 건설 기계의 전방위에 대한 이미지들을 획득할 수 있다. 상기 이미지들로부터 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득할 수 있다. 상기 가상 이미지를 상기 운전석의 모니터에 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 이미지들은 상기 건설 기계의 전방 이미지, 측면 이미지들 및 후방 이미지를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 방법은 상기 운전석의 회전을 감지하는 것을 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 방법은 상기 작업 기구의 회전 각도를 측정하고, 상기 작업 기구의 회전에 따른 상기 사각 영역의 발생 여부를 판단하고; 그리고 상기 사각 영역의 발생 판단에 따른 상기 사각 영역의 위치를 산출하는 것을 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 방법은 상기 작업 기구의 회전 방향과 회전 각도에 따른 상기 작업 기구의 사각 대체 영역을 산출하는 것을 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 사각 영역은 상기 작업 기구의 회전 방향, 상기 작업 각도 및 상기 운전석의 회전에 의해 형성될 수 있다.
예시적인 실시예들에 있어서, 상기 사각 영역의 이미지를 획득하는 것은 상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성하는 것을 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설 기계는 굴삭기를 포함할 수 있다. 상기 작업 기구는 상기 굴삭기의 붐을 포함할 수 있다.
본 발명의 다른 견지에 따른 건설 기계의 사각 영역 표시 장치는 카메라 유닛, 이미지 정합부, 제어부 및 모니터를 포함할 수 있다. 카메라 유닛은 건설 기계의 전방위에 대한 이미지들을 획득할 수 있다. 이미지 정합부는 상기 이미지들을 처리할 수 있다. 제어부는 상기 이미지 정합부에서 처리된 이미지들 중에서 상기 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득할 수 있다. 모니터는 상기 제어부에 의해 획득된 상기 가상 이미지를 표시할 수 있다.
예시적인 실시예들에 있어서, 상기 카메라 유닛은 상기 운전석의 전방을 촬영하는 전방 카메라, 상기 운전석의 후방을 촬영하는 후방 카메라, 상기 운전석의 우측을 촬영하는 우측 카메라, 및 상기 운전석의 좌측을 촬영하는 좌측 카메라를 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 이미지 정합부는 상기 제어부의 제어 신호에 의해서 상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 장치는 상기 운전석의 회전을 감지하여 상기 제어부로 전송하는 회전 감지부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 장치는 상기 작업 기구의 회전 각도를 측정하여 상기 제어부로 전송하는 회전각도 측정부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 표시 장치는 상기 작업 기구의 회전에 따른 상기 사각 영역의 위치를 감지하는 사각 영역 감지부를 더 포함할 수 있다.
예시적인 실시예들에 있어서, 상기 건설 기계는 굴삭기를 포함할 수 있다. 상기 작업 기구는 상기 굴삭기의 붐을 포함할 수 있다.
상기된 본 발명에 따르면, 카메라들에서 촬영한 이미지들을 처리하여 붐의 회전에 따른 사각 영역에 대한 가상 이미지를 획득할 수 있다. 운전석의 작업자는 모니터에 표시된 가상 이미지를 확인하여, 붐의 회전 방향에 사람이나 구조물이 존재하는지 여부를 확실하게 인식할 수 있다. 따라서, 붐의 회전에 의한 안전 사고를 미연에 방지할 수 있다.
도 1은 본 발명의 실시예에 따른 건설 기계의 사각 영역 표시 장치를 나타낸 블럭도이다.
도 2는 도 1의 장치를 이용해서 건설 기계의 사각 영역을 표시하는 방법을 순차적으로 나타낸 흐름도이다.
도 3 내지 도 8은 도 2의 방법에 따라 표시되는 이미지들이다.
이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
건설 기계의 사각 영역 표시 장치
도 1은 본 발명의 실시예에 따른 건설 기계의 사각 영역 표시 장치를 나타낸 블럭도이다.
도 1을 참조하면, 본 실시예에 따른 건설 기계의 사각 영역 표시 장치는 카메라 유닛(110), 이미지 정합부(120), 회전 감지부(130), 회전 각도 측정부(140), 사각 영역 감지부(150), 제어부(160) 및 모니터(170)를 포함할 수 있다.
본 실시예에서, 건설 기계는 운전석 및 운전석에 연결된 작업 기구를 포함할 수 있다. 예를 들어서, 건설 기계는 굴삭기를 포함할 수 있다. 굴삭기는 주행체, 주행체 상에 선회 가능하게 연결된 운전석, 운전석에 연결된 붐, 붐에 연결된 암 및 암에 선택적으로 연결되는 어태치먼트를 포함할 수 있다. 운전석에 착석한 작업자는 붐의 회전에 따라 붐에 의해 가려지는 영역, 즉 사각 영역을 볼 수 없을 것이다. 예를 들어서, 사각 영역은 붐의 회전 방향에 위치하여 붐에 의해서 가려지는 영역에 해당될 수 있다. 부가적으로, 사각 영역은 상기 작업 기구의 회전 방향, 상기 작업 각도 및 상기 운전석의 회전에 의해서 가려지는 영역도 포함할 수 있다. 그러나, 본 실시예의 사각 영역 표시 장치는 굴삭기 이외에도 다른 건설 기계들에도 적용될 수 있다.
카메라 유닛(110)은 굴삭기의 전방위에 대한 이미지들을 획득할 수 있다. 즉, 카메라 유닛(110)은 굴삭기의 운전석에서 보여지는 모습들을 촬영하여 이미지들을 획득할 수 있다. 카메라 유닛(110)에서 촬영된 이미지들은 모니터(170)에 표시될 수 있다. 따라서, ATM(Around View Monitoring) 시스템이 굴삭기에 적용될 수 있다.
본 실시예에서, 카메라 유닛(110)은 전방 카메라(112), 후방 카메라(114), 좌측 카메라(116) 및 우측 카메라(118)를 포함할 수 있다. 전방 카메라(112)는 운전석의 전방에 배치되어, 운전석에서 전방을 바라본 모습들을 촬영할 수 있다. 후방 카메라(114)는 운전석의 후방에 배치되어, 운전석에서 후방을 바라본 모습들을 촬영할 수 있다. 좌측 카메라(116)는 운전석의 좌측에 배치되어, 운전석에서 좌측을 바라본 모습들을 촬영할 수 있다. 우측 카메라(118)는 운전석의 우측에 배치되어, 운전석에서 우측을 바라본 모습들을 촬영할 수 있다. 따라서, 이미지들은 전방 이미지, 후방 이미지, 좌측 이미지, 우측 이미지 등을 포함할 수 있다. 그러나, 카메라 유닛(110)은 2대, 3대 또는 5대 이상의 카메라들을 포함할 수도 있다.
카메라 유닛(110)에서 촬영한 이미지들은 이미지 정합부(120)로 전송될 수 있다. 이미지 정합부(120)는 이미지들을 계속적으로 정합시킬 수 있다. 예를 들어서, 이미지 정합부(120)는 전방 카메라(112)가 현재 촬영한 이미지에 전방 카메라(112)가 현재 직전 사전 촬영한 사전 이미지를 합성하여, 가상 이미지를 형성할 수 있다. 이미지 정합부(120)에서 정합된 이미지들은 제어부(160)로 전송될 수 있다.
회전 감지부(130)는 운전석의 회전을 감지할 수 있다. 사각 영역은 운전석의 회전에 따라 변화되므로, 회전 감지부(130)는 운전석의 회전을 감지하고, 이를 제어부(160)로 전송할 수 있다.
회전 각도 측정부(140)는 작업 기구인 붐의 회전 방향 및 회전 각도를 측정할 수 있다. 사각 영역은 붐의 회전 방향과 회전 각도에 의존하여 변경되므로, 회전 각도 측정부(1400는 붐의 회전 방향과 회전 각도를 측정하여, 이를 제어부(160)로 전송할 수 있다.
사각 영역 감지부(150)는 회전 각도 측정부(140)에서 측정된 붐의 회전 방향과 회전 각도에 따라 발생되는 사각 영역의 위치를 감지할 수 있다. 사각 영역은 붐의 회전 각도에 따라 계속적으로 변경되므로, 사각 영역 감지부(150)는 붐의 회전 각도에 따른 사각 영역의 위치를 감지하여, 이를 제어부(160)로 전송할 수 있다.
전술한 바와 같이, 제어부(160)는 이미지 정합부(120)로부터 정합된 가상 이미지들을 계속적으로 수신할 수 있다. 또한, 제어부(160)는 회전 감지부(130)로부터 운전석의 회전에 대한 정보를 수신할 수 있다. 아울러, 제어부(160)는 사각 영역 감지부(150)로부터 사각 영역의 위치에 대한 정보도 수신할 수 있다. 제어부(160)는 사각 대체 영역을 산출할 수 있다. 사각 대체 영역은 현재의 전방 카메라(112) 위치에서는 사각 영역이지만, 직전의 전방 카메라(112) 위치에서는 사각 영역이 아닌 영역을 의미할 수 있다. 제어부(160)는 가상 이미지들 중에서 현재 붐의 위치에서 상기된 정보들을 근거로 사각 영역에 해당하는 가상 이미지를 선정할 수 있다. 제어부(160)는 선정된 가상 이미지를 모니터(170)로 전송할 수 있다.
모니터(170)는 전송된 가상 이미지를 표시할 수 있다. 모니터(170)에 표시된 가상 이미지는 사각 영역을 촬영한 전방 카메라(112)의 현재 이미지에 사각 영역을 직전에 촬영한 전방 카메라(112)의 사전 이미지, 즉 사각 대체 영역을 촬영한 사전 이미지가 합성된 이미지일 수 있다. 현재의 전방 카메라(112) 위치에서 상기 영역이 사각 영역에 해당되지만, 직전의 전방 카메라(112) 위치에서는 상기 영역이 사각 영역에 해당되지 않을 수 있다. 따라서, 현재 이미지 상에는 붐에 가려져서 사람이나 구조물이 보이지 않을 수도 있지만, 사전 이미지 상에는 사람이나 구조물이 표시될 수 있다. 그러므로, 현재 이미지와 사전 이미지가 합성된 가상 이미지 상에는 사람이나 구조물이 표시될 수 있다. 결과적으로, 작업자는 모니터(170)에 표시된 가상 이미지를 보고, 사각 영역에 사람이나 구조물이 존재한다는 것을 확인할 수 있다.
건설 기계의 사각 영역 표시 방법
도 2는 도 1의 장치를 이용해서 건설 기계의 사각 영역을 표시하는 방법을 순차적으로 나타낸 흐름도이고, 도 3 내지 도 8은 도 2의 방법에 따라 표시되는 이미지들이다.
도 1 및 도 2를 참조하면, 단계 ST210에서, 카메라 유닛(110)이 굴삭기의 전방위에 대한 이미지들을 획득할 수 있다. 즉, 카메라 유닛(110)은 굴삭기의 운전석에서 바라본 모습들을 촬영하여, 이미지들을 획득할 수 있다. 전방 카메라(112)에서 촬영한 전방 이미지, 후방 카메라(114)에서 촬영한 후방 이미지, 좌측 카메라(116)에서 촬영한 좌측 이미지, 및 우측 카메라(116)에서 촬영한 우측 이미지가 획득될 수 있다.
단계 ST220에서, 이미지 정합부(120)는 이미지들을 계속적으로 정합시킬 수 있다. 예를 들어서, 운전석이 회전함에 따라 전방 카메라(112)는 어느 한 영역을 시간 차이를 두고 촬영하여 2개의 이미지들이 획득될 수 있다. 2개의 이미지들은 동일한 영역을 표시하므로, 이미지 정합부(120)는 동일 영역을 촬영한 2개의 이미지들을 합성하여, 가상 이미지를 형성할 수 있다. 가상 이미지들은 제어부(160)로 계속적으로 전송될 수 있다.
단계 ST230에서, 회전 각도 측정부(140)가 붐의 회전 각도를 측정할 수 있다. 측정된 붐의 회전 각도는 사각 영역 감지부(150)로 전송될 수 있다. 사각 영역 감지부(150)는 붐의 회전 각도에 따라 사각 영역이 발생되는지 여부를 판단할 수 있다. 사각 영역이 발생된다는 것이 확인되면, 도 3에 도시된 바와 같이, 사각 영역 감지부(150)는 사각 영역의 위치를 산출할 수 있다.
단계 ST240에서, 도 4에 도시된 바와 같이, 제어부(160)는 전송된 가상 이미지들 중에서 사각 영역에 해당하는 가상 이미지를 저장할 수 있다. 붐이 계속적으로 회전한다면 사각 영역도 계속적으로 변경되므로, 제어부(160)는 변경되는 사각 영역에 대응하는 가상 이미지를 계속적으로 저장할 수 있다.
단계 ST250에서, 회전 감지부(130)가 운전석의 회전을 감지할 수 있다. 감지된 운전석의 회전은 제어부(160)로 전송될 수 있다. 도 5에 도시된 바와 같이, 제어부(160)는 운전석의 회전에 대한 정보에 따라 붐의 사각 대체 영역의 위치를 산출할 수 있다.
단계 ST260에서, 도 6에 도시된 바와 같이, 제어부(160)는 현재 사각 영역에 대응하는 사각 대체 영역을 촬영한 사전 이미지를 선정할 수 있다. 사전 이미지 상에는 사람이 존재하는 것으로 표시될 수 있다.
단계 ST270에서, 제어부(160)는 사각 영역을 촬영한 현재 이미지에 사각 대체 영역을 촬영한 사전 이미지를 합성하여, 사각 영역을 표시하는 가상 이미지를 형성할 수 있다. 도 7에 도시된 바와 같이, 사각 영역을 촬영한 현재 이미지 상에는 붐에 가려져서 사람이 보이지 않지만, 사각 대체 영역을 촬영한 사전 이미지 상에는 사람이 보일 수 있다. 따라서, 사각 영역을 나타낸 가상 이미지 상에는 사람이 존재하는 것으로 표시될 수 있다.
단계 ST280에서, 도 8에 도시된 바와 같이, 모니터(170)는 제어부(160)로부터 전송된 가상 이미지를 표시할 수 있다. 모니터(170)에 표시된 사각 영역의 가상 이미지 상에는 사람이 존재하게 되므로, 작업자는 모니터(170)에 표시된 가상 이미지를 확인하여, 안전 사고의 발생을 사전에 방지할 수가 있게 된다.
상술한 바와 같이 본 실시예들에 따르면, 카메라들에서 촬영한 이미지들을 처리하여 붐의 회전에 따른 사각 영역에 대한 가상 이미지를 획득할 수 있다. 운전석의 작업자는 모니터에 표시된 가상 이미지를 확인하여, 붐의 회전 방향에 사람이나 구조물이 존재하는지 여부를 확실하게 인식할 수 있다. 따라서, 붐의 회전에 의한 안전 사고를 미연에 방지할 수 있다.
상술한 바와 같이, 본 발명의 바람직한 실시예들을 참조하여 설명하였지만 해당 기술 분야의 숙련된 당업자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110 ; 카메라 유닛 112 ; 전방 카메라
114 ; 후방 카메라 116 ; 좌측 카메라
118 ; 우측 카메라 120 ; 이미지 정합부
130 ; 회전 감지부 140 ; 회전각도 측정부
150 ; 사각 영역 감지부 160 ; 제어부
170 ; 모니터

Claims (15)

  1. 건설 기계의 전방위 이미지들을 획득하고;
    상기 이미지들로부터 상기 건설 기계의 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득하고; 그리고
    상기 가상 이미지를 상기 운전석의 모니터에 표시하는 것을 포함하고,
    상기 작업 기구의 회전 각도를 감지하고,
    상기 작업 기구의 회전 각도에 따른 상기 사각 영역의 발생 여부를 판단하고;
    상기 사각 영역의 발생 판단에 따른 상기 사각 영역의 위치를 산출하고; 그리고
    상기 작업 기구의 회전 방향과 회전 각도에 따른 상기 작업 기구의 사각 대체 영역을 산출하는 것을 더 포함하는 건설 기계의 사각 영역 표시 방법.
  2. 제 1 항에 있어서, 상기 이미지들은 상기 건설 기계의 전방 이미지, 측면 이미지들 및 후방 이미지를 포함하는 건설 기계의 사각 영역 표시 방법.
  3. 제 1 항에 있어서, 상기 운전석의 회전을 감지하는 것을 더 포함하는 건설 기계의 사각 영역 표시 방법.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서, 상기 사각 영역은 상기 작업 기구의 회전 방향, 상기 작업 기구의 작업 각도 및 상기 운전석의 회전에 의해 형성되는 건설 기계의 사각 영역 표시 방법.
  7. 제 1 항에 있어서, 상기 사각 영역의 이미지를 획득하는 것은
    상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성하여 상기 가상 이미지를 획득하는 것을 포함하는 건설 기계의 사각 영역 표시 방법.
  8. 제 1 항에 있어서, 상기 건설 기계는 굴삭기를 포함하고, 상기 작업 기구는 상기 굴삭기의 붐을 포함하는 건설 기계의 사각 영역 표시 방법.
  9. 건설 기계의 전방위 이미지들을 획득하는 카메라 유닛;
    상기 카메라 유닛들로부터 획득한 상기 이미지들을 처리하는 이미지 정합부;
    상기 이미지 정합부에서 처리된 이미지들 중 상기 건설 기계의 운전석에 연결된 작업 기구에 의해 형성되는 사각 영역에 대한 가상 이미지를 획득하는 제어부;
    상기 제어부에 의해 획득된 상기 가상 이미지를 표시하는 모니터;
    상기 운전석의 회전을 감지하여 상기 제어부로 전송하는 회전 감지부;
    상기 작업 기구의 회전 각도를 측정하여 상기 제어부로 전송하는 회전각도 측정부; 및
    상기 작업 기구의 회전 각도에 따른 상기 사각 영역의 위치를 감지하는 사각 영역 감지부를 포함하고,
    상기 제어부는 상기 작업 기구의 회전 방향과 회전 각도에 따른 상기 작업 기구의 사각 대체 영역을 산출하는 건설 기계의 사각 영역 표시 장치.
  10. 제 9 항에 있어서, 상기 카메라 유닛은
    상기 운전석의 전방을 촬영하는 전방 카메라;
    상기 운전석의 후방을 촬영하는 후방 카메라;
    상기 운전석의 우측을 촬영하는 우측 카메라; 및
    상기 운전석의 좌측을 촬영하는 좌측 카메라를 포함하는 건설 기계의 사각 영역 표시 장치.
  11. 제 9 항에 있어서, 상기 이미지 정합부는 상기 제어부의 제어 신호에 의해서 상기 사각 영역을 나타낸 현재 이미지에 상기 사각 영역을 사전 촬영하여 획득한 적어도 하나의 사전 이미지를 합성하는 건설 기계의 사각 영역 표시 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제 9 항에 있어서, 상기 건설 기계는 굴삭기를 포함하고, 상기 작업 기구는 상기 굴삭기의 붐을 포함하는 건설 기계의 사각 영역 표시 장치.
KR1020150035809A 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치 KR102426631B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150035809A KR102426631B1 (ko) 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
US15/069,288 US10060098B2 (en) 2015-03-16 2016-03-14 Method of displaying a dead zone of a construction machine and apparatus for performing the same
EP16160253.7A EP3078779A3 (en) 2015-03-16 2016-03-15 Method of displaying a dead zone of a construction machine and apparatus for performing the same
EP16194111.7A EP3141663A1 (en) 2015-03-16 2016-03-15 Method of displaying a dead zone of a construction machine and apparatus for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150035809A KR102426631B1 (ko) 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치

Publications (2)

Publication Number Publication Date
KR20160111102A KR20160111102A (ko) 2016-09-26
KR102426631B1 true KR102426631B1 (ko) 2022-07-28

Family

ID=56081206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150035809A KR102426631B1 (ko) 2015-03-16 2015-03-16 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치

Country Status (3)

Country Link
US (1) US10060098B2 (ko)
EP (2) EP3078779A3 (ko)
KR (1) KR102426631B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10017112B2 (en) * 2015-03-03 2018-07-10 Hitachi Construction Machinery Co., Ltd. Surroundings monitoring device of vehicle
US10011976B1 (en) 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition
WO2021054757A1 (ko) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 건설장비용 전방 영상 생성 장치
KR20220066673A (ko) * 2020-11-16 2022-05-24 현대두산인프라코어(주) 상부체의 회전을 검출하기 위한 굴착기 및 그의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1037252A (ja) * 1996-07-22 1998-02-10 Shin Caterpillar Mitsubishi Ltd 車両周辺表示方法およびその装置
JP3351984B2 (ja) * 1997-04-22 2002-12-03 国土交通省関東地方整備局長 作業用走行車の視界改善装置および方法
JP2002314990A (ja) * 2001-04-12 2002-10-25 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
US7212653B2 (en) * 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
JP4321543B2 (ja) * 2006-04-12 2009-08-26 トヨタ自動車株式会社 車両周辺監視装置
JP5143481B2 (ja) 2007-06-28 2013-02-13 住友建機株式会社 建設機械用モニター装置
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
JP4951639B2 (ja) * 2009-03-02 2012-06-13 日立建機株式会社 周囲監視装置を備えた作業機械
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP5158051B2 (ja) 2009-09-18 2013-03-06 三菱自動車工業株式会社 運転支援装置
IL201336A (en) * 2009-10-01 2014-03-31 Rafael Advanced Defense Sys A system and method for assisting in navigating a vehicle under conditions where visual impairment may occur
KR101640602B1 (ko) * 2009-12-15 2016-07-18 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5269026B2 (ja) * 2010-09-29 2013-08-21 日立建機株式会社 作業機械の周囲監視装置
US9113047B2 (en) * 2010-10-22 2015-08-18 Hitachi Construction Machinery Co., Ltd. Peripheral monitoring device for working machine
JP5497617B2 (ja) * 2010-11-16 2014-05-21 住友重機械工業株式会社 画像生成装置及び操作支援システム
KR101735116B1 (ko) * 2011-01-24 2017-05-15 두산인프라코어 주식회사 건설중장비의 운행정보 기록장치
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
CN103857851B (zh) * 2011-10-19 2016-03-09 住友重机械工业株式会社 回转作业机械及回转作业机械的控制方法
KR102007535B1 (ko) * 2012-01-30 2019-08-05 두산인프라코어 주식회사 건설기계의 화면표시장치
EP2808455B1 (en) * 2012-01-27 2018-05-30 Doosan Infracore Co., Ltd. Operational stability enhancing device for construction machinery
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
JP6003226B2 (ja) * 2012-05-23 2016-10-05 株式会社デンソー 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
JP5814187B2 (ja) 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
DE102013002079A1 (de) * 2013-02-06 2014-08-07 Volvo Construction Equipment Germany GmbH Baumaschine
KR102123127B1 (ko) * 2013-12-06 2020-06-15 두산인프라코어 주식회사 화면모드 선택 장치 및 방법
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
JP6393412B2 (ja) * 2015-04-24 2018-09-19 株式会社日立製作所 体積推定装置及びそれを備えた油圧ショベル
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
US20170132476A1 (en) * 2015-11-08 2017-05-11 Otobrite Electronics Inc. Vehicle Imaging System

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置

Also Published As

Publication number Publication date
EP3078779A2 (en) 2016-10-12
EP3078779A3 (en) 2016-12-28
US20160273195A1 (en) 2016-09-22
US10060098B2 (en) 2018-08-28
KR20160111102A (ko) 2016-09-26
EP3141663A1 (en) 2017-03-15

Similar Documents

Publication Publication Date Title
KR102426631B1 (ko) 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
US9790666B2 (en) Calibration system, work machine, and calibration method
EP3080550B1 (en) Laser receiver using a smart device
JP2007018426A5 (ko)
JP5390813B2 (ja) 空間情報表示装置及び支援装置
CN111868335B (zh) 远程操作系统以及主操作装置
JP4962415B2 (ja) 建設機械の刃先位置計測装置
US20170002547A1 (en) Operation state detection system of work machine and work machine
KR20130069912A (ko) 건설기계의 작업 가이드 정보 표시 장치 및 방법
JP2010248777A (ja) 作業機械の管理システム
JP2008240362A (ja) 建設機械および建設機械の後進移動ガイダンス方法
JP6791108B2 (ja) 顔位置検出装置
CN101903143A (zh) 机床装置
WO2020195135A1 (ja) 較正作業支援システム
AU2019292458A1 (en) Display control system, display control device, and display control method
JP2014218140A (ja) 運転者状態監視装置、および運転者状態監視方法
JP7359532B2 (ja) ヘルメット
WO2019142523A1 (ja) 先端アタッチメント判別装置
JP2020188432A (ja) 撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出プログラム、侵入検出方法
WO1993021737A1 (en) Visual apparatus
JP2009287936A (ja) 運転者眼球位置検出装置
JP6867089B2 (ja) 物体検出システム
KR101265224B1 (ko) 카메라 영상을 이용한 회전체의 진단방법
KR20090116496A (ko) 건설장비의 후방 감시 시스템
CN112351239A (zh) 监控系统及其监控方法、装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant