KR20220107537A - 중장비용 전방 영상 생성 장치 - Google Patents

중장비용 전방 영상 생성 장치 Download PDF

Info

Publication number
KR20220107537A
KR20220107537A KR1020210010285A KR20210010285A KR20220107537A KR 20220107537 A KR20220107537 A KR 20220107537A KR 1020210010285 A KR1020210010285 A KR 1020210010285A KR 20210010285 A KR20210010285 A KR 20210010285A KR 20220107537 A KR20220107537 A KR 20220107537A
Authority
KR
South Korea
Prior art keywords
image
area
front image
synthesizing
heavy equipment
Prior art date
Application number
KR1020210010285A
Other languages
English (en)
Inventor
이정표
박재홍
이상훈
박광석
Original Assignee
주식회사 와이즈오토모티브
현대두산인프라코어(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브, 현대두산인프라코어(주) filed Critical 주식회사 와이즈오토모티브
Priority to KR1020210010285A priority Critical patent/KR20220107537A/ko
Priority to EP22742911.5A priority patent/EP4277265A4/en
Priority to PCT/KR2022/001263 priority patent/WO2022158935A1/ko
Priority to CN202280009561.0A priority patent/CN116746140A/zh
Publication of KR20220107537A publication Critical patent/KR20220107537A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

제1 시점의 전방 영상에 제2 시점의 전방 영상 중 미리 설정된 영역의 영상을 합성하여 시야 방해 부품에 가려진 영역의 사물을 포함한 합성 전방 영상을 생성하도록 한 중장비용 전방 영상 생성 장치를 제시한다. 제시된 중장비용 전방 영상 생성 장치는 중장비의 상부 및 하부에서 전방을 촬영하여 제1 전방 영상 및 제2 전방 영상을 생성하고, 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 영역이 일치하도록 제1 전방 영상의 일부 영역에 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다.

Description

중장비용 전방 영상 생성 장치{APPARATUS FOR GENERATING FRONT IMAGE FOR HEAVY EQUIPMENT}
본 발명은 중장비용 전방 영상 생성 장치에 관한 것으로, 더욱 상세하게는 휠 로더 등과 같이 작업시 전방을 확인하기 어려운 중장비에서 전방 시야를 확보하기 위한 전방 영상을 생성하는 중장비용 전방 영상 생성 장치에 관한 것이다.
중장비는 건설 현장 등에서 다양한 작업에 사용되는 장비로, 휠 로더, 포크레인 등을 예로 들 수 있다. 이때, 중장비는 운전자의 전방에 대형 부품이 배치되는 경우가 많기 때문에 작업 중에 대형 부품에 의해 운전자의 전방 시야가 가려진다. 일례로, 휠 로더는 작업시 전방에서 승하강하는 버켓(bucket)에 의해 운전자의 전방 시야가 가려진다.
이처럼, 중장비는 운전자의 전방 시야에 방해가 발생하기 때문에 작업 효율이 떨어지고, 다양한 형태의 안전사고가 발생할 가능성이 높아진다.
한국등록특허 제10-1998300호(명칭: 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법)
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 제1 시점의 전방 영상에 제2 시점의 전방 영상 중 미리 설정된 영역의 영상을 합성하여 시야 방해 부품에 가려진 영역의 사물을 포함한 합성 전방 영상을 생성하도록 한 중장비용 전방 영상 생성 장치를 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치는 중장비의 상부에 배치되고, 중장비의 전방을 촬영하여 제1 전방 영상을 생성하는 상부 카메라, 장비의 하부에 배치되고, 중장비의 전방을 촬영하여 제2 전방 영상을 생성하는 하부 카메라, 제1 전방 영상의 일부를 제1 합성 영역으로 설정하고, 제2 전방 영상의 일부를 제2 합성 영역으로 설정하고, 제1 전방 영상의 제1 합성 영역에 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 처리기를 포함한다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리 미만이거나 설정 거리를 초과하는 경우, 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치가 서로 다를 수 있다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리 미만인 경우, 사물의 제1 합성 영역 내에서 수직 축 상의 위치는 제2 합성 영역 내에서 수직 축 상의 위치보다 합성 전방 영상의 하부에 가깝게 배치될 수 있다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리를 초과하는 경우, 사물의 제1 합성 영역 내에서 수직 축 상의 위치는 제2 합성 영역 내에서 수직 축 상의 위치보다 합성 전방 영상의 상부에 가깝게 배치될 수 있다.
사물과 시야 방해 부품의 선단과의 거리가 설정 거리보다 멀어질수록 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치 사이의 수직 간격이 더 증가할 수 있다.
영상 처리기는 제2 전방 영상 중에서 제2 합성 영역으로 설정된 영역을 합성 영상으로 검출하는 영상 검출부 및 제1 전방 영상의 제1 합성 영역에 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 제1 합성 영역 내에서 수직 축 상의 위치와 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 합성부를 포함할 수 있다.
제1 합성 영역의 가로 길이는 제1 전방 영상에 포함된 시야 방해 부품의 가로 길이와 동일하고, 제2 합성 영역의 가로 길이는 제2 전방 영상에 포함된 시야 방해 부품의 가로 길이와 동일할 수 있다.
제1 합성 영역의 가로 길이는 제1 전방 영상에 포함된 시야 방해 부품의 가로 길이와 동일하고, 제2 합성 영역의 가로 길이는 제2 전방 영상에 포함된 시야 방해 부품의 가로 길이보다 클 수 있다.
영상 합성부는 합성 영상을 제1 합성 영역에 대응하는 크기로 축소하고, 축소된 합성 영상을 제1 합성 영역에 합성할 수 있다.
영상 검출부는 설정 조건을 근거로 제1 전방 영상을 원본 사이즈보다 작은 사이즈로 크롭하여 제1 크롭 전방 영상을 생성하고, 제1 크롭 전방 영상은 제1 합성 영역을 포함할 수 있다.
영상 검출부는 제1 전방 영상에 서로 다른 사이즈를 갖는 복수의 크롭 영역을 설정하고, 설정 조건을 근거로 복수의 크롭 영역 중에서 하나의 크롭 영역을 기준으로 제1 전방 영상을 크롭할 수 있다. 이때, 영상 검출부는 운전자의 사이즈 선택 정보, 중장비의 속도, 중장비의 전방에 위치한 사물과의 거리 중에 하나를 설정 조건으로 입력받을 수 있다.
영상 검출부는 제1 크롭 전방 영상을 제1 전방 영상의 원본 사이즈로 확대한 후 영상 합성부로 전송하고, 영상 합성부는 합성 영상을 제1 크롭 전방 영상의 제1 합성 영역과 동일한 사이즈로 확대한 후 제1 합성 영역에 합성할 수 있다.
영상 처리기는 제1 전방 영상 중에서 시야 방해 부품에 의해 가려지는 음영 영역에 제1 합성 영역을 설정하고, 제1 합성 영역에 대응하는 제2 전방 영상의 일부 영역에 제2 합성 영역을 설정하는 합성 영역 설정부, 제2 전방 영상 중에서 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 영역을 기준으로 제2 전방 영상을 보울 형상으로 변환하고, 보울 형상으로 변환된 제2 전방 영상을 합성 영역 설정부로 전송하는 영상 변환부를 더 포함할 수 있다.
본 발명에 의하면, 중장비용 전방 영상 생성 장치는 중장비의 상단에서 촬영된 제1 전방 영상의 일부 영역에 하단에서 촬영된 제2 전방 영상의 일부를 합성하여 표시함으로써, 중장비의 시야 방해 부품에 의한 사각 발생을 방지하고 운전자의 전방 시야가 가려지는 것을 방지할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 제1 전방 영상의 일부 영역에 제2 전방 영상의 일부를 합성함으로써, 불필요한 사물들의 합성을 최소화하여 연산량을 최소화하면서 합성 전방 영상의 이질감을 최소화할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 제1 전방 영상의 제1 합성 영역에 제2 전방 영상의 제2 합성 영역을 합성할 때 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 영역을 기준으로 합성함으로써, 사물이 많이 위치하는 영역에서 합성 전방 영상의 이질감을 최소화할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 제2 전방 영상에 제2 합성 영역을 설정할 때 시야 방해 부품의 사이즈보다 큰 합성 영역을 설정함으로써, 합성 전방 영상에서 이동체가 사라지는 음영 영역의 발생을 방지하여 작업중 사고 발생을 방지할 수 있는 효과가 있다.
또한, 중장비용 전방 영상 생성 장치는 설정 조건에 따라 제1 전방 영상을 크롭 및 사이즈 변환한 후 제1 합성 영역의 사이즈로 변환된 제2 전방 영상의 일부를 합성함으로써, 다양한 환경에서 운전자가 전방의 사물 존재 여부를 쉽게 확인할 수 있도록 지원할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치의 구성을 설명하기 위한 블록도.
도 2는 도 1의 상부 카메라 및 하부 카메라를 설명하기 위한 도면.
도 3은 도 1의 영상 처리기를 설명하기 위한 도면.
도 4 및 도 5는 도 3의 합성 영역 설정부가 제1 전방 영상에 제1 합성 영역을 설정하는 구성을 설명하기 위한 도면.
도 6은 도 3의 합성 영역 설정부가 제2 전방 영상에 제2 합성 영역을 설정하는 구성을 설명하기 위한 도면.
도 7 내지 도 10은 도 3의 영상 합성부가 제1 전방 영상의 제1 합성 영역에 제2 전방 영상의 제2 합성 영역을 합성하는 일례를 설명하기 위한 도면.
도 11 내지 도 14는 도 3의 영상 합성부에서 생성된 합성 전방 영상을 설명하기 위한 도면.
도 15 내지 도 18은 도 3의 영상 합성부가 합성 전방 영상의 합성 영역에서 이동체가 사라지는 것을 방지하도록 한 구성을 설명하기 위한 도면.
도 19 내지 도 22는 설정 조건에 따라 제1 전방 영상의 일부를 검출하여 합성 전방 영상을 생성하는 구성을 설명하기 위한 도면.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
먼저, 본 발명의 실시 예의 설명에서 사용되는 합성은 영상을 다른 영상으로 대체하거나 덮어씌우는 것이 아니라, 두 영상의 투명도를 조절하여 합성된 영상에서 두 영상이 모두 표시되도록 하는 것을 의미한다.
본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치는 중장비에 설치된 상부 카메라에서 촬영한 상부 영상 및 하부 카메라에서 촬영한 하부 영상을 합성하여 합성 전방 영상을 생성한다. 이때, 중장비용 전방 영상 생성 장치는 상부 영상 중에서 시야 방해 부품에 의해 사물이 가려지는 영역에 하부 영상의 일부를 합성하여 시야 방해 부품에 의해 가려진 사물을 확인할 수 있는 합성 전방 영상을 생성한다.
이를 위해, 중장비용 전방 영상 생성 장치는 상부 영상에 제1 합성 영역을 설정하고, 하부 영상에 제2 합성 영역을 설정한다. 이때, 중장비용 전방 영상 생성 장치는 상부 영상과 하부 영상 사이의 스케일을 일치시키기 위해서 하부 영상을 보울(Bowl) 형상으로 변형하고, 변형된 하부 영상에 제2 합성 영역을 설정한다.
중장비용 전방 영상 생성 장치는 상부 영상의 제1 합성 영역에 하부 영상의 제2 합성 영역을 합성하여 합성 전방 영상을 생성한다. 이때, 중장비용 전방 영상 생성 장치는 중장비의 시야 방해 부품의 선단으로부터 설정 거리 떨어진 지점이 일치하도록 제1 합성 영역에 제2 합성 영역을 합성한다.
여기서, 중장비용 전방 영상 생성 장치는 제1 합성 영역의 투명도와 제2 합성 영역의 투명도를 조절한 후 합성하여 중장비의 시야 방해 부품과 시야 방해 부품에 의해 적어도 일부가 가려진 사물을 모두 확인할 수 있는 합성 전방 영상을 생성한다.
일례로, 휠 로더의 버켓 선단으로부터 대략 3m 정도 전방에 위치한 사물은 버켓에 의해 가려져 운전자의 시야 또는 상부 영상에서 사물을 확인할 수 없게 되며, 이로 인해 사고 발생 위험이 높아진다. 이에, 휠 로더의 버켓 선단을 기준으로 대략 3m 정도의 지점이 일치하도록 제1 합성 영역과 제2 합성 영역을 합성한다. 여기서, 중장비용 전방 영상 생성 장치는 설정 거리 떨어진 지점이 일치하도록 제1 합성 영역에 제2 합성 영역을 합성함으로써, 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 제1 사물은 합성 전방 영상 내에서 하나의 사물로 표시된 합성 전방 영상을 생성한다. 또한, 합성 전방 영상에 표시된 제1 사물은 시야 방해 부품에 의해 제1 사물이 가려지지 않은 상태에서 상부 카메라에서 촬영된 제1 사물과 동일한 크기로 표시되며, 동일한 바닥면에 배치되거나 동일한 바닥면을 따라 이동하는 것으로 표시된다.
한편, 시야 방해 부품의 선단으로부터 설정 거리보다 멀거나 가까운 위치에 위치한 제2 사물을 합성 전방 영상 내에서 두개의 사물로 표시된다. 또한, 합성 전방 영상에 표시된 제2 사물은 시야 방해 부품에 의해 제2 사물이 가려지지 않은 상태에서 상부 카메라에서 촬영된 제2 사물보다 작거나 크게 표시되며, 다른 바닥면에 배치되거나 다른 바닥면을 따라 이동하는 것으로 표시된다. 일례로, 제2 사물은 시야 방해 부품과의 거리가 멀어질수록 합성 전방 영상 내에서 작게 표시된다.
도 1을 참조하면, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 상부 카메라(120), 하부 카메라(140), 영상 처리기(160) 및 디스플레이(180)를 포함하여 구성된다.
상부 카메라(120)는 중장비(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성한다. 즉, 상부 카메라(120)는 중장비(10)의 상부에 배치되고, 중장비(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성한다.
하부 카메라(140)는 중장비(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성한다. 즉, 하부 카메라(140)는 중장비(10)의 하부에 배치되고, 중장비(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성한다.
도 2를 참조하면, 상부 카메라(120)는 중장비(10)의 운전실 상부에 배치되어 중장비(10)의 전방을 촬영하여 제1 전방 영상(FI1)을 생성하고, 하부 카메라(140)는 중장비(10)의 하부에 배치되되, 지면에서 대략 0.9m 정도의 높이에서 중장비(10)의 전방을 촬영하여 제2 전방 영상(FI2)을 생성하는 것을 일례로 한다.
영상 처리기(160)는 상부 카메라(120)에서 촬영된 제1 전방 영상(FI1)의 일부 영역에 하부 카메라(140)에서 촬영된 제2 전방 영상(FI2)의 일부 영역을 합성하여 합성 전방 영상(CFI)을 생성한다.
이를 위해, 도 3에 도시된 바와 같이, 영상 처리기(160)는 영상 변환부(162), 합성 영역 설정부(164), 영상 검출부(166) 및 영상 합성부(168)를 포함하여 구성될 수 있다.
영상 변환부(162)는 제2 전방 영상(FI2)을 보울(Bowl) 형상으로 변환한다. 영상 변환부(162)는 중장비(10)의 시야 방해 부품(16)의 선단을 기준으로 설정 거리 이격된 위치를 기준으로 제2 전방 영상(FI2)을 보울 형상으로 변환한다.
합성 영역 설정부(164)는 상부 카메라(120) 및 하부 카메라(140)로부터 전송받은 제1 전방 영상(FI1) 및 제2 전방 영상(FI2)에 합성 영역을 설정한다. 이때, 합성 영역 설정부(164)는 제1 전방 영상(FI1)에 표시된 시야 방해 부품(16)을 기준으로 제1 전방 영상(FI1)의 일부를 제1 합성 영역(CA1)으로 설정하고, 제2 전방 영상(FI2)에 표시된 시야 방해 부품(16)을 기준으로 제2 전방 영상(FI2)의 일부를 제2 합성 영역(CA2)으로 설정한다.
합성 영역 설정부(164)는 제1 전방 영상(FI1)에 표시된 시야 방해 부품(16)의 좌측 및 우측을 기준으로 제1 합성 영역(CA1)의 가로 길이를 설정한다. 이때, 합성 영역 설정부(164)는 제1 전방 영상(FI1) 중에서 중장비(10)의 시야 방해 부품(16)의 선단으로부터 설정 거리 전방에 위치한 영역을 포함하는 영역을 제1 합성 영역(CA1)으로 설정한다. 이에, 합성 영역 설정부(164)는 제1 전방 영상(FI1)의 전체 영역 중에서 버켓(16)의 선단으로부터 대략 3m 정도 전방에 위치한 영역을 포함하는 일부 영역을 제1 합성 영역(CA1)으로 설정하는 것을 일례로 한다.
도 4를 참조하여 중장비(10)가 휠 로더(10)고 직사각형의 제1 합성 영역(CA1)을 설정하는 경우, 합성 영역 설정부(164)는 최하부에 위치한 버켓(16)이 촬영된 제1 전방 영상(FI1)에서 버켓(16)의 상단을 기준으로 하고, 제1 전방 영상(FI1)에 표시된 버켓(16)의 높이에 대응하는 세로 길이를 갖는 제1 합성 영역(CA1)을 설정한다. 합성 영역 설정부(164)는 제1 전방 영상(FI1)에 표시된 시야 방해 부품(16)인 버켓(16)의 폭(즉, 가로 길이)과 동일한 세로 길이를 갖는 제1 합성 영역(CA1)을 설정한다.
도 5를 참조하면, 합성 영역 설정부(164)는 제1 전방 영상(FI1)의 중심점을 기준으로 버켓(16)의 가로 길이 및 세로 길이와 동일한 가로 길이 및 세로 길이를 갖는 영역을 제1 합성 영역(CA1)을 설정할 수도 있다. 이때, 합성 영역 설정부(164)는 설정 거리 전방에 위치한 영역을 포함하는 제1 합성 영역(CA1)을 설정한다.
합성 영역 설정부(164)는 영상 변환부(162)에서 보울 형상으로 변환된 제2 전방 영상(FI2)의 일부 영역을 제2 합성 영역(CA2)으로 설정한다. 합성 영역 설정부(164)는 제1 합성 영역(CA1)과 좌우가 대략 일치하도록 제2 합성 영역(CA2)을 설정한다.
일례로, 도 6을 참조하면, 합성 영역 설정부(164)는 제2 전방 영상(FI2)에 표시된 시야 방해 부품(16)의 좌측 및 우측을 기준으로 제2 합성 영역(CA2)의 가로 길이를 설정한다. 합성 영역 설정부(164)는 제1 합성 영역(CA1)의 가로 길이 및 제2 합성 영역(CA2)의 가로 길이의 비율을 근거로 제2 합성 영역(CA2)의 세로 길이를 설정할 수 있다. 이때, 합성 영역 설정부(164)는 시야 방해 부품(16)의 선단에서 설정 거리 전방에 위치한 영역을 포함하는 제2 합성 영역(CA2)을 설정한다.
합성 영역 설정부(164)는 제2 전방 영상(FI2)의 중심점을 기준으로 버켓(16)의 가로 길이 및 세로 길이와 동일한 가로 길이 및 세로 길이를 갖는 영역을 제2 합성 영역(CA2)을 설정할 수도 있다. 이때, 합성 영역 설정부(164)는 설정 거리 전방에 위치한 영역을 포함하는 제2 합성 영역(CA2)을 설정한다.
합성 영역 설정부(164)는 제작시 또는 최초 구동시에만 동작하여 제1 합성 영역(CA2) 및 제2 합성 영역(CA2)을 설정하며, 이후에 입력되는 영상에 대해서는 기설정된 영역을 합성 영역으로 설정한다.
영상 검출부(166)는 제2 전방 영상(FI2)으로부터 제1 전방 영상(FI1)에 합성될 합성 영역을 검출한다. 영상 검출부(166)는 제2 전방 영상(FI2) 중에서 제2 합성 영역(CA2)으로 설정된 영역을 합성 영상으로 검출한다.
영상 합성부(168)는 제1 전방 영상(FI1)에 제2 전방 영상(FI2)으로부터 검출한 합성 영상을 합성하여 합성 전방 영상(CFI)을 생성한다. 영상 합성부(168)는 합성 영상을 축소(또는 확대) 변환하여 제1 합성 영역(CA)과 동일한 사이즈로 변환한다. 영상 합성부(168)는 제1 전방 영상(FI1)의 제1 합성 영역(CA1) 및 합성 영상의 투명도를 조절한 후에, 제1 전방 영상(FI1)의 제1 합성 영역(CA1)에 합성 영상을 합성하여 합성 전방 영상(CFI)을 생성한다.
영상 합성부(168)는 시야 방해 부품(16)의 선단으로부터 설정 거리 전방에 위치한 영역이 일치하도록 제1 전방 영상(FI1) 및 합성 영상을 합성한다. 이때, 영상 합성부(168)는 설정 거리를 기준으로 제1 전방 영상(FI1) 및 합성 영상을 합성함으로써, 합성 전방 영상(CFI)에서 설정 거리 전방에 위치한 사물의 바닥면이 서로 일치하도록 표시된다.
다시 말해, 사물이 시야 방해 부품(16)의 선단에서 설정 거리 전방에 위치한 경우, 영상 합성부(168)는 해당 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치와 제2 합성 영역(CA2) 내에서 수직 축 상의 위치가 일치하도록 제1 전방 영상(FI1) 및 합성 영상을 합성한다.
반면, 사물과 시야 방해 부품(16)의 선단과의 거리가 설정 거리 미만이거나 설정 거리를 초과하는 경우, 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치와 제2 합성 영역(CA2) 내에서 수직 축 상의 위치가 서로 다를 수 있다.
사물과 시야 방해 부품(16)의 선단과의 거리가 설정 거리 미만인 경우, 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치는 제2 합성 영역(CA2) 내에서 수직 축 상의 위치보다 합성 전방 영상의 하부에 가깝게 배치될 수 있다.
사물과 시야 방해 부품(16)의 선단과의 거리가 설정 거리를 초과하는 경우, 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치는 제2 합성 영역(CA2) 내에서 수직 축 상의 위치보다 합성 전방 영상의 상부에 가깝게 배치될 수 있다. 이때, 사물과 시야 방해 부품(16)의 선단과의 거리가 멀어질수록 사물의 제1 합성 영역(CA1) 내에서 수직 축 상의 위치와 제2 합성 영역(CA2) 내에서 수직 축 상의 위치 사이의 수직 간격이 더 증가할 수 있다.
일례로, 도 7을 참조하면, 휠 로더(10)의 버켓(16) 선단을 기준으로 1m 전방에 제1 콘(A1) 및 제2 콘(A2)이 배치되고, 3m 전방에 제3 콘(A3) 및 제4 콘(A4)이 배치되고, 5m 전방에 제5 콘(A5) 및 제6 콘(A6)이 배치되고, 7m 전방에 제7 콘(A7) 및 제8 콘(A8)이 배치된 것으로 가정한다.
도 8을 참조하면, 휠 로더(10)의 버켓(16)이 상승함에 따라, 상부 카메라(120)에서 촬영된 제1 전방 영상(FI1)에서는 제1 콘(A1) 및 제2 콘(A2)의 상단 일부, 제3콘 내지 제6콘, 제7 콘(A7) 및 제8 콘(A8)의 하단 일부가 버켓(16)에 가려진다.
도 9를 참조하면, 휠 로더(10)의 버켓(16)이 상승함에 따라, 하부 카메라(140)에서 촬영된 제2 전방 영상(FI2)에서는 제1 콘(A1) 내지 제8 콘(A8)이 버켓(16)에 가려지지 않고 모두 보인다. 영상 검출부(166)는 제2 전방 영상(FI2)으로부터 합성 영상을 검출하며, 합성 영상에는 제1 콘(A1) 내지 제8 콘(A8)을 포함된다.
도 10을 참조하면, 영상 합성부(168)는 제1 전방 영상(FI1)에 합성 영상을 합성할 때 설정 거리인 3m를 기준으로 합성한다. 즉, 영상 합성부(168)는 합성 영상에 포함된 제3 콘(A3) 및 제4 콘(A4)의 바닥면(즉, 화면상 수직 축 상의 위치)이 제1 전방 영상(FI1)의 제1 합성 영역(CA1) 중에서 3m 전방에 대응되는 바닥면(즉, 화면상 수직 축 상의 위치)과 일치하도록 합성 영상을 제1 전방 영상(FI1)의 제1 합성 영역(CA1)에 합성한다.
이에, 합성 전방 영상(CFI)에 표시된 제3 콘(A3) 및 제4 콘(A4)은 설정 거리인 3m 전방에 위치한 제3 콘(A3) 및 제4 콘(A4)과 바닥면(즉, 화면상 수직 축 상의 위치)이 일치하도록 위치에 표시된다. 이때, 합성 전방 영상(CFI)에 표시된 제1 콘(A1), 제2 콘(A2), 제5 콘(A5), 제6 콘(A6), 제7 콘(A7) 및 제8 콘(A8)은 바닥면(즉, 화면상 수직 축 상의 위치)이 일치하지 않는 위치에 표시된다.
여기서, 도 10에서는 제1 전방 영상(FI1)에서 제1 콘(A1) 내지 제8 콘(A8)이 시야 방해 부품(16)에 의해 완전히 가려진 상태를 예로 들었기 때문에 합성 전방 영상(CFI)에서 제1 전방 영상(FI1)의 제1 콘(A1) 내지 제8 콘(A8)은 표시되지 않고 제2 전방 영상(FI2)에서 제1 콘(A1) 내지 제8 콘(A8)만 표시되는 것으로 도시한다.
이때, 제1 전방 영상(FI1)에서 제1 콘(A1) 내지 제8 콘(A8)의 일부 또는 전체가 시야 방해 부품(16)에 가려지지 않는 경우, 합성 전방 영상(CFI)에서 제1 전방 영상(FI1)의 제1 콘(A1) 내지 제8 콘(A8)과 제2 전방 영상(FI2)에서 제1 콘(A1) 내지 제8 콘(A8)이 모두 표시될 수 있다.
영상 합성부(168)는 설정 거리 전방에 위치한 사물의 크기를 일치시키기 위해서 합성 영상의 크기 및 위치를 조절한 후에 제1 전방 영상(FI1)에 합성할 수도 있다.
영상 합성부(168)는 설정 거리를 기준으로 합성 전방 영상(CFI)을 생성하기 때문에, 사람 등과 같이 크기가 큰 사물의 경우 제1 전방 영상(FI1)에서 촬영된 사물과 제2 전방 영상(FI2)에서 촬영된 사물이 합성 전방 영상(CFI) 내에서 중복 표시될 수 있다.
도 11 및 도 12를 참조하면, 사람이 휠 로더(10)의 버켓(16) 선단을 기준으로 3m 전방에 이동하는 것으로 가정하면, 합성 전방 영상(CFI) 중에서 제1 합성 영역(CA1)의 외부에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람이 표시된다. 사람이 도면상 우측에서 좌측으로 이동하여 제1 합성 영역(CA1)에서 사람이 이동할 때에는 하부 카메라(140)에서 촬영된 사람이 표시된다.
합성 전방 영상(CFI) 중에서 제1 합성 영역(CA1)의 외부에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람이 표시된다. 사람이
그에 따라, 제1 합성 영역(CA1)에서 사람의 크기는 줄어들지만 사람이 움직이는 지면상 위치를 상부 카메라(120)에서 촬영했을 때와 동일하게 유지된다.
도 13 및 도 14를 참조하면, 사람이 휠 로더(10)의 버켓(16) 선단을 기준으로 5m 전방에 이동하는 것으로 가정하면, 합성 전방 영상(CFI) 중에서 제1 합성 영역(CA1)의 외부에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람이 표시된다. 사람이 도면상 우측에서 좌측으로 이동하여 제1 합성 영역(CA1)에서 사람이 이동할 때에는 상부 카메라(120)에서 촬영된 사람과 하부 카메라(140)에서 촬영된 사람이 함께 표시된다. 그에 따라, 제1 합성 영역(CA1)에서 동일한 사람이 2명으로 표시되며, 지면상 위치도 다르게 표시된다.
한편, 도 15를 참조하면, 합성 영역 설정부(164)에서 버켓(16)과 동일한 가로 길이를 갖는 제2 합성 영역(CA2)을 설정하는 경우, 이동체가 이동(CFI-T1, CIF-T2, CIF-T3)할 때 합성 전방 영상(CFI-T2)에서 이동체가 표시되지 않을 수 있다. 이 경우, 중장비(10) 운전자가 이동체를 확인하지 못하여 작업중 사고가 발생할 수 있다.
이를 방지하기 위해서, 도 16에 도시된 바와 같이, 합성 영역 설정부(164)는 제2 전방 영상(FI2)에 제2 합성 영역(CA2)을 설정할 때 제2 합성 영역(CA2)에 표시된 버켓(16)보다 큰 가로 길이 및/또는 세로 길이를 갖는 제2 합성 영역(CA2')을 설정할 수 있다.
영상 합성부(168)는 설정 거리를 기준으로 제1 전방 영상(FI1)에 합성 영상을 합성하되, 제1 전방 영상(FI1)의 제1 합성 영역(CA1)의 크기에 맞춰 합성 영상을 축소한 후 합성한다.
이때, 도 17 및 도 18을 참조하면, 합성 전방 영상(CFI)은 이동체가 합성 전방 영상(CFI)의 합성 영역(즉, 제1 합성 영역(CA1))의 좌측 및 우측에서 이동체가 이중으로 표시되는 구간(S)이 발생할 수도 있다. 하지만, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 이동체가 버켓(16)의 음영 지역을 벗어날 때까지 합성 전방 영상(CFI)에 표시되기 때문에 작업중 사고 발생을 방지할 수 있다.
이를 통해, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 이동체가 위험 구역에서 완전히 벗어날 때까지 합성 전방 영상(CFI)에 이동체를 표시할 수 있고, 이를 통해 중장비(10)의 운행시 사고 발생을 방지할 수 있다.
한편, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 설정 조건에 따라 제1 전방 영상(FI1)의 일부 영역을 이용하여 합성 전방 영상(CFI)을 생성할 수도 있다.
도 19를 참조하면, 영상 검출부(166)는 설정 조건이 입력되면 제1 전방 영상(FI1) 및 합성 영상을 합성하기 전에 제1 전방 영상(FI1)을 크롭(Crop) 변환한다. 영상 변환부(162)는 제1 합성 영역(CA1)을 포함하도록 제1 전방 영상(FI1)을 크롭 변환한다.
영상 검출부(166)는 제1 전방 영상(FI1)의 원본 사이즈를 기본으로 하고, 원본 사이즈보다 작은 복수의 크롭 영역을 미리 설정한다. 일례로, 도 20을 참조하면, 영상 검출부(166)는 제1 전방 영상(FI1)에 원본 사이즈보다 작은 제1 크롭 영역(C1), 제1 크롭 영역(C1)보다 작은 제2 크롭 영역(C2)을 설정할 수 있다
영상 검출부(166)는 운전자의 사이즈 선택, 중장비(10)의 속도, 장애물과의 거리 중에서 하나를 설정 조건으로 입력받을 수 있다. 영상 검출부(166)는 입력된 설정 조건에 따라 제1 전방 영상(FI1)을 크롭 변환하여 제1 크롭 전방 영상(FI1')을 생성한다.
일례로, 도 21을 참조하면, 설정 조건으로 "최대"가 입력되면, 영상 검출부(166)는 제1 전방 영상(FI1)을 크롭 변환하지 않고, 원본 사이즈의 제1 크롭 전방 영상(FI1')을 생성한다.
입력된 설정 조건이 "중간"이면, 영상 검출부(166)는 제1 크롭 영역(C1)을 기준으로 제1 전방 영상(FI1)을 크롭하여 원본 사이즈보다 작아진 제1 크롭 전방 영상(FI1')을 생성한다.
입력된 설정 조건이 "최소"이면, 영상 검출부(166)는 제2 크롭 영역(C2)을 기준으로 제1 전방 영상(FI1)을 크롭하여 원본 사이즈보다 작아진 제1 크롭 전방 영상(FI1')을 생성한다.
영상 검출부(166)는 제1 크롭 전방 영상(FI1')의 사이즈를 제1 전방 영상(FI1)의 원본 사이즈로 변환하여 영상 합성부(168)로 전송한다.
영상 검출부(166)는 제1 크롭 전방 영상(FI1')의 사이즈를 제1 전방 영상(FI1)의 원본 사이즈로 변환한 후 영상 합성부(168)로 전송한다. 이때, 제1 크롭 전방 영상(FI1')의 사이즈가 변환됨에 따라 제1 합성 영역(CA1)의 사이즈도 제1 크롭 전방 영상(FI1')과 동일한 비율로 변환된다.
영상 합성부(168)는 영상 검출부(166)에서 검출한 합성 영상을 제1 크롭 전방 영상(FI1')의 제1 합성 영역(CA1)에 합성하여 합성 전방 영상(CFI)을 생성한다. 이때, 영상 합성부(168)는 합성 영상의 사이즈를 제1 합성 영역(CA1)의 사이즈로 변환한 후에 제1 크롭 전방 영상(FI1')에 합성한다.
도 22를 참조하면, 영상 합성부(168)는 설정 조건이 최대이면 제1 합성 영역(CA1)의 사이즈에 변화가 없으므로 합성 영역을 그대로 합성한다. 영상 합성부(168)는 설정 조건이 중간 또는 최소이면 제1 합성 영역(CA1)의 사이즈가 커지므로, 합성 영역을 커진 제1 합성 영역(CA1)의 사이즈로 변환한 후 합성한다. 이처럼, 영상 합성부(168)는 설정 조건에 따라 합성 영상이 합성된 영역(즉, 제1 합성 영역(CA1))의 사이즈가 달라진 합성 전방 영상(CFI)을 생성한다.
이처럼, 본 발명의 실시 예에 따른 중장비용 전방 영상 생성 장치(100)는 설정 조건에 따라 제1 전방 영상(FI1)을 크롭 및 사이즈 변환한 후 제2 전방 영상(FI2)의 일부를 합성함으로써, 운전자가 전방의 사물 존재 여부를 쉽게 확인할 수 있도록 지원한다.
디스플레이(180)는 영상 처리기(160)에서 합성된 합성 전방 영상(CFI)을 표시한다. 디스플레이(180)는 중장비(10)의 운전석 또는 리모트 조정 장치에 배치되고, 영상 처리기(160)로부터 합성 전방 영상(CFI)을 수신하여 표시한다.
이상에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 건설장비가 휠 로더(10)인 것을 예로 들어 설명하지만, 이에 한정되지 않고 포크레인, 지게차 등과 같이 구동시 시야 방해 부품(16)에 의해 전방에 사각이 발생하는 건설장비에 적용될 수 있다.
또한, 휠 로더(10)를 예로 들어 설명함에 따라 휠 로더(10)의 버켓(16)을 시야 방해 부품(16)인 것으로 설명하였으나, 이에 한정되지 않고 시야 방해 부품(16)은 포크레인의 버켓(16), 버켓(16) 붐 및 버켓(16) 실린더 등, 지게차의 마스트, 리프트 체인, 캐리지, 포크암 및 포크 등과 같이 전방 시야를 방해하는 부품일 수 있다.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.
10: 중장비(휠 로더) 16: 시야 방해 부품(버켓)
100: 중장비용 전방 영상 생성 장치
120: 상부 카메라 140: 하부 카메라
160: 영상 처리기 162: 영상 변환부
164: 합성 영역 설정부 166: 영상 검출부
168: 영상 합성부 180: 디스플레이
FI1: 제1 전방 영상 CA1: 제1 합성 영역
F2: 제2 전방 영상 CA2: 제2 합성 영역
CFI: 합성 전방 영상 A1~A8: 제1 콘~제8 콘
C1: 제1 크롭 영역 C2: 제2 크롭 영역

Claims (16)

  1. 시야 방해 부품에 의해 전방에 사각이 발생하는 중장비의 전방 영상을 생성하는 중장비용 전방 영상 생성 장치로서,
    상기 중장비의 상부에 배치되고, 상기 중장비의 전방을 촬영하여 제1 전방 영상을 생성하는 상부 카메라;
    상기 중장비의 하부에 배치되고, 상기 중장비의 전방을 촬영하여 제2 전방 영상을 생성하는 하부 카메라;
    상기 제1 전방 영상의 일부를 제1 합성 영역으로 설정하고, 상기 제2 전방 영상의 일부를 제2 합성 영역으로 설정하고, 상기 제1 전방 영상의 제1 합성 영역에 상기 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 상기 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 처리기를 포함하는 중장비용 전방 영상 생성 장치.
  2. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리 미만이거나 상기 설정 거리를 초과하는 경우, 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치가 서로 다른 중장비용 전방 영상 생성 장치.
  3. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리 미만인 경우, 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치는 상기 제2 합성 영역 내에서 수직 축 상의 위치보다 상기 합성 전방 영상의 하부에 가깝게 배치된 중장비용 전방 영상 생성 장치.
  4. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리를 초과하는 경우, 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치는 상기 제2 합성 영역 내에서 수직 축 상의 위치보다 상기 합성 전방 영상의 상부에 가깝게 배치된 중장비용 전방 영상 생성 장치.
  5. 제1항에 있어서,
    상기 사물과 상기 시야 방해 부품의 선단과의 거리가 상기 설정 거리보다 멀어질수록 상기 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치 사이의 수직 간격이 더 증가하는 중장비용 전방 영상 생성 장치.
  6. 제1항에 있어서,
    상기 영상 처리기는
    상기 제2 전방 영상 중에서 상기 제2 합성 영역으로 설정된 영역을 합성 영상으로 검출하는 영상 검출부; 및
    상기 제1 전방 영상의 제1 합성 영역에 상기 제2 합성 영역을 반투명하게 합성하여 합성 전방 영상을 생성하되, 사물이 상기 시야 방해 부품의 선단에서 설정 거리 전방에 위치한 경우 해당 사물의 상기 제1 합성 영역 내에서 수직 축 상의 위치와 상기 제2 합성 영역 내에서 수직 축 상의 위치가 일치하도록 합성하는 영상 합성부를 포함하는 중장비용 전방 영상 생성 장치.
  7. 제6항에 있어서,
    상기 제1 합성 영역의 가로 길이는 상기 제1 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이와 동일하고,
    상기 제2 합성 영역의 가로 길이는 상기 제2 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이와 동일한 중장비용 전방 영상 생성 장치.
  8. 제6항에 있어서,
    상기 제1 합성 영역의 가로 길이는 상기 제1 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이와 동일하고,
    상기 제2 합성 영역의 가로 길이는 상기 제2 전방 영상에 포함된 상기 시야 방해 부품의 가로 길이보다 큰 중장비용 전방 영상 생성 장치.
  9. 제8항에 있어서,
    상기 영상 합성부는 상기 합성 영상을 상기 제1 합성 영역에 대응하는 크기로 축소하고, 축소된 상기 합성 영상을 상기 제1 합성 영역에 합성하는 중장비용 전방 영상 생성 장치.
  10. 제6항에 있어서,
    상기 영상 검출부는 설정 조건을 근거로 상기 제1 전방 영상을 원본 사이즈보다 작은 사이즈로 크롭하여 제1 크롭 전방 영상을 생성하고, 상기 제1 크롭 전방 영상은 상기 제1 합성 영역을 포함하는 중장비용 전방 영상 생성 장치.
  11. 제10항에 있어서,
    상기 영상 검출부는 상기 제1 전방 영상에 서로 다른 사이즈를 갖는 복수의 크롭 영역을 설정하고, 상기 설정 조건을 근거로 상기 복수의 크롭 영역 중에서 하나의 크롭 영역을 기준으로 상기 제1 전방 영상을 크롭하는 중장비용 전방 영상 생성 장치.
  12. 제10항에 있어서,
    상기 영상 검출부는 운전자의 사이즈 선택 정보, 상기 중장비의 속도, 상기 중장비의 전방에 위치한 사물과의 거리 중에 하나를 상기 설정 조건으로 입력받는 중장비용 전방 영상 생성 장치.
  13. 제10항에 있어서,
    상기 영상 검출부는 상기 제1 크롭 전방 영상을 상기 제1 전방 영상의 원본 사이즈로 확대한 후 상기 영상 합성부로 전송하는 중장비용 전방 영상 생성 장치.
  14. 제13항에 있어서,
    상기 영상 합성부는 상기 합성 영상을 상기 제1 크롭 전방 영상의 제1 합성 영역과 동일한 사이즈로 확대한 후 상기 제1 합성 영역에 합성하는 중장비용 전방 영상 생성 장치.
  15. 제6항에 있어서,
    상기 영상 처리기는,
    상기 제1 전방 영상 중에서 상기 시야 방해 부품에 의해 가려지는 음영 영역에 제1 합성 영역을 설정하고, 상기 제1 합성 영역에 대응하는 상기 제2 전방 영상의 일부 영역에 제2 합성 영역을 설정하는 합성 영역 설정부를 더 포함하는 중장비용 전방 영상 생성 장치.
  16. 제15항에 있어서,
    상기 영상 처리기는,
    상기 제2 전방 영상 중에서 상기 시야 방해 부품의 선단으로부터 설정 거리 전방에 위치한 영역을 기준으로 상기 제2 전방 영상을 보울 형상으로 변환하고, 보울 형상으로 변환된 상기 제2 전방 영상을 상기 합성 영역 설정부로 전송하는 영상 변환부를 더 포함하는 중장비용 전방 영상 생성 장치.
KR1020210010285A 2021-01-25 2021-01-25 중장비용 전방 영상 생성 장치 KR20220107537A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210010285A KR20220107537A (ko) 2021-01-25 2021-01-25 중장비용 전방 영상 생성 장치
EP22742911.5A EP4277265A4 (en) 2021-01-25 2022-01-25 HEAVY EQUIPMENT FRONT IMAGE GENERATING DEVICE
PCT/KR2022/001263 WO2022158935A1 (ko) 2021-01-25 2022-01-25 중장비용 전방 영상 생성 장치
CN202280009561.0A CN116746140A (zh) 2021-01-25 2022-01-25 用于重型机械的前方影像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210010285A KR20220107537A (ko) 2021-01-25 2021-01-25 중장비용 전방 영상 생성 장치

Publications (1)

Publication Number Publication Date
KR20220107537A true KR20220107537A (ko) 2022-08-02

Family

ID=82549908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210010285A KR20220107537A (ko) 2021-01-25 2021-01-25 중장비용 전방 영상 생성 장치

Country Status (4)

Country Link
EP (1) EP4277265A4 (ko)
KR (1) KR20220107537A (ko)
CN (1) CN116746140A (ko)
WO (1) WO2022158935A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998300B1 (ko) 2014-11-05 2019-07-10 현대건설기계 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9440591B2 (en) * 2009-05-13 2016-09-13 Deere & Company Enhanced visibility system
WO2011018759A1 (en) * 2009-08-11 2011-02-17 Koninklijke Philips Electronics N.V. Method and apparatus for providing an image for display
KR101640602B1 (ko) * 2009-12-15 2016-07-18 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR101859229B1 (ko) * 2011-12-19 2018-05-17 두산인프라코어 주식회사 건설기계의 작업 가이드 정보 표시 장치 및 방법
GB2530649B (en) * 2014-08-18 2017-06-28 Jaguar Land Rover Ltd Display system and method
US9871968B2 (en) * 2015-05-22 2018-01-16 Caterpillar Inc. Imaging system for generating a surround-view image
KR101766711B1 (ko) * 2016-06-13 2017-08-10 전자부품연구원 다중 카메라를 이용한 가림 물체 투명 표시 장치, 방법 및 시스템
JPWO2020080538A1 (ja) * 2018-10-19 2021-09-09 住友建機株式会社 ショベル

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101998300B1 (ko) 2014-11-05 2019-07-10 현대건설기계 주식회사 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법

Also Published As

Publication number Publication date
CN116746140A (zh) 2023-09-12
EP4277265A1 (en) 2023-11-15
WO2022158935A1 (ko) 2022-07-28
EP4277265A4 (en) 2024-07-31

Similar Documents

Publication Publication Date Title
US9836938B2 (en) Shovel having audio output device installed in cab
JP5888956B2 (ja) ショベル及び該ショベルの周囲画像表示方法
US9169108B2 (en) Performance line display unit
JP5462008B2 (ja) 画像表示システム
KR101752613B1 (ko) 작업 기계의 주변 감시 장치
JP2015151794A (ja) 産業機械の監視画像表示装置
US12077946B2 (en) Construction machine
JP2009073248A (ja) アウトリガ張出し量検出装置
KR20220107537A (ko) 중장비용 전방 영상 생성 장치
KR102235125B1 (ko) 건설장비용 전방 영상 생성 장치
JP6746303B2 (ja) ショベル
CN115362297A (zh) 工程机械的周边检测装置
KR20160110642A (ko) 건설장비의 작업 현황 모니터링 장치 및 그 방법
JP2021031922A (ja) 作業機械
JP7125454B2 (ja) ショベル
JP7257357B2 (ja) ショベル及びショベル用のシステム
CN114375568A (zh) 用于重型机械的前方影像生成装置
JP7253740B2 (ja) カメラの制御システム
JP7178334B2 (ja) ショベル及びショベルの表示装置
JP7257356B2 (ja) ショベル及びショベル用のシステム
JP7009327B2 (ja) ショベル
JP7263288B2 (ja) ショベル及びショベル用のシステム
JP7263290B2 (ja) ショベル及びショベル用のシステム
JP7263289B2 (ja) ショベル及びショベル用のシステム
KR102715163B1 (ko) 굴삭기의 촬영영상 처리장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination