KR20230156220A

KR20230156220A - 건설 기계의 avm 시스템 및 이를 이용한 av 영상 생성 방법

Info

Publication number: KR20230156220A
Application number: KR1020220055642A
Authority: KR
Inventors: 박용진
Original assignee: 에이치디현대인프라코어 주식회사
Priority date: 2022-05-04
Filing date: 2022-05-04
Publication date: 2023-11-14

Abstract

본 개시의 실시 예들에 따른 건설 기계의 AVM 시스템은 건설 기계의 주변 영상을 획득하되, 획득되는 영상을 간에 공통 영역이 발생하도록 상기 건설기계에 배치되는 복수의 카메라, 상기 복수의 카메라로부터 획득된 영상 각각에서 오브젝트를 검출하는 오브젝트 검출부, 상기 복수의 카메라로부터 획득한 영상을 조합하여 AV(around view) 영상을 생성하되, 상기 오브젝트 검출부로부터 제공되는 오브젝트 검출 결과에 따라 상기 생성되는 AV 영상의 상기 공통 영역에 경계를 설정하여 분할하고, 상기 공통 영역의 분할된 영역 각각을 서로 상이한 카메라의 영상으로 표시하는 영상 조합부를 포함할 수 있다.

Description

건설 기계의 AVM 시스템 및 이를 이용한 AV 영상 생성 방법{AROUND VIEW MONITORING SYSTEM FOR CONSTRUCTION MACHINARY AND AROUND VIEW IMAGE GENERATING METHOD USING THE SAME}

본 개시의 다양한 실시 예들은 AVM(around view monitoring)을 지원하는 건설 기계의 AVM 시스템 및 이를 이용한 AV 영상 생성 방법에 관한 것이다.

일반적으로 토공작업 환경에서는 도저, 로더, 굴삭기, 그레이더 등의 건설 기계가 주로 활용된다. 특히, 굴삭기는 장비의 크기에 비해 작업 반경이 넓은 장점이 있는 반면, 붐(boom), 암(arm), 버킷(bucket)과 같은 굴삭기의 특성으로 조종자에게 발생하는 사각지대가 다른 건설 기계에 비해 넓다는 단점이 있다.

이에 따라 굴삭기는 사각지대로 인해 빈번한 안전사고를 발생시키거나, 주행 중 사각지대로 인한 추락 및 전도를 발생시킬 수 있다.

이러한 문제점을 해결하기 위하여, 건설 기계의 주변을 촬영하기 위해 설치된 복수의 카메라를 통해 획득한 영상을 조합하여 AV(around view) 영상을 제공할 수 있는 AVM(around view monitoring) 기술이 개발되고 있다.

토목 또는 건설 현장에서 건설 기계로 인한 안전사고를 예방하기 위해서는 AVM 기술이 필요하다.

본 개시에서는 건설 기계 주변의 오브젝트를 감지하여 AV 영상에 표시될 건설 기계의 전면, 좌측면, 우측면 및 후면에 대한 영상 비율을 조절할 수 있는 건설 기계의 AVM 시스템 및 이를 이용한 3차원(3D) 영상 생성 방법을 제공하고자 한다.

본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 다양한 실시 예에 따르면, 건설 기계의 AVM 시스템은 건설 기계의 주변 영상을 획득하되, 획득되는 영상을 간에 공통 영역이 발생하도록 상기 건설기계에 배치되는 복수의 카메라, 상기 복수의 카메라로부터 획득된 영상 각각에서 오브젝트를 검출하는 오브젝트 검출부, 상기 복수의 카메라로부터 획득한 영상을 조합하여 AV(around view) 영상을 생성하되, 상기 오브젝트 검출부로부터 제공되는 오브젝트 검출 결과에 따라 상기 생성되는 AV 영상의 상기 공통 영역에 경계를 설정하여 분할하고, 상기 공통 영역의 분할된 영역 각각을 서로 상이한 카메라의 영상으로 표시하는 영상 조합부를 포함할 수 있다.

본 개시의 다양한 실시 예에 따르면, 건설 기계에 구비된 AVM 시스템의 AV 영상 생성 방법은 획득되는 영상들 간에 공통 영역이 발생하도록 상기 건설 기계에 구비된 복수의 카메라를 이용하여 상기 건설 기계 주변의 영상을 획득하는 동작, 상기 복수의 카메라를 통해 획득된 영상 각각에서 오브젝트를 검출하는 동작 및 상기 복수의 카메라로부터 획득한 영상을 조합하여 AV(around view) 영상을 생성하는 동작을 포함하고, 상기 복수의 카메라로부터 획득한 영상을 조합하여 표시하는 AV(around view) 영상을 생성하는 동작은 검출된 상기 오브젝트에 기초하여 상기 AV 영상 중 적어도 두 대의 카메라에 의하여 촬영된 상기 공통 영역을 경계를 설정하여 분할하는 동작 및 상기 공통 영역의 분할된 영역 각각을 서로 상이한 카메라의 영상으로 표시하는 동작을 포함할 수 있다.

본 개시의 실시 예들은 건설 기계 주변의 오브젝트를 감지하여 AV 영상에 표시될 건설 기계의 전면, 좌측면, 우측면 및 후면에 대한 영상 비율을 조절할 수 있으므로, AV 영상의 사각지대를 줄일 수 있어 건설 기계의 안전사고를 방지할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 다양한 실시 예에 따른 건설 기계를 도시한 도면이다.
도 2는 본 개시의 다양한 실시 예에 따른 굴삭기를 설명하기 위한 도면이다.
도 3은 본 개시의 다양한 실시 예에 따른 건설 기계를 개념적으로 나타낸 도면이다.
도 4는 본 개시의 다양한 실시 예에 따른 건설 기계에 구비된 AVM 시스템의 구성을 설명하기 위한 도면이다.
도 5 내지 도 7은 본 개시의 다양한 실시 예에 따른 건설 기계의 AVM 시스템의 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 다양한 실시 예에 따른 건설 기계의 AV 영상을 생성하는 방법을 설명하기 위한 순서도이다.

본 개시물의 이점 및 특징, 그리고 그것들을 달성하는 장치 및 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시물은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 개시물의 개시가 완전하도록 하며, 본 개시물이 속하는 기술분야에서 통상의 지식을 가진 자에게 개시물의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시물은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

하나의 구성 요소가 다른 구성 요소와 "연결된(connected to)" 또는 "커플링된(coupled to)" 이라고 지칭되는 것은, 다른 구성 요소와 직접 연결 또는 커플링된 경우 또는 중간에 다른 구성 요소를 개재한 경우를 모두 포함한다. 반면, 하나의 구성 요소가 다른 구성 요소와 "직접 연결된(directly connected to)" 또는 "직접 커플링된(directly coupled to)"으로 지칭되는 것은 중간에 다른 구성 요소를 개재하지 않은 것을 나타낸다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시물을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

비록 제 1, 제 2 등이 다양한 구성 요소들을 서술하기 위해서 사용되나, 이들 구성 요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성 요소를 다른 구성 요소와 구별하기 위하여 사용하는 것이다.

따라서, 이하에서 언급되는 제 1 구성 요소는 본 개시물의 기술적 사상 내에서 제2 구성 요소 일 수도 있음은 물론이다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시물이 속하는 기술 분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 실시 예에서 사용되는 '부' 또는 '모듈'이라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부' 또는 '모듈'은 어떤 역할들을 수행한다. 그렇지만 '부' 또는 '모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부' 또는 '모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부' 또는 '모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성 요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함할 수 있다. 구성요소들과 '부' 또는 '모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는 '모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.

본 개시물의 몇몇 실시 예들과 관련하여 설명되는 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당업계에 알려진 임의의 다른 형태의 기록 매체에 상주할 수도 있다. 예시적인 기록 매체는 프로세서에 커플링되며, 그 프로세서는 기록 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 기록 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 기록 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다.

도 1은 본 개시의 다양한 실시 예에 따른 건설 기계를 도시한 도면이다.

다양한 실시 예에 따르면, 건설 기계(100)는 토목공사나 건축공사 현장에서 작업을 수행하는 기계를 지칭하는 것으로, 도 1을 통해 도시된 바와 같이, 믹서트럭(mixer truck) (110), 덤프 트럭(dump truck)(120), 도저(dozer)(130), 굴삭기(excavator)(140)를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 건설 기계는 굴착기(drilling machine), 크레인(crane), 휠로더(wheel loader), 스크레이퍼(scraper) 등과 같은 다양한 기계를 포함할 수 있다. 이러한 건설 기계는 사용자의 조작에 기반하여 작업을 수행하거나, 사용자없이 자율 작업을 수행할 수 있다. 자율 작업은 사용자의 조작없이 건설 기계(100)가 자율적으로 이동하는 동작, 건설 기계(100)에 의해 수행될 수 있는 작업을 자율적으로 수행하는 동작 등을 모두 포함하는 의미일 수 있다.

도 2는 본 개시의 다양한 실시 예에 따른 굴삭기를 설명하기 위한 도면이다. 이하 설명에서는, 도 1에 도시된 건설 기계 중 굴삭기를 예를 들어 설명하나 건설 기계를 굴삭기로 한정하는 것은 아니다.

도 2를 참조하면, 굴삭기(200)는 이동 역할을 하는 하부체(210), 하부체(210)에 탑재되어 360도 회전하는 상부체(220) 및 상부체(220)의 전방에 결합된 프론트 작업 장치(230)로 구성될 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 전술한 굴삭기(200)의 구성요소 외에 하나 이상의 다른 구성 요소(예: 하부체(210)의 후방에 결합된 플레이드 등)가 추가될 수도 있다.

다양한 실시 예에 따르면, 상부체(220)는 운전자가 탑승하여 조작할 수 있는 운전실(222)이 내장되고 동력발생 장치(예: 전동기)가 장착될 수 있는 내부공간(미도시)이 구비될 수 있다. 운전실(222)은 작업 영역과 가까운 부분에 구비될 수 있다. 작업 영역은 굴삭기(200)가 작업을 하는 공간으로서, 굴삭기(200) 전방에 위치할 수 있다. 예를 들어, 탑승한 운전자가 확보된 시야 아래에서 작업을 진행하고, 프론트 작업 장치(230)가 장착되는 위치를 고려하여 운전실(222)은, 도 2에서와 같이 작업 영역과 근접하면서 상부체(220)에서 일측으로 편향된 곳에 위치할 수 있다.

다양한 실시 예에 따르면, 프론트 작업 장치(230)는 상부체(220)의 상면에 장착되고, 토지 굴삭이나 하중이 큰 물체의 운반 등의 작업을 진행하기 위한 장치일 수 있다. 일 실시 예에 따르면, 프론트 작업 장치(230)는 상부체(220)에 회전 가능하게 결합되는 붐(231), 붐(231)을 회전시키는 붐 실린더(232), 붐(231)의 선단부에 회전 가능하게 결합되는 암(233), 암(233)을 회전시키는 암 실린더(234), 암(233)의 선단부에 회전 가능하게 결합되는 버켓(235), 버켓(235)을 회전시키는 버켓 실린더(236)를 포함할 수 있다. 굴삭기(200)의 작업시에는 붐(231)의 일단과 암(233)의 일단 그리고 버켓(235)의 일단에서 각각 개별적으로 회전 운동하여 버켓(235)이 도달할 수 있는 영역을 최대화할 수 있다. 전술한 프론트 작업 장치(230)는 많은 문서에서 공지되어 있는 바, 이에 대한 상세한 설명을 생략한다.

다양한 실시 예에 따르면, 하부체(210)는 상부체(220)의 하면에 결합될 수 있다. 하부체(210)는 바퀴를 사용하는 휠 타입 또는 무한궤도를 사용하는 크롤러 타입으로 형성된 주행체를 포함할 수 있다. 주행체는 동력발생 장치에 의해 발생되는 동력을 구동력으로 하여 굴삭기의 전후좌우 움직임을 구현할 수 있다. 일 실시 예에 따르면, 하부체(210)와 상부체(220)는 센터 조인트(center joint)에 의해 회전 가능하게 결합될 수 있다.

다양한 실시 예에 따르면, 굴삭기(200)는 무인 자동화, 다시 말해서, 자율 작업을 수행할 수 있는 것으로, 다수의 센서들을 포함할 수 있다.

일 실시 예에 따르면, 다수의 센서들은 굴삭기(200)의 상태를 감지하기 위한 제 1 센서를 포함할 수 있다. 예를 들어, 굴삭기(200)의 상태는 상부체(220)(또는 하부체(210)의 회전 상태를 포함할 수 있다. 제 1 센서는 센터 조인트에 배치되어 상부체(220)의 회전 상태를 감지할 수 있다. 또한, 굴삭기(200)의 상태는 프론트 작업 장치(230)의 회전 상태를 포함할 수 있다. 제 1 센서는 붐(231), 암(233), 및 버켓(235) 각각에 배치되거나 붐(231), 암(233), 및 버켓(235)의 관절부(예: 힌지 연결부)에 배치되어 적어도 붐(231), 암(233) 및 버켓(235) 각각에 대한 회전 상태를 감지할 수도 있다. 전술한 제 1 센서의 위치는 하나의 실시 예로 본 개시가 이에 한정되는 것은 아니며, 제 1 센서는 굴삭기(200)의 상태를 감지할 수 있는 다양한 위치에 배치될 수 있다.

일 실시 예에 따르면, 다수의 센서들은 굴삭기(200)가 작업을 진행하는 작업 영역을 감지하기 위한 제 2 센서를 포함할 수 있다. 전술한 바와 같이, 작업 영역은 굴삭기가 작업을 하는 공간으로서, 굴삭기(200) 전방에 위치할 수 있다. 제 2 센서는 상부체(220)에서 작업 영역과 가까운 부분, 예를 들어, 운전실(222)의 상면에서 프론트 작업 장치(230)에 근접한 일측에 배치되어 작업영역을 감지할 수 있다. 그러나, 이는 예시적일 뿐, 제 2 센서의 위치가 이에 한정되는 것이 아니다. 예컨대, 제 2 센서는 추가적으로 또는 선택적으로 작업 영역을 감지하도록 프론트 작업 장치(230), 예를 들어, 암(233) 또는 버켓(235)에 배치될 수 있다.

일 실시 예에 따르면, 다수의 센서들은 굴삭기(200) 주변의 장애물을 감지하기 위한 제 3 센서를 포함할 수 있다. 제 3 센서는 상부체(220)의 전방, 측방 및 후방에 배치되어 굴삭기 주변의 장애물을 감지할 수 있다. 전술한 제 3 센서의 위치는 하나의 실시 예로 본 개시가 이에 한정되는 것은 아니며, 제 3 센서는 굴삭기(200) 주변의 장애물을 감지할 수 있는 다양한 위치에 배치될 수 있다.

다양한 실시 예에 따르면, 전술한 다양한 센서들은 각도 센서, 관성(inertial measurement unit; IMU) 센서, 회전 센서, 스윙(swing) 센서, 전자기파 센서, 카메라 센서, 레이다, 라이다 또는 초음파 센서 등을 포함할 수 있다. 예를 들어, 제 1 센서는 각도 센서, 관성 센서, 회전 센서 또는 스윙(swing) 센서 중 적어도 하나로 구성될 수 있으며, 제 2 센서 및 제 3 센서는 전자기파 센서, 카메라 센서, 레이다, 라이다 또는 초음파 센서 중 적어도 하나로 구성될 수 있다.

또한, 제 1 센서, 제 2 센서, 제 3 센서 각각은 다른 센서와 동일하거나 또는 유사한 동작을 수행할 수 있다. 예를 들어, 굴삭기(200) 주변의 장애물을 감지하기 위한 제 3 센서를 이용하여, 굴삭기(200)가 작업을 진행하는 작업 영역을 감지하는 제 2 센서의 동작을 수행할 수도 있다.

다양한 실시 예에 따르면, 굴삭기(200)는 무인 자동화, 다시 말해서, 자율 작업을 수행할 수 있는 것으로, 적어도 하나의 측위 장치를 포함하거나 측위 정보를 외부 장치로부터 획득할 수 있다.

일 실시 예에 따르면, 측위 장치는 위성 신호를 수신할 수 있는 GNSS(Global Navigation Satellite System) 모듈이 사용될 수 있으며, 정밀한 측정을 위해 RTK(Real Time Kinematic) GNSS 모듈이 사용될 수도 있다. 예를 들어, 굴삭기(200)의 상부체(220)에는 적어도 하나의 측위 장치가 배치될 수 있다. 그리고 RTK GNSS 모듈이 사용되는 경우에는 정밀한 위치 측정을 위하여 굴삭기(200)는 주변의 적어도 하나의 베이스 스테이션(base station)으로부터 보정신호를 수신할 수 있다.

도 3은 본 개시의 다양한 실시 예에 따른 굴삭기를 개념적으로 나타낸 도면이다.

이하 설명에서는, 건설 기계(300)의 일 예로 굴삭기에 기초하여 도 3을 설명할 수 있으나, 본 개시가 굴삭기에 한정되는 것은 아니다.

도 3를 참조하면, 건설 기계 예를 들어, 굴삭기(300)는 프로세서(310), 통신 장치(320), 저장 장치(330), 조작 장치(340), 출력 장치(350) 및 AVM 시스템(360)를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 전술한 건설 기계(300)의 구성요소 중 적어도 하나가 생략되거나 또는 하나 이상의 다른 구성 요소(예: 입력 장치, 배터리 등)가 건설 기계(300)의 구성으로 추가될 수도 있다.

다양한 실시 예에 따르면, 통신 장치(320)는 유무선 통신 기술을 이용하여 외부 장치와 데이터를 송수신할 수 있다. 외부 장치는 관제 센터(미도시) 및 다른 건설 기계(110 내지 130)를 포함할 수 있다. 예컨대, 통신 장치(320)는 외부 장치로부터 작업 지시를 수신하고, 외부 장치로 작업과 관련된 정보(예: 작업 결과)를 전송할 수 있다. 이때, 통신 장치(320)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication), 이더넷 통신(Ethernet), USB 통신(Universal Serial Bus), CAN 통신(Controller Area Network) 등이 있다. 또한, 통신 장치(320)는 도 3를 통해 전술한 바와 같이, 적어도 하나의 측위 장치를 포함할 수 있다.

다양한 실시 예에 따르면, 저장 장치(330)는 건설 기계(300)의 적어도 하나의 구성요소(예를 들어, 프로세서(310), 통신 장치(320), 조작 장치(340), 출력 장치(350) 또는 AVM 시스템(360))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 일 실시 예에 따르면, 저장 장치(330)는 건설 기계(300)의 제원(예: 모델명, 고유번호, 기본 사양), 맵 데이터 등을 저장할 수 있다. 예를 들어, 저장 장치(330)는 비휘발성 메모리 장치 및 휘발성 메모리 장치 중 적어도 하나를 포함할 수 있다. 또한, 저장 장치(330)는 메인 메모리와 보조 메모리를 포함할 수 있으며, 저장되는 데이터의 중요도 또는 기능에 따라 구분된 데이터를 메인 메모리 또는 보조 메모리에 저장시킬 수 있다.

다양한 실시 예에 따르면, 센서 장치(미도시)는 다양한 센서들을 이용하여 건설 기계(300)의 상태, 건설 기계(300)의 작업 영역 또는 건설 기계(300) 주변의 장애물 중 적어도 하나와 관련된 정보를 수집할 수 있다. 센서 장치는 도 3를 통해 전술한 바와 같이, 제 1 센서, 제 2 센서 및 제 3 센서를 포함할 수 있다. 예를 들어, 건설 기계(300)의 상태와 관련된 정보를 수집하기 위한 각도 센서, 관성 센서 또는 회전 센서 중 적어도 하나가 센서 장치의 구성으로 사용될 수 있으며, 건설 기계(300)의 작업 영역 및 주변 장애물과 관련된 정보를 수집하기 위한 전자기파 센서, 카메라 센서, 레이다, 라이다 또는 초음파 센서 중 적어도 하나가 센서 장치의 구성으로 사용될 수 있다. 그러나, 이는 예시적일 뿐, 본 개시의 실시 예가 이에 한정되는 것이 아니다. 예컨대, 건설 기계(300)의 상태, 건설 기계(300)의 작업 영역 또는 건설 기계(300) 주변의 장애물과 관련된 정보를 수집할 수 있는 다양한 종류의 센서들이 센서 장치의 구성으로 사용될 수 있다.

다양한 실시 예에 따르면, 조작 장치(340)는 건설 기계, 예를 들어 굴삭기(300)의 작업을 제어할 수 있다.

다양한 실시 예에 따르면, 조작 장치(340)는 굴삭기(300)의 동작 제어에 사용될 명령 또는 데이터를 수신할 수 있다. 조작 장치(340)는 프론트 작업 장치(230)의 적어도 일부(예: 붐(231), 암(233) 및 버킷(235))를 조작하기 위한 조작 레버, 하부체(210)의 조향을 조작하기 위한 핸들, 굴삭기(300)의 이동 속도 또는 전후방 주행을 조작하기 위한 변속 레버 등을 포함할 수 있다. 일 실시 예에 따르면, 조작 장치(340)는, 도 2를 통해 전술한 운전실(222)에 마련될 수 있다.

다양한 실시 예에 따르면, 출력 장치(350)는 굴삭기(300)의 동작과 관련된 출력을 발생시킬 수 있다. 일 실시 예에 따르면, 출력 장치는 시각 정보를 출력하는 디스플레이, 청각 정보를 출력하는 오디오 데이터 출력 장치, 촉각 정보를 출력하는 햅틱 모듈 등을 포함할 수 있다. 예를 들어, 디스플레이는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(MEMS) 디스플레이, 또는 전자종이(electronic paper) 등을 포함할 수 있다. 또한, 오디오 데이터 출력 장치는, 굴삭기(300)에 포함되거나, 굴삭기(300)에 유/무선을 통해 연결된 스피커, 이어폰, 이어셋 또는 헤드셋 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 프로세서(310)는 건설 기계(300)의 전반적인 동작을 제어하도록 구성될 수 있다. 일 실시 예에 따르면, 프로세서(310)는, 저장 장치(330)에 저장된 소프트웨어(예를 들어, 프로그램)를 실행하여, 프로세서(310)에 연결된 구성 요소(예를 들어, 통신 장치(320), 저장 장치(330), 조작 장치(340), 출력 장치(350) 또는 AVM 시스템(360)) 중 적어도 하나의 구성 요소를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(310)는 다른 구성 요소로부터 수신된 명령 또는 데이터를 저장 장치(330)에 저장하고, 저장 장치(330)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 저장 장치(330)에 저장할 수 있다. 프로세서(310)는 메인 프로세서 및 메인 프로세서와 독립적으로 또는 함께 운영 가능한 보조 프로세서로 구성될 수 있다. 일 실시 예에 따르면, 프로세서(310)는 전술한 구성 요소(예를 들어, 통신 장치(320), 저장 장치(330), 조작 장치(340), 출력 장치(350) 또는 AVM 시스템(360))과 CAN(Controller Area Network) 통신을 수행할 수 있으나, 본 개시가 이에 한정되는 것은 아니다.

다양한 실시 예에 따르면, AVM 시스템(360)는 건설 기계의 주변을 촬영하는 복수의 카메라로부터 획득되는 각 영상들을 조합하여 3D 영상을 출력할 수 있다. 일 실시예에 따라, AVM 시스템(360)은 3D AV(around view) 영상을 출력할 수 있으나 이에 한정하는 것은 아니다.

예를 들어, 본 개시의 다양한 실시 예에 따른 AVM 시스템(360)은 건설 기계(300)의 전/후/좌/우에 설치된 4개의 초 광각 카메라로부터 획득되는 영상들을 조합하여 AV 영상을 생성할 수 있다. 이때, 각 카메라로부터 획득되는 영상들 간에 공통 영역이 발생하도록 건설 기계(300)에 각각에 초 광각 카메라들이 설치되거나 또는 초 광각 카메라들의 화각이 설정될 수 있다. 상술한 예에서 건설 기계(300)의 전/후/좌/우 4개의 위치에 초 광각 카메라를 설치하는 것으로 기재하였으나, 다른 일 실시 예에 따르면 최대 8개의 카메라를 건설 기계(300)에 설치하여 건설 기계 주변의 영상들을 획득할 수 있다. 예를 들면, 카메라는 차량의 전방, 후방, 좌측 전방, 좌측 후방, 우측 전방, 우측 후방 등에 설치되어 건설 기계 주변의 영상들을 획득할 수도 있다.

이하에서는 4개의 카메라가 설치된 경우를 기초로 설명을 하나, 4개 이상 8개의 카메라가 설치된 경우에도 해당 설명이 유사하게 적용될 수 있다.

또한, 이하에서 AVM 시스템(360)이 건설 기계(300)가 중심에 있는 AV 영상을 생성하는 것을 중심으로 설명하나, AVM 시스템(360)은 특정 한 방향에서 건설 기계(300)를 보는 영상을 생성할 수 있음은 당연한 것이고, 이때 생성하는 영상을 합성하는데 이하에서 설명하는 내용이 동일하게 적용될 수 있다.

AVM 시스템(360)은 건설 기계(300)의 전방위 360도에 걸쳐 지평면 정보가 영상에 표시되도록, 건설 기계(300)의 주변을 촬영하는 복수의 카메라로부터 획득되는 영상들을 조합하여 AV 영상을 생성할 수 있다. 이때 생성된 AV 영상의 제1 영역은 복수의 카메라 중 하나의 카메라만 의해 촬영된 영역일 수 있고, 제1 영역과 상이한 제2 영역은 복수의 카메라 중 적어도 두 개의 카메라에 의하여 동시에 촬영된 공통 영역일 수 있다.

AVM 시스템(300)은 최종 AV 영상의 각 픽셀에 대하여 건설 기계(300)의 주변을 촬영하기 위해 설치된 복수의 카메라로부터 획득된 각 영상들의 픽셀을 대응시켜 AV 영상의 각 픽셀에 표시할 영상을 결정함으로써 AV 영상을 생성할 수 있다. 일 실시 예에 따라, AVM 시스템(300)은 제1 영역에 속하는 픽셀의 경우에는 해당 영역을 촬영한 카메라의 픽셀을 매핑시키고, 제2 영역에 속하는 픽셀의 경우에는 해당 영역을 촬영한 적어도 두 개의 카메라 중 하나의 카메라의 픽셀을 매핑시킴으로써 AV 영상의 각 픽셀에 표시할 영상을 결정하여 AV 영상을 생성할 수 있다. 이 경우 제2 영역은 적어도 두 개의 서브영역으로 분할되고, 각 서브영역은 해당 영역을 촬영한 적어도 두 개의 카메라 중 서로 다른 카메라에서 촬영한 영상의 대응하는 영역으로 매핑할 수 있다.

일 실시 예에 따라, 위에서 AV 영상을 생성하기 위하여 픽셀 단위의 매핑으로 설명하였지만, 복수 개의 픽셀을 하나로 묶은 단위 영역에 기초한 매핑도 가능하다. 예를 들면, 2x2의 4개의 픽셀을 단위 영역으로 설정하고, AV 영상의 단위 영역에 복수의 카메라에서 촬영한 영상의 단위 영역을 매핑시킬 수 있다.

결국, AVM 시스템(360)은 지평면 정보를 연속적으로 AV 영상에 표시하기 위해, 건설 기계(300)의 주변을 촬영하는 복수의 카메라 각각에서 획득되는 영상들에서 룩업 테이블(LUT)에 따른 픽셀 또는 단위 영역들을 추출하고, 추출된 픽셀 또는 단위 영역들을 AV 영상의 픽셀 또는 단위 영역에 매칭시켜 AV 영상을 생성할 수 있다. 이때, 건설 기계(300)의 주변을 촬영하는 복수의 카메라에서 획득되는 영상들을 조합한 AV 영상에서 각 카메라로부터 획득된 영상들 간의 경계가 공통 영역에서 형성될 수 있는데 이 경계를 심라인(seamline)으로 칭할 수 있다. 이에 따라 공통 영역은 심라인을 따라 서브영역으로 분할될 수 있고, 각 서브 영역에서는 서로 상이한 카메라로부터 획득한 영상이 표시될 수 있다.

AVM 시스템(360)은 복수의 카메라에서 획득되는 영상들을 조합하여 AV 영상을 생성 시에 지평면 정보의 연속성을 확보할 수 있지만 지상 물체(오브젝트)에 대한 연속성은 확보하지 못할 수 있다. 즉, 심라인에 걸쳐 지상 물체가 존재하는 경우 해당 지상 물체는 AV 영상에서 연속성을 확보하지 못하고 왜곡되어 표시될 수 있다.

본 개시의 다양한 실시 예에 따른 AVM 시스템(360)은 건설 기계(300)의 주변을 촬영하는 복수의 카메라로부터 획득되는 각 영상들에 기초하여 지상 물체(오브젝트)의 존재 여부 및 각 영상에서의 지상 물체의 위치를 판별할 수 있다. 특히, AVM 시스템(360)은 지상 물체가 AV 영상에 표시 시에 심라인에 걸쳐 표시되는 지를 판별할 수 있다. 판별 결과에 따라 AVM 시스템(360)은 심라인에 걸쳐 표시되는 지상 물체의 왜곡을 최소화할 수 있도록 심라인을 이동시킬 수 있다. 일 실시 예에 따라, AVM 시스템(360)은 심라인을 이동시켜 지상 물체가 심라인에 걸치지 않도록 할 수 있다. AVM 시스템(360)은 공통 영역의 픽셀 또는 단위 영역에 표시할 영상 또는 매핑할 영상을 선택 시에 지상 물체가 심라인에 걸치지 않도록 건설 기계(300)의 주변을 촬영하는 복수의 카메라로부터 획득되는 영상들 중 해당 지상 물체를 가장 많이 표시하는 영상을 선택하도록 심라인을 이동시킬 수 있다.

일 실시 예에 따라, AVM 시스템(360)은 룩업 테이블(Look Up Table, LUT)에 기초하여 상술한 대응 관계를 설정하여 AV 영상들을 생성할 수 있다.

이때, 룩업 테이블(LUT)은 최종 AV 영상의 각 픽셀 또는 각 단위 영역에 대하여 건설 기계(300)의 주변을 촬영하기 위해 설치된 복수의 카메라로부터 획득된 각 영상들의 픽셀 또는 단위 영역을 대응시키는 매핑 테이블일 수 있다.

예를 들어, AVM 시스템(360)은 건설 기계(300)의 주변을 촬영하기 위해 설치된 복수의 카메라로부터 획득되는 영상들의 픽셀 또는 단위 영역을 룩업 테이블(LUT)에 따라 추출하여 AV 영상의 픽셀 또는 단위 영역에 매핑시킴으로써 AV 영상을 생성할 수 있다.

일 실시 예에 따라, AVM 시스템(360)은 설정된 심라인이 서로 상이한 복수의 룩업 테이블을 설정할 수 있다. 그리고, AVM 시스템(360)은 건설 기계(300)의 주변을 촬영하기 위해 설치된 복수의 카메라에서 획득되는 영상들의 각 오브젝트 검출 결과에 기초하여, 오브젝트가 심라인에 걸쳐서 표시되지 않도록 하는 룩업 테이블을 선택하고, 해당 룩업 테이블에 기초하여 복수의 카메라에서 획득한 영상들의 픽셀 또는 단위 영역을 생성하는 AV 영상의 픽셀 또는 단위 영역에 매핑시킬 수 있다. 이러한 매핑을 통해 오브젝트가 심라인에 걸쳐서 표시되는 것을 최소화하여 오브젝트의 왜곡된 표시를 최소화할 수 있다.

도 4는 본 개시의 다양한 실시 예에 따른 건설 기계에 구비된 AVM 시스템의 구성을 설명하기 위한 도면이다.

도 4를 참조하면, 본 개시의 다양한 실시 예에 따른 AVM 시스템(360)은 제 1 내지 제 4 카메라(361-1,361-2. 361-3, 361-4), 제 1 내지 제 4 오브젝트 검출부(362-1, 362-2. 362-3. 363-4), 룩업 테이블 선택부(363), 룩업 테이블 저장부(364) 및 영상 조합부(365)를 포함할 수 있다. 다른 일 실시 예에 따라, AVM 시스템(360)이 8대의 카메라를 구비하고 있는 경우에는 8개의 오브젝트 검출부가 구비될 수 있다.

제 1 카메라(361-1)는 건설 기계(300)의 전방에 배치되어, 건설 기계(300)의 전방 영상을 획득하여 제 1 오브젝트 검출부(362-1) 및 영상 조합부(365)에 제공할 수 있다.

제 2 카메라(361-2)는 건설 기계(300)의 후방에 배치되어, 건설 기계(300)의 후방 영상을 획득하여 제 2 오브젝트 검출부(362-2) 및 영상 조합부(365)에 제공할 수 있다.

제 3 카메라(361-3)는 건설 기계(300)의 좌측에 배치되어, 건설 기계(300)의 좌측 영상을 획득하여 제 3 오브젝트 검출부(362-3) 및 영상 조합부(365)에 제공할 수 있다.

제 4 카메라(361-4)는 건설 기계(300)의 우측에 배치되어, 건설 기계(300)의 우측 영상을 획득하여 제 4 오브젝트 검출부(362-4) 및 영상 조합부(365)에 제공할 수 있다.

이때, 제 1 내지 제 4 카메라(361-1, 361-2, 361-3, 361-4) 각각은 초 광각 카메라를 포함할 수 있으며, 예컨데, 초 광각 카메라는 수평 화각 190도, 수직 화각 130도의 화각으로 영상을 획득할 수 있는 카메라일 수 있다.

제 1 오브젝트 검출부(362-1)는 제 1 카메라(361-1)로부터 획득되어 제공되는 건설 기계(300)의 전방 영상에 기초하여 건설 기계(300)의 전방에 존재하는 오브젝트를 검출할 수 있다.

제 2 오브젝트 검출부(362-2)는 제 2 카메라(361-2)로부터 획득되어 제공되는 건설 기계(300)의 후방 영상에 기초하여 건설 기계(300)의 후방에 존재하는 오브젝트를 검출할 수 있다.

제 3 오브젝트 검출부(362-3)는 제 3 카메라(361-3)로부터 획득되어 제공되는 건설 기계(300)의 좌측 영상에 기초하여 건설 기계(300)의 좌측에 존재하는 오브젝트를 검출할 수 있다.

제 4 오브젝트 검출부(362-4)는 제 4 카메라(361-4)로부터 획득되어 제공되는 건설 기계(300)의 우측 영상에 기초하여 건설 기계(300)의 우측에 존재하는 오브젝트를 검출할 수 있다.

제 1 내지 제 4 오브젝트 검출부(362-1, 362-2, 362-3, 362-4) 각각은 해당 카메라로부터 제공되는 영상에 오브젝트가 검출될 경우, 검출된 오브젝트의 영상 위치 정보 및 오브젝트의 크기(형태) 정보 중 적어도 하나 이상을 오브젝트 검출 결과로서 룩업 테이블 선택부(363)에 제공할 수 있다. 일 실시 예에 따라, 제 1 내지 제 4 오브젝트 검출부(362-1, 362-2, 362-3, 362-4)는 공통 영역에 존재하는 오브젝트만을 검출하여 룩업 테이블 선택부(363)로 제공할 수도 있다.

룩업 테이블 선택부(363)는 제 1 내지 제 4 오브젝트 검출부(362-1, 362-2, 362-3, 362-4)로부터 제공되는 오브젝트 검출 결과(위치, 크기)에 기초하여 룩업 테이블 선택 정보를 생성할 수 있다.

룩업 테이블 저장부(364)는 복수의 룩업 테이블(LUT1, LUT2, ??, LUTN)을 저장할 수 있다. 이때, 복수의 룩업 테이블(LUT1, LUT2, ??, LUTN) 각각은 건설 기계(300)에 구비된 복수의 카메라로부터 획득된 영상을 조합하여 AV 영상을 생성하기 위한 정보로서, AV 영상을 구성하는 각 영상의 픽셀 또는 단위 영역 추출 정보를 포함할 수 있다.

또한, 룩업 테이블 저장부(364)는 룩업 테이블 선택부(363)로부터 제공되는 룩업 테이블 선택 정보에 기초하여 저장된 복수의 룩업 테이블(LUT1, LUT2, ??, LUTN) 중 하나를 선택하여 영상 조합부(365)에 제공할 수 있다.

영상 조합부(365)는 룩업 테이블 저장부(364)로부터 제공되는 룩업 테이블에 기초하여 제 1 내지 제 4 카메라(361-1, 361-2, 361-3, 361-4)로부터 제공되는 각 영상들의 픽셀 또는 단위 영역에 포함되는 픽셀들의 값을 추출하고, 추출된 값들을 AV 영상의 각 픽셀 또는 단위 영역에 포함되는 픽셀들에 매칭시켜 AV 영상을 생성할 수 있다.

상술한 도 4의 일 실시 예에서는 4개의 카메라로부터 획득한 영상에 기초하여 AV 영상을 생성하는 AVM 시스템을 도시하고 있으나, 이는 일 실시 예로서 4개 이상의 카메라를 사용하는 것도 가능하다.

또한, 도 4의 일 실시 예에서는 룩업 테이블에 기초한 매핑을 도시하고 있으나, 룩업 테이블 대신에 다른 수단을 통한 매핑도 가능하다.

또한, 도 4의 일 실시 예에서는 룩업 테이블(364)과 룩업 테이블 선택부(363)가 영상 조합부(365)와 별개로 구비되는 것으로 도시되어 있으나, 다른 일 실시 예에 따라, 룩업 테이블(364)과 룩업 테이블 선택부(363)는 영상 조합부(365)의 일 기능으로 포함될 수 있다.

또한, 도 4의 일 실시 예에서 각 카메라에 대응하여 오브젝트 검출부가 구비되는 것으로 도시되어 있으나, 하나의 오브젝트 검출부가 모든 카메라로부터 오는 영상에 기초하여 오브젝트를 검출할 수도 있다.

도 5 내지 도 7은 본 발명의 다양한 실시 예에 따른 건설 기계의 AVM 시스템의 동작을 설명하기 위한 도면이다.

특히, 도 5 및 도 6은 제 1 내지 제 4 카메라(361-1. 361-2, 361-3, 361-4)로부터 획득된 영상의 단위 영역을 룩업 테이블에 따라 추출하고, 추출된 단위 영역들을 룩업 테이블에 따라 재배치하여 AV 영상을 생성하는 동작을 설명하기 위한 도면이다.

도 5 및 도 6은 제 1 내지 제 4 카메라(361-1, 361-2, 361-3, 361-4)로부터 획득된 각 영상 이미지는 동일한 크기의 단위 영역 15개를 포함하는 3x5의 이미지이고, AV 영상은 5x5의 단위 영역을 포함하는 이미지인 것을 예로 도시한 것인데, 이는 하나의 실시 예일 뿐, 각 영상의 크기가 이에 한정하는 것은 아니다.

3x5인 제 1 내지 제 4 카메라 이미지(제 1 내지 제 4 카메라(361-1, 361-2, 361-3, 361-4)로부터 획득된 영상 이미지)를 구성하는 단위 영역들의 좌표는 가로 방향(x)으로 0 ~ 4까지 구분되며, 세로 방향(y)으로 0 ~ 2까지 구분될 수 있다.

도 5에 도시된 룩업 테이블에 따르면, 제 1 및 제 4 카메라 이미지 각각을 구성하는 총 15개의 단위 영역 중 8개의 단위 영역이 추출되고, 제 2 및 제 3 카메라 이미지 각각을 구성하는 총 15개의 단위 영역 중 4개의 단위 영역이 추출될 수 있다. 또한, 룩업 테이들에 따라 추출된 단위 영역들은 재배치되어 AV 영상을 형성할 수 있다.

제 1 카메라 이미지의 단위 영역 좌표는 룩업 테이블 입력에 (1, y, x)로 나타내어지며, 제 2 카메라 이미지의 단위 영역 좌표는 룩업 테이블 입력에 (2, y, x)로 나타내어지고, 제 3 카메라 이미지의 단위 영역 좌표는 룩업 테이블 입력에 (3, y, x)로 나타내어지고, 제 4 카메라 이미지의 단위 영역 좌표는 룩업 테이블 입력에 (4, y, x)로 나타내어질 수 있다.

또한, 각 카메라 이미지의 단위 영역 좌표와 매칭되는 AV 영상의 단위 영역 좌표는 룩업 테이블 출력(y,x)으로 나타내어질 수 있다.

도 5에 도시된 룩업 테이블에 따르면, 제 1 카메라 이미지를 구성하는 단위 영역들(1, y, x) 중 (1, 0, 0), (1, 0, 1), (1, 0, 2), (1, 0, 3), (1, 0, 4), (1, 1, 1), (1, 1, 2), (1, 1, 3)의 좌표에 해당하는 8개의 단위 영역들이 추출될 수 있고, 추출된 각 단위 영역들은 (0, 0), (0, 1), (0, 2), (0, 3), (0, 4), (1, 1), (1, 2), (1, 3)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 있다.

제 2 카메라 이미지를 구성하는 단위 영역들(2, y, x) 중 (2, 0, 1), (2, 0, 2), (2, 0, 3), (2, 1. 2)의 좌표에 해당하는 4개의 단위 영역들이 추출되고, 추출된 각 단위 영역들은 (3, 0), (2, 0), (1, 0), (2, 1)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 잇다.

제 3 카메라 이미지를 구성하는 단위 영역들(3, y, x) 중 (3, 0, 1), (3, 0, 2), (3, 0, 3), (3, 1, 2)의 좌표에 해당하는 4개의 단위 영역들이 추출되고, 추출된 각 단위 영역들은 (1, 4), (2, 4), (3, 4), (2, 3)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 있다.

제 4 카메라 이미지를 구성하는 단위 영역들(4, y, x) 중 (4, 0, 0), (4, 0, 1), (4, 0, 2), (4, 0, 3), (4, 0, 4), (4, 1, 1), (4, 1, 2), (4, 1, 3)의 좌표에 해당하는 8개의 단위 영역들이 추출되고, 추출된 각 단위영역들은 (4, 4), (4, 3), (4, 2), (4, 1), (4, 0), (3, 3), (3, 2), (3, 1)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 있다.

도 6은 도 5와 다른 룩업 테이블이 적용된 AVM 시스팀(360)의 동작을 설명하기 위한 도면이다.

도 6에 도시된 룩업 테이블에 따르면, 제 1 카메라 이미지를 구성하는 단위 영역들(1, y, x) 중 (1, 0, 1), (1, 0, 2), (1, 0, 3), (1, 0, 4), (1, 1, 2), (1, 1, 3)의 좌표에 해당하는 7개의 단위 영역들이 추출될 수 있고, 추출된 각 단위 영역들은 (0, 1), (0, 2), (0, 3), (0, 4), (1, 1), (1, 2), (1, 3)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 있다.

제 2 카메라 이미지를 구성하는 단위 영역들(2, y, x) 중 (2, 0, 1), (2, 0, 2), (2, 0, 3), (2, 0, 4), (2, 1. 2), (2, 1, 3)의 좌표에 해당하는 6개의 단위 영역들이 추출되고, 추출된 각 단위 영역들은 (3, 0), (2, 0), (1, 0), (0, 0), (2, 1), (1, 1)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 잇다.

제 4 카메라 이미지를 구성하는 단위 영역들(4, y, x) 중 (4, 0, 0), (4, 0, 1), (4, 0, 2), (4, 0, 3), (4, 0, 4), (4, 1, 1), (4, 1, 2), (4, 1, 3)의 좌표에 해당하는 8개의 단위 영역들이 추출되고, 추출된 각 단위 영역들은 (4, 4), (4, 3), (4, 2), (4, 1), (4, 0), (3, 3), (3, 2), (3, 1)의 좌표에 해당하는 AV 영상의 단위 영역 좌표에 매칭되어 표시될 수 있다.

도 5와 도 6을 비교하면, AV 영상의 단위 영역들 중 (0, 0), (1, 1)의 단위 영역 좌표와 매칭되었던 카메라 이미지가 제 1 카메라 이미지로부터 제 2 카메라 이미지로 변경되었음을 알 수 있다.

즉, 도 5에 비해 도 6은 AV 영상을 구성하는 제 1 내지 제 4 카메라 이미지들 중 제 1 카메라 이미지의 비율이 감소되고, 제 2 카메라 이미지의 비율이 증가되었음을 알 수 있다.

만약, 제 2 카메라로부터 획득된 이미지를 구성하는 단위 영역들 중 (2, 0, 4), (2, 1, 3)의 좌표 중 적어도 어느 하나이상에 대응되는 단위 영역에 오브젝트가 검출될 경우, 도 5의 룩업 테이블에서 도 6의 룩업 테이블로 변경되고, 도 6과 같은 AV 영상이 생성될 수 있다.

한편, 제 1 카메라로부터 획득된 이미지와 제 2 카메라로부터 획득된 이미지에서 동일 오브젝트가 검출되었으나, 제 2 카메라의 단위 영역들 중 (2, 0, 4), (2, 1, 3)의 좌표에 대응하는 단위 영역에서 검출된 오브젝트가 가장 많이 표시된 경우, 도 5의 룩업 테이블에서 도 6의 룩업 테이블로 변경되고, 도 6과 같은 AV 영상이 생성될 수 있다.

도 7은 AV 영상을 구성하는 각 카메라 이미지의 경계가 도 5 및 도 6의 설명과 같이 이동할 수 있음을 나타내는 도면일 수 있다.

상술한 바와 같이, 건설 기계(300)의 전/후/좌/우 각각에서 획득되는 영상들을 조합한 AV 영상에서 각 카메라로부터 획득된 영상들의 경계는 심라인(seamline)으로 정의될 수 있다.

도 7은 AV 영상의 각 심라인들을 나타낸 것으로, AV 영상에서 제 1 카메라(361-1)와 제 2 카메라(361-2)로부터 획득된 영상의 경계를 제 1 심라인(SL1-2)으로, 제 2 카메라(361-2)와 제 3 카메라(361-3)로부터 획득된 영상의 경계를 제 2 심라인(SL2-3)으로, 제 3 카메라(361-3)와 제 4 카메라(361-4)로부터 획득된 영상의 경계를 제 3 심라인(SL3-4), 제 4 카메라(361-4)와 제 1 카메라(361-1)로부터 획득된 영상의 경계를 제 4 심라인(SL4-1)으로 도시한 도면일 수 있다.

도 5와 도 6을 비교하면, 도 6은 도 5에 비해 제 1 심라인(SL1-2)이 AV 영상에서 제 2 카메라(361-2)로부터 획득된 영상의 비율을 증가시키도록 이동된 것을 알 수 있다.

도 7과 같이, 제 1 심라인(SL1-2)은 AV 영상에서 제 1 및 제 2 카메라(361-1, 361-2) 중 어느 하나의 카메라로부터 획득된 영상의 비율이 증가되도록 이동될 수 있으며, 제 1 심라인(SL1-2)은 AV 영상에서 오브젝트가 가장 많이 표시되도록 이동될 수 있다.

또한, 제 1 심라인(SL1-2)의 이동과 마찬가지로, 도 7에 도시된 바와 같이, 본 개시의 다양한 실시 예에 따른 AVM 시스템(360)은 룩업 테이블을 이용하여 제 2 내지 제 4 심라인(SL2-3, SL3-4, SL4-1)을 이동시킬 수 있다.

따라서, 본 개시의 다양한 실시 예에 따른 AVM 시스템(360)은 각 카메라 이미지의 오브젝트 검출 결과에 기초하여 제 1 내지 제 4 심라인(SL1-2, SL2-3, SL3-4, SL4-1)을 이동시킬 수 있는 룩업 테이블을 선택함으로써, 기존 AV 영상에서 왜곡되어 표시될 수 있는 오브젝트를 왜곡을 최소화하면서 또는 왜곡을 없애면서 AV 영상에 표시할 수 있다.

도 8은 본 개시의 다양한 실시 예에 따른 건설 기계의 AV 영상을 생성하는 방법을 설명하기 위한 순서도이다.

도 8을 참조하면, 본 개시의 다양한 실시 예에 따른 건설 기계의 AV 영상 생성 방법은, 영상 획득 동작(S1), 오브젝트 검출 동작(S2), 심라인 결정 동작(S3) 및 AV 영상 생성 동작(S4)을 포함할 수 있다.

영상 획득 동작(S1)은 건설 기계(300)에 설치된 복수의 카메라들로부터 건설 기계(300)의 주변을 촬영한 영상을 각각 획득하는 동작을 포함할 수 있다. 일 실시 예에 따라 영상에는 건설 기계(300)의 적어도 일부가 포함되어 있을 수 있다.

오브젝트 검출 동작(S2)은 건설 기계(300)에 설치된 복수의 카메라들로부터 획득된 각 영상 별로 오브젝트를 검출하는 동작을 포함할 수 있다.

심라인 결정 동작(S3)은 오브젝트 검출 결과에 따라 복수의 카메라를 통해 획득한 영상들을 조합할 때, 각 영상 간의 경계가 되는 심라인을 결정할 수 있다. 일 실시 예에 따라 심라인을 결정하는 동작(S3)은 미리 설정된 복수의 룩업 테이블 중 하나를 선택하는 동작일 수 있다. 심라인 결정 동작(S3)은 심라인에 걸처서 표시되는 오브젝트를 최소화하거나 또는 오브젝트가 심라인에 걸치더라도 오브젝트의 대부분이 심라인의 한쪽에 있을 수 있도록 심라인을 결정하는 동작을 포함할 수 있다.

AV 영상 생성 동작(S4)은 결정된 심라인에 기초하여 복수의 카메라를 통해 획득된 영상들을 조합하여 AV 영상을 생성하는 동작을 포함할 수 있다. 일 실시 예에 따라, 선택된 룩업 테이블에 따라 복수의 카메라를 통해 획득된 영상들을 조합하여 AV 영상을 생성하는 동작을 포함할 수 있다.

예를 들어, AV 영상 생성 동작(S4)은 영상 획득 동작(S1)에서 획득된 건설 기계(300) 주변을 촬영한 각 영상들을 구성하는 단위 영역들 중 룩업 테이블에 따라 단위 영역들을 추출하는 동작 및 추출된 단위 영역들을 룩업 테이블에 따라 AV 영상을 구성하는 단위 영역들에 배치시켜 AV 영상을 생성하는 동작을 포함할 수 있다.

상술한 바와 같이 본 개시에서는 복수의 카메라를 통해 획득한 영상들을 조합하여 AV 영상을 생성 시에 검출된 오브젝트에 따라 심라인을 변경하는 것을 제안하고 있다. 이로 인하여 심라인에 걸쳐서 표시되는 오브젝트의 수를 줄일 수 있으며, 한편으로, 심라인에 걸쳐서 표시되는 오브젝트가 있더라도 심라인의 일측에 오브젝트의 대부분이 표시될 수 있도록 하여, 오브젝트 표시시에 발생할 수 있는 왜곡을 없애거나 최소화할 수 있다.

본 개시는 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

200: 굴삭기 210: 하부체
220: 상부체 222: 운전실
230: 프론트 작업 장치 231: 붐
232: 붐 실린더 233: 암
234: 암 실린더 235: 버켓
236: 버켓 실린더 300: 건설 기계
310: 프로세서 320: 통신 장치
330: 저장 장치 340: 조작 장치
350: 출력 장치 360: AVM 시스템

Claims

건설 기계 주변 영상을 획득하되 획득되는 영상들 간에 공통 영역이 발생하도록 상기 건설 기계에 배치되는 복수의 카메라;
상기 복수의 카메라로부터 획득된 영상 각각에서 오브젝트를 검출하는 오브젝트 검출부;
상기 복수의 카메라로부터 획득한 영상을 조합하여 AV(around view) 영상을 생성하되, 상기 오브젝트 검출부로부터 제공되는 오브젝트 검출 결과에 따라 상기 생성되는 AV 영상의 상기 공통 영역에 경계를 설정하여 분할하고, 상기 공통 영역의 분할된 영역 각각을 서로 상이한 카메라의 영상으로 표시하는 영상 조합부를 포함하는, AVM 시스템.
제1항에 있어서,
상기 영상 조합부에서 생성된 영상을 출력하는 출력 장치를 더 포함하고
상기 영상 조합부에서 생성된 영상은 사용자가 알 수 있도록 표시된 상기 설정된 경계를 포함하는, AVM 시스템
제1항에 있어서,
상기 영상 조합부에서 생성된 영상을 출력하는 출력 장치를 더 포함하고
상기 영상 조합부에서 생성된 영상은 상기 설정된 경계를 표시하지 않는, AVM 시스템
제1항에 있어서,
상기 오브젝트 검출부는,
상기 복수의 카메라로부터 획득되는 각 영상들에 기초하여 오브젝트의 존재 여부, 각 영상에서 검출된 오브젝트 위치 및 크기를 상기 오브젝트 검출 결과로서 상기 영상 조합부에 제공하는, AVM 시스템.
제1항에 있어서,
상기 오브젝트 검출부는
상기 공통 영역에서의 오브젝트만을 검출하여 상기 오브젝트 검출 결과로서 상기 영상 조합부에 제공하는, AVM 시스템
제1항에 있어서,
상기 영상 조합부는,
상기 오브젝트 검출 결과에 포함된 오브젝트가 상기 AV 영상의 상기 경계를 걸쳐서 표시되지 않도록 상기 경계를 설정하는, AVM 시스템.
제1항에 있어서,
상기 영상 조합부는,
상기 복수의 카메라로부터 획득된 각 영상을 구성하는 복수의 단위 영역 중 상기 AV 영상을 구성하는 복수의 단위 영역의 각각에 표시될 단위 영역을 나타내는 매핑 정보를 포함하는 복수의 룩업 테이블(look up table)을 구비하고,
상기 복수의 룩업 테이블은 상기 경계가 서로 상이하게 설정되어 있고,
상기 영상 조합부는,
상기 복수의 룩업 테이블 중 하나를 선택하고, 선택한 룩업 테이블의 매핑 정보에 기초하여 상기 AV 영상을 생성하는, AVM 시스템.
제7항에 있어서,
상기 영상 조합부는,
상기 복수의 룩업 테이블 중에서 상기 오브젝트 검출 결과에 포함된 오브젝트가 상기 경계를 걸쳐서 표시되지 않도록 하는 룩업 테이블을 선택하는, AVM 시스템.
건설 기계에 구비된 AVM 시스템의 AV 영상 생성 방법에 있어서,
획득되는 영상들 간에 공통 영역이 발생하도록 상기 건설 기계에 구비된 복수의 카메라를 이용하여 상기 건설 기계 주변의 영상을 획득하는 동작;
상기 복수의 카메라를 통해 획득된 영상 각각에서 오브젝트를 검출하는 동작; 및
상기 복수의 카메라로부터 획득한 영상을 조합하여 AV(around view) 영상을 생성하는 동작을 포함하고,
상기 복수의 카메라로부터 획득한 영상을 조합하여 표시하는 AV(around view) 영상을 생성하는 동작은,
검출된 상기 오브젝트에 기초하여 상기 AV 영상 중 적어도 두 대의 카메라에 의하여 촬영된 상기 공통 영역을 경계를 설정하여 분할하는 동작; 및
상기 공통 영역의 분할된 영역 각각을 서로 상이한 카메라의 영상으로 표시하는 동작을 포함하는, AV 영상 생성 방법.
제9항에 있어서,
상기 복수의 카메라를 통해 획득된 영상 각각에서 오브젝트를 검출하는 동작은,
상기 공통 영역에서의 오브젝트만을 검출하는 동작을 포함하는, AV 영상 생성 방법.
제9항에 있어서,
상기 공통 영역을 경계를 설정하여 분할하는 동작은,
검출된 상기 오브젝트가 상기 AV 영상의 상기 경계를 걸쳐서 표시되지 않도록 상기 경계를 설정하는 동작을 포함하는, AV 영상 생성 방법.
제9항에 있어서,
상기 공통 영역을 경계를 설정하여 분할하는 동작은,
상기 복수의 카메라로부터 획득된 각 영상을 구성하는 복수의 단위 영역 중 상기 AV 영상을 구성하는 복수의 단위 영역의 각각에 표시될 단위 영역을 나타내는 매핑 정보를 포함하고, 서로 간에 상기 경계가 상이하게 설정되는 복수의 룩업 테이블(look up table)을 설정하는 동작; 및
검출된 상기 오브젝트에 기초하여 상기 복수의 룩업 테이블 중 하나를 선택하는 동작을 포함하는, AV 영상 생성 방법.
제12항에 있어서,
상기 복수의 룩업 테이블 중 하나를 선택하는 동작은,
상기 복수의 룩업 테이블 중에서 검출된 상기 오브젝트가 경계를 걸쳐서 표시되지 않도록 하는 룩업 테이블을 선택하는, AV 영상 생성 방법.