KR20210099271A - 굴삭기의 촬영영상 처리장치 및 방법 - Google Patents

굴삭기의 촬영영상 처리장치 및 방법 Download PDF

Info

Publication number
KR20210099271A
KR20210099271A KR1020200012912A KR20200012912A KR20210099271A KR 20210099271 A KR20210099271 A KR 20210099271A KR 1020200012912 A KR1020200012912 A KR 1020200012912A KR 20200012912 A KR20200012912 A KR 20200012912A KR 20210099271 A KR20210099271 A KR 20210099271A
Authority
KR
South Korea
Prior art keywords
image
camera
excavation
excavator
working
Prior art date
Application number
KR1020200012912A
Other languages
English (en)
Inventor
신성현
Original Assignee
두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020200012912A priority Critical patent/KR20210099271A/ko
Publication of KR20210099271A publication Critical patent/KR20210099271A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/23245—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 일 실시예에 따른 굴삭기의 촬영영상 처리장치는, 굴삭기의 촬영영상 처리장치복수개의 센서로부터 수신되는 센싱값에 기초하여 작업상태를 판단하는 제어부 및 카메라로부터 수신되는 촬영영상에 기초하여, 상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 영상처리부를 포함하고, 상기 영상처리부는 전후좌우 4방위를 촬영하는 제1 카메라 그룹으로부터 수신되는 촬영영상을 기초로 탑 뷰 형상의 일반모드 작업영상을 생성하고, 굴삭영역을 촬영하는 제2 카메라로부터 수신되는 촬영영상과 상기 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는 것을 특징으로 한다.

Description

굴삭기의 촬영영상 처리장치 및 방법{IMAGE PROCESSING APPARATUS FOR EXCAVATOR AND METHOD FOR PROCESSING IMAGE}
본 명세서의 일 실시예는 굴삭기의 촬영영상 처리장치 및 방법에 관한 것이다.
일반적으로 토공작업 환경에서는 도저, 로더, 굴삭기, 그레이더 등 건설 중장비가 주로 활용된다 이 중 굴삭기는 장비의 규모에 비해 작업을 수행할 수 있는 반경이 넓은 반면, 이러한 굴삭기의 특성(붐, 암, 버킷)에 의해 장비 운전원에게 발생하는 사각지대가 여타 차량형 장비에 비해 넓다는 단점이 있다.
이에 따라 굴삭기는 사각지대로 인해 빈번한 안전사고를 발생시키거나, 주행 중 사각지대로 인한 추락 및 전도를 발생시키고, 사고에 대한 불안감으로 인해 장비 운용의 효율 또한 매우 저하되는 실정이다 특히, 건설장비 운전원은 3D 직종으로 분류되어 신규 인력의 투입이 매우 저조한 실정이므로 숙련된 운전원의 부재는 이러한 문제를 더욱 심화시키고 있는 실정이다.
이러한 문제점을 해결하기 위하여 건설 중장비의 4면에 설치된 카메라를 통해 취득된 영상을 조합하고 보정하여 탑 뷰로 제공함으로써, 건설 중장비의 주변 영상을 디스플레이하는 AVM(Around View Monitoring) 기술이 개발되고 있다.
그러나 이러한 AVM 기술은 단순히 건설 중장비의 4면에 설치된 카메라로부터 획득한 영상을 통해 취득된 탑뷰 영상으로, 해당 카메라의 화각에 벗어난 작업영역에 대하여는 모니터링이 불가능하다는 문제점이 있다.
본 발명의 일 실시예에 따르면, 굴삭 작업시 사각지대 없는 작업영역의 영상을 제공하는 굴삭기의 촬영영상 처리장치 및 방법을 제공한다.
전술한 목적을 달성하기 위하여, 본 명세서에서 제시되는 일 실시예에 따른 굴삭기의 촬영영상 처리장치는, 굴삭기의 촬영영상 처리장치복수개의 센서로부터 수신되는 센싱값에 기초하여 작업상태를 판단하는 제어부 및 카메라로부터 수신되는 촬영영상에 기초하여, 상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 영상처리부를 포함하고, 상기 영상처리부는 전후좌우 4방위를 촬영하는 제1 카메라 그룹으로부터 수신되는 촬영영상을 기초로 탑 뷰 형상의 일반모드 작업영상을 생성하고, 굴삭영역을 촬영하는 제2 카메라로부터 수신되는 촬영영상과 상기 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는 것을 특징으로 한다.
여기서, 제2 카메라는 붐 또는 암에 마련된다.
상기 제어부는 선회체의 각속도 센싱값과, 버켓의 각도센서에 기초하여, 상기 선회체가 회전하지 않고 상기 버켓이 크라우드 상태라고 판단되면, 상기 제2 카메라의 촬영을 제어하여 굴삭영역의 촬영영상을 획득하는 것을 특징으로 한다.
상기 굴삭영역의 촬영영상은 파노라마형 정지영상이다.
상기 영상처리부는, 굴삭영역의 상기 파노라마형 정지영상을 렌더링하여 3차원 영상을 생성하고, 렌더링된 굴삭영역의 영상과 탑 뷰 형상의 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는 것을 특징으로 한다.
상기 영상처리부는 굴삭기가 딛고 있는 지면의 연장선을 합성 영상의 기준면으로 한다.
본 명세서에서 제시되는 일 실시예에 따른 굴삭기의 촬영영상 처리장치의 촬영영상 처리방법은, 복수개의 센서로부터 수신되는 센싱값에 기초하여 작업상태를 판단하는 단계; 및 카메라로부터 수신되는 촬영영상에 기초하여, 상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 단계를 포함하고, 상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 단계는, 전후좌우 4방위를 촬영하는 제1 카메라 그룹으로부터 수신되는 촬영영상을 기초로 탑 뷰 형상의 일반모드 작업영상을 생성하는 하거나, 또는 굴삭영역을 촬영하는 제2 카메라로부터 수신되는 촬영영상과 상기 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는 것을 포함하는 것을 특징으로 한다.
상기 굴삭모드 작업영상을 생성하는 단계는 상기 제2 카메라로부터 수신되는 파노라마형 정지영상을 렌더링하여 3차원 영상을 생성하고, 렌더링된 굴삭영역의 영상과 탑 뷰 형상의 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 굴삭 작업시 작업영역의 사각지대 없는 작업영역의 영상을 제공하여, 작업자가 장비 주변의 상황을 파악하여 장비의 다음 동작에 대한 접근 및 작업성을 높일 수 있다.
도 1은 본 명세서의 일 실시 예에 따른 굴삭기의 촬영영상 처리시스템을 나타낸 블록 구성도이다.
도 2는 본 명세서의 일 실시 예에 따른 굴삭기의 촬영영상 처리장치를 나타낸 블록 구성도이다.
도 3은 본 발명의 실시 예에 따른 굴삭기에 마련된 센서 및 카메라의 위치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촬영영상 처리장치의 촬영영상 생성방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 촬영영상 처리장치의 굴삭 촬영영상 생성방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 굴삭 작업 상황을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 굴삭모드 작업영상을 표시한 표시장치의 화면의 예를 도시하였다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 발명에서는 건설기계에 다수의 카메라를 장착하고 이 카메라들로부터 촬상된 각각의 이미지를 하나의 영상으로 합성하여 영상 처리함으로써 특정 작업시 작업자의 시야에 보이지 않는 사각지대를 화면에 표시해 주는 구성을 제시한다. 특히, 건설기계의 붐 또는 암에 마련된 카메라의 영상을 이용한 탑 뷰 영상을 제공하여, 굴삭 작업시 작업자가 굴삭 지형을 용이하게 파악할 수 있게 한다.
도 1은 본 명세서의 일 실시 예에 따른 굴삭기의 촬영영상 처리시스템을 나타낸 블록 구성도이고, 도 2는 본 명세서의 일 실시 예에 따른 굴삭기의 촬영영상 처리장치를 나타낸 블록 구성도이고, 도 3은 본 발명의 실시 예에 따른 굴삭기에 마련된 센서 및 카메라의 위치를 설명하기 위한 도면이다.
도 1에서와 같이, 본 발명의 일 실시예에 따른 촬영영상 처리시스템은, 복수개의 카메라(10), 복수개의 센서(20), 촬영영상 처리장치(30) 및 표시장치(40)를 포함할 수 있다.
본 발명의 일 실시예에서의 복수개의 카메라(10)는 건설기계의 전방, 후방, 좌측, 우측을 각각 촬상하는 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라를 포함하는 제1 카메라 그룹과, 건설기계의 붐 또는 암에 마련되어, 굴삭방향 즉, 붐 또는 암의 작업방향을 향해 촬상하도록 구비된 제2 카메라(이하, 붐 카메라라 함)를 포함하여 구성될 수 있다. 제1 카메라 그룹은 건설기계의 전방 카메라, 후방 카메라, 좌측 카메라 및 우측 카메라를 포함하고, 건설기계의 전후좌우면에 대하여 사각지대 없이 영상을 취득할 수 있는 화각을 가져야 한다. 또한 건설기계를 중심으로 하는 작업영역을 탑 뷰(Top View) 영상으로 변환할 수 있는 해상도를 갖는 카메라가 적용되는 것이 바람직하다.
이 경우, 복수의 카메라(10)는 건설기계의 전후좌우 4방위를 모두 촬상할 뿐만 아니라, 붐 카메라에 의해 굴삭 작업시 작업영역을 용이하게 감시할 수 있다. 본 발명의 일 실시예에서의 복수개의 카메라(10)들은 촬영영상을 촬영영상 처리장치(30)에 전달한다.
본 발명의 일 실시예에서의 복수개의 센서(20)는 각도센서를 포함하고, 각도 센서는 부착부의 동작에 따른 각도의 변화를 감지하는 역할을 한다. 예컨대 도 3에 도시된 바와 같이 부착부는 굴삭기에서 센서가 부착된 위치를 의미하며 예컨대 붐(도 3의 121)과 선회체(도 3의 122)가 될 수 있다. 편의상 붐(121)에 부착되는 각도센서를 붐 각도센서(111)라 하고, 선회체(122)에 부착되는 각도센서를 선회 각도센서(112)라고 한다. 붐 각도센서(111)와 선회 각도센서(112)를 포함한 복수개의 센서(20)는 출력신호를 촬영영상 처리장치(30)에 전달한다. 후술하는 촬영영상 처리장치(30)는 붐 각도센서(111)의 출력신호에 의해 붐의 각도(α)를 연산할 수 있다. 암에 부착되는 각도센서 및 버켓에 부착되는 각도센서를 더 포함하는 경우, 촬영영상 처리장치(30)는 암의 각도(β) 및 버켓의 각도(γ)를 연산할 수 있다.
촬영영상 처리장치(30)는 상기 복수개의 센서(20)로부터 센싱 신호를 수신하여 굴삭기의 작업상태를 판단하여, 복수개의 카메라(10)들로부터 수신받은 촬영영상들에 기초하여 굴삭영역의 영상을 보정한 탑 뷰 형태의 최종영상을 생성한다.
촬영영상 처리장치(30)는 생성한 최종영상을 표시장치(40)를 통해 출력한다.
표시장치(40)는 게기판일 수도 있고, 별도의 표시화면일 수도 있으며, 촬영영상 처리장치(30)에 의해 생성된 영상을 표시할 수 있다.
본 명세서의 일 실시 예에서 촬영영상 처리장치(30)의 구성은 도 2를 참조하여 이하에 자세히 설명한다.
촬영영상 처리장치(30)는 제어부(310), 영상처리부(320) 및 메모리(330)를 포함한다.
제어부(310)는 촬영영상 처리장치(30)의 촬영영상을 처리하기 위하여 각부를 제어하는 역할을 한다. 제어부(310)는 복수개의 센서로부터 수신된 신호에 기초하여, 건설기계의 작업상태를 확인한다. 본 발명의 일 실시예에서 제어부(310)는 복수개의 각도센서로부터 센싱값을 획득하여 건설기계가 굴삭 상태인지 판단한다.
또한, 제어부(310)는 선회 각도센서(112)로부터 출력된 신호가 미리 정해진 임계값 이하인 경우, 붐 카메라의 촬영을 지시하여, 붐 카메라로부터 촬영영상을 획득할 수 있다. 붐 카메라에 의해 획득된 촬영영상은 연속촬영된 파노라마형 정지영상일 수 있다.
영상처리부(320)는 제어부(310)가 굴삭 상태라고 판단한 경우, 붐 카메라로부터의 촬영영상을 수신받아 일반작업 모드 탑 뷰 영상에 합성하여, 굴삭 작업 영역을 모니터링할 수 있는 굴삭작업 모드의 탑뷰 영상을 생성한다.
일반 탑 뷰 영상은, 전방, 후방, 좌측 및 우측 영상을 이용하여 생성된 건설기계의 탑 뷰 형태의 영상을 의미한다.
메모리(330)는 촬영영상을 처리하기 위한 프로그램 및 프로토콜 등을 저장한다. 메모리(330)는 촬영영상을 저장할 수 있다. 메모리(330)는 제어부(310)의 지시에 따라 저장된 정보를 호출, 저장 및 삭제할 수 있다.
전술한 구성요소들은 모두 반드시 필요한 것은 아니며, 일부 생략될 수 있다.
도 4는 본 발명의 일 실시예에 따른 촬영영상 처리장치의 촬영영상 생성방법을 설명하기 위한 흐름도이다.
먼저, 제어부는 복수개의 센서로부터 센싱값을 수신한다(S110).
제어부는 수신된 센싱값을 통해 현재 굴삭기의 작업상태를 판단한다(S120). 예컨대, 붐 각도센서, 암 각도센서, 버켓 각도센서 중 어느 하나 이상의 센서로부터 센싱값을 획득하고, 획득된 센싱값이 미리 정해진 임계 범위에 있는 경우, 현재 굴삭기의 작업상태가 굴삭 상태라고 판단할 수 있다.
제어부는 판단된 작업상태에 따른 탑 뷰 형태의 작업영상을 생성한다.
굴삭 상태가 아니라고 판단하면 일반모드 작업영상을 생성하고(S130), 작업상태가 굴삭 상태라고 판단하면 굴삭모드 작업영상을 생성한다(S140).
일반 작업영상은, 굴삭기(200)의 전후좌우면에 각각 설치된 제1 카메라 그룹으로부터 수신한 촬영 영상들을 오버레이(overlay) 방식의 합성 처리에 의해 굴삭기의 주변 360°를 한 눈에 볼 수 있는 탑 뷰 형태의 영상으로 변환시켜 생성한다.
굴삭 작업 영상은 붐 카메라에 의해 촬영된 파노라마 영상을 3차원 렌더링 한 후, 렌더링된 영상을 일반 작업영상과 합성하여 생성한다.
생성된 작업 영상을 표시장치를 통해 출력한다.
도 5는 본 발명의 일 실시예에 따른 촬영영상 처리장치의 굴삭 촬영영상 생성방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 일 실시예에 따른 굴삭 작업 상황을 설명하기 위한 예시도이고, 도 7은 본 발명의 일 실시예에 따른 굴삭모드 작업영상을 표시한 표시장치의 화면의 예이다.
굴삭 촬영영상을 생성하기 위하여, 먼저, 제1 카메라 그룹의 실시간 영상을 획득하여야 한다(S210).
다음, 붐 카메라의 영상을 획득한다. 촬영영상 처리장치는 다음의 조건을 만족할 경우(S220), 붐 카메라로부터 파노라마형 정지영상을 획득한다(S230).
제1 조건은, 선회체의 각속도 센싱값을 확인하여, 각속도가 미리 정해놓은 임계값 이하일 것, 제2 조건은 버켓의 각도센서가 미리 정해놓은 임계범위 이내일 것이다. 임계값은 카메라가 촬영시 잔상이 발생하지 않는 속도를 의미한다. 임계범위는 버켓이 크라우드 상태의 각도를 의미한다.
이러한 조건은 선회체가 회전하지 않고, 버켓이 크라우드되어, 굴삭기가 굴삭 작업을 위한 상태일 때 붐 카메라로부터 굴삭 지형의 영상을 획득하기 위한 조건이다.
붐 카메라는 굴삭 영역(도 6의 X영역)을 촬영가능한 화각을 갖는다. 즉, 심굴삭 영역은 제1 카메라 그룹의 화각에서 벗어난 영역을 포함하고, 붐 카메라에 의해 제1 카메라 그룹이 촬영불가능한 심굴삭 영역을 촬영할 수 있다.
촬영영상 처리장치는 붐 카메라로부터 획득한 파노라마형 정지영상에 기초하여 3D 영상으로 렌더링한다(S240). 이 때, 파노라마형 정지영상은, 붐 카메라의 각각의 컷의 영상의 일부가 겹쳐지도록 촬영될 수 있다. 겹쳐진 영역의 영상은 보정하여 처리한다.
촬영영상 처리장치는 단계 S240에서 렌더링된 굴삭영역의 3D 영상과, 단계 S210에서 획득한 제1 카메라 그룹으로부터 획득한 실시간 AVM 영상을 합성하여 최종영상을 생성한다(S250). 촬영영상 처리장치는 바닥면을 합성 영상의 기준면으로 설정한다. 여기서 바닥면이란, 굴삭기가 딛고 있는 지면의 연장선을 의미한다.
촬영영상 처리장치는 생성된 최종영상을 표시장치를 통해 출력한다(S260).
도 7에 도시된 바와 같이, 굴삭모드 작업영상을 표시한 표시장치의 화면은 복수개로 분할될 수 있다. 본 일 실시예에서는 a0, a1, a2, a3, a4, a5 총 6개로 분할하였으나, 이에 한정하는 것은 아니다. 각각의 분할된 화면에 굴삭작업 영역(R)을 포함한 탑 뷰 형상의 촬영영상(a0), 제 1 카메라 그룹 각각의 실시간 촬영영상(a1, a2, a3, a4) 및 붐 카메라의 렌더링된 굴삭영역의 영상(a5)이 각각 표시될 수 있다. 다른 변형예에서 분할된 각각의 화면 중에서 사용자에 의해 선택에 따른 화면이 미리 정해진 시간 동안 클로즈업되어 표시되도록 구현할 수도 있다. 예를 들어 사용자가 붐 카메라에 의해 획득한 굴삭영역의 영상(a5)을 선택하는 경우, 해당 굴삭영역의 영상이 전체 화면에 미리 정해진 시간 동안 표시될 수 있다.
도 7의 a0 영역에 표시된 굴삭모드 작업영상 중 R 영역은 도 6의 굴삭영역(x)에 대응되는 영역으로, 이는 붐 카메라에 의해 촬영된 파노라마 정지영상에 기초하여 렌더링된 화면이고, a0 영역에서 R을 제외한 영역은 제1 카메라 그룹에 의해 촬영된 실시간 영상에 기초한 촬영영상이다. 이와 같이, 붐 카메라에 의해 촬영된 굴삭영역의 3D 렌더링 영상과 제1 카메라 그룹에 의해 실시간 동영상 화면이 합성되어 탑 뷰 형식으로 출력된다. 이를 통해 심굴삭 작업시의 사각 지대 없는 영상을 제공할 수 있다.
다른 변형예에서는 제어부가 센서 등에 의해 획득한 정보 또는 메모리에 미리 저장된 작업정보를 도 7의 작업영상 표시 화면의 일부 영역에 함께 표시할 수도 있다.
제어부가 센서에 의해 센싱한 정보는 예를 들어, 버켓 끝단과 지면 사이의 거리, 적재무게, 주행모드, 속도, 등의 정보일 수 있다. 메모리에 미리 저장된 작업정보는 작업경로 등을 포함할 수 있다.
이와 같은, 본 발명의 일 실시예에 따르면, 굴삭 작업시 작업영역의 사각지대 없는 작업영역의 영상을 제공하여, 작업자가 장비 주변의 상황을 파악하여 장비의 다음 동작에 대한 접근 및 작업성을 높일 수 있다.
도시된 각 단계들은 모두 반드시 필요한 것은 아니며, 일부 단계는 생략될 수 있다.
전술한 방법은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시 예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시 예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시 예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
이상에서 본 명세서에 개시된 실시 예들을 첨부된 도면들을 참조로 설명하였다. 이와 같이 각 도면에 도시된 실시 예들은 한정적으로 해석되면 아니되며, 본 명세서의 내용을 숙지한 당업자에 의해 서로 조합될 수 있고, 조합될 경우 일부 구성 요소들은 생략될 수도 있는 것으로 해석될 수 있다.
여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 명세서에 개시된 일 실시 예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
10 : 복수개의 카메라 20 : 복수개의 센서
30 : 촬영영상 처리장치 40 : 표시장치
310 : 제어부 320 : 영상처리부
330 : 메모리

Claims (8)

  1. 복수개의 센서로부터 수신되는 센싱값에 기초하여 작업상태를 판단하는 제어부; 및
    복수개의 카메라로부터 수신되는 촬영영상에 기초하여, 상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 영상처리부
    를 포함하고,
    상기 영상처리부는 전후좌우 4방위를 촬영하는 제1 카메라 그룹으로부터 수신되는 촬영영상을 기초로 탑 뷰 형상의 일반모드 작업영상을 생성하고, 굴삭영역을 촬영하는 제2 카메라로부터 수신되는 촬영영상과 상기 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는, 굴삭기의 촬영영상 처리장치.
  2. 제1항에 있어서,
    상기 제2 카메라는 붐 또는 암에 마련되는, 굴삭기의 촬영영상 처리장치.
  3. 제1항에 있어서,
    상기 제어부는 선회체의 각속도 센싱값과, 버켓의 각도센서에 기초하여, 상기 선회체가 회전하지 않고 상기 버켓이 크라우드 상태라고 판단되면, 상기 제2 카메라의 촬영을 제어하여 굴삭영역의 촬영영상을 획득하는, 굴삭기의 촬영영상 처리장치.
  4. 제3항에 있어서,
    상기 굴삭영역의 촬영영상은 파노라마형 정지영상인, 굴삭기의 촬영영상 처리장치.
  5. 제4항에 있어서,
    상기 영상처리부는, 굴삭영역의 상기 파노라마형 정지영상을 렌더링하여 3차원 영상을 생성하고, 렌더링된 굴삭영역의 영상과 탑 뷰 형상의 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는, 굴삭기의 촬영영상 처리장치.
  6. 제5항에 있어서,
    상기 영상처리부는 굴삭기가 딛고 있는 지면의 연장선을 합성 영상의 기준면으로 하는, 굴삭기의 촬영영상 처리장치.
  7. 굴삭기의 촬영영상 처리장치의 촬영영상 처리방법으로서,
    복수개의 센서로부터 수신되는 센싱값에 기초하여 작업상태를 판단하는 단계; 및
    복수개의 카메라로부터 수신되는 촬영영상에 기초하여, 상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 단계
    를 포함하고,
    상기 작업상태에 따라 일반모드 작업영상 또는 굴삭모드 작업영상을 생성하는 단계는,
    전후좌우 4방위를 촬영하는 제1 카메라 그룹으로부터 수신되는 촬영영상을 기초로 탑 뷰 형상의 일반모드 작업영상을 생성하는 하거나, 또는 굴삭영역을 촬영하는 제2 카메라로부터 수신되는 촬영영상과 상기 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는 것을 포함하는, 굴삭기의 촬영영상 처리방법.
  8. 제7항에 있어서,
    상기 굴삭모드 작업영상을 생성하는 단계는 상기 제2 카메라로부터 수신되는 파노라마형 정지영상을 렌더링하여 3차원 영상을 생성하고, 렌더링된 굴삭영역의 영상과 탑 뷰 형상의 일반모드 작업영상을 합성하여 굴삭모드 작업영상을 생성하는, 굴삭기의 촬영영상 처리방법.
KR1020200012912A 2020-02-04 2020-02-04 굴삭기의 촬영영상 처리장치 및 방법 KR20210099271A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200012912A KR20210099271A (ko) 2020-02-04 2020-02-04 굴삭기의 촬영영상 처리장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200012912A KR20210099271A (ko) 2020-02-04 2020-02-04 굴삭기의 촬영영상 처리장치 및 방법

Publications (1)

Publication Number Publication Date
KR20210099271A true KR20210099271A (ko) 2021-08-12

Family

ID=77314555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200012912A KR20210099271A (ko) 2020-02-04 2020-02-04 굴삭기의 촬영영상 처리장치 및 방법

Country Status (1)

Country Link
KR (1) KR20210099271A (ko)

Similar Documents

Publication Publication Date Title
CN107406035B (zh) 工程作业机械
JP5908500B2 (ja) ショベルの画像表示装置
US10527413B2 (en) Outside recognition device
CN110494613B (zh) 工作机械
JP6541734B2 (ja) ショベル
WO2014148203A1 (ja) 作業機械用周辺監視装置
JP2006053922A (ja) 機械操作者にとっての視認性を高める方法及び装置
KR102092928B1 (ko) 작업 기계의 표시 장치 및 표시 시스템
KR101787897B1 (ko) Ａｖｍ 기반의 굴삭기 작업 정보 모니터링 장치 및 그 방법
US10721397B2 (en) Image processing system using predefined stitching configurations
JPH10299032A (ja) 作業用走行車の視界改善装置および方法
WO2020090985A1 (ja) 表示制御システムおよび表示制御方法
JP2014062387A (ja) 作業機械用周辺監視装置
JP2019060228A (ja) 作業機械用周辺監視装置
KR102007535B1 (ko) 건설기계의 화면표시장치
JP7063036B2 (ja) 建設機械
KR20210099271A (ko) 굴삭기의 촬영영상 처리장치 및 방법
KR20180107653A (ko) 굴삭기의 주변 감시 장치
JP6689763B2 (ja) ショベル
KR101864985B1 (ko) 건설장비 기울기 변화에 따른 어라운드 뷰 영상 왜곡 보정 장치 및 그 방법
JP6689945B2 (ja) ショベル及びショベルの表示装置
WO2020080264A1 (ja) 油圧ショベル
KR20160110642A (ko) 건설장비의 작업 현황 모니터링 장치 및 그 방법
AU2020322381B2 (en) Display system, remote operation system, and display method
WO2023140372A1 (ja) 画像補正装置、画像補正方法、および遠隔操作システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal