KR101566963B1 - Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same - Google Patents

Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same Download PDF

Info

Publication number
KR101566963B1
KR101566963B1 KR1020140063719A KR20140063719A KR101566963B1 KR 101566963 B1 KR101566963 B1 KR 101566963B1 KR 1020140063719 A KR1020140063719 A KR 1020140063719A KR 20140063719 A KR20140063719 A KR 20140063719A KR 101566963 B1 KR101566963 B1 KR 101566963B1
Authority
KR
South Korea
Prior art keywords
work
view
state
working
vehicle
Prior art date
Application number
KR1020140063719A
Other languages
Korean (ko)
Inventor
김현철
박성희
Original Assignee
주식회사 피엘케이 테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피엘케이 테크놀로지 filed Critical 주식회사 피엘케이 테크놀로지
Priority to KR1020140063719A priority Critical patent/KR101566963B1/en
Application granted granted Critical
Publication of KR101566963B1 publication Critical patent/KR101566963B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00

Abstract

The present invention relates to an around view monitoring apparatus, comprising: a plurality of cameras generating a plurality of images by individually photographing surroundings of a working vehicle; a working environment view providing unit providing a working environment view having an around view generated on the basis of at least one of the images or the images; a working vehicle state acquisition unit receiving an electronic control unit (ECU) signal of the working vehicle to acquire a state of the working vehicle; and an individual recognition unit determining whether an individual in the working environment view is recognized on the basis of a state of the working vehicle. Therefore, an individual can be recognized in accordance with a current operation state of the working vehicle.

Description

작업 차량 상태를 고려하여 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체{METHOD OF MONITORING AROUND VIEW RECOGNIZING OBJECT CONSIDERING STATE OF OPERATION VEHICLE, ATTARATUS PERFORMING THE SAME AND STORAGE MEDIA STORING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for monitoring an environment of a vehicle, MEDIA STORING THE SAME}

본 발명은 어라운드 뷰 모니터링 기술에 관한 것으로, 보다 상세하게는, 작업 차량의 현재 작업 상태에 따라 작업 차량 주위의 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체에 관한 것이다.
The present invention relates to an approach view monitoring technique, and more particularly, to an approach view monitoring method capable of recognizing an object around a work vehicle according to a current operation state of the work vehicle, And a recording medium.

일반적으로, 중장비는 운전자가 탑승하는 운전석의 위치가 높기 때문에 운전자가 주변 사물을 정확하게 인지하는데 어려움이 있다. 이에 따라 중장비에는 주변 영역을 촬영하는 카메라가 설치되어 운전자가 주변 사물을 인지하도록 하고, 네비게이션 등의 모니터가 탑재되어 카메라에서 인식한 주변 영역이 모니터에 디스플레이된다.Generally, heavy equipment is difficult for the driver to accurately recognize surrounding objects because the position of the driver's seat on the driver is high. Accordingly, a camera for photographing the surrounding area is installed in the heavy equipment so that the driver can recognize the surrounding objects, and a monitor such as a navigation system is mounted, and the peripheral area recognized by the camera is displayed on the monitor.

한국등록특허 제10-0962408호는 카메라로부터 수신된 촬영 영상을 분석하여 음영 등의 이상부분이 검출되면 자체적으로 진단하여 운전자에게 제공할 수 있는 차량용 어라운드 뷰 시스템 및 그의 제어방법을 개시한다. 이러한 기술은 운행시 발생될 수 있는 문제를 미연에 방지할 수 있고, 운전자가 자동차를 보다 효율적으로 운영하도록 할 수 있다.Korean Patent No. 10-0962408 discloses a vehicle surround view system and a control method thereof, which can analyze a shot image received from a camera and diagnose itself when an abnormal part such as a shadow is detected and provide it to a driver. Such a technique can prevent a problem that may occur during operation and allow a driver to operate the automobile more efficiently.

한국공개특허 제10-2013-0095525호는 차량 진행 방향을 고려한 어라운드 뷰 시스템 및 어라운드 뷰 제공 방법을 개시한다. 이러한 기술은 차량의 어라운드 뷰 영상과 전방 및 후방 영상을 화면 제공하되, 조향각 변화에 따라 차량 진행 방향으로의 영상이 더 많이 디스플레이되도록 전방 및 후방 영상을 처리하여 화면에 제공하여, 운전자가 차량 진행 방향에 대해 시야를 확보하도록 할 수 있다.
Korean Patent Laid-Open Publication No. 10-2013-0095525 discloses a method of providing an arousal view system and an around view considering a traveling direction of a vehicle. This technique provides front and rear images to the screen so that more images in the vehicle traveling direction are displayed in accordance with the steering angle change while providing the surround view image and forward and backward images of the vehicle, So that it is possible to secure a field of vision for the user.

한국등록특허 제10-0962408호Korean Patent No. 10-0962408 한국공개특허 제10-2013-0095525호Korean Patent Publication No. 10-2013-0095525

본 발명의 일 실시예는 작업 차량의 현재 작업 상태에 따라 작업 차량 주위의 개체를 인식할 수 있는 어라운드 뷰 모니터링 장치를 제공하고자 한다.An embodiment of the present invention is to provide an environment monitoring apparatus capable of recognizing an object around a work vehicle according to a current work state of the work vehicle.

본 발명의 일 실시예는 작업 차량 주변에 작업 안전 가이드라인을 제공하여 작업 차량 주변에 있는 개체에 대한 안전 사고를 예방할 수 있는 어라운드 뷰 모니터링 장치를 제공하고자 한다.An embodiment of the present invention is to provide an environment monitoring apparatus capable of preventing a safety accident to an object in the vicinity of a work vehicle by providing work safety guidelines around the work vehicle.

본 발명의 일 실시예는 ECU(Electronic Control Unit) 신호를 기초로 작업 차량의 상태를 체크하여 작업 차량 주위의 개체를 인식할지 여부를 결정할 수 있는 어라운드 뷰 모니터링 장치를 제공하고자 한다.
An embodiment of the present invention is to provide an environment monitoring apparatus capable of determining whether to recognize an object around a work vehicle by checking a state of the work vehicle based on an ECU (Electronic Control Unit) signal.

실시예들 중에서, 어라운드 뷰 모니터링 장치는 작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 복수의 카메라들, 상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 작업환경 뷰 제공부, 상기 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득하는 작업 차량 상태 획득부 및 상기 작업 차량 상태를 기초로 상기 작업환경 뷰에 있는 개체를 인식할지 여부를 결정하는 개체 인식부를 포함한다.Among the embodiments, the surround view monitoring apparatus includes a plurality of cameras that respectively capture the periphery of the working vehicle and generate a plurality of images, an at least one of the plurality of images or an around view generated based on the plurality of images A work vehicle state obtaining unit for receiving an electronic control unit (ECU) signal of the work vehicle to obtain a work vehicle state, and a work environment obtaining unit for obtaining a work vehicle state based on the work vehicle state, And an object recognition unit for determining whether or not the object in the view is recognized.

일 실시예에서, 상기 복수의 카메라들은 상기 작업 차량의 4방위에 설치되어 복수의 시점들에서 상기 작업 차량을 촬상할 수 있다.In one embodiment, the plurality of cameras may be installed in four directions of the working vehicle to pick up the working vehicle at a plurality of points of time.

상기 작업환경 뷰 제공부는 상기 복수의 이미지들 중 사용자에 의해 선택된 적어도 하나의 이미지를 정합하여 상기 작업 차량 중심의 어라운드 뷰를 생성할 수 있다. 상기 작업환경 뷰 제공부는 상기 작업환경 뷰에 작업 안전 가이드라인을 표시할 수 있다.The work environment view providing unit may generate at least one image selected by the user among the plurality of images and generate an overview view around the work vehicle. The work environment view providing unit may display a work safety guideline in the work environment view.

일 실시예에서, 상기 작업 차량 상태 획득부는 상기 수신된 ECU 신호를 기초로 상기 작업 차량 상태로서 작업 중지 상태, 작업 예비 상태 및 작업 진행 상태 중 하나를 획득할 수 있다.In one embodiment, the working vehicle state obtaining section may obtain one of a work suspension state, a work standby state and a work progress state as the working vehicle state based on the received ECU signal.

상기 개체 인식부는 상기 작업 차량 상태가 작업 중지 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식할 수 있다. 상기 개체 인식부는 상기 작업 차량 상태가 작업 예비 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하고 상기 개체의 움직임을 추적할 수 있다.The entity recognizer may recognize the entity in the work environment view if the work vehicle state is in a work suspension state. The entity recognizer may recognize the entity in the work environment view and track the movement of the entity if the working vehicle state corresponds to a work preliminary state.

상기 개체 인식부는 상기 작업 차량 상태가 작업 진행 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하고 상기 개체의 움직임을 추적하여 상기 개체가 보행자에 해당하는지 여부를 결정할 수 있다.The entity recognizer may recognize an entity in the work environment view and track movement of the entity to determine whether the entity corresponds to a pedestrian if the work vehicle state corresponds to a work progress state.

일 실시예에서, 상기 개체 인식부는 상기 작업환경 뷰에 있는 개체에 대한 에지를 검출하여 상기 개체가 보행자에 해당하는지 여부를 결정할 수 있다. 상기 작업환경 뷰 제공부는 상기 개체가 보행자에 해당하면 상기 개체에 대한 마커를 상기 작업환경 뷰에 표시할 수 있다.In one embodiment, the entity recognizer may detect an edge of an entity in the work environment view to determine whether the entity corresponds to a pedestrian. The work environment view providing unit may display a marker for the entity on the work environment view if the entity corresponds to a pedestrian.

상기 개체 인식부는 상기 개체에 대한 마커가 상기 작업 차량의 작업 안전 가이드라인 내에 존재하는지 여부를 체크하여 상기 개체에 대한 위험도를 판단하고 상기 위험도에 따라 상기 ECU를 제어하여 상기 작업 차량의 작업을 일시 정지시킬 수 있다.The object recognition unit determines whether the marker for the entity is present in the safety guideline of the work vehicle to determine the risk to the entity and controls the ECU according to the risk to suspend the work of the work vehicle .

실시예들 중에서, 어라운드 뷰 모니터링 방법은 작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 단계, 상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 단계, 상기 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득하는 단계 및 상기 작업 차량 상태를 기초로 상기 작업환경 뷰에 있는 개체를 인식할지 여부를 결정하는 단계를 포함한다.Among the embodiments, the method for monitoring the surround view includes the steps of imaging each of the periphery of the working vehicle to generate a plurality of images, an operation including an at least one of the plurality of images or an around view generated based on the plurality of images Receiving an electronic control unit (ECU) signal of the work vehicle to obtain a work vehicle status, and determining whether to recognize the entity in the work environment view based on the work vehicle status .

실시예들 중에서, 어라운드 뷰 모니터링 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체는 작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 기능, 상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 기능, 상기 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득하는 기능 및 상기 작업 차량 상태를 기초로 상기 작업환경 뷰에 있는 개체를 인식할지 여부를 결정하는 기능을 포함한다.
Among the embodiments, the computer-readable recording medium on which the program for implementing the surround view monitoring method is recorded includes a function of generating a plurality of images by respectively imaging the periphery of the working vehicle, at least one of the plurality of images, A function of providing an operation environment view including an ambient view generated based on the plurality of images, a function of acquiring a working vehicle state by receiving an ECU (Electronic Control Unit) signal of the working vehicle, To determine whether to recognize the entity in the work environment view.

본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 작업 차량의 현재 작업 상태에 따라 작업 차량 주위의 개체를 인식할 수 있다.The surrounding view monitoring apparatus according to an embodiment of the present invention can recognize an object around the working vehicle according to the current working state of the working vehicle.

본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 작업 차량 주변에 작업 안전 가이드라인을 제공하여 작업 차량 주변에 있는 개체에 대한 안전 사고를 예방할 수 있다.The surrounding view monitoring apparatus according to an exemplary embodiment of the present invention can provide a safety guideline around a working vehicle to prevent safety accidents to an individual around the working vehicle.

본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치는 ECU(Electronic Control Unit) 신호를 기초로 작업 차량의 상태를 체크하여 작업 차량 주위의 개체를 인식할지 여부를 결정할 수 있다.
The surround view monitoring apparatus according to an embodiment of the present invention can determine whether to recognize an object around the working vehicle by checking the state of the working vehicle based on an ECU (Electronic Control Unit) signal.

도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치를 설명하는 블록도이다.
도 2는 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 어라운드 뷰 모니터링 과정을 설명하는 순서도이다.
도 3은 도 1에 있는 어라운드 뷰 모니터링 장치에 설치된 복수의 카메라들을 설명하는 도면이다.
도 4는 도 1에 있는 어라운드 뷰 모니터링 장치에 설치된 복수의 카메라들에서 촬상한 이미지들을 기초로 생성된 작업환경 뷰를 설명하는 도면이다.
도 5는 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 작업 차량 상태에 따른 개체 인식을 설명하는 도면이다.
도 6은 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 작업 안전 가이드라인에 따른 마커의 표시를 예시한 도면이다.1 is a block diagram illustrating an apparatus for monitoring an ambient view according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart for explaining an overview of the surround view monitoring performed by the surrounding view monitoring apparatus shown in FIG. 1. FIG.
FIG. 3 is a view for explaining a plurality of cameras installed in the surrounding view monitoring apparatus shown in FIG. 1. FIG.
FIG. 4 is a view for explaining a work environment view generated based on images captured by a plurality of cameras installed in the surrounding view monitoring apparatus shown in FIG. 1. FIG.
FIG. 5 is a view for explaining entity recognition according to a working vehicle state performed in the surrounding view monitoring apparatus shown in FIG. 1. FIG.
FIG. 6 is a diagram illustrating a marker display according to an operation safety guideline performed in the surrounding view monitoring apparatus of FIG. 1. FIG.

본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in the present application should be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or "have" are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, the identification code does not describe the order of each step, Unless otherwise stated, it may occur differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한, 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be embodied as computer-readable code on a computer-readable recording medium, and the computer-readable recording medium includes all kinds of recording devices for storing data that can be read by a computer system . Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 장치를 설명하는 블록도이다.1 is a block diagram illustrating an apparatus for monitoring an ambient view according to an exemplary embodiment of the present invention.

도 1을 참조하면, 어라운드 뷰 모니터링 장치(100)는 복수의 카메라들(110), 작업환경 뷰 제공부(120), 작업 차량 상태 획득부(130) 및 개체 인식부(140)를 포함한다.Referring to FIG. 1, the surround view monitoring apparatus 100 includes a plurality of cameras 110, a work environment view providing unit 120, a working vehicle state obtaining unit 130, and an object recognizing unit 140.

복수의 카메라들(110)은 작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성한다. 복수의 카메라들(110)은 작업 차량의 전방, 후방 및 양 측방들에 각각 설치되어 복수의 시점들에서 작업 차량을 촬상할 수 있다.The plurality of cameras 110 each capture the periphery of the working vehicle to generate a plurality of images. The plurality of cameras 110 can be installed on the front, rear, and both sides of the working vehicle to pick up the working vehicle at a plurality of points of time.

일 실시예에서, 복수의 카메라들(110)은 작업 차량에 고정되거나 또는 작업 차량의 작업자에 의해 상하 또는 좌우로 각각 움직일 수 있다. 복수의 카메라들(110)은 방수, 방진 및 방습 중 적어도 하나를 만족하도록 제작되어 작업 차량에 설치될 수 있다.In one embodiment, the plurality of cameras 110 may be fixed to the work vehicle or may be moved up and down or left and right respectively by the operator of the work vehicle. The plurality of cameras 110 may be manufactured to satisfy at least one of waterproof, dustproof, and moisture-proof, and installed in the work vehicle.

작업환경 뷰 제공부(120)는 복수의 이미지들 중 적어도 하나 또는 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공한다. 적어도 하나의 이미지는 기본으로 설정되거나 또는 작업 차량의 작업자에 의해 선택된 이미지에 해당할 수 있다. 어라운드 뷰는 작업 차량의 전방, 후방 및 양 측방들 각각에 대한 이미지들이 정합되거나 또는 복수의 이미지들 중 작업 차량의 작업자에 의해 선택된 적어도 하나의 이미지가 정합되어 생성될 수 있다. 일 실시예에서, 어라운드 뷰는 작업 차량을 기준으로 작업 차량의 주위를 360도로 촬상한 것과 같은 이미지를 기초로 생성될 수 있다. 작업환경 뷰는 작업 차량의 주위가 입체감 있게 생성되어 실시간으로 제공될 수 있다. The work environment view providing unit 120 provides a work environment view including an around view created based on at least one of a plurality of images or a plurality of images. At least one image may be set as default or may correspond to an image selected by an operator of the working vehicle. The surround view may be generated by matching images for each of the front, rear and both sides of the working vehicle or by matching at least one image selected by the operator of the working vehicle among the plurality of images. In one embodiment, the surround view may be generated based on an image such as a 360-degree picture of the surroundings of the working vehicle relative to the working vehicle. The work environment view can be generated in real time in a three-dimensional manner around the working vehicle.

작업환경 뷰 제공부(120)는 작업환경 뷰에 작업 안전 가이드라인을 표시할 수 있다. 작업 안전 가이드라인은 작업 차량의 이동 또는 움직임에 따라 가변적으로 작업 차량으로부터 일정 반경까지 설정될 수 있고 작업환경 뷰 각각에 표시될 수 있다.The work environment view provider 120 can display the work safety guidelines in the work environment view. The work safety guideline can be set to a certain radius from the work vehicle variably depending on the movement or movement of the work vehicle and can be displayed in each of the work environment views.

작업환경 뷰 제공부(120)는 작업 차량 주위의 개체가 보행자에 해당하면 개체에 대한 마커를 작업환경 뷰에 표시할 수 있다. 일 실시예에서, 작업환경 뷰 제공부(120)는 작업 안전 가이드라인 내에 존재하는 개체와 작업 안전 가이드라인 내에 존재하지 않는 개체를 작업환경 뷰에 다른 마커로 표시할 수 있다.The work environment view providing unit 120 may display a marker for the object in the work environment view if the object around the work vehicle corresponds to a pedestrian. In one embodiment, the work environment view provider 120 may display objects that are present in the job safety guidelines and objects that do not exist in the job safety guidelines as other markers in the work environment view.

작업 차량 상태 획득부(130)는 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득한다. ECU는 작업 차량의 상태를 컴퓨터로 제어하는 것으로 작업 차량의 상태를 기초로 신호를 생성할 수 있다.The working vehicle state obtaining unit 130 receives an electronic control unit (ECU) signal of the working vehicle to obtain the working vehicle state. The ECU can generate a signal based on the state of the working vehicle by controlling the state of the working vehicle with a computer.

작업 차량 상태 획득부(130)는 수신된 ECU 신호를 기초로 작업 차량 상태로서 작업 중지 상태, 작업 예비 상태 및 작업 진행 상태 중 하나를 획득할 수 있다. 작업 중지 상태는 작업 차량의 시동이 켜져 있지만 작업 차량이 이동하거나 또는 작업 도구를 이용한 작업을 수행하고 있지 않은 상태로서, 예를 들어, 작업 차량이 시동을 켜고 주차해 있는 상태에 해당할 수 있다. 작업 예비 상태는 작업 차량을 이동하기 위해 작업 차량에 신호를 가하는 상태로서, 예를 들어, 직진 또는 후진을 위해 기어를 넣은 상태에 해당할 수 있다. 작업 진행 상태는 작업 차량이 작업을 수행하고 있는 상태로서, 작업 차량이 이동 중이거나 또는 작업 도구를 이용하여 작업을 수행하고 있는 상태에 해당할 수 있다. 예를 들어, 작업 진행 상태는 작업 차량의 회전 여부, 회전 방향, 회전 속도, 이동 여부, 이동 방향 및 이동 속도를 기초로 결정될 수 있다.The work vehicle state obtaining section 130 can obtain one of the work suspension state, the work standby state, and the work progress state as the work vehicle state based on the received ECU signal. The work stoppage state is a state in which the work vehicle is started but the work vehicle is not moving or performing work using the work tool. For example, the work vehicle may be turned on and parked. The operation reserve state corresponds to a state in which a signal is applied to the work vehicle for moving the work vehicle, for example, a state in which the worker gears the work vehicle for straight forward or backward movement. The work progress state may correspond to a state in which the work vehicle is performing an operation, a state in which the work vehicle is moving, or a state in which the work tool is used to perform an operation. For example, the work progress state can be determined based on whether or not the work vehicle is rotated, the rotation direction, the rotation speed, the movement state, the movement direction, and the movement speed.

개체 인식부(140)는 작업 차량 상태를 기초로 작업환경 뷰에 있는 개체를 인식할지 여부를 결정한다. 개체 인식부(140)는 작업환경 뷰에 있는 적어도 하나의 개체 중 식별 가능한 일부의 개체에 대해서만 인식 여부를 결정할 수 있다.The object recognition unit 140 determines whether or not the object in the work environment view is recognized based on the working vehicle state. The entity recognition unit 140 may determine whether or not to recognize only some identifiable objects among at least one entity in the work environment view.

개체 인식부(140)는 작업 차량 상태가 작업 중지 상태에 해당하면 작업환경 뷰에 있는 개체를 인식할 수 있다. 개체 인식부(140)는 작업 차량의 작업 중지 상태에서 촬상된 이미지를 포함하는 작업환경 뷰에서 적어도 하나의 개체를 인식할 수 있다.The object recognition unit 140 can recognize the object in the work environment view if the work vehicle state corresponds to a work suspension state. The object recognition unit 140 can recognize at least one object in the work environment view including the image captured in the work stop state of the work vehicle.

개체 인식부(140)는 작업 차량 상태가 작업 예비 상태에 해당하면 작업환경 뷰에 있는 개체를 인식하고 개체의 움직임을 추적할 수 있다. 개체 인식부(140)는 작업 차량의 작업 예비 상태에서 촬상된 이미지를 포함하는 작업환경 뷰에서 적어도 하나의 개체를 인식할 수 있다.The object recognition unit 140 can recognize the object in the work environment view and track the movement of the object when the work vehicle state corresponds to the operation preliminary state. The object recognition unit 140 can recognize at least one object in the work environment view that includes the image captured in the work preliminary state of the work vehicle.

개체 인식부(140)는 작업 차량 상태가 작업 진행 상태에 해당하면 작업환경 뷰에 있는 개체를 인식하고 개체의 움직임을 추적하여 개체가 보행자에 해당하는지 여부를 결정할 수 있다. 개체 인식부(140)는 작업 차량의 작업 진행 상태에서 촬상된 이미지를 포함하는 작업환경 뷰에서 적어도 하나의 개체를 인식할 수 있다.The object recognition unit 140 recognizes the object in the work environment view and tracks the movement of the object to determine whether the object corresponds to the pedestrian if the work vehicle state corresponds to the work progress state. The object recognition unit 140 can recognize at least one object in the work environment view including the image captured in the work progress state of the work vehicle.

일 실시예에서, 개체 인식부(140)는 작업 차량의 회전 방향 또는 이동 방향에 따라 회전 방향 또는 이동 방향에 있는 개체에 대한 인식 범위를 조절할 수 있다. 예를 들어, 개체 인식부(140)는 작업 차량이 좌측 또는 우측으로 회전하면 양 측방 및 후방을 촬상한 이미지를 포함하는 작업환경 뷰에서 개체를 인식할 수 있다. 다른 예를 들어, 개체 인식부(140)는 작업 차량이 전진하면 전방을 촬상한 이미지를 포함하는 작업환경 뷰에서 개체를 인식할 수 있다.In one embodiment, the entity recognizer 140 can adjust the recognition range for the entity in the rotation direction or the movement direction according to the rotation direction or the movement direction of the working vehicle. For example, the object recognizing unit 140 can recognize an object in a working environment view including an image of both sides and a rear side when the working vehicle rotates left or right. For example, the object recognition unit 140 may recognize an object in a work environment view including an image of a forward image when the work vehicle is advanced.

다른 일 실시예에서, 개체 인식부(140)는 작업 차량의 회전 속도 또는 이동 속도에 따라 개체에 대한 인식률을 결정할 수 있다. 예를 들어, 개체 인식부(140)는 작업 차량의 회전 속도 또는 이동 속도가 기준 속도보다 빠르면 개체에 대한 인식률을 증가시켜 개체를 인식할 수 있다.In another embodiment, the entity recognizer 140 can determine the recognition rate for the entity based on the rotational speed or the moving speed of the working vehicle. For example, if the rotational speed or the moving speed of the working vehicle is faster than the reference speed, the object recognition unit 140 can recognize the object by increasing the recognition rate of the object.

개체 인식부(140)는 개체에 대한 마커가 작업 차량의 작업 안전 가이드라인 내에 존재하는지 여부를 체크하여 개체에 대한 위험도를 판단하고 위험도에 따라 ECU를 제어하여 작업 차량의 작업을 일시 정지시킬 수 있다. 위험도는 개체에 대한 마커와 작업 차량 간의 인접 정도에 따라 결정될 수 있다. 일 실시예에서, 개체 인식부(140)는 개체에 대한 위험도가 기준 위험도 이상이면 ECU를 제어하여 작업 차량의 작업을 일시 정지시킬 수 있다. 다른 일 실시예에서, 개체 인식부(140)는 개체에 대한 위험도가 기준 위험도 이상이면 ECU를 제어하여 작업 차량이 개체 방향으로 이동하지 못하도록 제어할 수 있다.
The object recognition unit 140 may check whether the marker for the object exists within the safety guideline of the work vehicle to determine the risk to the object and suspend the work of the work vehicle by controlling the ECU according to the risk . The risk can be determined by the degree of proximity between the marker and the work vehicle for the individual. In one embodiment, the entity recognizer 140 may suspend the operation of the work vehicle by controlling the ECU if the risk to the entity is higher than the reference risk. In another embodiment, the entity recognizer 140 may control the ECU to prevent the work vehicle from moving toward the entity if the risk to the entity is higher than the reference risk.

도 2는 도 1에 있는 어라운드 뷰 모니터링 장치에서 수행되는 어라운드 뷰 모니터링 과정을 설명하는 순서도이다.FIG. 2 is a flowchart for explaining an overview of the surround view monitoring performed by the surrounding view monitoring apparatus shown in FIG. 1. FIG.

도 2를 참조하면, 복수의 카메라들(110)은 작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성한다(단계S201).Referring to FIG. 2, the plurality of cameras 110 images the surroundings of the working vehicle, respectively, to generate a plurality of images (step S201).

예를 들어, 도 3에서, 복수의 카메라들(110a, 110b, 110c, 110d)은 작업 차량(예를 들어, 중장비)의 4방위에 대응하는 전방, 후방 및 양 측방들에 각각 설치되어 각각의 시점에서 작업 차량의 주위를 촬상할 수 있다. 복수의 카메라들(110a, 110b, 110c, 110d)은 각각의 시점에서 작업 차량 주위를 190도로 촬상할 수 있다.For example, in FIG. 3, a plurality of cameras 110a, 110b, 110c, and 110d are installed in front, rear, and both sides corresponding to four orientations of a working vehicle (e.g., heavy equipment) The periphery of the working vehicle can be picked up at the time point. The plurality of cameras 110a, 110b, 110c, and 110d can pick up the working vehicle around 190 degrees at each time point.

작업환경 뷰 제공부(120)는 복수의 이미지들 중 적어도 하나 또는 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공한다(단계 S202).The work environment view providing unit 120 provides a work environment view including an around view created based on at least one of a plurality of images or a plurality of images (step S202).

일 실시예에서, 작업환경 뷰 제공부(120)는 작업환경 뷰에 작업 안전 가이드라인을 표시할 수 있다. 예를 들어, 도 4에서, 작업환경 뷰 제공부(120)는 작업 차량의 전방을 촬상한 이미지에 작업 안전 가이드라인(410a)을 표시하고 후방을 촬상한 이미지 이미지에 작업 안전 가이드라인(410b)을 표시하며 양 측방들을 촬상한 이미지에 작업 안전 가이드라인(410c, 410d)을 표시하여 작업환경 뷰를 제공할 수 있다. 작업환경 뷰 제공부(120)는 작업 차량의 전방, 후방 및 양 측방들을 촬상한 이미지들의 정합을 통해 생성된 어라운드 뷰에 작업 안전 가이드라인(420)을 표시하여 작업환경 뷰를 제공할 수 있다.In one embodiment, the work environment view provider 120 may display job safety guidelines in the work environment view. 4, the work environment view providing unit 120 displays the work safety guideline 410a on the image of the front of the work vehicle and the work safety guideline 410b on the image image of the rear of the work vehicle. And the work safety guidelines 410c and 410d are displayed on the images of both sides, thereby providing a work environment view. The work environment view providing unit 120 may provide a work environment view by displaying the work safety guidelines 420 on the surrounding views generated through the matching of the images of the front, back and both sides of the work vehicle.

작업환경 뷰 제공부(120)는 작업 차량 주위의 개체가 보행자에 해당하면 개체에 대한 마커를 작업환경 뷰에 표시할 수 있다. 예를 들어, 도 5에서, 작업환경 뷰 제공부(120)는 개체가 작업 안전 가이드라인 내에 존재하면 작업환경 뷰에 개체를 빨간색 마커로 표시하고 개체가 작업 안전 가이드라인 내에 존재하지 않으면 작업환경 뷰에 개체를 초록색 마커로 표시할 수 있다.The work environment view providing unit 120 can display a marker for the object in the work environment view if the object around the work vehicle corresponds to a pedestrian. For example, in FIG. 5, the work environment view providing unit 120 displays an object in the work environment view as a red marker if the object exists within the work safety guideline and, if the object does not exist within the work safety guideline, The object can be displayed with a green marker.

작업 차량 상태 획득부(130)는 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득한다(단계 S203).The working vehicle state obtaining unit 130 receives an electronic control unit (ECU) signal of the working vehicle to obtain the working vehicle state (step S203).

일 실시예에서, 작업 차량 상태 획득부(130)는 수신된 ECU 신호를 기초로 작업 차량 상태로서 작업 중지 상태, 작업 예비 상태 및 작업 진행 상태 중 하나를 획득할 수 있다.In one embodiment, the work vehicle state obtaining section 130 can obtain one of the work stop state, the work preliminary state, and the work progress state as the work vehicle state based on the received ECU signal.

개체 인식부(140)는 작업 차량 상태를 기초로 작업환경 뷰에 있는 개체를 인식할지 여부를 결정한다(단계 S204).The object recognition unit 140 determines whether to recognize the object in the work environment view based on the work vehicle state (step S204).

개체 인식부(140)는 작업 차량 상태가 작업 중지 상태에 해당하면 작업환경 뷰에 있는 개체를 인식할 수 있다. 예를 들어, 도 6a에서, 개체 인식부(140)는 작업환경 뷰에 있는 적어도 하나의 개체를 인식하여 적어도 하나의 개체 각각에 가상의 마커를 연관시킬 수 있다. 개체 인식부(140)는 작업 차량으로부터 일정 반경 내에 있는 적어도 하나의 개체만 인식할 수 있다. The object recognition unit 140 can recognize the object in the work environment view if the work vehicle state corresponds to a work suspension state. For example, in FIG. 6A, the entity recognizer 140 may recognize at least one entity in the work environment view and associate a virtual marker with each of the at least one entity. The object recognition unit 140 can recognize only at least one object within a certain radius from the working vehicle.

개체 인식부(140)는 작업 차량 상태가 작업 예비 상태에 해당하면 작업환경 뷰에 있는 개체를 인식하고 개체의 움직임을 추적할 수 있다. 예를 들어, 도 6b에서, 개체 인식부(140)는 작업환경 뷰에 있는 적어도 하나의 개체를 인식하여 적어도 하나의 개체 각각에 가상의 마커를 연관시키고 적어도 하나의 개체와 연관된 가상의 마커를 추적하여 적어도 하나의 개체 각각에 대한 움직임을 체크할 수 있다. 개체 인식부(140)는 추적을 통해 특정 개체(610)가 움직였다는 것을 파악할 수 있다.The object recognition unit 140 can recognize the object in the work environment view and track the movement of the object when the work vehicle state corresponds to the operation preliminary state. For example, in FIG. 6B, the object recognition unit 140 recognizes at least one object in the work environment view, associates a virtual marker with each of at least one object, and tracks a virtual marker associated with at least one object So as to check the movement for each of at least one object. The object recognition unit 140 can recognize that the specific object 610 has moved through tracking.

개체 인식부(140)는 작업 차량 상태가 작업 진행 상태에 해당하면 작업환경 뷰에 있는 개체를 인식하고 개체의 움직임을 추적하여 개체가 보행자에 해당하는지 여부를 결정할 수 있다. 예를 들어, 도 6c에서, 개체 인식부(140)는 작업환경 뷰에 있는 적어도 하나의 개체를 인식하여 적어도 하나의 개체 각각에 가상의 마커를 연관시키고 적어도 하나의 개체와 연관된 가상의 마커를 추적하여 적어도 하나의 개체 각각에 대한 움직임을 체크하며 특정 개체(610)가 움직였으면 특정 개체(610)에 대한 에지(620)를 검출하여 특정 개체(610)가 보행자에 해당하는지 결정할 수 있다. 일 실시예에서, 개체 인식부(140)는 특정 개체(610)에 대한 에지(620)의 세로 성분을 분석하여 특정 개체(610)가 보행자에 해당하는지 여부를 결정할 수 있다. 일 실시예에서, 개체 인식부(140)는 특정 개체(610)에 대한 에지(620)의 내부 영역을 분석하여 특정 개체(610)가 보행자에 해당하는지 여부를 결정할 수 있다.
The object recognition unit 140 recognizes the object in the work environment view and tracks the movement of the object to determine whether the object corresponds to the pedestrian if the work vehicle state corresponds to the work progress state. For example, in FIG. 6C, the object recognizer 140 recognizes at least one object in the work environment view, associates a virtual marker with each of at least one object, and tracks a virtual marker associated with at least one object And checks the motion for each of the at least one entity and determines if the particular entity 610 is a pedestrian by detecting an edge 620 for the particular entity 610 if the particular entity 610 has moved. In one embodiment, the entity recognizer 140 may analyze vertical components of an edge 620 for a particular entity 610 to determine whether the particular entity 610 corresponds to a pedestrian. In one embodiment, the entity recognizer 140 may analyze the interior region of the edge 620 for a particular entity 610 to determine whether the particular entity 610 corresponds to a pedestrian.

상기에서는 본 출원의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 출원을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the present invention as defined by the following claims It can be understood that

100: 어라운드 뷰 모니터링 장치
110: 카메라
120: 작업환경 뷰 제공부
130: 작업 차량 상태 획득부
140: 개체 인식부100: Around view monitoring device
110: camera
120: Working environment view offerer
130: work vehicle state obtaining section
140:

Claims (13)

작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 복수의 카메라들;
상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 작업환경 뷰 제공부;
상기 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득하는 작업 차량 상태 획득부; 및
상기 작업 차량 상태를 기초로 상기 작업환경 뷰에 있는 개체를 인식할지 여부를 결정하고, 상기 작업 차량 상태가 작업 중지 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하는 개체 인식부를 포함하는 어라운드 뷰 모니터링 장치.
A plurality of cameras each for picking up a periphery of the working vehicle to generate a plurality of images;
A work environment view providing unit for providing a work environment view including at least one of the plurality of images or an around view generated based on the plurality of images;
A work vehicle state obtaining unit that receives an electronic control unit (ECU) signal of the work vehicle to obtain a work vehicle state; And
An object recognition unit for determining whether to recognize an object in the view of the working environment based on the working vehicle state and recognizing an object in the view of the working environment when the working vehicle state corresponds to a work suspension state; Monitoring device.
제1항에 있어서, 상기 복수의 카메라들은
상기 작업 차량의 4방위에 설치되어 복수의 시점들에서 상기 작업 차량을 촬상하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
The apparatus of claim 1, wherein the plurality of cameras
Wherein the monitoring device is installed in four directions of the working vehicle and images the working vehicle at a plurality of time points.
제1항에 있어서, 상기 작업환경 뷰 제공부는
상기 복수의 이미지들 중 사용자에 의해 선택된 적어도 하나의 이미지를 정합하여 상기 작업 차량 중심의 어라운드 뷰를 생성하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
The apparatus according to claim 1, wherein the work environment view providing unit
Wherein the at least one of the plurality of images matches the at least one image selected by the user to generate an overview view of the center of the work vehicle.
제1항에 있어서, 상기 작업환경 뷰 제공부는
상기 작업환경 뷰에 작업 안전 가이드라인을 표시하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
The apparatus according to claim 1, wherein the work environment view providing unit
And displays an operation safety guideline on the work environment view.
제1항에 있어서, 상기 작업 차량 상태 획득부는
상기 수신된 ECU 신호를 기초로 상기 작업 차량 상태로서 작업 중지 상태, 작업 예비 상태 및 작업 진행 상태 중 하나를 획득하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
The apparatus according to claim 1, wherein the working vehicle state obtaining unit
And acquires one of a work suspension state, a work preliminary state, and a work progress state as the work vehicle state based on the received ECU signal.
삭제delete 제1항에 있어서, 상기 개체 인식부는
상기 작업 차량 상태가 작업 예비 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하고 상기 개체의 움직임을 추적하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
2. The apparatus of claim 1, wherein the object recognizer
And if the working vehicle state corresponds to the operation preliminary state, recognizes the object in the working environment view and tracks the movement of the object.
제1항에 있어서, 상기 개체 인식부는
상기 작업 차량 상태가 작업 진행 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하고 상기 개체의 움직임을 추적하여 상기 개체가 보행자에 해당하는지 여부를 결정하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
2. The apparatus of claim 1, wherein the object recognizer
Wherein the control unit recognizes an object in the work environment view and tracks a movement of the object to determine whether the object corresponds to a pedestrian if the work vehicle state corresponds to a work progress state.
제8항에 있어서, 상기 개체 인식부는
상기 작업환경 뷰에 있는 개체에 대한 에지를 검출하여 상기 개체가 보행자에 해당하는지 여부를 결정하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
9. The apparatus of claim 8, wherein the entity recognizer
Wherein an edge for an entity in the work environment view is detected to determine whether the entity corresponds to a pedestrian.
제8항에 있어서, 상기 작업환경 뷰 제공부는
상기 개체가 보행자에 해당하면 상기 개체에 대한 마커를 상기 작업환경 뷰에 표시하는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
The apparatus according to claim 8, wherein the work environment view providing unit
And displays a marker for the object on the work environment view if the object corresponds to a pedestrian.
제10항에 있어서, 상기 개체 인식부는
상기 개체에 대한 마커가 상기 작업 차량의 작업 안전 가이드라인 내에 존재하는지 여부를 체크하여 상기 개체에 대한 위험도를 판단하고 상기 위험도에 따라 상기 ECU를 제어하여 상기 작업 차량의 작업을 일시 정지시키는 것을 특징으로 하는 어라운드 뷰 모니터링 장치.
11. The apparatus of claim 10, wherein the entity recognizer
The risk of the entity is checked by checking whether the marker for the entity is present in the safety guideline of the working vehicle, and the operation of the working vehicle is temporarily stopped by controlling the ECU according to the risk. Monitoring device.
작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 단계;
상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 단계;
상기 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득하는 단계; 및
상기 작업 차량 상태를 기초로 상기 작업환경 뷰에 있는 개체를 인식할지 여부를 결정하고, 상기 작업 차량 상태가 작업 중지 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하는 단계를 포함하는 어라운드 뷰 모니터링 방법.
Imaging each of the periphery of the working vehicle to generate a plurality of images;
Providing a working environment view comprising an at least one of the plurality of images or an around view generated based on the plurality of images;
Receiving an electronic control unit (ECU) signal of the work vehicle to obtain a work vehicle status; And
Determining whether to recognize an object in the view of the working environment based on the working vehicle state and recognizing an object in the view of the working environment if the working vehicle state corresponds to a work suspension state; Way.
작업 차량의 주위를 각각 촬상하여 복수의 이미지들을 생성하는 기능;
상기 복수의 이미지들 중 적어도 하나 또는 상기 복수의 이미지들을 기초로 생성된 어라운드 뷰를 포함하는 작업환경 뷰를 제공하는 기능;
상기 작업 차량의 ECU(Electronic Control Unit) 신호를 수신하여 작업 차량 상태를 획득하는 기능; 및
상기 작업 차량 상태를 기초로 상기 작업환경 뷰에 있는 개체를 인식할지 여부를 결정하고, 상기 작업 차량 상태가 작업 중지 상태에 해당하면 상기 작업환경 뷰에 있는 개체를 인식하는 기능을 포함하는 어라운드 뷰 모니터링 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.

A function of imaging each of a periphery of the working vehicle to generate a plurality of images;
Providing a work environment view comprising an at least one of the plurality of images or an around view generated based on the plurality of images;
A function of receiving an electronic control unit (ECU) signal of the work vehicle to obtain a work vehicle status; And
And a function of recognizing an object in the view of the working environment based on the working vehicle state and recognizing an object in the view of the working environment when the working vehicle state corresponds to a work suspension state, A computer-readable recording medium on which a program for implementing the method is recorded.

KR1020140063719A 2014-05-27 2014-05-27 Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same KR101566963B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140063719A KR101566963B1 (en) 2014-05-27 2014-05-27 Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140063719A KR101566963B1 (en) 2014-05-27 2014-05-27 Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same

Publications (1)

Publication Number Publication Date
KR101566963B1 true KR101566963B1 (en) 2015-11-06

Family

ID=54601349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140063719A KR101566963B1 (en) 2014-05-27 2014-05-27 Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same

Country Status (1)

Country Link
KR (1) KR101566963B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102087714B1 (en) * 2018-09-17 2020-03-11 주식회사 호룡 Object Detection Apparatus for the surroundings of a work truck and method thereof
KR20200046826A (en) 2018-10-25 2020-05-07 주식회사 인포웍스 Image calibration method for monitoring around view of heavy equipment
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161062A1 (en) * 2011-05-26 2012-11-29 住友重機械工業株式会社 Shovel provided with electric rotating device and control method therefor
JP2014061874A (en) * 2013-07-18 2014-04-10 Komatsu Ltd Periphery monitoring system for work vehicle, work vehicle, and periphery monitoring method for work vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012161062A1 (en) * 2011-05-26 2012-11-29 住友重機械工業株式会社 Shovel provided with electric rotating device and control method therefor
JP2014061874A (en) * 2013-07-18 2014-04-10 Komatsu Ltd Periphery monitoring system for work vehicle, work vehicle, and periphery monitoring method for work vehicle

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102087714B1 (en) * 2018-09-17 2020-03-11 주식회사 호룡 Object Detection Apparatus for the surroundings of a work truck and method thereof
KR20200046826A (en) 2018-10-25 2020-05-07 주식회사 인포웍스 Image calibration method for monitoring around view of heavy equipment
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area

Similar Documents

Publication Publication Date Title
US9335545B2 (en) Head mountable display system
US7710246B2 (en) Vehicle driving assist system
JP6394281B2 (en) In-vehicle alert system, alarm control device
WO2011043006A1 (en) Control device and vehicle surrounding monitoring device
CN106043308A (en) Method and device for detecting the alertness of a vehicle driver
US9025819B2 (en) Apparatus and method for tracking the position of a peripheral vehicle
US20120314072A1 (en) Image generation apparatus
KR20150116116A (en) Apparatus and method for peripheral image generation of vehicle
JPWO2011064831A1 (en) Diagnostic device and diagnostic method
US20150116494A1 (en) Overhead view image display device
KR101566963B1 (en) Method of monitoring around view recognizing object considering state of operation vehicle, attaratus performing the same and storage media storing the same
JP2012076551A (en) Parking support device, parking support method, and parking support system
TW201601955A (en) Vehicle safety system and operating method thereof
WO2017022262A1 (en) Surrounding monitoring device for operating machines
WO2015122124A1 (en) Vehicle periphery image display apparatus and vehicle periphery image display method
JP2012022646A (en) Visual line direction detector, visual line direction detection method and safe driving evaluation system
JP5083142B2 (en) Vehicle periphery monitoring device
JP2019185119A (en) Display control device for vehicle, display system for vehicle, display control method for vehicle, and program
KR101566966B1 (en) Method of monitoring around view recognizing pedestrian, apparatus performing the same and storage media storing the same
KR20130053605A (en) Apparatus and method for displaying around view of vehicle
US8872921B2 (en) Vehicle rearview back-up system and method
US11940794B2 (en) Vehicle video control apparatus, vehicle video system, video control method, and program
CN111526337B (en) Early warning system and early warning method for engineering machinery and engineering machinery
US20200189602A1 (en) Method and Device for Driver State Evaluation and Vehicle
JP2021152543A (en) Vehicular processing system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191016

Year of fee payment: 5