KR20170100897A - The Apparatus For Around View Monitoring - Google Patents

The Apparatus For Around View Monitoring Download PDF

Info

Publication number
KR20170100897A
KR20170100897A KR1020160023347A KR20160023347A KR20170100897A KR 20170100897 A KR20170100897 A KR 20170100897A KR 1020160023347 A KR1020160023347 A KR 1020160023347A KR 20160023347 A KR20160023347 A KR 20160023347A KR 20170100897 A KR20170100897 A KR 20170100897A
Authority
KR
South Korea
Prior art keywords
obstacle
image
top view
height
moving body
Prior art date
Application number
KR1020160023347A
Other languages
Korean (ko)
Other versions
KR102153581B1 (en
Inventor
김배진
김민수
Original Assignee
한화지상방산 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화지상방산 주식회사 filed Critical 한화지상방산 주식회사
Priority to KR1020160023347A priority Critical patent/KR102153581B1/en
Publication of KR20170100897A publication Critical patent/KR20170100897A/en
Application granted granted Critical
Publication of KR102153581B1 publication Critical patent/KR102153581B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

According to an embodiment of the present invention, an apparatus for monitoring a surrounding image comprises: a plurality of cameras, at least one scanning sensor, an electronic control unit (ECU), a top view generation part and a controller. The plurality of cameras display an object as an obstacle when the ECU determines that the object is an obstacle, display the object as a non-obstacle when the ECU determines that the object is not an obstacle, and photographs images of the surroundings of a movable object. At least one scanning sensor detects the height or position of an object positioned adjacent to the movable object. The ECU controls processing of the photographed image, controls driving of the movable object, and determines whether the object is an obstacle. The top view generation part converts and synthesizes each of a plurality of images photographed by the plurality of cameras to generate one synthesized top view. The controller includes a display device, which controls the movable object by performing communications with the movable object and displays the photographed image or the one synthesized top view, which has been generated. The display device displays the object as an obstacle when the ECU determines that the object is an obstacle and displays the object as a non-obstacle when the ECU determines that the object is not an obstacle.

Description

주변 영상 모니터링 장치{The Apparatus For Around View Monitoring}[0001] The present invention relates to a peripheral image monitoring apparatus,

본 발명은 주변 영상 모니터링 장치에 관한 것으로서, 보다 상세하게는 탑 뷰(Top View)를 통하여 보여지는 영상의 사각지대를 제거함으로써, 탑 뷰(Top View)를 통해 장애물로 보여지더라도 실제 장애물인지 여부를 판단할 수 있는 주변 영상 모니터링 장치에 관한 것이다.The present invention relates to a peripheral image monitoring apparatus, and more particularly, to a peripheral image monitoring apparatus that removes a blind spot of an image displayed through a top view, To the surrounding image monitoring apparatus.

일반적으로 주차공간에 무인 이동체를 주차하기 위해서는, 현재 무인 이동체의 위치, 주변의 장애물이나 다른 무인 이동체의 위치 및 거리, 조향 각도, 무인 이동체의 예상 진로 등을 운전자가 자신의 감각 및 경험에 의존하여 판단해야 한다. 그러나 초보 운전자들은 이러한 감각 및 경험이 부족하여 주차할 때 상당한 어려움을 겪는다. 특히, 좁은 공간 또는 사각지대가 많은 장소에서 무인 이동체를 주차할 경우에는, 운전자의 위치 판단 실수나 조작의 실수로 인해 다른 무인 이동체나 장애물과 충돌을 일으킬 가능성이 매우 높다.Generally, in order to park an unmanned vehicle in a parking space, it is necessary for the driver to depend on his or her own senses and experience, such as the position of the current unmanned moving body, the position and distance of an obstacle or other unmanned moving object, You must judge. However, novice drivers suffer from considerable difficulty when parking because of lack of sense and experience. In particular, when parking an unmanned vehicle in a narrow space or in a place with many blind spots, there is a high possibility of causing a collision with other unmanned moving objects or obstacles due to a driver's mistaken position or a mistake in operation.

이러한 문제를 해결하기 위해 무인 이동체의 전방 및 후방에 카메라를 설치하여 해당 방향의 영상을 촬영하고, 무인 이동체와 연동되는 디스플레이 장치를 통해 상기 영상을 디스플레이 함으로써 운전자가 현재 진행 중인 주차과정을 용이하게 인지할 수 있도록 하는 기술들이 제시되었다. 나아가, 최근에는 무인 이동체의 전방, 후방, 좌측방, 우측방에 각각 카메라를 설치하여 영상을 촬영하고, 이를 변환 및 합성하여 탑 뷰(Top View)(Top View: 위에서 무인 이동체를 수직으로 내려다보는 영상)를 생성하는 AVM(Around View Monitoring) 기술이 소개되었다. 이러한 AVM 기술에 의해 운전자의 무인 이동체 운전에 편의가 증대되고 무인 이동체 주변 상황을 용이하게 인지할 수 있어 사고 예방에 큰 도움이 되었다. 이에 따라 현재 AVM 기술을 기반으로 하는 주차 보조 시스템이 더욱 활발히 개발되고 있다.In order to solve this problem, a camera is installed in front of and behind the unmanned moving body to photograph an image in the corresponding direction, and by displaying the image through a display device interlocked with the unmanned moving body, Technology is presented. Furthermore, in recent years, cameras have been mounted on the front, rear, left, and right rooms of the unmanned vehicle, respectively, and images are captured and converted and synthesized to generate top views (Top View: Around View Monitoring (AVM) technology has been introduced. With this AVM technology, convenience of operation of driver's unmanned moving body is increased and it is easy to recognize the circumstance of unmanned moving body, which is a great help for accident prevention. Accordingly, parking assist systems based on AVM technology are being actively developed.

도 1은 일반적인 AVM 기술을 수행하기 위해 무인 이동체(1)의 사방을 촬영한 복수의 영상을 합성하는 방법을 나타낸 개략도이다.FIG. 1 is a schematic view showing a method of synthesizing a plurality of images photographed from four sides of the unmanned mobile body 1 in order to perform a general AVM technique.

AVM(Around View Monitoring) 기술을 수행하기 위해서는, 무인 이동체(1)의 사방을 촬영한 복수의 영상을 정확하게 변환 및 합성하는 것이 중요하다. 따라서 일반적으로 무인 이동체(1)를 출시하기 전에 미리 공장에서 복수의 영상의 변환 및 합성을 수행한다. 도 1에 도시된 바와 같이 패턴 도면들이 평탄한 지면에 일정한 간격으로 위치되고, 상기 패턴 도면들이 무인 이동체(1)의 사방에 설치된 복수의 카메라(10a, 10b, 10c, 10d)로 모두 촬영될 수 있도록 무인 이동체(1)를 위치시킨다. 그리고 상기 복수의 카메라(10a, 10b, 10c, 10d)로 영상을 촬영하여 탑 뷰(Top View)를 생성하도록 영상을 자동으로 변환 및 합성한다.In order to carry out the AVM (Around View Monitoring) technique, it is important to accurately convert and synthesize a plurality of images photographed from all directions of the unmanned moving body 1. Therefore, in general, the factory performs conversion and synthesis of a plurality of images before releasing the unmanned mobile object 1 in advance. As shown in FIG. 1, the pattern diagrams are located at regular intervals on a flat surface, and the pattern diagrams are all photographed by a plurality of cameras 10a, 10b, 10c, and 10d installed on all sides of the manless vehicle 1 The unmanned moving body 1 is positioned. The image is automatically converted and synthesized so as to generate a top view by capturing an image with the plurality of cameras 10a, 10b, 10c, and 10d.

변환 및 합성을 한 뒤에는 영상들을 회전 및 이동시킨 값에 대한 정보를 포함하는 파라미터 데이터들이 생성된다. 그리고 상기 파라미터 데이터에 기초하여 각 카메라의 영상들을 자연스럽게 합성하여 상기 패턴이 실제 위치된 간격 및 모양으로 영상에서 보여지도록 한다.After the conversion and synthesis, parameter data including information about the rotated and shifted images are generated. The images of the respective cameras are synthesized naturally based on the parameter data, so that the pattern is displayed in an image in an actually positioned interval and shape.

한국특허등록 제 1406230 호Korea Patent No. 1406230 한국공개공보 제 2015-0053323호Korean Laid-Open Publication No. 2015-0053323

상기 AVM 기술은 일반적인 이동체에도 적용될 수 있으나, 최근에는 무인 이동체(Unmanned Vehicle)에도 AVM 기술을 도입하여 사용되기도 한다. 무인 이동체의 경우에는 사용자가 직접 탑승하지 않고 컨트롤러를 이용하여 원격으로 상기 무인 이동체를 조종해야 한다. 그러나 컨트롤러에 포함된 디스플레이 장치를 통하여 하나의 화면만이 출력되고, 상기 하나의 화면은 상기 AVM 기술을 통하여 생성된 탑 뷰(Top View)일 수 있다. 이러한 경우에는 사용자가 디스플레이 장치를 통해 탑 뷰(Top View)를 보는 동안 상기 무인 이동체의 진행방향을 향한 뷰를 볼 수 없게 된다.The AVM technology can be applied to a general mobile body, but recently, AVM technology has been introduced to an unmanned vehicle. In the case of the unmanned moving body, the user must control the unmanned moving body remotely by using the controller without directly boarding the user. However, only one screen is output through a display device included in the controller, and the one screen may be a top view generated through the AVM technology. In this case, the user can not view the view toward the traveling direction of the unmanned moving object while viewing the top view through the display device.

디스플레이 장치를 복수 개로 형성되도록 하면, 사용자는 탑 뷰(Top View)와 함께 진행방향을 향한 뷰를 동시에 볼 수 있다. 또는 하나의 디스플레이 장치에 복수 개의 영상을 출력하도록 할 수 있다. 그러나 상기 무인 이동체를 조종하기 위하여 사용자가 야외에 나가는 경우에는, 컨트롤러의 휴대성을 위하여 상기 컨트롤러는 소형화 되는 것이 바람직하다. 그러나 디스플레이 장치가 복수 개 형성된 컨트롤러 또는, 하나의 디스플레이 장치에 유효한 복수 개의 영상이 출력 가능한 컨트롤러를 소형화 하는 것은 아직 현재의 기술로는 용이하지 않다.When a plurality of display devices are formed, the user can simultaneously view a view toward the progress direction together with a top view. Or a plurality of images may be output to one display device. However, when the user goes outdoors to control the unmanned moving body, the controller is preferably downsized for portability of the controller. However, it is not yet easy to miniaturize a controller having a plurality of display devices or a controller capable of outputting a plurality of images effective in one display device.

만약 사용자가 상기 무인 이동체의 진행방향을 향한 뷰를 볼 수 없게 된다면, 탑 뷰(Top View)를 통하여 장애물로 보이는 물체가 상기 무인 이동체와 상이한 높이에 형성되어 장애물이 아니더라도 이를 확인할 수가 없게 된다. 또한, 탑 뷰(Top View)에서는 제1 장애물에 의해 제2 장애물이 가려지게 되어, 사용자가 제2 장애물을 확인할 수 없어 사각지대가 발생하는 문제점이 있다.If the user can not see the view pointing toward the traveling direction of the unmanned moving object, an object which appears as an obstacle through the top view is formed at a height different from that of the unmanned moving object. Also, in the top view, the second obstacle is obscured by the first obstacle, and the user can not identify the second obstacle, which causes a problem that a blind spot is generated.

본 발명이 해결하고자 하는 과제는, 탑 뷰(Top View)를 통하여 보여지는 영상의 사각지대를 제거함으로써, 탑 뷰(Top View)를 통해 장애물로 보여지더라도 실제 장애물인지 여부를 판단할 수 있는 주변 영상 모니터링 장치을 제공하는 것이다.A problem to be solved by the present invention is to eliminate a blind spot of a video image displayed through a top view, thereby enabling a user to determine whether or not an actual obstacle can be determined even if it is viewed as an obstacle through a top view And a video monitoring device.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the above-mentioned problems, and other problems not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 주변 영상 모니터링 장치는 상기 디스플레이 장치는, 상기 전자 제어 유닛이 상기 물체를 장애물로 판단한다면, 상기 물체를 장애물인 것으로 표시하고, 상기 전자 제어 유닛이 상기 물체를 장애물이 아닌 것으로 판단한다면, 상기 물체를 장애물이 아닌 것으로 표시하는, 이동체의 주변 영상을 촬영하는 복수의 카메라; 상기 이동체의 주위에 있는 물체의 높이 또는 물체의 위치를 감지하는 적어도 하나의 스캐닝 센서; 상기 촬영된 영상의 처리를 제어하고, 상기 이동체의 구동을 제어하며, 상기 물체가 장애물인지 판단하는 전자 제어 유닛(ECU); 상기 복수의 카메라에 의해 촬영된 복수의 영상 각각을 변환 및 합성하여 하나의 합성 탑 뷰를 생성하는 탑 뷰 생성부; 상기 이동체와 통신하여 상기 이동체를 컨트롤하고, 상기 촬영된 영상 또는 상기 생성된 하나의 합성 탑 뷰를 디스플레이하는 디스플레이 장치를 포함하는 컨트롤러를 포함하되, 상기 디스플레이 장치는, 상기 전자 제어 유닛이 상기 물체를 장애물로 판단한다면, 상기 물체를 장애물인 것으로 표시하고, 상기 전자 제어 유닛이 상기 물체를 장애물이 아닌 것으로 판단한다면, 상기 물체를 장애물이 아닌 것으로 표시한다.According to an embodiment of the present invention, when the electronic control unit determines that the object is an obstacle, the display device displays the object as an obstacle, and the electronic control unit A plurality of cameras for photographing a peripheral image of a moving object, which indicates that the object is not an obstacle, if it is judged that the object is not an obstacle; At least one scanning sensor for sensing the height of an object or the position of an object around the moving object; An electronic control unit (ECU) for controlling processing of the photographed image, controlling driving of the moving body, and determining whether the object is an obstacle; A top view generation unit for converting and synthesizing each of a plurality of images captured by the plurality of cameras to generate a single synthesized top view; And a display device for controlling the moving object in communication with the moving object and displaying the photographed image or the generated one synthesized top view, wherein the display device further comprises: If it is determined that the object is an obstacle, the object is displayed as an obstacle. If the electronic control unit determines that the object is not an obstacle, the object is displayed as not an obstacle.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.The embodiments of the present invention have at least the following effects.

무인 이동체에 AVM 기술을 적용하기 위한 복수의 카메라와 스캐닝 센서를 함께 설치하여, AVM 기술을 통하여 생성된 탑 뷰(Top View)에서 사각지대를 제거할 수 있고, 탑 뷰(Top View)를 통해 장애물로 보여지더라도 실제 장애물인지 여부를 판단할 수 있다.It is possible to remove blind spots from top view generated by AVM technology by installing a plurality of cameras and scanning sensors together to apply AVM technology to an unmanned mobile object, It is possible to judge whether or not it is an actual obstacle.

또한, 제1 장애물에 의해 가려진 제2 장애물을 센싱함으로써 불의의 사고를 예방할 수 있다.In addition, unexpected accidents can be prevented by sensing the second obstacle obscured by the first obstacle.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the specification.

도 1은 일반적인 AVM 기술을 수행하기 위해 무인 이동체(1)의 사방을 촬영한 복수의 영상을 합성하는 방법을 나타낸 개략도이다.
도 2는 본 발명의 일 실시예에 따른 무인 이동체(1)의 사시도이다.
도 3는 본 발명의 일 실시예에 따른 주변 영상 모니터링 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 라이다(LIDAR)의 기본 원리를 나타낸 참고도이다.
도 5는 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되는 경우를 나타내는 무인 이동체(1)의 정면도이다.
도 6은 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되는 경우 디스플레이 장치(21)상에 표시되는 탑 뷰(Top View)이다.
도 7은 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되지 않는 경우를 나타내는 무인 이동체(1)의 정면도이다.
도 8은 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되지 않는 경우 디스플레이 장치(21)상에 표시되는 탑 뷰(Top View)이다.FIG. 1 is a schematic view showing a method of synthesizing a plurality of images photographed from four sides of the unmanned mobile body 1 in order to perform a general AVM technique.
2 is a perspective view of an unmanned moving body 1 according to an embodiment of the present invention.
3 is a block diagram of an apparatus for monitoring a peripheral image according to an exemplary embodiment of the present invention.
4 is a reference diagram showing the basic principle of LIDAR according to an embodiment of the present invention.
5 is a front view of the unmanned moving body 1 showing a case where an object 3 existing around the unmanned moving body 1 becomes an obstacle according to an embodiment of the present invention.
6 is a top view displayed on the display device 21 when an object 3 existing around the UAV 1 is an obstacle according to an embodiment of the present invention.
7 is a front view of the unmanned moving body 1 showing a case where an object 3 existing around the unmanned moving body 1 does not become an obstacle according to an embodiment of the present invention.
8 is a top view displayed on the display device 21 when an object 3 existing around the UAV 1 according to an embodiment of the present invention is not an obstacle.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. To fully disclose the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms " comprises "and / or" comprising "used in the specification do not exclude the presence or addition of one or more other elements in addition to the stated element.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일 실시예에 따른 무인 이동체(1)의 사시도이다.2 is a perspective view of an unmanned moving body 1 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 주변 영상 모니터링 장치는 이동체에 설치되어 탑 뷰(Top View)를 생성하고, 상기 탑 뷰(Top View)를 통해 장애물로 보여지더라도 실제 장애물인지 여부를 판단할 수 있다. 상기 이동체는 무인 이동체(Unmanned Vehicle)(1)인 것이 바람직하다. 이하, 본 발명의 일 실시예에 따른 이동체는 무인 이동체(1)인 것으로 설명한다. 그러나 이에 제한되지 않고 상기 이동체는 직접 사람이 탑승할 수 있는 차량일 수도 있다.The peripheral image monitoring apparatus according to an exemplary embodiment of the present invention may be installed in a moving object to generate a top view and may determine whether or not it is an actual obstacle even if it is viewed as an obstacle through the top view . The moving body is preferably an unmanned vehicle (1). Hereinafter, the moving body according to the embodiment of the present invention will be described as being the unmanned moving body 1. [ However, the present invention is not limited to this, and the moving body may be a vehicle on which a person can ride directly.

상기 무인 이동체(1)는 사용자가 컨트롤러(2)를 이용하여 실시간으로 조종할 수 있는 무인 이동체(1)뿐만 아니라, 사용자가 컨트롤러(2)를 이용하여 미리 경로를 설정하면 상기 미리 설정된 경로를 따라 운행되는 무인 이동체(1)일 수도 있다.The unmanned mobile unit 1 is configured to be able to move along the predetermined route when the user sets a route in advance using the controller 2 as well as the unmanned mobile unit 1 in which the user can steer in real time using the controller 2 It may be the unmanned moving body 1 to be operated.

무인 이동체(1)에는 무인 항공체(UAV: Unmanned Aerial Vehicle), 무인 해상 이동체(UMV: Unmanned Maritime Vehicle) 그리고 무인 지상 이동체(UGV: Unmanned Ground Vehicle) 등이 있다. 본 발명의 일 실시예에 따른 주변 영상 모니터링 장치는 장애물이 많은 장소에서 유용하게 사용될 수 있다. 실제로 무인 이동체(1)가 운행 도중에 장애물을 만날 가능성이 높은 것은 지상에서 운행하는 경우이다. 따라서 본 발명의 일 실시예에 따른 무인 이동체(1)는 무인 지상 이동체(UGV)인 것이 바람직하다. 이하, 본 발명의 일 실시예에 따른 무인 이동체(1)는 무인 지상 이동체(UGV)인 것으로 설명한다. 그러나 이에 제한되지 않고, 무인 항공체(UAV), 무인 해상 이동체(UMV) 등에도 본 발명의 일 실시예에 따른 주변 영상 모니터링 장치가 설치될 수 있다.The unmanned vehicle 1 includes an unmanned aerial vehicle (UAV), an unmanned maritime vehicle (UMV), and an unmanned ground vehicle (UGV). The peripheral image monitoring apparatus according to an embodiment of the present invention can be usefully used in a place where many obstacles exist. It is a case that the unmanned mobile object 1 is likely to meet an obstacle while it is in operation. Accordingly, it is preferable that the unmanned moving body 1 according to the embodiment of the present invention is an unmanned terrestrial mobile station (UGV). Hereinafter, an unmanned moving body 1 according to an embodiment of the present invention is described as being an unmanned ground moving body (UGV). However, the present invention is not limited to this, and a peripheral image monitoring apparatus according to an embodiment of the present invention may also be installed in a UAV, an UMV, or the like.

도 3는 본 발명의 일 실시예에 따른 주변 영상 모니터링 장치의 블록도이다.3 is a block diagram of an apparatus for monitoring a peripheral image according to an exemplary embodiment of the present invention.

본 발명의 일 실시예에 따른 주변 영상 모니터링 장치는 무인 이동체(1)와 사용자가 상기 무인 이동체(1)를 조종할 수 있는 컨트롤러(2)를 포함한다.The apparatus for monitoring a peripheral image according to an embodiment of the present invention includes an unmanned moving object 1 and a controller 2 by which a user can steer the unattended moving object 1. [

무인 이동체(1)는 무인 이동체(1)의 주변 영상을 촬영하는 복수의 카메라(10a, 10b, 10c, 10d), 무인 이동체(1)의 주위의 장애물 유무를 감지하는 복수의 스캐닝 센서(11a, 11b, 11c, 11d), 무인 이동체(1)의 구동을 전체적으로 제어하는 전자 제어 유닛(ECU)(14), 복수의 카메라(10a, 10b, 10c, 10d)로부터 촬영되어 인코딩된 압축 영상을 전송받아 영상 처리를 하는 영상 처리부(121), 상기 복수의 영상들을 각각 탑 뷰(Top View)로 변환시키는 영상 변환부(122), 상기 각각의 탑 뷰(Top View)를 합성을 하여 하나의 탑 뷰(Top View)를 생성하는 영상 합성부(123), 상기 생성된 탑 뷰(Top View)를 컨트롤러(2)로 전송하는 제1 통신부(13)를 포함한다.The unmanned moving body 1 includes a plurality of cameras 10a, 10b, 10c and 10d for photographing a peripheral image of the unmanned moving body 1, a plurality of scanning sensors 11a, An electronic control unit (ECU) 14 for controlling the driving of the manless vehicle 1 as a whole and an encoder 13 for receiving the compressed and imaged encoded images from the plurality of cameras 10a, 10b, 10c and 10d An image processing unit 121 for performing image processing, an image conversion unit 122 for converting the plurality of images into a top view, and a top view unit for synthesizing the respective top views, And a first communication unit 13 for transmitting the generated top view to the controller 2. The first communication unit 13 transmits the generated top view to the controller 2,

무인 이동체(1)의 주변에는 복수의 카메라(10a, 10b, 10c, 10d)가 각각 설치되어 무인 이동체(1)의 외부를 촬영한다. 일반적으로 무인 이동체(1)의 전방, 후방, 좌측방, 우측방에 하나씩 4대의 카메라(10a, 10b, 10c, 10d)가 설치될 수 있으나, 이에 제한되지 않고 다양한 개수의 카메라(10)가 무인 이동체(1)에 설치될 수 있다. 이러한 카메라(10)는 큰 화각을 갖는 광각렌즈가 주로 사용되며, 180° 이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fish-Eye Lens)가 사용되기도 한다. 카메라(10)로부터 촬영된 영상은 무선 통신을 통해 컨트롤러(2)로 전송되어, 상기 컨트롤러(2)에 내장된 디스플레이 장치(21)를 통해 디스플레이 된다. 사용자는 상기 출력되는 영상을 통해 시야를 확보하여 외부의 상황을 용이하게 파악하고 장애물을 회피하는 등 안전성을 확보할 수 있다. 카메라(10)는 일반적으로 CCD(Charge Coupled Device)나 CIS(CMOS Image Sensor) 등의 촬상 소자를 이용한다. 본 발명의 일 실시예에 따른 카메라(10)는 매초 15~30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(10)가 디지털카메라가 아니라면 촬영한 영상은 RGB 아날로그 영상 신호이므로 ADC컨버터가 별도로 구비되어야 하나, 본 발명의 일 실시예에 따른 카메라(10)가 디지털카메라라면 ADC컨버터가 필요하지 않다. 또한 카메라(10) 자체에서 영상을 인코딩하는 기능이 탑재되어 있으므로, 카메라(10)가 영상을 촬영하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.A plurality of cameras 10a, 10b, 10c, and 10d are provided around the unmanned moving body 1 to photograph the outside of the unmanned moving body 1, respectively. In general, four cameras 10a, 10b, 10c, and 10d may be installed in the front, rear, left, and right rooms of the unmanned moving body 1, but the present invention is not limited thereto. And can be installed in the mobile unit 1. The camera 10 mainly uses a wide-angle lens having a large angle of view, and a fish-eye lens, which is an ultra-wide angle lens having an angle of view of 180 degrees or more, is also used. An image photographed from the camera 10 is transmitted to the controller 2 via wireless communication and displayed through the display device 21 incorporated in the controller 2. [ The user can ensure safety by securing a field of view through the output image and easily grasping an external situation and avoiding obstacles. The camera 10 generally uses an image pickup element such as a CCD (Charge Coupled Device) or a CIS (CMOS Image Sensor). The camera 10 according to an exemplary embodiment of the present invention is preferably a digital camera that outputs moving image data by capturing a two-dimensional image of 15 to 30 frames per second and converting the two-dimensional image into digital signals, but the present invention is not limited thereto. If the camera 10 is not a digital camera, the captured image is an RGB analog image signal, so an ADC converter should be separately provided. However, if the camera 10 according to an embodiment of the present invention is a digital camera, an ADC converter is not required. In addition, since the camera 10 has a function of encoding an image, the camera 10 immediately encodes the image and generates compressed image data.

최근에는 초고해상도 영상인 UHD(Ultra High Definition)의 관심으로 UHD 영상 인코딩을 위한 HEVC(High Efficiency Video Coding)의 표준화가 완료되며 H.264/MPEG-4 AVC보다 2배 이상의 인코딩 효율을 향상시켰다. 상기 영상을 인코딩하기 위한 코덱으로는, 최근 주로 사용되는 MPEG4 또는 H.264/MPEG-4 AVC, 상기 소개한 HEVC 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 종류의 코덱이 사용될 수 있다.In recent years, the standardization of HEVC (High Efficiency Video Coding) for UHD image encoding has been completed with the interest of UHD (Ultra High Definition), which is an ultra high resolution image, and the encoding efficiency is improved by more than twice as much as H.264 / MPEG-4 AVC. As the codec for encoding the image, it is preferable to use MPEG4 or H.264 / MPEG-4 AVC, which is mainly used in recent years, HEVC, etc., but the present invention is not limited thereto and various codecs can be used.

스캐닝 센서(11)는 무인 이동체(1)의 주변에 설치되어 주위의 물체(3)유무를 감지한다. 스캐닝 센서(11)는 하나가 설치될 수도 있으나, 바람직하게는 복수의 스캐닝 센서(11a, 11b, 11c, 11d)가 설치될 수 있다. 그리고 각각의 스캐닝 센서(11a, 11b, 11c, 11d)들은 상기 카메라가 설치된 위치와 근접하게 설치될 수 있다. 상기 스캐닝 센서로는 초음파를 이용한 레이더(RADAR) 센서, 레이저를 이용한 라이다(LIDAR) 센서 등 원거리 물체(3) 감지 센서를 사용하는 것이 바람직하나 이에 제한되지 않는다.The scanning sensor 11 is installed in the periphery of the manless vehicle 1 and detects the presence or absence of the surrounding object 3. One scanning sensor 11 may be provided, but a plurality of the scanning sensors 11a, 11b, 11c, and 11d may be provided. Each of the scanning sensors 11a, 11b, 11c, and 11d may be installed close to the position where the camera is installed. As the scanning sensor, it is preferable to use a sensor for detecting a remote object such as a RADAR sensor using ultrasonic waves or a LIDAR sensor using a laser, but the present invention is not limited thereto.

이하, 본 발명의 일 실시예에 따른 스캐닝 센서(11)는 라이다 센서인 것으로 설명한다. 그러나 본 발명의 모든 실시예에 따른 스캐닝 센서(11)는 이에 제한되지 않고 무인 이동체(1)의 주위의 물체를 감지할 수 있다면 다양한 센서를 사용할 수 있다. 라이다에 대한 자세한 설명은 후술한다.Hereinafter, it is assumed that the scanning sensor 11 according to an embodiment of the present invention is a Lidar sensor. However, the scanning sensor 11 according to all embodiments of the present invention is not limited to this, and various sensors can be used as long as it can sense an object around the manless vehicle 1. [ Lada will be described in detail later.

전자 제어 유닛(ECU)(14)은 무인 이동체(1)에 탑재된 각종 센서의 입력을 수신하고, 무인 이동체(1)의 구동을 전체적으로 제어한다. 복수의 카메라(10a, 10b, 10c, 10d)로부터 상기 복수의 압축 영상이 출력되면, 영상 처리부(121), 영상 변환부(122), 영상 합성부(123)를 거치며 디코딩 및 영상 처리와 하나의 탑 뷰(Top View)로 변환 및 합성하는 과정을 거친다. 이 때, 전자 제어 유닛(ECU)(14)에는 상기 압축 영상이 영상 처리부(121)로 입력된다는 신호가 인가된다. 본 발명의 일 실시예에 따른 전자 제어 유닛(ECU)(14)은 상기 신호가 인가되면, 영상 처리부(121)에서 디코딩 및 디코딩된 영상을 처리하여 해상도(Resolution), 프레임율(Frame-Rate) 또는 화질(Bit-Depth)을 변경하는 영상 처리 과정의 전반적인 제어를 수행한다. 예를 들면, 주야 판단을 하여 영상의 밝기를 조절할 수 있다. 구체적으로 설명하면, 별도로 무인 이동체(1)에 탑재된 조도 센서(155) 등과 같은 센서가 전자 제어 유닛(ECU)(14)에 신호를 인가한다. 전자 제어 유닛(ECU)(14)은 센서의 신호를 받으면, 야외의 주간, 야간 여부를 판단하고 영상의 밝기 조절을 명령한다. 상기 밝기 조절 명령은 영상 처리부(121)에 영상의 디코딩을 비롯한 영상 처리 과정에서 화소의 밝기를 조절하도록 명령할 수 있다. 또는 전자 제어 유닛(ECU)(14)이 직접 디스플레이 장치(21)에 백라이트(Backlight)의 밝기를 조절하도록 명령할 수 있다. 야외가 주간이라면 출력되는 영상의 밝기를 대략 500cd/m2 이상으로 밝게 하고, 야외가 야간이라면 출력되는 영상의 밝기를 대략 100cd/m2 이하로 어둡게 할 수 있으나, 상기 수치는 예시적인 것으로 이에 제한되지 않고 다양한 범위로 설정될 수 있다. 뿐만 아니라 전자 제어 유닛(ECU)(14)은, 하기 기술할 바 영상 변환부(122) 및 영상 합성부(123)에서 영상을 합성하는 과정에 있어서도 전반적인 제어를 수행한다.An electronic control unit (ECU) 14 receives inputs of various sensors mounted on the manless vehicle 1 and controls the driving of the manless vehicle 1 as a whole. When the plurality of compressed images are outputted from the plurality of cameras 10a, 10b, 10c and 10d, the image data is decoded and processed through the image processor 121, the image converter 122 and the image synthesizer 123, And then converting and synthesizing them into a top view. At this time, a signal indicating that the compressed image is input to the image processing unit 121 is applied to the electronic control unit (ECU) 14. The electronic control unit (ECU) 14 according to an embodiment of the present invention processes the decoded and decoded image in the image processing unit 121 to generate a resolution, a frame rate, Or the image quality (Bit-Depth). For example, the brightness of the image can be adjusted by making a judgment on day and night. More specifically, a sensor such as an illuminance sensor 155 or the like mounted on the unmanned moving body 1 separately applies a signal to the electronic control unit (ECU) 14. When receiving the signal from the sensor, the electronic control unit (ECU) 14 judges whether it is daytime or nighttime in the outdoor and commands the brightness control of the image. The brightness control command may instruct the image processing unit 121 to adjust the brightness of a pixel in an image process including decoding of the image. Or the electronic control unit (ECU) 14 may directly instruct the display device 21 to adjust the brightness of the backlight. If the outdoor day is the daytime, the brightness of the output image may be brightened to about 500 cd / m 2 or more, and if the outdoor daylight is nighttime, the brightness of the output image may be reduced to about 100 cd / m 2 or less. However, And can be set in various ranges. In addition, the electronic control unit (ECU) 14 performs overall control in the process of synthesizing images by the image converting unit 122 and the image synthesizing unit 123, which will be described later.

전자 제어 유닛(ECU)(14)은 스캐닝 센서(11)가 물체를 감지하면, 상기 스캐닝 센서(11)로부터 발생된 신호를 수신한다. 전자 제어 유닛(ECU)(14)이 상기 신호를 수신하면, 물체(3) 자체의 높이 또는 물체(3)가 위치한 높이를 파악하고 상기 물체(3)가 장애물인지 판단하여, 만약 장애물이라 판단되면 해당 위치를 탑 뷰(Top View)에 장애물 표시를 한다. 즉, 탑 뷰(Top View)를 통해 볼 때에는 장애물로 보일 수 있는 물체(3)라도, 무인 이동체(1)와 위치한 높이가 상이하거나, 무인 이동체(1)와 충돌될 정도로 높이 형성되지 않아 실제로는 장애물이 아닐 수도 있다. 이러한 경우에는 전자 제어 유닛(ECU)(14)는 장애물이 아닌 것으로 판단하여 탑 뷰(Top View)에 장애물 표시를 하지 않을 수 있다. 이와 반대로, 탑 뷰(Top View)를 통해 볼 때에는 장애물이 아닌 것으로 보일 수 있는 물체(3)라도, 실제로는 상당히 높이가 높아서 무인 이동체(1)의 주행을 방해하는 장애물이 될 수도 있다. 이러한 경우에는 탑 뷰(Top View)에 장애물의 상대적인 높이를 표시하여 사용자에게 알려줄 수 있다. 자세한 내용은 후술한다.The electronic control unit (ECU) 14 receives a signal generated from the scanning sensor 11 when the scanning sensor 11 senses an object. When the electronic control unit (ECU) 14 receives the signal, it determines whether the height of the object 3 itself or the height of the object 3 is located and determines whether the object 3 is an obstacle. Display the obstacle in the top view. That is, even when the object 3, which can be seen as an obstacle when seen through the top view, is not formed at a height that is different from that of the unmanned moving body 1, or is not so high as to collide with the unmanned moving body 1, It may not be an obstacle. In this case, the electronic control unit (ECU) 14 determines that the obstacle is not an obstacle, and may not display the obstacle on the top view. On the other hand, even when the object 3 is seen as a non-obstacle when viewed through the top view, the object 3 may be an obstacle obstructing the traveling of the unmanned mobile object 1 due to its high height. In such a case, the relative height of the obstacle can be displayed on the top view to inform the user. Details will be described later.

전자 제어 유닛(ECU)(14)은 각종 설정된 내용들을 구현하거나 내부의 신호들을 제어한다. 상기 설정된 내용은 사용자가 자신에게 적합하도록 인터페이스를 설정한 내용뿐만 아니라 자체 소프트웨어의 업데이트 등의 내용을 포함한다. 그리고 상기 인터페이스의 설정 내용은 화면의 줌, 해상도, 밝기, 색도, 채도를 포함하고, 회전, 흑백, 스타일, 뷰 모드 등 사용자가 원하는 영상이 출력될 수 있도록 설정할 수 있는 모든 내용들을 포함한다. 따라서, 사용자가 원하면 화면의 줌 인 및 줌 아웃을 하여 화면의 확대 및 축소가 가능하고, 화면의 밝기 또한 조절할 수 있다. 또한, 카메라(10)가 촬영한 영상 중에서 디스플레이 되지 않는 부분을 볼 수 있도록 뷰 모드를 조정할 수 있고, 카메라(10)를 회전 및 이동시켜 사용자가 원하는 부분을 촬영하도록 할 수도 있다.An electronic control unit (ECU) 14 implements various set contents or controls internal signals. The set contents include contents such as update of the own software as well as the contents of setting the interface so that the user is suitable for the user. In addition, the setting contents of the interface include zoom, resolution, brightness, chroma and saturation of the screen, and all contents that can be set so that the user can output a desired image such as rotation, monochrome, style, and view mode. Accordingly, when the user desires, the screen can be zoomed in and out by zooming in and out of the screen, and the brightness of the screen can be adjusted. In addition, the view mode can be adjusted so that the camera 10 can see a portion not displayed in the captured image, and the user can rotate and move the camera 10 to photograph the desired portion.

카메라(10)로부터 촬영된 복수의 영상은 영상 처리부(121)로 전송된다. 영상 처리부(121)는 상기 복수의 압축 영상이 동시에 입력되면 디코딩 및 렌더링 등의 영상 처리를 각각 독립적으로 동시에 수행할 수 있다. 영상 처리부(121)는 상기 압축 영상을 전송받아 디코딩하는 디코더, 버퍼 저장부, 그래픽 렌더러를 포함할 수 있다.A plurality of images photographed from the camera 10 are transmitted to the image processing unit 121. [ When the plurality of compressed images are input simultaneously, the image processing unit 121 can independently perform image processing such as decoding and rendering. The image processing unit 121 may include a decoder for receiving and decoding the compressed image, a buffer storage unit, and a graphics renderer.

디코더는 카메라(10)로부터 인코딩된 압축 영상을 전송받아 디코딩하여 복원 영상을 생성한다. 상기 인코딩된 영상을 디코딩하기 위한 코덱 또한 상기 기술한 인코딩에서와 마찬가지로 다양한 종류가 사용될 수 있으나, 인코딩에 사용된 코덱과 동일한 종류이어야 동일한 표준에 의한 것이므로 정확히 영상이 복원된다.The decoder receives the encoded compressed image from the camera 10, decodes it, and generates a reconstructed image. The codec for decoding the encoded image may also be used in various types as in the encoding described above, but it must be of the same type as the codec used for encoding, so that the image is exactly restored because it is based on the same standard.

만약 디스플레이 장치(21)에서 영상의 디스플레이 지체 현상이 발생한다면, 카메라(10)에서 촬영하여 전송되는 영상의 프레임들이 내부에서 대기하여야 한다. 버퍼 저장부는 상기 대기하는 영상의 프레임 데이터를 임시로 저장한다. 영상이 디스플레이 장치(21)를 통해 디스플레이 되면 이어서 다음 프레임에 해당하는 영상 데이터를 보냄으로써 영상이 자연스럽게 재생될 수 있도록 한다. 그래픽 렌더러는 상기 영상의 렌더링(Rendering) 작업을 수행한다. 렌더링이란 2차원의 영상이 더욱 실감나고 현실감이 있도록, 광원, 위치, 색상 등의 외부 정보를 고려하여 3차원 영상을 만들어내는 방법이다. 렌더링의 방법으로는 물체의 모서리만을 그려주는 와이어프레임(Wireframe) 렌더링, 광선의 굴절 및 반사를 계산하여 발광부까지의 경로를 역추적함으로써 각 픽셀의 색상을 결정하는 레이트레이싱(Raytracing) 렌더링 등이 있다.If a display delay phenomenon of an image occurs in the display device 21, the frames of the image captured and transmitted by the camera 10 should wait inside. The buffer storage unit temporarily stores the frame data of the waiting image. When the image is displayed through the display device 21, the image data corresponding to the next frame is then sent so that the image can be reproduced naturally. The graphic renderer performs a rendering operation of the image. Rendering is a method of creating a three-dimensional image in consideration of external information such as a light source, a position, and a color so that a two-dimensional image becomes more realistic and realistic. Rendering methods include wireframe rendering that only draws the corners of an object, ray tracing rendering that determines the color of each pixel by calculating the refraction and reflection of the light and tracing the path to the light emitting portion have.

상기 영상 처리부(121)에서 디코딩 및 기타 영상 처리된 영상이 출력되어 탑뷰 생성부(12)로 입력된다. 상기 탑 뷰 생성부(12)는 상기 입력된 영상을 위에서 무인 이동체(1)를 내려보는 영상인 하나의 탑 뷰(Top View)로 변환 및 합성을 하며, 영상 변환부(122)와 영상 합성부(123)을 포함할 수 있다. 영상 변환부(122)는 영상 처리된 복수의 영상을 전송받아 룩 업 테이블(Look Up Table)을 통해 영상을 변환하며, 상기 복수의 영상에 대한 각각의 탑 뷰(Top View)를 생성한다. 룩 업 테이블은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용하여 생성될 수 있다. 왜곡 보정 알고리즘은 카메라(10) 렌즈에 의하여 발생하는 기하학적 왜곡을 보정하는 알고리즘이다. 실제 렌즈는 일반적으로 비구면으로 형성되므로, 방사상 왜곡이나 접선 방향 왜곡이 발생할 수 있어 이를 보정하는 것이다. 여기서 왜곡 보정 알고리즘은 보정 파라미터와 왜곡 상수에 관한 함수로 나타낼 수 있다. 아핀(Affine) 변환은 2차원 공간이 1차식으로 나타나는 점 대응을 의미하며, 회전(R), 이동(T), 스케일(S) 변환을 거친다. 시점 변환 알고리즘은 복수의 카메라(10a, 10b, 10c, 10d)를 통해 촬영된 각각의 영상들을 위에서 내려다 보이는 탑 뷰(Top View) 영상으로 시점을 변환한다. 이러한 변환들은 이미 공지되어 있는 여러 가지 기술들을 사용함으로써 구현될 수 있다. The decoded and other image-processed images are output from the image processor 121 and input to the topview generator 12. The top view generation unit 12 converts and combines the input image into one top view that is a view of the unmanned mobile object 1 from above, (123). The image converting unit 122 receives a plurality of image processed images, converts the images through a lookup table, and generates respective top views of the plurality of images. The lookup table can be generated by applying a distortion correction algorithm, an affine transformation algorithm, and a viewpoint transformation algorithm. The distortion correction algorithm is an algorithm for correcting the geometric distortion caused by the camera 10 lens. Since an actual lens is generally formed of an aspherical surface, radial distortion or tangential distortion may occur, thereby correcting it. The distortion correction algorithm can be expressed as a function of the correction parameters and the distortion constants. Affine transformation refers to a point correspondence in which a two-dimensional space appears as a linear expression, and is subjected to rotation (R), movement (T), and scale (S) transformation. The viewpoint conversion algorithm converts viewpoints of images captured through the plurality of cameras 10a, 10b, 10c, and 10d to top view images viewed from above. These transformations can be implemented by using various techniques already known.

영상 합성부(123)는 상기 변환된 복수의 탑 뷰(Top View)을 겹치는 오버레이(Overlay) 방식으로 합성 처리한다. 여기서, 영상 합성부(123)는 마스크 영상을 이용하여 오버레이 합성 처리를 하는데, 마스크 영상은 각 카메라(10)에서 촬영되는 영상마다 보정 및 변환 영상을 구성하는 픽셀들에 대한 가중치(Weight) 정보를 가진다. 전자 제어 유닛(ECU)(14)은 보정 및 변환 영상들 사이에 중복되는 영역에 포함되는 픽셀들의 가중치를 조절하여 복수의 영상이 합성될 때 중복되는 영역을 더욱 자연스럽게 디스플레이 되도록 한다.The image combining unit 123 combines the transformed top views with an overlapping overlapping method. Here, the image combining unit 123 performs an overlay combining process using a mask image. The mask image is corrected for each image captured by each camera 10, and weight information for pixels constituting the transformed image is calculated I have. The electronic control unit (ECU) 14 adjusts the weights of the pixels included in the overlapping area between the corrected and converted images so that the overlapped area is displayed more naturally when the plurality of images are combined.

또한 각각의 영상은 영상 합성을 위해, 영상의 회전 및 이동을 한 정도를 나타내는 파라미터 데이터를 가진다. 파라미터 데이터는 상기 영상의 변환 및 합성을 한 뒤에 영상들을 회전 및 이동시킨 값에 대한 정보를 포함한다. 상기 파라미터 데이터에 기초하여 각 카메라의 영상들을 자연스럽게 합성하여 상기 패턴이 실제 위치된 간격 및 모양으로 영상에서 보여지도록 한다. Each image has parameter data indicating the degree of rotation and movement of the image for image synthesis. The parameter data includes information about values obtained by rotating and moving the images after the image is converted and combined. And the images of the respective cameras are synthesized naturally based on the parameter data, so that the pattern is displayed in an image in an actually positioned interval and shape.

본 발명의 일 실시예에서는 영상 변환부(122)에서 복수의 영상에 대한 각각의 탑 뷰(Top View)를 생성한 후, 영상 합성부(123)에서 하나의 탑 뷰(Top View)를 합성하는 것으로 설명하였다. 그러나 이에 제한되지 않고, 복수의 영상을 먼저 합성한 후에 이를 하나의 탑 뷰(Top View)로 변환할 수도 있으며, 하나의 탑 뷰(Top View)를 생성하기 위한 다양한 방식이 사용될 수 있다.In an embodiment of the present invention, after each top view of a plurality of images is generated by the image converting unit 122, a single top view is synthesized by the image synthesizing unit 123 Respectively. However, the present invention is not limited to this, and a plurality of images may be synthesized first and then converted into one top view, or various schemes for generating one top view may be used.

영상 변환부(122) 및 영상 합성부(123)는 상기 복원 영상을 상기와 같은 과정을 통해 보정 및 변환을 하고, 오버레이 방식으로 합성 처리하여 무인 이동체(1)의 주변 360°를 한 눈에 볼 수 있는 하나의 탑 뷰(Top View) 영상을 생성한다.The image transforming unit 122 and the image synthesizing unit 123 correct and transform the reconstructed image through the process described above and synthesize the reconstructed image in an overlay manner so that 360 ° of the periphery of the unmanned moving object 1 is viewed at a glance (Top View) image that can be displayed on the screen.

제1 통신부(13)는 상기 생성된 탑 뷰(Top View)를 컨트롤러(2)로 전송한다. 뿐만 아니라, 컨트롤러(2)로부터 송신된 신호를 수신하여 전자 제어 유닛(ECU)(14)로 전송한다. 자세한 내용은 후술한다.The first communication unit 13 transmits the generated top view to the controller 2. In addition, it receives the signal transmitted from the controller 2 and transmits it to the electronic control unit (ECU) 14. Details will be described later.

전자 제어 유닛(ECU)(14)은 네트워크 통신(15)을 통해 무인 이동체(1)에 탑재된 센서 및 시스템과 연결될 수 있다. 상기 무인 이동체(1)의 센서 및 시스템은 액셀레이터 시스템(151), 브레이크 시스템(152), 휠 스피드 센서(153), 조도 센서(154), 등을 포함한다.The electronic control unit (ECU) 14 can be connected to the sensors and systems mounted on the unmanned vehicle 1 via the network communication 15. [ The sensor and system of the vehicle 1 include an accelerator system 151, a brake system 152, a wheel speed sensor 153, an illuminance sensor 154, and the like.

액셀레이터 시스템(151)는 사용자의 명령 신호를 받아 무인 이동체(1)의 주행 스피드를 조절할 수 있도록 모터의 RPM을 조절하는 시스템이며, 휠 스피드 센서(153)는 무인 이동체(1)의 바퀴의 회전량 또는 단위시간 당 회전수를 검출하는 센서로써 홀(Hall) 소자 등을 사용하여 구성된다.The accelerator system 151 is a system for controlling the RPM of the motor so as to adjust the traveling speed of the unmanned moving body 1 in response to a command signal of the user. The wheel speed sensor 153 measures the amount of rotation of the wheels of the unmanned moving body 1 Or a sensor for detecting the number of revolutions per unit time is constituted by using a Hall element or the like.

브레이크 시스템(152)은 구동부를 이용하여 제동력을 증강시키는 브레이크 어시스트(Brake Assist), 브레이크의 락을 억제하는 ABS(Anti-lock Braking System) 등을 가진 전동 브레이크 시스템이다. 외부 시스템(155)은 무인 이동체(1)의 생산, 점검 및 정비 시에 사용되는 검사 시스템이나 조정 시스템을 외부에서 접속 커넥터 등을 통해 접속하는 옵션 시스템으로, 무인 이동체(1)에 항상 탑재되는 것이 아니라 탈부착이 가능하다.The brake system 152 is an electric braking system having a brake assist for increasing the braking force by using a driving unit and an anti-lock braking system (ABS) for restricting the locking of the brake. The external system 155 is an optional system for connecting an inspection system or an adjustment system used at the time of production, inspection and maintenance of the unmanned mobile object 1 through an external connection connector or the like, and is always mounted on the unmanned moving object 1 It is not removable.

상기 기술한 센서 및 시스템은 예시적인 것이며, 그 연결 형태 또한 예시적인 것이다. 따라서 이에 제한되지 않고 다양한 구성 또는 연결 형태로 형성될 수 있다.The sensors and systems described above are exemplary and their connection forms are also exemplary. Accordingly, the present invention is not limited thereto and may be formed in various configurations or connection forms.

컨트롤러(2)는 상기 전송된 탑 뷰(Top View) 등의 데이터를 전송받고 무인 이동체(1)와 각종 신호를 송수신할 수 있는 제2 통신부(20), 상기 탑 뷰(Top View)를 출력하는 디스플레이 장치(21), 사용자가 무인 이동체(1)에 명령을 입력할 수 있는 입력부(22), 무인 이동체(1)에서 주위에 장애물을 감지하여 신호를 송신하면 상기 신호를 사용자에게 알려주는 알람부(23)를 포함한다.The controller 2 includes a second communication unit 20 that receives data such as the top view and transmits and receives various signals to and from the unmanned moving object 1, A display unit 21, an input unit 22 through which a user can input a command to the unmanned moving body 1, an alarm unit 22 which detects an obstacle around the unmanned moving body 1, (23).

무인 이동체(1)에 포함된 제1 통신부(13)와, 컨트롤러(2)에 포함된 제2 통신부(20)는 상호 무선 통신을 할 수 있다. 무인 이동체(1)에서는 각종 데이터와 신호가 발생한다. 예를 들면, 복수의 카메라(10a, 10b, 10c, 10d)로부터 촬영된 영상 데이터, 탑 뷰 생성부(12)로부터 생성된 탑 뷰(Top View) 데이터, 복수의 스캐닝 센서(11a, 11b, 11c, 11d)가 장애물을 감지하면 전자 제어 유닛(ECU)(14)가 탑 뷰(Top View) 상에서 장애물의 위치를 알려주는 위치 좌표, 전자 제어 유닛(ECU)(14)가 도출한 상기 장애물의 높이 데이터, 무인 이동체(1)의 현재 좌표 또는 이동 속도 등이 있다. 제1 통신부(13)는 상기 발생한 각종 데이터와 신호를 컨트롤러(2)에 포함된 제2 통신부(20)로 무선 네트워크를 통해 전송한다.The first communication unit 13 included in the unmanned mobile unit 1 and the second communication unit 20 included in the controller 2 can communicate with each other wirelessly. In the unmanned moving body 1, various data and signals are generated. For example, image data photographed from a plurality of cameras 10a, 10b, 10c, and 10d, top view data generated from the top view generation unit 12, and a plurality of scanning sensors 11a, 11b, and 11c (ECU) 14 informs the position of the obstacle on the top view, the height of the obstacle derived by the electronic control unit (ECU) 14 Data, current coordinates or moving speed of the unmanned moving object 1, and the like. The first communication unit 13 transmits the generated various data and signals to the second communication unit 20 included in the controller 2 through the wireless network.

사용자는 컨트롤러(2)에 포함된 입력부(22)를 통해 명령을 입력할 수 있다. 이 경우 컨트롤러(2)에서는 사용자의 명령 신호가 발생한다. 예를 들면, 무인 이동체(1)의 가속 및 감속, 브레이크, 방향 조절 등이 있다. 상기 무인 이동체(1)가 무인 항공체(UAV) 또는 무인 해상 이동체(UMV)라면, 고도 또는 심도를 조절하는 사용자의 명령 신호가 있을 수도 있다. 컨트롤러(2)에 포함된 제2 통신부(20)는 상기 발생한 사용자의 명령 신호를 무인 이동체(1)에 포함된 제1 통신부(13)로 송신한다. 그리고 제1 통신부(13)는 상기 사용자의 명령 신호를 수신하여 전자 제어 유닛(ECU)(14)으로 전송하면, 전자 제어 유닛(ECU)(14)은 상기 사용자의 명령 신호에 따라 무인 이동체(1)의 속도, 방향 등으로 조절한다.The user can input a command through the input unit 22 included in the controller 2. [ In this case, the controller 2 generates a command signal of the user. For example, acceleration and deceleration of the unmanned moving body 1, braking, direction adjustment, and the like are available. If the unmanned moving vehicle 1 is a UAV or an UMV, there may be a command signal of the user adjusting the altitude or depth of field. The second communication unit 20 included in the controller 2 transmits the command signal of the generated user to the first communication unit 13 included in the manless vehicle 1. When the first communication unit 13 receives the command signal of the user and transmits the command signal to the electronic control unit (ECU) 14, the electronic control unit (ECU) ) Speed, direction and the like.

디스플레이 장치(21)는 상기 복원 영상 및 상기 탑 뷰(Top View) 영상을 디스플레이 할 수 있는 디스플레이 패널(미도시)을 포함한다. 디스플레이 패널(미도시)은 디코딩 및 영상 처리되어 복원된 영상과, 영상 변환 및 합성되어 생성된 탑 뷰(Top View)를 시각적으로 디스플레이함으로써 사용자가 감시할 수 있도록 한다. 디스플레이 패널(미도시)은 LCD, LED, OLED 등 다양한 방식이 사용될 수 있으며, 나아가 터치가 가능한 터치패널의 기능을 가질 수도 있다.The display device 21 includes a display panel (not shown) capable of displaying the restored image and the top view image. A display panel (not shown) decodes and processes the image, and displays the reconstructed image and the top view generated by the image conversion and synthesis so that the user can monitor the top view. The display panel (not shown) may have various functions such as an LCD, an LED, and an OLED, and may further have a touch panel function.

알람부(23)는 무인 이동체(1)의 근방에 장애물이 존재한다고 판단되면, 무인 이동체(1)로부터 신호를 받아 사용자에게 알릴 수 있도록 알람을 발생시킨다. 알람은 단순히 디스플레이 장치(21)를 통해 장애물 표시를 하며 상기 장애물 표시가 깜박이도록 할 수도 있으나, 컨트롤러(2)에 별도의 경고등이 부착되어 상기 경고등에 빛이 점멸되도록 할 수도 있다. 나아가, 컨트롤러(2)에 별도의 스피커가 설치되어 있다면, 소리를 통해 알람을 발생시킬 수도 있다.When it is determined that an obstacle exists in the vicinity of the manless vehicle 1, the alarm unit 23 receives a signal from the manless vehicle 1 and generates an alarm so that the user can be notified. The alarm may display an obstacle through the display device 21 and make the obstacle display flicker, but a separate warning light may be attached to the controller 2 so that the warning light may be blinked. Furthermore, if a separate speaker is provided in the controller 2, an alarm may be generated through sound.

도 4는 본 발명의 일 실시예에 따른 라이다(LIDAR)의 기본 원리를 나타낸 참고도이다.4 is a reference diagram showing the basic principle of LIDAR according to an embodiment of the present invention.

상기 기술한 바, 본 발명의 일 실시예에 따른 스캐닝 센서(11)는 라이다 센서일 수 있다. 라이다(LIght Detection And Ranging,　LIDAR,　레이저 레이더)는 레이저　펄스를 쏘고 반사되어 돌아오는 시간을 측정하여 대상 물체(3)의 위치좌표를 측정하는　레이더　시스템이다.　라이다는 물체 판별 정확성은 다소 떨어지나, 높은 에너지 밀도와 짧은 주기의 펄스 신호를 생성할 수 있는 능력을 활용하여 보다 정밀한 대기 중의 물성 관측 및 거리 측정 등 다양한 분야에서 활용되고 있다. 만약 라이다(LIDAR) 센서를 사용한다면, 레이저를 무인 이동체(1) 외부에 방출하면 레이저가 무인 이동체(1) 외부의 물체(3)에 부딪혀 반사된다. 이 반사파를 수신하여 외부의 물체(3)가 존재하는 거리, 위치, 나아가 상기 물체(3)의 물성까지도 판단할 수 있다.As described above, the scanning sensor 11 according to an embodiment of the present invention may be a Lidar sensor. LIDAR (Laser Detection And Ranging) is a radar system that shoots laser pulses and measures the position coordinates of the object (3) by measuring the time of reflection and return. Although the accuracy of object discrimination is somewhat low, Rada utilizes the ability to generate pulse signals of high energy density and short cycle, and is used in various fields such as more precise observation of the physical properties in the atmosphere and distance measurement. If the LIDAR sensor is used, if the laser is emitted outside the manless vehicle 1, the laser hits the object 3 outside the manless vehicle 1 and is reflected. It is possible to judge the distance, the position, and further the physical properties of the object 3, in which the external object 3 exists, by receiving the reflected wave.

라이다(LIDAR)의 구성은 분야에 따라 다양하게 구성되지만 기본적인 구성은 도 4에 도시된 바와 같이 레이저를 발생하여 스캔하려는 영역에 레이저를 송신하는 레이저 송신부(111), 반사되어 되돌아오는 상기 송신한 레이저를 검출하는 레이저 검출부(112), 레이저 송신부(111)와 레이저 검출부(112)로 송수신되는 레이저를 굴절시켜 진행방향을 조절하는 렌즈(113)로 구성된다. 라이다는 신호 및 데이터의 송수신 및 처리하기 위한 제어부를 더 포함할 수 있다. 그러나 본 발명의 일 실시예에 따른 라이다는 무인 이동체(1)에 설치되므로, 상기 제어부의 역할은 전자 제어 유닛(ECU)(14)이 수행하는 것이 바람직하다.The configuration of the LIDAR is variously configured according to fields, but the basic configuration is as shown in FIG. 4, a laser transmitter 111 for generating a laser and transmitting a laser to an area to be scanned, A laser detecting unit 112 for detecting a laser, a laser transmitting unit 111 and a lens 113 for refracting a laser beam transmitted and received by the laser detecting unit 112 to adjust the traveling direction. Rida may further include a controller for transmitting and receiving signals and data. However, since the lid according to the embodiment of the present invention is installed in the manned vehicle 1, it is preferable that the control unit performs the role of the electronic control unit (ECU) 14.

라이다는 레이저 신호의 변조 방법에 따라 time-of-flight(TOF) 방식과 phase-shift 방식으로 구분될 수 있다. TOF 방식은 도 4에 도시된 바와 같이, 레이저 송신부(111)가 레이저 펄스 신호를 방출하여 측정 범위 내에 있는 물체(3)들로부터의 반사 펄스 신호들이 레이저 검출부(112)에 도착하는 시간을 측정함으로써 거리를 계산하는 방식이다. Phase-shift 방식은 특정 주파수를 가지고 연속적으로 변조되는 레이저 빔을 방출하고 측정 범위 내에 있는 물체(3)로부터 반사되어 되돌아 오는 신호의 위상 변화량을 측정하여 시간 및 거리를 계산하는 방식이다.Rida can be classified into a time-of-flight (TOF) method and a phase-shift method according to a modulation method of a laser signal. As shown in FIG. 4, the TOF method measures the time that the laser transmitter 111 emits a laser pulse signal and the reflected pulse signals from the objects 3 within the measurement range arrive at the laser detector 112 It is a way to calculate distance. The phase-shift method is a method of emitting a laser beam continuously modulated with a specific frequency and calculating a time and a distance by measuring a phase change amount of a signal reflected from an object 3 within a measurement range.

레이저 광원은 250nm부터 11μm까지의 파장 영역에서 특정 파장을 가지거나 파장이 가변될 수도 있으며, 최근에는 소형, 저전력을 특징으로 하는 반도체 레이저 다이오드가 많이 사용된다. 레이저의 파장은 대기, 구름, 비 등에 대한 투과성과 안구보호에 직접적인 영향을 주므로 사용 분야에 따라 파장의 선택이 중요하다. 광 스캐너의 성능을 결정하는 데에 있어서 기본적으로 레이저 출력, 파장, 스펙트럼 특성, 펄스 폭 및 모양뿐만 아니라 수신기의 수신감도 및 다이내믹 레인지, 그리고 광학필터 및 렌즈(113)의 특성 또한 주요 요인이다. 이와 함께 수신기의 측정 각도를 나타내는 Field Of View(FOV), 측정 범위를 선택하기 위한 Field Stop, 레이저빔과 수신기의 FOV overlap 특성 등도 중요한 요소이다.A laser light source may have a specific wavelength or a variable wavelength in a wavelength range of 250 nm to 11 m, and recently, a semiconductor laser diode characterized by small size and low power is widely used. Since the wavelength of the laser has a direct influence on the permeability to the air, cloud, rain, and eye protection, the choice of wavelength is important depending on the field of use. In addition to the laser output, wavelength, spectral characteristics, pulse width and shape, as well as receiver sensitivity and dynamic range of the receiver, and characteristics of the optical filter and lens 113 are fundamental factors in determining the performance of the optical scanner. In addition to this, Field Of View (FOV) indicating the measurement angle of the receiver, Field Stop for selecting the measurement range, and FOV overlap characteristic of the laser beam and the receiver are also important factors.

기존의 라이다 기술들은 기상 관측 및 거리 측정을 목적으로 주로 연구되었으며, 최근에는 위성에서의 기상관측, 무인 로봇 센서 및 3차원 영상 모델링을 위한 기술들이 연구되고 있다.The existing Lada technology has been mainly studied for the purpose of meteorological observation and distance measurement. Recently, technologies for meteorological observations in satellite, unmanned robot sensor and 3D image modeling have been studied.

도 5는 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되는 경우 가운데 물체(3a) 자체의 높이(L1)가 높은 경우를 나타내는 무인 이동체(1)의 정면도이다.FIG. 5 is a diagram showing an unmanned moving object 1 (FIG. 1) showing a case where the height L1 of the object 3 a itself is high when the object 3 existing around the unmanned moving object 1 becomes an obstacle according to an embodiment of the present invention. FIG.

도 6는 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되는 경우 가운데 물체(3b)가 위치한 높이(h1)가 무인 이동체(1)의 높이(h2)보다 낮은 경우를 나타내는 무인 이동체(1)의 정면도이다.6 is a graph showing a relationship between a height h1 at which an object 3b is located and a height h1 of an unmanned moving body 1 when an object 3 existing around the unmanned moving body 1 is an obstacle h2) of the unmanned moving body 1, as shown in Fig.

도 7은 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되는 경우 디스플레이 장치(21)상에 표시되는 탑 뷰(Top View)이다.7 is a top view displayed on the display device 21 when an object 3 existing around the UAV 1 according to an embodiment of the present invention becomes an obstacle.

무인 이동체(1)가 주행을 하는 도중에는 주위에 여러 물체(3)들이 존재할 수 있다. 그리고 도 5 및 도 6에 도시된 바와 같이, 상기 물체(3)는 무인 이동체(1)가 주행을 하는 경로 상에 존재할 수 있다. 이 때, 도 5에 도시된 바와 같이 상기 물체(3a) 자체의 높이(L1)가 높거나, 도 6에 도시된 바와 같이 상기 물체(3)가 위치한 높이(h1)가 무인 이동체(1)의 높이(h2)보다 낮으면, 무인 이동체(1)는 그대로 주행할 경우에 상기 물체(3a, 3b)와 충돌할 것이다. 이 경우, 상기 물체(3a, 3b)는 무인 이동체(1)의 주행을 방해하는 장애물이 될 수 있다. 여기서 물체(3a) 자체의 높이(L1)가 높다는 것은, 무인 이동체(1)가 주행할 때 무인 이동체(1)의 바퀴가 상기 물체(3a) 위를 넘어서 지나갈 수가 없거나, 물체(3a) 위를 넘게 되면 상기 무인 이동체(1)가 중심을 잃고 쓰러지게 되는 경우를 말한다. 전자 제어 유닛(ECU)은 스캐닝 센서(11)로부터 물체(3a) 자체의 높이(L1)를 읽고, 바퀴의 회전 속도에 따라 발생하는 토크, 무인 이동체(1)가 상기 물체(3a) 위를 넘을 경우에 기울어지는 각도, 무인 이동체(1)가 중심을 잃지 않을 수 있는 각도 등을 토대로 계산하여 물체(3a) 자체의 높이(L1)가 높은지 여부를 판단한다. 전자 제어 유닛(ECU)이 무인 이동체(1)가 상기 물체(3a)로 인하여 주행이 불가능하다고 판단되면 상기 물체(3a) 자체의 높이(L1)가 높으므로 상기 물체(3a)를 장애물로 판단한다.While the unmanned moving body 1 is traveling, various objects 3 may exist in the surroundings. As shown in Figs. 5 and 6, the object 3 may exist on the path along which the unmanned moving body 1 travels. 5, when the height L1 of the object 3a is high or the height h1 at which the object 3 is located as shown in Fig. 6 is greater than the height h1 of the object 1, If it is lower than the height h2, the unmanned moving body 1 will collide with the objects 3a and 3b when the vehicle travels as it is. In this case, the objects 3a and 3b may be obstacles that obstruct the traveling of the unmanned mobile object 1. [ The fact that the height L1 of the object 3a is high means that the wheels of the unmanned moving body 1 can not pass over the object 3a when the unmanned moving body 1 travels, The moving body 1 loses its center and falls down. The electronic control unit ECU reads the height L1 of the object 3a from the scanning sensor 11 and detects the torque generated in accordance with the rotation speed of the wheel and the torque generated when the unmanned moving object 1 passes over the object 3a The angle of inclination of the object 3a, the angle at which the unmanned moving body 1 can not lose its center, or the like, and determines whether the height L1 of the object 3a itself is high. If the electronic control unit ECU determines that the unmanned moving body 1 can not travel due to the object 3a, the height 3a of the object 3a is high and therefore the object 3a is determined to be an obstacle .

무인 이동체(1)에 부착된 복수의 카메라(10)가 주위의 영상을 촬영하면 AVM 기술을 이용하여 탑 뷰(Top View)가 생성된다. 도 7에 도시된 바와 같이 AVM 기술에 의하여 탑 뷰(Top View)가 생성되면 디스플레이 장치(21)에 상기 탑 뷰(Top View)가 출력된다. 이 때, 일반적으로는 AVM 기술을 사용하여 무인 이동체(1)의 주위에 물체(3)의 존재 여부를 확인할 수 있다. 즉, 디스플레이 장치(21)에 탑 뷰(Top View)가 출력되면, 탑 뷰(Top View)에 무인 이동체(1)의 주위에 존재하는 물체(3)가 함께 나타난다.When a plurality of cameras 10 attached to the manless vehicle 1 shoot an image of a surrounding area, a top view is generated using AVM technology. As shown in FIG. 7, when the top view is generated by the AVM technology, the top view is output to the display device 21. At this time, it is generally possible to confirm whether or not the object 3 exists around the unmanned moving body 1 by using AVM technology. That is, when a top view is outputted to the display device 21, an object 3 existing around the unmanned moving body 1 appears together in the top view.

한편, 복수의 스캐닝 센서(11)가 무인 이동체(1)와 상기 무인 이동체(1) 주위의 물체(3) 사이의 거리를 감지한다. 그리고 전자 제어 유닛(ECU)(14)은 상기 감지된 물체(3)와의 거리를 계산한다. 상기 물체(3)가 무인 이동체(1)로부터 소정의 간격(d2) 이내로 접근하면 컨트롤러(2)에 포함된 알람부(23)에서 알람이 울린다. 여기서 소정의 간격(d2)이란, 무인 이동체(1)가 주행 도중에 물체(3)와 충돌하지 않을 수 있도록 안전 거리를 설정한 간격을 말한다. 소정의 간격(d2)은 무인 이동체(1)의 주행 속력에 따라 다르게 형성될 수 있다. 일반적으로는 무인 이동체(1)의 속력이 느린 경우에는 1 내지 2m, 무인 이동체(1)의 속력이 빠른 경우에는 2 내지 3m인 것이 바람직하다.On the other hand, a plurality of the scanning sensors 11 detect the distance between the unmanned moving body 1 and the object 3 around the unmanned moving body 1. Then, the electronic control unit (ECU) 14 calculates the distance to the sensed object 3. When the object 3 approaches the unmanned moving body 1 within a predetermined distance d2, the alarm unit 23 included in the controller 2 sounds an alarm. Here, the predetermined distance d2 is an interval at which the safety distance is set such that the unmanned moving body 1 may not collide with the object 3 during traveling. The predetermined distance d2 may be formed differently depending on the running speed of the UWB 1. Generally, it is preferable that the speed of the unmanned moving body 1 is 1 to 2 m when the speed of the unmanned moving body 1 is slow, and 2 to 3 m when the speed of the unmanned moving body 1 is fast.

상기 기술한 바, 알람은 단순히 디스플레이 장치(21)를 통해 장애물 표시를 하며 상기 장애물 표시가 깜박이도록 할 수도 있으나, 컨트롤러(2)에 별도의 경고등이 부착되어 상기 경고등에 빛이 점멸되도록 할 수도 있다. 나아가, 컨트롤러(2)에 별도의 스피커가 설치되어 있다면, 소리를 통해 알람을 발생시킬 수도 있다.As described above, the alarm may simply display an obstacle through the display device 21 and cause the display of the obstacle to blink, but a separate warning light may be attached to the controller 2 so that the light flashes on the warning light . Furthermore, if a separate speaker is provided in the controller 2, an alarm may be generated through sound.

스캐닝 센서(11)는 물체 자체의 높이 또는 물체가 위치한 높이도 측정할 수 있다. 본 발명의 일 실시예에 따른 디스플레이 장치(21)는 상기 물체(3a) 자체의 높이(L1)가 높거나, 물체(3b)가 위치한 높이(h1)가 무인 이동체(1)의 높이(h2)보다 낮으면, 도 7에 도시된 바와 같이 상기 물체(3)의 아웃라인을 실선으로 표시할 수 있다. 사용자는 디스플레이 장치(21)를 통해 상기 물체(3)의 아웃라인이 실선으로 표시된 경우에는 무인 이동체(1)의 주행을 방해하는 장애물이 존재하는 것으로 판단하여 무인 이동체(1)를 멈추거나 주행 방향을 바꾸는 등 이에 대한 즉조치를 취할 수 있다.The scanning sensor 11 can measure the height of the object itself or the height at which the object is located. The display device 21 according to the embodiment of the present invention is configured such that the height L1 of the object 3a itself is high or the height h1 at which the object 3b is located is greater than the height h2 of the unmanned vehicle 1, , The outline of the object 3 can be indicated by a solid line as shown in Fig. When the outline of the object 3 is indicated by a solid line through the display device 21, the user determines that an obstacle obstructing the running of the unmanned moving vehicle 1 exists and stops the unmanned moving vehicle 1, And can take measures against it.

도 8은 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되지 않는 경우 가운데 물체(3c) 자체의 높이(L2)가 낮은 경우를 나타내는 무인 이동체(1)의 정면도이고, 도 9는 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되지 않는 경우 가운데 물체(3c) 자체의 높이(L2)가 낮은 경우 디스플레이 장치(21)상에 표시되는 탑 뷰(Top View)이다.FIG. 8 is a perspective view illustrating an unmanned moving body (hereinafter, referred to as " unmanned moving body ") 1 in which the height L2 of the object 3c itself is low when the object 3 existing around the unmanned moving body 1 is not an obstacle 9 is a front view of the unmanned moving body 1 according to an embodiment of the present invention when the height L2 of the middle body 3c itself is low when the object 3 existing around the unmanned moving body 1 is not an obstacle And is a top view displayed on the display device 21. [

도 8에 도시된 바와 같이, 상기 물체(3)가 무인 이동체(1)가 주행을 하는 경로 상에 존재하더라도, 물체(3c) 자체의 높이(L2)가 낮으면, 무인 이동체(1)는 상기 물체(3c) 위를 넘어서 지나갈 수 있다. 이 경우, 상기 물체(3)는 무인 이동체(1)의 주행에 있어 장애물이 되지 않는다.8, when the height L2 of the object 3c itself is low, even if the object 3 exists on the path through which the unmanned moving body 1 travels, It can pass over the object 3c. In this case, the object 3 does not become an obstacle in the running of the unmanned mobile object 1. [

본 발명의 일 실시예에 따른 디스플레이 장치(21)는 물체(3c) 자체의 높이(L2)가 낮으면, 도 9에 도시된 바와 같이 상기 물체(3)의 아웃라인을 점선으로 표시할 수 있다. 사용자는 디스플레이 장치(21)를 통해 상기 물체(3)의 아웃라인이 점선으로 표시된 경우에는 장애물이 아닌 것으로 판단하여 무인 이동체(1)가 그대로 주행을 하도록 할 수 있다. 여기서 물체(3c) 자체의 높이(L2)가 낮다는 것은, 무인 이동체(1)가 주행할 때 무인 이동체(1)의 바퀴가 상기 물체(3c) 위를 넘어서 지나갈 수가 있는 경우를 말한다. 전자 제어 유닛(ECU)은 스캐닝 센서(11)로부터 물체(3c) 자체의 높이(L2)를 읽고, 바퀴의 회전 속도에 따라 발생하는 토크, 무인 이동체(1)가 상기 물체(3c) 위를 넘을 경우에 기울어지는 각도, 무인 이동체(1)가 중심을 잃지 않을 수 있는 각도 등을 토대로 계산하여 물체(3c) 자체의 높이(L2)가 낮은지 여부를 판단한다. 전자 제어 유닛(ECU)이 무인 이동체(1)가 상기 물체(3c)의 존재에도 불구하고 주행할 수 있다고 판단되면 상기 물체(3c) 자체의 높이(L2)가 낮으므로 상기 물체(3c)를 장애물이 아닌 것으로 판단한다.The display device 21 according to the embodiment of the present invention can display the outline of the object 3 as a dotted line when the height L2 of the object 3c itself is low as shown in FIG. . When the outline of the object 3 is indicated by a dotted line through the display device 21, the user is determined not to be an obstacle, and the non-moving vehicle 1 can be driven as it is. Here, the fact that the height L2 of the object 3c itself is low refers to a case where the wheels of the unmanned moving object 1 can pass over the object 3c when the unmanned moving object 1 travels. The electronic control unit ECU reads the height L2 of the object 3c itself from the scanning sensor 11 and determines the torque generated in accordance with the rotational speed of the wheel when the unmanned moving object 1 passes over the object 3c The angle of inclination of the object 3c, the angle at which the unmanned moving body 1 may not lose its center, and the like, and determines whether the height L2 of the object 3c itself is low. If the electronic control unit ECU determines that the unmanned moving body 1 can travel without the presence of the object 3c because the height L2 of the object 3c itself is low, .

도 10은 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되지 않는 경우 가운데 물체(3d)가 위치한 높이(h3)가 무인 이동체(1)의 높이(h2)보다 높은 경우를 나타내는 무인 이동체(1)의 정면도이고, 도 11는 본 발명의 일 실시예에 따른 무인 이동체(1)의 주위에 존재하는 물체(3)가 장애물이 되지 않는 경우 가운데 물체(3d)가 위치한 높이(h3)가 무인 이동체(1)의 높이(h2)보다 높은 경우 디스플레이 장치(21)상에 표시되는 탑 뷰(Top View)이다.10 is a graph showing a relationship between the height h3 of the object 3d and the height h3 of the unmanned moving body 1 when the object 3 existing around the unmanned moving body 1 is not an obstacle, 11 is a front view of the unmanned moving body 1 according to the embodiment of the present invention when the object 3 existing around the unmanned moving body 1 is not an obstacle, (Top view) displayed on the display device 21 when the height h3 at which the display unit 3d is located is higher than the height h2 of the unmanned vehicle 1.

도 10에 도시된 바와 같이, 상기 물체(3)가 무인 이동체(1)가 주행을 하는 경로 상에 존재하더라도, 물체(3d)가 위치한 높이(h3)가 무인 이동체(1)의 높이(h2)보다 높으면, 무인 이동체(1)는 상기 물체(3)의 아래를 지나갈 수 있다. 이 경우, 상기 물체(3)는 무인 이동체(1)의 주행에 있어 장애물이 되지 않는다.10, the height h3 at which the object 3d is located is smaller than the height h2 of the unmanned vehicle 1, even if the object 3 exists on the path along which the unmanned vehicle 1 travels. The unmanned moving body 1 can pass under the object 3. In this case, In this case, the object 3 does not become an obstacle in the running of the unmanned mobile object 1. [

본 발명의 일 실시예에 따른 디스플레이 장치(21)는 물체(3d)가 위치한 높이(h3)가 무인 이동체(1)의 높이(h2)보다 높으면, 도 11에 도시된 바와 같이 상기 물체(3)의 아웃라인을 점선으로 표시할 수 있다. 사용자는 디스플레이 장치(21)를 통해 상기 물체(3)의 아웃라인이 점선으로 표시된 경우에는 장애물이 아닌 것으로 판단하여 무인 이동체(1)가 그대로 주행을 하도록 할 수 있다.The display device 21 according to the embodiment of the present invention is configured such that when the height h3 at which the object 3d is located is higher than the height h2 of the unmanned vehicle 1, Can be indicated by a dotted line. When the outline of the object 3 is indicated by a dotted line through the display device 21, the user is determined not to be an obstacle, and the non-moving vehicle 1 can be driven as it is.

본 발명의 일 실시예에 따른 디스플레이 장치(21)에는 물체(3a) 자체의 높이(L1)가 높으면, 상기 물체(3)의 아웃라인을 실선으로 표시하고, 물체(3c) 자체의 높이(L2)가 낮으면, 상기 물체(3)의 아웃라인을 점선으로 표시할 수 있다. 또는, 물체(3b)가 위치한 높이(h1)가 무인 이동체(1)의 높이(h2)보다 낮으면, 상기 물체(3)의 아웃라인을 실선으로 표시하고, 물체(3d)가 위치한 높이(h3)가 무인 이동체(1)의 높이(h2)보다 높으면, 상기 물체(3)의 아웃라인을 점선으로 표시할 수 있다. 그러나 이에 제한되지 않고, 다른 방법을 사용할 수도 있다. 예를 들면, 물체(3a) 자체의 높이(L1)가 높거나, 물체(3b)가 위치한 높이(h1)가 무인 이동체(1)의 높이(h2)보다 낮으면, 도 7에 도시된 바와 같이 상기 물체(3a, 3b)는 장애물로 판단되어 상기 물체(3)에 해당하는 영역을 붉은 색으로 점멸되도록 표시할 수 있다. 그리고 물체(3c) 자체의 높이(L2)가 낮으면, 도 9에 도시된 바와 같이 상기 물체(3)에 해당하는 영역을 노란 색으로 표시할 수 있다. 또한, 물체(3d)가 위치한 높이(h3)가 무인 이동체(1)보다 높으면, 도 11에 도시된 바와 같이 상기 물체(3)에 해당하는 영역을 초록 색으로 표시할 수 있다.When the height L1 of the object 3a is high, the outline of the object 3 is indicated by a solid line and the height L2 of the object 3c itself ), The outline of the object 3 can be indicated by a dotted line. Alternatively, if the height h1 at which the object 3b is located is lower than the height h2 of the unmanned vehicle 1, the outline of the object 3 is indicated by a solid line and the height h3 Is higher than the height h2 of the unmanned moving body 1, the outline of the object 3 can be indicated by a dotted line. However, other methods may be used without being limited thereto. For example, if the height L1 of the object 3a itself is high or the height h1 at which the object 3b is located is lower than the height h2 of the unmanned vehicle 1, The objects 3a and 3b are judged to be obstacles and the area corresponding to the object 3 can be displayed to blink in red. If the height L2 of the object 3c itself is low, the area corresponding to the object 3 can be displayed in a yellow color as shown in FIG. When the height h3 of the object 3d is higher than that of the unmanned mobile object 1, the area corresponding to the object 3 can be displayed in green as shown in Fig.

나아가, 물체(3) 자체의 높이(L1, L2)를 단계적으로 다르게 표시할 수도 있다. 예를 들면, 디스플레이 장치(21)에서 물체(3) 자체의 높이(L1, L2)가 10cm일 때에는 물체(3)에 해당하는 영역을 초록 색, 20cm일 때에는 노란 색, 30cm일 때에는 붉은 색으로 표시되는 등 지면으로부터 10cm씩 높아질 때 마다 다른 색상으로 표시될 수 있다. 그럼으로써 사용자는 상기 물체(3) 자체의 높이(L1, L2)를 구체적으로 인지할 수 있다. 또는 물체(3)가 위치한 높이(h1)를 단계적으로 다르게 표시할 수도 있다. 예를 들면, 상기 물체(3)가 위치한 높이(h1)와 무인 이동체(1)의 높이(h2)의 차이 즉, h1 - h2가 -10cm 이상인 경우에는 물체에 해당하는 영역을 붉은 색, -10cm 내지 0cm 인 경우에는 노란 색, h1 - h2가 양수인 경우에는 초록 색 등으로 표시하면, 사용자는 상기 물체(3)가 위치한 높이(h1)를 구체적으로 인지할 수 있다.Further, the heights L1 and L2 of the object 3 itself may be displayed differently in stages. For example, when the heights L1 and L2 of the object 3 in the display device 21 are 10 cm, the area corresponding to the object 3 is colored green, 20 cm is yellow, 30 cm is red The displayed color can be displayed in different colors every 10 cm from the ground. Thus, the user can specifically recognize the heights L1 and L2 of the object 3 itself. Or the height h1 at which the object 3 is located may be displayed differently in stages. For example, when the difference between the height h1 at which the object 3 is located and the height h2 of the unmanned vehicle 1, that is, h1-h2 is -10 cm or more, the area corresponding to the object is red, The user can specifically recognize the height h1 at which the object 3 is located, if the color h1-h2 is 0 cm, the color is yellow, and h1-h2 is a positive number.

본 발명의 일 실시예에 따르면, 상기의 방법들에 제한되지 않고 상기 물체(3)가 무인 이동체(1)의 주행에 있어 장애가 되는지 여부에 따라 다르게 표시하여 사용자가 이를 알 수 있다면 다양한 방법을 사용할 수 있다.According to an embodiment of the present invention, the method is not limited to the above-described methods. If the object 3 is displayed differently depending on whether or not the object 3 is obstructed in traveling of the unmanned moving object 1, .

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

1: 무인 이동체 2: 컨트롤러
3: 물체 10: 카메라
11: 스캐닝 센서 12: 탑 뷰 생성부
13: 제1 통신부 14: 전자 제어 유닛(ECU)
15: 네트워크 통신 20: 제2 통신부
21: 디스플레이 장치 22: 입력부
23: 알람부 111: 레이저 송신부
112: 레이저 검출부 113: 렌즈
121: 영상 처리부 122: 영상 변환부
123: 영상 합성부1: unmanned moving body 2: controller
3: Object 10: camera
11: Scanning sensor 12: Top view generating unit
13: first communication unit 14: electronic control unit (ECU)
15: network communication 20: second communication section
21: display device 22: input part
23: alarm unit 111: laser transmission unit
112: laser detection unit 113: lens
121: Image processing unit 122:
123:

Claims (6)

이동체의 주변 영상을 촬영하는 복수의 카메라;
상기 이동체의 주위에 있는 물체의 높이 또는 물체의 위치를 감지하는 적어도 하나의 스캐닝 센서;
상기 촬영된 영상의 처리를 제어하고, 상기 이동체의 구동을 제어하며, 상기 물체가 장애물인지 판단하는 전자 제어 유닛(ECU);
상기 복수의 카메라에 의해 촬영된 복수의 영상 각각을 변환 및 합성하여 하나의 합성 탑 뷰를 생성하는 탑 뷰 생성부;
상기 이동체와 통신하여 상기 이동체를 컨트롤하고, 상기 촬영된 영상 또는 상기 생성된 하나의 합성 탑 뷰를 디스플레이하는 디스플레이 장치를 포함하는 컨트롤러를 포함하되,
상기 디스플레이 장치는,
상기 전자 제어 유닛이 상기 물체를 장애물로 판단한다면,
상기 물체를 장애물인 것으로 표시하고,
상기 전자 제어 유닛이 상기 물체를 장애물이 아닌 것으로 판단한다면,
상기 물체를 장애물이 아닌 것으로 표시하는, 주변 영상 모니터링 장치.A plurality of cameras for capturing a surrounding image of the moving object;
At least one scanning sensor for sensing the height of an object or the position of an object around the moving object;
An electronic control unit (ECU) for controlling processing of the photographed image, controlling driving of the moving body, and determining whether the object is an obstacle;
A top view generation unit for converting and synthesizing each of a plurality of images captured by the plurality of cameras to generate a single synthesized top view;
And a display device for controlling the moving object in communication with the moving object and displaying the photographed image or the generated one synthesized top view,
The display device includes:
If the electronic control unit determines that the object is an obstacle,
The object is marked as an obstacle,
If the electronic control unit determines that the object is not an obstacle,
And displays the object as not an obstacle. 제1항에 있어서,
상기 전자 제어 유닛은,
상기 이동체가 상기 물체의 위를 넘어서 주행할 수 없다면
상기 물체를 장애물로 판단하고,
상기 이동체가 상기 물체의 위를 넘어서 주행할 수 있다면
상기 물체를 장애물이 아닌 것으로 판단하는, 주변 영상 모니터링 장치.The method according to claim 1,
Wherein the electronic control unit comprises:
If the moving object can not travel over the object
Judges the object as an obstacle,
If the moving body can travel over the object
And determines that the object is not an obstacle. 제1항에 있어서,
상기 전자 제어 유닛은,
상기 물체가 상기 이동체의 높이보다 낮게 위치한다면,
상기 물체를 장애물로 판단하고,
상기 물체가 상기 이동체의 높이보다 높게 위치한다면,
상기 물체를 장애물이 아닌 것으로 판단하는,
주변 영상 모니터링 장치.The method according to claim 1,
Wherein the electronic control unit comprises:
If the object is located lower than the height of the moving object,
Judges the object as an obstacle,
If the object is located higher than the height of the moving object,
Determining that the object is not an obstacle,
Perimeter image monitoring device. 제1항에 있어서,
상기 디스플레이 장치는,
상기 물체가 장애물인 경우와 장애물이 아닌 경우에,
상기 물체를 나타내는 아웃라인을 다르게 표시하는, 주변 영상 모니터링 장치.The method according to claim 1,
The display device includes:
If the object is an obstacle and is not an obstacle,
And displays an outline representing the object differently. 제1항에 있어서,
상기 디스플레이 장치는,
상기 물체가 장애물인 경우와 장애물이 아닌 경우에,
상기 물체에 해당하는 영역의 색상을 각각 다르게 표시하는, 주변 영상 모니터링 장치.The method according to claim 1,
The display device includes:
If the object is an obstacle and is not an obstacle,
And displays the color of the area corresponding to the object differently. 제1항에 있어서,
상기 디스플레이 장치는,
상기 물체의 높이를 단계별로 구분하여,
상기 물체에 해당하는 영역의 색상을 각각 다르게 표시하는, 주변 영상 모니 터링 장치.
The method according to claim 1,
The display device includes:
The height of the object is divided into steps,
And displays the color of the area corresponding to the object differently.
KR1020160023347A 2016-02-26 2016-02-26 The Apparatus For Around View Monitoring KR102153581B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160023347A KR102153581B1 (en) 2016-02-26 2016-02-26 The Apparatus For Around View Monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160023347A KR102153581B1 (en) 2016-02-26 2016-02-26 The Apparatus For Around View Monitoring

Publications (2)

Publication Number Publication Date
KR20170100897A true KR20170100897A (en) 2017-09-05
KR102153581B1 KR102153581B1 (en) 2020-09-08

Family

ID=59924964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160023347A KR102153581B1 (en) 2016-02-26 2016-02-26 The Apparatus For Around View Monitoring

Country Status (1)

Country Link
KR (1) KR102153581B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065975B1 (en) * 2019-11-04 2020-01-14 주식회사 영신 Safety Management System Using a Lidar for Heavy Machine
WO2020151435A1 (en) * 2019-01-21 2020-07-30 厦门理工学院 Method for detecting obstacle around vehicle, and vehicle
KR20210089107A (en) * 2020-01-07 2021-07-15 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Cross-camera obstacle tracking method, system and medium
KR20230102597A (en) * 2021-12-30 2023-07-07 ㈜두리안컴퍼니 Accident prevention system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009040272A (en) * 2007-08-09 2009-02-26 Alpine Electronics Inc Vehicle periphery monitoring device
JP2011109170A (en) * 2009-11-12 2011-06-02 Clarion Co Ltd Vehicle surrounding display device and vehicle surrounding display method
KR101406230B1 (en) 2012-12-20 2014-06-12 현대오트론 주식회사 System and method for generating revised Around View Monitor video according to tilt of automotive
KR20140084442A (en) * 2012-12-26 2014-07-07 주식회사 영국전자 Detection robot system
KR20150053323A (en) 2013-11-08 2015-05-18 현대모비스 주식회사 Method for compensating image distortion and Apparatus for the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009040272A (en) * 2007-08-09 2009-02-26 Alpine Electronics Inc Vehicle periphery monitoring device
JP2011109170A (en) * 2009-11-12 2011-06-02 Clarion Co Ltd Vehicle surrounding display device and vehicle surrounding display method
KR101406230B1 (en) 2012-12-20 2014-06-12 현대오트론 주식회사 System and method for generating revised Around View Monitor video according to tilt of automotive
KR20140084442A (en) * 2012-12-26 2014-07-07 주식회사 영국전자 Detection robot system
KR20150053323A (en) 2013-11-08 2015-05-18 현대모비스 주식회사 Method for compensating image distortion and Apparatus for the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020151435A1 (en) * 2019-01-21 2020-07-30 厦门理工学院 Method for detecting obstacle around vehicle, and vehicle
KR102065975B1 (en) * 2019-11-04 2020-01-14 주식회사 영신 Safety Management System Using a Lidar for Heavy Machine
KR20210089107A (en) * 2020-01-07 2021-07-15 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Cross-camera obstacle tracking method, system and medium
KR20230102597A (en) * 2021-12-30 2023-07-07 ㈜두리안컴퍼니 Accident prevention system

Also Published As

Publication number Publication date
KR102153581B1 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
JP7342197B2 (en) Imaging device and method of controlling the imaging device
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
KR101632168B1 (en) The apparatus of smart camera with lidar senser module
WO2012169355A1 (en) Image generation device
KR102153581B1 (en) The Apparatus For Around View Monitoring
JP6522630B2 (en) Method and apparatus for displaying the periphery of a vehicle, and driver assistant system
US10999562B2 (en) Image processing device, image processing method and imaging device capable of performing parallax compensation for captured color image
CN103609101A (en) Vehicle periphery monitoring device
JP5959264B2 (en) Image processing apparatus and method, and computer program
US10884127B2 (en) System and method for stereo triangulation
JP2008507449A (en) Panorama vision system and method
JP6743893B2 (en) Image processing apparatus and image processing method
US20220210305A1 (en) Systems, Apparatus, and Methods for Generating Enhanced Images
JP5516998B2 (en) Image generation device
US20130021453A1 (en) Autostereoscopic rear-view display system for vehicles
US20180191960A1 (en) Image processing device and image processing method
KR101985711B1 (en) Augmented reality CCTV system, and control method for the same
KR101916419B1 (en) Apparatus and method for generating multi-view image from wide angle camera
WO2018034171A1 (en) Image processing device and image processing method
KR102175947B1 (en) Method And Apparatus for Displaying 3D Obstacle by Combining Radar And Video
JP2006033282A (en) Image forming device and method thereof
WO2018025642A1 (en) Image processing device and image processing method
KR101757201B1 (en) The Apparatus And Method For Around View Monitoring
KR20180097976A (en) The Apparatus And The Method For Around View Monitoring
JP5904825B2 (en) Image processing device

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant