KR20160012023A - Recognition system - Google Patents

Recognition system Download PDF

Info

Publication number
KR20160012023A
KR20160012023A KR1020140093505A KR20140093505A KR20160012023A KR 20160012023 A KR20160012023 A KR 20160012023A KR 1020140093505 A KR1020140093505 A KR 1020140093505A KR 20140093505 A KR20140093505 A KR 20140093505A KR 20160012023 A KR20160012023 A KR 20160012023A
Authority
KR
South Korea
Prior art keywords
image
camera
vehicle
control unit
present
Prior art date
Application number
KR1020140093505A
Other languages
Korean (ko)
Other versions
KR101985405B1 (en
Inventor
전기환
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020140093505A priority Critical patent/KR101985405B1/en
Publication of KR20160012023A publication Critical patent/KR20160012023A/en
Application granted granted Critical
Publication of KR101985405B1 publication Critical patent/KR101985405B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

According to one aspect of the present invention, a recognition system comprises: a tilt sensor measuring a tilt of a moving object; a camera device installed in the moving object to take a photograph by choosing the direction vertical to the gravity as an optical axis; a ladar device installed in the moving object to acquire data surrounding the moving object; and an image synthesis unit synthesizing the image photographed by the camera device and the data acquired by the ladar device to generate a synthesized image.

Description

인식 시스템{Recognition system}Recognition system

본 발명은 인식 시스템에 관한 것이다.The present invention relates to a recognition system.

차량 또는 이동형 로봇은 그 주변의 지형 또는 주위의 물체를 감지하는 등의 주변 인식을 위한 인식 장치를 가지고 있다.The vehicle or the mobile robot has a recognition device for peripherals such as a terrain around the object or objects around the object.

일반적으로 인식 장치로는 카메라 장치, 레이더 장치 등이 사용되는데, 차량 또는 이동형 로봇은 상기 인식 장치로 주변을 인식하고 그 인식 정보를 이용하여 자율 운행을 하거나, 원격 조종의 경우에는 원격 조작자에게 그 인식 정보를 송신하여 원격 조작자가 원격 조종을 수행하게 된다.In general, a camera device, a radar device, or the like is used as a recognition device. A vehicle or a mobile robot recognizes the surroundings by the recognition device and performs autonomous operation using the recognition information. In the case of remote control, Information is transmitted so that the remote operator performs remote control.

최근에는 인식 장치로 레이저를 이용한 라이다(ladar) 장치가 사용되기도 하는데, 일본 공개특허 JP2009-069003호에는 거울을 구비하는 반사형 레이저 레이다가 개시되어 있다.Recently, a ladar device using a laser as a recognition device has been used. Japanese Laid-Open Patent Application JP2009-069003 discloses a reflection type laser radar having a mirror.

본 발명의 일 측면에 따르면, 인식 능력을 향상시킨 인식 시스템을 제공하는 것을 주된 과제로 한다.According to an aspect of the present invention, there is provided a recognition system that improves recognition capability.

본 발명의 일 측면에 따르면, 이동체의 기울기를 측정하는 기울기 센서;와, 상기 이동체에 설치되며 중력 방향에 수직인 방향을 광축으로 하여 촬영하는 카메라 장치;와, 상기 이동체에 설치되며, 상기 이동체의 주변에 대한 데이터를 획득하는 라이다 장치;와, 상기 카메라 장치에서 촬영한 영상과 상기 라이다 장치에서 획득한 데이터에 의한 영상을 합성하여 합성 영상을 생성하는 영상 합성부;를 포함하는 인식 시스템을 제공한다.According to an aspect of the present invention, there is provided a tilt sensor comprising: a tilt sensor for measuring a tilt of a moving object; a camera device mounted on the moving object and configured to photograph a direction perpendicular to the gravity direction as an optical axis; And an image synthesizer for synthesizing an image captured by the camera device and an image captured by the Lada device to generate a composite image, to provide.

여기서, 상기 이동체는 차량 또는 로봇일 수 있다.Here, the moving body may be a vehicle or a robot.

여기서, 상기 기울기 센서는 자이로 센서일 수 있다.Here, the tilt sensor may be a gyro sensor.

여기서, 상기 카메라 장치는, 적어도 하나의 카메라;와, 상기 이동체에 설치되며, 상기 카메라의 촬영 방향을 조절하는 카메라 설치부;와, 상기 기울기 센서의 기울기 측정 결과를 이용하여, 상기 카메라가 중력 방향에 수직인 방향을 광축으로 하여 촬영하도록 상기 카메라 설치부를 제어하는 카메라 제어부;를 포함할 수 있다.And a tilt sensor for measuring a tilt of the camera, wherein the camera comprises at least one camera, a camera mount installed on the mobile, And a camera control unit for controlling the camera mounting unit to take a direction perpendicular to the optical axis as an optical axis.

여기서, 상기 라이다 장치에서 획득한 데이터를 이용하여 영상을 구성하는 라이다 영상 구성부를 더 포함할 수 있다.The apparatus may further include a RLayer image forming unit configured to form an image using data acquired by the RLayer apparatus.

여기서, 상기 합성 영상은 2차원 영상 또는 3차원 영상일 수 있다.Here, the composite image may be a two-dimensional image or a three-dimensional image.

여기서, 상기 영상 합성부로부터 상기 합성 영상을 받아 모니터에 표시하는 영상 표시 제어부를 더 포함할 수 있다.The image display control unit may further include a video display control unit that receives the composite video image from the video composition unit and displays the composite video on a monitor.

여기서, 상기 영상 표시 제어부는 상기 기울기 센서의 기울기 측정 결과를 이용하여, 상기 이동체가 수평 상태에 있는 경우에는 상기 카메라 장치에서 촬영한 영상만을 상기 모니터에 표시하고, 상기 이동체가 기울어져 있는 경우에는 상기 합성 영상을 상기 모니터에 표시할 수 있다.Here, the image display control unit displays, on the monitor, only the image photographed by the camera device when the moving object is in a horizontal state, using the tilt measurement result of the tilt sensor, and when the moving object is tilted, The composite image can be displayed on the monitor.

여기서, 상기 영상 합성부와 상기 영상 표시 제어부는 무선으로 연결될 수 있다.Here, the image combining unit and the image display control unit may be wirelessly connected.

본 발명의 일 측면에 따른 인식 시스템은, 상하 시야각의 확대를 통해 주변을 더 잘 인식할 수 있는 효과가 있다.The recognition system according to an aspect of the present invention has an effect of better recognizing the surroundings by enlarging the upper and lower viewing angles.

도 1은 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 모습을 도시한 개략적인 사시도이다.
도 2는 본 발명의 일 실시예에 관한 인식 시스템의 카메라 장치의 구성을 도시한 개략적인 도면이다.
도 3은 본 발명의 일 실시예에 관한 인식 시스템의 개략적인 구성도이다.
도 4는 본 발명의 일 실시예에 관한 인식 시스템의 카메라 장치가 전방을 촬영하는 모습을 도시한 개략적인 도면이다.
도 5는 본 발명의 일 실시예에 관한 인식 시스템의 라이다 장치가 전방에 대한 데이터를 획득하는 모습을 도시한 개략적인 도면이다.
도 6a는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 하방으로 기울어져 있을 때, 인식 시스템이 동작하는 모습을 도시한 개략적인 도면이다.
도 6b는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 하방으로 기울어져 있을 때, 합성 영상이 모니터에 표시된 모습을 도시한 개략적인 도면이다.
도 7a는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 상방으로 기울어져 있을 때, 인식 시스템이 동작하는 모습을 도시한 개략적인 도면이다.
도 7b는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 상방으로 기울어져 있을 때, 합성 영상이 모니터에 표시된 모습을 도시한 개략적인 도면이다.
도 8a는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량이 수평 상태에 있을 때, 인식 시스템이 동작하는 모습을 도시한 개략적인 도면이다.
도 8b는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량이 수평 상태에 있을 때, 카메라 장치에서 촬영한 영상이 모니터에 표시된 모습을 도시한 개략적인 도면이다.1 is a schematic perspective view showing a vehicle equipped with a recognition system according to an embodiment of the present invention.
2 is a schematic view showing a configuration of a camera apparatus of a recognition system according to an embodiment of the present invention.
3 is a schematic configuration diagram of a recognition system according to an embodiment of the present invention.
4 is a schematic view showing a state in which a camera device of a recognition system according to an embodiment of the present invention takes a picture in front.
FIG. 5 is a schematic view showing a state in which a lidar apparatus of a recognition system according to an embodiment of the present invention acquires data on the front side.
FIG. 6A is a schematic view showing the operation of the recognition system when the front portion of the vehicle in which the recognition system according to the embodiment of the present invention is installed is inclined downward. FIG.
FIG. 6B is a schematic view showing a composite image displayed on a monitor when a front portion of a vehicle equipped with the recognition system according to an embodiment of the present invention is inclined downward. FIG.
FIG. 7A is a schematic view showing the operation of the recognition system when the front portion of the vehicle equipped with the recognition system according to the embodiment of the present invention is inclined upward. FIG.
FIG. 7B is a schematic view showing a composite image displayed on a monitor when a front portion of a vehicle equipped with a recognition system according to an embodiment of the present invention is inclined upward. FIG.
FIG. 8A is a schematic view showing the operation of the recognition system when the vehicle installed with the recognition system according to an embodiment of the present invention is in a horizontal state. FIG.
FIG. 8B is a schematic view showing a state in which an image photographed by a camera device is displayed on a monitor when a vehicle equipped with a recognition system according to an embodiment of the present invention is in a horizontal state. FIG.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, the same reference numerals are used for constituent elements having substantially the same configuration, and redundant description is omitted.

도 1은 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 모습을 도시한 개략적인 사시도이고, 도 2는 본 발명의 일 실시예에 관한 인식 시스템의 카메라 장치의 구성을 도시한 개략적인 도면이고, 도 3은 본 발명의 일 실시예에 관한 인식 시스템의 개략적인 구성도이다.FIG. 1 is a schematic perspective view showing a vehicle equipped with a recognition system according to an embodiment of the present invention. FIG. 2 is a schematic view showing a configuration of a camera device of a recognition system according to an embodiment of the present invention. And Fig. 3 is a schematic configuration diagram of a recognition system according to an embodiment of the present invention.

본 실시예에 따른 인식 시스템(100)은 차량(10)에 적용되며, 도 1 및 도 3에 도시된 바와 같이, 기울기 센서(110), 카메라 장치(120), 라이다 장치(130), 라이다 영상 구성부(140), 영상 합성부(150), 통합 제어부(160), 영상 표시 제어부(170), 모니터(180)를 포함한다.The recognition system 100 according to the present embodiment is applied to the vehicle 10 and includes a tilt sensor 110, a camera device 120, a laddering device 130, An image combining unit 150, an integrated control unit 160, an image display control unit 170, and a monitor 180. The image forming unit 140, the image combining unit 150,

차량(10)은 본체(11), 바퀴(12), 총기(13), 통신부(14), 차량 제어부(15) 등을 포함하고 있으며, 본체(11)의 내부에는 사람이 탑승할 수 있도록 구성된다.The vehicle 10 includes a main body 11, a wheel 12, a firearm 13, a communication unit 14, a vehicle control unit 15, and the like. do.

차량(10)은, 차량(10)과 떨어진 곳에서 무선으로 원격 조종되어 운행되거나 내부에 탑승한 사람이 직접 운행할 수도 있는데, 본 실시예에서는 차량(10)과 떨어진 상황실(H)에서 조종자가 무선으로 차량(10)을 원격 조종하는 모드로 작동하는 것으로 가정하고 설명한다.The vehicle 10 may be remotely controlled by a remote location remote from the vehicle 10 or may be directly operated by a person on board the vehicle 10. In the present embodiment, And operates in a mode of remotely controlling the vehicle 10 wirelessly.

본 실시예에 따른 인식 시스템(100)은 차량(10)에 적용되지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 인식 시스템은, 차량뿐만 아니라 로봇, 선박, 헬기, 드론 등 이동이 가능한 이동체에 제한없이 적용될 수 있다.The recognition system 100 according to the present embodiment is applied to the vehicle 10, but the present invention is not limited thereto. That is, the recognition system according to the present invention can be applied to a moving object such as a robot, a ship, a helicopter, and a drone as well as a vehicle without limitation.

차량(10)의 본체(11)에는 인식 시스템(100)의 부분들의 일부가 설치될 수 있는데, 본체(11)에는 인식 시스템(100)의 기울기 센서(110), 카메라 장치(120), 라이다 장치(130), 라이다 영상 구성부(140), 영상 합성부(150), 통합 제어부(160)가 설치된다. 또한 인식 시스템(100)의 영상 표시 제어부(170), 모니터(180)는 차량(10)으로부터 이격된 상황실(H)에 설치된다.A part of the recognition system 100 may be installed on the main body 11 of the vehicle 10 and the tilt sensor 110 of the recognition system 100, the camera device 120, An apparatus 130, a Lidar image forming unit 140, an image combining unit 150, and an integrated controller 160 are installed. The image display control unit 170 and the monitor 180 of the recognition system 100 are installed in the control room H spaced apart from the vehicle 10. [

이하, 본 실시예에 관한 인식 시스템(100)의 각 부분에 대해 상세히 설명한다.Hereinafter, each part of the recognition system 100 according to the present embodiment will be described in detail.

우선, 기울기 센서(110)는 차량(10)의 기울기를 측정하는 기능을 수행하는데, 일반적으로 널리 사용되는 자이로 센서 등이 사용될 수 있다.First, the tilt sensor 110 performs a function of measuring the tilt of the vehicle 10, and a commonly used gyro sensor or the like can be used.

기울기 센서(110)는 주로 차량(10)이 운행 방향을 기준으로 상하로 기울어져 있는지를 감지한다. 즉, 기울기 센서(110)는 차량(10)의 전방 부분이 상방으로 기울어져 있는지, 하방으로 기울어져 있는지를 감지한 후, 그 측정 결과값을 카메라 움직임 제어부(123)와 통합 제어부(160)로 송신한다.The tilt sensor 110 mainly detects whether the vehicle 10 is tilted up or down with respect to the direction of travel. That is, the tilt sensor 110 senses whether the front portion of the vehicle 10 is tilted upward or downward, and then transmits the measured result to the camera motion control unit 123 and the integrated control unit 160 .

본 실시예에 따른 기울기 센서(110)는 그 측정 결과값을 카메라 움직임 제어부(123)에 직접 송신하지만 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 기울기 센서(110)는 기울기 측정 결과값을 통합 제어부(160)에 송신하고, 통합 제어부(160)는 기울기 측정 결과값을 카메라 움직임 제어부(123)에 전달하도록 구성할 수도 있다.The tilt sensor 110 according to the present embodiment directly transmits the measurement result to the camera motion controller 123, but the present invention is not limited thereto. That is, the tilt sensor 110 according to the present invention may transmit the tilt measurement result to the integrated controller 160, and the integrated controller 160 may transmit the tilt measurement result to the camera motion controller 123 .

카메라 장치(120)는 차량(10)의 전방 부분에 설치되는데, 중력 방향에 수직인 방향을 광축으로 하여 촬영하도록 구성된다. 이를 위해 카메라 장치(120)는 카메라(121), 카메라 설치부(122), 카메라 움직임 제어부(123)를 포함한다.The camera device 120 is installed in a front portion of the vehicle 10, and is configured to shoot with the optical axis as a direction perpendicular to the direction of gravity. To this end, the camera device 120 includes a camera 121, a camera installation unit 122, and a camera motion control unit 123.

도 2에 도시된 바와 같이, 카메라(121)는 광학계(121a)와 촬상 소자(121b)를 포함하는데, 촬상 소자(121b)로는 일반적인 CCD, CMOS 등의 촬상 소자가 사용될 수 있다.2, the camera 121 includes an optical system 121a and an image pickup device 121b, and an image pickup device such as a general CCD or CMOS can be used as the image pickup device 121b.

카메라 설치부(122)는 본체(11)에 설치되며, 카메라(121)의 촬영 방향을 조절하는 기능을 수행한다.The camera mounting part 122 is installed in the main body 11 and performs a function of adjusting the photographing direction of the camera 121. [

카메라 설치부(122)는, 카메라 회동축(122a), 카메라 지지부(122b), 베이스부(122c), 풀리(122d), 벨트(122e), 모터(122f)를 포함한다.The camera mounting portion 122 includes a camera rotating shaft 122a, a camera supporting portion 122b, a base portion 122c, a pulley 122d, a belt 122e, and a motor 122f.

카메라 회동축(122a)은 카메라(121)의 양측면에 설치되는데, 카메라 회동축(122a)은 카메라 지지부(122b)에 회동 가능하도록 설치되므로, 카메라(121)와 함께 회전이 가능하도록 구성된다.The camera rotation axis 122a is installed on both sides of the camera 121. The camera rotation axis 122a is rotatably mounted on the camera support portion 122b so that the camera rotation axis 122a can rotate together with the camera 121. [

카메라 지지부(122b)는 한 쌍으로 구성되고, 각각의 일측이 베이스부(122c)에 설치된다. 카메라 지지부(122b)에는 구멍이 형성되어 있어 카메라 회동축(122a)이 회동 가능하도록 설치된다. The camera supporting portions 122b are formed as a pair, and one side of each is provided on the base portion 122c. A hole is formed in the camera support portion 122b and the camera rotation shaft 122a is rotatably installed.

베이스부(122c)는 카메라 지지부(122b)를 지지하고 고정하는 기능을 수행하며, 아울러 본체(11)에 직접 설치되는 부분이다.The base portion 122c functions to support and fix the camera support portion 122b and is directly installed on the main body 11. [

풀리(122d)는 한 쌍으로 구성되는데, 그 중 하나는 카메라 회동축(122a)에 연결되도록 형성되며, 다른 하나는 모터(122f)의 축에 설치되어, 벨트(122e)와 함께 모터(122f)의 동력을 카메라 회동축(122a)으로 전달한다. One of the pulleys 122d is formed to be connected to the camera rotation shaft 122a and the other is provided on the shaft of the motor 122f to rotate the motor 122f together with the belt 122e. To the camera rotation shaft 122a.

벨트(122e)는 V 벨트, 타이밍 벨트 등이 사용될 수 있는데, 벨트(122e)의 종류에 따라 풀리(122d)의 형상도 결정되게 된다.The belt 122e may be a V-belt, a timing belt, or the like, and the shape of the pulley 122d may be determined depending on the type of the belt 122e.

모터(122f)는 카메라 움직임 제어부(123)로부터 제어를 받아 구동되는데, 일반적인 직류 모터, 교류 모터, 서보 모터, 스테핑 모터 등이 사용될 수 있다.The motor 122f is driven under the control of the camera motion controller 123, and may be a general DC motor, an AC motor, a servo motor, a stepping motor, or the like.

본 실시예에 따른 카메라 설치부(122)는 카메라 회동축(122a), 카메라 지지부(122b), 베이스부(122c), 풀리(122d), 벨트(122e), 모터(122f)를 포함하는 구조를 가지고 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 카메라 설치부는 카메라(121)의 촬영 방향을 조절할 수만 있다면 다른 구성을 취하여도 된다. 예를 들면, 본 발명에 따른 카메라 설치부는 상용의 짐벌(Gimbal) 마운트 구조가 적용될 수 있다.The camera mounting portion 122 according to the present embodiment has a structure including the camera rotating shaft 122a, the camera supporting portion 122b, the base portion 122c, the pulley 122d, the belt 122e, and the motor 122f But the present invention is not limited thereto. That is, the camera mounting unit according to the present invention may take other configurations as long as it can adjust the photographing direction of the camera 121. For example, a commercially available gimbal mount structure can be applied to the camera mounting portion according to the present invention.

카메라 움직임 제어부(123)는 기울기 센서(110)의 기울기 측정 결과를 이용하여, 카메라(121)가 항상 중력 방향에 수직인 방향을 광축으로 하여 촬영하도록 카메라 설치부(122)를 제어한다.The camera motion control section 123 controls the camera installation section 122 to photograph the camera 121 using the tilt measurement result of the tilt sensor 110 with the camera 121 always taking the direction perpendicular to the gravity direction as an optical axis.

본 실시예에 따른 카메라 장치(120)의 카메라(121)는 도 2의 y축을 중심으로만 회전하도록 구성되어 있는데, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 카메라 장치(120)의 카메라(121)는 추가적으로 도 2의 x축을 중심으로 회전이 가능하도록 추가적인 구동 장치가 설치될 수 있다. 그 경우 차량(10)이 운행 중 좌우로 기울여지더라도 촬영 영상을 수평으로도 유지할 수 있어 영상 판독에 유리하게 된다. The camera 121 of the camera apparatus 120 according to the present embodiment is configured to rotate only about the y-axis of FIG. 2, but the present invention is not limited thereto. That is, the camera 121 of the camera device 120 according to the present invention may additionally be provided with an additional driving device so as to be rotatable about the x-axis of FIG. In this case, even if the vehicle 10 is tilted left or right during operation, the photographed image can be held horizontally, which is advantageous for image reading.

본 실시예에 따른 카메라 장치(120)는 단일의 카메라(121)를 구비하고 있어, 2차원의 영상만을 촬영하는데 최적화 되어 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 카메라 장치(120)는 복수개의 카메라를 구비할 수 있고, 그 경우 3차원 촬영 기법(예를 들면, 스테레오 촬영 기법 등)을 이용하여 3차원의 영상을 획득할 수 있다. 3차원 영상을 획득하는 경우에 입체적인 판독이 가능하므로 차량(10)의 주변의 물건 및 지형을 더욱 정확히 인식할 수 있다.The camera device 120 according to the present embodiment has a single camera 121 and is optimized for shooting only two-dimensional images, but the present invention is not limited thereto. That is, the camera device 120 according to the present invention may include a plurality of cameras, and in this case, a three-dimensional image can be acquired using a three-dimensional photographing technique (for example, a stereo photographing technique). Since the stereoscopic reading is possible when acquiring the three-dimensional image, the objects and the terrain around the vehicle 10 can be more accurately recognized.

한편, 라이다 장치(130)는 차량(10)의 상부에 설치되는데, 상용의 라이다(ladar) 장치가 바로 이용될 수 있다. 라이다 장치(130)는 레이저 발진부(131)를 포함하고 있는데, 라이다 장치(130)는 차량(10)의 전방 주변 방향으로 레이저를 조사하고 주변 물체, 지형 등에 반사되어 되돌아오는 반사광을 분석함으로써 주변의 물체, 지형 등의 데이터를 획득할 수 있다. On the other hand, the lidar device 130 is installed on the top of the vehicle 10, and a commercial ladar device can be used immediately. The lidar apparatus 130 includes a laser oscillation unit 131. The ladar apparatus 130 irradiates a laser in the front peripheral direction of the vehicle 10 and analyzes reflected light reflected from the surrounding object, It is possible to acquire data of surrounding objects, terrain, and the like.

본 실시예에 따른 라이다 장치(130)는 차량(10)의 전방 주변 방향으로 레이저를 조사하여 차량(10)의 전방 주변 방향의 지역을 스캔하여 주변에 대한 데이터를 획득하는 구성을 가지고 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 라이다 장치(130)는 360도로 회전하면서 전체 주변 방향을 스캐닝하는 전방향 스캔 라이다(panoramic scan ladar)가 적용될 수 있다.The radar apparatus 130 according to the present embodiment has a configuration for scanning the area in the front peripheral direction of the vehicle 10 by irradiating the laser in the front peripheral direction of the vehicle 10 to acquire data about the periphery, The present invention is not limited thereto. That is, the radar apparatus 130 according to the present invention can be applied to a panoramic scan ladder that scans the entire circumferential direction while rotating 360 degrees.

라이다 영상 구성부(140)는 라이다 장치(130)에서 획득한 데이터를 이용하여 영상을 구성하는 장치이다. 일반적으로 라이다 장치(130)는 물체까지의 거리, 방향, 속도, 온도, 물질 분포, 농도 특성 등 다양한 데이터를 획득할 수 있는데, 그러한 데이터를 이용하여 라이다 영상 구성부(140)는 2차원의 영상을 구성한다. 즉, 라이다 영상 구성부(140)는 라이다 장치(130)에서 획득한 데이터를 이용하여 2차원의 영상을 만들어 추후 카메라 장치(120)에서 촬영한 영상과 합성한다.The lidar image constructing unit 140 is an apparatus for constructing an image using data acquired by the ladder apparatus 130. [ In general, the LIDAR apparatus 130 can acquire various data such as a distance, a direction, a velocity, a temperature, a material distribution, and a concentration characteristic to an object. Using such data, . That is, the LIDAR image forming unit 140 creates a two-dimensional image using the data acquired by the LADIR apparatus 130, and synthesizes the two-dimensional image with the image captured by the camera apparatus 120 in the future.

본 실시예에 따른 라이다 영상 구성부(140)는 라이다 장치(130)에서 획득한 데이터를 이용하여 2차원의 영상을 구성하지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면, 라이다 영상 구성부(140)는 라이다 장치(130)에서 획득한 데이터를 이용하여 3차원의 영상도 구성할 수 있다. 다만 그 경우에는, 카메라 장치(120)도 복수개의 카메라를 이용하여 3차원의 영상을 획득하는 것이 바람직하며, 영상 합성부(150)에서는 카메라 장치(120)에서 촬영한 3차원 영상과 라이다 영상 구성부(140)에서 구성한 3차원 영상을 합성하게 된다.The LIDAR image forming unit 140 according to the present embodiment constructs a two-dimensional image using data obtained by the LADIR apparatus 130, but the present invention is not limited thereto. That is, according to the present invention, the LIDAR image forming unit 140 can construct a three-dimensional image using the data acquired by the LADIR apparatus 130. In this case, it is preferable that the camera apparatus 120 also acquires a three-dimensional image using a plurality of cameras. In the image synthesizing unit 150, the three-dimensional image photographed by the camera apparatus 120, And the three-dimensional image formed by the configuration unit 140 is synthesized.

한편, 영상 합성부(150)는 카메라 장치(120)에서 촬영한 영상과 라이다 영상 구성부(140)에서 구성된 영상을 합성하여 합성 영상을 형성한다. 영상의 합성은 공지의 기술이 이용될 수 있다. 예를 들어, 이미지의 특징점, 영상 내 물체의 엣지(edge)정보 등을 이용하여 두개의 영상을 합성하는 기술, 파노라마 이미지 생성 방법 등의 공지의 기술이 제한 없이 이용될 수 있다. 그러한 영상 합성 과정에서 노이즈를 제거할 수 있으며, 필요한 경우 해상도도 조정할 수도 있다.The image synthesizer 150 synthesizes the image captured by the camera device 120 and the image formed by the LADI image generator 140 to form a composite image. A known technique can be used for image synthesis. For example, known techniques such as a technique of synthesizing two images using feature points of an image, edge information of an object in an image, a panoramic image generation method, and the like can be used without limitation. Noise can be removed in such an image synthesis process, and resolution can be adjusted if necessary.

통합 제어부(160)는 차량(10)에 배치된 인식 시스템(100)의 부분들을 통합적으로 제어하는 기능을 수행한다. 즉, 통합 제어부(160)는 기울기 센서(110), 카메라 장치(120), 라이다 장치(130), 라이다 영상 구성부(140), 영상 합성부(150) 등을 제어한다. 아울러 통합 제어부(160)는 카메라 장치(120)에서 촬영한 영상, 영상 합성부(150)에서 합성된 합성 영상, 기울기 센서(110)의 측정 결과값 등을 차량(10)의 통신부(14)로 보낸다. 통신부(14)에서는 상황실(H)의 통신 장치(T)로 해당 정보들을 송신한다. The integrated control unit 160 functions to integrally control parts of the recognition system 100 disposed in the vehicle 10. [ That is, the integrated controller 160 controls the tilt sensor 110, the camera apparatus 120, the LADI apparatus 130, the LADID image forming apparatus 140, the image synthesizing apparatus 150, and the like. The integrated control unit 160 controls the communication unit 14 of the vehicle 10 to transmit the image photographed by the camera device 120, the combined image synthesized by the image synthesizer 150, the measurement result of the tilt sensor 110, send. The communication unit 14 transmits the information to the communication device T in the status room H.

본 실시예에 따른 인식 시스템(100)은 통합 제어부(160)를 포함하고 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따른 인식 시스템은 통합 제어부(160)를 포함하지 않을 수도 있다. 그 경우 기울기 센서(110)의 측정 정보는 통합 제어부(160)를 경유하지 않고 바로 카메라 움직임 제어부(123)로 전송될 수 있고, 영상 합성부(150)에서 합성된 영상은 바로 통신부(14)로 전송될 수 있다.The recognition system 100 according to the present embodiment includes the integrated controller 160, but the present invention is not limited thereto. That is, the recognition system according to the present invention may not include the integrated controller 160. In this case, the measurement information of the tilt sensor 110 may be directly transmitted to the camera motion control unit 123 without passing through the integrated control unit 160, and the image synthesized by the image synthesis unit 150 may be directly transmitted to the communication unit 14 Lt; / RTI >

한편, 도 3에 도시된 바와 같이, 영상 표시 제어부(170)는 차량(10)과 이격된 상황실(H)에 배치되어, 모니터(180)에 영상을 표시한다. 3, the image display control unit 170 is disposed in the control room H spaced apart from the vehicle 10, and displays an image on the monitor 180. [

구체적으로, 영상 표시 제어부(170)는 기울기 센서(110)의 기울기 측정 결과값도 송신 받아, 차량(10)이 수평 상태에 있는 경우에는 카메라 장치(120)에서 촬영한 영상만을 모니터(180)에 표시하고, 차량(10)이 전방 또는 후방으로 기울어져 있을 때에는 영상 합성부(150)에서 합성된 합성 영상을 모니터(180)에 표시한다. The image display control unit 170 receives the tilt measurement result of the tilt sensor 110 and transmits only the image captured by the camera device 120 to the monitor 180 when the vehicle 10 is in a horizontal state When the vehicle 10 is tilted forward or backward, the synthesized image synthesized by the image synthesizing unit 150 is displayed on the monitor 180. FIG.

모니터(180)도 차량(10)과 이격된 상황실(H)에 배치되어, 차량(10)의 조작자에게 영상을 표시함으로써, 조작자가 차량(10)의 주변을 인식할 수 있도록 한다.The monitor 180 is also disposed in the control room H spaced apart from the vehicle 10 so that the operator can recognize the periphery of the vehicle 10 by displaying an image to the operator of the vehicle 10. [

본 실시예에 따르면, 영상 표시 제어부(170)와 모니터(180)가 차량(10)과 이격된 상황실(H)에 배치되어 차량(10)의 조작자에게 영상을 표시하도록 되어 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면 영상 표시 제어부(170)와 모니터(180)는 차량(10)의 내부에 설치될 수 있다. 그 경우 차량(10)에 탑승한 조작자는 모니터(180)를 통해 차량(10)의 주변의 물건, 지형 등을 인식하고, 차량(10)의 움직임을 조작할 수 있다. 아울러, 영상 표시 제어부(170)와 모니터(180)는 상황실(H)과 차량(10)의 내부 양쪽에 다 설치될 수도 있다.The image display control unit 170 and the monitor 180 are arranged in the control room H spaced apart from the vehicle 10 so as to display the image to the operator of the vehicle 10. However, Not limited. That is, according to the present invention, the video display control unit 170 and the monitor 180 can be installed inside the vehicle 10. In this case, the operator aboard the vehicle 10 can recognize the objects, the terrain and the like around the vehicle 10 through the monitor 180, and can operate the movement of the vehicle 10. [ The video display control unit 170 and the monitor 180 may be installed in both the inside of the control room H and the inside of the vehicle 10. [

상황실(H)은 전술한 바와 같이 차량(10)에 떨어져 배치되어 있으며, 도 3에 도시된 바와 같이, 상황실(H)에는 통신 장치(T), 상황실 제어부(M), 조작부(P), 영상 표시 제어부(170), 모니터(180)가 배치되어 있다.3, the situation room H is provided with a communication device T, a situation room control section M, an operation section P, A display control unit 170, and a monitor 180 are arranged.

여기서, 통신 장치(T)는 송신 및 수신을 위한 장치이며, 상황실 제어부(M)는 상황실 내부의 장비를 제어하는 제어부이고, 조작부(P)는 조종자가 차량(10)의 작동 및 차량(10)의 움직임을 제어하기 위해 명령을 입력하는 입력부이다. The control unit P controls the operation of the vehicle 10 and the operation of the vehicle 10. The communication unit T is a device for transmitting and receiving data, and the control room M is a control unit for controlling the equipment inside the control room. And an input unit for inputting a command to control the movement of the camera.

이하, 도 4 및 도 5를 참조하여, 본 실시예에 따른 인식 시스템(100)의 카메라 장치(120)와 라이다 장치(130)의 작동을 구체적으로 설명한다. Hereinafter, the operation of the camera device 120 and the LIDAR device 130 of the recognition system 100 according to the present embodiment will be described in detail with reference to FIGS. 4 and 5. FIG.

우선, 차량(10)에 설치된 카메라 장치(120)가 작동하여 전방의 물체, 지형등을 촬상하는 모습이 도 4에 도시되어 있다. 도 4에 도시된 바와 같이, 카메라 장치(120)는 차량(10)의 전방 부분에 설치되어 있다.4 shows a state in which the camera device 120 installed in the vehicle 10 operates to pick up an object, a terrain, etc. in front of the vehicle. As shown in Fig. 4, the camera device 120 is installed in the front portion of the vehicle 10. [

카메라 장치(120)는, 기울기 센서(110)의 기울기 측정값을 이용한 카메라 움직임 제어부(123)의 제어 작용을 통해, 카메라(121)가 중력 방향에 수직인 방향을 광축(O)으로 하여 촬영하도록 한다. The camera device 120 photographs the direction of the camera 121 perpendicular to the gravity direction as the optical axis O through the control action of the camera motion control section 123 using the tilt measurement value of the tilt sensor 110 do.

한편, 라이다 장치(130)가 차량(10)의 전방 주변 방향의 지역을 스캔하여 주변에 대한 데이터를 획득하는 모습이 도 5에 도시되어 있다. 도 5에 도시된 바와 같이, 라이다 장치(130)는 차량(10)의 전방 부분에 설치되어, 전방 주변 방향으로 레이저를 조사하여 차량(10)의 주변 물체, 지형 등에 반사되어 되돌아오는 반사광을 분석하여 주변의 물체, 지형 등의 데이터를 획득한다.On the other hand, FIG. 5 shows that the radar device 130 scans an area in the front peripheral direction of the vehicle 10 to acquire data on the surroundings. 5, the lidar apparatus 130 is installed at a front portion of the vehicle 10, and irradiates a laser in the front peripheral direction to reflect the reflected light, which is reflected by the surrounding object, the terrain of the vehicle 10, And acquires data of the surrounding objects, terrain, and the like.

이하, 도 3, 도 6a 내지 도 8b를 참조하여, 본 실시예에 따른 인식 시스템(100)이 작동하는 모습을 설명한다. Hereinafter, the operation of the recognition system 100 according to the present embodiment will be described with reference to Figs. 3 and 6A to 8B.

도 6a는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 하방으로 기울어져 있을 때, 인식 시스템이 동작하는 모습을 도시한 개략적인 도면이고, 도 6b는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 하방으로 기울어져 있을 때, 합성 영상이 모니터에 표시된 모습을 도시한 개략적인 도면이다.FIG. 6A is a schematic view showing the operation of the recognition system when the front portion of the vehicle equipped with the recognition system according to the embodiment of the present invention is inclined downward, FIG. 6B is a schematic view showing an embodiment Is a schematic view showing a composite image displayed on a monitor when the front portion of the vehicle in which the recognition system relating to the present invention is installed is inclined downward.

도 7a는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 상방으로 기울어져 있을 때, 인식 시스템이 동작하는 모습을 도시한 개략적인 도면이고, 도 7b는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량의 전방 부분이 상방으로 기울어져 있을 때, 합성 영상이 모니터에 표시된 모습을 도시한 개략적인 도면이다. FIG. 7A is a schematic view showing the operation of the recognition system when the front portion of the vehicle equipped with the recognition system according to the embodiment of the present invention is inclined upward, FIG. 7B is a schematic view showing an embodiment Is a schematic view showing a composite image displayed on the monitor when the front portion of the vehicle in which the recognition system relating to the vehicle is installed is inclined upward.

도 8a는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량이 수평 상태에 있을 때, 인식 시스템이 동작하는 모습을 도시한 개략적인 도면이고, 도 8b는 본 발명의 일 실시예에 관한 인식 시스템이 설치된 차량이 수평 상태에 있을 때, 카메라 장치에서 촬영한 영상이 모니터에 표시된 모습을 도시한 개략적인 도면이다.FIG. 8A is a schematic view showing a state in which a recognition system operates when a vehicle equipped with a recognition system according to an embodiment of the present invention is in a horizontal state, FIG. 8B is a schematic view showing a recognition system Is a schematic view showing a state in which an image photographed by the camera device is displayed on the monitor when the vehicle is in a horizontal state.

차량(10)이 구동을 시작하게 되면 카메라 장치(120) 및 라이다 장치(130)는 작동을 수행하고, 기울기 센서(110)는 차량(10)의 기울기 정도를 실시간으로 측정하여, 그 측정 결과를 카메라 움직임 제어부(123) 및 통합 제어부(160)로 송신한다.When the vehicle 10 starts driving, the camera device 120 and the laddering device 130 perform an operation. The tilt sensor 110 measures the degree of inclination of the vehicle 10 in real time, To the camera motion control unit (123) and the integrated control unit (160).

카메라 장치(120)는, 카메라 설치부(122) 및 카메라 움직임 제어부(123)에 의해 카메라(121)가 항상 중력 방향에 수직인 방향을 광축으로 하여 촬영하게 한다. 이를 위해 카메라 움직임 제어부(123)는 기울기 센서(110)에서 보내온 데이터를 이용하여 카메라 설치부(122)를 제어함으로써, 카메라(121)의 촬영 방향을 조종한다.The camera apparatus 120 causes the camera 121 to always photograph the camera 121 in the direction perpendicular to the gravity direction as an optical axis by the camera setting unit 122 and the camera motion control unit 123. [ To this end, the camera motion control unit 123 controls the camera installation unit 122 using the data sent from the tilt sensor 110, thereby controlling the shooting direction of the camera 121.

카메라(121)가 촬영한 영상은 영상 합성부(150)와 통합 제어부(160)로 전송이 된다.The image captured by the camera 121 is transmitted to the image synthesizer 150 and the integrated controller 160.

라이다 장치(130)는 레이저 발진부(131)에서 생성된 레이저를 차량(10)의 전방 주변 방향으로 조사하고 주변 물체, 지형 등에 반사되어 되돌아오는 반사광을 분석함으로써 주변의 물체, 지형 등의 데이터를 획득한 후, 획득한 데이터를 라이다 영상 구성부(140)로 보낸다. 라이다 영상 구성부(140)는 라이다 장치(130)에서 획득한 데이터를 이용하여 2차원의 영상을 구성하여, 영상 합성부(150)로 전송한다.The lidar apparatus 130 irradiates the laser generated in the laser oscillation unit 131 in the direction of the front periphery of the vehicle 10 and analyzes the reflected light reflected from the surrounding object, And transmits the acquired data to the LADRI image forming unit 140. [0054] The LIDAR image forming unit 140 constructs a two-dimensional image using the data obtained by the LIDAR apparatus 130, and transmits the two-dimensional image to the image combining unit 150.

영상 합성부(150)는 카메라 장치(120)에서 촬영한 영상과 라이다 영상 구성부(140)에서 구성된 영상을 합성하여 합성 영상을 생성한다. 영상의 합성은, 이미지의 특징점, 영상 내 물체의 엣지(edge)정보 등을 이용하여 두개의 영상을 합성하는 기술, 파노라마 이미지 생성 방법 등의 공지의 기술이 이용될 수 있다.The image synthesis unit 150 synthesizes the image captured by the camera device 120 and the image formed by the LADIA image configuration unit 140 to generate a composite image. A known technique such as a technique of synthesizing two images using feature points of an image, edge information of an object in an image, and a panoramic image generation method can be used for the synthesis of images.

영상 합성부(150)에서 합성된 합성 영상은 통합 제어부(160)로 보내지고, 통합 제어부(160)는 통신부(14)를 이용하여, 기울기 센서(110)의 기울기 측정 결과값, 카메라 장치(120)에서 촬영한 영상, 영상 합성부(150)에서 합성한 합성 영상을 상황실의 통신 장치(T)로 송신한다.The composite image synthesized by the image composition unit 150 is sent to the integrated control unit 160 and the integrated control unit 160 uses the communication unit 14 to calculate the tilt measurement result of the tilt sensor 110, And the synthesized image synthesized by the image synthesizing unit 150 is transmitted to the communication device T of the situation room.

한편, 상황실(H)의 상황실 제어부(M)는 통신 장치(T)에서 수신한 정보를 영상 표시 제어부(170)로 보낸다.On the other hand, the situation room control section M of the situation room H sends the information received by the communication device T to the image display control section 170. [

영상 표시 제어부(170)는 모니터(180)에 영상을 표시하는데, 다음과 같이 크게 2가지 경우로 나누어 표시하게 된다. 이하에서는 상기 2가지 경우, 즉, 차량(10)이 기울여져 있는 경우와 차량(10)이 수평 상태에 있는 경우로 나누어 설명한다.
The image display control unit 170 displays an image on the monitor 180. The image display control unit 170 displays the image in two cases as follows. Hereinafter, the two cases, that is, the case where the vehicle 10 is inclined and the case where the vehicle 10 is in a horizontal state will be described separately.

< 기울기 센서(110)의 기울기 측정 결과, 차량(10)이 전방 또는 후방으로 기울어져 있는 경우> &Lt; In case the vehicle 10 is tilted forward or backward as a result of the tilt measurement of the tilt sensor 110 >

우선, 도 6a에 도시된 바와 같이, 차량(10)의 앞부분이 하방으로 기울여져 있을 때, 도 6b에 도시된 바와 같이 영상 표시 제어부(170)는 영상 합성부(150)에서 합성된 합성 영상을 모니터(180)에 표시한다. 6A, when the front portion of the vehicle 10 is tilted downward, the image display controller 170 displays the synthesized image synthesized by the image synthesizer 150 as shown in FIG. 6B, And displays it on the monitor 180.

도 6b에 도시된 바와 같이 모니터(180)에 표시된 영상은 합성 영상으로서, 카메라 장치(120)와 라이다 장치(130)에 의해 획득한 영상의 합성을 통해 상하 시야각이 확대된 상태가 된다. 따라서 모니터(180)를 보는 조작자는 차량(10)의 주변을 정확히 인식할 수 있다. 즉, 도 6b에 도시된 바와 같이, 원거리의 나무(TR)뿐만 아니라 라이다 장치(130)에 의해 인식된 근거리의 웅덩이(G)도 합성 영상에 포함되어 있으므로, 모니터(180)를 보는 조작자는 차량(10)의 주변을 정확히 인식할 수 있다.As shown in FIG. 6B, the image displayed on the monitor 180 is a composite image, and the upper and lower viewing angles are enlarged through the combination of the images acquired by the camera device 120 and the Lada device 130. Therefore, the operator viewing the monitor 180 can accurately recognize the periphery of the vehicle 10. [ 6B, not only the distant tree TR but also the nearby puddle G recognized by the lidar apparatus 130 are included in the composite image, so that the operator who views the monitor 180 The periphery of the vehicle 10 can be accurately recognized.

또한, 도 7a에 도시된 바와 같이, 차량(10)의 앞부분이 상방으로 기울여져 있을 때, 도 7b에 도시된 바와 같이 영상 표시 제어부(170)는 영상 합성부(150)에서 합성된 합성 영상을 모니터(180)에 표시한다. 7A, when the front portion of the vehicle 10 is inclined upward, the image display controller 170 displays the synthesized image synthesized by the image synthesizer 150 as shown in FIG. 7B, And displays it on the monitor 180.

도 7b에 도시된 바와 같이 모니터(180)에 표시된 영상은 합성 영상으로서, 카메라 장치(120)와 라이다 장치(130)에 의해 획득한 영상의 합성을 통해 상하 시야각이 확대된 상태가 된다. 즉, 도 7b에 도시된 바와 같이, 라이다 장치(130)에 의해 인식된 나무(TR)의 형상이 합성 영상에 포함되어 있으므로, 모니터(180)를 보는 조작자는 차량(10)의 주변을 정확히 인식할 수 있다.
As shown in FIG. 7B, the image displayed on the monitor 180 is a synthesized image, and the upper and lower viewing angles are enlarged by combining the images acquired by the camera device 120 and the Lada device 130. FIG. 7B, since the shape of the tree TR recognized by the radar apparatus 130 is included in the composite image, the operator who views the monitor 180 can accurately see the surroundings of the vehicle 10 Can be recognized.

< 기울기 센서(110)의 기울기 측정 결과, 차량(10)이 수평 상태에 있는 경우> <As a result of the tilt measurement of the tilt sensor 110, when the vehicle 10 is in a horizontal state>

도 8a에 도시된 바와 같이, 차량(10)이 수평 상태에 있을 때, 영상 표시 제어부(170)는 모니터(180)에 합성 영상을 표시하는 것이 아니라, 도 8b에 도시된 바와 같이, 카메라 장치(120)에서 촬영한 영상만을 모니터(180)에 표시한다. 즉, 그 경우에는 합성 영상과 카메라 장치(120)에서 촬영한 영상의 촬영 범위가 유사하기 때문에 카메라 장치(120)에서 촬영한 영상만으로도 주변을 인식하기에 충분하기 때문이다.8A, when the vehicle 10 is in a horizontal state, the image display control unit 170 does not display the composite image on the monitor 180, but displays the composite image on the camera device 120 on the monitor 180 only. That is, in this case, since the shooting range of the composite image and the image captured by the camera device 120 are similar, the image captured by the camera device 120 alone is sufficient for recognizing the surroundings.

본 실시예에서는 이동체인 차량(10)이 수평상태에 있는 경우에 영상 표시 제어부(170)가 카메라 장치(120)에서 촬영한 영상만을 모니터(180)에 표시하지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면 차량(10)이 수평상태에 있는 경우에도 모니터(180)에 합성 영상을 표시할 수 있다.In this embodiment, when the vehicle 10 is in the horizontal state, the image display control unit 170 displays only the image captured by the camera device 120 on the monitor 180, but the present invention is not limited thereto. That is, according to the present invention, the composite image can be displayed on the monitor 180 even when the vehicle 10 is in a horizontal state.

본 실시예에서는 카메라 장치(120)와 라이다 장치(130)를 이용하여 차량(10)이 기울어졌을 때 모니터(180)에 합성 영상을 표시함으로써 조작자가 모니터(180)에 표시된 영상으로 주변에 대한 정확한 인식이 가능하고, 그러한 인식을 바탕으로 하여 조작자는 차량(10)의 운용에 도움을 받는 구성을 개시하고 있지만, 본 발명은 이에 한정하지 않는다. 즉, 본 발명에 따르면 차량(10)이 자율 주행이 가능한 경우에, 영상 합성부(150)에서 합성된 영상을 차량(10)의 자율 주행 제어부(미도시)로 전송하여 차량(10)의 자율 주행을 구현할 수 있다. 즉, 그 경우에는 영상 합성부(150)에서 합성된 영상을 모니터(180)에 표시할 필요가 없다.The synthesized image is displayed on the monitor 180 when the vehicle 10 is tilted by using the camera device 120 and the Lada device 130 in the present embodiment, The operator is able to recognize accurately, and on the basis of such recognition, the operator is provided with a configuration that is helpful for the operation of the vehicle 10. However, the present invention is not limited to this. That is, according to the present invention, when the vehicle 10 is able to run autonomously, the image synthesized by the image synthesis unit 150 is transmitted to an autonomous drive control unit (not shown) of the vehicle 10, Driving can be implemented. That is, in this case, the image synthesized by the image synthesizing unit 150 does not need to be displayed on the monitor 180.

이상과 같이, 본 실시예에 따른 인식 시스템(100)은, 카메라 장치(120)와 라이다 장치(130)를 이용하여 차량(10)이 기울어졌을 때, 모니터(180)에 합성 영상을 표시하므로, 상하 시야각이 확대되어 차량(10)의 주변을 잘 인식할 수 있다. 특히, 경사율이 심한 지형에서 상하 시야각이 확대되면, 주변의 물건이나 지형을 더욱 잘 인식할 수 있다. As described above, the recognition system 100 according to the present embodiment displays the composite image on the monitor 180 when the vehicle 10 is tilted using the camera device 120 and the laddering device 130 , The upper and lower viewing angles are enlarged and the periphery of the vehicle 10 can be recognized well. Particularly, when the up and down viewing angles are enlarged in a terrain with a high inclination rate, the surrounding objects and terrain can be recognized more clearly.

본 발명의 일 측면들은 첨부된 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation, You will understand the point. Accordingly, the true scope of protection of the present invention should be determined only by the appended claims.

본 발명은 인식 시스템을 적용하거나 제조하는 산업에 사용될 수 있다. The present invention can be used in industries that apply or manufacture recognition systems.

10: 차량 100: 인식 시스템
110: 기울기 센서 120: 카메라 장치
130: 라이다 장치 140: 라이다 영상 구성부
150: 영상 합성부 160: 통합 제어부
170: 영상 표시 제어부 180: 모니터10: vehicle 100: recognition system
110: tilt sensor 120: camera device
130: Lidar apparatus 140: Lidar image forming unit
150: image synthesizer 160:
170: video display control unit 180: monitor

Claims (9)

이동체의 기울기를 측정하는 기울기 센서;
상기 이동체에 설치되며 중력 방향에 수직인 방향을 광축으로 하여 촬영하는 카메라 장치;
상기 이동체에 설치되며, 상기 이동체의 주변에 대한 데이터를 획득하는 라이다 장치; 및
상기 카메라 장치에서 촬영한 영상과 상기 라이다 장치에서 획득한 데이터에 의한 영상을 합성하여 합성 영상을 생성하는 영상 합성부;를 포함하는 인식 시스템.A tilt sensor for measuring the tilt of the moving object;
A camera device installed in the moving body and taking a direction perpendicular to the gravity direction as an optical axis;
A ladder device installed on the moving object to obtain data on the periphery of the moving object; And
And an image synthesizer for synthesizing an image captured by the camera device and an image captured by the Lydia device to generate a composite image. 제1항에 있어서,
상기 이동체는 차량 또는 로봇인 인식 시스템.The method according to claim 1,
Wherein the moving body is a vehicle or a robot. 제1항에 있어서,
상기 기울기 센서는 자이로 센서인 인식 시스템.The method according to claim 1,
Wherein the tilt sensor is a gyro sensor. 제1항에 있어서,
상기 카메라 장치는,
적어도 하나의 카메라;
상기 이동체에 설치되며, 상기 카메라의 촬영 방향을 조절하는 카메라 설치부; 및
상기 기울기 센서의 기울기 측정 결과를 이용하여, 상기 카메라가 중력 방향에 수직인 방향을 광축으로 하여 촬영하도록 상기 카메라 설치부를 제어하는 카메라 제어부;를 포함하는 인식 시스템. The method according to claim 1,
The camera device includes:
At least one camera;
A camera mounting unit installed on the moving body and adjusting a photographing direction of the camera; And
And a camera control unit for controlling the camera installation unit to photograph the camera using an inclination measurement result of the tilt sensor as an optical axis in a direction perpendicular to the gravity direction of the camera. 제1항에 있어서,
상기 라이다 장치에서 획득한 데이터를 이용하여 영상을 구성하는 라이다 영상 구성부를 더 포함하는 인식 시스템.The method according to claim 1,
And a LIDAR image forming unit configured to form an image using data obtained by the LIDAR apparatus. 제1항에 있어서,
상기 합성 영상은 2차원 영상 또는 3차원 영상인 인식 시스템.The method according to claim 1,
Wherein the composite image is a two-dimensional image or a three-dimensional image. 제1항에 있어서,
상기 영상 합성부로부터 상기 합성 영상을 받아 모니터에 표시하는 영상 표시 제어부를 더 포함하는 인식 시스템.The method according to claim 1,
And a video display control unit for receiving the composite video image from the video composition unit and displaying it on a monitor. 제7항에 있어서,
상기 영상 표시 제어부는 상기 기울기 센서의 기울기 측정 결과를 이용하여, 상기 이동체가 수평 상태에 있는 경우에는 상기 카메라 장치에서 촬영한 영상만을 상기 모니터에 표시하고, 상기 이동체가 기울어져 있는 경우에는 상기 합성 영상을 상기 모니터에 표시하는 인식 시스템.8. The method of claim 7,
Wherein the image display control unit displays only the image photographed by the camera device on the monitor when the moving object is in a horizontal state, using the tilt measurement result of the tilt sensor, and when the moving object is inclined, Is displayed on the monitor. 제7항에 있어서,
상기 영상 합성부와 상기 영상 표시 제어부는 무선으로 연결되는 인식 시스템.8. The method of claim 7,
Wherein the image synthesis unit and the image display control unit are wirelessly connected.
KR1020140093505A 2014-07-23 2014-07-23 Recognition system KR101985405B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140093505A KR101985405B1 (en) 2014-07-23 2014-07-23 Recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140093505A KR101985405B1 (en) 2014-07-23 2014-07-23 Recognition system

Publications (2)

Publication Number Publication Date
KR20160012023A true KR20160012023A (en) 2016-02-02
KR101985405B1 KR101985405B1 (en) 2019-06-03

Family

ID=55354517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140093505A KR101985405B1 (en) 2014-07-23 2014-07-23 Recognition system

Country Status (1)

Country Link
KR (1) KR101985405B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190049246A (en) * 2017-11-01 2019-05-09 현대오트론 주식회사 LIDAR signal processing apparatus, method and LIDAR

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354236A (en) * 2003-05-29 2004-12-16 Olympus Corp Device and method for stereoscopic camera supporting and stereoscopic camera system
JP2011028634A (en) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp Image display device for vehicle
KR20120060283A (en) * 2010-12-01 2012-06-12 현대모비스 주식회사 Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof
JP2013020308A (en) * 2011-07-07 2013-01-31 Clarion Co Ltd Vehicle surrounding image pickup system
KR20130114510A (en) * 2012-04-09 2013-10-18 전자부품연구원 Apparatus and method for estimating gondola robot's distance from ground
KR20130140554A (en) * 2012-06-14 2013-12-24 한국전자통신연구원 Laser radar system and method for acquiring target image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004354236A (en) * 2003-05-29 2004-12-16 Olympus Corp Device and method for stereoscopic camera supporting and stereoscopic camera system
JP2011028634A (en) * 2009-07-28 2011-02-10 Toshiba Alpine Automotive Technology Corp Image display device for vehicle
KR20120060283A (en) * 2010-12-01 2012-06-12 현대모비스 주식회사 Navigation apparatus for composing camera images of vehicle surroundings and navigation information, method thereof
JP2013020308A (en) * 2011-07-07 2013-01-31 Clarion Co Ltd Vehicle surrounding image pickup system
KR20130114510A (en) * 2012-04-09 2013-10-18 전자부품연구원 Apparatus and method for estimating gondola robot's distance from ground
KR20130140554A (en) * 2012-06-14 2013-12-24 한국전자통신연구원 Laser radar system and method for acquiring target image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190049246A (en) * 2017-11-01 2019-05-09 현대오트론 주식회사 LIDAR signal processing apparatus, method and LIDAR

Also Published As

Publication number Publication date
KR101985405B1 (en) 2019-06-03

Similar Documents

Publication Publication Date Title
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
WO2019114321A1 (en) Vehicle chassis scanning system and scanning method
JP5618840B2 (en) Aircraft flight control system
JP5775632B2 (en) Aircraft flight control system
US20120249997A1 (en) Laser Scanner And Method For Detecting Mobile Object
CN111226154B (en) Autofocus camera and system
JP6823482B2 (en) 3D position measurement system, 3D position measurement method, and measurement module
US7738733B2 (en) Systems and methods for 3-D imaging
JP2011133508A (en) Scanned type display-device optical system, three-dimensional display device and head-up display device
CN109564433A (en) The system and method that height for loose impediment controls
KR20170044451A (en) System and Method for Controlling Remote Camera using Head mount display
JP2017169170A (en) Imaging apparatus, moving apparatus, imaging system, imaging method, and program
CA3051425A1 (en) Tracking image collection for digital capture of environments, and associated systems and methods
JP2006139525A (en) Autonomous mobile robot
KR101985405B1 (en) Recognition system
KR100809317B1 (en) A position move equipment using the position detection method and its method
WO2020240918A1 (en) Work supporting system, work supporting method and program
JP6481445B2 (en) Head-up display
WO2020151429A1 (en) Robot dog system and implementation method therefor
US9967525B2 (en) Monitoring camera apparatus with depth information determination
JP2016185768A (en) Vehicle display system
JP2011133176A (en) Target device
KR20070074996A (en) 3-d operating type stereoscopic camera apparatus
JP2017227516A (en) Device, mobile body device, and method for measuring distance
JP2006270561A (en) Handsfree mobile camera

Legal Events

Date Code Title Description
N231 Notification of change of applicant
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant