KR102086663B1 - Picture generation device and control method thereof - Google Patents

Picture generation device and control method thereof Download PDF

Info

Publication number
KR102086663B1
KR102086663B1 KR1020180116534A KR20180116534A KR102086663B1 KR 102086663 B1 KR102086663 B1 KR 102086663B1 KR 1020180116534 A KR1020180116534 A KR 1020180116534A KR 20180116534 A KR20180116534 A KR 20180116534A KR 102086663 B1 KR102086663 B1 KR 102086663B1
Authority
KR
South Korea
Prior art keywords
scan
module
lidar
camera module
camera
Prior art date
Application number
KR1020180116534A
Other languages
Korean (ko)
Inventor
현수환
정시창
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180116534A priority Critical patent/KR102086663B1/en
Application granted granted Critical
Publication of KR102086663B1 publication Critical patent/KR102086663B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

Disclosed is a technique for generating a video without an existing complex/advanced operation module (operation procedure) and additional processes such as relation setting/distortion correction, in generating a video including an image and a distance (depth) by combining a camera technique and a LiDAR technique. According to the present invention, an image generation device comprises an alignment structure part, a speed control part, and a synthesizing part.

Description

영상생성장치 및 영상생성장치의 동작 방법{PICTURE GENERATION DEVICE AND CONTROL METHOD THEREOF}Image Generator and Operation Method of Image Generator {PICTURE GENERATION DEVICE AND CONTROL METHOD THEREOF}

본 발명은, 이미지 및 거리(Depth)가 포함된 영상을 생성하는 기술에 관한 것으로, 더욱 상세하게는 서로 다른 방식의 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는 기술에 관한 것이다.The present invention relates to a technology for generating an image including an image and a depth, and more particularly, to include an image and a distance by combining different camera technologies and a LiDAR technology. It relates to a technique for generating a captured image.

최근에는 차량과 관련된 통신 기술 및 주행 기술이 빠르게 진화하고 있으며, 특히 주행 기술에서는 운전자가 핸들과 가속페달, 브레이크 등의 조작에 관여하지 않고도 안전하게 차량을 주행할 수 있게 하는 자율주행(Automatic Driving) 기술이 크게 주목 받고 있다.Recently, communication technology and driving technology related to vehicles are rapidly evolving, and in particular, the driving technology is an automatic driving technology that enables a driver to safely drive a vehicle without being involved in steering, accelerator pedal, and brake operation. This is attracting much attention.

차량 자율주행 기술에서는, 운전자의 조작을 배제 또는 최소화하기 위해 운전자의 눈 역할을 대신하기 위한 다양한 장치(또는 기술)들이 필요한데, 특히 핵심적인 역할을 하는 핵심 장치로는 카메라(Camera)와 라이다(LiDAR: Light Detection And Ranging)를 들 수 있다. In autonomous vehicle technology, various devices (or technologies) are needed to replace or minimize the driver's eyes in order to exclude or minimize the driver's operation. Especially, the key devices that play a key role are the camera and the li ( LiDAR: Light Detection And Ranging).

카메라는 라이다(LiDAR) 대비 상대적으로 저렴하고 높은 해상도의 결과(촬영 이미지)를 얻을 수 있는 반면, 거리 정보를 정확하게 얻을 수 없는 단점이 있다.The camera is relatively inexpensive compared to LiDAR and can obtain a high resolution result (photographed image), but has a disadvantage in that distance information cannot be obtained accurately.

한편, 라이다(LiDAR) 기술은, 레이저를 발사하고 산란 및/또는 반사되는 레이저가 되돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등으로부터 측정 대상물의 거리와 농도, 속도, 형상 등 물리적 성질을 측정하는 기술이다.LiDAR technology, on the other hand, measures the distance, concentration, speed, shape, etc. of the measurement object from the time and intensity, the change in the frequency, the change in the polarization state, etc., when the laser is emitted and scattered and / or reflected. It is a technique of measuring properties.

이러한 라이다(LiDAR)는, 파장이 짧은 레이저를 사용하므로 정밀도가 높고 사물을 입체적으로 측정하는 것이 가능하며 밤에도 측정 가능하기 때문에, 카메라 대비 거리 정보(Depth Map)를 정확하게 얻을 수 있는 장점이 있다.Since LiDAR uses a laser having a short wavelength, it is possible to accurately measure an object in three dimensions and to measure the object at night, and thus it is possible to accurately obtain a depth map from a camera. .

이에, 주변 환경에 대한 정확한 인식이 중요한 차량 자율주행 기술에서는, 카메라 및 라이다(LiDAR)를 모두 채용하고, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)를 결합한 형태의 영상(촬영 이미지 + 거리 정보)를 생성하고, 이를 차량 자율주행을 위해 활용하고 있다.Accordingly, in autonomous vehicle technology, in which accurate recognition of the surrounding environment is important, both a camera and a LiDAR are employed, and an image in which a camera image and a LiDAR distance map are combined. (Shooting image + distance information) is created and used for autonomous vehicle driving.

헌데, 카메라에서 센싱/촬영하여 촬영 이미지를 생성하는 방식과 라이다(LiDAR)에서 센싱/측정하여 거리 정보(Depth Map)를 생성하는 방식이 상이하고, 이처럼 상이한 방식으로 생성되는 촬영 이미지 및 거리 정보(Depth Map)를 결합하여 하나의 영상을 생성하기 위해서는, 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이 필요하고, 이외에도 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정들이 필요하다.However, the method of generating a photographed image by sensing / shooting with a camera and the method of generating a distance map by sensing / measured by LiDAR are different, and the photographed image and the distance information generated in such a different manner are different. In order to create a single image by combining (Depth Map), a separate complicated / advanced calculation module (operation procedure) for matching the outputs (captured images and distance information) of both sides is required. Complex relationships between LiDARs and distortion correction are required.

이와 같이, 카메라 및 라이다(LiDAR) 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하는데 요구되는 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정은, 정확도 만큼이나 실시간성이 중요한 차량 자율주행 관점에서 작지 않은 악영향을 미치는 요소로 작용될 수 있다.As such, additional procedures such as complex / advanced computational modules (computation procedures) and relationship setting / distortion correction required to match the outputs (photographed images, distance information) on both sides of the camera and LiDAR are as accurate as possible. Real-time autonomous driving can be an important factor that has a small adverse effect in terms of important autonomous driving.

이에, 본 발명에서는, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성이 가능한 새로운 방안을 제안하고자 한다.Thus, in the present invention, combining the camera technology and LiDAR technology to generate an image including an image and a distance, the existing complex / advanced computation module (operation procedure) and relationship setting / distortion We would like to propose a new method that can generate images without additional processes such as correction.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성을 가능하게 하는데 있다.The present invention has been made in view of the above circumstances, and an object of the present invention is to combine the camera technology and the LiDAR technology to generate an image including an image and a depth, It is possible to generate an image without additional processing such as complicated / advanced computational module (operation procedure) and relationship setting / distortion correction.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 영상생성장치는, 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 방향, 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 방향이, 상호 일치되도록 정렬하는 정렬구조부; 상기 카메라모듈의 스캔 속도 및 상기 라이다모듈의 스캔 속도를 동기화시키는 속도제어부; 및 상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성부를 포함한다.The image growth value according to the first aspect of the present invention for achieving the above object is a scanning direction of the camera module for scanning the sensing data according to the sensor line from the plurality of photographing sensors, scanning the sensing data from the plurality of measurement sensors Alignment structure for arranging the scan direction of the LiDAR module to match each other; A speed controller for synchronizing the scan speed of the camera module with the scan speed of the lidar module; And a synthesizer configured to synthesize sensing data provided from the camera module and the lidar module.

구체적으로, 상기 합성부는, 상기 카메라모듈 및 라이다모듈로부터 수신되는 센싱 데이터를 이용하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성할 수 있다.In detail, the synthesizer may generate an image including a captured image and distance information by using sensing data received from the camera module and the lidar module.

구체적으로, 상기 카메라모듈의 스캔 시작 지점 및 상기 라이다모듈의 스캔 시작 지점을 일치시키는 시작동기화부를 더 포함할 수 있다. Specifically, the apparatus may further include a start synchronization unit matching the scan start point of the camera module with the scan start point of the lidar module.

구체적으로, 상기 정렬구조부는, 상기 카메라모듈의 스캔 방향이 상기 라이다모듈의 스캔 방향과 일치되도록, 상기 다수의 촬영센서 설치 방향을 변경할 수 있다. In detail, the alignment structure may change the installation direction of the plurality of photographing sensors so that the scan direction of the camera module coincides with the scan direction of the lidar module.

구체적으로, 상기 속도제어부는, 상기 카메라모듈에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시킬 수 있다. In detail, the speed controller may synchronize the scan speed of the lidar module with the scan speed of the camera module by using a sync signal for controlling the scan in the camera module.

구체적으로, 상기 속도제어부는, 상기 싱크 신호를 이용하여, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고, 상기 환산한 각속도에 따라, 상기 다수의 측정센서에 대한 회전 속도를 제어할 수 있다. In detail, the speed controller converts the scan unit time required to scan one sensor line from the camera module to the angular velocity using the sync signal, and according to the converted angular velocity, to the plurality of measurement sensors. The rotation speed can be controlled.

구체적으로, 상기 속도제어부는, 상기 싱크 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정할 수 있다. In detail, the speed controller may adjust the sync signal for controlling the scan in the Lidar module using the sync signal.

구체적으로, 상기 시작동기화부는, 상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고, 상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시킬 수 있다. In detail, the start synchronization unit derives a specific reference point corresponding to each other from the photographed image and distance information obtained from the sensing data of each of the camera module and the lidar module, and scans the camera module and the lidar module using the reference point. You can match the starting point.

구체적으로, 상기 카메라모듈의 스캔 방향은, 수직 및 수평 방향 중 센싱 데이터를 스캔하는 센서 라인에 따른 방향이며, 상기 라이다모듈의 스캔 방향은, 수직 및 수평 방향 중 다수의 측정센서가 배치되는 방향일 수 있다.Specifically, the scanning direction of the camera module is a direction along a sensor line for scanning sensing data among vertical and horizontal directions, and the scanning direction of the lidar module is a direction in which a plurality of measuring sensors are disposed among the vertical and horizontal directions. Can be.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 영상생성장치의 동작 방법은, 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 방향, 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 방향이, 상호 일치되도록 정렬하는 스캔방향 정렬단계; 상기 카메라모듈의 스캔 속도 및 상기 라이다모듈의 스캔 속도를 동기화시키는 동기화시키는 속도제어단계; 및 상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성단계를 포함한다.In accordance with a second aspect of the present invention, there is provided a method of operating an image generating apparatus, the scanning direction of a camera module scanning sensing data according to a sensor line from a plurality of photographing sensors, and sensing data from a plurality of measuring sensors. A scan direction alignment step of aligning the scan directions of the scanning LiDAR modules so as to coincide with each other; A speed control step of synchronizing the scan speed of the camera module with the scan speed of the lidar module; And synthesizing the sensing data provided from the camera module and the lidar module.

구체적으로, 상기 속도제어단계는, 상기 카메라모듈에서 센서 라인 단위의 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시킬 수 있다. Specifically, in the speed control step, the scan speed of the lidar module may be synchronized with the scan speed of the camera module by using a sync signal for controlling the scan of each sensor line in the camera module.

구체적으로, 상기 속도제어단계는, 상기 싱크 신호를 이용하여, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고, 상기 환산한 각속도에 따라 상기 다수의 측정센서에 대한 회전 속도를 제어하고, 상기 싱크 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정할 수 있다. Specifically, the speed control step, converting the scan unit time required to scan one sensor line in the camera module to the angular velocity by using the sync signal, to the plurality of measurement sensors in accordance with the converted angular velocity It is possible to control the rotational speed of the controller and to adjust the sync signal for controlling the scan in the Lidar module using the sync signal.

구체적으로, 상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고, 상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시키는 단계를 더 포함할 수 있다.Specifically, a specific reference point that is mutually matched is derived from the photographed image and distance information obtained from the sensing data of each of the camera module and the lidar module, and the scan start points of the camera module and the lidar module are matched using the reference point. It may further comprise a step.

이에, 본 발명의 영상생성장치 및 영상생성장치의 동작 방법에 따르면, 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)을 결합한 형태의 영상을 생성할 수 있다.Thus, according to the image generating apparatus and the operation method of the image generating apparatus of the present invention, without taking any additional process such as complicated / advanced computational module (operation procedure) and relationship setting / distortion correction (LiDAR) ) Can generate an image of a combination of the distance map ().

이로써, 본 발명에 따르면, 촬영 이미지 및 거리 정보(Depth Map)가 포함된 영상을 활용하는 기술(예: 차량 자율주행)의 성능 개선에도 도움을 주는 효과를 도출한다. As a result, according to the present invention, an effect that helps to improve performance of a technology (eg, autonomous vehicle autonomous driving) utilizing an image including a photographed image and a distance map may be derived.

도 1 및 도 2는 카메라 기술 및 라이다(LiDAR) 기술의 서로 다른 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 영상생성장치의 구성을 보여주는 블록도이다.
도 4는 본 발명의 실시예에 따라 카메라 및 라이다(LiDAR)의 스캔 방향 및 스캔 속도가 정력 및 동기화된 예를 보여주는 도면이다.
도 5는 본 발명의 바람직한 따른 영상생성장치의 동작 방법을 보여주는 동작 흐름도이다.1 and 2 are diagrams for explaining different methods of the camera technology and LiDAR technology.
3 is a block diagram showing the configuration of an image generating device according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example in which scan directions and scan speeds of a camera and a LiDAR are energized and synchronized according to an embodiment of the present invention.
5 is an operation flowchart showing a method of operating an image generating apparatus according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention.

도면을 참조한 구체적인 설명에 앞서, 본 발명이 관련된 기술 분야를 설명하겠다.Prior to the detailed description with reference to the drawings, the technical field related to the present invention will be described.

최근, 주목 받고 있는 차량 자율주행(Automatic Driving) 기술에서는, 운전자의 조작을 배제 또는 최소화하기 위해 운전자의 눈 역할을 대신하기 위한 다양한 장치(또는 기술)들이 필요한데, 특히 핵심적인 역할을 하는 핵심 장치로는 카메라(Camera)와 라이다(LiDAR: Light Detection And Ranging)를 들 수 있다. In recent years, autonomous vehicle technology, which is attracting attention, needs various devices (or technologies) to replace the driver's eyes to exclude or minimize the driver's operation. Examples include Camera and LiDAR (Light Detection And Ranging).

카메라는 라이다(LiDAR) 대비 상대적으로 저렴하고 높은 해상도의 결과(촬영 이미지)를 얻을 수 있는 반면, 거리 정보를 정확하게 얻을 수 없는 단점이 있다.The camera is relatively inexpensive compared to LiDAR and can obtain a high resolution result (photographed image), but has a disadvantage in that distance information cannot be obtained accurately.

한편, 라이다(LiDAR)는, 파장이 짧은 레이저를 사용하므로 정밀도가 높고 사물을 입체적으로 측정하는 것이 가능하며 밤에도 측정 가능하기 때문에, 카메라 대비 거리 정보(Depth Map)를 정확하게 얻을 수 있는 장점이 있다.On the other hand, LiDAR uses a laser with a short wavelength, so it is possible to accurately measure objects in three dimensions and to measure objects at night. have.

이에, 주변 환경에 대한 정확한 인식이 중요한 차량 자율주행 기술에서는, 카메라 및 라이다(LiDAR)를 모두 채용하고, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)를 결합한 형태의 영상(촬영 이미지 + 거리 정보)를 생성하고, 이를 차량 자율주행을 위해 활용하고 있다.Accordingly, in autonomous vehicle technology, in which accurate recognition of the surrounding environment is important, both a camera and a LiDAR are employed, and an image in which a camera image and a LiDAR distance map are combined. (Shooting image + distance information) is created and used for autonomous vehicle driving.

본 발명은, 위에서 설명한 차량 자율주행 기술에서 활용하는 영상, 즉 서로 다른 방식의 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 촬영 이미지 및 거리 정보(Depth Map)가 포함된 영상을 생성하는 기술에 관한 것이다.The present invention provides a technique for generating an image including a photographed image and a distance map by combining images used in the vehicle autonomous driving technique described above, that is, a camera technique and a LiDAR technique of different methods. It is about.

헌데, 카메라에서 센싱/촬영하여 촬영 이미지를 생성하는 방식과, 라이다(LiDAR)에서 센싱/측정하여 거리 정보(Depth Map)를 생성하는 방식은, 서로 상이하다.However, a method of generating a photographed image by sensing / photographing with a camera and a method of generating distance information by sensing / measuring with LiDAR are different from each other.

이하에서는, 도 1 및 도 2를 참조하여, 카메라 기술 및 라이다(LiDAR) 기술의 서로 다른 방식을 설명하겠다.Hereinafter, with reference to FIGS. 1 and 2, different methods of camera technology and LiDAR technology will be described.

먼저, 도 1에 도시된 바와 같이, 카메라 기술에 따르면, 이미지를 센싱/촬영하기 위한 다수의 촬영센서가 구비되며, 편의 상 다수의 촬영센서가 나열되는 가로/세로 방향을 수직(Vertical)/수평(Horizontal) 방향으로 설명하겠다.First, as shown in FIG. 1, according to a camera technology, a plurality of photographing sensors are provided for sensing / photographing an image, and for convenience, a vertical / horizontal orientation in a horizontal / vertical direction in which a plurality of photographing sensors are arranged. I will explain it in the (Horizontal) direction.

다수의 촬영센서 각각에 의해 센싱/촬영되는 센싱 데이터가 수직(V) 방향을 따라 채워지면, 카메라 모듈에서는 도 1에 도시된 바와 같이 수평(H) 방향의 센서 라인에 따라 센싱 데이터를 스캔하여 획득해 간다.When the sensing data sensed / photographed by each of the plurality of photographing sensors is filled in the vertical (V) direction, the camera module acquires by sensing the sensing data according to the sensor line in the horizontal (H) direction as shown in FIG. 1. Going.

즉, 카메라 모듈은 다수의 촬영센서로부터 수평(H) 방향으로 센서 라인1의 센싱 데이터를 스캔하고, 다음 수평(H) 방향으로 센서 라인2의 센싱 데이터를 스캔하고, 다음 수평(H) 방향으로 센서 라인3의 센싱 데이터를 스캔하는 방식으로, 다수의 촬영센서 전체로부터 센싱 데이터를 획득하여 촬영 이미지를 생성할 수 있다.That is, the camera module scans the sensing data of the sensor line 1 in the horizontal (H) direction from the plurality of photographing sensors, scans the sensing data of the sensor line 2 in the next horizontal (H) direction, and in the next horizontal (H) direction. By sensing the sensing data of the sensor line 3, the sensing data may be obtained from the plurality of photographing sensors to generate a photographed image.

한편, 도 2에 도시된 바와 같이, 라이다(LiDAR) 기술에 따르면, 거리(Depth)를 센싱/측정하기 위한 다수의 측정센서가 구비되며, 수직(V)/수평(H)을 기준으로 설명하면 다수의 측정센서는 수직(V) 및 수평(H) 방향 중 어느 한 방향으로 길게 배치되는 구조를 갖는다. On the other hand, as shown in Figure 2, according to the LiDAR (LiDAR) technology, a plurality of measuring sensors for sensing / measuring the distance (Depth) is provided, described on the basis of the vertical (V) / horizontal (H) The plurality of measuring sensors have a structure arranged long in any one of the vertical (V) and horizontal (H) direction.

통상적으로는, 도 2와 같이, 다수의 측정센서가 수직(V) 방향으로 배치된다.Typically, as shown in FIG. 2, a plurality of measuring sensors are disposed in the vertical (V) direction.

다수의 측정센서가 수평(H) 방향으로 회전하면서 센싱/측정을 진행하면, 라이다(LiDAR) 모듈에서는 도 2에 도시된 바와 같이 수직(V) 방향 배치된 다수의 측정센서로부터 센싱 데이터를 스캔하여 획득해 간다.When a plurality of measuring sensors rotate in the horizontal (H) direction and perform sensing / measurement, the LiDAR module scans sensing data from a plurality of measuring sensors arranged in the vertical (V) direction as shown in FIG. 2. Get it.

즉, 라이다(LiDAR) 모듈은 다수의 측정센서로부터 수직(V) 방향으로 센싱 데이터1을 스캔하고, 측정센서 회전 후 다음 수직(V) 방향으로 센싱 데이터2를 스캔하고, 측정센서 회전 후 다음 수직(V) 방향으로 센싱 데이터3을 스캔하는 방식으로, 다수의 측정센서 전체로부터 회전 및 센싱 데이터를 획득을 반복하여 거리 정보(Depth Map)를 생성할 수 있다.That is, the LiDAR module scans the sensing data 1 in the vertical (V) direction from a plurality of measuring sensors, scans the sensing data 2 in the next vertical (V) direction after rotating the measuring sensor, and then rotates the measuring sensor next. By scanning the sensing data 3 in the vertical (V) direction, distance information may be generated by repeatedly obtaining rotation and sensing data from all of the plurality of measuring sensors.

전술과 같이, 카메라에서 센싱/촬영하여 촬영 이미지를 생성하는 방식과 라이다(LiDAR)에서 센싱/측정하여 거리 정보(Depth Map)를 생성하는 방식이 서로 상이하기 때문에, 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하기 위한 과정이 필요하게 된다As described above, since a method of generating a photographed image by sensing / photographing by a camera and a method of generating a distance map by sensing / measured by LiDAR are different from each other, the resultant (photographed image) of both sides is different. , The process of matching distance information is needed.

즉, 촬영 이미지 및 거리 정보(Depth Map)를 결합하여 하나의 영상을 생성하기 위해서는, 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이 필요하고, 이외에도 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정들이 필요하게 된다.That is, in order to generate a single image by combining the photographed image and the depth map, a separate complicated / advanced calculation module (operation procedure) for matching the results (captured image, distance information) of both sides is provided. In addition to this, processes such as complex relationship setting and distortion correction between the camera and LiDAR are required.

헌데, 카메라 및 라이다(LiDAR) 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하는데 요구되는 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정은, 정확도 만큼이나 실시간성이 중요한 차량 자율주행 관점에서 작지 않은 악영향을 미치는 요소로 작용될 수 있다.Additional procedures, such as complex / advanced computational modules (computation procedures) and relationship setting / distortion correction, required to match the outputs (shot images, distance information) of both cameras and LiDARs, are as real-time as accuracy. Sex may act as a minor adverse effect in terms of autonomous vehicle driving.

이에, 본 발명에서는, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성이 가능한 새로운 방안을 제안하고자 한다.Thus, in the present invention, combining the camera technology and LiDAR technology to generate an image including an image and a distance, the existing complex / advanced computation module (operation procedure) and relationship setting / distortion We would like to propose a new method that can generate images without additional processes such as correction.

보다 구체적으로, 본 발명에서는, 카메라의 촬영 이미지 생성 및 라이다(LiDAR)의 거리 정보(Depth Map) 생성 이전의 센싱 레벨에서, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map) 간 정합이 가능해지도록 하는 방안을 제안하고자 한다.More specifically, in the present invention, at the sensing level before generating the photographed image of the camera and generating the depth map of the LiDAR, the photographed image of the camera and the distance map of the LiDAR I would like to propose a way to make it possible to match.

이하에서는, 도 3을 참조하여 본 발명의 방안을 실현하는 영상생성장치를 설명하겠다.In the following, an image generating apparatus for realizing the solution of the present invention will be described with reference to FIG.

도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 영상생성장치는, 정렬구조부(50), 속도제어부(60), 합성부(90)를 포함한다.As shown in FIG. 3, the image growth value according to the exemplary embodiment of the present invention includes an alignment structure 50, a speed controller 60, and a synthesizer 90.

더 나아가, 본 발명의 실시예에 따른 영상생성장치는, 시작동기화부(70)를 더 포함할 수 있다.Furthermore, the image growth value according to the embodiment of the present invention may further include a start synchronization unit 70.

이러한 영상생성장치의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.All or at least some of the configuration of the image generating apparatus may be implemented in the form of a hardware module or software module, or may be implemented in the form of a combination of a hardware module and a software module.

여기서, 소프트웨어 모듈이란, 예컨대, 영상생성장치 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 영상생성장치 내 메모리에 탑재된 형태를 가질 수 있을 것이다.Here, the software module may be understood as, for example, an instruction executed by a processor controlling an operation in the image generating apparatus, and the instruction may have a form mounted in a memory in the image generating apparatus.

결국, 본 발명의 일 실시예에 따른 영상생성장치는 전술한 구성을 통해, 센싱 레벨에서 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map) 간 정합이 가능해지도록 하는 방안을 실현하며, 이하에서는 이를 실현하기 위한 영상생성장치 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.As a result, the image raw growth value according to an embodiment of the present invention realizes a method for matching between the photographed image of the camera and the distance map of the LiDAR at the sensing level through the above-described configuration. Hereinafter, each component in the image generating apparatus for realizing this will be described in more detail.

정렬구조부(50)는, 다수의 촬영센서(10)로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈(20)의 스캔 방향, 다수의 측정센서(30)로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈(40)의 스캔 방향이, 상호 일치되도록 정렬하는 역할을 한다.The alignment structure 50 is a scan direction of the camera module 20 that scans sensing data from a plurality of photographing sensors 10 according to a sensor line, and a liner that scans sensing data from a plurality of measuring sensors 30 (LiDAR). The scan direction of the module 40 is aligned so as to match each other.

즉, 정렬구조부(50)는, 카메라모듈(20)의 스캔 방향 및 라이다모듈(40)의 스캔 방향 중 적어도 하나가 변경되도록 하여, 양 측의 스캔 방향을 일치시켜 정렬할 수 있다.That is, the alignment structure 50 may change at least one of the scan direction of the camera module 20 and the scan direction of the lidar module 40 so that the scan directions of both sides may be aligned to align.

일 실시예를 설명하면, 전술의 도 2에서 설명한 바와 같이, 라이다(LiDAR) 기술에 따르면 다수의 측정센서(30)는 수직(V) 방향으로 배치되며 수평(H) 방향으로 회전하면서 센싱/측정을 진행하는 메커니즘을 갖는다.Referring to FIG. 2, according to the LiDAR technology, the plurality of measuring sensors 30 are disposed in the vertical (V) direction and rotate in the horizontal (H) direction. Has a mechanism to proceed with the measurement.

이 경우, 라이다모듈(40)의 스캔 방향은, 다수의 측정센서(30)가 배치되는 방향, 즉 수직(V) 방향일 것이다.In this case, the scan direction of the lidar module 40 may be a direction in which the plurality of measurement sensors 30 are disposed, that is, a vertical (V) direction.

이에, 메커니즘 상 라이다 측 다수의 측정센서(30)의 스캔 방향을 변경하기는 어려우므로, 카메라 측 다수의 촬영센서(10) 설치 방향을 변경하는 실시예가 가능할 것이다.Thus, since it is difficult to change the scan direction of the plurality of lidar-side measuring sensors 30, an embodiment of changing the installation direction of the plurality of camera-side photographing sensors 10 may be possible.

이 실시예에 따르면, 정렬구조부(50)는, 카메라모듈(20)의 스캔 방향이 라이다모듈(40)의 스캔 방향_V과 일치되도록, 다수의 촬영센서(10) 설치 방향을 변경할 수 있다.According to this embodiment, the alignment structure 50 may change the installation direction of the plurality of photographing sensors 10 such that the scan direction of the camera module 20 coincides with the scan direction _V of the lidar module 40. .

이러한 정렬구조부(50)는, 기구적 구조의 하드웨어 구성을 포함하는 것이 바람직하다.This alignment structure 50 preferably includes a hardware configuration of the mechanical structure.

예를 들면, 정렬구조부(50)는, 다수의 촬영센서(10) 설치 방향을 제어에 따라 변경할 수 있는 기구적 구조를 가지며, 라이다모듈(40)과의 연동을 통해 라이다모듈(40)의 스캔 방향_V을 인지한 후 기구적 구조를 제어하여 다수의 촬영센서(10) 설치 방향을 변경할 수 있다.For example, the alignment structure 50 has a mechanical structure that can change the installation direction of the plurality of photographing sensors 10 in accordance with the control, the lidar module 40 through the linkage with the lidar module 40 After recognizing the scan direction _V of the mechanical structure can be controlled to change the installation direction of the plurality of photographing sensors (10).

또는, 정렬구조부(50)는, 다수의 촬영센서(10) 설치 방향을 수동으로 변경할 수 있는 기구적 구조로서, 운영자(사람)의 조작에 의해 라이다모듈(40)의 스캔 방향_V과 일치되도록 다수의 촬영센서(10) 설치 방향이 변경/조작될 수 있다.Alternatively, the alignment structure 50 is a mechanical structure capable of manually changing the installation directions of the plurality of photographing sensors 10, and coincides with the scan direction _V of the lidar module 40 by an operator (person). The installation direction of the plurality of photographing sensors 10 may be changed / manipulated.

도 1의 경우, 카메라모듈(20)의 스캔 방향은, 센서 라인에 따른 방향이므로, 수평(H) 방향이다.In the case of FIG. 1, the scanning direction of the camera module 20 is a horizontal (H) direction because it is a direction along the sensor line.

본 발명에서는, 라이다모듈(40)의 스캔 방향_V를 가정할 때, 제어 또는 운영자(사람)의 조작에 의해 다수의 촬영센서(10) 설치 방향을 변경(예: 회전)함으로써, 카메라모듈(20)의 스캔 방향이 수평(H) 방향에서 수직(V) 방향으로 변경되도록 한다.In the present invention, assuming that the scan direction _V of the lidar module 40, the camera module by changing (for example, rotating) the installation direction of the plurality of photographing sensors 10 by the control or operation of the operator (person). The scanning direction of 20 is changed from the horizontal (H) direction to the vertical (V) direction.

이렇게 되면, 카메라모듈(20)의 스캔 방향 및 라이다모듈(40)의 스캔 방향이, 수직(V) 방향으로 상호 일치하여 동일하게 정렬될 것이다.In this case, the scan direction of the camera module 20 and the scan direction of the lidar module 40 will be aligned with each other in the vertical (V) direction.

속도제어부(60)는, 카메라모듈(20)의 스캔 속도 및 라이다모듈(40)의 스캔 속도를 동기화시키는 역할을 한다.The speed controller 60 synchronizes the scan speed of the camera module 20 and the scan speed of the lidar module 40.

즉, 속도제어부(60)는, 카메라모듈(20)의 스캔 방향 및 라이다모듈(40)의 스캔 방향 중 적어도 하나를 제어하여, 양 측의 스캔 속도를 동기화시킬 수 있다. That is, the speed controller 60 may control at least one of the scan direction of the camera module 20 and the scan direction of the lidar module 40 to synchronize the scan speeds of both sides.

일 실시예를 설명하면, 속도제어부(60)는, 카메라모듈(20)에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 라이다모듈(40)의 스캔 속도를 카메라모듈(20)의 스캔 속도에 동기화시킬 수 있다.Referring to one embodiment, the speed controller 60 scans the scan speed of the lidar module 40 by using the sync signal to control the scan from the camera module 20. Can be synchronized to speed.

구체적으로, 속도제어부(60)는, 카메라모듈(20)에서 스캔을 제어하는 싱크 신호(이하, 카메라 싱크 신호)를 이용하여, 카메라모듈(20)에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산한다.Specifically, the speed controller 60 uses a sync signal (hereinafter, referred to as a camera sync signal) that controls the scan in the camera module 20, and a scan unit required to scan one sensor line in the camera module 20. Convert time to angular velocity.

예를 들어, 카메라 시야각을 120도, 다수의 촬영센서(10)를 가로/세로 320*240, 10 FPS(Frame Per Second)를 가정할 때, 100ms 마다 240 픽셀(수직(V) 방향으로 240개 센싱 라인)을 스캔하므로, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간은 약 0.4167 ms일 것이다.For example, assuming that the camera viewing angle is 120 degrees, and the plurality of photographing sensors 10 are 320 * 240 and 10 FPS (Frame Per Second) horizontally and vertically, 240 pixels per 100ms (240 in the vertical (V) direction) Sensing line), the scan unit time of the camera module 20 according to the camera sync signal will be about 0.4167 ms.

이 경우, 속도제어부(60)는, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간(예: 0.4167 ms)을 각속도로 환산한다. 환산된 각속도는, 0.5도 당 0.4167ms이므로 1.199deg/ms일 것이다.In this case, the speed controller 60 converts the scan unit time (for example, 0.4167 ms) of the camera module 20 according to the camera sync signal into the angular velocity. The converted angular velocity is 0.4167 ms per 0.5 degree and therefore will be 1.199 deg / ms.

속도제어부(60)는, 환산한 각속도(예: 1.199deg/ms)에 따라, 다수의 측정센서(30)에 대한 회전 속도를 제어한다.The speed controller 60 controls the rotation speeds of the plurality of measurement sensors 30 according to the converted angular velocity (for example, 1.199 deg / ms).

예를 들자면, 속도제어부(60)는 앞서 환산한 각속도(예: 1.199deg/ms)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 다수의 측정센서(30)를 회전시키는 회전 속도를 각속도(예: 1.199deg/ms)로 제어할 수 있다.For example, the speed controller 60 provides the angular velocity (for example, 1.199 deg / ms) converted to the lidar module 40, and the lidar module 40 rotates the plurality of measurement sensors 30. The rotation speed can be controlled by the angular speed (eg 1.199deg / ms).

이때, 속도제어부(60)는, 카메라 시야각(예: 120도)에 맞춰, 다수의 측정센서(30)에 대한 회전 범위를 제어할 수 있다.In this case, the speed controller 60 may control the rotation range of the plurality of measurement sensors 30 in accordance with the camera viewing angle (eg, 120 degrees).

그리고, 속도제어부(60)는, 카메라 싱크 신호를 이용하여, 라이다모듈(40)에서 스캔을 제어하는 싱크 신호(이하, 라이다 싱크 신호)를 조정할 수 있다.The speed controller 60 may adjust a sink signal (hereinafter, referred to as a rider sync signal) for controlling the scan in the lidar module 40 using the camera sync signal.

예를 들어, 앞선 가정에 따르면, 카메라 싱크 신호(S1)는, 약 0.4167 ms의 스캔 단위 시간을 가지는 신호일 것이다.For example, according to the foregoing assumption, the camera sync signal S 1 may be a signal having a scan unit time of about 0.4167 ms.

이 경우, 속도제어부(60)는, 라이다모듈(40)에서 스캔을 제어하는 라이다 싱크 신호(S2)를, 카메라 싱크 신호(S1)의 스캔 단위 시간(예: 0.4167 ms)과 동일해지도록 조정하는 것이다.In this case, the speed controller 60 is equal to the scan unit time (eg 0.4167 ms) of the camera sync signal S 1 with the lidar sync signal S 2 controlling the scan by the lidar module 40. It is adjusted to terminate.

예를 들자면, 속도제어부(60)는 카메라 싱크 신호(S1)의 정보(예: 싱크 주기(스캔 단위 시간), 지속시간 등)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 제공된 정보(예: 싱크 주기(스캔 단위 시간)에 따라 라이다 싱크 신호(S2)를 카메라 싱크 신호(S1)와 동일해지도록 조정할 수 있다. For example, the speed controller 60 provides the information on the camera sync signal S 1 (eg, a sync cycle (scan unit time), a duration, etc.) to the lidar module 40, and the lidar module 40. ) May adjust the Lidar sync signal S 2 to be the same as the camera sync signal S 1 according to the provided information (eg, sync period (scan unit time)).

이렇게 되면, 카메라모듈(20)이 스캔하기 시작하는 지점과 라이다모듈(40)이 스캔하기 시작하는 지점이 동일하다는 전제 하에, 다수의 측정센서(30)의 회전 속도가 다수의 촬영센서(10)에서 스캔되는 센서 라인 이동과 일치하게 되고, 카메라모듈(20)의 매 스캔 시점과 라이다모듈(40)의 매 스캔 시점이 일치하게 되므로, 카메라모듈(20) 및 라이다모듈(40)의 스캔 속도가 상호 동기화될 것이다. In this case, the rotational speed of the plurality of measuring sensors 30 is the plurality of photographing sensors 10 under the assumption that the point where the camera module 20 starts scanning and the point where the lidar module 40 starts scanning are the same. ), And every scan time point of the camera module 20 coincides with every scan time point of the lidar module 40. Scan rates will be synchronized with each other.

시작동기화부(70)는, 카메라모듈(20)의 스캔 시작 지점 및 상기 라이다모듈(40)의 스캔 시작 지점을 일치시키는 역할을 한다.The start synchronization unit 70 serves to match the scan start point of the camera module 20 with the scan start point of the lidar module 40.

즉, 시작동기화부(70)는, 카메라모듈(20)이 스캔하기 시작하는 지점과 라이다모듈(40)이 스캔하기 시작하는 지점이 동일해지도록 만드는 것이다.That is, the start synchronization unit 70 makes the point where the camera module 20 starts scanning and the point where the lidar module 40 starts scanning become the same.

시작동기화부(70)는, 카메라모듈(20)의 스캔 시작 지점 및 상기 라이다모듈(40)의 스캔 시작 지점을 일치시키는 방식으로, 여러 가지 방식을 사용할 수 있다.The start synchronization unit 70 may use various methods by matching the scan start point of the camera module 20 with the scan start point of the lidar module 40.

그 일 예로서, 시작동기화부(70)는, 카메라모듈(20) 및 라이다모듈(40) 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출한다.As an example, the start synchronization unit 70 derives a specific reference point that matches each other in the captured image and distance information obtained from the sensing data of each of the camera module 20 and the lidar module 40.

예컨대, 시작동기화부(70)는, 영상생성장치의 초기 동작 시, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지), 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보)에서, 상호 일치되는 특정 기준점을 도출할 수 있다.For example, the start synchronization unit 70 may include a plurality of sensing data (captured images) obtained by the camera module 20 scanned from the plurality of photographing sensors 10 and the lidar module 40 at the initial operation of the image generating apparatus. From the sensing data (distance information) obtained by rotating / scanning from the measuring sensor 30 of, it is possible to derive a specific reference point that is mutually matched.

이때, 특정 기준점은, 카메라모듈(20)의 촬영 이미지 및 라이다모듈(40)의 거리 정보 간 상호 겹치는 프레임 내 픽셀(촬영센서) 중, 수평(H) 방향의 양 끝 픽셀 지점 중 하나, 보다 구체적으로는 스캔 방향 정렬 과정에서 변경한 다수의 촬영센서(10) 설치 방향에 따른 하나의 픽셀 지점으로 도출될 수 있다. In this case, the specific reference point is one of the two pixel points in the horizontal (H) direction of the pixels (shooting sensors) overlapping each other between the photographed image of the camera module 20 and the distance information of the lidar module 40. More specifically, it may be derived as one pixel point according to the installation direction of the plurality of photographing sensors 10 changed in the scan direction alignment process.

그리고, 시작동기화부(70)는, 도출한 기준점을 이용하여, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시킬 수 있다. In addition, the start synchronization unit 70 may match the scan start point of the camera module 20 and the lidar module 40 by using the derived reference point.

이렇게 되면, 앞서 가정하였던 카메라모듈(20)이 스캔하기 시작하는 지점과 라이다모듈(40)이 스캔하기 시작하는 지점이 동일하다는 전제가 실현되는 것이다.In this case, the premise that the point where the camera module 20 starts scanning and the point where the lidar module 40 starts scanning are the same are realized.

합성부(90)는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터를 합성하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성한다.The synthesizing unit 90 synthesizes the sensing data provided from the camera module 20 and the lidar module 40 to generate an image including the captured image and the distance information.

전술에 따르면 본 발명에서는, 카메라의 촬영 이미지 생성 및 라이다(LiDAR)의 거리 정보(Depth Map) 생성 이전의 센싱 레벨에서, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다.According to the above, in the present invention, at the sensing level before generating the photographed image of the camera and generating the distance map of the LiDAR, the scan start points of the camera module 20 and the lidar module 40 coincide with each other. And aligning and synchronizing the scanning direction and the scanning speed of the camera module 20 and the lidar module 40.

즉, 도 4를 참조하여 보면, 예컨대 A지점은 차량 자율주행을 수행하는 차량이 위치하는 지점으로 이해할 수 있고, 더 구체적으로는 카메라의 다수 촬영센서(10) 및 라이다의 다수 측정센서(30)가 위치하는 지점으로 이해할 수 있다.That is, referring to FIG. 4, for example, point A may be understood as a point at which a vehicle performing autonomous driving is located, and more specifically, a plurality of photographing sensors 10 of a camera and a plurality of measuring sensors 30 of a lidar. Can be understood as the point where

본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 있다.In the present invention, as can be seen in Figure 4, the scan start point of the camera module 20 and the lidar module 40 to match.

아울러, 본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다.In addition, in the present invention, as shown in Figure 4, the scan direction and the scan speed of the camera module 20 and the lidar module 40 is aligned and synchronized.

따라서, 본 발명에서는, 센싱 레벨에서 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점, 스캔 방향과 스캔 속도를 일치/정렬/동기화시킴으로써, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지_B1)와 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보_B2)는 이미 서로 정합된 결과물일 것이다.Accordingly, in the present invention, by matching / aligning / synchronizing the scan starting point, the scan direction and the scan speed of the camera module 20 and the lidar module 40 at the sensing level, the camera module 20 may be configured with a plurality of photographing sensors ( 10) the sensing data (scanned image_B1) obtained from scanning and the sensing data (distance information_B2) obtained by rotation / scanning of the plurality of measuring sensors 30 by the lidar module 40 are already the result of matching with each other. will be.

이는 곧, 본 발명에서는, 카메라모듈(20) 및 라이다모듈(40) 양 측의 결과물(촬영 이미지, 거리 정보)을 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이나, 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정이 불필요함을 의미한다.In other words, in the present invention, a separate complicated / advanced calculation module (operation procedure) for matching the result (captured image, distance information) of both the camera module 20 and the lidar module 40, the camera and This means that complex processes such as LiDAR setup and distortion correction are unnecessary.

이에, 합성부(90)는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터 즉 각 촬영 이미지_B1 및 거리 정보_B2를 합성하는 단순한 처리 만으로, 촬영 이미지 및 거리 정보를 포함하는 영상(B=B1+B2)을 생성할 수 있다.Accordingly, the synthesizing unit 90 may capture the captured image and the distance information by only a simple process of synthesizing the sensing data provided from the camera module 20 and the lidar module 40, that is, each of the captured images_B1 and the distance information_B2. An image B = B1 + B2 may be generated.

한편, 속도제어부(60) 및 시작동기화부(70)는 소프트웨어적으로 그 역할(기능)을 수행할 수 있으며, 도 3에서는 이러한 소프트웨어적 구성(80)을 카메라모듈(20) 및 라이다모듈(40)과 별개의 구성으로 도시하고 있으나, 이는 설명의 편의를 위한 도시일 뿐이다.Meanwhile, the speed controller 60 and the start synchronization unit 70 may perform a role (function) in software. In FIG. 3, the software configuration 80 includes the camera module 20 and the rider module ( Although shown in a separate configuration from 40), this is only a city for convenience of description.

즉, 본 발명에서는, 속도제어부(60) 및 시작동기화부(70)의 역할 또는 일부 기능이 카메라모듈(20) 및 라이다모듈(40) 내에 포함되도록 구현되는 것도 가능할 것이다.That is, in the present invention, the role or some functions of the speed controller 60 and the start synchronization unit 70 may be implemented to be included in the camera module 20 and the lidar module 40.

이상에서 설명한 바와 같이, 본 발명의 영상생성장치는, 센싱 레벨에서 카메라모듈 및 라이다모듈의 스캔 시작 지점, 스캔 방향과 스캔 속도를 일치/정렬/동기화시킴으로써, 센싱 레벨에서 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map) 간 정합이 가능해지도록 하는 방안(기술)을 실현하고 있다.As described above, the image growth value of the present invention matches, aligns, and synchronizes the scan start point, the scan direction, and the scan speed of the camera module and the lidar module at the sensing level, so that the captured image of the camera at the sensing level and the ra A method (technique) is implemented to enable matching between distance maps of LiDARs.

이렇게 되면, 본 발명에서는, 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)을 결합한 형태의 영상을 생성할 수 있고, 더 나아가 촬영 이미지 및 거리 정보(Depth Map)가 포함된 영상을 활용하는 기술(예: 차량 자율주행)의 성능 개선에도 도움을 주는 효과를 도출한다. In this case, in the present invention, the combined image of the camera and the distance map of the LiDAR are combined without additional processes such as a complicated / advanced arithmetic module (operation procedure) and relationship setting / distortion correction. Can generate an image, and further derive an effect that helps improve the performance of a technology (eg, autonomous vehicle driving) utilizing an image including a photographed image and a distance map.

이하에서는 도 5를 참조하여, 본 발명의 실시예에 따른 영상생성장치의 동작 방법을 설명하겠다. 설명의 편의 상, 도 3의 참조번호를 사용하여 설명하도록 한다.Hereinafter, a method of operating an image generating apparatus according to an exemplary embodiment of the present invention will be described with reference to FIG. 5. For convenience of description, description will be made using reference numerals of FIG. 3.

본 발명에 따른 영상생성장치의 동작 방법에서는, 다수의 촬영센서(10)로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈(20)의 스캔 방향, 다수의 측정센서(30)로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈(40)의 스캔 방향이, 상호 일치되도록 정렬한다(S10).In the operating method of the image generating device according to the present invention, the scanning direction of the camera module 20 for scanning the sensing data from the plurality of photographing sensors 10 according to the sensor line, scan the sensing data from the plurality of measuring sensors 30 The scan directions of the LiDAR module 40 are aligned to coincide with each other (S10).

일 실시예를 설명하면, 전술의 도 2에서 설명한 바와 같이, 라이다(LiDAR) 기술에 따르면 다수의 측정센서(30)는 수직(V) 방향으로 배치되며 수평(H) 방향으로 회전하면서 센싱/측정을 진행하는 메커니즘을 갖는다.Referring to FIG. 2, according to the LiDAR technology, the plurality of measuring sensors 30 are disposed in the vertical (V) direction and rotate in the horizontal (H) direction. Has a mechanism to proceed with the measurement.

이 경우, 라이다모듈(40)의 스캔 방향은, 다수의 측정센서(30)가 배치되는 방향, 즉 수직(V) 방향일 것이다.In this case, the scan direction of the lidar module 40 may be a direction in which the plurality of measurement sensors 30 are disposed, that is, a vertical (V) direction.

이에, 메커니즘 상 라이다 측 다수의 측정센서(30)의 스캔 방향을 변경하기는 어려우므로, 카메라 측 다수의 촬영센서(10) 설치 방향을 변경하는 실시예가 가능할 것이다.Thus, since it is difficult to change the scan direction of the plurality of lidar-side measuring sensors 30, an embodiment of changing the installation direction of the plurality of camera-side photographing sensors 10 may be possible.

이 실시예에 따르면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)의 스캔 방향이 라이다모듈(40)의 스캔 방향_V과 일치되도록, 다수의 촬영센서(10) 설치 방향을 변경할 수 있다.According to this embodiment, in the operating method of the image generating apparatus according to the present invention, the plurality of photographing sensors 10 are installed so that the scanning direction of the camera module 20 coincides with the scanning direction _V of the lidar module 40. You can change the direction.

그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)의 스캔 시작 지점 및 상기 라이다모듈(40)의 스캔 시작 지점을 일치시킨다(S20).In addition, in the operating method of the image generating apparatus according to the present invention, the scan start point of the camera module 20 and the scan start point of the lidar module 40 coincide (S20).

일 예로서, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20) 및 라이다모듈(40) 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출한다.As an example, in the operating method of the image generating apparatus according to the present invention, a specific reference point that is mutually matched is derived from the captured image and distance information obtained from the sensing data of each of the camera module 20 and the lidar module 40.

예컨대, 본 발명에 따른 영상생성장치의 동작 방법에서는, 영상생성장치의 초기 동작 시, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지), 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보)에서, 상호 일치되는 특정 기준점을 도출할 수 있다.For example, in the operating method of the image generating apparatus according to the present invention, during the initial operation of the image generating apparatus, the sensing data (photographed image) obtained by the camera module 20 from the plurality of photographing sensors 10, the lidar module ( From the sensing data (distance information) obtained by rotating / scanning from the plurality of measurement sensors 30, a specific reference point that is mutually matched may be derived.

이때, 특정 기준점은, 카메라모듈(20)의 촬영 이미지 및 라이다모듈(40)의 거리 정보 간 상호 겹치는 프레임 내 픽셀(촬영센서) 중, 수평(H) 방향의 양 끝 픽셀 지점 중 하나, 보다 구체적으로는 스캔 방향 정렬 과정에서 변경한 다수의 촬영센서(10) 설치 방향에 따른 하나의 픽셀 지점으로 도출될 수 있다. In this case, the specific reference point is one of the two pixel points in the horizontal (H) direction of the pixels (shooting sensors) overlapping each other between the photographed image of the camera module 20 and the distance information of the lidar module 40. More specifically, it may be derived as one pixel point according to the installation direction of the plurality of photographing sensors 10 changed in the scan direction alignment process.

이에, 본 발명에 따른 영상생성장치의 동작 방법에서는, 도출한 기준점을 이용하여, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시킬 수 있다. Thus, in the operating method of the image generating apparatus according to the present invention, the scanning start point of the camera module 20 and the lidar module 40 can be matched using the derived reference point.

그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)의 스캔 속도 및 라이다모듈(40)의 스캔 속도를 동기화시킨다(S30).Then, in the operating method of the image generating apparatus according to the present invention, the scan speed of the camera module 20 and the scan speed of the lidar module 40 is synchronized (S30).

일 실시예를 설명하면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 라이다모듈(40)의 스캔 속도를 카메라모듈(20)의 스캔 속도에 동기화시킬 수 있다.Referring to one embodiment, in the operating method of the image generating apparatus according to the present invention, the scan speed of the lidar module 40 by using the sync signal to control the scan in the camera module 20, the camera module 20 can be synchronized to the scan rate.

구체적으로, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)에서 스캔을 제어하는 싱크 신호(이하, 카메라 싱크 신호)를 이용하여, 카메라모듈(20)에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산한다.Specifically, in the operating method of the image generating apparatus according to the present invention, by using a sync signal (hereinafter referred to as a camera sync signal) for controlling the scan in the camera module 20, the camera module 20 scans one sensor line Convert scan time to angular velocity.

예를 들어, 카메라 시야각을 120도, 다수의 촬영센서(10)를 가로/세로 320*240, 10 FPS(Frame Per Second)를 가정할 때, 100ms 마다 240 픽셀(수직(V) 방향으로 240개 센싱 라인)을 스캔하므로, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간은 약 0.4167 ms일 것이다.For example, assuming that the camera viewing angle is 120 degrees, and the plurality of photographing sensors 10 are 320 * 240 and 10 FPS (Frame Per Second) horizontally and vertically, 240 pixels per 100ms (240 in the vertical (V) direction) Sensing line), the scan unit time of the camera module 20 according to the camera sync signal will be about 0.4167 ms.

이 경우, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간(예: 0.4167 ms)을 각속도로 환산한다. 환산된 각속도는, 0.5도 당 0.4167ms이므로 1.199deg/ms일 것이다.In this case, in the operating method of the image generating apparatus according to the present invention, the scan unit time (for example, 0.4167 ms) of the camera module 20 according to the camera sync signal is converted into the angular velocity. The converted angular velocity is 0.4167 ms per 0.5 degree and therefore will be 1.199 deg / ms.

이후, 본 발명에 따른 영상생성장치의 동작 방법에서는, 환산한 각속도(예: 1.199deg/ms)에 따라, 다수의 측정센서(30)에 대한 회전 속도를 제어한다.Subsequently, in the operating method of the image generating apparatus according to the present invention, the rotational speed of the plurality of measurement sensors 30 is controlled according to the converted angular velocity (for example, 1.199deg / ms).

예를 들자면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 앞서 환산한 각속도(예: 1.199deg/ms)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 다수의 측정센서(30)를 회전시키는 회전 속도를 각속도(예: 1.199deg/ms)로 제어할 수 있다.For example, in the operating method of the image generating apparatus according to the present invention, the angular velocity (for example, 1.199deg / ms) converted in advance is provided to the lidar module 40, the lidar module 40 is a plurality of measuring sensors The rotation speed for rotating the 30 can be controlled at an angular speed (eg, 1.199 deg / ms).

이때, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 시야각(예: 120도)에 맞춰, 다수의 측정센서(30)에 대한 회전 범위를 제어할 수 있다.In this case, in the operating method of the image generating apparatus according to the present invention, the rotation range of the plurality of measurement sensors 30 may be controlled according to the camera viewing angle (eg, 120 degrees).

그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 싱크 신호를 이용하여, 라이다모듈(40)에서 스캔을 제어하는 싱크 신호(이하, 라이다 싱크 신호)를 조정할 수 있다.In the operating method of the image generating apparatus according to the present invention, a sync signal (hereinafter, referred to as a lidar sync signal) for controlling a scan in the lidar module 40 may be adjusted using a camera sync signal.

예를 들어, 앞선 가정에 따르면, 카메라 싱크 신호(S1)는, 약 0.4167 ms의 스캔 단위 시간을 가지는 신호일 것이다.For example, according to the foregoing assumption, the camera sync signal S 1 may be a signal having a scan unit time of about 0.4167 ms.

이 경우, 본 발명에 따른 영상생성장치의 동작 방법에서는, 라이다모듈(40)에서 스캔을 제어하는 라이다 싱크 신호(S2)를, 카메라 싱크 신호(S1)의 스캔 단위 시간(예: 0.4167 ms)과 동일해지도록 조정하는 것이다.In this case, in the operating method of the image generating apparatus according to the present invention, the lidar sync signal S 2 controlling the scan in the lidar module 40 is a scan unit time of the camera sync signal S 1 (for example, 0.4167 ms).

예를 들자면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 싱크 신호(S1)의 정보(예: 싱크 주기(스캔 단위 시간), 지속시간 등)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 제공된 정보(예: 싱크 주기(스캔 단위 시간)에 따라 라이다 싱크 신호(S2)를 카메라 싱크 신호(S1)와 동일해지도록 조정할 수 있다. For example, in the operating method of the image generating apparatus according to the present invention, the information of the camera sync signal S 1 (for example, the sync cycle (scan unit time), duration, etc.) is provided to the lidar module 40. The lidar module 40 may adjust the lidar sync signal S 2 to be the same as the camera sync signal S 1 according to the provided information (eg, a sync cycle (scan unit time)).

이렇게 되면, 다수의 측정센서(30)의 회전 속도가 다수의 촬영센서(10)에서 스캔되는 센서 라인 이동과 일치하게 되고, 카메라모듈(20)의 매 스캔 시점과 라이다모듈(40)의 매 스캔 시점이 일치하게 되므로, 카메라모듈(20) 및 라이다모듈(40)의 스캔 속도가 상호 동기화될 것이다. In this case, the rotational speeds of the plurality of measuring sensors 30 coincide with the movements of the sensor lines scanned by the plurality of photographing sensors 10, and every scan point of the camera module 20 and every line of the lidar module 40. Since the scan timings coincide, the scan speeds of the camera module 20 and the lidar module 40 will be synchronized with each other.

그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터를 합성하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성한다(S40).In the operation method of the image generating apparatus according to the present invention, the sensing data provided from the camera module 20 and the lidar module 40 are synthesized to generate an image including the captured image and the distance information (S40). .

전술에 따르면 본 발명에서는, 카메라의 촬영 이미지 생성 및 라이다(LiDAR)의 거리 정보(Depth Map) 생성 이전의 센싱 레벨에서, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다(S10,S20,S30).According to the above, in the present invention, at the sensing level before generating the photographed image of the camera and generating the distance map of the LiDAR, the scan start points of the camera module 20 and the lidar module 40 coincide with each other. And the scan direction and the scan speed of the camera module 20 and the lidar module 40 is aligned and synchronized (S10, S20, S30).

즉, 도 4를 참조하여 보면, 예컨대 A지점은 차량 자율주행을 수행하는 차량이 위치하는 지점으로 이해할 수 있고, 더 구체적으로는 카메라의 다수 촬영센서(10) 및 라이다의 다수 측정센서(30)가 위치하는 지점으로 이해할 수 있다.That is, referring to FIG. 4, for example, point A may be understood as a point at which a vehicle performing autonomous driving is located, and more specifically, a plurality of photographing sensors 10 of a camera and a plurality of measuring sensors 30 of a lidar. Can be understood as the point where

본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 있다.In the present invention, as can be seen in Figure 4, the scan start point of the camera module 20 and the lidar module 40 to match.

아울러, 본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다.In addition, in the present invention, as shown in Figure 4, the scan direction and the scan speed of the camera module 20 and the lidar module 40 is aligned and synchronized.

따라서, 본 발명에서는, 센싱 레벨에서 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점, 스캔 방향과 스캔 속도를 일치/정렬/동기화시킴으로써, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지_B1)와 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보_B2)는 이미 서로 정합된 결과물일 것이다.Accordingly, in the present invention, by matching / aligning / synchronizing the scan starting point, the scan direction and the scan speed of the camera module 20 and the lidar module 40 at the sensing level, the camera module 20 may be configured with a plurality of photographing sensors ( 10) the sensing data (scanned image_B1) obtained from scanning and the sensing data (distance information_B2) obtained by the rotation / scanning of the plurality of measuring sensors 30 by the lidar module 40 are already matched results. will be.

이는 곧, 본 발명에서는, 카메라모듈(20) 및 라이다모듈(40) 양 측의 결과물(촬영 이미지, 거리 정보)을 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이나, 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정이 불필요함을 의미한다.In other words, in the present invention, a separate complicated / advanced calculation module (operation procedure) for matching the result (captured image, distance information) of both the camera module 20 and the lidar module 40, the camera and This means that complex processes such as LiDAR setup and distortion correction are unnecessary.

이에, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터 즉 각 촬영 이미지_B1 및 거리 정보_B2를 합성하는 단순한 처리 만으로, 촬영 이미지 및 거리 정보를 포함하는 영상(B=B1+B2)을 생성할 수 있다(S40).Accordingly, in the operating method of the image generating apparatus according to the present invention, the imaging data provided by the camera module 20 and the lidar module 40, that is, by simply processing the synthesis of each photographed image_B1 and distance information_B2, photographing An image B = B1 + B2 including an image and distance information may be generated (S40).

이상에서 설명한 바와 같이, 본 발명에 따르면, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 정합 과정이 없이도, 영상을 생성할 수 있는 효과를 도출할 수 있다.As described above, according to the present invention, a combination of camera technology and LiDAR technology to generate an image including an image and a depth, an existing complex / advanced calculation module (operation procedure) And an effect of generating an image without additional matching process such as relationship setting / distortion correction.

본 발명의 일 실시예에 따른 영상생성장치의 동작 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.An operating method of an image generating apparatus according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments, the present invention is not limited to the above-described embodiments, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the following claims. Anyone skilled in the art will have the technical idea of the present invention to the extent that various modifications or changes are possible.

본 발명의 영상생성장치 및 영상생성장치의 동작 방법에 따르면, 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 정합 과정이 없이도, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)을 결합한 형태의 영상을 생성하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the image generating apparatus and the operation method of the image generating apparatus of the present invention, a photographed image of a camera and a LiDAR without additional matching processes such as complex / advanced arithmetic module (operation procedure) and relationship setting / distortion correction are performed. In the generation of images in the form of combining the distance map of, the possibility of commercialization or sales of the applied device is not only sufficient for the use of the related technology, but also realistically and clearly beyond the existing technology. It is an invention with industrial applicability since it can be implemented.

10 : 다수의 촬영센서 20 : 카메라모듈
30 : 다수의 측정센서 40 : 라이다모듈
50 : 정렬구조부 60 : 속도제어부
70 : 시작동기화부 90 : 합성부10: multiple shooting sensor 20: camera module
30: multiple measuring sensors 40: lidar module
50: alignment structure 60: speed control unit
70: start synchronization unit 90: synthesis unit

Claims (13)

다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 방향과 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 방향 중 적어도 하나를 변경하여 상기 카메라모듈의 스캔 방향이 상기 라이다모듈의 스캔 방향과 일치되도록 정렬하는 정렬구조부;
상기 카메라모듈의 스캔 속도 및 상기 라이다모듈의 스캔 속도를 동기화시키는 속도제어부; 및
상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성부를 포함하는 것을 특징으로 하는 영상생성장치.Scanning of the camera module by changing at least one of the scan direction of the camera module scanning the sensing data from the plurality of photographing sensors and the scan direction of the LiDAR module scanning the sensing data from the plurality of measuring sensors An alignment structure for aligning a direction to match a scan direction of the lidar module;
A speed controller for synchronizing the scan speed of the camera module with the scan speed of the lidar module; And
And a synthesizer configured to synthesize sensing data provided from the camera module and the lidar module. 제 1 항에 있어서,
상기 합성부는,
상기 카메라모듈 및 라이다모듈로부터 수신되는 센싱 데이터를 이용하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성하는 것을 특징으로 하는 영상생성장치.The method of claim 1,
The synthesis unit,
And an image including a captured image and distance information by using the sensing data received from the camera module and the lidar module. 제 1 항에 있어서,
상기 카메라모듈의 스캔 시작 지점 및 상기 라이다모듈의 스캔 시작 지점을 일치시키는 시작동기화부를 더 포함하는 것을 특징으로 하는 영상생성장치.The method of claim 1,
And a start synchronization unit for matching the scan start point of the camera module with the scan start point of the lidar module. 제 1 항에 있어서,
상기 정렬구조부는,
상기 카메라모듈의 스캔 방향이 상기 라이다모듈의 스캔 방향과 일치되도록, 상기 다수의 촬영센서 설치 방향을 변경하는 것을 특징으로 하는 영상생성장치.The method of claim 1,
The alignment structure portion,
And an installation direction of the plurality of photographing sensors so that the scan direction of the camera module coincides with the scan direction of the lidar module. 제 1 항에 있어서,
상기 속도제어부는,
상기 카메라모듈에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시키는 것을 특징으로 하는 영상생성장치.The method of claim 1,
The speed control unit,
And a scan speed of the lidar module is synchronized with a scan speed of the camera module by using a sync signal for controlling the scan in the camera module. 제 5 항에 있어서,
상기 속도제어부는,
상기 싱크 신호를 이용하여, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고,
상기 환산한 각속도에 따라, 상기 다수의 측정센서에 대한 회전 속도를 제어하는 것을 특징으로 하는 영상생성장치.The method of claim 5, wherein
The speed control unit,
By using the sync signal, the scan unit time required to scan one sensor line in the camera module is converted into an angular velocity,
According to the converted angular velocity, the image generating device characterized in that for controlling the rotational speed for the plurality of measuring sensors. 제 5 항에 있어서,
상기 속도제어부는,
상기 싱크 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정하는 것을 특징으로 하는 영상생성장치.The method of claim 5, wherein
The speed control unit,
And adjusting the sync signal for controlling the scan in the lidar module by using the sync signal. 제 3 항에 있어서,
상기 시작동기화부는,
상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고,
상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시키는 것을 특징으로 하는 영상생성장치.The method of claim 3, wherein
The start synchronization unit,
Deriving a specific reference point that is mutually matched from the captured image and distance information obtained from the sensing data of each of the camera module and the lidar module
And a scan start point of the camera module and the lidar module using the reference point. 제 1 항에 있어서,
상기 카메라모듈의 스캔 방향은, 수직 및 수평 방향 중 센싱 데이터를 스캔하는 센서 라인에 따른 방향이며,
상기 라이다모듈의 스캔 방향은, 수직 및 수평 방향 중 다수의 측정센서가 배치되는 방향인 것을 특징으로 하는 영상생성장치.The method of claim 1,
The scanning direction of the camera module is a direction along a sensor line for scanning sensing data among vertical and horizontal directions,
The scanning direction of the lidar module, the image generating device, characterized in that the direction in which a plurality of measuring sensors of the vertical and horizontal directions are arranged. 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 방향과 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 방향 중 적어도 하나를 변경하여 상기 카메라모듈의 스캔 방향이 상기 라이다모듈의 스캔 방향과 일치되도록 정렬하는 스캔방향 정렬단계;
상기 카메라모듈의 스캔 속도 및 상기 라이다모듈의 스캔 속도를 동기화시키는 동기화시키는 속도제어단계; 및
상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성단계를 포함하는 것을 특징으로 하는 영상생성장치의 동작 방법.Scanning of the camera module by changing at least one of the scan direction of the camera module scanning the sensing data from the plurality of photographing sensors and the scan direction of the LiDAR module scanning the sensing data from the plurality of measuring sensors A scan direction alignment step of aligning a direction to match a scan direction of the lidar module;
A speed control step of synchronizing the scan speed of the camera module with the scan speed of the lidar module; And
And a synthesizing step of synthesizing the sensing data provided from the camera module and the lidar module. 제 10 항에 있어서,
상기 속도제어단계는,
상기 카메라모듈에서 센서 라인 단위의 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시키는 것을 특징으로 하는 영상생성장치의 동작 방법.The method of claim 10,
The speed control step,
And a scan speed of the lidar module is synchronized with a scan speed of the camera module by using a sync signal for controlling the scan of the sensor line unit in the camera module. 제 11 항에 있어서,
상기 속도제어단계는,
상기 싱크 신호를 이용하여, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고, 상기 환산한 각속도에 따라 상기 다수의 측정센서에 대한 회전 속도를 제어하고,
상기 싱크 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정하는 것을 특징으로 하는 영상생성장치의 동작 방법.The method of claim 11,
The speed control step,
By using the sync signal, the scan unit time required to scan one sensor line in the camera module is converted into an angular velocity, and the rotational speed of the plurality of measurement sensors is controlled according to the converted angular velocity,
And adjusting a sync signal for controlling a scan in the lidar module by using the sync signal. 제 10 항에 있어서,
상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고,
상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시키는 단계를 더 포함하는 것을 특징으로 하는 영상생성장치의 동작 방법.The method of claim 10,
Deriving a specific reference point that is mutually matched from the captured image and distance information obtained from the sensing data of each of the camera module and the lidar module,
And using the reference point to coincide with a scan start point of the camera module and the lidar module.
KR1020180116534A 2018-09-28 2018-09-28 Picture generation device and control method thereof KR102086663B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180116534A KR102086663B1 (en) 2018-09-28 2018-09-28 Picture generation device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180116534A KR102086663B1 (en) 2018-09-28 2018-09-28 Picture generation device and control method thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025932A Division KR102191081B1 (en) 2020-03-02 2020-03-02 Picture generation device and control method thereof

Publications (1)

Publication Number Publication Date
KR102086663B1 true KR102086663B1 (en) 2020-03-09

Family

ID=69802101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116534A KR102086663B1 (en) 2018-09-28 2018-09-28 Picture generation device and control method thereof

Country Status (1)

Country Link
KR (1) KR102086663B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101721085B1 (en) * 2016-05-02 2017-03-29 고려대학교 산학협력단 Device and method for time syncronization between photographing apparatus and sensor
KR20180044279A (en) * 2015-08-24 2018-05-02 퀄컴 인코포레이티드 System and method for depth map sampling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180044279A (en) * 2015-08-24 2018-05-02 퀄컴 인코포레이티드 System and method for depth map sampling
KR101721085B1 (en) * 2016-05-02 2017-03-29 고려대학교 산학협력단 Device and method for time syncronization between photographing apparatus and sensor

Similar Documents

Publication Publication Date Title
CN108957478B (en) Multi-sensor synchronous sampling system, control method thereof and vehicle
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
US11145071B2 (en) Image processing method, non-transitory computer-readable storage medium, and electronic apparatus
EP3622371B1 (en) Calibration of stereo cameras and handheld object
KR102191081B1 (en) Picture generation device and control method thereof
TWI718150B (en) Method and system for determining spatial characteristics of a camera
JP4193886B2 (en) Image display device
US11196919B2 (en) Image processing method, electronic apparatus, and computer-readable storage medium
JP6251142B2 (en) Non-contact detection method and apparatus for measurement object
JP2020506487A (en) Apparatus and method for obtaining depth information from a scene
JP2003279351A (en) Surveying apparatus and method for acquisition of image data by using the same
CN108419017A (en) Control method, apparatus, electronic equipment and the computer readable storage medium of shooting
WO2018001252A1 (en) Projection unit and photographing apparatus comprising same projection unit, processor, and imaging device
JP2007293507A (en) Vehicle tracking device
CN109924942A (en) A kind of photorefractive crystals method and system based on Line-scanning Image Acquisition System
KR101296601B1 (en) The camera control system and method for producing the panorama of map information
US20220026208A1 (en) Surveying system, surveying method, and surveying program
KR102086663B1 (en) Picture generation device and control method thereof
CN110336993A (en) Depth camera head controlling method, device, electronic equipment and storage medium
EP3658855A2 (en) 3d model generation system and method
KR20230128386A (en) Method of computing three-dimensional drive parameter of a three-dimensional numerical drive control device by driving measurement of a tracking laser distance meter
CN112689084B (en) Airborne photoelectric reconnaissance imaging system and electronic image stabilization method
CN108195291A (en) A kind of moving vehicle 3 D detection method and detection device based on difference hot spot
CN109587303B (en) Electronic equipment and mobile platform
JP2005275305A (en) High-speed continuous photographing system, high-speed continuous photographing method, photographic image deviation calibration system, photographic image deviation calibration method, computer program, movement vector calculation system, and movement vector calculation method

Legal Events

Date Code Title Description
A107 Divisional application of patent
GRNT Written decision to grant