KR20200036821A - 영상생성장치 및 영상생성장치의 동작 방법 - Google Patents

영상생성장치 및 영상생성장치의 동작 방법 Download PDF

Info

Publication number
KR20200036821A
KR20200036821A KR1020200025932A KR20200025932A KR20200036821A KR 20200036821 A KR20200036821 A KR 20200036821A KR 1020200025932 A KR1020200025932 A KR 1020200025932A KR 20200025932 A KR20200025932 A KR 20200025932A KR 20200036821 A KR20200036821 A KR 20200036821A
Authority
KR
South Korea
Prior art keywords
module
scan
camera module
lidar
camera
Prior art date
Application number
KR1020200025932A
Other languages
English (en)
Other versions
KR102191081B1 (ko
Inventor
현수환
정시창
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020200025932A priority Critical patent/KR102191081B1/ko
Publication of KR20200036821A publication Critical patent/KR20200036821A/ko
Application granted granted Critical
Publication of KR102191081B1 publication Critical patent/KR102191081B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성을 가능하게 하는데 기술을 개시한다.

Description

영상생성장치 및 영상생성장치의 동작 방법{PICTURE GENERATION DEVICE AND CONTROL METHOD THEREOF}
본 발명은, 이미지 및 거리(Depth)가 포함된 영상을 생성하는 기술에 관한 것으로, 더욱 상세하게는 서로 다른 방식의 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는 기술에 관한 것이다.
최근에는 차량과 관련된 통신 기술 및 주행 기술이 빠르게 진화하고 있으며, 특히 주행 기술에서는 운전자가 핸들과 가속페달, 브레이크 등의 조작에 관여하지 않고도 안전하게 차량을 주행할 수 있게 하는 자율주행(Automatic Driving) 기술이 크게 주목 받고 있다.
차량 자율주행 기술에서는, 운전자의 조작을 배제 또는 최소화하기 위해 운전자의 눈 역할을 대신하기 위한 다양한 장치(또는 기술)들이 필요한데, 특히 핵심적인 역할을 하는 핵심 장치로는 카메라(Camera)와 라이다(LiDAR: Light Detection And Ranging)를 들 수 있다.
카메라는 라이다(LiDAR) 대비 상대적으로 저렴하고 높은 해상도의 결과(촬영 이미지)를 얻을 수 있는 반면, 거리 정보를 정확하게 얻을 수 없는 단점이 있다.
한편, 라이다(LiDAR) 기술은, 레이저를 발사하고 산란 및/또는 반사되는 레이저가 되돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등으로부터 측정 대상물의 거리와 농도, 속도, 형상 등 물리적 성질을 측정하는 기술이다.
이러한 라이다(LiDAR)는, 파장이 짧은 레이저를 사용하므로 정밀도가 높고 사물을 입체적으로 측정하는 것이 가능하며 밤에도 측정 가능하기 때문에, 카메라 대비 거리 정보(Depth Map)를 정확하게 얻을 수 있는 장점이 있다.
이에, 주변 환경에 대한 정확한 인식이 중요한 차량 자율주행 기술에서는, 카메라 및 라이다(LiDAR)를 모두 채용하고, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)를 결합한 형태의 영상(촬영 이미지 + 거리 정보)를 생성하고, 이를 차량 자율주행을 위해 활용하고 있다.
헌데, 카메라에서 센싱/촬영하여 촬영 이미지를 생성하는 방식과 라이다(LiDAR)에서 센싱/측정하여 거리 정보(Depth Map)를 생성하는 방식이 상이하고, 이처럼 상이한 방식으로 생성되는 촬영 이미지 및 거리 정보(Depth Map)를 결합하여 하나의 영상을 생성하기 위해서는, 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이 필요하고, 이외에도 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정들이 필요하다.
이와 같이, 카메라 및 라이다(LiDAR) 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하는데 요구되는 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정은, 정확도 만큼이나 실시간성이 중요한 차량 자율주행 관점에서 작지 않은 악영향을 미치는 요소로 작용될 수 있다.
이에, 본 발명에서는, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성이 가능한 새로운 방안을 제안하고자 한다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성을 가능하게 하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 영상생성장치는, 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 방향, 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 방향이, 상호 일치되도록 정렬하는 정렬구조부; 상기 카메라모듈의 스캔 속도 및 상기 라이다모듈의 스캔 속도를 동기화시키는 속도제어부; 및 상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성부를 포함한다.
구체적으로, 상기 합성부는, 상기 카메라모듈 및 라이다모듈로부터 수신되는 센싱 데이터를 이용하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성할 수 있다.
구체적으로, 상기 카메라모듈의 스캔 시작 지점 및 상기 라이다모듈의 스캔 시작 지점을 일치시키는 시작동기화부를 더 포함할 수 있다.
구체적으로, 상기 정렬구조부는, 상기 카메라모듈의 스캔 방향이 상기 라이다모듈의 스캔 방향과 일치되도록, 상기 다수의 촬영센서 설치 방향을 변경할 수 있다.
구체적으로, 상기 속도제어부는, 상기 카메라모듈에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시킬 수 있다.
구체적으로, 상기 속도제어부는, 상기 싱크 신호를 이용하여, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고, 상기 환산한 각속도에 따라, 상기 다수의 측정센서에 대한 회전 속도를 제어할 수 있다.
구체적으로, 상기 속도제어부는, 상기 싱크 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정할 수 있다.
구체적으로, 상기 시작동기화부는, 상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고, 상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시킬 수 있다.
구체적으로, 상기 카메라모듈의 스캔 방향은, 수직 및 수평 방향 중 센싱 데이터를 스캔하는 센서 라인에 따른 방향이며, 상기 라이다모듈의 스캔 방향은, 수직 및 수평 방향 중 다수의 측정센서가 배치되는 방향일 수 있다.
상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 영상생성장치의 동작 방법은, 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 방향, 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 방향이, 상호 일치되도록 정렬하는 스캔방향 정렬단계; 상기 카메라모듈의 스캔 속도 및 상기 라이다모듈의 스캔 속도를 동기화시키는 동기화시키는 속도제어단계; 및 상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성단계를 포함한다.
구체적으로, 상기 속도제어단계는, 상기 카메라모듈에서 센서 라인 단위의 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시킬 수 있다.
구체적으로, 상기 속도제어단계는, 상기 싱크 신호를 이용하여, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고, 상기 환산한 각속도에 따라 상기 다수의 측정센서에 대한 회전 속도를 제어하고, 상기 싱크 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정할 수 있다.
구체적으로, 상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고, 상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시키는 단계를 더 포함할 수 있다.
이에, 본 발명의 영상생성장치 및 영상생성장치의 동작 방법에 따르면, 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)을 결합한 형태의 영상을 생성할 수 있다.
이로써, 본 발명에 따르면, 촬영 이미지 및 거리 정보(Depth Map)가 포함된 영상을 활용하는 기술(예: 차량 자율주행)의 성능 개선에도 도움을 주는 효과를 도출한다.
도 1 및 도 2는 카메라 기술 및 라이다(LiDAR) 기술의 서로 다른 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 영상생성장치의 구성을 보여주는 블록도이다.
도 4는 본 발명의 실시예에 따라 카메라 및 라이다(LiDAR)의 스캔 방향 및 스캔 속도가 정력 및 동기화된 예를 보여주는 도면이다.
도 5는 본 발명의 바람직한 따른 영상생성장치의 동작 방법을 보여주는 동작 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 설명한다.
도면을 참조한 구체적인 설명에 앞서, 본 발명이 관련된 기술 분야를 설명하겠다.
최근, 주목 받고 있는 차량 자율주행(Automatic Driving) 기술에서는, 운전자의 조작을 배제 또는 최소화하기 위해 운전자의 눈 역할을 대신하기 위한 다양한 장치(또는 기술)들이 필요한데, 특히 핵심적인 역할을 하는 핵심 장치로는 카메라(Camera)와 라이다(LiDAR: Light Detection And Ranging)를 들 수 있다.
카메라는 라이다(LiDAR) 대비 상대적으로 저렴하고 높은 해상도의 결과(촬영 이미지)를 얻을 수 있는 반면, 거리 정보를 정확하게 얻을 수 없는 단점이 있다.
한편, 라이다(LiDAR)는, 파장이 짧은 레이저를 사용하므로 정밀도가 높고 사물을 입체적으로 측정하는 것이 가능하며 밤에도 측정 가능하기 때문에, 카메라 대비 거리 정보(Depth Map)를 정확하게 얻을 수 있는 장점이 있다.
이에, 주변 환경에 대한 정확한 인식이 중요한 차량 자율주행 기술에서는, 카메라 및 라이다(LiDAR)를 모두 채용하고, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)를 결합한 형태의 영상(촬영 이미지 + 거리 정보)를 생성하고, 이를 차량 자율주행을 위해 활용하고 있다.
본 발명은, 위에서 설명한 차량 자율주행 기술에서 활용하는 영상, 즉 서로 다른 방식의 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 촬영 이미지 및 거리 정보(Depth Map)가 포함된 영상을 생성하는 기술에 관한 것이다.
헌데, 카메라에서 센싱/촬영하여 촬영 이미지를 생성하는 방식과, 라이다(LiDAR)에서 센싱/측정하여 거리 정보(Depth Map)를 생성하는 방식은, 서로 상이하다.
이하에서는, 도 1 및 도 2를 참조하여, 카메라 기술 및 라이다(LiDAR) 기술의 서로 다른 방식을 설명하겠다.
먼저, 도 1에 도시된 바와 같이, 카메라 기술에 따르면, 이미지를 센싱/촬영하기 위한 다수의 촬영센서가 구비되며, 편의 상 다수의 촬영센서가 나열되는 가로/세로 방향을 수직(Vertical)/수평(Horizontal) 방향으로 설명하겠다.
다수의 촬영센서 각각에 의해 센싱/촬영되는 센싱 데이터가 수직(V) 방향을 따라 채워지면, 카메라 모듈에서는 도 1에 도시된 바와 같이 수평(H) 방향의 센서 라인에 따라 센싱 데이터를 스캔하여 획득해 간다.
즉, 카메라 모듈은 다수의 촬영센서로부터 수평(H) 방향으로 센서 라인1의 센싱 데이터를 스캔하고, 다음 수평(H) 방향으로 센서 라인2의 센싱 데이터를 스캔하고, 다음 수평(H) 방향으로 센서 라인3의 센싱 데이터를 스캔하는 방식으로, 다수의 촬영센서 전체로부터 센싱 데이터를 획득하여 촬영 이미지를 생성할 수 있다.
한편, 도 2에 도시된 바와 같이, 라이다(LiDAR) 기술에 따르면, 거리(Depth)를 센싱/측정하기 위한 다수의 측정센서가 구비되며, 수직(V)/수평(H)을 기준으로 설명하면 다수의 측정센서는 수직(V) 및 수평(H) 방향 중 어느 한 방향으로 길게 배치되는 구조를 갖는다.
통상적으로는, 도 2와 같이, 다수의 측정센서가 수직(V) 방향으로 배치된다.
다수의 측정센서가 수평(H) 방향으로 회전하면서 센싱/측정을 진행하면, 라이다(LiDAR) 모듈에서는 도 2에 도시된 바와 같이 수직(V) 방향 배치된 다수의 측정센서로부터 센싱 데이터를 스캔하여 획득해 간다.
즉, 라이다(LiDAR) 모듈은 다수의 측정센서로부터 수직(V) 방향으로 센싱 데이터1을 스캔하고, 측정센서 회전 후 다음 수직(V) 방향으로 센싱 데이터2를 스캔하고, 측정센서 회전 후 다음 수직(V) 방향으로 센싱 데이터3을 스캔하는 방식으로, 다수의 측정센서 전체로부터 회전 및 센싱 데이터를 획득을 반복하여 거리 정보(Depth Map)를 생성할 수 있다.
전술과 같이, 카메라에서 센싱/촬영하여 촬영 이미지를 생성하는 방식과 라이다(LiDAR)에서 센싱/측정하여 거리 정보(Depth Map)를 생성하는 방식이 서로 상이하기 때문에, 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하기 위한 과정이 필요하게 된다
즉, 촬영 이미지 및 거리 정보(Depth Map)를 결합하여 하나의 영상을 생성하기 위해서는, 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이 필요하고, 이외에도 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정들이 필요하게 된다.
헌데, 카메라 및 라이다(LiDAR) 양 측의 결과물(촬영 이미지, 거리 정보)를 정합하는데 요구되는 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정은, 정확도 만큼이나 실시간성이 중요한 차량 자율주행 관점에서 작지 않은 악영향을 미치는 요소로 작용될 수 있다.
이에, 본 발명에서는, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 영상 생성이 가능한 새로운 방안을 제안하고자 한다.
보다 구체적으로, 본 발명에서는, 카메라의 촬영 이미지 생성 및 라이다(LiDAR)의 거리 정보(Depth Map) 생성 이전의 센싱 레벨에서, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map) 간 정합이 가능해지도록 하는 방안을 제안하고자 한다.
이하에서는, 도 3을 참조하여 본 발명의 방안을 실현하는 영상생성장치를 설명하겠다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 영상생성장치는, 정렬구조부(50), 속도제어부(60), 합성부(90)를 포함한다.
더 나아가, 본 발명의 실시예에 따른 영상생성장치는, 시작동기화부(70)를 더 포함할 수 있다.
이러한 영상생성장치의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.
여기서, 소프트웨어 모듈이란, 예컨대, 영상생성장치 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 영상생성장치 내 메모리에 탑재된 형태를 가질 수 있을 것이다.
결국, 본 발명의 일 실시예에 따른 영상생성장치는 전술한 구성을 통해, 센싱 레벨에서 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map) 간 정합이 가능해지도록 하는 방안을 실현하며, 이하에서는 이를 실현하기 위한 영상생성장치 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.
정렬구조부(50)는, 다수의 촬영센서(10)로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈(20)의 스캔 방향, 다수의 측정센서(30)로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈(40)의 스캔 방향이, 상호 일치되도록 정렬하는 역할을 한다.
즉, 정렬구조부(50)는, 카메라모듈(20)의 스캔 방향 및 라이다모듈(40)의 스캔 방향 중 적어도 하나가 변경되도록 하여, 양 측의 스캔 방향을 일치시켜 정렬할 수 있다.
일 실시예를 설명하면, 전술의 도 2에서 설명한 바와 같이, 라이다(LiDAR) 기술에 따르면 다수의 측정센서(30)는 수직(V) 방향으로 배치되며 수평(H) 방향으로 회전하면서 센싱/측정을 진행하는 메커니즘을 갖는다.
이 경우, 라이다모듈(40)의 스캔 방향은, 다수의 측정센서(30)가 배치되는 방향, 즉 수직(V) 방향일 것이다.
이에, 메커니즘 상 라이다 측 다수의 측정센서(30)의 스캔 방향을 변경하기는 어려우므로, 카메라 측 다수의 촬영센서(10) 설치 방향을 변경하는 실시예가 가능할 것이다.
이 실시예에 따르면, 정렬구조부(50)는, 카메라모듈(20)의 스캔 방향이 라이다모듈(40)의 스캔 방향_V과 일치되도록, 다수의 촬영센서(10) 설치 방향을 변경할 수 있다.
이러한 정렬구조부(50)는, 기구적 구조의 하드웨어 구성을 포함하는 것이 바람직하다.
예를 들면, 정렬구조부(50)는, 다수의 촬영센서(10) 설치 방향을 제어에 따라 변경할 수 있는 기구적 구조를 가지며, 라이다모듈(40)과의 연동을 통해 라이다모듈(40)의 스캔 방향_V을 인지한 후 기구적 구조를 제어하여 다수의 촬영센서(10) 설치 방향을 변경할 수 있다.
또는, 정렬구조부(50)는, 다수의 촬영센서(10) 설치 방향을 수동으로 변경할 수 있는 기구적 구조로서, 운영자(사람)의 조작에 의해 라이다모듈(40)의 스캔 방향_V과 일치되도록 다수의 촬영센서(10) 설치 방향이 변경/조작될 수 있다.
도 1의 경우, 카메라모듈(20)의 스캔 방향은, 센서 라인에 따른 방향이므로, 수평(H) 방향이다.
본 발명에서는, 라이다모듈(40)의 스캔 방향_V를 가정할 때, 제어 또는 운영자(사람)의 조작에 의해 다수의 촬영센서(10) 설치 방향을 변경(예: 회전)함으로써, 카메라모듈(20)의 스캔 방향이 수평(H) 방향에서 수직(V) 방향으로 변경되도록 한다.
이렇게 되면, 카메라모듈(20)의 스캔 방향 및 라이다모듈(40)의 스캔 방향이, 수직(V) 방향으로 상호 일치하여 동일하게 정렬될 것이다.
속도제어부(60)는, 카메라모듈(20)의 스캔 속도 및 라이다모듈(40)의 스캔 속도를 동기화시키는 역할을 한다.
즉, 속도제어부(60)는, 카메라모듈(20)의 스캔 방향 및 라이다모듈(40)의 스캔 방향 중 적어도 하나를 제어하여, 양 측의 스캔 속도를 동기화시킬 수 있다.
일 실시예를 설명하면, 속도제어부(60)는, 카메라모듈(20)에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 라이다모듈(40)의 스캔 속도를 카메라모듈(20)의 스캔 속도에 동기화시킬 수 있다.
구체적으로, 속도제어부(60)는, 카메라모듈(20)에서 스캔을 제어하는 싱크 신호(이하, 카메라 싱크 신호)를 이용하여, 카메라모듈(20)에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산한다.
예를 들어, 카메라 시야각을 120도, 다수의 촬영센서(10)를 가로/세로 320*240, 10 FPS(Frame Per Second)를 가정할 때, 100ms 마다 240 픽셀(수직(V) 방향으로 240개 센싱 라인)을 스캔하므로, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간은 약 0.4167 ms일 것이다.
이 경우, 속도제어부(60)는, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간(예: 0.4167 ms)을 각속도로 환산한다. 환산된 각속도는, 0.5도 당 0.4167ms이므로 1.199deg/ms일 것이다.
속도제어부(60)는, 환산한 각속도(예: 1.199deg/ms)에 따라, 다수의 측정센서(30)에 대한 회전 속도를 제어한다.
예를 들자면, 속도제어부(60)는 앞서 환산한 각속도(예: 1.199deg/ms)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 다수의 측정센서(30)를 회전시키는 회전 속도를 각속도(예: 1.199deg/ms)로 제어할 수 있다.
이때, 속도제어부(60)는, 카메라 시야각(예: 120도)에 맞춰, 다수의 측정센서(30)에 대한 회전 범위를 제어할 수 있다.
그리고, 속도제어부(60)는, 카메라 싱크 신호를 이용하여, 라이다모듈(40)에서 스캔을 제어하는 싱크 신호(이하, 라이다 싱크 신호)를 조정할 수 있다.
예를 들어, 앞선 가정에 따르면, 카메라 싱크 신호(S1)는, 약 0.4167 ms의 스캔 단위 시간을 가지는 신호일 것이다.
이 경우, 속도제어부(60)는, 라이다모듈(40)에서 스캔을 제어하는 라이다 싱크 신호(S2)를, 카메라 싱크 신호(S1)의 스캔 단위 시간(예: 0.4167 ms)과 동일해지도록 조정하는 것이다.
예를 들자면, 속도제어부(60)는 카메라 싱크 신호(S1)의 정보(예: 싱크 주기(스캔 단위 시간), 지속시간 등)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 제공된 정보(예: 싱크 주기(스캔 단위 시간)에 따라 라이다 싱크 신호(S2)를 카메라 싱크 신호(S1)와 동일해지도록 조정할 수 있다.
이렇게 되면, 카메라모듈(20)이 스캔하기 시작하는 지점과 라이다모듈(40)이 스캔하기 시작하는 지점이 동일하다는 전제 하에, 다수의 측정센서(30)의 회전 속도가 다수의 촬영센서(10)에서 스캔되는 센서 라인 이동과 일치하게 되고, 카메라모듈(20)의 매 스캔 시점과 라이다모듈(40)의 매 스캔 시점이 일치하게 되므로, 카메라모듈(20) 및 라이다모듈(40)의 스캔 속도가 상호 동기화될 것이다.
시작동기화부(70)는, 카메라모듈(20)의 스캔 시작 지점 및 상기 라이다모듈(40)의 스캔 시작 지점을 일치시키는 역할을 한다.
즉, 시작동기화부(70)는, 카메라모듈(20)이 스캔하기 시작하는 지점과 라이다모듈(40)이 스캔하기 시작하는 지점이 동일해지도록 만드는 것이다.
시작동기화부(70)는, 카메라모듈(20)의 스캔 시작 지점 및 상기 라이다모듈(40)의 스캔 시작 지점을 일치시키는 방식으로, 여러 가지 방식을 사용할 수 있다.
그 일 예로서, 시작동기화부(70)는, 카메라모듈(20) 및 라이다모듈(40) 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출한다.
예컨대, 시작동기화부(70)는, 영상생성장치의 초기 동작 시, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지), 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보)에서, 상호 일치되는 특정 기준점을 도출할 수 있다.
이때, 특정 기준점은, 카메라모듈(20)의 촬영 이미지 및 라이다모듈(40)의 거리 정보 간 상호 겹치는 프레임 내 픽셀(촬영센서) 중, 수평(H) 방향의 양 끝 픽셀 지점 중 하나, 보다 구체적으로는 스캔 방향 정렬 과정에서 변경한 다수의 촬영센서(10) 설치 방향에 따른 하나의 픽셀 지점으로 도출될 수 있다.
그리고, 시작동기화부(70)는, 도출한 기준점을 이용하여, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시킬 수 있다.
이렇게 되면, 앞서 가정하였던 카메라모듈(20)이 스캔하기 시작하는 지점과 라이다모듈(40)이 스캔하기 시작하는 지점이 동일하다는 전제가 실현되는 것이다.
합성부(90)는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터를 합성하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성한다.
전술에 따르면 본 발명에서는, 카메라의 촬영 이미지 생성 및 라이다(LiDAR)의 거리 정보(Depth Map) 생성 이전의 센싱 레벨에서, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다.
즉, 도 4를 참조하여 보면, 예컨대 A지점은 차량 자율주행을 수행하는 차량이 위치하는 지점으로 이해할 수 있고, 더 구체적으로는 카메라의 다수 촬영센서(10) 및 라이다의 다수 측정센서(30)가 위치하는 지점으로 이해할 수 있다.
본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 있다.
아울러, 본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다.
따라서, 본 발명에서는, 센싱 레벨에서 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점, 스캔 방향과 스캔 속도를 일치/정렬/동기화시킴으로써, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지_B1)와 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보_B2)는 이미 서로 정합된 결과물일 것이다.
이는 곧, 본 발명에서는, 카메라모듈(20) 및 라이다모듈(40) 양 측의 결과물(촬영 이미지, 거리 정보)을 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이나, 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정이 불필요함을 의미한다.
이에, 합성부(90)는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터 즉 각 촬영 이미지_B1 및 거리 정보_B2를 합성하는 단순한 처리 만으로, 촬영 이미지 및 거리 정보를 포함하는 영상(B=B1+B2)을 생성할 수 있다.
한편, 속도제어부(60) 및 시작동기화부(70)는 소프트웨어적으로 그 역할(기능)을 수행할 수 있으며, 도 3에서는 이러한 소프트웨어적 구성(80)을 카메라모듈(20) 및 라이다모듈(40)과 별개의 구성으로 도시하고 있으나, 이는 설명의 편의를 위한 도시일 뿐이다.
즉, 본 발명에서는, 속도제어부(60) 및 시작동기화부(70)의 역할 또는 일부 기능이 카메라모듈(20) 및 라이다모듈(40) 내에 포함되도록 구현되는 것도 가능할 것이다.
이상에서 설명한 바와 같이, 본 발명의 영상생성장치는, 센싱 레벨에서 카메라모듈 및 라이다모듈의 스캔 시작 지점, 스캔 방향과 스캔 속도를 일치/정렬/동기화시킴으로써, 센싱 레벨에서 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map) 간 정합이 가능해지도록 하는 방안(기술)을 실현하고 있다.
이렇게 되면, 본 발명에서는, 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 과정이 없이도, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)을 결합한 형태의 영상을 생성할 수 있고, 더 나아가 촬영 이미지 및 거리 정보(Depth Map)가 포함된 영상을 활용하는 기술(예: 차량 자율주행)의 성능 개선에도 도움을 주는 효과를 도출한다.
이하에서는 도 5를 참조하여, 본 발명의 실시예에 따른 영상생성장치의 동작 방법을 설명하겠다. 설명의 편의 상, 도 3의 참조번호를 사용하여 설명하도록 한다.
본 발명에 따른 영상생성장치의 동작 방법에서는, 다수의 촬영센서(10)로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈(20)의 스캔 방향, 다수의 측정센서(30)로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈(40)의 스캔 방향이, 상호 일치되도록 정렬한다(S10).
일 실시예를 설명하면, 전술의 도 2에서 설명한 바와 같이, 라이다(LiDAR) 기술에 따르면 다수의 측정센서(30)는 수직(V) 방향으로 배치되며 수평(H) 방향으로 회전하면서 센싱/측정을 진행하는 메커니즘을 갖는다.
이 경우, 라이다모듈(40)의 스캔 방향은, 다수의 측정센서(30)가 배치되는 방향, 즉 수직(V) 방향일 것이다.
이에, 메커니즘 상 라이다 측 다수의 측정센서(30)의 스캔 방향을 변경하기는 어려우므로, 카메라 측 다수의 촬영센서(10) 설치 방향을 변경하는 실시예가 가능할 것이다.
이 실시예에 따르면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)의 스캔 방향이 라이다모듈(40)의 스캔 방향_V과 일치되도록, 다수의 촬영센서(10) 설치 방향을 변경할 수 있다.
그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)의 스캔 시작 지점 및 상기 라이다모듈(40)의 스캔 시작 지점을 일치시킨다(S20).
일 예로서, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20) 및 라이다모듈(40) 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출한다.
예컨대, 본 발명에 따른 영상생성장치의 동작 방법에서는, 영상생성장치의 초기 동작 시, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지), 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보)에서, 상호 일치되는 특정 기준점을 도출할 수 있다.
이때, 특정 기준점은, 카메라모듈(20)의 촬영 이미지 및 라이다모듈(40)의 거리 정보 간 상호 겹치는 프레임 내 픽셀(촬영센서) 중, 수평(H) 방향의 양 끝 픽셀 지점 중 하나, 보다 구체적으로는 스캔 방향 정렬 과정에서 변경한 다수의 촬영센서(10) 설치 방향에 따른 하나의 픽셀 지점으로 도출될 수 있다.
이에, 본 발명에 따른 영상생성장치의 동작 방법에서는, 도출한 기준점을 이용하여, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시킬 수 있다.
그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)의 스캔 속도 및 라이다모듈(40)의 스캔 속도를 동기화시킨다(S30).
일 실시예를 설명하면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)에서 스캔을 제어하는 싱크(Sync) 신호를 이용하여, 라이다모듈(40)의 스캔 속도를 카메라모듈(20)의 스캔 속도에 동기화시킬 수 있다.
구체적으로, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20)에서 스캔을 제어하는 싱크 신호(이하, 카메라 싱크 신호)를 이용하여, 카메라모듈(20)에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산한다.
예를 들어, 카메라 시야각을 120도, 다수의 촬영센서(10)를 가로/세로 320*240, 10 FPS(Frame Per Second)를 가정할 때, 100ms 마다 240 픽셀(수직(V) 방향으로 240개 센싱 라인)을 스캔하므로, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간은 약 0.4167 ms일 것이다.
이 경우, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 싱크 신호에 따른 카메라모듈(20)의 스캔 단위 시간(예: 0.4167 ms)을 각속도로 환산한다. 환산된 각속도는, 0.5도 당 0.4167ms이므로 1.199deg/ms일 것이다.
이후, 본 발명에 따른 영상생성장치의 동작 방법에서는, 환산한 각속도(예: 1.199deg/ms)에 따라, 다수의 측정센서(30)에 대한 회전 속도를 제어한다.
예를 들자면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 앞서 환산한 각속도(예: 1.199deg/ms)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 다수의 측정센서(30)를 회전시키는 회전 속도를 각속도(예: 1.199deg/ms)로 제어할 수 있다.
이때, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 시야각(예: 120도)에 맞춰, 다수의 측정센서(30)에 대한 회전 범위를 제어할 수 있다.
그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 싱크 신호를 이용하여, 라이다모듈(40)에서 스캔을 제어하는 싱크 신호(이하, 라이다 싱크 신호)를 조정할 수 있다.
예를 들어, 앞선 가정에 따르면, 카메라 싱크 신호(S1)는, 약 0.4167 ms의 스캔 단위 시간을 가지는 신호일 것이다.
이 경우, 본 발명에 따른 영상생성장치의 동작 방법에서는, 라이다모듈(40)에서 스캔을 제어하는 라이다 싱크 신호(S2)를, 카메라 싱크 신호(S1)의 스캔 단위 시간(예: 0.4167 ms)과 동일해지도록 조정하는 것이다.
예를 들자면, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라 싱크 신호(S1)의 정보(예: 싱크 주기(스캔 단위 시간), 지속시간 등)를 라이다모듈(40)로 제공하고, 라이다모듈(40)은 제공된 정보(예: 싱크 주기(스캔 단위 시간)에 따라 라이다 싱크 신호(S2)를 카메라 싱크 신호(S1)와 동일해지도록 조정할 수 있다.
이렇게 되면, 다수의 측정센서(30)의 회전 속도가 다수의 촬영센서(10)에서 스캔되는 센서 라인 이동과 일치하게 되고, 카메라모듈(20)의 매 스캔 시점과 라이다모듈(40)의 매 스캔 시점이 일치하게 되므로, 카메라모듈(20) 및 라이다모듈(40)의 스캔 속도가 상호 동기화될 것이다.
그리고, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터를 합성하여, 촬영 이미지 및 거리 정보를 포함하는 영상을 생성한다(S40).
전술에 따르면 본 발명에서는, 카메라의 촬영 이미지 생성 및 라이다(LiDAR)의 거리 정보(Depth Map) 생성 이전의 센싱 레벨에서, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다(S10,S20,S30).
즉, 도 4를 참조하여 보면, 예컨대 A지점은 차량 자율주행을 수행하는 차량이 위치하는 지점으로 이해할 수 있고, 더 구체적으로는 카메라의 다수 촬영센서(10) 및 라이다의 다수 측정센서(30)가 위치하는 지점으로 이해할 수 있다.
본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점을 일치시키고 있다.
아울러, 본 발명에서는, 도 4에서 알 수 있듯이, 카메라모듈(20) 및 라이다모듈(40)의 스캔 방향과 스캔 속도를 정렬 및 동기화하고 있다.
따라서, 본 발명에서는, 센싱 레벨에서 카메라모듈(20) 및 라이다모듈(40)의 스캔 시작 지점, 스캔 방향과 스캔 속도를 일치/정렬/동기화시킴으로써, 카메라모듈(20)이 다수의 촬영센서(10)로부터 스캔하여 얻은 센싱 데이터(촬영 이미지_B1)와 라이다모듈(40)이 다수의 측정센서(30)로부터 회전/스캔하여 얻은 센싱 데이터(거리 정보_B2)는 이미 서로 정합된 결과물일 것이다.
이는 곧, 본 발명에서는, 카메라모듈(20) 및 라이다모듈(40) 양 측의 결과물(촬영 이미지, 거리 정보)을 정합하기 위한 별도의 복잡/고도화된 연산 모듈(연산 절차)이나, 카메라 및 라이다(LiDAR) 간 복잡한 관계 설정 및 왜곡 보정 등의 과정이 불필요함을 의미한다.
이에, 본 발명에 따른 영상생성장치의 동작 방법에서는, 카메라모듈(20) 및 라이다모듈(40)로부터 제공되는 센싱 데이터 즉 각 촬영 이미지_B1 및 거리 정보_B2를 합성하는 단순한 처리 만으로, 촬영 이미지 및 거리 정보를 포함하는 영상(B=B1+B2)을 생성할 수 있다(S40).
이상에서 설명한 바와 같이, 본 발명에 따르면, 카메라 기술 및 라이다(LiDAR) 기술을 결합하여 이미지 및 거리(Depth)가 포함된 영상을 생성하는데 있어서, 기존의 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 정합 과정이 없이도, 영상을 생성할 수 있는 효과를 도출할 수 있다.
본 발명의 일 실시예에 따른 영상생성장치의 동작 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
본 발명의 영상생성장치 및 영상생성장치의 동작 방법에 따르면, 복잡/고도화된 연산 모듈(연산 절차) 및 관계 설정/왜곡 보정 등의 추가적 정합 과정이 없이도, 카메라의 촬영 이미지 및 라이다(LiDAR)의 거리 정보(Depth Map)을 결합한 형태의 영상을 생성하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
10 : 다수의 촬영센서 20 : 카메라모듈
30 : 다수의 측정센서 40 : 라이다모듈
50 : 정렬구조부 60 : 속도제어부
70 : 시작동기화부 90 : 합성부

Claims (13)

  1. 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 속도 및 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 속도를 동기화시키는 속도제어부; 및
    상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성부를 포함하는 것을 특징으로 하는 영상생성장치.
  2. 제 1 항에 있어서,
    상기 카메라모듈에서 센싱 데이터를 스캔하는 스캔 방향 및 상기 라이다모듈에서 센싱 데이터를 스캔하는 스캔 방향은, 상호 일치되는 것을 특징으로 하는 영상생성장치.
  3. 제 1 항에 있어서,
    상기 속도제어부는,
    상기 카메라모듈에서 스캔을 제어하는 싱크(Sync) 신호, 상기 카메라모듈의 카메라 시야각, 촬영센서 해상도, FPS(Frame Per Second) 중 적어도 하나를 근거로, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시키는 것을 특징으로 하는 영상생성장치.
  4. 제 3 항에 있어서,
    상기 속도제어부는,
    상기 카메라모듈의 카메라 시야각, 촬영센서 해상도, FPS(Frame Per Second)를 근거로, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고,
    상기 환산한 각속도에 따라, 상기 다수의 측정센서에 대한 회전 속도를 제어하는 것을 특징으로 하는 영상생성장치.
  5. 제 3 항에 있어서,
    상기 속도제어부는,
    상기 싱크(Sync) 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정하는 것을 특징으로 하는 영상생성장치.
  6. 제 1 항에 있어서,
    상기 카메라모듈의 스캔 시작 지점 및 상기 라이다모듈의 스캔 시작 지점을 일치시키는 시작동기화부를 더 포함하는 것을 특징으로 하는 영상생성장치.
  7. 제 6 항에 있어서,
    상기 시작동기화부는,
    상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고,
    상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시키는 것을 특징으로 하는 영상생성장치.
  8. 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 속도 및 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 속도를 동기화시키는 속도제어단계; 및
    상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 합성단계를 포함하는 것을 특징으로 하는 영상생성장치의 동작 방법.
  9. 제 8 항에 있어서,
    상기 속도제어단계는,
    상기 카메라모듈에서 센서 라인 단위의 스캔을 제어하는 싱크(Sync) 신호, 상기 카메라모듈의 카메라 시야각, 촬영센서 해상도, FPS(Frame Per Second) 중 적어도 하나를 근거로, 상기 라이다모듈의 스캔 속도를 상기 카메라모듈의 스캔 속도에 동기화시키는 것을 특징으로 하는 영상생성장치의 동작 방법.
  10. 제 9 항에 있어서,
    상기 속도제어단계는,
    상기 카메라모듈의 카메라 시야각, 촬영센서 해상도, FPS(Frame Per Second)를 근거로, 상기 카메라모듈에서 하나의 센서 라인을 스캔하는데 소요되는 스캔 단위 시간을 각속도로 환산하고,
    상기 환산한 각속도에 따라, 상기 다수의 측정센서에 대한 회전 속도를 제어하는 것을 특징으로 하는 영상생성장치의 동작 방법.
  11. 제 9 항에 있어서,
    상기 속도제어단계는,
    상기 싱크(Sync) 신호를 이용하여, 상기 라이다모듈에서 스캔을 제어하는 싱크 신호를 조정하는 것을 특징으로 하는 영상생성장치의 동작 방법.
  12. 제 8 항에 있어서,
    상기 카메라모듈 및 라이다모듈 각각의 센싱 데이터로부터 얻어지는 촬영 이미지 및 거리 정보에서 상호 일치되는 특정 기준점을 도출하고,
    상기 기준점을 이용하여 상기 카메라모듈 및 라이다모듈의 스캔 시작 지점을 일치시키는 단계를 더 포함하는 것을 특징으로 하는 영상생성장치의 동작 방법.
  13. 하드웨어와 결합되어, 다수의 촬영센서로부터 센서 라인에 따라 센싱 데이터를 스캔하는 카메라모듈의 스캔 속도 및 다수의 측정센서로부터 센싱 데이터를 스캔하는 라이다(LiDAR)모듈의 스캔 속도를 동기화시키는 단계; 및
    상기 카메라모듈 및 라이다모듈로부터 제공되는 센싱 데이터를 합성하는 단계를 실행시키기 위하여 매체에 저장된 컴퓨터프로그렘.
KR1020200025932A 2020-03-02 2020-03-02 영상생성장치 및 영상생성장치의 동작 방법 KR102191081B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200025932A KR102191081B1 (ko) 2020-03-02 2020-03-02 영상생성장치 및 영상생성장치의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200025932A KR102191081B1 (ko) 2020-03-02 2020-03-02 영상생성장치 및 영상생성장치의 동작 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116534A Division KR102086663B1 (ko) 2018-09-28 2018-09-28 영상생성장치 및 영상생성장치의 동작 방법

Publications (2)

Publication Number Publication Date
KR20200036821A true KR20200036821A (ko) 2020-04-07
KR102191081B1 KR102191081B1 (ko) 2020-12-15

Family

ID=70290792

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025932A KR102191081B1 (ko) 2020-03-02 2020-03-02 영상생성장치 및 영상생성장치의 동작 방법

Country Status (1)

Country Link
KR (1) KR102191081B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264300B1 (ko) * 2020-11-02 2021-06-11 이형록 스캐닝 장치
KR20220110987A (ko) * 2021-02-01 2022-08-09 연세대학교 산학협력단 모바일 로봇을 이용한 공간정보 구축 시스템
KR102490523B1 (ko) * 2021-09-30 2023-01-27 주식회사 모빌테크 다중 신호를 이용한 회전형 라이다와 카메라의 동기화 방법 및 그 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101721085B1 (ko) * 2016-05-02 2017-03-29 고려대학교 산학협력단 촬영 장치 및 센서의 시간 동기화 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101721085B1 (ko) * 2016-05-02 2017-03-29 고려대학교 산학협력단 촬영 장치 및 센서의 시간 동기화 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264300B1 (ko) * 2020-11-02 2021-06-11 이형록 스캐닝 장치
WO2022092489A1 (ko) * 2020-11-02 2022-05-05 이형록 스캐닝 장치
KR20220110987A (ko) * 2021-02-01 2022-08-09 연세대학교 산학협력단 모바일 로봇을 이용한 공간정보 구축 시스템
KR102490523B1 (ko) * 2021-09-30 2023-01-27 주식회사 모빌테크 다중 신호를 이용한 회전형 라이다와 카메라의 동기화 방법 및 그 장치

Also Published As

Publication number Publication date
KR102191081B1 (ko) 2020-12-15

Similar Documents

Publication Publication Date Title
KR20200036821A (ko) 영상생성장치 및 영상생성장치의 동작 방법
CN108957478B (zh) 多传感器同步采样系统及其控制方法、车辆
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
TWI718150B (zh) 用於判定一攝像機之空間特徵的方法及系統
US11145071B2 (en) Image processing method, non-transitory computer-readable storage medium, and electronic apparatus
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
JP5748521B2 (ja) レーザスキャナ及び動体検知方法
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
JP4769079B2 (ja) カメラ情報解析装置
KR20130029741A (ko) 프로젝터 및 프로젝터 시스템
CN102685382A (zh) 图像处理装置和方法、及移动体防碰撞装置
CN105210368A (zh) 背景差分提取装置以及背景差分提取方法
JP5147980B1 (ja) 対象物複数画像対応付け装置、そのデータ再生装置、画像処理システム
CN110163963B (zh) 一种基于slam的建图装置和建图方法
JP2002034055A (ja) 移動体用広視野角多方向画像取得装置及び移動体用広視野角多方向画像取得システム
JP2011133508A (ja) 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP2007293507A (ja) 車両追尾装置
KR101079894B1 (ko) 터널 벽면 전개화상 취득 시스템
US6630951B1 (en) Apparatus for detecting hand movement of an optical device
JP2015045751A (ja) 投影装置
KR102086663B1 (ko) 영상생성장치 및 영상생성장치의 동작 방법
CN109618085B (zh) 电子设备和移动平台
US20120162411A1 (en) Method and apparatus for operation of moving object in unstructured environment
US20180053304A1 (en) Method and apparatus for detecting relative positions of cameras based on skeleton data
KR20040073908A (ko) 선행차량 영상추적을 통한 차량의 조향각데이터 생성장치및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant