KR102580181B1 - 3d 시각화 정보 생성 장치 - Google Patents

3d 시각화 정보 생성 장치 Download PDF

Info

Publication number
KR102580181B1
KR102580181B1 KR1020220133823A KR20220133823A KR102580181B1 KR 102580181 B1 KR102580181 B1 KR 102580181B1 KR 1020220133823 A KR1020220133823 A KR 1020220133823A KR 20220133823 A KR20220133823 A KR 20220133823A KR 102580181 B1 KR102580181 B1 KR 102580181B1
Authority
KR
South Korea
Prior art keywords
lidar sensor
tilting
visualization information
generating device
visualization
Prior art date
Application number
KR1020220133823A
Other languages
English (en)
Inventor
김헌희
남택근
김진만
Original Assignee
목포해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목포해양대학교 산학협력단 filed Critical 목포해양대학교 산학협력단
Priority to KR1020220133823A priority Critical patent/KR102580181B1/ko
Application granted granted Critical
Publication of KR102580181B1 publication Critical patent/KR102580181B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 탐지 영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이(depth) 정보를 획득하기 위한 멀티채널로 구성된 라이다 센서를 포함하는 3D 시각화 정보 생성 장치 및 이를 이용한 시각화 정보 생성 방법에 관한 것으로서, 이를 위하여 상기 라이다 센서를 수직 방향으로 틸팅시키기 위한 틸팅 모션 구동기와, 상기 탐지 영역에 대한 촬영을 통해 영상을 획득하는 2D 정보 획득부와, 상기 라이다 센서의 수직 방향의 틸팅을 통해 획득한 수직 방향의 깊이 정보 및 상기 라이다 센서로부터 획득한 수평 방향의 깊이 정보와 상기 2D 정보 획득부로부터 제공받은 영상을 기반으로 탐지 영역에 대한 시각화 정보를 생성하는 시각화 정보 생성부를 포함하는 3D 시각화 정보 생성 장치를 제공할 수 있다.
이 과제(결과물)은 2022년 해양수산부 재원으로 해양수산과학기술진흥원의 지원을 받아 수행된 연구임(스마트항만-자율운항선박 연계기술 개발)
This research was a part of the project titled 'Development of Smart Port-Autonomous Ships Linkage Technology', funded by the Ministry of Oceans and Fisheries, Korea.

Description

3D 시각화 정보 생성 장치{3D visualization apparatus for generating an information of visualization information}
본 발명은 탐지영역에 대한 3D(Dimensions) 시각화 정보를 생성하는 기술에 관한 것이다.
일반적으로, 3D 정보를 제공하는 시각센서는 RGB-D 카메라, 3D 스캐너, 라이다 등이 있다.
먼저, RGB-D 카메라를 이용한 시각 센서는 컬러영상정보(RGB)와 Depth정보(D)를 동시에 제공하는 카메라를 이용하여 탐지영역에 대한 3D 정보를 제공한다.
RGB-D 카메라를 이용한 시각 센서들은 주로 로봇 응용분야에 활용되고 있으며, 저렴한 가격 및 높은 실시간성(30FPS 이상)의 장점이 있으나 감지 범위가 10m 이내이며 실외에서는 많은 노이즈를 포함하는 단점이 있어 특수 환경, 예컨대 해상환경에서의 응용에서는 적합하지 않다.
3D 스캐너를 이용한 시각 센서는 감지 거리가 길고, 높은 정확도 및 정밀도를 보장하며, 컬러정보가 포함된 RGB-D 포인트클라우드(pointcloud) 정보를 제공하는 장점이 있지만, 가격이 너무 고가이며 특히 실시간성 측면에서 적합하지 않다.
라이다를 이용한 시각 센서는 자율주행차량에의 응용을 주요 목적으로 실외용에 적합하게 설계되었으며, 초당 5~20Hz의 속도로 스캔이 가능하며, 감지 범위 또한 180~ 360°의 수평감지범위를 갖는 장점이 있다.
다만, 라이다의 경우 높은 수평 감지 해상도와 달리 수직 감지 해상도가 너무 낮고, RGB 데이터를 제공하지 않기 때문에 이러한 단점을 극복하기 위한 연구가 꾸준히 진행중에 있다.
대한민국 등록특허 제10-2069094호(2020.01.16.등록.)
본 발명은 라이다의 수직 방향의 틸팅을 통해 수직 감지 해상도를 높이고, 2D 카메라에 의해 촬영된 영상과 라이다에 의해 수집된 데이터를 병합하여 탐지영역에 대한 시각화 정보를 생성할 수 있는 3D 시각화 정보 생성 장치 및 이를 이용한 시각화 정보 생성 방법을 제공한다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치는 탐지 영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이(depth) 정보를 획득하기 위한 멀티채널로 구성된 라이다 센서를 포함하는 3D 시각화 정보 생성 장치에 관한 것으로서, 이를 위하여 상기 라이다 센서를 수직 방향으로 틸팅시키기 위한 틸팅 모션 구동기와, 상기 탐지 영역에 대한 촬영을 통해 영상을 획득하는 2D 정보 획득부와, 상기 라이다 센서의 수직 방향의 틸팅을 통해 획득한 수직 방향의 깊이 정보 및 상기 라이다 센서로부터 획득한 수평 방향의 깊이 정보와 상기 2D 정보 획득부로부터 제공받은 영상을 기반으로 탐지 영역에 대한 시각화 정보를 생성하는 시각화 정보 생성부를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 틸팅 모션 구동기는 상기 라이다 센서와 연결된 회전축을 통해 상기 라이다 센서를 수직 방향으로 틸팅시키는 틸팅용 액추에이터와, 상기 틸팅용 액추에이터의 위치 제어, 속도 제어 및 토크 제어를 수행하는 중앙 제어부를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 틸팅용 액추에이터는 상기 회전축의 회전각을 센싱하는 회전각 센서를 구비할 수 있다.
본 발명의 실시예에 따르면, 상기 중앙 제어부는 CAN(Controller Area Network) 통신 인터페이스를 통해 외부기기와 통신을 통해 상기 틸팅용 액추에이터의 제어를 수행할 수 있다.
본 발명의 실시예에 따르면, 상기 중앙 제어부는 상기 틸팅용 액추에이터의 제어를 위한 상기 라이다 센서의 RPM, 주파수 및 진폭 중 적어도 하나 이상의 입력 참조값이 입력됨에 따라 상기 입력 참조값에 의거하여 위치 제어용 프로파일을 생성하여 상기 틸팅용 액추에이터를 제어할 수 있다.
본 발명의 실시예에 따르면, 상기 3D 시각화 정보 생성 장치는 ROS(Robot Operating System)와의 연동을 위한 ROS 인터페이스 모듈을 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 2D 정보 획득부는 광각 렌즈, 어안 렌즈 및 IR-CUT 필터 모듈이 적용되어 영상을 촬영하는 카메라 모듈과, 상기 카메라 모듈에 의해 촬영된 영상을 처리하기 위한 임베디드 보드를 구비할 수 있다.
본 발명의 실시예에 따르면, 상기 라이다 센서는 360°의 수평 감지 범위 및 25°∼ 35°의 수직 감지 범위를 가지며, 상기 틸팅용 액추에이터는 40°∼ 50°의 범위로 상기 라이다 센서를 틸팅시킬 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치를 이용한 시각화 정보 생성 방법은 탐지 영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이(depth) 정보를 획득하기 위한 멀티채널로 구성된 라이다 센서, 상기 라이다 센서를 수직 방향으로 틸팅시키기 위한 틸팅 모션 구동기 및 상기 탐지 영역에 대한 촬영을 통해 영상을 획득하는 2D 정보 획득부를 포함하는 3D 시각화 정보 생성 장치를 이용한 시각화 정보를 생성하는 방법에 있어서, 상기 3D 시각화 정보 생성 장치의 전원이 온됨에 따라 상기 틸팅 모션 구동기의 수직 방향으로 이동시키면서 상기 틸팅 모션 구동기로부터 토크 측정값을 피드백받는 단계와, 상기 피드백받은 토크 측정값이 기 설정된 값 이상으로 증가하는 경우 상기 라이다 센서가 수직 범위의 최대 한계점으로 이동한 것으로 판단하여 상기 라이다 센서의 이동 지점을 한계점으로 설정하는 단계와, 상기 틸팅 모션 구동기를 통해 상기 라이다 센서를 영점 위치로 이동시키는 단계와, 상기 틸팅 모션 구동기의 제어를 위한 상기 라이다 센서의 RPM, 주파수 및 진폭 중 적어도 하나 이상의 사용자 입력이 입력됨에 따라 상기 라이다 센서를 수직 방향으로 틸팅시키는 단계와, 상기 수직 방향의 틸팅을 통해 상기 라이다 센서로부터 입력되는 수직 방향에 대한 깊이 정보, 수평 방향의 깊이 정보 및 상기 2D 정보 획득부에서 생성된 영상을 기반으로 상기 탐지 영역에 대한 시각화 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 사용자 입력은 CAN(Controller Area Network) 통신을 통해 연결된 외부기기로부터 입력될 수 있다.
전술한 본 발명의 실시예에 따르면, 라이다의 수직 방향의 틸팅을 통해 수직 감지 해상도를 높이고, 2D 카메라에 의해 촬영된 영상과 라이다에 의해 수집된 데이터를 병합하여 탐지영역에 대한 시각화 정보를 생성할 수 있는 3D 시각화 정보 생성 장치 및 이를 이용한 시각화 정보 생성 방법을 제공함으로써, 보다 정확한 3차원 시각화 정보를 생성할 수 있다.
도 1은 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 세부 구성을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 2D 정보 획득부의 세부 구성을 도시한 블록도이다.
도 4는 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치에서의 라이다 센서에 대한 틸팅 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 측면도이며, 도 6은 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 라이다 센서가 결합된 결합본체와 각 지지부간의 결합 관계를 설명하기 위한 도면이며, 도 7은 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 메커니컬 락 구조를 설명하기 위한 도면이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시 형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치 및 방법에 대해 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 구성을 개략적으로 도시한 블록도이며, 도 2는 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 세부 구성을 도시한 도면이며, 도 3은 본 발명의 실시예에 따른 2D 정보 획득부의 세부 구성을 도시한 블록도이며, 도 4는 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치에서의 라이다 센서에 대한 틸팅 과정을 설명하기 위한 흐름도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치(100)는 탐지 영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이(depth) 정보를 획득하기 위한 멀티채널로 구성된 라이다 센서(110), 탐지 영역에 대한 촬영을 통해 영상 정보를 획득하는 2D 정보 획득부(120), 라이다 센서(110)에 대한 전원을 공급하는 라이다 인터페이스 모듈(130), ROS(Robot Operating System)와의 연동을 위한 ROS 인터페이스 모듈(140) 및 라이다 센서(110)를 틸팅시키기 위한 틸팅 모션 구동기(200) 등으로 구성될 수 있다.
라이다 센서(110)는 탐지영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이 정보를 획득하기 위한 멀티채널로 구성될 수 있다.
또한, 라이다 센서(110)는 360°의 수평 감지 범위 및 틸팅 모션 구동기(200)에 의해 틸팅 동작하여 25°∼35°의 수직 감지 범위를 가질 수 있다.
이러한 수직 감지 범위를 가지기 위해 틸팅 모션 구동기(200)는 라이다 센서(110)를 수직 방향으로 틸팅시키기 위한 라이다 센서(110)를 포함된 결합본체(150)를 수직 방향으로 회전시키는 회전축(미도시됨)의 회전 각도를 센싱하기 위한 회전각 센서(212)를 포함한 틸팅용 액추에이터(210)를 구비할 수 있다. 특히, 본 발명의 실시예에 따른 틸팅용 액추에이터(210)는 해상도가 0.044°인 회전각 센서(212)를 구비하며, 회전각 센서(212)를 통해 0.044°간격으로 라이다 센서(110)를 수직 방향으로 틸팅시킬 수 있다.
즉, 틸팅용 액추에이터(210)는 회전축을 이용하여 라이다 센서(110)가 실장된 결합본체(150)를 상하 방향으로 회전시켜 수직 감지 범위에 해당되는 각도로 라이다 센서(110)를 틸팅시킬 수 있다. 본 발명의 실시예에서 틸팅용 액추에이터(210)의 틸트 구동 각도 범위는 40°∼ 50°가 될 수 있다.
또한, 틸팅 모션 구동기(200)는 틸팅용 액추에이터(210)의 위치, 속도 및 토크 제어를 수행하기 위한 중앙 제어부(220)를 더 구비할 수 있다.
특히, 중앙 제어부(220)는 틸팅용 액추에이터(210)의 제어를 위한 제어용 프로그램이 내장된 메모리(222)를 구비할 수 있다.
제어용 프로그램은 아래의 수학식 1을 토대로 피드백 제어를 수행할 수 있다.
[수학식 1]
Figure 112022109474980-pat00001
상기 수학식 1에서
Figure 112022109474980-pat00002
는 각도 및 각속도 참조값을,
Figure 112022109474980-pat00003
는 각각 현재 각도와 각속도를 나타내며,
Figure 112022109474980-pat00004
는 스프링 게인과 댐퍼 게인을 의미한다. 또한,
Figure 112022109474980-pat00005
를 통해 직접 원하는 토크값을 입력할 수 있다.
또한, 본 발명의 실시예에 따른 제어용 프로그램은 사용자가 설정한 주파수와 진폭에 따라 램프 함수 형태의 각도 및 각속도 참조값을 발생하는 프로파일 발생기를 더 구비할 수 있다. 여기에서, 주파수는 라이다 센서(110)의 초당 스캔 회수와 관계되며, 진폭은 라이다 센서(110)의 틸트 모션에 대한 동작 범위에 대응될 수 있다. 즉, 제어용 프로그램은 주파수와 진폭의 설정을 위한 사용자 인터페이스를 제공하며, 사용자 인터페이스를 통해 설정된 주파수와 진폭에 따라 위치 참조값을 생성한 후 이를 토대로 틸팅용 액추에이터(210)를 제어할 수 있다.
또한, 제어용 프로그램은 라이다 센서(110)의 분당 회전수(RPM)를 설정할 수 있는 사용자 인터페이스를 제공할 수 있다. 이에 따라, 주파수, 진폭, 분당 회전수 등의 사용자 입력을 통해 라이다 센서(110)의 스캔 성능이 조절될 수 있다.
한편, 제어용 프로그램은 3D 시각화 정보 생성 장치(100)의 전원이 온됨에 따라 도 4에 도시된 바와 같은 제어를 통해 틸팅 액추에이터(210)를 동작시켜 라이다 센서(110)를 틸팅시킬 수 있다.
먼저, 제어용 프로그램은 3D 시각화 정보 생성 장치(100)의 전원이 온(S400)됨에 따라 틸팅용 액추에이터(210)의 속도 제어를 통해 라이다 센서(110)를 수직 방향으로 이동시킨다(S402).
제어용 프로그램은 라이다 센서(110)의 수직 방향의 이동에 따라 틸팅용 액추에이터(210)로부터 토크 측정값을 피드백받으며(S404), 피드백받은 토크 측정값을 기 설정된 값 이상으로 증가하는지를 판단한다(S406).
S406의 판단 결과, 토크 측정값이 기 설정된 값 이상의 증가하는 경우 제어용 프로그램은 라이다 센서(110)의 최대 한계점, 즉 수직 범위의 최대 한계점까지 이동한 것으로 판단하여 라이다 센서(110)의 이동 지점을 한계점으로 설정한다(S408).
그런 다음, 제어용 프로그램은 틸팅용 액추에이터(210)를 이용하여 라이다 센서(110)를 영점 위치로 이동(S410)시킨 후 사용자 입력에 의거하여 틸팅용 액추에이터(210)를 구동시켜 라이다 센서(110)를 수직 방향으로 틸팅시킨다(S412). 여기에서, 사용자 입력은 라이다 센서(110)의 RPM, 주파수 및 진폭 중 적어도 하나 이상일 수 있다.
본 발명의 실시예에 따른 중앙 제어부(220)의 제어용 프로그램은 외부기기(300)와 통신, 예컨대 CAN(Controller Area Network) 통신을 통해 틸팅용 액추에이터(210)의 제어를 수행할 수도 있다.
한편, 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치(100)는 ROS(Robot Operating System)와의 연동을 위한 ROS 인터페이스 모듈(140)를 더 구비할 수 있다. 본 발명의 실시예에서, ROS 인터페이스 모듈(140)은 ROS 네트워크에 3D 시각화 정보 생성 장치(100)를 하나의 노드로 연결시키기 위한 것으로서, ROS 네트워크를 통해 메시지를 송신할 수 있다.
즉, ROS 인터페이스 모듈(140)은 ROS 네트워크 상에서 메시지 통신을 수행하기 위한 것으로서, 3D 시각화 정보 생성 장치(100)에서 발생되는 토픽 메시지(예컨대 라이다 데이터)를 ROS 네트워크 상에 전송할 수 있다. 이에 따라, 토픽 메시지를 구독하는 다른 노드(미도시됨), 예컨대 ROS 시각화 프로그램을 구비한 기기는 토픽 메시지 내 데이터를 화면에 출력할 수 있다.
본 발명의 실시예에 따른 시각화 정보 생성부(145)는 라이다 센서(110)의 틸팅 과정을 통해 획득한 센싱 신호와 2D 정보 획득부(120)로부터 제공받은 영상을 기반으로 3차원 시각화 정보를 생성할 수 있다. 구체적으로, 시각화 정보 생성부(145)는 라이다 센서(110)로부터 제공받은 센싱 신호의 분석을 통해 수평 방향의 깊이 정보 및 수직 방향의 깊이 정보를 생성하고, 생성한 깊이 정보와 영상을 기반으로 탐지 영역에 대한 3차원 시각화 정보를 생성할 수 있다.
한편, 본 발명의 실시예에 따른 2D 정보 획득부(120)는 광각 렌즈(122a), 어안 렌즈(122b), IR-CUT 필터 모듈(122c) 및 영상 촬영 모듈(122d)로 구성되어 3D 시각화 정보 생성 장치(100)의 하부에 고정 장착될 수 있다.
구체적으로, 2D 정보 획득부(120)는 1개의 광각 렌즈(122a), 12MP의 고화질 영상을 제공하는 영상 촬영 모듈(122d), 수평각 기준 FOV 180°로 설계된 어안 렌즈(fisheye lens)(122b) 및 주간에 IR 필터를 적용한 영상을 획득하고, 야간에는 IR 필터가 제거된 영상을 획득하기 위한 IR-CUT 필터 모듈(122c) 등으로 구성된 카메라 모듈(122)을 포함할 수 있다.
또한, 2D 정보 획득부(120)는 영상 촬영 모듈(122d)에 의해 촬영된 영상을 처리하기 위한 GPU를 탑재한 임베디드 보드(124)를 더 포함할 수 있다.
한편, 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치(100)가 3차원 시각화 정보를 생성하기 위한 구조에 대해 도 5 내지 도 7을 참조하여 설명하기로 한다.
도 5는 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 측면도이며, 도 6은 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 라이다 센서가 결합된 결합본체와 각 지지부간의 결합 관계를 설명하기 위한 도면이며, 도 7은 본 발명의 실시예에 따른 3D 시각화 정보 생성 장치의 메커니컬 락 구조를 설명하기 위한 도면이다.
도 5 내지 도 7에 도시된 바와 같이, 3D 시각화 정보 생성 장치(100)는 결합본체(150), 제 1 및 제 2 지지부(160, 170), 바닥용 본체(180) 등으로 구성될 수 있다.
결합본체(150)에는 라이다 센서(110)가 장착될 수 있다. 구체적으로, 결합본체(150)는 탐지 영역을 탐지하기 위한 라이다 센서(110)의 후면부 일부가 결합되며, 제 1 및 제 2 지지부(160, 170) 각각에 결합되기 위한 제 1 및 제 2 결합홀(152, 154)을 구비할 수 있다.
본 발명의 실시예에 따른 결합본체(150)에 장착되는 라이다 센서(110)는 탐지 영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이(depth) 정보를 획득하기 위한 것으로서, 멀티채널로 구성될 수 있다.
본 발명의 실시예에 따른 결합본체(150)는 제 1 및 제 2 결합홀(152, 154)을 통해 결합된 제 1 및 제 2 지지부(160, 170) 중 어느 하나의 내부에 설치된 틸팅용 액추에이터(210)에 의해 틸팅되어 결합된 라이다 센서(110)를 틸팅시킬 수 있다.
이를 위하여 제 1 결합홀(152)은 제 1 지지부(160)의 제 1 베어링축(162)에 결합되고, 제 2 결합홀(154)은 제 2 지지부(170)의 제 2 베어링축(172)에 결합될 수 있다.
또한, 제 1 및 제 2 베어링축(162, 172)은 결합본체(150)가 회전 가능하도록 제 1 및 제 2 결합홀(152, 154)에 결합될 수 있다.
제 1 베어링축(162)에는 제 1 지지부(160)의 내부에 설치된 틸팅용 액추에이터(210)와 연결될 수 있다. 이에 따라, 틸팅용 액추에이터(210)는 구동에 따라 제 1 베어링축(162)을 회전시켜 제 1 베어링축(162)에 연결된 결합본체(150)를 틸팅시킬 수 있다.
제 1 및 제 2 지지부(160, 170)는 결합본체(150)가 지면으로 소겅 간격만큼 이격되도록 지지할 수 있다. 구체적으로, 제 1 및 제 2 지지부(160, 170)는 결합본체(150)와 바닥용 본체(180)간을 연결시키되, 결합본체(150)가 바닥용 본체(180)로부터 소정 간격만큼 이격된 위치되도록 결합본체(150)와 바닥용 본체(180)를 연결시킬 수 있다. 여기에서, 결합본체(150)와 바닥용 본체(180)간의 이격되는 간격은 라이다 센서(110)의 틸팅 각도에 의해 결정될 수 있다.
바닥용 본체(180)는 제 1 및 제 2 지지부(160, 170)의 하부와 연결되어 제 1 및 제 2 지지부(160, 170)를 고정시키며, 전면부에는 탐지 영역에 대한 촬영을 통해 영상을 획득하기 위한 카메라 모듈(120)이 장착될 수 있다.
본 발명의 실시예에서, 제 1 지지부(160)의 내부에 설치된 틸팅용 액추에이터(210)는 틸팅 모션 구동기(200)에 의해 동작될 수 있다. 여기에서, 틸팅 모션 구동기(200)는 제 1 지지부(160)의 내부에 형성될 수 있다.
또한, 결합본체(150)와 바닥용 본체(180)의 사이 공간에는 틸팅 모션 구동기(200)의 동작에 필요한 전원 및 신호를 제공할 수 있는 라이다 인터페이스 모듈(130)이 배치될 수 있다. 즉, 라이다 인터페이스 모듈(130)은 라이다 센서(110)의 구동에 필요한 전원 및 신호를 제공할 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 3D 시각화 정보 생성 장치
110 : 라이다 센서
120 : 2D 정보 획득부
130 : 라이다 인터페이스 모듈
140 : ROS 인터페이스 모듈
145 : 시각화 정보 생성부
200 : 틸팅 모션 구동기

Claims (10)

  1. 탐지 영역에 레이저 신호를 조사하여 반사되는 신호를 기반으로 깊이(depth) 정보를 획득하기 위한 멀티채널로 구성된 라이다 센서를 포함하는 3D 시각화 정보 생성 장치에 있어서,
    상기 라이다 센서를 수직 방향으로 틸팅시키기 위한 틸팅 모션 구동기와,
    상기 탐지 영역에 대한 촬영을 통해 영상을 획득하는 2D 정보 획득부와,
    상기 라이다 센서의 수직 방향의 틸팅을 통해 획득한 수직 방향의 깊이 정보 및 상기 라이다 센서로부터 획득한 수평 방향의 깊이 정보와 상기 2D 정보 획득부로부터 제공받은 영상을 기반으로 탐지 영역에 대한 시각화 정보를 생성하는 시각화 정보 생성부를 포함하고,
    상기 라이다 센서는 360°의 수평 감지 범위 및 상기 틸팅 모션 구동기에 의해 틸팅 동작하여 25°~ 35°의 수직 감지 범위를 가지며,
    상기 틸팅 모션 구동기는,
    상기 라이다 센서와 연결된 회전축을 통해 상기 라이다 센서를 수직 방향으로 틸팅시키는 틸팅용 액추에이터와,
    상기 틸팅용 액추에이터의 위치 제어, 속도 제어 및 토크 제어를 수행하는 중앙 제어부를 포함하고,
    상기 틸팅용 액추에이터는 해상도가 0.044°인 회전각 센서를 구비하며, 회전각 센서를 통해 0.044°간격으로 라이다 센서를 수직방향으로 틸팅하고, 틸팅용 액추에이터는 40°~ 50°의 범위로 상기 라이다 센서를 틸팅시키는 3D 시각화 정보 생성 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 틸팅용 액추에이터는 상기 회전축의 회전각을 센싱하는 회전각 센서를 구비하는 3D 시각화 정보 생성 장치.
  4. 제1항에 있어서,
    상기 중앙 제어부는,
    CAN(Controller Area Network) 통신 인터페이스를 통해 외부기기와 통신을 통해 상기 틸팅용 액추에이터의 제어를 수행하는 3D 시각화 정보 생성 장치.
  5. 제1항에 있어서,
    상기 중앙 제어부는,
    상기 틸팅용 액추에이터의 제어를 위한 상기 라이다 센서의 RPM, 주파수 및 진폭 중 적어도 하나 이상의 입력 참조값이 입력됨에 따라 상기 입력 참조값에 의거하여 위치 제어용 프로파일을 생성하여 상기 틸팅용 액추에이터를 제어하는 3D 시각화 정보 생성 장치.
  6. 제1항에 있어서,
    상기 3D 시각화 정보 생성 장치는,
    ROS와의 연동을 위한 ROS 인터페이스 모듈을 더 포함하는 3D 시각화 정보 생성 장치.
  7. 제1항에 있어서,
    상기 2D 정보 획득부는,
    광각 렌즈, 어안 렌즈 및 IR-CUT 필터 모듈이 적용되어 영상을 촬영하는 카메라 모듈과,
    상기 카메라 모듈에 의해 촬영된 영상을 처리하기 위한 임베디드 보드를 구비하는 3D 시각화 정보 생성 장치.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020220133823A 2022-10-18 2022-10-18 3d 시각화 정보 생성 장치 KR102580181B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220133823A KR102580181B1 (ko) 2022-10-18 2022-10-18 3d 시각화 정보 생성 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220133823A KR102580181B1 (ko) 2022-10-18 2022-10-18 3d 시각화 정보 생성 장치

Publications (1)

Publication Number Publication Date
KR102580181B1 true KR102580181B1 (ko) 2023-09-18

Family

ID=88196281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220133823A KR102580181B1 (ko) 2022-10-18 2022-10-18 3d 시각화 정보 생성 장치

Country Status (1)

Country Link
KR (1) KR102580181B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102069094B1 (ko) 2018-10-24 2020-01-22 주식회사 인포웍스 라이다 센서를 이용한 연기 상황 속 공간탐지 방법
KR20200143228A (ko) * 2019-06-14 2020-12-23 고려대학교 산학협력단 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
JP2021112408A (ja) * 2020-01-20 2021-08-05 パナソニックＩｐマネジメント株式会社 保持装置
KR20210119080A (ko) * 2020-03-24 2021-10-05 한국전자통신연구원 2차원 라이다를 이용한 3차원 데이터 수집 장치
KR20220078447A (ko) * 2020-12-03 2022-06-10 한국전자통신연구원 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102069094B1 (ko) 2018-10-24 2020-01-22 주식회사 인포웍스 라이다 센서를 이용한 연기 상황 속 공간탐지 방법
KR20200143228A (ko) * 2019-06-14 2020-12-23 고려대학교 산학협력단 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
JP2021112408A (ja) * 2020-01-20 2021-08-05 パナソニックＩｐマネジメント株式会社 保持装置
KR20210119080A (ko) * 2020-03-24 2021-10-05 한국전자통신연구원 2차원 라이다를 이용한 3차원 데이터 수집 장치
KR20220078447A (ko) * 2020-12-03 2022-06-10 한국전자통신연구원 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법

Similar Documents

Publication Publication Date Title
CN109556577B (zh) 用于空中非破坏性检查的定位系统
US7551771B2 (en) Methods, systems, and computer program products for acquiring three-dimensional range information
JP6596745B2 (ja) 対象物体を撮像するシステム
US8125512B2 (en) System and method for moving object selection in a handheld image capture device
WO2019128070A1 (zh) 目标跟踪方法及装置、移动设备及存储介质
US8896697B2 (en) Video motion compensation and stabilization gimbaled imaging system
US20130317649A1 (en) Nodding Mechanism For A Single-Scan Sensor
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
CN111226154B (zh) 自动对焦相机和系统
JPH09187038A (ja) ３次元形状抽出装置
US20070076089A1 (en) Systems and methods for 3-D imaging
US20200003624A1 (en) Tracking and ranging system and method thereof
Son et al. A lightweight and cost-effective 3D omnidirectional depth sensor based on laser triangulation
KR102580181B1 (ko) 3d 시각화 정보 생성 장치
KR101600699B1 (ko) 비행 촬영 시스템 및 그 운용 방법
JP2011521277A (ja) 撮像装置の動きを補償する方法及び装置
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US10979687B2 (en) Using super imposition to render a 3D depth map
KR20240053827A (ko) 3d 시각화 정보 생성 장치
KR102241997B1 (ko) 위치 판단 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20190119231A (ko) 위치 보정 기능이 향상된 주행 제어장치 및 이를 이용한 로봇 청소기
JP2022057277A (ja) 測量システム
JP2021097268A (ja) 制御装置、移動体および制御方法
CN112789019B (zh) 一种轮椅控制方法及系统
EP0895411A2 (en) An imaging system

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant