KR20230126107A - 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템 - Google Patents

이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템 Download PDF

Info

Publication number
KR20230126107A
KR20230126107A KR1020220023207A KR20220023207A KR20230126107A KR 20230126107 A KR20230126107 A KR 20230126107A KR 1020220023207 A KR1020220023207 A KR 1020220023207A KR 20220023207 A KR20220023207 A KR 20220023207A KR 20230126107 A KR20230126107 A KR 20230126107A
Authority
KR
South Korea
Prior art keywords
calibration
sensor
camera
center point
deviation
Prior art date
Application number
KR1020220023207A
Other languages
English (en)
Inventor
장용준
Original Assignee
주식회사 경우시스테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 경우시스테크 filed Critical 주식회사 경우시스테크
Priority to KR1020220023207A priority Critical patent/KR20230126107A/ko
Publication of KR20230126107A publication Critical patent/KR20230126107A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템에 관한 것이다.
본 발명의 실시예에 따른 이종 광학센서 캘리브레이션 방법은, 카메라 센서 및 레이저 스캐닝 센서를 포함하는 이종 광학센서 모니터링 시스템의 이종 광학센서 캘리브레이션 방법에 있어서, 카메라 센서 및 레이저 스캐닝 센서의 캘리브레이션가 개시되는 캘리브레이션 모드 개시 단계; 상기 레이저 스캐닝 센서에서, 전체 영역 중 국소 영역에 대하여 레이저를 조사하여, 마킹 유닛을 생성하는 국소영역 레이저 조사 단계; 상기 국소영역 레이저 조사 단계에서 생성된 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 중심점을 상호 보정하는 중심점 캘리브레이션 단계; 상기 국소영역 레이저 조사 단계에서 생성된 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 기울어짐을 상호 보정하는 각도 캘리브레이션 단계를 포함한다.

Description

이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템{CALLIBRATION METHOD FOR HETEROGENOUS OPTICAL SENSOR AND MONITORING SYSTEM USING THEREWITH}
본 발명은 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템에 관한 것이다.
최근 센싱 기술의 발달과 더불어 카메라, 라이다, 레이더 등의 센서를 사용한 멀티 센서 데이터 융합 및 데이터 통합 기술에 관심이 증가하였다. 특히 로봇이나 자율주행 시스템은 센서 간의 상호 보완을 통한 안정적 이동성 이 중요한 이슈로 대두되었다. 최근 개발된 센서 융합 기술을 통해 각 센서들의 장점을 융합함으로써 개별 센서의 단점을 극복할 수 있고, 안정적 이동에 대한 이슈를 충분히 해결 가능하게 되었다.
또한 이종의 센서를 융합함으로써 자율주행 차량의 주변 환경 및 자신의 현재 위치 등의 다양한 정보를 제공할 수 있다. 예를 들어, 고속 라이다(LiDAR)와 같은 거리 측정 센서는 다양한 로봇 탐색 작업을 위해 RGB카메라와 함께 사용할 수 있다. 라이다 센서는 물체에 대한 3D 위치 및 깊이 정보를 제공할 수 있는 반면 RGB 카메라는 2D 위치 및 색상 정보를 제공한다. 따라서 2D 영상 데이터에 3D 위치 정보를 맵핑함으로써 보다 현실 세계 속의 객체를 시각화 할 수 있다. 이를 위해서는 이종 센서 간의 상대 위치 및 방향을 파악하는 작업이 선행되어야 한 다. 따라서 최근 센서 융합 기술이 다양한 분야에 적용됨에 따라 센서 간의 캘리브레이션 이슈가 중요하게 대두되고 있다.
특히, 자율주행 차량에서 카메라와 라이다를 이용한 인지 기술 개발을 위해서는 우선적으로 카메라와 라이다 사 이의 상대적 위치(자세 및 방향 정보 포함)에 대한 정확한 정보가 필요하므로 캘리브레이션 기술이 매우 중요하다. 카메라와 라이다 센서 데이터를 융합하기 위해서는 객체를 빠르고 정확하게 탐지할 수 있는 마커 유형을 고 려하는 작업이 캘리브레이션을 위해 가장 먼저 선행되어야 한다. 대부분의 연구에서는 카메라와 라이다 간에 캘 리브레이션을 수행하기 위해, 체커 보드나 상자 등의 평면을 사용한다.
이때 3D 라이다 포인터를 카메라 2D 이미지에 맵핑하여 내부 파라미터와 외부 파라미터를 찾음으로써 캘리브레이션 작업을 수행하였다. 이 방법들은 평면의 위치 변화나 이종 센서 사이의 위치 변화가 있을 때마다 측정 오차를 유발하거나 캘리브레이션 결과에 영향을 미친다.
특히, 이종 센서 간의 위치 변화가 커지면 평면의 모서리를 정확히 찾아내는 것이 어려우므로 이종 센서 간의 캘리브레이션이 어려워진다. 또한 상이한 패턴 및 컬러를 갖는 원거리 목표물은 센서 특성에 따라 서로 다른 캘리브레이션 결과를 생성할 수도 있다.
한국특허등록 제10-2054455호(2019.12.04)
이에 본 발명은 보다 높은 캘리브레이션 효율을 갖는 이종 광학센서 캘리브레이션 방법을 제공하고자 한다.
본 발명의 실시예의 일 측면에 따른 이종 광학센서 캘리브레이션 방법은, 카메라 센서 및 레이저 스캐닝 센서를 포함하는 이종 광학센서 모니터링 시스템의 이종 광학센서 캘리브레이션 방법에 있어서, 카메라 센서 및 레이저 스캐닝 센서의 캘리브레이션이 개시되는 캘리브레이션 모드 개시 단계; 상기 레이저 스캐닝 센서에서, 전체 영역 중 국소 영역에 대하여 레이저를 조사하여, 마킹 유닛을 생성하는 국소영역 레이저 조사 단계; 상기 국소영역 레이저 조사 단계에서 생성된 상기 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 중심점을 상호 보정하는 중심점 캘리브레이션 단계; 상기 국소영역 레이저 조사 단계에서 생성된 상기 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 기울어짐을 상호 보정하는 각도 캘리브레이션 단계를 포함한다.
또한, 상기 국소영역 레이저 조사 단계는, 기설정된 캘리브레이션 시간 동안 수행되며, 상기 마킹 유닛은 적어도 2 이상의 마킹 닷(dot)을 포함하고, 상기 카메라 센서는, 상기 캘리브레이션 시간 동안 복수의 카메라 데이터들을 생성하며, 상기 캘리브레이션 시간 동안 각 카메라 데이터들에 촬영된 적어도 하나의 상기 마킹 닷이 누적되어 상기 마킹 유닛이 배치되는 교정 대상 데이터가 생성될 수 있다.
또한, 상기 마킹 유닛은, 복수의 마킹 닷들의 좌표에 기초하여 선형으로 형성되며, 상기 마킹 유닛과 상기 마킹 닷들 간의 편차들의 합은 0으로 형성되고, 상기 마킹 유닛은 복수 개로 형성되며, 각 마킹 유닛들은 상호 간에 평행하게 배치될 수 있다.
또한, 복수의 상기 마킹 유닛들은 하나의 기설정된 면적을 갖는 하나의 마킹 그룹을 형성하고, 상기 중심점 캘리브레이션 단계 및 상기 각도 캘리브레이션 단계에서, 상기 교정 대상 데이터에 형성되는 상기 마킹 유닛들에 의한 상기 마킹 그룹에 기초하여, 상기 중심점 및 상기 각도를 보정할 수 있다.
또한, 상기 레이저 스캐닝 센서의 화각은, 상기 카메라 센서의 화각보다 크게 형성되며, 상기 국소영역에 형성되는 상기 마킹 유닛의 폭은 상기 카메라 센서의 상기 화각보다 작게 형성될 수 있다.
또한, 상기 캘리브레이션 모드 개시 단계가 수행되기 전, 상기 레이저 스캐닝 센서에서 조사되는 상기 레이저의 조사 화각은, 상기 국소영역 레이저 조사 단계에서 상기 레이저 스캐닝 센서에서 조사되는 상기 레이저의 조사 화각보다 크게 형성되며, (1) 상기 레이저 스캐닝 센서가 상기 레이저의 조사 화각을 변경하거나, (2) 상기 국소영역 레이저 조사 단계에서, 상기 레이저 스캐닝 센서의 레이저 조사부에 상기 레이저의 조사 화각을 제한하기 위한 쉐이딩 유닛이 설치될 수 있다.
또한, 상기 캘리브레이션 모드에서, 상기 카메라 센서는 가시광 영역 및 비가시광 영역의 광을 수광할 수 있도록 설정되며, 상기 캘리브레이션 모드가 개시되기 전 또는 상기 캘리브레이션 모드가 종료되면 상기 카메라 센서는 상기 가시광 영역의 광을 수광하고, 상기 비가시광 영역의 광은 필터링할 수 있다.
또한, 상기 중심점 캘리브레이션 단계는, 상기 교정 대상 데이터에 포함되는 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점이 일치되는 지 여부를 판단하는 중심점 일치 여부 판단 단계와, 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점이 상호 일치되지 않는 경우, 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점 간의 측정 중심 편차를 기준 중심 편차와 비교하는 기준 중심 편차 비교 단계와, 상기 기준 중심 편차 비교 단계에서, 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점 간의 상기 측정 중심 편차가 상기 기준 중심 편차와 같거나 상기 기준 중심 편차보다 작은 경우, 상기 측정 중심 편차에 기초하여 상기 상기 마킹 유닛와 상기 카메라 데이터의 상기 중심점을 매칭시키는 중심점 매칭 단계를 포함할 수 있다.
또한, 상기 중심점 캘리브레이션 단계는, 상기 기준 중심 편차 비교 단계에서, 상기 마킹 유닛의 상기 중심점과 상기 카메라 데이터의 상기 중심점 간의 상기 측정 중심 편차가 상기 기준 중심 편차보다 큰 경우, 상기 측정 중심 편차가 상기 기준 편차와 같거나 작아지는 방향으로 상기 카메라 센서 또는 상기 레이저 스캐닝 센서의 움직임을 가이드하는 중심점 캘리브레이션 가이드 단계를 더 포함할 수 있다.
또한, 상기 각도 캘리브레이션 단계는, 상기 교정 대상 데이터에 포함되는 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선이 일치되는 지 여부를 판단하는 수평선 일치 여부 판단 단계와, 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선이 상호 일치되지 않는 경우, 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선 간의 측정 각도 편차를 기준 각도 편차와 비교하는 기준 각도 편차 비교 단계와, 상기 기준 각도 편차 비교 단계에서, 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선 간의 상기 측정 각도 편차가 상기 기준 각도 편차와 같거나 상기 기준 각도 편차보다 작은 경우, 상기 측정 각도 편차에 기초하여 상기 레이저 스캐닝 데이터와 상기 카메라 데이터의 상기 수평선을 매칭시키는 수평선 매칭 단계를 포함할 수 있다.
또한, 상기 각도 캘리브레이션 방법은, 상기 기준 각도 편차 비교 단계에서, 상기 마킹 유닛의 상기 수평선과 상기 카메라 데이터의 상기 수평선 간의 상기 측정 각도 편차가 상기 기준 각도 편차보다 큰 경우, 상기 측정 각도 편차가 상기 기준 편차와 같거나 작아지는 방향으로 상기 카메라 센서 또는 상기 레이저 스캐닝 센서의 움직임을 가이드하는 각도 캘리브레이션 가이드 단계를 더 포함할 수 있다.
또한, 상기 중심점 캘리브레이션 단계 및 상기 각도 캘리브레이션 단계에서 각각 생성되는 측정 중심 편차에 대한 중심 오프셋 데이터 및 측정 각도 편차에 대한 각도 오프셋 데이터와, 캘리브레이션 수행 시각을 저장하는 캘리브레이션 데이터 기록 단계;를 더 포함하고, 복수의 상기 수행 시각 별 상기 중심 오프셋 데이터 및 상기 각도 오프셋 데이터의 크기 변화에 기초하여, 다음 번 캘리브레이션 수행 시점을 연산할 수 있다.
또한, 상기 중심점 캘리브레이션 단계가 수행된 다음, 상기 각도 캘리브레이션 단계가 수행될 수 있다.
본 발명의 실시예의 다른 측면에 따른 모니터링 시스템은, 카메라 센서 및 레이저 스캐닝 센서를 포함하며, 카메라 센서 및 레이저 스캐닝 센서의 캘리브레이션이 개시되는 캘리브레이션 모드 개시 단계; 상기 레이저 스캐닝 센서에서, 전체 영역 중 국소 영역에 대하여 레이저를 조사하여, 마킹 유닛을 생성하는 국소영역 레이저 조사 단계; 상기 국소영역 레이저 조사 단계에서 생성된 상기 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 중심점을 상호 보정하는 중심점 캘리브레이션 단계; 상기 국소영역 레이저 조사 단계에서 생성된 상기 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 기울어짐을 상호 보정하는 각도 캘리브레이션 단계를 포함하는 이종 광학센서 캘리브레이션 방법을 수행한다.
제안되는 실시예에 의하면, 별도의 교정 객체 없이 이종광학 센서의 캘리브레이션을 수행할 수 있는 장점이 있다.
도 1은, 본 발명의 실시예에 따른 이종 광학 센서 캘리브레이션 방법을 수행하는 이종 광학센서 모니터링 시스템을 보여주는 도면이다.
도 2는, 도 1의 이종 광학센서 모니터링 시스템에서, 카메라 센싱 데이터와 레이저 스캐닝 데이터가 상호 일치된 상태를 보여주는 도면이다.
도 3은, 도 1의 이종 광학센서 모니터링 시스템에서, 카메라 센싱 데이터와 레이저 스캐닝 데이터 상호 간에 틀어짐이 발생된 상태를 보여주는 도면이다.
도 4 내지 도 6은, 도 3의 이종 광학센서 모니터링 시스템에서 틀어짐이 발생된 카메라 센싱 데이터와 레이저 스캐닝 데이터를 상호 간에 캘리브레이션 하는 과정을 보여주는 도면이다.
도 7은 도 1의 이종 광학 센서 캘리브레이션 방법을 보여주는 도면이다.
도 8은 본 발명의 다른 실시예에 따른 이종 광학 캘리브레이션 방법에 의하여 카메라 센싱 데이터와 레이저 스캐닝 데이터가 캘리브레이션되는 과정을 보여주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
한편, 본 발명의 명세서에서 구체적으로 언급되지 않은 본 발명의 기술적 특징에 의해 기대될 수 있는 잠정적인 효과는 본 명세서에 기재된 것과 같이 취급되며, 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해 제공된 것인바, 도면에 도시된 내용은 실제 발명의 구현모습에 비해 과장되어 표현될 수 있으며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성의 상세한 설명은 생략하거나 간략하게 기재한다.
이하에서는 첨부되는 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은, 본 발명의 실시예에 따른 이종 광학 센서 캘리브레이션 방법을 수행하는 이종 광학센서 모니터링 시스템을 보여주는 도면이다.
본 발명의 실시예에 따른 이종 광학센서 캘리브레이션 방법을 수행하는 이종 광학센서 모니터링 시스템(100)은, 색상 정보를 포함하고 평면에 대한 이미지 데이터인 카메라 센싱 데이터를 생성하는 카메라 센서(110)와, 비가시광 대역의 레이저 광을 조사하여 사물에 대한 거리 정보를 포함하는 레이저 스캐닝 데이터를 생성하는 레이저 스캐닝 센서(120)를 포함한다.
카메라 센서(110)는, CMOS 이미지 센서 등과 같은 이미지 센싱칩이 설치된 카메라 센서 본체(111)와, 외부로부터 광을 수광하여 상기 이미지 센싱칩으로 광을 전달하는 렌즈부(112)와, 렌즈부(112)의 전방에 배치되며 선택적으로 가시광 대역만이 렌즈부(112)로 전달되도록 하거나 가시광 대역의 광 및 비가시광 대역의 광, 보다 상세히 자외선 대역의 광, 또는 적외선 대역의 광,이 모두 렌즈부(112)로 전달되도록 하는 필터부(113)를 포함한다.
필터부(113)에는 다수의 필터 유닛이 배치되어, 사용자가 상기 필터 유닛 중 일부 유닛을 제거 또는 설치하거나 모니터링 시스템(100)의 제어에 의하여, 상기 필터 유닛이 교체될 수 있다.
한편, 본 실시예에서는 물리적인 필터부(113)에 의하여 상기 가시광 대역 광 또는 비가시광 대역의 광의 투과가 조절되는 구성으로 설명되고 있으나, 카메라 센서 본체(111)에서 알고리즘에 의하여 상기 가시광 대역의 광 또는 상기 비가시광 대역의 광을 구분하는 구성 또한 본 발명의 실시예에 포함된다.
레이저 스캐닝 센서(120)는 비가시광 대역의 레이저 광을 생성하여 외부로 상기 레이저 광을 방사시키는 레이저 조사부와, 상기 레이저 조사부에서 방사되는 상기 레이저 광이 외부의 사물에 반사된 반사광을 수광하는 수광부를 포함한다.
레이저 스캐닝 센서(120)는 예시적으로 LIDAR(light detection and ranging)일 수 있으며, 레이저 스캐닝 센서(120)와 상기 사물과의 거리 또는 사물의 표면 윤곽 등에 대한 정보를 포함하는 상기 레이저 스캐닝 데이터를 생성한다. 레이저 스캐닝 센서(120)는 동시에 발산 및 수신되는 포트 수에 따라 단일 채널 또는 복수 채널로 형성될 수 있다.
이때, 레이저 스캐닝 센서(120)에 의하여 생성되는 상기 레이저 스캐닝 데이터의 화각(RL)는 카메라 센서(110)에 의하여 생성되는 상기 카메라 센싱 데이터의 화각(RC)보다 크게 형성된다. 예시적으로 상기 레이저 스캐닝 데이터의 화각은(RL) 180 도 내지 360 도의 범위로 형성될 수 있으며, 상기 카메라 센싱 데이터의 화각(RC)은 90도 내지 180도의 범위로 형성될 수 있다.
한편, 본 발명의 실시예에 따른 모니터링 시스템(1)은, 상기 카메라 센싱 데이터 및 상기 레이저 스캐닝 데이터, 즉 이종 광학 센싱 데이터에 기반하여, 모니터링 시스템(100)의 외부 사물을 인지하고, 상기 사물과의 거리를 파악할 수 있다. 다만, 카메라 센서(110) 및 레이저 스캐닝 센서(120)가 별도의 센서 장치로 마련되며, 설치 위치의 차이 및 설치 각도의 차이로 인하여, 생성되는 상기 카메라 센싱 데이터 및 상기 레이저 스캐닝 데이터 상호 간의 공간적인 위치 정합, 즉 캘리브레이션이 요구된다.
모니터링 시스템(100)이 설치된 상태에서, 별도의 교정 객체를 이용하여 캘리브레이션을 수행하는 발명들이 제안되고 있으나, 이후 모니터링 시스템(100)이 외부에서 사용되는 과정에서 외력 또는 사용환경에 따라 카메라 센서(110) 및 레이저 스캐닝 센서(120)의 설치 각도 또는 설치 위치의 미세한 변화로 인하여, 상기 카메라 센싱 데이터 및 상기 레이저 스캐닝 데이터 간의 정합이 어긋나게 되는 경우, 다시 작업자에 의하여 외부 교정객체에 의한 캘리브레이션 작업을 별도로 수행하여야 하는 번거로움이 있다.
이에, 본 발명은, 외부 교정객체를 이용하지 않고, 모니터링 시스템(100) 내에서 상기 카메라 센싱 데이터 및 상기 레이저 스캐닝 데이터의 정합이 이루어지도록 하는 이종 광학센서 캘리브레이션 방법을 제안한다.
도 2는, 도 1의 이종 광학센서 모니터링 시스템에서, 카메라 센싱 데이터와 레이저 스캐닝 데이터가 상호 일치된 상태를 보여주는 도면이다.
도 2를 참조하면, 카메라 센싱 데이터(210)와, 레이저 스캐닝 데이터(220)가 상호 간에 정합된 상태가 도시된다.
카메라 센싱 데이터(210)와, 레이저 스캐닝 데이터(220)가 상호 정합되면, 카메라 센싱 데이터(210)의 제1 중심점(C1)과, 제1 수직축(Y1)과, 제1 수평축(X1)은 각각 레이저 스캐닝 데이터(220)의 제2 중심점(C2)과, 제2 수직축(Y2)과 제2 수평축(X2)과 일치된다.
도 3은, 도 1의 이종 광학센서 모니터링 시스템에서, 카메라 센싱 데이터와 레이저 스캐닝 데이터 상호 간에 틀어짐이 발생된 상태를 보여주는 도면이다.
도 3을 참조하면, 모니터링 시스템(100)이 최초 설치된 상태 또는 최초 캘리브레이션 이후 사용 과정에서 센서(110, 120)들 간의 틀어짐이 발생되면, 상기 카메라 센싱 데이터 및 상기 레이저 스캐닝 데이터의 정합이 어긋나게 된다.
예시적으로, 카메라 센싱 데이터(210)를 기준으로, 레이저 스캐닝 데이터(220)의 제2 중심점(C2)는 제1 중심점(C1)과 제1 거리(d)만큼 이격되었으며, 제2 수평축(X2)은 제1 수평축(X1)과 제1 각도(θ)만큼 틀어지게 형성된다.
도 3에 도시된 바와 같이, 모니터링 시스템(100)의 카메라 센싱 데이터(210) 및 레이저 스캐닝 데이터(220) 간의 정합이 어긋나면, 외부 사물에 대한 감지 정확도가 저하되며, 감지 오류가 발생될 수 있다.
이하에서는 이를 해소하기 위한 이종 광학센서 캘리브레이션 방법을 상세하게 설명한다.
도 4 내지 도 6은, 도 3의 이종 광학센서 모니터링 시스템에서 틀어짐이 발생된 카메라 센싱 데이터와 레이저 스캐닝 데이터를 상호 간에 캘리브레이션 하는 과정을 보여주는 도면이다.
먼저, 도 4를 참조하면, 캘리브레이션이 개시되기 전, 카메라 센서(110)는 상기 카메라 센서는 상기 가시광 영역의 광을 수광하고, 상기 비가시광 영역의 광은 필터링 한다. 그리고, 캘리브레이션이 개시되면, 카메라 센서(110)는 가시광 영역 및 비가시광 영역의 광을 수광할 수 있도록 설정된다.
그리고, 상기 캘리브레이션 모드 개시 단계가 수행되기 전, 레이저 스캐닝 센서(120)에서 조사되는 상기 레이저의 조사 화각은 상기 카메라 센서(110)의 카메라 센싱 데이터(210)의 화각보다 크게 형성된다.
캘리브레이션이 개시되면, 레이저 스캐닝 센서(120)에서, 전체 영역 중 국소 영역에 대하여 레이저를 조사하여, 마킹 유닛(310)을 생성한다. 이때, 상기 국소 영역의 크기, 즉 국소 영역의 화각은 카메라 센싱 데이터(210)의 화각보다 작게 형성된다. 따라서, 마킹 유닛(310)은 카메라 센싱 데이터(210)에 모두 표시될 수 있다. 이때, 상기 국소영역 레이저 조사 단계에서 상기 레이저 스캐닝 센서에서 조사되는 상기 레이저의 조사 화각은, 상기 캘리브레이션 모드 개시 단계가 수행되기 전, 상기 레이저 스캐닝 센서에서 조사되는 상기 레이저의 조사 화각보다 작게 형성된다. 레이저 스캐닝 센서(120)는 캘리브레이션이 개시되면, 상기 레이저의 조사 화각을 변경할 수 있다. 또한, 상기 국소영역 레이저 조사 단계에서, 레이저 스캐닝 센서(120)의 상기 레이저 조사부에 상기 레이저의 조사 화각을 제한하기 위한 쉐이딩 유닛이 설치되어, 상기 국소 영역을 제외한 다른 영역에 상기 레이저 유닛이 조사되는 것을 방지하는 구성도 가능하다.
카메라 센서(110)는 가시광 및 비가시광 영역의 광을 모두 수광할 수 있으며, 상기 비가시광 영역의 레이저에 의하여 형성되는 마킹 유닛(310)들은 카메라 센싱 데이터(210)에 생성된다.
한편, 레이저 스캐닝 센서(120)가 상기 국소영역에 대하여 레이저를 조사하는 과정은, 기설정된 캘리브레이션 시간 동안 수행되며, 마킹 유닛(310)은 적어도 2 이상의 마킹 닷(dot)(320a ~ 320f)을 포함한다. 마킹 닷(320a ~ 320f)들은 각각 한 시점에 조사된 다음 반사되어 레이저 스캐닝 센서(120)에 입사된 광을 의미하며, 카메라 센싱 데이터(210) 내에 점의 형태로 형성된다. 그리고, 카메라 센서(110)는, 상기 캘리브레이션 시간 동안 복수의 카메라 데이터(210)들을 생성하며, 상기 캘리브레이션 시간 동안 각 카메라 데이터들에 촬영된 적어도 하나의 상기 마킹 닷(320a ~ 320f)이 누적되어 상기 마킹 유닛(310)이 배치되는 교정 대상 데이터(300)가 생성된다. 한편, 모니터링 시스템(100)이 움직이지 않는 경우, 카메라 데이터(210)들은 모두 동일하게 형성되며, 복수의 카메라 데이터(210) 들 중 하나의 카메라 데이터(210)에 기준으로 마킹 유닛(310)이 포함되는 교정 대상 데이터(300)가 배치된다.
이때, 마킹 유닛(310)은, 복수의 마킹 닷(320a ~ 320f)들의 좌표에 기초하여 선형으로 형성되며, 마킹 유닛(310)과 마킹 닷들(320a ~ 320f) 간의 편차들의 합은 0으로 형성된다. 즉, 마킹 유닛(310)은 마킹 닷들(320a ~ 320f) 간의 편차들의 합이 0이 되는 지점을 연결시킨 하나의 선으로 형성된다.
하나의 카메라 데이터(210) 내에 교정 대상 데이터(300)가 표시되면, 모니터링 시스템(100)은 교정 대상 데이터(300)의 마킹 유닛(310)의 중심점(C2)과, 카메라 데이터(210)의 중심점(C1)이 일치되는 지 여부를 판단한다. 이때, 마킹 유닛(310)의 중심점(C2)은 레이저 스캐닝 센서(110)의 중심점(C2)과 동일하게 형성된다.
도 4에 도시된 바와 같이, 마킹 유닛(310)의 중심점(C2)과 카메라 센싱 데이터(210)의 중심점(C1)이 일치되지 않으면 모니터링 시스템(100)은 중심점 캘리브레이션은 수행한다.
그 다음, 도 5를 참조하면, 상기 국소영역 레이저 조사 단계에서 생성된 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 중심점을 상호 보정하는 중심점 캘리브레이션 단계가 수행된다.
즉, 마킹 유닛(310)의 중심점(C2)과 카메라 센싱 데이터(C1)의 중심점이 서로 일치되도록, 마킹 유닛(310)(즉, 레이저 스캐닝 데이터)의 중심점을 이동시켜, 마킹 유닛(310)의 중심점(C2)과 카메라 센싱 데이터(C1)과 매칭되도록 조정한다.
한편, 마킹 유닛(310)의 중심점(C2)과 카메라 센싱 데이터(210)의 중심점(C1) 사이의 편차가 너무 커서, 소프트웨어적으로 중심점 매칭이 어려운 경우, 카메라 센서(110) 또는 레이저 스캐닝 센서(120)의 물리적인 위치를 변경시킬 수 있도록 모니터링 시스템(100)은 사용자에게 중심점 캘리브레이션 가이드 정보를 제공할 수 있다.
그 다음, 도 6을 참조하면, 상기 중심점 캘리브레이션이 종료되면, 모니터링 시스템(100)은, 상기 국소영역 레이저 조사 단계에서 생성된 마킹 유닛(310)을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 기울어짐을 상호 보정한다.
보다 상세히, 모니터링 시스템(100)은, 교정 대상 데이터(300)에 포함되는 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(210)의 수평선(X1)이 일치되는 지 여부를 판단한다. 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(210)의 수평선(X1)이 일치되지 않는 경우, 모니터링 시스템(100)은 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(210)의 수평선(X1) 간의 측정 각도 편차(각도)를 연산하고, 상기 측정 각도 편차에 기초하여 마킹 유닛(310)의 수평선(X2)과 카메라 데이터의 수평선(X2)을 매칭시킨다. 이때, 마킹 유닛(310)의 수평선(X2)은 레이저 스캐닝 데이터(220)의 수평선(X2)과 일치하며, 모니터링 시스템(310)은 마킹 유닛(310)을 상기 측정 각도 편차에 따라 기설정된 각도로 회전시켜, 두 수평선(X1, X2)이 상호 일치되도록 한다.
한편, 마킹 유닛(310)의 수평선(X2)과 카메라 센싱 데이터(210)의 수평선(X1) 간의 각도 편차가 너무 커서, 소프트웨어적으로 수평선 매칭이 어려운 경우, 카메라 센서(110) 또는 레이저 스캐닝 센서(120)의 물리적인 위치를 변경시킬 수 있도록 모니터링 시스템(100)은 사용자에게 각도 캘리브레이션 가이드 정보를 제공할 수 있다.
상기와 같이, 중심점 캘리브레이션이 먼저 수행된 다음, 수평선에 대한 각도 캘리브레이션이 수행되면, 이종 센서간의 캘리브레이션이 완료된다.
한편, 본 발명에 따른 상기 각도 캘리브레이션은 상기 수평선을 기초로 수행되는 구성으로 설명되고 있으나, 수직선을 기초로 수행되는 구성 또한 본 발명의 실시예에 포함된다.
이하에서는 본 발명의 실시예에 따른 이종 광학 센서 캘리브레이션 방법을 상세하게 설명한다.
도 7은 도 1의 이종 광학 센서 캘리브레이션 방법을 보여주는 도면이다.
도 7을 참조하면, 먼저, 카메라 센서 및 레이저 스캐닝 센서(120)의 캘리브레이션이 개시되는 캘리브레이션 모드 개시 단계(S120)가 수행된다.
상기 레이저 스캐닝 센서에서, 전체 영역 중 국소 영역에 대하여 레이저를 조사하여, 마킹 유닛(310)을 생성하는 국소영역 레이저 조사 단계(S120)가 수행된다. 이때, 카메라 센서(210)는 가시광 영역 및 비가시광 영역의 광을 수광할 수 있으며, 마킹 유닛(310)은 카메라 센싱 데이터(210)에 생성될 수 있다.
그 다음, 상기 국소영역 레이저 조사 단계(S120)에서 생성된 마킹 유닛(310)을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 중심점(C1, C2)을 상호 보정하는 중심점 캘리브레이션 단계(S130)가 수행된다.
중심점 캘리브레이션 단계(S130)에서, 먼저 교정 대상 데이터(300)에 포함되는 마킹 유닛(310)의 중심점(C2)과 카메라 데이터(110)의 중심점(C1)이 일치되는 지 여부를 판단하는 중심점 일치 여부 판단 단계(S131)가 수행된다.
마킹 유닛(310)의 중심점(C2)과 카메라 데이터(110)의 중심점(C1)이 상호 일치되지 않는 경우, 마킹 유닛(310)의 중심점(C2)과 카메라 데이터(110)의 중심점(C1) 간의 측정 중심 편차를 기준 중심 편차와 비교하는 기준 중심 편차 비교 단계(S132)가 수행된다. 이때, 상기 기준 중심 편차는, 모니터링 시스템(100)이 소프트웨어적으로 마킹 유닛(310)의 중심점(C2)과 카메라 데이터(110)의 중심점(C1)을 정합할 수 있는 중심 편차 한계를 의미하며, 상기 측정 중심 편차가 상기 기준 중심 편차를 초과하면 카메라 센서(110) 및 레이저 스캐닝 센서(120) 사이의 물리적인 캘리브레이션이 필요함을 의미한다.
기준 중심 편차 비교 단계(S132)에서, 마킹 유닛(310)의 중심점(C2)과 카메라 데이터(110)의 중심점(C1) 간의 상기 측정 중심 편차가 상기 기준 중심 편차와 같거나 상기 기준 중심 편차보다 작은 경우, 상기 측정 중심 편차에 기초하여 마킹 유닛(310)과 카메라 데이터(210)의 중심점(C1, C2)을 매칭시키는 중심점 매칭 단계(S133)가 수행된다
한편, 기준 중심 편차 비교 단계(S132)에서, 마킹 유닛(310)의 중심점(C2)과 카메라 데이터(110)의 중심점(C1) 간의 상기 측정 중심 편차가 상기 기준 중심 편차보다 큰 경우, 상기 측정 중심 편차가 상기 기준 편차와 같거나 작아지는 방향으로 카메라 센서(110) 또는 레이저 스캐닝 센서(120)의 움직임을 가이드하는 중심점 캘리브레이션 가이드 단계(S134)가 수행된다. 이때, 모니터링 시스템(100)은 사용자에게 카메라 센서(110) 또는 레이저 스캐닝 센서(120)의 움직임을 가이드하는 사용자 인터페이스를 제공할 수 있다.
중심점 매칭 단계(S133) 또는 중심점 캘리브레이션 가이드 단계(S134)가 수행된 다음, 다시 중심점 일치 여부 판단 단계(S131)가 수행된다.
중심점 일치 여부 판단 단계(S131)에서, 두 중심점(C1, C2)이 일치되면, 국소영역 레이저 조사 단계(S120)에서 생성된 마킹 유닛(310)을 기준으로, 카메라 센서 (110)및 레이저 스캐닝 센서(120)의 기울어짐을 상호 보정하는 각도 캘리브레이션 단계(S140)가 수행된다.
보다 상세히, 각도 캘리브레이션 단계(S140)에서, 먼저 교정 대상 데이터(300)에 포함되는 마킹 유닛(310)의 수평선(X2)과 카메라 데이터의 수평선(X1)이 일치되는 지 여부를 판단하는 수평선 일치 여부 판단 단계(S142)가 수행된다.
포함되는 마킹 유닛(310)의 수평선(X2)과 카메라 데이터의 수평선(X1)이 상호 일치되지 않는 경우, 포함되는 마킹 유닛(310)의 수평선(X2)과 카메라 데이터의 수평선(X1) 간의 측정 각도 편차를 기준 각도 편차와 비교하는 기준 각도 편차 비교 단계(S132)가 수행된다. 이때, 이때, 상기 기준 각도 편차는, 모니터링 시스템(100)이 소프트웨어적으로 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(110)의 수평선(X1)을 정합할 수 있는 각도 편차 한계를 의미하며, 상기 측정 각도 편차가 상기 기준 각도 편차를 초과하면 카메라 센서(110) 및 레이저 스캐닝 센서(120) 사이의 물리적인 각도 캘리브레이션이 필요함을 의미한다.
기준 각도 편차 비교 단계(S132)에서, 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(110)의 수평선(X1) 간의 상기 측정 각도 편차가 상기 기준 각도 편차와 같거나 상기 기준 각도 편차보다 작은 경우, 상기 측정 각도 편차에 기초하여 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(110)의 수평선(X1)을 매칭시키는 수평선 매칭 단계(S143)가 수행된다.
한편, 기준 각도 편차 비교 단계(S132)에서, 마킹 유닛(310)의 수평선(X2)과 카메라 데이터(110)의 수평선(X1) 간의 상기 측정 각도 편차가 상기 기준 각도 편차보다 큰 경우, 상기 측정 각도 편차가 상기 기준 편차와 같거나 작아지는 방향으로 카메라 센서(110) 또는 레이저 스캐닝 센서(120)의 움직임을 가이드하는 각도 캘리브레이션 가이드 단계(S144)가 수행된다. 이때, 모니터링 시스템(100)은 사용자에게 카메라 센서(110) 또는 레이저 스캐닝 센서(120)의 움직임을 가이드하는 사용자 인터페이스를 제공할 수 있다.
수평선 매칭 단계(S143) 또는 각도 캘리브레이션 가이드 단계(S144)가 수행된 다음, 다시 수평선 일치 여부 판단 단계(S141)가 수행된다.
수평선 일치 여부 판단 단계(S141)에서, 두 수평선(X1, X2)이 일치되면, 중심점 캘리브레이션 단계(S130) 및 각도 캘리브레이션 단계(S140)에서 각각 생성되는 측정 중심 편차에 대한 중심 오프셋 데이터 및 측정 각도 편차에 대한 각도 오프셋 데이터와, 캘리브레이션 수행 시각을 저장하는 캘리브레이션 데이터 기록 단계(S150)가 수행된다.
모니터링 시스템(100)은, 복수의 상기 수행 시각 별 상기 중심 오프셋 데이터 및 상기 각도 오프셋 데이터의 크기 변화에 기초하여, 다음 번 캘리브레이션 수행 시점을 연산하여, 사용자에게 캘리브레이션 필요 시점을 알림할 수 있다. 즉, 캘리브레이션 과정에서 획득되는 데이터에 기초하여, 모니터링 시스템(100)은 사전에 캘리브레이션이 필요한 시점을 사용자에게 알림으로써, 모니터링 시스템(100)의 이종 센서들 간의 틀어짐으로 인한 데이터 오류를 최소화할 수 있는 장점이 있다.
제안되는 실시예에 의하면, 별도의 교정 객체 없이 이종광학 센서의 캘리브레이션을 수행할 수 있는 장점이 있다.
도 8은 본 발명의 다른 실시예에 따른 이종 광학 캘리브레이션 방법에 의하여 카메라 센싱 데이터와 레이저 스캐닝 데이터가 캘리브레이션되는 과정을 보여주는 도면이다.
본 실시예는 교정 유닛이 복수개로 형성되는 구성에 있어서 차이가 있을 뿐, 다른 구성에 있어서는 도 1 내지 도 8에서 도시되는 이종 광학센서 캘리브레인션 방법과 실질적으로 동일한 바, 이하에서는 본 실시예의 특징적인 부분을 중심으로 설명한다.
본 실시예에 따른 모니터링 시스템(100)에서, 마킹 유닛(311, 311, 312)은 복수 개로 형성된다. 즉, 모니터링 시스템(100)의 레이저 스캐닝 센서(120)는 멀티 채널 센서로 형성되며, 예시적으로 3채널인 구성이 도시된다.
이때, 마킹 유닛(311, 311, 312)들은 상호 간에 평행하게 배치된다.
그리고, 복수의 상기 마킹 유닛들은 하나의 기설정된 면적을 갖는 하나의 마킹 그룹(400)을 형성하고, 중심점 캘리브레이션 단계(S130) 및 각도 캘리브레이션 단계(S140)에서, 교정 대상 데이터(300)에 형성되는 마킹 유닛(311, 312, 313)들에 의한 마킹 그룹(400)에 기초하여, 중심점 및 각도가 보정된다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 카메라 센서 및 레이저 스캐닝 센서를 포함하는 이종 광학센서 모니터링 시스템의 이종 광학센서 캘리브레이션 방법에 있어서,
    카메라 센서 및 레이저 스캐닝 센서의 캘리브레이션이 개시되는 캘리브레이션 모드 개시 단계;
    상기 레이저 스캐닝 센서에서, 전체 영역 중 국소 영역에 대하여 레이저를 조사하여, 마킹 유닛을 생성하는 국소영역 레이저 조사 단계;
    상기 국소영역 레이저 조사 단계에서 생성된 상기 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 중심점을 상호 보정하는 중심점 캘리브레이션 단계;
    상기 국소영역 레이저 조사 단계에서 생성된 상기 마킹 유닛을 기준으로, 상기 카메라 센서 및 상기 레이저 스캐닝 센서의 기울어짐을 상호 보정하는 각도 캘리브레이션 단계를 포함하는 이종 광학센서 캘리브레이션 방법.
  2. 제1 항에 있어서,
    상기 국소영역 레이저 조사 단계는, 기설정된 캘리브레이션 시간 동안 수행되며, 상기 마킹 유닛은 적어도 2 이상의 마킹 닷(dot)을 포함하고,
    상기 카메라 센서는, 상기 캘리브레이션 시간 동안 복수의 카메라 데이터들을 생성하며,
    상기 캘리브레이션 시간 동안 각 카메라 데이터들에 촬영된 적어도 하나의 상기 마킹 닷이 누적되어 상기 마킹 유닛이 배치되는 교정 대상 데이터가 생성되는 것을 특징으로 하는 이종 광학센서 캘리브레이션 방법.
  3. 제2 항에 있어서,
    상기 마킹 유닛은, 복수의 마킹 닷들의 좌표에 기초하여 선형으로 형성되며, 상기 마킹 유닛과 상기 마킹 닷들 간의 편차들의 합은 0으로 형성되고,
    상기 마킹 유닛은 복수 개로 형성되며,
    각 마킹 유닛들은 상호 간에 평행하게 배치되는 것을 특징으로 하는 이종 광학 센서 캘리브레이션 방법.
  4. 제3 항에 있어서,
    복수의 상기 마킹 유닛들은 하나의 기설정된 면적을 갖는 하나의 마킹 그룹을 형성하고,
    상기 중심점 캘리브레이션 단계 및 상기 각도 캘리브레이션 단계에서, 상기 교정 대상 데이터에 형성되는 상기 마킹 유닛들에 의한 상기 마킹 그룹에 기초하여, 상기 중심점 및 상기 각도를 보정하는 것을 특징으로 하는 이종 광학센서 캘리브레이션 방법.
  5. 제2 항에 있어서,
    상기 레이저 스캐닝 센서의 화각은, 상기 카메라 센서의 화각보다 크게 형성되며,
    상기 국소영역에 형성되는 상기 마킹 유닛의 폭은 상기 카메라 센서의 상기 화각보다 작게 형성되는 것을 특징으로 하는 이종 광학 센서 캘리브레이션 방법.
  6. 제5 항에 있어서,
    상기 캘리브레이션 모드 개시 단계가 수행되기 전, 상기 레이저 스캐닝 센서에서 조사되는 상기 레이저의 조사 화각은, 상기 국소영역 레이저 조사 단계에서 상기 레이저 스캐닝 센서에서 조사되는 상기 레이저의 조사 화각보다 크게 형성되며,
    (1) 상기 레이저 스캐닝 센서가 상기 레이저의 조사 화각을 변경하거나,
    (2) 상기 국소영역 레이저 조사 단계에서, 상기 레이저 스캐닝 센서의 레이저 조사부에 상기 레이저의 조사 화각을 제한하기 위한 쉐이딩 유닛이 설치되는 것을 특징으로 하는 이종 광학 센서 캘리브레이션 방법.
  7. 제2 항에 있어서,
    상기 캘리브레이션 모드에서, 상기 카메라 센서는 가시광 영역 및 비가시광 영역의 광을 수광할 수 있도록 설정되며,
    상기 캘리브레이션 모드가 개시되기 전 또는 상기 캘리브레이션 모드가 종료되면 상기 카메라 센서는 상기 가시광 영역의 광을 수광하고, 상기 비가시광 영역의 광은 필터링 하는 것을 특징으로 하는 이종 광학 센서 캘리브레이션 방법.
  8. 제2 항에 있어서,
    상기 중심점 캘리브레이션 단계는,
    상기 교정 대상 데이터에 포함되는 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점이 일치되는 지 여부를 판단하는 중심점 일치 여부 판단 단계와,
    상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점이 상호 일치되지 않는 경우, 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점 간의 측정 중심 편차를 기준 중심 편차와 비교하는 기준 중심 편차 비교 단계와,
    상기 기준 중심 편차 비교 단계에서, 상기 마킹 유닛의 중심점과 상기 카메라 데이터의 중심점 간의 상기 측정 중심 편차가 상기 기준 중심 편차와 같거나 상기 기준 중심 편차보다 작은 경우, 상기 측정 중심 편차에 기초하여 상기 상기 마킹 유닛와 상기 카메라 데이터의 상기 중심점을 매칭시키는 중심점 매칭 단계를 포함하는 것을 특징으로 하는 이종 광학 센서 캘리브레이션 방법.
  9. 제8 항에 있어서,
    상기 중심점 캘리브레이션 단계는,
    상기 기준 중심 편차 비교 단계에서, 상기 마킹 유닛의 상기 중심점과 상기 카메라 데이터의 상기 중심점 간의 상기 측정 중심 편차가 상기 기준 중심 편차보다 큰 경우, 상기 측정 중심 편차가 상기 기준 편차와 같거나 작아지는 방향으로 상기 카메라 센서 또는 상기 레이저 스캐닝 센서의 움직임을 가이드하는 중심점 캘리브레이션 가이드 단계를 더 포함하는 이종 광학 센서 캘리브레이션 방법.
  10. 제2 항에 있어서,
    상기 각도 캘리브레이션 단계는,
    상기 교정 대상 데이터에 포함되는 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선이 일치되는 지 여부를 판단하는 수평선 일치 여부 판단 단계와,
    상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선이 상호 일치되지 않는 경우, 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선 간의 측정 각도 편차를 기준 각도 편차와 비교하는 기준 각도 편차 비교 단계와,
    상기 기준 각도 편차 비교 단계에서, 상기 마킹 유닛의 수평선과 상기 카메라 데이터의 수평선 간의 상기 측정 각도 편차가 상기 기준 각도 편차와 같거나 상기 기준 각도 편차보다 작은 경우, 상기 측정 각도 편차에 기초하여 상기 레이저 스캐닝 데이터와 상기 카메라 데이터의 상기 수평선을 매칭시키는 수평선 매칭 단계를 포함하는 것을 특징으로 하는 이종 광학 센서 캘리브레이션 방법.
  11. 제10 항에 있어서,
    상기 각도 캘리브레이션 방법은,
    상기 기준 각도 편차 비교 단계에서, 상기 마킹 유닛의 상기 수평선과 상기 카메라 데이터의 상기 수평선 간의 상기 측정 각도 편차가 상기 기준 각도 편차보다 큰 경우, 상기 측정 각도 편차가 상기 기준 편차와 같거나 작아지는 방향으로 상기 카메라 센서 또는 상기 레이저 스캐닝 센서의 움직임을 가이드하는 각도 캘리브레이션 가이드 단계를 더 포함하는 이종 광학 센서 캘리브레이션 방법.
  12. 제1 항에 있어서,
    상기 중심점 캘리브레이션 단계 및 상기 각도 캘리브레이션 단계에서 각각 생성되는 측정 중심 편차에 대한 중심 오프셋 데이터 및 측정 각도 편차에 대한 각도 오프셋 데이터와, 캘리브레이션 수행 시각을 저장하는 캘리브레이션 데이터 기록 단계;를 더 포함하고,
    복수의 상기 수행 시각 별 상기 중심 오프셋 데이터 및 상기 각도 오프셋 데이터의 크기 변화에 기초하여, 다음 번 캘리브레이션 수행 시점을 연산하는 것을 특징으로 하는 이종 광학센서 캘리브레이션 방법.
  13. 제1 항에 있어서,
    상기 중심점 캘리브레이션 단계가 수행된 다음, 상기 각도 캘리브레이션 단계가 수행되는 이종 광학센서 캘리브레이션 방법.
  14. 제1 항의 이종 광학센서 캘리브레이션 방법을 수행하는 이종 광학센서를 이용한 모니터링 장치.
  15. 제1 항의 이종 광학센서 캘리브레이션 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장매체.
KR1020220023207A 2022-02-22 2022-02-22 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템 KR20230126107A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220023207A KR20230126107A (ko) 2022-02-22 2022-02-22 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220023207A KR20230126107A (ko) 2022-02-22 2022-02-22 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR20230126107A true KR20230126107A (ko) 2023-08-29

Family

ID=87802525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220023207A KR20230126107A (ko) 2022-02-22 2022-02-22 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR20230126107A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054455B1 (ko) 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102054455B1 (ko) 2018-09-28 2019-12-10 재단법인대구경북과학기술원 이종 센서 간의 캘리브레이션 장치 및 방법

Similar Documents

Publication Publication Date Title
US10157458B2 (en) Laser projection system and method
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
US9720087B2 (en) Method and device for determining an orientation of an object
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
JP2017019072A (ja) 位置計測システム
JP2006038843A (ja) 距離画像センサの較正方法
KR101406220B1 (ko) 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
KR101487248B1 (ko) 옵티컬 트랙킹 시스템
WO1997006406A1 (fr) Appareils de mesure de la distance et de la forme
US11454498B2 (en) Coordinate measuring system
WO2012041687A1 (en) A method, means, and system for acquiring location parameters
JP7251240B2 (ja) 光学装置、検出装置及び電子機器
JP2000009422A (ja) 走行車両の距離測定装置
US20220254044A1 (en) Ranging device and ranging method
JPWO2018042954A1 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP2007093412A (ja) ３次元形状測定装置
CN116105600B (zh) 基于双目相机的瞄准目标的方法、处理装置及激光跟踪仪
KR20230126107A (ko) 이종 광학센서 캘리브레이션 방법 및 이를 이용한 모니터링 시스템
KR101487251B1 (ko) 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
US20200094677A1 (en) Object detection sensor alignment
US20220201164A1 (en) Image registration apparatus, image generation system, image registration method, and image registration program product
US10060733B2 (en) Measuring apparatus
CN112346041B (zh) 确定两个传感器的传感器数据中的视差问题的方法和设备
US20230082700A1 (en) Method for calibrating a camera and/or a lidar sensor of a vehicle or a robot
US11935256B1 (en) Remote distance estimation system and method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal