KR102643408B1 - 나이트 비전 시스템 및 이의 거리 추정 방법 - Google Patents

나이트 비전 시스템 및 이의 거리 추정 방법 Download PDF

Info

Publication number
KR102643408B1
KR102643408B1 KR1020230167950A KR20230167950A KR102643408B1 KR 102643408 B1 KR102643408 B1 KR 102643408B1 KR 1020230167950 A KR1020230167950 A KR 1020230167950A KR 20230167950 A KR20230167950 A KR 20230167950A KR 102643408 B1 KR102643408 B1 KR 102643408B1
Authority
KR
South Korea
Prior art keywords
distance
distance estimation
estimation module
information
object detection
Prior art date
Application number
KR1020230167950A
Other languages
English (en)
Inventor
우희조
하은재
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020230167950A priority Critical patent/KR102643408B1/ko
Application granted granted Critical
Publication of KR102643408B1 publication Critical patent/KR102643408B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따른 나이트 비전 시스템은 카메라를 통해 입력된 영상으로부터 객체 감지 정보를 출력하는 객체 감지부, 및 상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보에 기초하여 AI 기반의 제1 거리 추정 모듈 및 센서 장착 정보 기반의 제2 거리 추정 모듈 중 어느 하나를 통해 거리를 추정하는 거리 추정부를 포함한다.

Description

나이트 비전 시스템 및 이의 거리 추정 방법{NIGHT VISION SYSTEM AND METHOD FOR ESTIMATING DISTANCE THEREOF}
본 발명은 나이트 비전 시스템 및 이의 거리 추정 방법에 관한 것으로서, 특히 열 영상에 AI 기반 거리 추정 방법을 적용시 발생하는 펀치 홀 문제를 해소하기 위하여 AI 기반 거리 추정 방법과 센서 장착 기반의 거리 추정 방법을 융합하여 적응적으로 사용하여 효율적으로 객체의 거리를 추정할 수 있는, 나이트 비전 시스템 및 이의 거리 추정 방법에 관한 것이다.
모든 물체는 절대 0도(Kelvin Degree, 0K = -273.15 ℃) 이상에서 열을 발산하고, 열상 카메라는 이를 적외선 영역에서 시각화 할 수 있다. 물체에서 반사되는 빛을 감지하는 일반 광학 카메라와는 달리 물체의 복사 방사(radiant emittance)를 영상화하는 열상 카메라는, RGB 영상 대비 역광, 안개, 비, 눈 등의 제한된 환경에서 객체를 식별하는데 용이하다.
거리 추정은 물체 또는 장애물과 센서 사이의 거리를 계산하는 과정이다. 이 기술은 주로 센서로부터 수신된 데이터를 분석하여 수행된다.
전통적인 거리 추정 방법은 레이더, 라이다, 초음파 센서, 스테레오 카메라, 광학 센서 또는 장착된 카메라의 바닥에서의 높이, 롤각, 시야각(FOV), 화소 등의 매개변수를 이용하는 센서 장착 정보 기반 거리 추정이 진행됐으며, 최근에는 AI 기술을 이용한 거리 추정 방법에 대해 많은 연구들이 진행되고 있다.
물체나 장애물의 거리 추정은 자율 주행 및 환경 인식 시스템에서 중요한 역할을 한다. 그러나 기존의 거리 추정 방법은 여러 가지 센서 및 기술을 사용하여 구현되어 왔지만, 이러한 방법들은 비용이 높고, 복잡하며, 특정한 작동 환경과 거리 범위에 대한 제약사항이 존재한다.
이와 같은 문제를 해결하기 위해 AI 기술을 이용하여 거리를 추정하는 방법에 대해 다양한 연구가 진행되고 있다. AI 기반 거리 추정 방법은 입력 영상의 색상 값과 다양한 센서를 통해 획득한 실제 깊이 값의 관계를 학습하며, 프레임 간 관계를 바탕으로 한 학습 방식으로 연구되고 있다.
하지만 이와 같은 AI 기반 거리 추정 방법을 단일 채도를 갖고 있는 열 영상에 적용하게 되면, 풍부한 질감(Texture) 정보가 존재하는 RGB 영상 대비 상대적으로 적은 질감(Texture) 정보 만을 담고 있어, 근거리의 객체에 대해 장면(Frame) 간 Pixel의 변화량이 적게 발생하여 AI 모델이 장면 간 이동성이 없다고 판단하게 된다. 이는 거리 맵(Depth Map)이 무한대로 발산하는 펀치 홀(Punch Hole) 문제가 발생시켜 정확도를 떨어뜨리게 된다.
본 발명이 해결하고자 하는 과제는 열 영상에 AI 기반 거리 추정 방법을 적용시 발생하는 펀치 홀 문제를 해소하기 위하여 AI 기반 거리 추정 방법과 센서 장착 기반의 거리 추정 방법을 융합하여 적응적으로 사용하여 효율적으로 객체의 거리를 추정할 수 있는, 나이트 비전 시스템 및 이의 거리 추정 방법에 관한 것이다.
다만, 본 발명이 해결하고자 하는 과제는 상기된 바와 같은 과제로 한정되지 않으며, 또다른 과제들이 존재할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 제1 측면에 따른 나이트 비전 시스템은 카메라를 통해 입력된 영상으로부터 객체 감지 정보를 출력하는 객체 감지부, 상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보에 기초하여 AI 기반의 제1 거리 추정 모듈 및 센서 장착 정보 기반의 제2 거리 추정 모듈 중 어느 하나를 통해 거리를 추정하는 거리 추정부를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 거리 추정부는 상기 영상의 객체 감지 정보의 하단부 이하의 픽셀의 크기 정보에 기초하여 상기 제1 및 제2 거리 추정 모듈 중 어느 하나를 선택하여 거리를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 거리 추정부는 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 0 픽셀부터 특정 픽셀값 이하를 만족하는 경우 상기 제1 거리 추정 모듈을 통해 거리를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 거리 추정부는 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 상기 특정 픽셀값을 초과하는 경우 상기 제2 거리 추정 모듈을 통해 거리를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 제1 거리 추정 모듈은 합성곱 레이어 및 풀링 레이어로 구성되며 입력 이미지를 다차원 다운 샘플링된 특징맵으로 변환하는 인코더와, 상기 인코더에서 전달된 다운 샘플링된 특징맵을 업샘플링하고, 입력 이미지의 원래 해상도에 해당하는 깊이맵을 생성하는 디코더를 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 제2 거리 추정 모듈은 이미지 상에서의 객체와 센서 간의 수직 거리와, 상기 객체와 센서 간의 각도 정보를 기반으로 상기 객체와 센서 간의 수평 거리를 산출하고, 상기 수평 거리와 상기 수직 거리를 기반으로 상기 객체와의 거리를 산출할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 카메라는 단일 적외선 카메라(Single IR Camera)일 수 있다.
또한, 본 발명의 제2 측면에 따른 나이트 비전 시스템에 의해 수행되는 거리 추정 방법은 카메라를 통해 촬영된 영상을 수신하는 단계; 상기 촬영된 영상으로부터 객체 감지 정보를 출력하는 단계; 상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보를 산출하는 단계; 상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계; 및 상기 선택된 거리 추정 모듈을 기반으로 객체와의 거리를 산출하는 단계를 포함한다.
본 발명의 일부 실시예에 있어서, 상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보에 기초하여 AI 기반의 제1 거리 추정 모듈 및 센서 장착 정보 기반의 제2 거리 추정 모듈 중 어느 하나를 선택할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 영상의 객체 감지 정보의 하단부 이하의 픽셀의 크기 정보에 기초하여 상기 제1 및 제2 거리 추정 모듈 중 어느 하나를 선택할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 0 픽셀부터 특정 픽셀값 이하를 만족하는 경우 상기 제1 거리 추정 모듈을 통해 거리를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 상기 특정 픽셀값을 초과하는 경우 상기 제2 거리 추정 모듈을 통해 거리를 추정할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 제1 거리 추정 모듈은 합성곱 레이어 및 풀링 레이어로 구성되며 입력 이미지를 다차원 다운 샘플링된 특징맵으로 변환하는 인코더와, 상기 인코더에서 전달된 다운 샘플링된 특징맵을 업샘플링하고, 입력 이미지의 원래 해상도에 해당하는 깊이맵을 생성하는 디코더를 포함할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 선택된 거리 추정 모듈을 기반으로 객체와의 거리를 산출하는 단계는, 상기 제2 거리 추정 모듈을 통해 이미지 상에서의 객체와 센서 간의 수직 거리와, 상기 객체와 센서 간의 각도 정보를 기반으로 상기 객체와 센서 간의 수평 거리를 산출하고, 상기 수평 거리와 상기 수직 거리를 기반으로 상기 객체와의 거리를 산출할 수 있다.
본 발명의 일부 실시예에 있어서, 상기 카메라를 통해 촬영된 영상을 수신하는 단계는, 단일 적외선 카메라(Single IR Camera)를 통해 촬영된 열 영상을 수신할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 면에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어 상기 나이트 비전 시스템 및 이의 거리 추정 방법을 실행하며, 컴퓨터 판독가능 기록매체에 저장된다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
전술한 본 발명의 일 실시예에 의하면, Single IR Camera를 활용함으로써, 눈, 비, 안개, 저조도와 같은 제한된 환경에서도 안정적으로 거리 추정이 가능하다. 즉, 기존의 광학 카메라나 다른 센서들이 강제로 한정된 환경에서는 정확한 거리 추정이 어려운 경우가 많았으나, 본 발명의 일 실시예에 의하면 이러한 제한된 상황에서도 효과적으로 동작할 수 있다.
또한, 본 발명은 AI 기반 및 센서 장착 정보 기반 거리 추정 방법을 적응적으로 사용하여, 다양한 환경에서 최적의 거리 추정을 제공할 수 있다. 이는 실험 결과에서 확인된 것처럼, 다양한 상황에서 효과적으로 펀치 홀 문제를 해결하며, 안정적이고 정확한 거리 측정을 가능케한다.
특히, 기존 기술에서 발생하는 펀치 홀 문제는 거리 추정의 정확도를 저하시키는 주요 문제 중 하나였으나, 본 발명의 일 실시예에 의하면 AI 기술을 통해 펀치 홀 현상을 극복하고, 특히 근거리 객체에 대한 정확한 거리 추정이 가능하도록 함으로써, 나이트비전 시스템에서 안정적이고 신뢰성 있는 거리 추정을 가능하도록 한다.
또한, 본 발명은 카메라의 관측 거리에 상관없이 안정적으로 나이트비전 시스템에서 거리 추정이 가능함을 입증하였으며, 이는 기존의 기술에서는 한정된 거리 범위에서만 효과적으로 동작하는 것과 대조적으로, 다양한 거리에서 안정적인 성능을 제공할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시 예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 나이트 비전 시스템 및 이의 거리 추정 방법이 적용되는 예시를 도시한 도면이다.
도 2는 종래 기술에서의 AI 기반 거리 추정시의 문제점을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 나이트 비전 시스템의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 나이트 비전 시스템의 입출력 데이터를 함께 도시한 도면이다.
도 5는 측면에서 바라본 카메라와 객체 사이의 정보를 도식화한 도면이다.
도 6은 상부에서 바라본 카메라와 객체 사이의 정보를 도식화한 도면이다.
도 7은 센서 장착 정보 기반의 제2 거리 추정 모듈을 통해 거리를 산출하는 과정을 도식화한 도면이다.
도 8은 본 발명의 일 실시예에 따른 나이트 비전 시스템을 테스트한 결과를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 나이트 비전 시스템에 의해 수행되는 거리 추정 방법의 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 나이트 비전 시스템(100) 및 이의 거리 추정 방법이 적용되는 예시를 도시한 도면이다.
기존의 거리 추정 방법은 주로 레이더, 라이다 등의 센서를 사용했으나, 이러한 비용이 높고 구현이 복잡한 센서들을 대체하기 위해 AI 기반 거리 추정 기술이 활용될 수 있다. 자율 주행 차량이나 로봇은 환경을 인식하고 안전한 이동 경로를 계획하기 위해 정확한 거리 정보가 필요하며, AI를 활용하여 이를 효과적으로 추정할 수 있다.
또한, 열상 카메라를 통한 거리 추정은 주로 보안 및 감시 시스템에서 활용될 수 있다. 특히, 어두운 환경에서도 물체 간의 거리를 정확하게 파악할 수 있어, 경계 영역이나 잠재적 위험 지역에서의 객체 탐지 및 추적에 용이하게 적용될 수 있다.
또한, 지형이나 건물의 구조를 모니터링하고, 재해 발생 시 피해 상황을 신속하게 평가하는 데에도 활용될 수 있으며, AI를 이용한 거리 추정은 건물의 높이, 지형의 변화 등을 측정하여 효과적인 재난 대응을 지원할 수 있다.
현재 기 개발된 거리 추정 기술들은 인공지능 기반 거리 추정 방법과 센서 장착 정보 기반 거리 추정 방법으로 나눌 수 있다.
인공지능 기반 거리 추정 방식은 크게 단안 카메라 거리 추정 방법, 스테레오 카메라 거리 추정 방법으로 나눌 수 있다. 단안 카메라 거리 추정 방법의 대표적인 예로는 이전 장면(Frame)과 현재 장면(Frame) 사이의 차이 맵(Disparity Map)을 예측하여 거리 정보를 계산하는 Monodepth2, FastDepth 등이 존재한다. 스테레오 카메라 거리 추정 방법은 두개의 장면(Frame)을 인코딩(Encoding)하여 특징을 비교 및 추출하고, 스테레오 기반 손실 함수를 사용하여 거리 정보를 예측하는 StereoNet이 있다.
센서 장착 정보 기반 거리 추정 방식의 대표적인 예로는 LOAM(Lidar Odometry and Mapping) 방식이 존재하며, 이 기술은 라이다(Lidar)센서를 활용하여 객체의 위치와 주변 환경을 매핑하는데 사용되는 알고리즘으로, 연속적인 라이다 스캔 간의 시간 변화를 기반으로 장면의 이동을 추정하여 거리 정보를 계산한다.
도 2는 종래 기술에서의 AI 기반 거리 추정시의 문제점을 도시한 도면이다.
열상 카메라로 획득된 열 영상은 일반 광학 카메라 영상과 비교했을 때, 물체와 배경 간 경계가 뚜렷하지 않고, 특히 단일 채도를 갖고 있는 열 영상은 RGB 영상에 비해 상대적으로 적은 질감 정보를 담고 있다. 이러한 특징은 기존의 AI 기술을 이용한 거리 추정에 있어서 일부 도전적인 문제를 야기할 수 있다.
구체적으로, 열 영상은 물체의 열을 감지하므로 물체와 주변 환경 간의 열 분포 차이가 크지 않으면서 경계가 불분명한 경우가 많으며, 이로 인해 객체의 정확한 경계를 파악하기 어려워지며, 거리 추정에 중요한 특징을 얻기 어렵다는 문제가 있다.
또한, 열 영상이 가진 질감 정보가 상대적으로 적어, 객체의 세부적인 구조나 패턴을 식별하기 어려운 문제가 있으며, 이는 기존의 AI 모델이 픽셀 간의 변화를 인식하는 데에 문제로 작용한다.
특히, 열 영상에 적용된 기존의 AI 기술은 픽셀 간의 변화를 적게 감지하게 되어, 특히 근거리에서는 물체의 이동성이 거의 없다고 판단하는 문제가 발생한다. 이는 도 2에 도시된 바와 같이 거리 추정에서 발생하는 펀치 홀 문제로 이어져, 근거리 객체에 대한 정확한 거리 추정을 어렵게 한다.
센서 장착 정보 기반 거리 추정 방법은 근거리에서는 상대적으로 정확하지만, 원거리에서는 부정확한 거리 추정이 발생할 수 있다. 특히, 열 영상의 세부적인 특징이 제한되어 있기 때문에 원거리에서의 정확한 깊이 추정을 어렵게 한다.
이러한 문제를 해소하기 위하여, 본 발명의 일 실시예는 열 영상에 AI 기반 거리 추정 방법을 적용할 때 근거리에서 발생하는 펀치 홀(Punch Hole) 문제를 해결하기 위해, 센서 장착 정보 기반 거리 추정 방법을 추가하여 적응적으로 거리를 추정할 수 있는 방법을 제안한다.
제안하는 본 발명의 일 실시예는 특히 근거리에서는 센서 장착 정보 기반 거리 추정 방법을 사용하고, 원거리에서는 AI 기반 거리 추정 방법을 사용한다. 이러한 본 발명의 일 실시예에 의하면, 펀치 홀(Punch Hole) 문제 해결과 동시에 거리의 제약 없이 거리 추정이 가능하다는 장점이 있다.
센서 장착 정보 기반 거리 추정은 다음 식1(640x480 해상도, 근거리로 가정하여 지구 곡률 반경 고려하지 않음, Pixel은 행을 기준으로 계산)과 표 2의 매개변수를 이용하여 산출할 수 있으며, 그 결과 Pixel별 추정된 거리를 정리한 표 1을 보면, 300 Pixel과 480 Pixel 사이의 근거리에 대해 거리 추정이 가능한 것을 확인할 수 있다.
[식 1]
)
전술한 바와 같이 표 1은 종래 기술의 센서 장착 정보 기반 거리 추정시의 픽셀별 거리 정보를 나타낸 것이고, 표 2는 센서 장착 정보 기반 거리 추정시 사용되는 매개변수를 정리한 것이다.
Pixel 거리(m) Pixel 거리(m) Pixel 거리(m) Pixel 거리(m)
300 15.65 350 8.52 400 5.83 450 4.42
305 14.44 355 8.14 405 5.66 455 4.32
310 13.41 360 7.80 410 4.87 460 4.21
315 12.51 365 7.49 415 5.33 465 4.12
320 11.72 370 7.19 420 5.18 470 4.03
325 11.03 375 6.92 425 5.04 475 3.94
330 10.41 380 6.68 430 4.90 480 3.86
335 9.87 385 6.44 435 4.77
340 9.37 390 6.22 440 4.65
345 8.92 395 6.02 445 4.53
장착 롤각 0°
장착 위치 0.82m
FOV(가로 x 세로) 32°x24°
화소(가로 x 세로) 640x480
IFOV(가로 x 세로) 0.05°
도 3은 본 발명의 일 실시예에 따른 나이트 비전 시스템(100)의 블록도이다. 도 4는 본 발명의 일 실시예에 따른 나이트 비전 시스템(100)의 입출력 데이터를 함께 도시한 도면이다.본 발명의 일 실시예에 따른 나이트 비전 시스템(100)은 객체 감지부(110)와 거리 추정부(120)를 포함한다.
객체 감지부(110)는 카메라를 통해 입력된 영상으로부터 객체 감지 정보를 출력한다. 일 실시예로, 본 발명에서의 카메라는 단일 적외선 카메라(Single IR Camera)일 수 있다.
객체 감지부(110)는 객체 감지 정보로 도 4에 도시된 바와 같이 객체의 영역을 파악할 수 있는 경계 상자(Bounding Box)를 출력할 수 있다. 실시예에 따라, 객체 감지부(110)는 Yolo5 모델을 적용할 수 있다.
거리 추정부(120)는 객체 감지 정보를 포함하는 영상의 픽셀 크기 정보에 기초하여 AI 기반의 제1 거리 추정 모듈(121) 및 센서 장착 정보 기반의 제2 거리 추정 모듈(122) 중 어느 하나를 통해 객체와의 거리를 추정한다.
일 실시예로, 거리 추정부(120)는 영상의 객체 감지 정보의 하단부 이하의 픽셀 크기 정보에 기초하여 제1 및 제2 거리 추정 모듈(122) 중 어느 하나를 선택할 수 있다. 즉, 바운딩 박스 하단 픽셀 위치를 이용할 수 있다.
이에 따라, 거리 추정부(120)는 객체 감지 정보의 하단부 이하의 픽셀의 크기가 0 픽셀부터 특정 픽셀값(예를 들어 299) 이하를 만족하는 경우 제1 거리 추정 모듈(121)을 통해 거리를 추정할 수 있다.
일 실시예에서 제1 거리 추정 모듈(121)은 인코더 및 디코더를 포함할 수 있다. 인코더는 합성곱(Convolution) 레이어와 풀링(Pooling) 레이어로 구성되어 있으며, 입력 이미지를 다차원 다운 샘플링된 특징맵으로 변환하여 낮은 해상도로 만든다. 디코더는 인코더에서 전달된 다운 샘플링된 특징맵을 이용하여 업샘플링하고, 입력 이미지의 원래 해상도에 해당하는 깊이 맵을 생성한다. 깊이 예측 구조에서 디코더는 생성된 특징맵을 사용하여 각 픽셀에 대한 깊이값을 예측하여 깊이맵을 출력한다.
이와 달리, 거리 추정부(120)는 객체 감지 정보의 하단부 이하의 픽셀의 크기가 특정 픽셀값을 초과하는 경우 제2 거리 추정 모듈(122)을 통해 거리를 추정할 수 있다. 이때, 제2 거리 추정 모듈(122)의 경우 바람직하게는 300 픽셀과 480 픽셀 사이일 경우 적용될 수 있다.
도 5 내지 도 7은 센서 장착 정보 기반의 제2 거리 추정 모듈(122)을 통해 거리를 산출하는 과정을 설명하기 위한 도면이다. 이때, 도 5는 측면에서 바라본 카메라와 객체 사이의 정보를 도식화한 도면이고, 도 6은 상부에서 바라본 카메라와 객체 사이의 정보를 도식화한 도면이다. 또한, 도 7은 센서 장착 정보 기반의 제2 거리 추정 모듈(122)을 통해 거리를 산출하는 과정을 도식화한 도면이다.
일 예로, 제2 거리 추정 모듈(122)은 전술한 식 1을 이용하여 거리를 추정할 수 있으며, 이때 사용되는 매개변수는 표 2와 같다.
제2 거리 추정 모듈(122)은 이미지 상에서의 객체와 센서 간의 수직 거리(R1)와, 객체와 센서 간의 각도 정보(R2Degree)를 기반으로 객체와 센서 간의 수평 거리(R2)를 산출하고, 수평 거리와 수직 거리를 기반으로 객체와의 거리(R)를 산출할 수 있다.
다음 식 2는 센서 장착 정보 기반의 제2 거리 추정 모듈(122)에 식 1을 적용하여 거리를 추정한 예제이다. 이때, 사용된 중심 좌표는 500 픽셀, 270 픽셀에 위치하고, 객체의 경계 박스 하단의 픽셀은 470 픽셀이며, 사용된 지평선은 240 픽셀, 장착 높이는 0.5m이다.
[식 2]
도 8은 본 발명의 일 실시예에 따른 나이트 비전 시스템(100)을 테스트한 결과를 나타낸 도면이다. 299 픽셀 이하의 검출된 객체에 대해 AI 기반 거리 추정을 진행하였고, 300 픽셀이상 검출된 객체에 대해 센서 장착 정보 기반 거리 추정을 진행하였다. 실험 결과를 통해, AI 기반 거리 추정에서 발생되는 펀치 홀 문제를 제어하며, 근거리에 대해 거리를 추정할 수 있음을 확인할 수 있다.
도 9는 본 발명의 일 실시예에 따른 나이트 비전 시스템(100)에 의해 수행되는 거리 추정 방법의 순서도이다.
먼저, 카메라를 통해 촬영된 영상을 수신하면(S110), 촬영된 영상으로부터 객체 감지 정보를 출력한다(S120).
다음으로, 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보를 산출하고(S130), 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택한다(S141, S142).
다음으로, 선택된 거리 추정 모듈을 기반으로 객체와의 거리를 산출하는 한다(S150).
한편, 상술한 설명에서, 단계 S110 내지 S150는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8에 기술된 내용과 도 9에 기술된 내용은 상호 적용될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 나이트 비전 시스템 및 이의 거리 추정 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 나이트 비전 시스템
110: 객체 감지부
120: 거리 추정부
121: 제1 거리 추정 모듈
122: 제2 거리 추정 모듈

Claims (15)

  1. 나이트 비전 시스템에 있어서,
    카메라를 통해 입력된 영상으로부터 객체 감지 정보를 출력하는 객체 감지부,
    상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보에 기초하여 AI 기반의 제1 거리 추정 모듈 및 센서 장착 정보 기반의 제2 거리 추정 모듈 중 어느 하나를 통해 거리를 추정하는 거리 추정부를 포함하고,
    상기 거리 추정부는 상기 영상의 객체 감지 정보의 하단부 이하의 픽셀의 크기 정보에 기초하여 상기 제1 및 제2 거리 추정 모듈 중 어느 하나를 선택하여 거리를 추정하며,
    상기 거리 추정부는 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 0 픽셀부터 특정 픽셀값 이하를 만족하는 경우 상기 제1 거리 추정 모듈을 통해 거리를 추정하고,
    상기 거리 추정부는 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 상기 특정 픽셀값을 초과하는 경우 상기 제2 거리 추정 모듈을 통해 거리를 추정하며,
    상기 제1 거리 추정 모듈은 합성곱 레이어 및 풀링 레이어로 구성되며 입력 이미지를 다차원 다운 샘플링된 특징맵으로 변환하는 인코더와, 상기 인코더에서 전달된 다운 샘플링된 특징맵을 업샘플링하고, 입력 이미지의 원래 해상도에 해당하는 깊이맵을 생성하는 디코더를 포함하고,
    상기 제2 거리 추정 모듈은 이미지 상에서의 객체와 센서 간의 수직 거리와, 상기 객체와 센서 간의 각도 정보를 기반으로 상기 객체와 센서 간의 수평 거리를 산출하고, 상기 수평 거리와 상기 수직 거리를 기반으로 상기 객체와의 거리를 산출하며,
    상기 카메라는 단일 적외선 카메라(Single IR Camera)인 것인, 나이트 비전 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 나이트 비전 시스템에 의해 수행되는 거리 추정 방법에 있어서,
    카메라를 통해 촬영된 영상을 수신하는 단계;
    상기 촬영된 영상으로부터 객체 감지 정보를 출력하는 단계;
    상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보를 산출하는 단계;
    상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계; 및
    상기 선택된 거리 추정 모듈을 기반으로 객체와의 거리를 산출하는 단계를 포함하고,
    상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는,
    상기 객체 감지 정보를 포함하는 영상의 픽셀의 크기 정보에 기초하여 AI 기반의 제1 거리 추정 모듈 및 센서 장착 정보 기반의 제2 거리 추정 모듈 중 어느 하나를 선택하며,
    상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 영상의 객체 감지 정보의 하단부 이하의 픽셀의 크기 정보에 기초하여 상기 제1 및 제2 거리 추정 모듈 중 어느 하나를 선택하고,
    상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 0 픽셀부터 특정 픽셀값 이하를 만족하는 경우 상기 제1 거리 추정 모듈을 통해 거리를 추정하며,
    상기 산출된 픽셀의 크기 정보에 기초하여 거리 추정 모듈을 선택하는 단계는, 상기 객체 감지 정보의 하단부 이하의 픽셀의 크기가 상기 특정 픽셀값을 초과하는 경우 상기 제2 거리 추정 모듈을 통해 거리를 추정하고,
    상기 제1 거리 추정 모듈은 합성곱 레이어 및 풀링 레이어로 구성되며 입력 이미지를 다차원 다운 샘플링된 특징맵으로 변환하는 인코더와, 상기 인코더에서 전달된 다운 샘플링된 특징맵을 업샘플링하고, 입력 이미지의 원래 해상도에 해당하는 깊이맵을 생성하는 디코더를 포함하며,
    상기 선택된 거리 추정 모듈을 기반으로 객체와의 거리를 산출하는 단계는, 상기 제2 거리 추정 모듈을 통해 이미지 상에서의 객체와 센서 간의 수직 거리와, 상기 객체와 센서 간의 각도 정보를 기반으로 상기 객체와 센서 간의 수평 거리를 산출하고, 상기 수평 거리와 상기 수직 거리를 기반으로 상기 객체와의 거리를 산출하고,
    상기 카메라를 통해 촬영된 영상을 수신하는 단계는, 단일 적외선 카메라(Single IR Camera)를 통해 촬영된 열 영상을 수신하는 것인, 거리 추정 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020230167950A 2023-11-28 2023-11-28 나이트 비전 시스템 및 이의 거리 추정 방법 KR102643408B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230167950A KR102643408B1 (ko) 2023-11-28 2023-11-28 나이트 비전 시스템 및 이의 거리 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230167950A KR102643408B1 (ko) 2023-11-28 2023-11-28 나이트 비전 시스템 및 이의 거리 추정 방법

Publications (1)

Publication Number Publication Date
KR102643408B1 true KR102643408B1 (ko) 2024-03-06

Family

ID=90239711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230167950A KR102643408B1 (ko) 2023-11-28 2023-11-28 나이트 비전 시스템 및 이의 거리 추정 방법

Country Status (1)

Country Link
KR (1) KR102643408B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132731A (ko) * 2015-05-11 2016-11-21 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
KR20180097398A (ko) * 2017-02-23 2018-08-31 계명대학교 산학협력단 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법
KR20180137009A (ko) * 2016-05-02 2018-12-26 제트카베 그룹 게엠베하 자동차의 운전자 시야 관점에서의 광 조건 개선 방법
KR102540678B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132731A (ko) * 2015-05-11 2016-11-21 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
KR20180137009A (ko) * 2016-05-02 2018-12-26 제트카베 그룹 게엠베하 자동차의 운전자 시야 관점에서의 광 조건 개선 방법
KR20180097398A (ko) * 2017-02-23 2018-08-31 계명대학교 산학협력단 야간 주행 자동차를 위한 보행자 의도 예측 시스템 및 이를 이용한 방법
KR102540678B1 (ko) * 2022-09-05 2023-06-07 콩테크 주식회사 카메라이미지를 이용하여 객체의 위치정보 출력을 보완하는 방법 및 그 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Liu, T., Kang, H., & Chen, C. (2023). ORB-Livox: A real-time dynamic system for fruit detection and localization. Computers and Electronics in Agriculture, 209, 107834. *

Similar Documents

Publication Publication Date Title
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
US7321386B2 (en) Robust stereo-driven video-based surveillance
Brunner et al. Selective combination of visual and thermal imaging for resilient localization in adverse conditions: Day and night, smoke and fire
JP4919036B2 (ja) 移動物体認識装置
US8447069B2 (en) Apparatus and method for moving object detection
US20150356357A1 (en) A method of detecting structural parts of a scene
US20190172215A1 (en) System and method for obstacle avoidance
US9135510B2 (en) Method of processing sensor data for navigating a vehicle
Häselich et al. Probabilistic terrain classification in unstructured environments
US20150036887A1 (en) Method of determining a ground plane on the basis of a depth image
JP6858681B2 (ja) 距離推定装置及び方法
CN105049784A (zh) 用于基于图像的视距估计的方法和设备
Kırcalı et al. Ground plane detection using an RGB-D sensor
CN114248778B (zh) 移动设备的定位方法和定位装置
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
Badino et al. Stereo-based free space computation in complex traffic scenarios
CN114022681A (zh) 一种红外图像弱小目标检测方法及系统
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
Kirchhof et al. Detection of moving objects in airborne thermal videos
KR102643408B1 (ko) 나이트 비전 시스템 및 이의 거리 추정 방법
US20150317524A1 (en) Method and device for tracking-based visibility range estimation
CN111553342A (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN110864670A (zh) 目标障碍物位置的获取方法和系统
US10549853B2 (en) Apparatus, system, and method for determining an object's location in image video data
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant