KR102513818B1 - 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라 - Google Patents

열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라 Download PDF

Info

Publication number
KR102513818B1
KR102513818B1 KR1020220149248A KR20220149248A KR102513818B1 KR 102513818 B1 KR102513818 B1 KR 102513818B1 KR 1020220149248 A KR1020220149248 A KR 1020220149248A KR 20220149248 A KR20220149248 A KR 20220149248A KR 102513818 B1 KR102513818 B1 KR 102513818B1
Authority
KR
South Korea
Prior art keywords
brightness
image sensor
value
interest
region
Prior art date
Application number
KR1020220149248A
Other languages
English (en)
Inventor
이준영
유동민
Original Assignee
주식회사 노비텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 노비텍 filed Critical 주식회사 노비텍
Priority to KR1020220149248A priority Critical patent/KR102513818B1/ko
Application granted granted Critical
Publication of KR102513818B1 publication Critical patent/KR102513818B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, 열화상 센서; 2D 이미지 센서; 및 상기 열화상 센서에서 촬영된 열화상 이미지에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 상기 관심 영역의 밝기값을 기준으로 상기 2D 이미지 센서의 자동 노출값 조절을 수행하는 밝기 조절부;를 포함하는 것을 일 특징으로 한다.

Description

열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라{METHOD FOR IMPROVING SUBJECT RECOGNITION RATE USING THERMAL SENSOR AND CAMERA USING THE SAME}
본 발명은 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라에 관한 것으로서, 특히 열 감시 센서로 피사체의 위치를 검출한 후 2D 이미지 센서의 노출값을 조절하는 것을 특징으로 하는 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라에 관한 것이다.
지능형 교통시스템(Intelligent Transport Systems, ITS)에 있어서, 카메라에서 적당한 밝기로 이미지를 획득하는 것이 매우 중요하다. 하지만 야외 환경의 넓은 dynamic range(어두운 부분과 밝은 부분 밝기 차이), 계속 변화하는 피사체, 또는 태양광의 조건 등에 의해 적절한 밝기로 촬영하는 것은 매우 어렵다.
보통의 카메라에서는 Auto Exposure(AE) 기능으로 자동적으로 적절한 노출 설정을 하여 적절한 밝기로 촬영하려고 시도하고 있으나, 일반 AE는 화면 전체의 평균 밝기를 제어하므로 촬영 목적에 따라 보고 싶은 부분(ex, 탑승자 얼굴, 번호판 등)이 적절한 밝기로 촬영되지 않을 수 있다는 문제점이 있다. 특히, 야간에는 가로등이나 간판 등의 외부 조명에 의해, 카메라는 전체 영역이 밝다고 판단하여 노출값을 조절할 수 있으나, 그럼에도 보고 싶은 영역의 조도가 여전히 부족하여 어둡게 촬영될 수 있다.
도 1은 카메라의 화각에 어두운 영역과 밝은 영역이 함께 존재하는 상황을 나타낸다. 도 1을 참조하면, 카메라는 화각(Field of view, FOV)에 가로등 불빛으로 인한 밝은 영역과 야간 환경에 의한 어두운 영역이 함께 존재하는 경우, AE 기능을 활성화되어 있어도 가로등 불빛으로 인해 평균 밝기값이 상승하여 주변이 밝다고 인식하므로 노출값을 줄이게 되고, 이에 따라 어두운 영역의 피사체 인식률이 떨어질 수 있다. 피사체가 차량 및 해당 차량의 번호판인 경우, 인식률은 더 중요한 문제가 될 수 있는데, 촬영 영역 내 대조(Contrast)가 높은 차량 번호판의 이미지를 획득할 수 있다면 해당 차량의 정보를 정확하게 파악할 수 있기 때문이다.
또한, 최근 교차로에서 보행자 통행 방법과 관련된 규정이 개정 도로교통법 시행에 따라 엄격해지고 있다. 그 일 예로, 보행자 신호가 녹색이고 보행자가 횡단보도를 통행하고 있거나 통행하려고 하고 있으면 차량은 일시 정지를 해야 한다. 이런 경우, 관련 규정을 적용하기 위해서 도로의 차량뿐만 아니라 횡단보도 주변의 통행자의 영상도 요구되는 경우가 발생할 수 있다. 그러나 야간의 어두운 환경, 흐린 날씨, 비오는 날씨 등 명시성이 좋지 않은 환경에서 빛(가시광선)을 통해 피사체의 정보를 얻는 일반적인 카메라는 사람을 정확히 인식하지 못하는 경우가 있다.
이와 관련하여, 한국공개특허 제10-2019-0125588호는 열화상 카메라와 줌 카메라가 장착된 해상 조난자 수색용 드론을 개시하고 있다. 상기 선행특허문헌은 열화상 영상을 촬영하는 열화상 카메라에서 열원에 해당하는 열화상 이벤트를 감지하고 해당 열화상 이벤트가 감지된 위치로 줌 카메라를 줌-인 촬영하여 해상에서 실종된 조난자를 보다 효율적으로 수색하는 드론을 제공하는 것을 특징으로 한다.
종래의 경우, 열화상 영상의 열원으로부터 1차적으로 목표물을 검출하고 2차적으로 줌 카메라의 줌-인을 통해 조난자를 효과적으로 촬영하는 카메라를 개시하였으나, 주변의 조명 등에 의해 화각에 밝은 영역과 어두운 영역이 함께 존재하는 경우 어두운 영역에 존재하는 목표 대상이 제대로 촬영되지 못한다는 문제점을 해결하지 못하고 있다. 특히, 상기 선행특허문헌은 수색용 드론을 발명으로 하고 있으므로 실시간으로 영상을 확인하여 목표 대상을 사람이 직접적으로 확인하여 해당 부분의 밝기를 조절할 수 있으나, 본 제안발명은 CCTV와 같은 감시카메라는 녹화 후 필요에 따라 영상을 재생하는 경우가 대부분이므로 촬영 당시 밝기 제어가 잘못된 상태로 촬영된 경우에는 후보정으로도 원하는 목표 대상(번호판, 탑승자 얼굴 등)을 확인할 수 없다.
이에, 본 출원인은 화각에 밝은 영역과 어두운 영역이 함께 존재하는 경우에도 목표 대상이 있는 영역을 기준으로 AE가 작동하도록 하여 피사체 인식률 향상시킬 수 있는 카메라를 고안하게 되었다.
한국공개특허 제10-2019-0125588호
본 발명은 카메라의 화각에 밝은 영역과 어두운 영역이 함께 존재하는 경우에도 피사체가 위치하는 주변 영역을 기준으로 카메라의 노출값을 조절하는 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명은, 열화상 센서; 2D 이미지 센서; 및 상기 열화상 센서에서 촬영된 열화상 이미지에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 상기 관심 영역의 밝기값을 기준으로 상기 2D 이미지 센서의 자동 노출값 조절을 수행하는 밝기 조절부;를 포함하는 것을 일 특징으로 한다.
바람직하게는, 상기 밝기 조절부는, 상기 객체의 움직임에 따라 상기 관심 영역을 가변적으로 변경할 수 있다.
바람직하게는, 상기 밝기 조절부는, 상기 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행할 수 있다.
바람직하게는, 상기 밝기 조절부는, 상기 관심 영역 내 화소값의 평균값이 기설정된 기준값을 초과하면 상기 2D 이미지 센서의 노출값을 줄이고, 상기 관심 영역내 화소값의 평균값이 기설정된 기준값에 도달하지 않으면 상기 2D 이미지 센서의 노출값을 늘릴 수 있다.
바람직하게는, 상기 밝기 조절부는, 상기 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행하여 이미지를 획득하고, 상기 획득한 이미지의 밝기값 보다 일정 배수 밝거나 어두운 복수개의 이미지를 추가적으로 획득할 수 있다.
또한 본 발명은, 열화상 센서에서 열화상 이미지를 수신하는 단계; 2D 이미지 센서에서 2D 이미지를 수신하는 단계; 및 상기 열화상 센서에서 촬영된 열화상 영상에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 상기 관심 영역의 밝기값을 기준으로 상기 2D 이미지 센서의 자동 노출값 조절을 수행하는 밝기 조절단계;를 포함하는 것을 다른 특징으로 한다.
바람직하게는, 상기 밝기 조절단계는, 상기 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행할 수 있다.
바람직하게는, 상기 밝기 조절단계는, 상기 관심 영역 내 화소값의 평균값이 기설정된 기준값을 초과하면 상기 2D 이미지 센서의 노출값을 줄이고, 상기 관심 영역내 화소값의 평균값이 기설정된 기준값에 도달하지 않으면 상기 2D 이미지 센서의 노출값을 늘릴 수 있다.
본 발명은 밝기 조절부가 열감지 센서의 열화상 이미지를 통해 피사체를 검출하여 피사체 주변인 관심 영역을 기준으로 밝기 조절함으로써 2D 이미지에서 피사체의 인식률을 높일 수 있다는 이점이 있다.
또한, 본 발명은 밝기 조절부가 기준 이미지에서 일정 배수 밝고 어두운 이미지를 추가로 획득하여 사용자에게 최적의 피사체 인식률을 갖는 이미지를 제공할 수 있다는 이점이 있다.
도 1은 카메라의 화각에 어두운 영역과 밝은 영역이 함께 존재하는 상황을 나타낸다.
도 2는 본 발명의 실시예에 따른 카메라의 구성도를 나타낸다.
도 3은 본 발명의 실시예에 따른 밝기 조절부가 열화상 이미지에서 열원을 검출하여 객체를 인식한 이미지를 나타낸다.
도 4는 본 발명의 실시예에 따른 밝기 조절부가 열화상 이미지와 관심 영역을 이용하여 자동 노출값 조절을 수행하는 프로세스를 나타낸다.
도 5는 본 발명의 실시예에 따른 밝기 조절부가 자동 노출값 조절을 수행하기 위한 기준값을 설정하는 일 예를 나타낸다.
도 6은 본 발명의 실시예에 따른 밝기 조절부가 자동 노출값을 조절하여 획득한 개선 이미지를 나타낸다.
도 7은 본 발명의 실시예에 따른 밝기 조절부가 다양한 밝기의 복수개의 이미지를 획득하는 프로세스를 나타낸다.
도 8은 본 발명의 실시예에 다른 밝기 조절부가 다양한 밝기의 복수개의 이미지를 획득하기 위한 밝기 설정을 나타낸다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 상세히 설명한다. 다만, 본 발명이 예시적 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해 질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 2는 본 발명의 실시예에 따른 카메라(10)의 구성도를 나타낸다. 도 2를 참조하면, 카메라(10)는 열화상 센서(100), 2D 이미지 센서(300), 밝기 조절부(500), 및 프로세서(700)를 포함할 수 있다.
본 발명의 실시예에 따른 카메라(10)는 열감지 센서의 열화상 이미지를 통해 피사체를 검출하여 피사체 주변인 관심 영역을 기준으로 밝기 조절함으로써 2D 이미지에서 피사체의 인식률을 높일 수 있다. 카메라(10)는 기준 이미지에서 일정 배수 밝거나 어두운 이미지를 추가로 획득하여 사용자에게 최적의 피사체 인식률을 갖는 이미지를 제공할 수 있다.
최근 교차로에서 보행자 통행 방법과 관련된 개정 도로교통법 시행에 따라 규정이 엄격화되었고, 이에 따라 보행자 신호가 녹색이고 보행자가 횡단보도를 통행하고 있거나 통행하려고 하는 경우 차량은 일시 정지를 해야한다. 이러한 최근 개정 도로교통법에 따른 규정 위반을 단속하기 위해서는 도로 상의 차량 이외에도 횡단보도 주변의 통행자의 영상을 확보할 필요가 있다. 카메라(10)는 흐린 날씨, 야간의 어두운 환경 등에도 열화상 센서(100)를 통해 객체(사람)을 명확히 구별할 수 있다.
열화상 센서(100)는 열을 추적 또는 탐지하여 열화상 이미지를 보여주는 장치를 의미할 수 있다. 열화상 센서(100)는 열을 가진 물체가 발산하는 복사열(적외선)을 감지하여 열화상 이미지로 보여줄 수 있다. 열화상 센서(100)는 가시광선 영역이 아닌 적외선 영역을 감지하여 조명의 유무와 상관없이 물체를 촬영하여 표시할 수 있다. 열화상 센서(100)는 연기, 나무 등과 같은 각종 장애물 뒤의 물체도 감지하여 표시할 수 있다.
도 3은 본 발명의 실시예에 따른 밝기 조절부(500)가 열화상 이미지에서 열원을 검출하여 객체를 인식한 이미지를 나타낸다. 도 3을 참조하면, 열화상 센서(100)는 물체 자체에서 나오는 열을 감지하므로 빛이 없는 야간에도 객체를 인식할 수 있다. 열화상 센서(100)는 촬영된 열화상 이미지를 밝기 조절부(500)에 전송하여 열원의 검출을 통해 객체를 인식하여 관심 영역을 설정하는 기준을 제공할 수 있다.
2D 이미지 센서(300)는 가시광선 영역의 일반 영상을 촬영할 수 있다. 2D 이미지 센서(300)는 밝기 조절부(500)에 의해 노출값이 조절될 수 있다. 여기에서 노출값이란 Exposure time, Gain 등 촬영 시 이미지의 밝기 값을 조절할 수 있는 Parameter를 뜻한다. 이미지 센서(300)는 자동 노출의 기준값보다 관심 영역 내 평균 밝기값이 더 크면 노출값을 줄이는 방향으로 조절될 수 있다. 2D 이미지 센서(300)는 자동 노출의 기준값보다 관심 영역 내 평균 밝기값이 더 작으면 노출값을 늘리는 방향으로 조절될 수 있다.
2D 이미지 센서(300)는 열화상 센서(100)와 동일한 영역을 촬영할 수 있다. 따라서, 열화상 센서(100)에서 열원을 검출하여 인식한 객체의 위치를 2D 이미지 센서(300)가 촬영한 이미지에 매핑하여 객체 주변의 일정영역이 관심영역으로 설정될 수 있다.
도 4는 본 발명의 실시예에 따른 밝기 조절부(500)가 열화상 이미지와 관심 영역을 이용하여 자동 노출값 조절을 수행하는 프로세스를 나타낸다. 도 4를 참조하면, 밝기 조절부(500)는 열화상 센서(100)에서 촬영된 열화상 이미지에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 상기 관심 영역의 밝기값을 기준으로 상기 2D 이미지 센서(300)의 자동 노출값 조절을 수행할 수 있다.
밝기 조절부(500)의 자동 노출값 조절 프로세스를 구체적으로 살펴보면, 밝기 조절부(500)는 자동 노출의 기준값(기준이 되는 밝기 값)이 사용자에 의해 설정될 수 있다. 밝기 조절부(500)는 자동 노출의 기준값이 설정되면 자동 노출 조절(Auto Exposure Control, AEC) 기능을 활성화할 수 있다.
밝기 조절부(500)는 자동 노출 조절(AEC) 기능을 통해 적절한 밝기의 이미지를 획득할 수 있고, 자동 노출 조절(AEC) 기능 다음과 같다. 밝기 조절부(500)는 열화상 센서(100)에서 촬영된 열화상 이미지에서 열원을 검출하여 객체를 인식할 수 있다. 밝기 조절부(500)는 열화상 이미지에서 인식한 객체 주변의 일정 영역을 관심영역으로 설정할 수 있다. 밝기 조절부(500)는 인식한 객체의 위치에 따라 관심영역도 실시간으로 변경될 수 있다. 밝기 조절부(500)는 관심 영역 내 평균 밝기값(Pixel Brightness Level)의 평균값을 계산할 수 있다. 밝기 조절부(500)는 관심 영역 내 평균 밝기값(Pixel Brightness Level)과 자동 노출의 기준값을 비교하여 관심 영역 내 평균 밝기값이 더 크면 2D 이미지 센서(300)의 노출값을 줄일 수 있다. 밝기 조절부(500)는 관심 영역 내 평균 밝기값(Pixel Brightness Level)과 자동 노출의 기준값을 비교하여 관심 영역 내 평균 밝기값이 더 작으면 2D 이미지 센서(300)의 노출값을 늘릴 수 있다.
밝기 조절부(500)는 흐리거나 어두운 환경에 노출된 객체 등 일반적인 2D 이미지 센서(300)로 인식하기 어려운 객체를 손쉽게 인식할 수 있는 열화상 센서(100)를 통해 일차적으로 객체를 인식하고 인식된 객체의 위치를 2D 이미지 센서(300)에 매핑함으로써 객체 식별력을 향상시킬 수 있다. 밝기 조절부(500)는 열화상 센서(100)를 활용하여 인체 온도 범위와 윤곽 정보를 통해 보행자 등 사람을 인식하여 2D 이미지 센서에서 촬영한 영상에서 객체 인식률을 높일 수 있다.
밝기 조절부(500)는 객체의 움직임에 따라 관심 영역을 가변적으로 변경할 수 있다. 2D 이미지 센서는 실시간으로 영상을 촬영할 수 있고, 해당 영상에서 객체는 실시간으로 이동할 수 있다. 객체의 주변 밝기는 객체의 움직임에 따라 실시간으로 변화할 수 있어, 지속적인 관심 영역의 변경이 필요하다. 따라서, 본 발명의 밝기 조절부(500)는 객체가 이동함에 따라 관심 영역을 실시간으로 변경할 수 있다. 밝기 조절부(500)는 관심 영역을 가변적으로 변경함으로써 객체 주변의 밝기 변화에 적응하여 피사체 인식률을 높일 수 있다.
도 5는 본 발명의 실시예에 따른 밝기 조절부(500)가 자동 노출값 조절을 수행하기 위한 기준값을 설정하는 일 예를 나타낸다. 도 5를 참조하면, 밝기 조절부(500)는 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행할 수 있다.
자동 노출값 조절 프로세스를 상세히 살펴보면, 먼저, 밝기 조절부(500)는 자동 노출값 조절이 수행될 기준값을 입력받을 수 있다. 여기에서, 기준값은 사용자 또는 제조사에 의해 설정될 수 있다. 다음으로, 밝기 조절부(500)는 열화상 이미지에서 열원을 기준으로 객체를 인식할 수 있다. 이어서, 밝기 조절부(500)는 열화상 이미지에서 인식된 객체 주변의 일정 영역을 관심 영역으로 설정할 수 있다. 이때, 관심 영역은 객체의 위치에 따라 가변적일 수 있다. 밝기 조절부(500)는 설정된 관심 영역 내 화소값(pixel brightness level)의 평균값 측정할 수 있다. 뒤이어, 밝기 조절부(500)는 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하면 2D 이미지 센서(300)의 노출값을 줄이고, 관심 영역 내 화소값의 평균값이 기설정된 기준값에 도달하지 않으면 2D 이미지 센서(300)의 노출값을 늘릴 수 있다.
도 6은 본 발명의 실시예에 따른 밝기 조절부(500)가 자동 노출값을 조절하여 획득한 개선 이미지를 나타낸다. 도 6을 참조하면, 밝기 조절부(500)는 열화상 이미지에서 인식한 객체의 위치를 바탕으로 2D 이미지 영상에서 객체를 인식하여 관심 영역(노란색 박스)을 설정할 수 있다. 밝기 조절부(500)는 관심 영역 내 화소값과 기설정된 기준값을 비교하고, 2D 이미지 센서(300)의 노출값을 조절하여 최종적으로 객체가 명확히 인식될 수 있는 이미지를 획득할 수 있다.
도 7은 본 발명의 실시예에 따른 밝기 조절부(500)가 다양한 밝기의 복수개의 이미지를 획득하는 프로세스를 나타낸다. 도 7을 참조하면, 밝기 조절부(500)는 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행하여 이미지를 획득하고, 획득한 이미지의 밝기값 보다 일정 배수 밝거나 어두운 복수개의 이미지를 추가적으로 획득할 수 있다.
밝기 조절부(500)는 도 5의 자동 노출값 조절 프로세스에 따라 획득한 이미지의 밝기보다 일정 배수 밝거나 어두운 복수개의 이미지를 획득할 수 있다. 일 실시예로 밝기 조절부(500)는 각각 밝기가 다른 3장의 이미지(이하, 각각의 이미지를 A, B, C라 칭함)를 획득할 수 있다.
도 8은 본 발명의 실시예에 다른 밝기 조절부가 다양한 밝기의 복수개의 이미지를 획득하기 위한 밝기 설정을 나타낸다. 도 8을 참조하면, 먼저, 밝기 조절부(500)는 자동 노출값 조절 프로세스에 따라 획득한 이미지 A를 획득할 수 있다. 이어서, 밝기 조절부(500)는 이미지 A보다 N배 밝거나 M배 어둡게 설정된 이미지 B, C를 획득할 수 있다. 예를들면, 밝기 조절부(500)는 획득한 이미지의 밝기값 보다 1.5 내지 4배 밝은 이미지 하나와 1.5 내지 4배 어두운 이미지 하나를 추가적으로 획득할 수 있다.
밝기 조절부(500)는 촬영 환경(피사체, 날씨 등)의 변화에 따라 밝기 조절 배수(N)를 최적화할 수 있다. 밝기 조절부(500)는 다른 밝기를 갖는 복수의 사진을 연속적으로 획득하고, 객체가 뚜렷하게 나타난 이미지를 사용자가 선택할 수 있게 하여 객체 인식률을 향상시킬 수 있다.
본 발명의 다른 실시예인 열 감지 센서를 이용한 피사체 인식률 향상 방법은 열화상 이미지 수신 단계, 2D 이미지 수신 단계, 및 밝기 조절단계를 포함할 수 있다.
열화상 이미지 수신 단계는 열화상 센서(100)에서 열화상 이미지를 수신할 수 있다. 열화상 이미지 수신 단계는 전술한 열화상 센서(100)에서 수행되는 동작을 의미한다.
2D 이미지 수신 단계는 2D 이미지 센서(300)에서 2D 이미지를 수신할 수 있다. 2D 이미지 수신 단계는 전술한 2D 이미지 센서(300)에서 수행되는 동작을 의미한다.
밝기 조절단계는 열화상 센서(100)에서 촬영된 열화상 영상에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 관심 영역의 밝기값을 기준으로 2D 이미지 센서(300)의 자동 노출값 조절을 수행할 수 있다. 밝기 조절단계는 전술한 밝기 조절부(5000에서 수행되는 동작을 의미한다.
밝기 조절단계는 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행할 수 있다.
밝기 조절단계는 관심 영역 내 화소값의 평균값이 기설정된 기준값을 초과하면 2D 이미지 센서(300)의 노출값을 줄이고, 관심 영역내 화소값의 평균값이 기설정된 기준값에 도달하지 않으면2D 이미지 센서(300)의 노출값을 늘릴 수 있다.
이상에서 대표적인 실시예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 특허청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
10 : 카메라
100 : 열화상 센서
300 : 2D 이미지 센서
500 : 밝기 조절부
700 : 프로세서

Claims (8)

  1. 열화상 센서;
    2D 이미지 센서; 및
    상기 열화상 센서에서 촬영된 열화상 이미지에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 상기 관심 영역의 밝기값을 기준으로 상기 2D 이미지 센서의 자동 노출값 조절을 수행하는 밝기 조절부;를 포함하고,
    상기 밝기 조절부는,
    상기 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행하고,
    상기 밝기 조절부는,
    상기 관심 영역 내 화소값의 평균값이 기설정된 기준값을 초과하면 상기 2D 이미지 센서의 노출값을 줄이고, 상기 관심 영역 내 화소값의 평균값이 기설정된 기준값에 도달하지 않으면 상기 2D 이미지 센서의 노출값을 늘려,
    객체 주변의 관심 영역의 밝기값을 통한 2D 이미지 센서의 밝기조절로 객체의 인식률을 향상시키는 것을 특징으로 하는 카메라.
  2. 제 1 항에 있어서,
    상기 밝기 조절부는,
    상기 객체의 움직임에 따라 상기 관심 영역을 가변적으로 변경하는 것을 특징으로 하는 카메라.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 밝기 조절부는,
    상기 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행하여 이미지를 획득하고,
    상기 획득한 이미지의 밝기값 보다 일정 배수 밝거나 어두운 복수개의 이미지를 추가적으로 획득하는 것을 특징으로 하는 카메라.
  6. 열화상 센서에서 열화상 이미지를 수신하는 단계;
    2D 이미지 센서에서 2D 이미지를 수신하는 단계; 및
    상기 열화상 센서에서 촬영된 열화상 영상에서 열원을 검출하여 객체를 인식하고, 검출된 객체 주변의 일정 영역을 관심 영역으로 설정하여 상기 관심 영역의 밝기값을 기준으로 상기 2D 이미지 센서의 자동 노출값 조절을 수행하는 밝기 조절단계;를
    상기 밝기 조절단계는,
    상기 관심 영역 내 화소값(pixel brightness level)의 평균값이 기설정된 기준값을 초과하는지를 기준으로 자동 노출값 조절을 수행하고,
    상기 밝기 조절단계는,
    상기 관심 영역 내 화소값의 평균값이 기설정된 기준값을 초과하면 상기 2D 이미지 센서의 노출값을 줄이고, 상기 관심 영역 내 화소값의 평균값이 기준값에 도달하지 않으면 상기 2D 이미지 센서의 노출값을 늘려,
    객체 주변의 관심 영역의 밝기값을 통한 2D 이미지 센서의 밝기조절로 객체의 인식률을 향상시키는 것을 특징으로 하는 열 감지 센서를 이용한 피사체 인식률 향상 방법.

  7. 삭제
  8. 삭제
KR1020220149248A 2022-11-10 2022-11-10 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라 KR102513818B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220149248A KR102513818B1 (ko) 2022-11-10 2022-11-10 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220149248A KR102513818B1 (ko) 2022-11-10 2022-11-10 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라

Publications (1)

Publication Number Publication Date
KR102513818B1 true KR102513818B1 (ko) 2023-03-24

Family

ID=85872553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220149248A KR102513818B1 (ko) 2022-11-10 2022-11-10 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라

Country Status (1)

Country Link
KR (1) KR102513818B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110017556A (ko) * 2009-08-14 2011-02-22 엘지이노텍 주식회사 카메라 모듈
KR20190125588A (ko) 2018-04-30 2019-11-07 (주)다온씨앤티 열화상 카메라와 줌 카메라가 장착된 해상 조난자 수색용 드론 및 이를 이용한 해상 조난자 수색 시스템
KR102092552B1 (ko) * 2019-11-11 2020-03-24 주식회사 삼주전자 지능형 전천후 영상 표출 카메라 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110017556A (ko) * 2009-08-14 2011-02-22 엘지이노텍 주식회사 카메라 모듈
KR20190125588A (ko) 2018-04-30 2019-11-07 (주)다온씨앤티 열화상 카메라와 줌 카메라가 장착된 해상 조난자 수색용 드론 및 이를 이용한 해상 조난자 수색 시스템
KR102092552B1 (ko) * 2019-11-11 2020-03-24 주식회사 삼주전자 지능형 전천후 영상 표출 카메라 시스템

Similar Documents

Publication Publication Date Title
KR101688695B1 (ko) 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
JP6416085B2 (ja) 適用可能な被写界深度を使用するゲーテッド撮像
US8995723B2 (en) Detecting and recognizing traffic signs
WO2017014023A1 (ja) 車載環境認識装置
JP5071198B2 (ja) 信号機認識装置，信号機認識方法および信号機認識プログラム
KR101625538B1 (ko) 도시방범이 가능한 다차선 자동차 번호판 인식시스템
WO2018008461A1 (ja) 画像処理装置
JP2009071789A (ja) 車両周辺監視システム
JP2008135856A (ja) 物体認識装置
JP2016196233A (ja) 車両用道路標識認識装置
KR20160034064A (ko) 차량 번호 인식 장치 및 그 방법
WO2019085930A1 (zh) 车辆中双摄像装置的控制方法和装置
JP4084578B2 (ja) 文字認識方法及びその装置
KR100878491B1 (ko) 방범 카메라 시스템 및 그 제어방법
KR102513818B1 (ko) 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
KR101964744B1 (ko) 가시광선 조명과 적외선 조명 일체형 cctv 카메라 시스템
JP5169641B2 (ja) 画像解析装置および画像解析プログラム
KR102630316B1 (ko) 열 감지 센서를 이용한 객체 식별 하이브리드 카메라, 이를 이용한 스마트 보행신호 시스템, 및 무인단속/영상감시 시스템
KR101501678B1 (ko) 노출 조절을 이용한 차량용 영상 촬영장치 및 그 방법
JP3567114B2 (ja) 画像監視装置及び画像監視方法
JP2007281989A (ja) ステレオ式監視装置
JP7295645B2 (ja) 車両用道路標識認識支援装置
KR101350861B1 (ko) 빛의 파장인식기능을 이용한 감시카메라 시스템의 적외선 엘이디 제어장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant