KR102168038B1

KR102168038B1 - 객체 인식 장치 및 객체 인식 방법

Info

Publication number: KR102168038B1
Application number: KR1020190021695A
Authority: KR
Inventors: 신현철; 여동훈; 칸자밀아흐메드
Original assignee: 한양대학교 에리카산학협력단
Priority date: 2019-02-25
Filing date: 2019-02-25
Publication date: 2020-10-21
Also published as: KR20200103348A

Abstract

본 개시는 객체 인식 장치 및 객체 인식 방법에 관한 것이다. 구체적으로, 본 개시에 따른 객체 인식 장치는 감지된 이미지를 수신하고, 이미지의 휘도를 계산하는 휘도 계산부와, 휘도가 미리 설정된 복수의 휘도 범위 중 어느 하나의 휘도 범위에 포함되는지 판단하고, 휘도가 포함된 휘도 범위에 대응되는 휘도 보정 프로세스에 기초하여 휘도를 보정하는 휘도 보정부 및 휘도가 보정된 이미지에서 미리 학습된 객체 이미지와 대응되는 객체를 인식하는 객체 인식부를 포함한다. 본 개시는 이미지의 휘도를 적절하게 보정하여 객체를 정확히 인식할 수 있는 효과를 제공한다.

Description

객체 인식 장치 및 객체 인식 방법{Apparatus for recognizing object and Method thereof}

본 개시는 객체 인식 장치 및 객체 인식 방법에 관한 기술이다. 보다 상세하게는 본 개시는 이미지의 휘도를 계산하고 휘도의 구체적인 수치에 따라 휘도를 보정하는 프로세스를 다르게 적용하는 기술에 관한 것이다.

요즘, 카메라 등에 의해 촬영된 이미지로부터 원하는 객체를 정확히 인식하는 기술이 증대되고 있다.

객체를 인식하는 기술은 일반적으로 특정 이미지에서 앵커 박스(Anchor box), 바운딩 박스(bounding box) 등으로 특정 영역을 구분하고, 구분된 영역에 포함된 이미지를 필터링하고 미리 학습하여 저장한 객체 이미지와 비교함으로써 구현된다.

이때, 촬영된 이미지의 휘도는 주변 환경, 센서의 성능 등으로 변화되는데, 휘도가 상대적으로 낮은 경우에는 객체를 인식하기 어렵다. 따라서, 이미지의 휘도를 보정하거나 이미지의 톤을 효과적으로 매핑하는 기술이 요구되고 있는 실정이다.

그러나, 종래에는 이미지의 휘도를 고려하지 않고 일괄적으로 보정하고 있어, 인식 가능한 객체가 오히려 인식되지 못한다는 문제점이 있다.

전술한 배경에서 안출된 본 개시는 이미지의 휘도를 적절하게 보정하여 객체를 정확히 인식하고자 한다.

또한, 본 개시는 이미지 내에서 객체를 정확히 인식함으로써 운전자에게 주행 안정성과 주행 편의성을 제공하고자 한다.

전술한 과제를 해결하기 위한 일 실시예는 감지된 이미지를 수신하고, 이미지의 휘도를 계산하는 휘도 계산부와, 휘도가 미리 설정된 복수의 휘도 범위 중 어느 하나의 휘도 범위에 포함되는지 판단하고, 휘도가 포함된 휘도 범위에 대응되는 휘도 보정 프로세스에 기초하여 휘도를 보정하는 휘도 보정부 및 휘도가 보정된 이미지에서 미리 학습된 객체 이미지와 대응되는 객체를 인식하는 객체 인식부를 포함하는 객체 인식 장치를 제공한다.

또한, 다른 실시예는 감지된 이미지를 수신하고, 이미지의 휘도를 계산하는 휘도 계산 단계와, 휘도가 미리 설정된 복수의 휘도 범위 중 어느 하나의 휘도 범위에 포함되는지 판단하는 판단 단계와, 휘도가 포함된 휘도 범위에 대응되는 휘도 보정 프로세스에 기초하여 휘도를 보정하는 휘도 보정 단계 및 휘도가 보정된 이미지에서 미리 학습된 객체 이미지와 대응되는 객체를 인식하는 객체 인식 단계를 포함하는 객체 인식 방법을 제공한다.

이상에서 설명한 바와 같이, 본 개시는 이미지의 휘도를 적절하게 보정하여 객체를 정확히 인식할 수 있는 효과를 제공한다.

또한, 본 개시는 이미지 내에서 객체를 정확히 인식함으로써 운전자에게 주행 안정성과 주행 편의성을 제공하는 효과를 제공한다.

도 1은 본 개시에 따른 객체 인식 시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 개시에 따른 객체 인식 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 개시에 따른 객체 인식 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 4는 본 개시에 따른 휘도를 보정하는 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 5는 본 개시에 따른 휘도를 보정하는 방법의 다른 실시예를 설명하기 위한 흐름도이다.
도 6 및 도 7은 본 개시에 따른 보정 함수를 나타낸 그래프이다.
도 8은 본 개시에 따라 인식 가능한 객체를 예시적으로 나타낸 도면이다.
도 9는 종래 및 본 개시 각각에 따라 객체를 인식한 결과를 나타내는 이미지들을 나타낸 도면이다.

이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

도 1은 본 개시에 따른 객체 인식 시스템(10)을 개략적으로 나타낸 블록도이다.

도 1을 참조하면, 본 개시에 따른 객체 인식 시스템(10)은 차량과 같은 운송수단의 주변을 감지하고, 운송수단의 주변에 존재하는 특정 객체를 인식하며, 인식된 특정 객체를 표시(Display)하는 시스템을 의미할 수 있다.

이러한 객체 인식 시스템(10)은 이미지 센서(100)와, 객체 인식 장치(200) 및 표시 장치(300) 등을 포함할 수 있다.

이미지 센서(100)는 차량과 같은 운송수단의 주변을 감지하고, 감지 결과에 대한 이미지를 생성하여 출력할 수 있다. 즉, 이미지 센서(100)는 운송수단의 외붕 대한 시야를 갖고 이미지 데이터를 캡쳐하여 출력할 수 있다.

이미지 센서(100)는 운송수단의 전방, 측방 또는 후방에 탑재될 수 있으며, 예를 들어 이미지 센서(100)는 차량의 전방에 대한 시야를 갖도록 차량의 전방 부분에 배치될 수 있다.

이러한 이미지 센서(100)는 카메라, LiDAR(Light Detection and Ranging) 센서등을 의미할 수 있다. 하지만, 이에 한정되는 것은 아니고, 이미지 센서(100)는 광 신호 또는 광원을 이용하여 물체를 감지하는 센서라면 이를 모두 포함할 수 있다.

이미지 센서(100)로부터 촬영된 영상 정보는 이미지 데이터로 구성되므로, 이미지 센서로부터 캡쳐된 이미지 데이터를 의미할 수 있다. 이하, 본 개시에서 이미지 센서로부터 촬상된 영상 정보는 이미지 센서로부터 캡쳐된 이미지 데이터를 의미한다. 이미지 센서에 의해 캡쳐된 이미지 데이터는, 예를 들어, Raw 형태의 AVI, MPEG-4, H.264, DivX, JPEG 중 하나의 포맷으로 생성될 수 있다.

한편, 이미지 센서(100)는 캡쳐한 이미지의 이미지 데이터를 객체 인식 장치(200)로 출력할 수 있고, 표시 장치(300)로 출력할 수 있다.

객체 인식 장치(200)는 이미지 센서(100)로부터 이미지를 수신하고, 수신된 이미지에서 특정 객체를 인식할 수 있다. 구체적으로, 객체 인식 장치(200)는 수신된 이미지에 포함된 다양한 객체들을 학습하여 저장한 특정 객체와 비교하고, 학습된 객체에 해당되는 객체들을 구분 추출함으로써 특정 객체를 인식할 수 있다.

여기서, 특정 객체는 설계자, 운전자 등에 의해 다양하게 지정될 수 있다. 예를 들어, 특정 객체는 차량의 전방에서 주행하는 선행 차량, 보행자, 동물, 가드레일, 신호등, 교통 표지판, 도로 등을 의미할 수 있다. 하지만, 이에 한정되는 것은 아니다.

객체 인식 장치(200)의 구체적인 동작 방법은 도 2 내지 7을 참조하여 후술한다.

이러한 객체 인식 장치(200)는 CPU, Ram, Linux operating system, 프로세서(processor) 등을 포함하는 컴퓨터와 같은 하드웨어 및 D-patches, RANSAC method, YOLO(You Only Look Once), CNN(Convolution Neural Network) 등과 같은 소프트웨어로 구현될 수 있다.

여기서, 프로세서는 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등과 같이, 이미지 데이터의 처리 및 기타 기능을 수행할 수 있는 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

한편, 객체 인식 장치(200)는 인식된 특정 객체에 대한 정보를 이미지에 반영하고, 이미지 데이터를 표시 장치(300)에 출력할 수 있다.

표시 장치(300)는 이미지 센서(100)로부터 이미지 데이터를 수신하여 표시하거나, 객체 인식 장치(200)로부터 이미지 데이터를 수신하여 표시할 수 있다.

표시 장치(300)는 운전자, 탑승자가 쉽게 인지할 수 있도록 차량과 같은 운송수단 내부에 배치될 수 있다.

이러한 표시 장치(300)는 표시 패널, 게이트 구동 회로, 데이터 구동 회로, 게이트 라인, 데이터 라인, 다수의 서브 픽셀, 컨트롤러 등으로 구현될 수 있다. 하지만, 이에 한정되는 것은 아니다.

이하에서는 본 개시에 따른 객체 인식 장치(200)를 구체적으로 설명한다.

도 2는 본 개시에 따른 객체 인식 장치(200)를 개략적으로 나타낸 블록도이다.

도 2를 참조하면, 본 개시에 따른 객체 인식 장치(200)는 휘도 계산부(210)와, 휘도 보정부(220)와, 객체 인식부(230) 등을 포함할 수 있다.

휘도 계산부(210)는 이미지 센서(100)에 의해 감지된 이미지를 수신하고, 이미지의 휘도(Luminance)를 계산할 수 있다.

예를 들어, 휘도 계산부(210)는 조명함수와 반사특성 함수의 곱으로 표현된 수학적 모델을 이용하여 이미지의 휘도를 계산할 수 있다. 하지만, 이에 한정되는 것은 아니고 이미지의 휘도는 영상 처리에 관한 소프트웨어, 알고리즘 등에 의하여 계산될 수 있다.

여기서, 휘도의 단위는 면적당 칸델라(Cd/㎡) 또는 니트(nit)로 표현될 수 있다. 하지만, 이에 한정되는 것은 아니다.

휘도 보정부(220)는 휘도가 미리 설정된 복수의 휘도 범위 중 어느 하나의 휘도 범위에 포함되는지 판단하고, 휘도가 포함된 휘도 범위에 대응되는 휘도 보정 프로세스에 기초하여 휘도를 보정할 수 있다.

예를 들면, 휘도 계산부(210)에 의해 계산된 이미지의 휘도가 제1 휘도 범위에휘도 포함되는 경우, 휘도 보정부(220)는 제1 휘도 보정 프로세스에 기초하여 휘도를 보정한다.

미리 설정된 휘도 범위는 최솟값과 최댓값을 갖는 일정한 범위를 의미할 수 있다. 그리고, 휘도 범위는 전체 휘도 범위에서 적어도 두 개로 구분될 수 있다. 예를 들어, 전체 휘도 범위가 0에서 100 사이의 범위를 포함하는 경우, 제1 휘도 범위는 0 내지 50이고, 제2 휘도 범위는 51 내지 100일 수 있다. 하지만, 이에 한정되는 것은 아니다.

이러한 전체 휘도 범위의 스케일(Scale)은 실제 휘도값에 대응되는 스케일일 수 있으나, 연산 속도, 저장 용량 등을 고려하여 본래의 스케일보다 축소된 스케일일 수 있다. 예를 들면, 전체 휘도 범위의 스케일은 0이상 1이하의 실수(Real Number)로 스케일링하여 미리 설정될 수 있다. 하지만, 이에 한정되는 것은 아니다.

한편, 전체 휘도 범위의 스케일이 0 이상 1 이하인 경우, 이미지의 휘도 또는 휘도의 단위와 전체 휘도 범위의 스케일이 일치되지 않을 수 있다. 따라서, 계산된 이미지의 휘도가 전체 휘도 범위의 스케일에 대응되도록 전체 휘도 보정부(220)는 이미지의 휘도를 계산하고 이를 스케일링하며, 스케일링값과 휘도 범위를 비교할 수 있다. 구체적인 방법은 도 4 내지 도 7을 참조하여 후술한다.

휘도 보정 프로세스는 휘도를 보정하기 위한 알고리즘을 의미할 수 있으며, 휘도 보정 프로세스에는 휘도를 보정하기 위한 보정 함수를 포함할 수 있다.

휘도 보정부(220)에 이미지의 휘도가 보정되면, 보정된 이미지의 톤이 더욱 밝아질 수 있다.

객체 인식부(230)는 휘도가 보정된 이미지에서 미리 학습된 객체 이미지와 대응되는 객체를 인식할 수 있다.

예를 들면, 이미지에 교통 표지판에 대한 이미지가 존재하는 경우, 객체 인식부(230)는 학습하여 저장한 교통 표지판 이미지와 대응되는 객체를 이미지 내에서 구분하여 인식한다.

여기서, 객체 인식부(230)가 이용하는 학습 방법은 일반적으로 머신 러닝(Machine Learning)일 수 있다. 이때, 머신 러닝에 대한 알고리즘은 예를 들면, YOLO, CNN, Faster R-CNN, Deep Learning, Two-Stream Multirate Recurrent Neural Network, SSD model 등일 수 있다.

전술한 바와 같이, 본 개시에 의하면, 본 개시에 따른 객체 인식 장치(200)는 이미지의 휘도에 따라 휘도 보정 프로세스를 다르게 수행함으로써 객체를 정확히 인식할 수 있는 효과를 제공한다.

도 3은 본 개시에 따른 객체 인식 장치의 동작 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 단계 S310에서는 이미지를 수신한다. 구체적인 예를 들면, 객체 인식 장치(200)는 이미지 센서(100)로부터 이미지에 대한 이미지 데이터를 수신한다.

그 다음, 단계 S320에서는 이미지의 휘도를 계산한다. 구체적인 예를 들면, 객체 인식 장치(200)는 수신한 이미지 데이터를 이용하여 전술한 영상 처리 알고리즘을 통해 이미지의 휘도를 계산한다.

그 다음, 단계 S330에서는 계산된 휘도가 미리 설정된 휘도 범위 중에서 어느 하나의 휘도 범위에 포함되는지 판단한다. 구체적인 예를 들면, 이미지의 휘도가 30이고 0~100 사이의 범위를 갖는 전체 휘도 범위가 제1 내지 제4 휘도 범위로 균등하게 구분되는 경우, 객체 인식 장치(200)는 휘도(예를 들면, 30)가 제2 휘도 범위(예를 들면, 25~50 범위)에 포함되는 것으로 판단한다.

휘도 범위가 판단되면, 단계 S340에서는 특정 휘도 범위에 따른 휘도 보정 프로세스에 기초하여 이미지의 휘도를 보정한다. 구체적인 예를 들면, 객체 인식 장치(200)는 제1 휘도 범위에 대응되는 제1 휘도 보정 프로세스에 기초하여 원본 이미지의 휘도에서 더 큰 휘도로 보정한다.

이미지의 휘도가 보정되면, 단계 S350에서는 보정된 이미지에 포함된 객체 중 학습하여 저장한 객체 이미지에 대응되는 객체를 인식한다. 구체적인 예를 들면, 객체 인식 장치(200)는 미리 학습하여 저장한 도로 표지판의 이미지 데이터를 이용하여 보정된 이미지에서 도로 표지판을 인식한다.

이하에서는 휘도를 보정하는 방법의 다양한 실시예들을 구체적으로 설명한다.

도 4는 본 개시에 따른 휘도를 보정하는 방법의 일 실시예를 설명하기 위한 흐름도이다.

도 4를 참조하면, 본 개시에 따른 객체 인식 장치(200)는 전체 휘도 범위를 제1 내지 제3 휘도 범위로 구분하여 미리 설정할 수 있다. 그리고, 객체 인식 장치(200)는 수신한 이미지의 제1 휘도를 계산하고(S410), 제1 휘도를 스케일링하여 제1 스케일링값을 계산한다(S410).

구체적인 예를 들면, 휘도 보정부(220)는 이미지의 제1 휘도가 전체 휘도 범위의 스케일에 대응되도록, 제1 휘도를 스케일링하여 제1 스케일링값을 계산한다.

제1 스케일링값이 계산되면, 객체 인식 장치(200)는 제1 스케일링값이 특정 휘도 범위에 포함되는지 판단하고, 특정 휘도 범위에 따른 보정 함수에 제1 스케일링값을 대입한다.

일 예로, 객체 인식 장치(200)는 제1 스케일링값이 제1 휘도 범위에 포함되는지 판단하고(S431), 제1 스케일링값이 제1 휘도 범위에 포함되면, 제1 보정 함수에 제1 스케일링값을 대입한다(S441). 제1 보정 함수에 제1 스케일링값을 대입한 결과 제2 스케일링값이 계산된다. 여기서, 제2 스케일링값은 보정된 휘도에 대응되는 값을 의미할 수 있다.

구체적인 예를 들면, 제1 스케일링값이 제1 휘도 범위에 포함되면, 휘도 보정부(220)는 제1 휘도 범위에 대응되는 제1 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값을 계산한다.

한편, 제1 스케일링값이 제1 휘도 범위에 포함되지 않는 경우, 객체 인식 장치(200)는 제1 스케일링값이 제2 휘도 범위에 포함되는지 판단하고(S432), 제1 스케일링값이 제2 휘도 범위에 포함되면, 제2 보정 함수에 제1 스케일링값을 대입한다(S442).

구체적인 예를 들면, 제1 스케일링값이 제2 휘도 범위에 포함되면, 휘도 보정부(220)는 제2 휘도 범위에 대응되는 제2 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값을 계산한다.

제1 스케일링값이 제2 휘도 범위에도 포함되지 않으면 제1 스케일링값은 제3 휘도 범위에 포함되는 것으로 판단될 수 있다. 따라서, 객체 인식 장치(200)는 제3 보정 함수에 제1 스케일링값을 대입(S443)하여 제2 스케일링값을 계산한다.

각각의 휘도 범위에 대응되는 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값이 계산되면, 객체 인식 장치(200)는 제2 스케일링값을 리버스 스케일링하여 제2 휘도를 계산한다(S450).

여기서, 리버스 스케일링이란 휘도를 스케일링하는 연산을 역으로 하는 연산을 의미할 수 있다.

구체적인 예를 들면, 휘도 보정부(220)는 제2 스케일링값을 리버스 스케일링하여 제2 휘도를 계산한다.

도 4에 도시된 바와 같이, 본 개시에 따른 전체 휘도 범위는 제1 내지 제3 휘도 범위로 구분되나, 본 개시의 이해를 돕기 위한 것이고 이에 한정되는 것은 아니다.

전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 휘도 범위에 따라 휘도를 적절히 보정함으로써 톤이 보정된 이미지에 포함된 특정 객체를 누락하지 않고 인식할 수 있다.

한편, 본 개시에 따른 휘도 범위는 범위와 범위 간의 경계점에 해당되는 기준 휘도에 의해 구분될 수 있다. 여기서, 기준 휘도는 전체 휘도 범위에 포함된 휘도이고, 설계자에 의해 미리 결정된 문턱값(Threshold)을 의미할 수 있다.

따라서, 본 개시에 따른 휘도를 보정하는 방법은 휘도와 기준 휘도를 비교함으로써 휘도가 특정 휘도 범위에 포함되는지 여부를 갈음할 수 있다.

도 5는 본 개시에 따른 휘도를 보정하는 방법의 다른 실시예를 설명하기 위한 흐름도이다.

도 5를 참조하면, 본 개시에 따른 객체 인식 장치(200)는 수신한 이미지의 제1 휘도를 계산하고(S510), 제1 휘도를 스케일링하여 제1 스케일링값을 계산한다(S520).

그 다음, 객체 인식 장치(200)는 제1 스케일링값과 미리 설정된 기준 휘도를 비교한다(S530).

구체적인 예를 들면, 휘도 보정부(220)는 전체 휘도 범위가 두 개의 휘도 범위로 구분되도록 기준 휘도를 미리 설정하여 이미지의 제1 휘도와 기준 휘도를 비교한다.

제1 스케일링값이 기준 휘도 이하이면, 객체 인식 장치(200)는 비선형 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값을 계산한다(S541).

제1 스케일링값이 기준 휘도보다 크면, 객체 인식 장치(200)는 선형 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값을 계산한다(S542).

각각의 휘도 범위에 대응되는 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값이 계산되면, 객체 인식 장치(200)는 제2 스케일링값을 리버스 스케일링하여 제2 휘도를 계산한다(S550).

도 5에 도시된 바와 같이, 본 명세서에서는 하나의 기준 휘도를 이용하여 본 개시의 내용을 설명하였지만, 이에 한정되는 것은 아니며. 두 개 이상의 기준 휘도에 대한 실시예도 가능하다.

전술한 바에 의하면, 본 개시에 따른 객체 인식 장치(200)는 휘도 범위에 따라 설정된 보정 함수에 기초하여 휘도를 보정함으로써 보다 빠른 연산 속도로 휘도를 보정하는 효과를 제공한다.

한편, 전술한 비선형 보정 함수와 선형 보정 함수에 대한 구체적인 내용은 도 6 및 도 7을 참조하여 후술한다. 다만, 이하에서는 설명의 편의상 두 개의 휘도 범위를 이용하고, 스케일링은 0에서 1까지인 것으로 하여 설명한다.

도 6 및 도 7은 본 개시에 따른 보정 함수를 나타낸 그래프이다.

도 6을 참조하면, 도 6에 나타낸 그래프의 가로축은 이미지의 제1 휘도를 스케일링한 제1 스케일링값이고, 세로축은 보정된 제2 휘도를 스케일링한 제2 스케일링값을 의미한다.

여기서, 전술한 기준 휘도에 대응되는 문턱값이 가로축에 표시되어 있고, 0엣 1까지의 전체 휘도 범위는 문턱값에 의해 제1 휘도 범위와 제2 휘도 범위로 구분된다. 즉, 제1 휘도 범위는 0부터 문턱값까지의 범위를 포함하고, 제2 휘도 범위는 문턱값부터 1까지의 범위를 포함한다.

이때, 제1 휘도가 기준 휘도 이하이면, 휘도 보정부(220)는 제1 휘도 보정 프로세스에 포함된 비선형 보정 함수에 기초하여 제1 휘도를 제2 휘도로 보정할 수 있다.

구체적인 예를 들면, 제1 스케일링값이 제1 휘도 범위에 포함되는 경우, 휘도 보정부(220)는 비선형 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값을 계산한다.

여기서, 비선형 보정 함수는 제1 휘도 및 미리 설정된 톤 매핑 파라미터의 합에 대한 상수 및 톤 매핑 파라미터의 합의 비와, 제1 휘도를 포함하는 함수일 수 있다. 즉 비선형 보정 함수는 아래와 같은 수식 1과 같이 표현될 수 있다.

[수식 1]

이때, Nlum은 제2 스케일링값 또는 제2 휘도를 의미하고, Slum은 제1 스케일링값 또는 제1 휘도를 의미하고, C는 톤 매핑 파라미터를 의미한다.

또한, 이러한 비선형 보정 함수는, 제1 휘도가 증가하면 제2 휘도가 증가하되, 제2 휘도의 증가율이 감소되는 함수일 수 있다.

한편, 제1 휘도가 기준 휘도보다 크면, 휘도 보정부(220)는 제2 휘도 보정 프로세스에 포함된 선형 보정 함수에 따라 제1 휘도를 제2 휘도로 보정할 수 있다.

구체적인 예를 들면, 제1 스케일링값이 제2 휘도 범위에 포함되는 경우, 휘도 보정부(220)는 선형 보정 함수에 제1 스케일링값을 대입하여 제2 스케일링값을 계산한다.

여기서, 선형 보정 함수는 제1 휘도가 증가하면 제2 휘도가 증가하고, 기준 휘도를 기준으로 비선형 보정 함수와 연속인 함수일 수 있다. 예를 들면, 비선형 보정 함수와 선형 보정 함수가 비선형 보정 함수에 기준 휘도에 대응되는 문턱값을 대입하여 획득된 제1 좌표 P1에서 만난다.

한편, 선형 보정 함수는 전체 휘도 범위의 최댓값에 대응되는 제2 휘도의 최댓값이 미리 설정된 경우, 기준 휘도 및 비선형 보정 함수에 기준 휘도를 반영하여 계산된 제2 휘도를 포함하는 좌표와, 전체 휘도 범위의 최댓값 및 제2 휘도의 최댓값을 포함하는 좌표를 지나는 함수일 수 있다.

예를 들면, 제1 스케일링값의 최댓값과 제2 스케일링값의 최댓값이 모두 1이고 이들에 대한 제2 좌표 P1이 (1,1)인 경우, 선형 보정 함수는 전술한 제1 좌표 P1와 제2 좌표 P2를 지나는 함수이다.

전술한 바에 따라 선형 보정 함수가 두 점을 지나는 경우, 선형 보정 함수의 구체적인 함수식을 구할 수 있게 된다. 즉, 선형 보정 함수가 다음과 같은 수식 2에 따라 표현되고, 선형 보정 함수가 지나는 두 점을 알고 있는 경우, 선형 보정 함수의 기울기 및 y 절편을 계산할 수 있다.

[수식 2]

이때, a는 선형 보정 함수의 기울기이고, b는 y절편을 의미한다.

한편, 도 7을 참조하면, 기준 휘도(또는 기준 휘도를 스케일링한 문턱값)를 동일하게 하고, 전술한 톤 매핑 파라미터의 수치를 달리하여 복수의 보정 함수를 비교하면, 톤 매핑 파라미터의 수치가 증가할수록 제2 휘도에 대응되는 제2 스케일링값이 감소된다.

한편, 전술한 객체 인식 시스템(10)이 적용된 운송수단, 예를 들어 차량의 경우, 주행 중에 전방에서 비교적 먼 곳에 존재하는 도로 표지판을 정확히 인식할 수 있다.

도 8은 본 개시에 따라 인식 가능한 객체를 예시적으로 나타낸 도면이고, 도 9는 종래 및 본 개시 각각에 따라 객체를 인식한 결과를 나타내는 이미지들을 나타낸 도면이다.

본 개시에 따른 이미지에 포함된 객체는 전술한 바와 같이 다양하다. 이 중에서 특정 객체만을 인식하기 위해서는 미리 학습된 객체 이미지가 필요하다. 또한, 학습된 객체 이미지는 특정 그룹으로 분류하여 저장될 필요가 있다.

도 8을 참조하여 예를 들면, 학습을 통하여 저장된 객체 이미지가 교통 표지판 이미지인 경우, 일반적으로 Danger Class, Mandatory Class, Prohibitory Class으로 구분될 수 있다. 하지만, 이에 한정되는 것은 아니다.

본 개시에 따른 객체 인식 장치(200)는 도 8에 도시된 바와 같은 객체 이미지에 대한 데이터셋(Dataset)을 저장할 수 있다.

한편, 도 9의 (a)는 이미지 센서(100)에 의해 캡쳐된 이미지의 원본을 나타내고, 도 9의 (b)는 이미지의 휘도를 보정하지 않고 객체를 인식하는 실시예에 대한 도면이고, 도 9의 (c)는 종래 기술에 따라 이미지의 휘도를 보정하여 객체를 인식하는 실시예에 대한 도면이며, 도 9의 (d)는 본 개시에 따라 객체를 인식하는 실시예에 대한 도면이다.

도 9의 (a)를 참조하면, 이미지에 포함된 교통 표지판들 중에서 특정 교통 표지판은 하늘에 의해 상대적으로 어둡고, 다른 교통 표지판은 상대적으로 밝다.

도 9의 (b)를 참조하면, 전술한 바와 같이 상대적으로 밝은 교통 표지판은 쉽게 인식될 수 있지만, 상대적으로 어두운 교통 표지판은 인식되지 않는다.

이때, 이미지의 휘도를 본 개시에 따른 휘도 보정 프로세스에 따라 다르게 보정하지 않으면, 도 9의 (c)에 도시된 바와 같이 원본 이미지에서 상대적으로 어둡게 보였던 교통 표지판이 인식되고, 원본 이미지에서 상대적으로 밝게 보였던 교통 표지판은 오히려 인식되지 않는다.

따라서, 본 개시에 따른 객체 인식 장치(200) 도 9의 (d)에 도시된 바와 같이, 상대적으로 어둡거나 밝은 교통 표지판을 모두 인식할 수 있다.

이상에서, 본 개시의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 개시가 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 개시의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 이상의 설명은 본 개시의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 객체 인식 시스템
100: 이미지 센서
200: 객체 인식 장치
210: 휘도 계산부
220: 휘도 보정부
230: 객체 인식부
300: 표시 장치

Claims

감지된 이미지를 수신하고, 상기 이미지의 휘도를 계산하는 휘도 계산부;
상기 휘도가 미리 설정된 복수의 휘도 범위 중 어느 하나의 휘도 범위에 포함되는지 판단하고, 상기 휘도가 포함된 휘도 범위에 대응되는 휘도 보정 프로세스에 기초하여 상기 휘도를 보정하는 휘도 보정부; 및
상기 휘도가 보정된 이미지에서 미리 학습된 객체 이미지와 대응되는 객체를 인식하는 객체 인식부를 포함하고,
상기 휘도 보정부는,
전체 휘도 범위가 두 개의 휘도 범위로 구분되도록 기준 휘도를 미리 설정하여 상기 이미지의 제1 휘도와 상기 기준 휘도를 비교하고,
상기 제1 휘도가 상기 기준 휘도 이하이면, 제1 휘도 보정 프로세스에 포함된 비선형 보정 함수에 기초하여 상기 제1 휘도를 제2 휘도로 보정하고,
상기 제1 휘도가 상기 기준 휘도보다 크면, 제2 휘도 보정 프로세스에 포함된 선형 보정 함수에 따라 상기 제1 휘도를 제2 휘도로 보정하고,
상기 선형 보정 함수는,
상기 기준 휘도를 기준으로 상기 비선형 보정 함수와 연속인 함수인 객체 인식 장치.
제 1 항에 있어서,
상기 휘도 보정부는,
상기 이미지의 제1 휘도가 전체 휘도 범위의 스케일에 대응되도록, 상기 제1 휘도를 스케일링하여 제1 스케일링값을 계산하고,
상기 제1 스케일링값이 특정 휘도 범위에 포함되면, 상기 특정 휘도 범위에 대응되는 보정 함수에 상기 제1 스케일링값을 대입하여 제2 스케일링값을 계산하고,
상기 제2 스케일링값을 리버스 스케일링하여 제2 휘도를 계산하고, 상기 제2 휘도를 상기 이미지에 적용하는 것을 특징으로 하는 객체 인식 장치.
삭제
제 1 항에 있어서,
상기 비선형 보정 함수는,
상기 제1 휘도가 증가하면 상기 제2 휘도가 증가하되, 상기 제2 휘도의 증가율이 감소되는 함수인 것을 특징으로 하는 객체 인식 장치.
제 1 항에 있어서,
상기 비선형 보정 함수는,
상기 제1 휘도 및 미리 설정된 톤 매핑 파라미터의 합에 대한 상수 및 상기 톤 매핑 파라미터의 합의 비와, 상기 제1 휘도를 포함하는 함수인 것을 특징으로 하는 객체 인식 장치.
제 1 항에 있어서,
상기 선형 보정 함수는,
상기 제1 휘도가 증가하면 상기 제2 휘도가 증가하는 것을 특징으로 하는 객체 인식 장치.
제 6 항에 있어서,
상기 선형 보정 함수는,
상기 전체 휘도 범위의 최댓값에 대응되는 제2 휘도의 최댓값이 미리 설정된 경우, 상기 기준 휘도 및 상기 비선형 보정 함수에 상기 기준 휘도를 반영하여 계산된 제2 휘도를 포함하는 좌표와, 상기 전체 휘도 범위의 최댓값 및 상기 제2 휘도의 최댓값을 포함하는 좌표를 지나는 함수인 것을 특징으로 하는 객체 인식 장치.
객체 인식 장치에 의해 수행되는 객체 인식 방법에 있어서,
감지된 이미지를 수신하고, 상기 이미지의 휘도를 계산하는 휘도 계산 단계;
상기 휘도가 미리 설정된 복수의 휘도 범위 중 어느 하나의 휘도 범위에 포함되는지 판단하는 판단 단계;
상기 휘도가 포함된 휘도 범위에 대응되는 휘도 보정 프로세스에 기초하여 상기 휘도를 보정하는 휘도 보정 단계; 및
상기 휘도가 보정된 이미지에서 미리 학습된 객체 이미지와 대응되는 객체를 인식하는 객체 인식 단계를 포함하고,
상기 판단 단계는,
전체 휘도 범위가 두 개의 휘도 범위로 구분되도록 기준 휘도를 미리 설정하여 상기 이미지의 제1 휘도와 상기 기준 휘도를 비교하고,
상기 휘도 보정 단계는,
상기 제1 휘도가 상기 기준 휘도 이하이면, 제1 휘도 보정 프로세스에 포함된 비선형 보정 함수에 기초하여 상기 제1 휘도를 제2 휘도로 보정하고,
상기 제1 휘도가 상기 기준 휘도보다 크면, 제2 휘도 보정 프로세스에 포함된 선형 보정 함수에 따라 상기 제1 휘도를 제2 휘도로 보정하고,
상기 선형 보정 함수는,
상기 기준 휘도를 기준으로 상기 비선형 보정 함수와 연속인 함수인 객체 인식 방법.
제 8 항에 있어서,
상기 판단 단계는,
상기 이미지의 제1 휘도가 상기 휘도 범위의 스케일에 대응되도록, 상기 제1 휘도를 스케일링하여 제1 스케일링값을 계산하고,
상기 제1 스케일링값이 포함되는 특정 휘도 범위를 확인하고,
상기 휘도 보정 단계는,
상기 제1 스케일링값이 상기 특정 휘도 범위에 포함되면, 상기 특정 휘도 범위에 대응되는 보정 함수에 상기 제1 스케일링값을 대입하여 제2 스케일링값을 계산하고,
상기 제2 스케일링값을 리버스 스케일링하여 제2 휘도를 계산하고, 상기 제2 휘도를 상기 이미지에 적용하는 것을 특징으로 하는 객체 인식 방법.
삭제
제 8 항에 있어서,
상기 비선형 보정 함수는,
상기 제1 휘도가 증가하면 상기 제2 휘도가 증가하되, 상기 제2 휘도의 증가율이 감소되는 함수인 것을 특징으로 하는 객체 인식 방법.
제 8 항에 있어서,
상기 비선형 보정 함수는,
상기 제1 휘도 및 미리 설정된 톤 매핑 파라미터의 합에 대한 상수 및 상기 톤 매핑 파라미터의 합의 비와, 상기 제1 휘도를 포함하는 함수인 것을 특징으로 하는 객체 인식 방법.
제 8 항에 있어서,
상기 선형 보정 함수는,
상기 제1 휘도가 증가하면 상기 제2 휘도가 증가하는 것을 특징으로 하는 객체 인식 방법.