KR102360105B1 - 영상 블러를 이용한 3차원 영상 생성방법 - Google Patents

영상 블러를 이용한 3차원 영상 생성방법 Download PDF

Info

Publication number
KR102360105B1
KR102360105B1 KR1020200185802A KR20200185802A KR102360105B1 KR 102360105 B1 KR102360105 B1 KR 102360105B1 KR 1020200185802 A KR1020200185802 A KR 1020200185802A KR 20200185802 A KR20200185802 A KR 20200185802A KR 102360105 B1 KR102360105 B1 KR 102360105B1
Authority
KR
South Korea
Prior art keywords
image
blur
pixel
value
generating
Prior art date
Application number
KR1020200185802A
Other languages
English (en)
Inventor
고영덕
양태양
김지환
Original Assignee
주식회사 포커스비전
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포커스비전 filed Critical 주식회사 포커스비전
Priority to KR1020200185802A priority Critical patent/KR102360105B1/ko
Application granted granted Critical
Publication of KR102360105B1 publication Critical patent/KR102360105B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서로 다른 초점 거리의 복수 영상에 대한 영상 블러를 이용하여 이미지 거리맵을 생성하는 영상 블러를 이용한 3차원 영상 생성방법에 관한 것이다.
본 발명에 따른 영상 블러를 이용한 3차원 영상 생성방법은, 영상 생성수단에서 렌즈와 서로 다른 광학 거리를 갖는 위치에 배치되는 제1 및 제2 카메라를 통해 촬영된 제1 영상과 제2 영상에 대해 각각의 에지 영상을 생성하는 제1 단계와, 각 에지 영상을 이용하여 제1 영상과 제2 영상에 대한 블러맵 영상을 각각 생성하고, 블러맵 영상을 근거로 각 픽셀을 중심점으로 하는 블러의 반지름을 해당 픽셀값으로 하는 블러맵 데이터를 각각 생성하는 제2 단계, 블러맵 데이터의 블러 반지름을 하기 수학식에 적용하여 제1 및 제2 영상의 픽셀별 거리값을 산출하는 제3 단계 및, 제1 및 제2 영상의 픽셀별 거리값 중 이론값과 측정값간의 차이가 최소인 거리값을 해당 픽셀의 거리값으로 결정하여 3차원 이미지를 생성하는 제4 단계를 포함하여 구성되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법.
Figure 112020142562860-pat00052
여기서, R은 블러 반지름이고, A는 렌즈 반경(lens radius), f는 렌즈 초점 거리, s1은 렌즈가 이미지를 선명하게 가져오는 이론상 거리, s2는 물체와 렌즈간의 거리임.

Description

영상 블러를 이용한 3차원 영상 생성방법{Method for generating 3D image using blur of image}
본 발명은 서로 다른 초점 거리의 복수 영상에 대한 영상 블러를 이용하여 이미지 거리맵을 생성하는 영상 블러를 이용한 3차원 영상 생성방법에 관한 것이다.
전자기술의 발전, 교통안전관련 법규의 강화, 그리고 소비자들의 요구로 인해 지능형시스템들의 차량 적용이 급속히 증대되고 있다.
단순히 운전시계를 확보해주는 전후방모니터링 카메라 시스템부터 차선이탈을 경보해 주는 시스템, 앞 차와의 안전거리를 자동으로 확보해 주는 시스템 등 운전자 안전/편의를 위한 다양한 형태의 ADAS(advanced driver assistance system)가 적용되기 시작했다.
전방추돌 위험 상황에서 자동으로 제동장치가 작동하여 추돌을 막아주거나 추돌피해를 경감시켜 주는 적극적인 형태의 안전시스템이 적용되고 있으며 이는 센서인식 기술의 급속한 발전에 기인한다고 볼 수 있다.
또한 최근 자동차분야에서 관심거리로 부각된 자율주행으로 인해 인식기술에 대한 관심도도 한층 높아지고 있다.
종래의 물체 감지센서는 대개 초음파 센서로 구비되어 차량의 전방 및 후방의 범퍼에 장착되며 일정 거리 이내의 물체를 감지하여 경고음을 출력함으로써, 물체와 차량 간의 충돌을 사전에 방지할 수 있게 한다.
또한, 종래에는 차량과 물체 간의 거리를 측정하기 위하여 Radio wave, IR, pulse LASER 등을 이용하였으나, 이는 흑백 이미지만 얻을 수 있는 한계가 있다.
또한, 종래 하나의 CCD를 사용하는 구조는 여러 장의 이미지를 얻어 분석하더라도 이미지 간에 시간차이가 생겨 시간정보, intensity정보 위치정보 등 다양한 정보들이 오차가 생겨 depth나 거리정보를 얻는데 오차가 크게 나올 수밖에 없다. 이에, 오차 보정을 위한 프로그램을 설계하는 방법으로 이를 보완하고 있으나, 이러한 보정작업으로 인해 연산속도가 느려지는 문제가 있다.
이와 관련하여, 선행문헌 1(한국 등록특허 10-2103944)에는 모노 카메라(Mono camera)와 라이다(LiDAR)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 구성이 개시되어 있다.
그러나, 이 역시 오차 보정을 위한 프로그램으로 인해 연산 속도가 보장되지 않는 한계가 있다.
또 다른 방법으로 스테레오 카메라를 이용해 촬영한 영상을 처리하여 차량에서 물체까지 거리를 측정하는 방법이 공지되어 있다.
선행문헌2(한국 공개공보 제10-2018-0019309호)에는 차량의 주행상태(주로, 주행속도)에 따라 스테레오 카메라를 구성하는 두 카메라의 간격을 조절하여 깊이측정 영역을 조정하는 구성이 개시되어 있다.
상기한 스테레오 카메라를 이용하여 3차원 영상을 획득하는 기술은 좌우 영상간의 특징점에서의 시차값을 근거로 뎁스를 산출하도록 구성된 것으로, 카메라가 중심이 일정하게 유지되어야 하는 설계상의 번거로움이 있다.
1. 한국 등록특허 제10-2103944호 (명칭 : 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법) 2. 한국 공개공보 제10-2018-0019309호 (명칭 : 스테레오 카메라 기반의 자율 주행 방법 및 그 장치)
이에, 본 발명은 상기한 사정을 감안하여 창출된 것으로, 서로 다른 초점 거리의 복수 영상에 대한 에지 영상을 생성하고, 원본 영상을 가이드 이미지로 하여 에지 영상에 픽셀 밝기값에 기반한 픽셀별 블러 레벨을 설정하여 각 블러맵 영상을 생성하며, 각 블러맵 영상에서 각 픽셀별 블러 반지름에 대응되는 이미지 거리값을 산출한 후, 산출된 이미지 거리값과 이론적 거리값의 차이가 최소인 이미지 거리값을 최종 이미지 거리값으로 설정하여 보다 신속하고 정확하게 3차원 이미지를 생성할 수 있도록 해 주는 영상 블러를 이용한 3차원 영상 생성장치를 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 영상 생성수단에서 물체로부터 반사되는 빛을 집광하는 렌즈와 서로 다른 광학 거리를 갖는 위치에 배치되는 제1 및 제2 카메라를 통해 획득한 제1 및 제2 영상을 이용하여 물체에 대한 3차원 영상을 생성하는 영상 블러를 이용한 3차원 영상 생성방법에 있어서, 영상 생성수단에서 제1 영상과 제2 영상에 대한 각각의 에지 영상을 생성하는 제1 단계와, 각 에지 영상을 이용하여 제1 영상과 제2 영상에 대한 블러맵 영상을 각각 생성하고, 블러맵 영상을 근거로 각 픽셀을 중심점으로 하는 블러의 반지름을 해당 픽셀값으로 하는 블러맵 데이터를 각각 생성하는 제2 단계, 블러맵 데이터의 블러 반지름을 하기 제1 수학식에 적용하여 제1 및 제2 영상의 픽셀별 거리값을 산출하는 제3 단계 및, 제1 및 제2 영상의 픽셀별 거리값 중 이론값과 측정값간의 차이가 최소인 거리값을 해당 픽셀의 거리값으로 결정하여 3차원 이미지를 생성하는 제4 단계를 포함하여 구성되고, 상기 제2 단계는 카메라를 통해 촬영된 원본 영상에 서로 다른 레벨의 블러를 갖는 제1 및 제2 블러 영상을 생성하고, 원본 영상과 제1 및 제2 블러 영상간의 픽셀별 밝기 비율값을 이용하여 에지 영상을 생성하되, 픽셀별 밝기 비율값은 하기 제2 수학식에 의해 산출되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법이 제공된다. 제1 수학식은
Figure 112021051206977-pat00060
여기서, R은 블러 반지름이고, A는 렌즈 반경(lens radius), f는 렌즈 초점 거리, s1은 렌즈가 이미지를 선명하게 가져오는 이론상 거리, s2는 물체와 렌즈간의 거리임. 제2 수학식은
Figure 112021051206977-pat00061
여기서, rMax 는 밝기값 비율이고, I는 원본 영상의 밝기값, Ia 는 제1 블러 영상의 밝기값, Ib 는 제2 블러 영상의 밝기값임.
삭제
또한, 상기 제1 및 제2 블러 영상의 블러 레벨은 원본 영상에서 산출된 최대 블러 레벨보다 높은 블러 정도를 갖도록 설정되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법이 제공된다.
또한, 상기 제3 단계는 에지 영상에서 밝기값이 기 설정된 블러 레벨 미만인 부분만 밝기값을 갖도록 설정하고, 그 이외의 부분은 "0"으로 설정함으로써, 노이즈가 제거된 상태의 에지 영역만 출력되는 강화된 에지 영상을 생성하는 단계와, 에지 영상에서 밝기값이 기 설정된 블러 레벨 미만인 영역은 "1"로 설정하고, 그 이외 영역은 "0"로 설정된 형태의 이진 에지 영상을 생성하는 단계 및, 픽셀별 강화된 에지 영상에 가이드 이미지 필터를 적용한 값과 이진 영상에 가이드 이미지 필터를 적용한 값간의 비율로 이루어지는 하기 수학식을 이용하여 블러맵 영상을 생성하는 단계를 포함하여 구성되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법이 제공된다.
Figure 112020142562860-pat00003
여기서, H(u,v)는 강화된 에지 영상을 생성하는 함수이고, C(u,v)는 이진 에지 영상을 생성하는 함수이며, g(u,v)는 가이드 이미지 필터링 함수임.
또한, 상기 가이드 이미지 필터링 함수는 원본 영상을 가이드 이미지로 설정하여, 픽셀 인덱스(pixel index, q)에 대해 기 설정된 일정 크기의 윈도우(window, w)를 중첩으로 형성한 조건에서 윈도우의 밝기값별 상대 오차를 평균하여 목표로 하는 출력 이미지 픽셀의 밝기값을 설정하는 것으로, 하기 수학식의 계수를 갖는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법이 제공된다.
Figure 112020142562860-pat00004
여기서, pi는 입력 이미지 픽셀 밝기값이고, qi 는 출력 이미지 픽셀 밝기값이며, Ii는 가이드 이미지 픽셀 밝기값,
Figure 112020142562860-pat00005
는 윈도우에 포함된 픽셀 수, μk 는 k 번 윈도우(wk)에 포함된 밝기값(Ii)의 평균,
Figure 112020142562860-pat00006
는 k 번 윈도우(wk)에 포함된 밝기값(Ii)의 분산, ε는 평활화 계수 또는 발산 제한 상수임.
또한, 상기 제4 단계는 제1 영상과 제2 영상의 거리값에 의해 결정된 공통 거리값과 렌즈 초점거리간의 증감 차이를 근거로 각 픽셀의 이미지 위치가 렌즈 기준 전측 위치인지 또는 후측 위치인지를 결정하는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법이 제공된다.
본 발명에 의하면, 서로 다른 초점 거리의 복수 영상을 가이드 이미지로 하여 픽셀 밝기값에 기반한 픽셀별 블러 레벨을 설정하여 블러맵 영상을 생성하고, 블러맵 영상을 근거로 획득한 픽셀별 블러 반지름을 이용하여 픽셀별 이미지 거리값을 산출함으로써, 보다 신속하고 정확하게 3차원 이미지를 생성할 수 있다.
도1은 본 발명이 적용되는 영상 블러와 이미지 거리간의 관계를 설명하기 위한 도면.
도2는 본 발명이 적용되는 영상 블러를 이용한 3차원 영상 생성장치의 개략적인 구성을 도시한 도면.
도3은 본 발명에 따른 영상 블러를 이용한 3차원 영상 생성방법을 설명하기 위한 도면.
도4는 도3에 도시된 에지 영상을 생성 단계(ST200)를 설명하기 위한 도면.
도5는 도4의 에지 영상 생성 과정에서 생성된 이미지를 예시한 도면.
도6은 도3에 도시된 블러맵 영상 및 블러맵 데이터를 생성 단계(ST300)를 설명하기 위한 도면.
도7은 도6에서 가이드 이미지 필터링 함수에 적용되는 윈도우를 예시한 도면.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
일반적으로 도1에 도시된 바와 같이 카메라(3)가 렌즈(2)를 투과하여 이미지 상이 맺히는 초점 거리(f)에서 벗어난 위치에 배치되면, 카메라(3)에서 촬영된 이미지는 흐려지며, 이 흐려진 부분을 블러(Blur)라 한다. 이러한 블러는 원형으로 퍼지게 되며, 렌즈(2)와의 광학적 이격 거리(광학 거리)에 서로 다른 반지름(R)을 갖게 된다. 도1에서 C는 R의 반지름을 갖는 블러의 중심점이다.
즉, 특정 물체(1)로부터 카메라(3)에서 얻는 이미지는 렌즈(2)와의 광학 거리에 따라 블러의 반지름(R)이 다르게 나타나며, 시각적으로는 블러한 정도가 다르게 표현된다.
본 발명은 카메라(3)에서 촬영된 이미지에서 블러의 반지름(R)을 이용하여 물체(1)의 각 위치별 거리를 산출함으로써, 해당 물체(1)에 대한 3D 영상을 생성하고자 하는 것이다.
도2는 본 발명이 적용되는 영상 블러를 이용한 3D 영상 생성장치의 개략적인 구성을 도시한 도면이다.
도2를 참조하면, 본 발명이 적용되는 3D 영상 생성장치는, 영상 촬영수단(100)과, 영상 처리수단(200)을 포함한다.
영상 촬영수단(100)은 물체(1)에서 반사된 광을 집광하는 렌즈(110)와, 이 렌즈(110)에 대해 서로 다른 초점 거리에 제1 및 제2 카메라(120,130)가 배치되어 구성된다.
이때, 도2에 도시된 바와 같이 렌즈(110)와 제1 및 제2 카메라(120,130) 사이에는 빔 스플리터(140)가 구비되어 렌즈(110)로부터 인가되는 물체(1)에 해당하는 광을 제1 카메라(120)와 제2 카메라(130)측으로 분할하여 출력하도록 구성될 수 있다. 도1에서 렌즈(110)와 제1 카메라(120)간의 제1 광학 거리(f1)은 렌즈(110)와 제2 카메라(130)간의 제2 광학 거리(f2)보다 짧게 설정된다.
영상 처리수단(200)은 동일 물체에 대해 동일 시점에 제1 카메라(120)에서 촬영된 제1 영상과 제2 카메라(130)에 촬영된 제2 영상에 대해 각 픽셀별 블러 반지름(R)값으로 이루어지는 블러맵 데이터를 생성하고, 각 픽셀별 블러 반지름을 수학적 알고리즘에 적용하여 각 픽셀별 물체와의 거리값을 산출함으로써, 해당 물체에 대한 3차원 영상을 생성한다.
이어, 상기한 구성으로 된 영상 블러를 이용한 3D 영상 생성장치의 동작을 도3에 도시된 흐름도를 참조하여 설명한다.
먼저, 제1 및 제2 카메라(120,130)가 렌즈(110)와 서로 다른 광학 거리를 갖도록 배치된 상태에서, 제1 및 제2 카메라(120,130)는 동일 시점에 해당 물체(1)를 촬영하고, 영상 처리수단(200)은 제1 및 제2 카메라(120,130)로부터 물체(1)에 대한 제1 영상과 제2 영상을 획득한다(ST100).
영상 처리수단(200)은 제1 카메라(120)를 통해 획득된 제1 영상과 제2 카메라(130)를 통해 획득된 제2 영상에 대해 각각의 에지 영상을 생성한다(ST200).
상기 ST200 단계는 도4에 도시된 바와 같이, 해당 원본 영상에서 블러 영상을 생성하는 단계(ST210)와 밝기 비율을 산출하는 단계(ST220) 및, 에지 영역을 추출하는 단계(ST230)를 포함한다. 이때, 원본 영상은 제1 영상과 제2 영상이다.
블러 영상 생성 단계(ST210)는 Point spread 함수를 이용하여 원본 영상을 확산시킨 후, isotropic gaussian 함수를 통해 블러 영역을 임의로 형성함으로써 블러 영상을 생성한다. 이때, 본 발명에서는 하나의 원본 영상에 대해 서로 다른 블러 정도를 갖는 제1 및 제2 블러 영상을 각각 생성하며, 제1 및 제2 블러 영상의 블러 레벨은 원본 영상에서 산출된 최대 블러 레벨보다 높은 블러 정도를 갖도록 설정된다. 그리고, 제2 블러 영상의 블러 레벨은 제1 블러 영상에 나타난 최대 블러 레벨보다 높게 설정된다. 예컨대, 원본 영상의 최대 블러 레벨값이 "1"이라 할 때, 제1 블러 영상의 제1 블러 레벨은 "4"로 설정되고, 제2 블러 영상의 제2 블러 레벨은 "7"로 설정할 수 있다.
원본 영상을 이용하여 블러 영상을 생성하는 과정은 수학식1과 같다.
Figure 112020142562860-pat00007
여기서, g는 가우스 함수로서, n은 픽셀 번호, σ는 원본 영상의 가우스 분산값, σi는 블러 영상의 가우스 분산값이다. 즉, σi는 제1 블러 영상의 블러 레벨로 설정되거나 제2 블러 영상의 블러 레벨로 설정된다. 도5 (A)에는 원본 영상과 수학식1을 통해 생성된 제1 및 제2 블러 영상이 예시되어 있다.
밝기 비율을 산출하는 단계(ST220)는 원본 영상과 제1 및 제2 블러 영상에서 각 픽셀별 밝기값을 획득하고, 각 영상들의 픽셀별 밝기값(intensity) 비율을 수학식2를 이용하여 산출한다.
Figure 112020142562860-pat00008
여기서, rMax 는 밝기값 비율이고, I는 원본 영상의 밝기값, Ia 는 제1 블러 영상의 밝기값, Ib 는 제2 블러 영상의 밝기값이다.
에지 영역을 추출하는 단계(ST230)는 수학식 2에서 산출된 각 픽셀별 강도 비율을 이용하여 에지 영역을 추출한다. 도5 (B)에는 수학식2를 통해 산출된 강도 비율을 근거로 생성된 에지 영상이 예시되어 있다. 즉, 수학식 2는 연산 시간을 감소시키기 위해 간단화된 에지 검출 수학식으로, 노이즈 성분이 포함된 에지 근사값을 산출하는 바, 도5 (B)와 같이 노이즈 성분이 포함된 에지 영상이 생성된다.
한편, 도3에서 에지 영상을 생성한 다음, 영상 처리수단(200)은 제1 및 제2 영상의 각 에지 영상에 대응되는 각각의 블러맵 영상을 생성하고, 각 블러맵 영상에 대응되는 제1 영상의 블러맵 데이터와 제2 영상의 블러맵 데이터를 생성한다(ST300).
상기 ST300 단계는 도6에 도시된 바와 같이, 상기 ST200 단계에서 생성된 에지 영상에서 노이즈 성분을 제거하여 강화된 에지 영상을 생성하는 단계(ST310)와, 상기 ST200 단계에서 생성된 에지 영상을 이진화한 이진 에지 영상을 생성하는 단계(ST320), 강화된 에지 영상과 이진 에지 영상을 이용하여 에지 이외의 블러 영역을 추정함으로써, 추정된 블러 영역이 표현되는 블러맵 영상을 생성하는 단계(ST330) 및, 블러맵 영상을 근거로 해당 픽셀을 중심점으로 하는 블러의 반지름이 해당 픽셀값으로 설정되는 블러맵 데이터를 생성하는 블러맵 데이터 생성 단계(ST340)를 포함한다.
강화된 에지 영상 생성 단계(ST310)는 에지 영상에서 데이터의 신뢰도가 높은 블러 수치만을 선별하여 표현함으로써, 노이즈 성분이 제거된 형태의 강화된 에지 영상을 생성한다. 이때, 강화된 에지 영상(H(u,x))은 수학식 3을 통해 생성된다.
Figure 112020142562860-pat00009
여기서, σ는 원본 영상 가우스 분산값이고, σa 는 제1 블러 영상의 가우스 분산값이다.
즉, 상기 수학식3을 통해 에지 영상에서 밝기값이 제1 블러 영상의 블러 레벨 미만인 부분만 밝기값을 갖도록 설정하고, 그 이외의 부분, 다시말해 신뢰도가 낮은 노이즈 부분은 "0"으로 설정함으로써, 노이즈가 제거된 상태의 에지 영역만 출력되는 강화된 에지 영상이 생성한다. 도5 (C)에는 수학식3을 통해 선별된 블러 수치를 근거로 생성된 강화된 에지 영상이 예시되어 있다.
이진 에지 영상을 생성하는 단계(ST320)는 에지 영상에서 에지 영역의 밝기값이 일정 이하인 데이터만을 선별하여 표현된 이진 에지 영상을 생성한다. 이때, 이진 에지 영상(C(u,v))은 수학식 4를 통해 이루어진다.
Figure 112020142562860-pat00010
여기서, σ는 원본 영상 가우스 분산값이고, σa 는 제1 블러 영상의 가우스 분산값이다.
즉, 상기 수학식4를 통해 에지 영상에서 밝기값이 제1 블러 영상의 블러 레벨 미만인 영역은 "1"로 설정하고, 그 이외 영역은 "0"로 설정된 형태의 이진 에지 영상이 생성된다.
블러맵 영상 생성 단계(ST330)는 강화 함수(H함수, 수학식3)와 이진 함수(C함수, 수학식4)에 가우스 함수를 컨벌루션 연산하여 에지 이외 영역에 블러 영역을 추정한다.
이때, 블러맵 영상은 수학식 5 및 수학식6을 통해 생성된다.
Figure 112020142562860-pat00011
즉, 수학식5에 의하면, 블러맵 영상은 픽셀별 강화된 에지 영상에 가이드 이미지 필터를 적용한 값과 이진 영상에 가이드 이미지 필터를 적용한 값간의 비율로 이루어지는 블러 함수(
Figure 112020142562860-pat00012
)를 이용하여 블러맵 영상을 생성한다.
이때, g(u,v)는 가이드 이미지 필터링 함수로서, 픽셀별 밝기값에 기반하여 주변 블러 정도를 예측하며, 하기 수학식6의 계수를 통해 블러 정도가 결정된다.
Figure 112020142562860-pat00013
가이드 이미지 필터링은 픽셀 인덱스(pixel index, q)에 대해, 기 설정된 일정 크기의 윈도우(window, w)를 중첩으로 형성하며, 연산에 들어가는 픽셀들은 해당 윈도우에 포함되는 픽셀들만 연산한다. 이때, 윈도우(w)는 도7에 도시된 바와 같이 중심 픽셀을 기준으로 그 주변에 위치하는 일정 수의 주변 픽셀들로 이루어지는 단위 영역으로, 도7에는 9개의 픽셀들로 이루어지는 제1 내지 제4 위도우(w1,w2,w3,w4)가 예시되어 있다.
즉, 상기 수학식 6에서 pi는 입력 이미지 픽셀 밝기값이고, qi 는 출력 이미지 픽셀 밝기값이며, Ii는 가이드 이미지 픽셀 밝기값 (본 실시예에서는 원본 영상의 해당 픽셀 밝기값)으로, g(u,v)는 각 픽셀별 qi 값이 된다. 그리고,
Figure 112020142562860-pat00014
는 윈도우에 포함된 픽셀 수, μk 는 k 번 윈도우(wk)에 포함된 밝기값(Ii)의 평균,
Figure 112020142562860-pat00015
는 k 번 윈도우(wk)에 포함된 밝기값(Ii)의 분산, ε는 평활화 계수 또는 발산 제한 상수이다.
이때, 본 발명에서는 각 윈도우의 밝기값별 상대 오차를 평균하여 목표로 하는 출력 이미지 픽셀의 밝기값을 보정함으로써, 블러링을 설정할 수 있다. 예컨대, 각 윈도우끼리의 중첩을 고려하여 최종적인 결과는 윈도우별 평균으로 설정할 수 있다.
다시말해, 본 발명에서는 수학식 6을 통해 원본 영상을 가이드 삼아 강화 함수(H)에서 획득한 에지에 채워지지 못한 에지 이외 영역에 대한 데이터를 보간하여 블러맵 영상을 생성한다. 도5 (D)에는 수학식5와 수학식6을 통해 생성된 블러맵 영상이 예시되어 있다.
블러맵 데이터 생성 단계(ST340)는 상기 ST330 단계에서 생성된 블러맵 영상을 근거로 각 픽셀별 해당 픽셀을 중심점으로 하는 블러의 반지름값으로 이루어지는 블러맵 데이터를 생성한다.
한편, 도3에서 블러맵을 생성(ST300)한 다음, 영상 처리수단(200)은 블러맵 데이터값을 이용하여 제1 영상 및 제2 영상에 대한 픽셀별 거리값을 각각 산출한다(ST400).
상기 ST400 단계에서 픽셀별 거리값(s2)은 수학식 7을 통해 산출된다.
Figure 112020142562860-pat00016
여기서, R은 블러 반지름이고, A는 렌즈 반경(lens radius), f는 렌즈 초점 거리, s는 거리값으로, s1은 렌즈가 이미지를 선명하게 가져오는 이론상 거리이고, s2는 물체와 렌즈간의 거리(도1의 s)이다.
그리고, 수학식7에서 s1은 수학식 8의 Lens formula 공식을 통해 산출된다.
Figure 112020142562860-pat00017
여기서, f는 렌즈 초점 거리이고, s는 렌즈가 이미지를 선명하게 가져오는 이론상 거리이며, s'는 이미지 거리로서, 도1에서는 이미지 거리가 "s"로 표현되고, 이론상 거리는 표현되어 있지 않다.
이때, 수학식 7에는 절대값 기호가 적용되고 있기 때문에, 제1 및 제2 영상에 대해 수학식 7을 만족하는 s2 값 즉, 이미지 거리값은 각각 2개 즉, 제1 영상에서 2개, 제2 영상에서 2개의 값이 산출된다.
이어, 영상처리수단(200)은 제1 및 제2 영상에 대응되는 거리값과 렌즈 초점거리간의 증감 차이를 근거로 각 픽셀의 이미지 위치가 렌즈(110) 기준으로 렌즈 전측 영상인지 렌즈 후측 영상인지를 판단한다(ST500).
즉, 동일 픽셀에서 산출된 제1 영상의 거리값과 제2 영상의 거리값 중 일치하는 공통 거리값과 렌즈 초점거리를 비교하여 공통 거리값이 렌즈 초점거리보다 작으면 렌즈 초점거리의 전측에 위치한 것으로 판단할 수 있다. 이때, 제1 영상의 거리값과 제2 영상의 거리값 중 일치하는 거리값이 존재하지 않는 경우, 최소차를 갖는 제1 영상의 거리값과 제2 영상의 거리값의 평균값을 공통 거리값으로 설정할 수 있다.
또한, 영상처리수단(200)은 상기 ST400 단계에서 산출된 4개의 거리값을 이용하여 최대 신뢰성을 갖는 이미지 거리값 s2를 선택하고, 선택된 s2를 이용하여 최종 s2값을 획득한다(ST600).
이때, 최대 신뢰성을 갖는 s2 선택방법은 수학식 9를 통해 측정된 s2와 이론상의 s1 값간의 차이가 최소인 값으로 선택할 수 있다.
Figure 112020142562860-pat00018
도9에서
Figure 112020142562860-pat00019
는 측정값이고,
Figure 112020142562860-pat00020
은 이론값이다.
그리고, 최종 거리값(d)는 수학식 10의 최소 자승법(least square method)을 통해 "0"에 최대로 수렴하는 값으로 결정된다.
Figure 112020142562860-pat00021
한편, 본 발명에서 수학식 5 및 6에서 블러 영상을 생성하기 위해 적용되는 가이드 이미지 필러링 함수에 대해 보다 상세히 살펴본다.
먼저, 현재 입력 값이 각 픽셀의 블러 파리미터 σi에 대한 강화 함수(H, 수학식 3)과 이진 함수(C, 수학식4)로, 강화 함수와 이진 함수의 조건을 만족하지 못하는 경우, 두 함수 값은 동시에 "0"이 된다.
CASE1. 윈도우 내부의 모든 픽셀값이 "0"인 경우
가이드 이미지 필터링 함수의 각 계수는 수학식 11과 같다.
Figure 112020142562860-pat00022
따라서,"
Figure 112020142562860-pat00023
"이고, 윈도우 크기를 "3"까지 줄인후 코드 테스트를 실시한 결과, 강화 함수 H가 모두 "0"인 경우, 도출되는 H값이 "non"으로 출력되고, "non"으로 출력된 부분이 뎁스맵 영상에서 하얗게 표현되며, 뎁스맵 데이터에서 값이 없는 것으로 나타났다.
CASE2. 윈도우 내부의 모든값이 "0"이 아닌 경우
이 조건은 기본적으로
Figure 112020142562860-pat00024
을 만족한다.
먼저, pi =1 일 때, C*g를 살펴보면, 가이드 이미지 필터링 함수의 각 계수는 수학식 12와 같다.
Figure 112020142562860-pat00025
여기서,
Figure 112020142562860-pat00026
는 윈도우 내부 모든 Ii의 합을 픽셀 수로 나눈 것으로, μk에 해당하고,
Figure 112020142562860-pat00027
는 wk 에 포함된 픽셀 수만큼 1을 더하므로
Figure 112020142562860-pat00028
와 동일하므로 계수 ak 는 "0"이다.
따라서,
Figure 112020142562860-pat00029
로서, 강화 함수 값이 도출됨을 알 수 있다. 즉,
Figure 112020142562860-pat00030
이다.
다음으로, pi=σ(x) 또는 σi 일 때, H*g 를 살펴보면, 각 계수 및 H*g 는 수학식 13과 같다.
Figure 112020142562860-pat00031
수학식13의 마지막 식과 같이, 컨벌루션 결과는 (가이드 이미지의편차)×(계수)+(블러 평균)으로 나타남을 알 수 있다.
즉, CASE2에서 모든 값이 존재하는 윈도우에 대한 C*g≡1 이므로,
Figure 112020142562860-pat00032
이고, H*g는 약간의 보정 항을 제외하면 철저하게 가이드 이미지의 밝기값을 따르고 있음을 알 수 있다.
그러나, 상기 수학식12 및 수학식13에서 입력 이미지와 가이드 이미지를 모두 컬러 이미지 I로 설정하면, 수학식14와 같다.
Figure 112020142562860-pat00033
수학식14에 의하면, 출력 결과가 입력값을 그대로 따르고 있음을 알 수 있다. 이러한 결과는 이러한 결과는 edge-preserving blurring으로 볼 수 없으며, 이는 중첩 없이 단일 윈도우에서만 계산해서 나타난 현상일 수 있는 바, 중첩까지 고려하여 분석할 필요가 있다.
CASE3. 윈도윙(Windowing)
이때, 가이드 이미지 필터림 함수의 계수는 수학식 15와 같다.
Figure 112020142562860-pat00034
수학식 15에서 픽셀 "i"를 포함하는 모든 윈도우에 대한 평균 계수,
Figure 112020142562860-pat00035
를 구하면, 출력값
Figure 112020142562860-pat00036
이 된다.
이러한 상태에서,
상기 CASE1 에서 구한 non값이 도출되는 것은 이미 특정 윈도우 뿐 아니라, 모든 윈도우에서 "0"인 경우에
Figure 112020142562860-pat00037
가 "non"이 됨을 확인한 것이므로, 중첩에 대해서는 값이 존재하는 경우에 대해서만 분석한다.
즉, 이하에서는 모든 윈도우의 모든 픽셀이 값을 가지고 있는 것으로 설정하여 계산 복잡도를 최소화하며, 도7에 도시된 중심 픽셀에 대해 제1 내지 제4 윈도우(w1,w2,w3,w4)를 예시하여 설명한다.
먼저, 입력을 I 로 설정하여 가이드 필터의 효과를 확인해 보면,
Figure 112020142562860-pat00038
이 됨을 CASE2로부터 확인할 수 있고, 이를 통해 각 윈도우에서,
Figure 112020142562860-pat00039
이 됨을 알 수 있다. 따라서, 모든 계수가 상수이므로 평균을 취해도 달라지는 것은 없다.
한편, ε->0 을 취하지 않고 급수 전개를 수행하면, 수학식 16과 같이 나타날 수 있다.
Figure 112020142562860-pat00040
여기서, N 은 픽셀 "i"를 포함하는 윈도우 수 또는 윈도우 크기 m×n에 대해 N=mn 으로 설정될 수 있다.
즉, 출력 이미지 값은 수학식 17과 같이 통합하여 생각해 볼 수 있다.
Figure 112020142562860-pat00041
수학식 17에서 분자는 편차이고, 분모는 분산이며, 분산은 편차제곱의 평균(
Figure 112020142562860-pat00042
이므로 해당 식은 상대 오차와 매우 유사한 형태를 취하고 있음을 알 수 있다. 즉, 윈도우 밝기값별 상대 오차를 평균하여 목표로 하는 픽셀의 밝기값을 보정할 수 있으며, 이를 통해 블러링을 가할 수 있는 것이다.
다시말해, 중첩을 고려한 가이드 이미지 필터링 함수의 계수는 하기 수학식 18과 같이 나타낼 수 있다.
Figure 112020142562860-pat00043
또한, 상기 수학식 18에서
Figure 112020142562860-pat00044
로 가정하면, 출력 이미지 픽셀값(qi)은 하기 수학식 19로 나타낼 수 있다.
Figure 112020142562860-pat00045
즉, 상기 수학식17 내지 수학식 19에서 출력 이미지 픽셀값(qi)은 순서대로 가중치 ε가 부여된 상대편차 평균, 편차 평균, 윈도우별 평균 블러의 평균으로 나타난다. 특히, 수학식 19의 맨 끝 항은 표본 평균의 평균으로 볼 수 있으므로, 전반적인 과정은 모 평균의 추정 과정과 유사한 흐름을 가짐을 알 수 있다.
1 : 물체, 2 : 렌즈,
3 : 카메라,
100 : 영상 촬영수단, 110 : 렌즈,
120, 130 : 카메라, 140 : 빔 스플리터,
200 : 영상 처리수단.

Claims (6)

  1. 영상 생성수단에서 물체로부터 반사되는 빛을 집광하는 렌즈와 서로 다른 광학 거리를 갖는 위치에 배치되는 제1 및 제2 카메라를 통해 획득한 제1 및 제2 영상을 이용하여 물체에 대한 3차원 영상을 생성하는 영상 블러를 이용한 3차원 영상 생성방법에 있어서,
    영상 생성수단에서 제1 영상과 제2 영상에 대한 각각의 에지 영상을 생성하는 제1 단계와,
    각 에지 영상을 이용하여 제1 영상과 제2 영상에 대한 블러맵 영상을 각각 생성하고, 블러맵 영상을 근거로 각 픽셀을 중심점으로 하는 블러의 반지름을 해당 픽셀값으로 하는 블러맵 데이터를 각각 생성하는 제2 단계,
    블러맵 데이터의 블러 반지름을 하기 제1 수학식에 적용하여 제1 및 제2 영상의 픽셀별 거리값을 산출하는 제3 단계 및,
    제1 및 제2 영상의 픽셀별 거리값 중 이론값과 측정값간의 차이가 최소인 거리값을 해당 픽셀의 거리값으로 결정하여 3차원 이미지를 생성하는 제4 단계를 포함하여 구성되고,
    상기 제2 단계는 카메라를 통해 촬영된 원본 영상에 서로 다른 레벨의 블러를 갖는 제1 및 제2 블러 영상을 생성하고, 원본 영상과 제1 및 제2 블러 영상간의 픽셀별 밝기 비율값을 이용하여 에지 영상을 생성하되, 픽셀별 밝기 비율값은 하기 제2 수학식에 의해 산출되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법.
    (제1 수학식)
    Figure 112021051206977-pat00046

    여기서, R은 블러 반지름이고, A는 렌즈 반경(lens radius), f는 렌즈 초점 거리, s1은 렌즈가 이미지를 선명하게 가져오는 이론상 거리, s2는 물체와 렌즈간의 거리임.
    (제2 수학식)
    Figure 112021051206977-pat00047

    여기서, rMax 는 밝기값 비율이고, I는 원본 영상의 밝기값, Ia 는 제1 블러 영상의 밝기값, Ib 는 제2 블러 영상의 밝기값임.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 및 제2 블러 영상의 블러 레벨은 원본 영상에서 산출된 최대 블러 레벨보다 높은 블러 정도를 갖도록 설정되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법.
  4. 제1항에 있어서,
    상기 제3 단계는 에지 영상에서 밝기값이 기 설정된 블러 레벨 미만인 부분만 밝기값을 갖도록 설정하고, 그 이외의 부분은 "0"으로 설정함으로써, 노이즈가 제거된 상태의 에지 영역만 출력되는 강화된 에지 영상을 생성하는 단계와,
    에지 영상에서 밝기값이 기 설정된 블러 레벨 미만인 영역은 "1"로 설정하고, 그 이외 영역은 "0"로 설정된 형태의 이진 에지 영상을 생성하는 단계,
    픽셀별 강화된 에지 영상에 가이드 이미지 필터를 적용한 값과 이진 영상에 가이드 이미지 필터를 적용한 값간의 비율로 이루어지는 하기 수학식을 이용하여 블러맵 영상을 생성하는 단계 및,
    포함하여 구성되는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법.
    Figure 112020142562860-pat00048

    여기서, H(u,v)는 강화된 에지 영상을 생성하는 함수이고, C(u,v)는 이진 에지 영상을 생성하는 함수이며, g(u,v)는 가이드 이미지 필터링 함수임.
  5. 제4항에 있어서,
    상기 가이드 이미지 필터링 함수는 원본 영상을 가이드 이미지로 설정하여, 픽셀 인덱스(pixel index, q)에 대해 기 설정된 일정 크기의 윈도우(window, w)를 중첩으로 형성한 조건에서 윈도우의 밝기값별 상대 오차를 평균하여 목표로 하는 출력 이미지 픽셀의 밝기값을 설정하는 것으로, 하기 수학식의 계수를 갖는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법.
    Figure 112020142562860-pat00049

    여기서, pi는 입력 이미지 픽셀 밝기값이고, qi 는 출력 이미지 픽셀 밝기값이며, Ii는 가이드 이미지 픽셀 밝기값,
    Figure 112020142562860-pat00050
    는 윈도우에 포함된 픽셀 수, μk 는 k 번 윈도우(wk)에 포함된 밝기값(Ii)의 평균,
    Figure 112020142562860-pat00051
    는 k 번 윈도우(wk)에 포함된 밝기값(Ii)의 분산, ε는 평활화 계수 또는 발산 제한 상수임.
  6. 제1항에 있어서,
    상기 제4 단계는 제1 영상과 제2 영상의 거리값에 의해 결정된 공통 거리값과 렌즈 초점거리간의 증감 차이를 근거로 각 픽셀의 이미지 위치가 렌즈 기준 전측 위치인지 또는 후측 위치인지를 결정하는 것을 특징으로 하는 영상 블러를 이용한 3차원 영상 생성방법.
KR1020200185802A 2020-12-29 2020-12-29 영상 블러를 이용한 3차원 영상 생성방법 KR102360105B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200185802A KR102360105B1 (ko) 2020-12-29 2020-12-29 영상 블러를 이용한 3차원 영상 생성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200185802A KR102360105B1 (ko) 2020-12-29 2020-12-29 영상 블러를 이용한 3차원 영상 생성방법

Publications (1)

Publication Number Publication Date
KR102360105B1 true KR102360105B1 (ko) 2022-02-14

Family

ID=80253929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200185802A KR102360105B1 (ko) 2020-12-29 2020-12-29 영상 블러를 이용한 3차원 영상 생성방법

Country Status (1)

Country Link
KR (1) KR102360105B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342591A (zh) * 2023-05-25 2023-06-27 兴润建设集团有限公司 一种建筑物参数的视觉解析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158515A (ja) * 2010-01-29 2011-08-18 Ryukoku Univ 音声認識装置および音声認識方法
JP2011158498A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 表示制御装置、表示システム及び表示制御方法
JP2014098898A (ja) * 2012-11-14 2014-05-29 Sony Corp 多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス
US20160182893A1 (en) * 2014-12-22 2016-06-23 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
KR20180019309A (ko) 2016-08-16 2018-02-26 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
JP2018163335A (ja) * 2017-03-24 2018-10-18 Hoya株式会社 フォトマスク、及び表示装置の製造方法
KR102103944B1 (ko) 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011158515A (ja) * 2010-01-29 2011-08-18 Ryukoku Univ 音声認識装置および音声認識方法
JP2011158498A (ja) * 2010-01-29 2011-08-18 Fujitsu Ten Ltd 表示制御装置、表示システム及び表示制御方法
JP2014098898A (ja) * 2012-11-14 2014-05-29 Sony Corp 多重解像度Ｄｅｐｔｈ−Ｆｒｏｍ−Ｄｅｆｏｃｕｓベースのオートフォーカス
US20160182893A1 (en) * 2014-12-22 2016-06-23 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
KR20180019309A (ko) 2016-08-16 2018-02-26 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
JP2018163335A (ja) * 2017-03-24 2018-10-18 Hoya株式会社 フォトマスク、及び表示装置の製造方法
KR102103944B1 (ko) 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김승기 등, 단일 카메라를 이용한 3D 깊이 추정 방법, 방송공학회논문지.(2019.03.)* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342591A (zh) * 2023-05-25 2023-06-27 兴润建设集团有限公司 一种建筑物参数的视觉解析方法

Similar Documents

Publication Publication Date Title
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
US11002538B2 (en) Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images
US9621786B2 (en) Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images
EP2919197B1 (en) Object detection device and object detection method
JP4608631B2 (ja) 車両用画像処理装置、運転支援装置
EP2616768B1 (en) A calibration apparatus, a distance measurement system, a calibration method and a calibration program
US8977006B2 (en) Target recognition system and target recognition method executed by the target recognition system
EP2927710B1 (en) Ranging system, information processing method and program thereof
EP3115966B1 (en) Object detection device, object detection method, and computer program
JP6782433B2 (ja) 画像認識装置
JP6435661B2 (ja) 物体識別システム、情報処理装置、情報処理方法及びプログラム
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102360105B1 (ko) 영상 블러를 이용한 3차원 영상 생성방법
KR101818842B1 (ko) 운전지원장치, 거리감지방법 및 차로의 너비감지방법
JP6204844B2 (ja) 車両のステレオカメラシステム
US20210133947A1 (en) Deep neural network with image quality awareness for autonomous driving
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2020140497A (ja) 演算装置、視差算出方法
JPH1141521A (ja) 撮像装置および車間距離計測装置ならびに車間距離計測方法
JP5921596B2 (ja) 画像処理装置および画像処理方法
JP7322576B2 (ja) 情報処理装置、撮像装置および移動体
EP3540640A1 (en) Information processing apparatus, system, movable body, method of information processing, and program
CN112513572B (zh) 图像处理装置

Legal Events

Date Code Title Description
GRNT Written decision to grant