KR102631472B1 - 어안 왜곡 이미지의 무손실 보정 방법 및 장치 - Google Patents

어안 왜곡 이미지의 무손실 보정 방법 및 장치 Download PDF

Info

Publication number
KR102631472B1
KR102631472B1 KR1020210087773A KR20210087773A KR102631472B1 KR 102631472 B1 KR102631472 B1 KR 102631472B1 KR 1020210087773 A KR1020210087773 A KR 1020210087773A KR 20210087773 A KR20210087773 A KR 20210087773A KR 102631472 B1 KR102631472 B1 KR 102631472B1
Authority
KR
South Korea
Prior art keywords
fisheye
image
equation
camera
projection
Prior art date
Application number
KR1020210087773A
Other languages
English (en)
Other versions
KR20230007034A (ko
Inventor
쿠머 캄마 라제쉬
쿠머 신프 지테쉬
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020210087773A priority Critical patent/KR102631472B1/ko
Publication of KR20230007034A publication Critical patent/KR20230007034A/ko
Application granted granted Critical
Publication of KR102631472B1 publication Critical patent/KR102631472B1/ko

Links

Images

Classifications

    • G06T5/80—
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

본 발명은 어안 왜곡 이미지의 무손실 보정 방법 및 장치에 관한 것으로, a) 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y방향에 대한 2D 메쉬 그리드 구조를 생성하는 단계와, b) 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계와, c) 상기 하이퍼 매개 변수를 사용하여 상기 2D 메쉬 그리드 포인트에 대한 방위각 및 고도각을 산출하는 단계와, d) 하드 또는 소프트 수직 압축을 고도 각에 적용하는 단계와, e) 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 카메라 모델의 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하는 단계를 포함할 수 있다.

Description

어안 왜곡 이미지의 무손실 보정 방법 및 장치{Methods and device for lossless correction of fisheye distortion image}
본 발명은 이미지 보정 방법 및 장치에 관한 것으로, 더 상세하게는 광각 또는 어안 렌즈로 촬영된 이미지를 손실 없이 보정하는 방법 및 장치에 관한 것이다.
어안 렌즈(fisheye lens)는 의도적으로 통 모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 되어, 획득된 영상은 필연적으로 심한 왜곡을 가지게 된다.
따라서 어안 렌즈 또는 광각 렌즈를 이용하여 촬영된 영상은 보정이 필요하게 된다.
최근 차량 비전 시스템으로 어안 렌즈를 사용하고 있으며, 어안 렌즈를 사용하여 캡처한 이미지를 기하학적으로 보정하는 것은 차량 비전 시스템에서 매우 중요한 요소이다.
기하학적으로 정확한 이미지는 입력 이미지에서 다양한 물체의 정확한 모양과 신뢰할 수 있는 공간 위치의 추정에 도움을 주며, 이는 차량의 운전자 또는 자율 주행 차량의 의사결정 과정에도 중요한 역할을 한다.
등록특허 KR0996897B1에는 광각 렌즈 카메라로 촬영된 영상을 직선 피팅에 의해 보정하는 방법이 기재되어 있다.
좀 더 구체적으로, 광각 렌즈로 촬영된 영상 중 실제 공간상에서 직선인 부분이 영상에서 곡선으로 변한 부분을 자동 또는 수동으로 추출하고, 추출된 곡선들을 직선으로 피팅한 후, LM 최적화 알고리즘에 의해 최적화된 왜곡상수를 추출하는 과정을 포함한다.
그러나 이와 같은 종래 이미지 보정 방법은 보정 과정이 복잡할 뿐만 아니라 이미지에서 직접 곡선들을 추출하는 방식을 사용하기 때문에 보정 처리에 많은 시간이 요구된다는 문제점이 있었다.
본 발명이 해결하고자 하는 기술적 과제는, 어안 렌즈의 왜곡된 이미지를 직선 투영 이미지로 보정 과정을 단순화할 수 있으며, 보정 속도를 향상시킬 수 있는 어안 왜곡 이미지의 무손실 보정 방법 및 장치를 제공함에 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 일측면에 따른 어안 왜곡 이미지의 무손실 보정 방법은, a) 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y방향에 대한 2D 메쉬 그리드 구조를 생성하는 단계와, b) 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계와, c) 상기 하이퍼 매개 변수를 사용하여 상기 2D 메쉬 그리드 포인트에 대한 방위각 및 고도각을 산출하는 단계와, d) 하드 또는 소프트 수직 압축을 고도 각에 적용하는 단계와, e) 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 카메라 모델의 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하는 단계를 포함할 수 있다.
본 발명의 실시예에서, 상기 e) 단계의 투영 결과를 룩업 테이블에 기재하여, 이후 입력되는 어안 이미지의 보정에 사용할 수 있다.
본 발명의 실시예에서, 상기 b)단계의 상기 매개 변수(d)는 1.79일 수 있다.
본 발명의 실시예에서, 상기 b)단계는, 아래의 수학식 1을 이용하여 하이퍼 매개 변수를 산출할 수 있다.
[수학식 1]
φ는 방위각, h는 hv직각좌표계의 좌표, d는 1.79, cos(φ), k, δ는 하이퍼 매개 변수
본 발명의 실시예에서, 상기 c)단계는, 아래의 수학식 2를 이용하여 방위각 및 고도각을 산출할 수 있다.
[수학식 2]
S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표
본 발명의 실시예에서, 상기 e)단계는, 아래의 수학식 3을 이용하여 정규화값을 산출할 수 있다.
[수학식 3]
norm은 정규화 값, 0.575는 역률 추정치.
본 발명의 다른 측면에 따른 보정 장치는, 어안 렌즈를 이용하여 왜곡된 이미지를 촬영하는 카메라와, 상기 카메라에서 촬영된 이미지를 저장하는 메모리와, 상기 메모리에 저장된 이미지를 처리하여, 왜곡을 보정하는 프로세서를 포함하되, 상기 프로세서는, 산출된 파니니 투영 하이퍼 매개 변수를 이용하여 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각을 산출하고, 산출된 고도각을 하드 또는 소프트 수직 압축을 수행한 후, 데카르트 좌표를 계산하여, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 평면으로 데카르트 좌표 값을 투영할 수 있다.
본 발명의 실시예에서, 상기 카메라는 차량에 장착되어 외부를 촬영하며, 상기 프로세서는 차량 제어기의 프로세서일 수 있다.
본 발명의 실시예에서, 상기 프로세서는, 상기 데카르트 좌표 값의 투영 결과를 상기 메모리의 룩업 테이블에 기재하여, 이후 상기 카메라에서 촬영된 어안 이미지의 보정에 사용할 수 있다.
본 발명의 실시예에서, 상기 프로세서는, 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y 방향에 대한 2D 메쉬 그리드 구조를 생성한 후, 매개 변수를 사용하여 상기 파니니 투영 하이퍼 매개 변수를 산출할 수 있다.
본 발명의 실시예에서, 상기 매개 변수는, 1.79일 수 있다.
본 발명의 실시예에서, 상기 프로세서는, 아래의 수학식 1을 이용하여 상기 파니니 투영 하이퍼 매개 변수를 산출할 수 있다.
[수학식 1]
φ는 방위각, h는 hv직각좌표계의 좌표, d는 매개 변수로 1.79, cos(φ), k, δ는 하이퍼 매개 변수
본 발명의 실시예에서, 상기 프로세서는, 아래의 수학식 2를 이용하여 상기 방위각 및 고도각을 산출할 수 있다.
[수학식 2]
S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표
본 발명의 실시예에서, 상기 프로세서는, 아래의 수학식 3을 이용하여 LP 표준 기반 정규화값을 구할 수 있다.
[수학식 3]
norm은 정규화 값, 0.575는 역률 추정치
본 발명의 실시예에서, 상기 매개 변수는, 상기 카메라의 제조사에서 제공하는 매개 변수일 수 있다.
본 발명의 실시예에서, 상기 매개 변수는, 초점 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point), 뒤틀림 계수(skew coefficient)를 포함할 수 있다.
본 발명은 3차원 좌표를 파니니 투영을 이용하여 2차원 메쉬 구조로 변환하고, 수직 방향의 압축 및 직각좌표계로의 변환을 통해 보정 과정을 단순화하고, 보정에 소요되는 시간을 단축할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법의 순서도이다.
도 2에는 카메라 좌표계를 월드 좌표계로 변환하는 개념도이다.
도 3은 입력 이미지인 어안 이미지의 예시도이다.
도 4는 왜곡을 본 발명을 통해 보정한 이미지이다.
도 5는 보행자가 이미지의 중앙에 위치하는 어안 이미지의 예시도이다.
도 6은 도 5의 왜곡을 본 발명을 통해 보정한 이미지이다.
이하, 본 발명 어안 왜곡 이미지의 무손실 보정 방법에 대하여 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시 예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 명세서에서 사용된 용어는 특정 실시 예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　
본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되지 않음은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.
이하, 본 발명의 실시 예들은 본 발명의 실시 예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시 예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
또한, 본 발명은 차량의 비전 시스템에 적용되어, 어안 렌즈를 통해 촬영된 이미지를 직각좌표계의 이미지로 변환하는 것으로, 본 발명에서 언급되는 각 단계는 프로세서에서 처리되는 것으로 한다.
프로세서는 이미지 프로세서일 수 있으며, 처리 과정의 데이터가 저장되는 메모리를 포함할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법의 순서도이다.
도 1을 참조하면 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법은, 촬영된 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하는 단계(S11)와, 정규화된 이미지 좌표값에서 X, Y 방향에 대한 2D 메쉬 그리드 구조를 생성하는 단계(S12)와, 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계(S13)와, 상기 하이퍼 매개 변수를 사용하여 각 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각도를 산출하는 단계(S14)와, 하드 또는 소프트 수직 압축을 고도 각에 적용하는 단계(S15)와, 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행하는 단계(S16)와, 카메라 모델의 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하고 룩업 테이블을 생성하는 단계(S17)를 포함한다.
생성된 룩업 테이블은 새로운 어안 이미지를 다시 매핑할 때 픽셀 좌표 값을 참조하여 사용한다.
이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 어안 왜곡 이미지의 무손실 보정 방법의 구성과 작용에 대하여 보다 상세히 설명한다.
먼저, 프로세서에서 S11단계와 같이 촬영된 어안 이미지의 각 행 및 열 좌표 값을 정규화된(nomalized) 이미지 좌표 값으로 변환한다.
이때, 프로세서는 카메라의 고유 매개 변수(intrinsic parameters)를 사용하여 정규화된 이미지 좌표 값으로 변환한다.
카메라는 3차원의 피사체를 2차원 이미지로 촬영하기 때문에, 실제 3차원 위치 좌표는 2차원 이미지 상에서 어디에 위치하는지 기하학적으로 계산할 때 영상을 찍을 당시의 카메라 위치 및 방향에 의해 결정된다. 구체적으로 실제 이미지는 사용된 렌즈, 피사체와의 거리 등 내부 요인에 영향을 받기 때문에 3차원 위치 좌표의 영상에 투영된 위치를 구하거나, 반대로 영상의 좌표를 3차원 공간좌표로 복원할 때 내부 요인을 제거해야 정확한 계산이 가능하게 된다.
내부 요인의 파라미터 값을 구하는 과정은 카메라 캘리브레이션이라고 하며, 카메라 제조사들은 매개 변수를 공개한다.
내부 행렬 내에는 초점 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point), 뒤틀림 계수(skew coefficient) 등을 포함하며, 이러한 매개 변수들을 이용하여 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환한다.
도 2에는 카메라 좌표계를 월드 좌표계로 변환하는 개념을 도시하였다.
그 다음, S12단계에 도시한 바와 같이, 정규화된 이미지 좌표값에서 X, Y 방향에 대한 2D 메쉬 그리드 구조를 생성한다.
이때의 x, y에 포함된 좌표는 벡터값으로 인식되며, X는 각 행이 x의 복사본인 행렬이고, Y는 각 열이 y의 복사본인 행렬이다.
2D 메쉬 그리드는 y개의 행과 x개의 열로 이루어진다.
그 다음, S13단계에서는 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출한다.
기본 파니니 투영은 3D 원통형 이미지의 직선 투영이며, 이는 접선 원통에 대한 파노라믹 구체(panosphere)의 선형 투영이다.
직선 투영의 중심은 실린더 축에서 d 파라미터의 거리에 위치하는 뷰 축에 있다. d 파라미터는 음수가 아닌 실수이며, d가 0일 때 직선, 1일 때 원통형 입체 투영을 제공하며 파니니 투영으로 정의된다.
d 파라미터가 무한대일때 원통형 직교 투영을 제공한다.
투영 하이퍼 매개 변수는 k, δ, cos(φ), S를 포함한다.
본 발명에서는 d 파라미터가 1.79일 때의 파니니 투영 하이퍼 매개 변수를 산출한다.
파니니 투영 하이퍼 매개 변수의 산출은 다음의 수학식들을 사용하여 산출할 수 있다.
먼저 원통에 있는 점의 데카르트 좌표는 아래의 수학식 1로 표시할 수 있다.
수학식 1에서 x, y, z는 각각 원통상의 특정 좌표의 x, y, z축 값이며, φ는 방위각, θ는 고도각을 나타낸다.
x축, y축 및 z축의 방향은 도 2를 참고한다.
이와 같은 좌표들은 원통상에 위치하는 좌표이며, 평면 이미지(영상)의 확보를 위해서는 원통을 펼쳐 평면으로 매핑해야 한다. 이때 매핑하는 방정식은 아래의 수학식 2로 표현된다.
여기서 파라미터 d는 1.79인 상수이다.
수학식 2에서 S는 점에 대한 직선 투영 축척 계수이며, 투영 중심에서 뷰 평면까지의 거리는 d+1로 정의된다.
또한, 투영 중심에서 원통 점을 포함하는 평행 평면까지의 거리는 d+cos(φ)가 된다.
h와 v는 각각 직각 좌표계인 hv평면상의 좌표값이다.
위의 수학식 2를 이용하여 파니니 투영 하이퍼 매개 변수인 cos(φ), k, δ를 정의하면 수학식 3으로 표현할 수 있다.
그 다음, S14단계에서는 상기 하이퍼 매개 변수를 사용하여, 각 2D 메쉬 그리드 포인트에 대한 방위각(φ)과 고도각(θ)을 산출한다.
방위각과 고도각은 아래의 수학식 4로 표시할 수 있다.
그 다음, S15단계와 같이 하드 또는 소프트 수직 압축을 고도각에 적용하여, 왜곡을 보정한다.
그 다음, S16단계와 같이 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화(normalization)를 수행한다.
여기서 LP 표준 기반 정규화는 알려진 LP 표준을 본 발명에 적합하도록 수정 및 변경하여 정규화를 수행하는 것으로 이해될 수 있다.
통상 norm(노름)은 크기의 일반화(정규화)를 뜻하는 것으로, 벡터의 크기를 일반화한다.
P는 norm의 차수이며, LP norm은 L1 norm, L2 norm, ... Maxium norm 중 필요에 따라 적당한 길이를 선택한다.
아래의 수학식 5는 LP 표준 기반 정규화를 본 발명에 적용하기 위한 함수이다.
수학식 5에서 norm는 정규화값이며, 0.575는 휴리스틱 접근 방식을 사용하기 위하여 추정된 역률이다.
본 발명은 보행자가 입력 이미지의 가장 왼쪽 또는 가장 오른쪽에 위치하거나, 보행자가 카메라에 매우 가깝고 중앙에 위치하는 경우에도 보행자의 모양을 보존하기 위한 것으로, 차량에 장착된 어안 렌즈 카메라와의 거리가 약 1m 떨어진 거리에 위치하는 보행자 상부 형상 콘텐츠의 손실을 최소화할 수 있다.
그 다음, S17 단계와 같이 카메라 모델과 고유 매개 변수를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하고 룩업 테이블을 생성한다.
이때의 룩업 테이블은 이후의 어안 이미지(입력 이미지)를 처리할 때의 기준값이 된다.
도 3은 입력 이미지인 어안 이미지의 일예이며, 도 4는 왜곡을 본 발명을 통해 보정한 이미지이다.
도 3과 도 4를 참조하면, 어안 렌즈 카메라와의 거리가 약 1m 정도로 가까운 위치에서 보행자가 우측 가장자리 영역에 촬영된 상태를 나타낸다.
입력 이미지인 어안 이미지의 경우에는 보행자의 이미지가 왜곡된 상태이며, 본 발명을 통해 평면 이미지로 변환할 때, 이미지의 손실 없이 평면 이미지로 변환이 가능하다.
특히 측면 보행자의 모양을 완전하게 보존함으로써, 자율 주행 차량을 위한 입력 이미지 사용시 촬상된 대상에 대한 분류와 판단이 용이하게 된다는 장점이 있다.
도 5는 보행자가 이미지의 중앙에 위치하는 어안 이미지의 일예이며, 도 6은 도 5의 왜곡을 본 발명을 통해 보정한 이미지이다.
도 5와 도 6을 참조하면, 본 발명은 어안 이미지의 중앙에 카메라와 가까운 위치에 위치하는 보행자가 촬영된 경우, 이미지를 보정하는 과정에서 보행자의 상부측(예를 들어 머리) 이미지의 콘텐츠 손실을 최소화하여 정상적인 이미지를 얻을 수 있는 특징이 있다.
본 발명은 상기 실시예에 한정되지 않고 본 발명의 기술적 요지를 벗어나지 아니하는 범위 내에서 다양하게 수정, 변형되어 실시될 수 있음은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어서 자명한 것이다.

Claims (18)

  1. a) 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하고, x, y방향에 대한 2D 메쉬 그리드 구조를 생성하는 단계;
    b) 1.79인 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하는 단계;
    c) 상기 하이퍼 매개 변수를 사용하여 상기 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각을 산출하는 단계;
    d) 하드 또는 소프트 수직 압축을 고도각에 적용하는 단계; 및
    e) 데카르트 좌표를 계산하고, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 카메라 모델의 고유 매개 변수인 초점 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point) 및 뒤틀림 계수(skew coefficient)를 사용하여 공간에서 평면으로 데카르트 좌표 값을 투영하는 단계를 포함하며,
    상기 a) 단계는,
    상기 어안 이미지를 촬영하는 카메라의 제조사에서 제공하는 초점 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point) 및 뒤틀림 계수(skew coefficient)인 매개 변수를 이용하여 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 방법.
  2. 제1항에 있어서,
    상기 e) 단계의 투영 결과를 룩업 테이블에 기재하여,
    이후 입력되는 어안 이미지의 보정에 사용하는 어안 왜곡 이미지의 무손실 보정 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 b)단계는,
    아래의 수학식 1을 이용하여 하이퍼 매개 변수를 산출하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 방법.
    [수학식 1]

    φ는 방위각, h는 hv직각좌표계의 좌표, d는 1.79, cos(φ), k, δ는 하이퍼 매개 변수
  5. 제4항에 있어서,
    상기 c)단계는,
    아래의 수학식 2를 이용하여 방위각 및 고도각을 산출하는 어안 왜곡 이미지의 무손실 보정 방법.
    [수학식 2]

    S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표
  6. 제5항에 있어서,
    상기 e)단계는,
    아래의 수학식 3을 이용하여 정규화값을 산출하는 어안 왜곡 이미지의 무손실 보정 방법.
    [수학식 3]

    norm은 정규화 값, 0.575는 역률 추정치
  7. 삭제
  8. 삭제
  9. 어안 렌즈를 이용하여 왜곡된 이미지를 촬영하는 카메라;
    상기 카메라에서 촬영된 이미지를 저장하는 메모리; 및
    상기 메모리에 저장된 이미지를 처리하여, 왜곡을 보정하는 프로세서를 포함하되,
    상기 프로세서는,
    상기 카메라의 제조사에서 제공하는 초점 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point) 및 뒤틀림 계수(skew coefficient)인 매개 변수를 이용하여 어안 이미지의 각 행 및 열 좌표 값을 정규화된 이미지 좌표 값으로 변환하여 x, y방향에 대한 2D 메쉬 그리드 구조를 생성하고,
    1.79인 매개 변수(d)를 사용하여 파니니 투영 하이퍼 매개 변수를 산출하고,
    산출된 파니니 투영 하이퍼 매개 변수를 이용하여 2D 메쉬 그리드 구조의 포인트에 대한 방위각 및 고도각을 산출하고,
    산출된 고도각을 하드 또는 소프트 수직 압축을 수행한 후, 데카르트 좌표를 계산하여, z좌표 값에 대한 LP 표준 기반 정규화를 수행한 후, 초점 거리(focal length), 이미지 센서 포맷(image sensor format), 주점(principal point) 및 뒤틀림 계수(skew coefficient)인 카메라 매개 변수를 이용하여 평면으로 데카르트 좌표 값을 투영하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.
  10. 제9항에 있어서,
    상기 카메라는 차량에 장착되어 외부를 촬영하며,
    상기 프로세서는 차량 제어기의 프로세서인 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 데카르트 좌표 값의 투영 결과를 상기 메모리의 룩업 테이블에 기재하여, 이후 상기 카메라에서 촬영된 어안 이미지의 보정에 사용하는 것을 특징으로 하는 어안 왜곡 이미지의 무손실 보정 장치.
  12. 삭제
  13. 삭제
  14. 제9항에 있어서,
    상기 프로세서는,
    아래의 수학식 1을 이용하여 상기 파니니 투영 하이퍼 매개 변수를 산출하는 것을 특징으로 하는 어안 이미지의 무손실 보정 장치.
    [수학식 1]

    φ는 방위각, h는 hv직각좌표계의 좌표, d는 매개 변수로 1.79, cos(φ), k, δ는 하이퍼 매개 변수
  15. 제14항에 있어서,
    상기 프로세서는,
    아래의 수학식 2를 이용하여 상기 방위각 및 고도각을 산출하는 어안 이미지의 무손실 보정 장치.
    [수학식 2]

    S는 점에 대한 직선 투영 축척 계수, h와 v는 hv 직각좌표계의 좌표
  16. 제14항에 있어서,
    상기 프로세서는,
    아래의 수학식 3을 이용하여 LP 표준 기반 정규화값을 구하는 것을 특징으로 하는 어안 이미지의 무손실 보정 장치.
    [수학식 3]

    norm은 정규화 값, 0.575는 역률 추정치
  17. 삭제
  18. 삭제
KR1020210087773A 2021-07-05 2021-07-05 어안 왜곡 이미지의 무손실 보정 방법 및 장치 KR102631472B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210087773A KR102631472B1 (ko) 2021-07-05 2021-07-05 어안 왜곡 이미지의 무손실 보정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210087773A KR102631472B1 (ko) 2021-07-05 2021-07-05 어안 왜곡 이미지의 무손실 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230007034A KR20230007034A (ko) 2023-01-12
KR102631472B1 true KR102631472B1 (ko) 2024-01-31

Family

ID=84923793

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210087773A KR102631472B1 (ko) 2021-07-05 2021-07-05 어안 왜곡 이미지의 무손실 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102631472B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101521008B1 (ko) * 2013-01-10 2015-05-19 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Thomas K. Sharpless ET AL, Pannini: A New Projection for Rendering Wide Angle Perspective Images, Computational Aesthetics in Graphics, Visualization, and Imaging, 14 June 2010(2010.06.14.) 1부.*
Yen-Ting Yeh ET AL, Driver Assistance System Providing an Intuitive Perspective View of Vehicle Surrounding, ACCV Workshops, 1-2 Nov. 2014(2014.11.01.) 1부.*

Also Published As

Publication number Publication date
KR20230007034A (ko) 2023-01-12

Similar Documents

Publication Publication Date Title
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN109767474B (zh) 一种多目相机标定方法、装置及存储介质
US9712755B2 (en) Information processing method, apparatus, and program for correcting light field data
JP5437311B2 (ja) 画像補正方法、画像補正システム、角度推定方法、および角度推定装置
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
JP6363863B2 (ja) 情報処理装置および情報処理方法
US20170127045A1 (en) Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof
JP2022514912A (ja) センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体
US9025862B2 (en) Range image pixel matching method
JP2009139246A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび位置検出装置並びにそれを備えた移動体
TW201717613A (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
CN112444242A (zh) 一种位姿优化方法及装置
TWI602154B (zh) 環景影像的拼接方法及其系統
JP2010041417A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
WO2018102990A1 (en) System and method for rectifying a wide-angle image
KR101694651B1 (ko) 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
KR101597915B1 (ko) 화상 처리 장치 및 화상 처리 방법
JPH1079029A (ja) 立体情報検出方法及びその装置
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
JP2008298589A (ja) 位置検出装置及び位置検出方法
KR102631472B1 (ko) 어안 왜곡 이미지의 무손실 보정 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right