KR102028469B1 - 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법 - Google Patents

어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법 Download PDF

Info

Publication number
KR102028469B1
KR102028469B1 KR1020180005133A KR20180005133A KR102028469B1 KR 102028469 B1 KR102028469 B1 KR 102028469B1 KR 1020180005133 A KR1020180005133 A KR 1020180005133A KR 20180005133 A KR20180005133 A KR 20180005133A KR 102028469 B1 KR102028469 B1 KR 102028469B1
Authority
KR
South Korea
Prior art keywords
image
distortion
fisheye lens
index
unit
Prior art date
Application number
KR1020180005133A
Other languages
English (en)
Other versions
KR20190086964A (ko
Inventor
박일석
홍승환
손홍규
임광용
백인식
이지상
Original Assignee
주식회사 스트리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트리스 filed Critical 주식회사 스트리스
Priority to KR1020180005133A priority Critical patent/KR102028469B1/ko
Priority to US16/487,008 priority patent/US20200234413A1/en
Priority to PCT/KR2018/013334 priority patent/WO2019139234A1/ko
Priority to JP2019566559A priority patent/JP2020507879A/ja
Publication of KR20190086964A publication Critical patent/KR20190086964A/ko
Application granted granted Critical
Publication of KR102028469B1 publication Critical patent/KR102028469B1/ko

Links

Images

Classifications

    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/0018—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘을 적용한 학습 정확도 및 성능을 향상시킬 수 있도록 한 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법에 관한 것으로, 어안 렌즈 및 전방위 영상이 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부;어안 렌즈 및 전방위 영상이 입력되면 기하모델 기반의 영상 왜곡 제거를 수행하는 기하모델 기반 왜곡 제거부;어안렌즈 및 전방위 영상의 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 영상 데이터 세트 출력부;를 포함하는 것이다.

Description

어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법{System and Method for Removing Distortion of Fisheye Lens and Omnidirectional Image}
본 발명은 영상 왜곡 처리에 관한 것으로, 구체적으로 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘을 적용한 학습 정확도 및 성능을 향상시킬 수 있도록 한 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법에 관한 것이다.
현재 광역의 영상을 획득할 수 있도록 하는 시스템으로는 크게 기계적으로 PTZ(Pan Tilt Zoom) 카메라를 이용하는 시스템, 어안 렌즈(fisheye lens)를 구비하는 카메라를 이용하는 시스템, 다수개의 CCD 카메라를 이용하는 다중 카메라 시스템 및 특수 제작된 NTSC(National Television System Committee method) 카메라를 이용하는 카타디옵트릭(catadioptric) 시스템 등이 존재한다.
이중에서 어안렌즈는 보통의 광각 렌즈와 비교하여 넓은 화각을 가진다. 따라서, 자동 항법 장치, 자동차, 영상 의학 등의 다양한 머신 비젼 분야에서 어안렌즈는 다양하게 활용되고 있다.
하지만, 화각이 넓어짐에 따라 광축으로부터 멀어지는 외곽으로 갈수록 방사 왜곡이 심해진다.
이와 같이 어안 렌즈(fisheye lens)는 의도적으로 통 모양의 왜곡(barrel distortion)을 생기게 하여 180도 이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로써, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 되어, 획득된 영상은 필연적으로 심한 왜곡을 가지게 된다.
이로 인해 어안 렌즈를 통해 촬영된 영상에 대한 왜곡(distortion)을 보정하기 위한 많은 시도가 있어 왔지만, 종래 기술에 의할 때 왜곡을 보정하는 방법이 복잡할 뿐 아니라 많은 비용이 소요되는 문제가 있다.
특히, 왜곡을 보정하기 위한 영상 처리 과정에서 사용되는 기계학습알고리즘에는 평면 영상을 대상으로 개발, 연구, 상용화가 이루어고 있다.
따라서, 왜곡이 심한 어안렌즈 및 전방위 영상의 경우에는 일반적인 기계학습 적용이 어렵고 영상 내에서 왜곡이 적은 부분에만 학습이 이루어지고 영상 전체에 대한 학습이 어려워 효율적인 영상 처리가 이루어지지 않는 문제가 있다.
대한민국 공개특허 제10-2014-0072470호 대한민국 공개특허 제10-2014-0090775호 대한민국 등록특허 제10-1623828호
본 발명은 이와 같은 종래 기술의 영상 왜곡 처리 및 기계학습 적용의 문제를 해결하기 위한 것으로, 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘을 적용한 학습 정확도 및 성능을 향상시킬 수 있도록 한 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘 적용에 적합한 영상 데이터 세트를 제공할 수 있도록 한 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 영상 투영각에 따라 변화하는 투영 왜곡들을 평면 영상과 유사한 기하적 특성을 지니도록 변환하여 평면 영상에 적용되는 기계학습 모델을 그대로 활용할 수 있도록 한 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 왜곡이 존재하는 영상으로부터 가상의 3차원 물체를 복원하고 이를 가상의 평면카메라에 재투영하는 방식으로 기하모델 기반의 영상 왜곡제거를 하여 영상 왜곡제거의 효율성을 높인 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 원본 왜곡영상과 가상의 평면영상의 상호관계를 각 픽셀에 인덱스를 부여하여 영상 왜곡제거를 하여 다수 영상을 처리할 때 기하모델 기반의 방식에 비해 처리 시간에 효율성을 갖는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치는 어안 렌즈 영상 또는 전방위 영상이 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부; 어안 렌즈 영상 또는 전방위 영상이 입력되면 기하모델 기반의 영상 왜곡 제거를 수행하는 기하모델 기반 왜곡 제거부; 어안 렌즈 영상 또는 전방위 영상의 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 영상 데이터 세트 출력부;를 포함하는 것을 특징으로 한다.
여기서, 인덱스 기반 왜곡 제거부는, 어안 렌즈 영상이 입력되면 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 픽셀 인덱스 부여부와,각 픽셀에 인덱스를 부여된 어안 렌즈 영상을 설정된 구간으로 분해하는 구간 분해부와,각 분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하는 평면 영상 생성부를 포함하는 것을 특징으로 한다.
그리고 인덱스 기반 왜곡 제거부는, 전방위 영상 입력되면 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 픽셀 인덱스 부여부와,각 픽셀에 인덱스를 부여된 전방위 영상을 설정된 구간으로 분해하는 구간 분해부와,구간 분해부에 의해 분해된 전방위 영상을 설정된 구간으로 재분해하는 구간 재분해부와,구간 재분해부에 의해 재분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하는 평면 영상 생성부를 포함하는 것을 특징으로 한다.
그리고 기하모델 기반 왜곡 제거부는, 카메라 기하식 기반 왜곡영상으로부터 가상의 3차원 형상 복원을 하는 3차원 형성 복원부와,가상의 카메라 기하식을 정의하고 이를 통해 평면 영상 생성을 하는 평면 영상 생성부를 포함하는 것을 특징으로 한다.
그리고 기하모델 기반 왜곡 제거부에서 어안렌즈 영상의 왜곡을 제거하는 기하모델은, 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(central perspective)의 어느 하나를 적용하는 것을 특징으로 한다.
그리고 기하모델 기반 왜곡 제거부에서 전방위 영상의 왜곡을 제거하기 위한 기하모델은, 세로 원통형, 가로 원통형, 메르카토 (mercarto), 역 메르카토 (trasverse mercarto), 구형, 정사투영(orthographic), 어안렌즈형, 스테레오형 (stereographic), 중심투영(central perspective) 투영 모델의 어느 하나를 적용하는 것을 특징으로 한다.
그리고 기하모델 기반 왜곡 제거부에서 전방위 영상의 왜곡을 제거하기 위한 기하모델은, 투영된 영상을 수평각, 수직각에 따라 여러개의 영상으로 분할하여 각각에 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(central perspective)의 어느 하나를 적용하는 것을 특징으로 한다.
그리고 인덱스 기반 왜곡 제거부 또는 기하모델 기반 왜곡 제거부는 수평 투영각이 커지는 왜곡을 인덱스 기반 또는 기하모델 기반으로 제거하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법은 어안 렌즈 영상 또는 전방위 영상 입력되면, 인덱스 기반의 영상 왜곡 제거를 위하여, 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 단계;설정된 구간으로 분해하고, 각 분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하여, 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 단계;를 수행하고,기하모델 기반의 영상 왜곡 제거를 위하여, 카메라 기하식 기반 왜곡영상으로부터 가상의 3차원 형상 복원을 하는 단계;가상의 카메라 기하식을 정의하고 이를 통해 평면 영상을 생성하여 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 단계;를 수행하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘을 적용한 학습 정확도 및 성능을 향상시킬 수 있도록 한다.
둘째, 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘 적용에 적합한 영상 데이터 세트를 제공할 수 있다.
셋째, 영상 투영각에 따라 변화하는 투영 왜곡들을 평면 영상과 유사한 기하적 특성을 지니도록 변환하여 평면 영상에 적용되는 기계학습 모델을 그대로 활용할 수 있다.
넷째, 왜곡이 존재하는 영상으로부터 가상의 3차원 물체를 복원하고 이를 가상의 평면카메라에 재투영하는 방식으로 기하모델 기반의 영상 왜곡제거를 하여 영상 왜곡제거의 효율성을 높인다.
다섯째, 원본 왜곡영상과 가상의 평면영상의 상호관계를 각 픽셀에 인덱스를 부여하여 영상 왜곡제거를 하여 다수 영상을 처리할 때 기하모델 기반의 방식에 비해 처리 시간에 효율성을 갖도록 한다.
도 1a 내지 도 1c는 카메라에 따른 사진 투영 특성을 나타낸 구성도
도 2는 어안 렌즈 및 전방위 영상 투영 모델 기하 구성도
도 3은 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치의 구성도
도 4는 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법을 나타낸 플로우 차트
도 5a 내지 도 5c는 인덱스 기반의 영상 왜곡 제거를 나타낸 구성도
도 6a와 도 6b는 기하모델 기반의 영상 왜곡 제거를 나타낸 구성도
도 7은 수평 투영각에 따른 왜곡 제거를 나타낸 구성도
이하, 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1a 내지 도 1c는 카메라에 따른 사진 투영 특성을 나타낸 구성도이고, 도 2는 어안 렌즈 및 전방위 영상 투영 모델 기하 구성도이다.
그리고 도 3은 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치의 구성도이다.
본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법은 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘을 적용한 학습 정확도 및 성능을 향상시킬 수 있도록 한 것이다.
이를 위하여, 본 발명은 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘 적용에 적합한 영상 데이터 세트를 제공하는 구성을 포함한다.
도 1a 내지 도 1c는 카메라에 따른 사진 투영 특성을 나타낸 구성을 나타낸 것으로, 도 1a는 평면 카메라 사진 투영을 나타낸 것이고, 도 1b는 어안 렌즈 카메라 사진 투영을 나타낸 것이고, 도 1c는 전방위 카메라 사진 투영을 나타낸 것이다.
도 2는 어안 렌즈 및 전방위 영상 투영 모델 기하 구성을 나타낸 것으로, 어안렌즈 영상의 왜곡을 제거하는 기하모델로는 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(central perspective) 등을 적용할 수 있다.
그리고 전방위 영상의 왜곡을 제거하기 위한 기하모델로는 세로 원통형, 가로 원통형, 메르카토 (mercarto), 역 메르카토 (trasverse mercarto), 구형, 정사투영(orthographic), 어안렌즈형, 스테레오형 (stereographic), 중심투영(central perspective) 투영 모델을 적용하거나, 투영된 영상을 수평각, 수직각에 따라 여러개의 영상으로 분할하여 각각에 어안렌즈 영상의 왜곡 제거 방식과 동일한 모델 및 방법의 기술을 적용할 수 있다.
본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치는 도 3에서와 같이, 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부(30)와, 기하모델 기반의 영상 왜곡 제거를 수행하는 기하모델 기반 왜곡 제거부(40)와, 어안렌즈 및 전방위 영상의 왜곡이 제거되어 기계학습 알고리즘 적용에 적합한 영상 데이터 세트를 출력하는 영상 데이터 세트 출력부(50)를 포함한다.
인덱스 기반 왜곡 제거부(30)는 어안 렌즈 영상이 입력되면 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 픽셀 인덱스 부여부(31)와, 각 픽셀에 인덱스를 부여된 어안 렌즈 영상을 설정된 구간으로 분해하는 구간 분해부(32)와, 각 분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하는 평면 영상 생성부(33)를 포함한다.
그리고 인덱스 기반 왜곡 제거부(30)는 전방위 영상 입력되면 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 픽셀 인덱스 부여부(34)와, 각 픽셀에 인덱스를 부여된 전방위 영상을 설정된 구간으로 분해하는 구간 분해부(35)와, 구간 분해부(35)에 의해 분해된 전방위 영상을 설정된 구간으로 재분해하는 구간 재분해부(36)와, 구간 재분해부(36)에 의해 재분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하는 평면 영상 생성부(37)를 포함한다.
그리고 기하모델 기반 왜곡 제거부(40)는 카메라 기하식 기반 왜곡영상으로부터 가상의 3차원 형상 복원을 하는 3차원 형성 복원부(41)와, 가상의 카메라 기하식을 정의하고 이를 통해 평면 영상 생성을 하는 평면 영상 생성부(42)를 포함한다.
이와 같은 구성을 갖는 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치는 기계학습에 적용하기 위한 영상 데이터세트를 만들기 위한 렌즈 왜곡 제거에 관한 것이다.
렌즈 왜곡 제거는 각 센서의 기하모델 또는 인덱스를 바탕으로 이루어지고, 영상 투영각에 따라 변화하는 투영 왜곡들을 평면 영상과 유사한 기하적 특성을 지니도록 변환하여 평면 영상에 적용되는 기계학습 모델을 그대로 활용 가능해지도록 한다.
기하모델 기반의 영상 왜곡제거 방식은 왜곡이 존재하는 영상으로부터 가상의 3차원 물체를 복원하고 이를 가상의 평면카메라에 재투영하는 방식으로 이루어지고, 인덱스 기반의 영상 왜곡제거 방식은 원본 왜곡영상과 가상의 평면영상의 상호관계를 각 픽셀에 인덱스를 부여하여 해결하는 방식이다.
인덱스 기반의 방식의 경우에는 다수 영상을 처리할 때 기하모델 기반의 방식에 비해 처리 시간에 효율성이 있다.
본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법을 나타낸 플로우 차트이다.
본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법은 도 4에서와 같이, 어안 렌즈 영상 또는 전방위 영상 입력되면(S401), 인덱스 기반의 영상 왜곡 제거를 위하여, 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의한다.(S402)
그리고 설정된 구간으로 분해하고(S403), 각 분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하여(S404), 어안렌즈 및 전방위 영상의 왜곡이 제거되어 기계학습 알고리즘 적용에 적합한 영상 데이터 세트를 출력한다.(S407)
도 5a 내지 도 5c는 인덱스 기반의 영상 왜곡 제거를 나타낸 구성도이다.
그리고 어안 렌즈 영상 또는 전방위 영상 입력되면(S401), 기하모델 기반의 영상 왜곡 제거를 위하여, 카메라 기하식 기반 왜곡영상으로부터 가상의 3차원 형상 복원을 하고(S405), 가상의 카메라 기하식을 정의하고 이를 통해 평면 영상을 생성하여(S406), 기계학습 모델에 적용 가능한 영상 데이터 세트를 출력한다.(S407)
도 6a와 도 6b는 기하모델 기반의 영상 왜곡 제거를 나타낸 구성도이다.
어안렌즈 영상의 왜곡을 제거하는 기하모델로는 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(central perspective) 등을 적용할 수 있다.
그리고 전방위 영상의 왜곡을 제거하기 위한 기하모델로는 세로 원통형, 가로 원통형, 메르카토 (mercarto), 역 메르카토 (trasverse mercarto), 구형, 정사투영(orthographic), 어안렌즈형, 스테레오형 (stereographic), 중심투영(central perspective) 투영 모델을 적용하거나, 투영된 영상을 수평각, 수직각에 따라 여러개의 영상으로 분할하여 각각에 어안렌즈 영상의 왜곡 제거 방식과 동일한 모델 및 방법의 기술을 적용할 수 있다.
이와 같이 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법은 어안렌즈 영상 왜곡의 경우에는 영상을 일정 구간으로 분해하여 각각 구간을 평면 영상화하는 것이고, 전방위 영상의 경우에는 수평/수직 입사각에 따라 일정 구간으로 1차 분해 후, 분해된 영상을 어안렌즈 영상과 동일한 방식으로 일정 구간으로 재분해하여 각각 구간을 평면 영상화한다.
그리고 수평 투영각이 커짐에 따라 발생하는 왜곡도 기하모델 또는 인덱스 기반으로 제거한다.
도 7은 수평 투영각에 따른 왜곡 제거를 나타낸 구성도이다.
이상에서 설명한 본 발명에 따른 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법은 왜곡이 심한 어안렌즈 및 전방위 영상으로부터 기하적 왜곡을 제거하여 기계학습 알고리즘을 적용한 학습 정확도 및 성능을 향상시킬 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
30. 인덱스 기반 왜곡 제거부
40. 기하모델 기반 왜곡 제거부
50. 영상 데이터 세트 출력부

Claims (9)

  1. 어안 렌즈 영상 또는 전방위 영상이 입력되면 인덱스 기반의 영상 왜곡 제거를 수행하는 인덱스 기반 왜곡 제거부;
    어안 렌즈 영상 또는 전방위 영상이 입력되면 기하모델 기반의 영상 왜곡 제거를 수행하는 기하모델 기반 왜곡 제거부;
    어안 렌즈 영상 또는 전방위 영상의 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 영상 데이터 세트 출력부;를 포함하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  2. 제 1 항에 있어서, 인덱스 기반 왜곡 제거부는,
    어안 렌즈 영상이 입력되면 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 픽셀 인덱스 부여부와,
    각 픽셀에 인덱스를 부여된 어안 렌즈 영상을 설정된 구간으로 분해하는 구간 분해부와,
    각 분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하는 평면 영상 생성부를 포함하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  3. 제 1 항에 있어서, 인덱스 기반 왜곡 제거부는,
    전방위 영상 입력되면 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 픽셀 인덱스 부여부와,
    각 픽셀에 인덱스를 부여된 전방위 영상을 설정된 구간으로 분해하는 구간 분해부와,
    구간 분해부에 의해 분해된 전방위 영상을 설정된 구간으로 재분해하는 구간 재분해부와,
    구간 재분해부에 의해 재분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하는 평면 영상 생성부를 포함하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  4. 제 1 항에 있어서, 기하모델 기반 왜곡 제거부는,
    카메라 기하식 기반 왜곡영상으로부터 가상의 3차원 형상 복원을 하는 3차원 형성 복원부와,
    가상의 카메라 기하식을 정의하고 이를 통해 평면 영상 생성을 하는 평면 영상 생성부를 포함하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  5. 제 1 항에 있어서, 기하모델 기반 왜곡 제거부에서 어안렌즈 영상의 왜곡을 제거하는 기하모델은, 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(central perspective)의 어느 하나를 적용하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  6. 제 1 항에 있어서, 기하모델 기반 왜곡 제거부에서 전방위 영상의 왜곡을 제거하기 위한 기하모델은,
    세로 원통형, 가로 원통형, 메르카토 (mercarto), 역 메르카토 (trasverse mercarto), 구형, 정사투영(orthographic), 어안렌즈형, 스테레오형 (stereographic), 중심투영(central perspective) 투영 모델의 어느 하나를 적용하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  7. 제 1 항에 있어서, 기하모델 기반 왜곡 제거부에서 전방위 영상의 왜곡을 제거하기 위한 기하모델은,
    투영된 영상을 수평각, 수직각에 따라 여러개의 영상으로 분할하여 각각에 등거리투영(Equidistant), 등각투영(Equisolid-angle), 정사투영(orthographic), 스테레오형 (stereographic), 중심투영(central perspective)의 어느 하나를 적용하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  8. 제 1 항에 있어서, 인덱스 기반 왜곡 제거부 또는 기하모델 기반 왜곡 제거부는 수평 투영각이 커지는 왜곡을 인덱스 기반 또는 기하모델 기반으로 제거하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치.
  9. 어안 렌즈 영상 또는 전방위 영상 입력되면,
    인덱스 기반의 영상 왜곡 제거를 위하여, 왜곡 영상과 평면 영상간의 관계를 각 픽셀에 인덱스를 부여하여 정의하는 단계;
    설정된 구간으로 분해하고, 각 분해된 공간의 수식 또는 인덱스 기반으로 왜곡을 제거하여 평면 영상화하여, 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 단계;를 수행하고,
    기하모델 기반의 영상 왜곡 제거를 위하여, 카메라 기하식 기반 왜곡영상으로부터 가상의 3차원 형상 복원을 하는 단계;
    가상의 카메라 기하식을 정의하고 이를 통해 평면 영상을 생성하여 왜곡이 제거되어 기계학습 알고리즘에 적용할 수 있는 영상 데이터 세트를 출력하는 단계;를 수행하는 것을 특징으로 하는 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 방법.
KR1020180005133A 2018-01-15 2018-01-15 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법 KR102028469B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180005133A KR102028469B1 (ko) 2018-01-15 2018-01-15 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
US16/487,008 US20200234413A1 (en) 2018-01-15 2018-11-06 Apparatus and method for removing distortion of fisheye lens and omni-directional images
PCT/KR2018/013334 WO2019139234A1 (ko) 2018-01-15 2018-11-06 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
JP2019566559A JP2020507879A (ja) 2018-01-15 2018-11-06 魚眼レンズおよび全方位映像の歪み除去のための装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180005133A KR102028469B1 (ko) 2018-01-15 2018-01-15 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190086964A KR20190086964A (ko) 2019-07-24
KR102028469B1 true KR102028469B1 (ko) 2019-10-04

Family

ID=67219019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180005133A KR102028469B1 (ko) 2018-01-15 2018-01-15 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법

Country Status (4)

Country Link
US (1) US20200234413A1 (ko)
JP (1) JP2020507879A (ko)
KR (1) KR102028469B1 (ko)
WO (1) WO2019139234A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022240186A1 (ko) * 2021-05-11 2022-11-17 삼성전자 주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109964245A (zh) * 2016-12-06 2019-07-02 深圳市大疆创新科技有限公司 用于校正广角图像的系统和方法
CN112396558A (zh) * 2019-08-15 2021-02-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
WO2021077279A1 (zh) * 2019-10-22 2021-04-29 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN111292336B (zh) * 2020-01-21 2023-06-06 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法
KR102289045B1 (ko) * 2020-03-23 2021-08-11 주식회사 픽스트리 멀티 스케일 객체 이미지 복원 방법 및 장치
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备
CN114765667A (zh) * 2021-01-13 2022-07-19 安霸国际有限合伙企业 用于多视图拼接的固定图案校准

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156722A (ja) 2012-01-27 2013-08-15 Sony Corp 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0463092A (ja) * 1990-06-29 1992-02-28 Sanyo Electric Co Ltd ３次元シーン表示システム
JP4307934B2 (ja) * 2003-08-13 2009-08-05 株式会社トプコン 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
KR100596976B1 (ko) * 2004-11-08 2006-07-05 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
JP2011049733A (ja) * 2009-08-26 2011-03-10 Clarion Co Ltd カメラキャリブレーション装置および映像歪み補正装置
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
KR101578029B1 (ko) * 2012-09-21 2015-12-18 한화테크윈 주식회사 영상 왜곡 보정 장치 및 방법
KR101465607B1 (ko) 2012-12-05 2014-11-27 광운대학교 산학협력단 어안 렌즈용 왜곡 영상 처리 방법
KR101521008B1 (ko) 2013-01-10 2015-05-19 염철희 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP6310320B2 (ja) * 2014-05-13 2018-04-11 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
KR101623828B1 (ko) 2015-03-31 2016-05-24 주식회사 아이디스 연산 속도를 개선한 어안 카메라의 왜곡 영상 보정장치
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
JP6330987B2 (ja) * 2016-06-17 2018-05-30 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013156722A (ja) 2012-01-27 2013-08-15 Sony Corp 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022240186A1 (ko) * 2021-05-11 2022-11-17 삼성전자 주식회사 이미지 왜곡을 보정하는 방법 및 그 전자 장치

Also Published As

Publication number Publication date
US20200234413A1 (en) 2020-07-23
WO2019139234A1 (ko) 2019-07-18
KR20190086964A (ko) 2019-07-24
JP2020507879A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
KR102028469B1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
US9013477B2 (en) Method and system for producing a virtual output image from data obtained by an array of image capturing devices
KR100730406B1 (ko) 중간 요소 영상을 이용한 입체 영상 표시 장치
US20160117820A1 (en) Image registration method
JP2796717B2 (ja) 自動立体型映像作像方法およびその装置
CN106709865B (zh) 一种深度图像合成方法及装置
KR101600681B1 (ko) 집적 영상시스템의 3차원 영상 표시깊이변환방법
GB2486878A (en) Producing a 3D image from a single 2D image using a single lens EDoF camera
JP2016036066A5 (ja) 画像処理方法、画像処理装置、複眼撮像装置、画像処理プログラム、および、記憶媒体
CN102194223A (zh) 一种变焦镜头的畸变系数标定方法及系统
US20200035013A1 (en) Method for repairing incomplete 3d depth image using 2d image information
KR20160040330A (ko) 어안 렌즈로부터 획득한 왜곡 영상을 동심원 형태의 표준 패턴을 이용하여 보정하는 방법
KR102432081B1 (ko) 플렌옵틱 영상의 중간시점 영상 생성 시스템
KR101900254B1 (ko) 홀로그램 광학소자 마이크로 렌즈 어레이를 이용한 집적영상 현미경 시스템
JP4523538B2 (ja) 立体映像撮影表示装置
KR102031485B1 (ko) 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
CN106780406A (zh) 一种快速鱼眼图像去模糊方法
JP6076083B2 (ja) 立体画像補正装置及びそのプログラム
KR101733346B1 (ko) 직접영상 시스템에서 정치 실영상 구현을 위한 요소영상 변환 방법
JP2020205582A (ja) 歪み画像フレームをエンコードするための方法、デバイス、およびコンピュータプログラム製品
KR102199071B1 (ko) 집적 영상 기반의 4차원 영상 복원 방법 및 장치
WO2018139250A1 (ja) 全天球撮像装置
JP2019185283A (ja) ３次元モデル生成装置及びそのプログラム、並びに、ｉｐ立体像表示システム
JP2012129714A (ja) 光学システム及びこれを備える撮像装置
JP2005184865A (ja) デジタルカメラシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right