KR20200049207A - 왜곡계수 추정을 통한 영상 보정 시스템 및 방법 - Google Patents

왜곡계수 추정을 통한 영상 보정 시스템 및 방법 Download PDF

Info

Publication number
KR20200049207A
KR20200049207A KR1020180132180A KR20180132180A KR20200049207A KR 20200049207 A KR20200049207 A KR 20200049207A KR 1020180132180 A KR1020180132180 A KR 1020180132180A KR 20180132180 A KR20180132180 A KR 20180132180A KR 20200049207 A KR20200049207 A KR 20200049207A
Authority
KR
South Korea
Prior art keywords
distortion
image
correction
equation
point
Prior art date
Application number
KR1020180132180A
Other languages
English (en)
Other versions
KR102118173B1 (ko
Inventor
백준기
이민정
김형태
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020180132180A priority Critical patent/KR102118173B1/ko
Priority to US16/596,163 priority patent/US11164292B2/en
Publication of KR20200049207A publication Critical patent/KR20200049207A/ko
Application granted granted Critical
Publication of KR102118173B1 publication Critical patent/KR102118173B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받고, 측정대상으로부터 각각 복수 개의 특징점을 추출하고, 추출된 복수 개의 특징점과 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류한 후, 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정하고, 추정된 왜곡계수를 기초로 입력된 왜곡 영상을 보정할 수 있다. 그리고 보정된 영상들의 직선 정보를 사용하여 최적의 왜곡 보정 영상을 선택할 수 있다. 이를 통해 본 발명은 렌즈 정보, 패턴 정보 또는 학습된 데이터를 사용하지 않고 왜곡된 영상으로부터 추출된 특징 정보와 광학적 특성에 기반하여 보다 객관적 및 최적으로 왜곡을 보정할 수 있는 효과를 가진다.

Description

왜곡계수 추정을 통한 영상 보정 시스템 및 방법{System and method for image correction based estimation of distortion parameters}
본 발명은 영상 보정에 관한 것으로, 더욱 상세하게는 왜곡된 영상으로부터 특징을 추출한 후, 광학적 특성에 기반한 반복적 왜곡계수를 추정하여 최적으로 영상을 보정하는 왜곡계수 추정을 통한 영상 보정 시스템 및 방법에 관한 것이다.
어안렌즈와 같은 초광각 렌즈는 표준 렌즈보다 더 넓은 FOV(Field of view)를 가지기 때문에 넓은 영역의 정보를 획득할 수 있는 이점을 가진다. 다만 렌즈가 넓은 화각을 가지도록 설계하는 과정에서는 빛을 과다 굴절시키기 때문에, 렌즈 왜곡이 발생하게 된다.
렌즈 왜곡은 방사형 형태를 가지며, 영상의 중심으로부터 거리에 비례하여 나타난다. 이에 렌즈 왜곡으로 인해 객체의 모양 변화, 직선이 곡선으로 휘어짐과 같은 영상 정보 변형이 발생하게 되는 것이다. 이로 인해 영상정보를 사용하여 특정 객체 식별, 상황 분석 및 판단을 수행하는 시스템의 성능 저하가 발생하게 된다.
따라서 이러한 왜곡을 보정하기 위한 방법으로는 여러 가지가 있는데, 그 중 대표적인 왜곡 보정 방법이 기하학적 투영 모델 기반, 패턴 기반, 왜곡 계수 추정 기반 방법이다.
기하학적 투영 모델 기반 방법은 렌즈의 기하학적 투영을 모델링하여 렌즈 왜곡 모델의 정의를 통해 왜곡을 보정하는 방법이다. 이 때 기하학적 투영 모델 기반 방법을 왜곡 보정에 적용하기 위해서는 렌즈가 설계된 모델과 영상이 촬영되었을 때의 초점거리가 필요하다. 다만 실제 초점거리는 정확하게 알 수 없기 때문에 정확한 왜곡 보정이 불가능하다.
패턴 기반 방법은 왜곡된 패턴과 이상적인 패턴의 정보를 사용하여 추정된 왜곡률로 왜곡을 보정하는 방법이다. 이 때 패턴 기반 방법은 보정하려는 렌즈마다 패턴을 촬영해야하는데, 이는 패턴 촬영 환경과 패턴의 정보 추출 정확도에 따라 보정 성능에 영향을 받게 된다.
왜곡 계수 추정 기반 방법은 왜곡된 영상에서 추출한 정보와 왜곡이 없는 영상에서 추출한 정보들로부터 학습된 데이터를 바탕으로 왜곡 계수를 추정하거나, 원점으로부터 거리에 비례하여 왜곡이 발생하는 특성을 사용하여 왜곡 계수를 추정하여 왜곡을 보정하는 방법이다. 이 때 학습된 데이터를 바탕으로 왜곡 계수를 추정하는 경우, 사전 학습에 사용하는 영상의 개수에 따라 성능이 가변적이게 된다. 왜곡이 발생하는 특성을 사용하여 왜곡 계수를 추정하는 경우, 영상의 크기에 따라 임계값을 개별적으로 설정해야하기 때문에 자동적인 왜곡보정이 불가능하다.
이에 렌즈의 설계 정보 등의 광학 전문지식과 상관없이, 왜곡 패턴 사용 등 왜곡 보정 시 사용되는 사전 정보 없이, 패턴 정보 추출을 위한 전처리 기술 없이 왜곡을 최적으로 보정할 수 있는 기술을 개발할 필요성이 있다.
한국등록특허공보 제10-1172629호 한국등록특허공보 제10-1014572호 일본공개특허공보 제2005-328570호
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 보정된 영상들의 직선 정보를 사용하여 최적의 왜곡 보정 영상을 선택하는 것을 목적으로 한다.
또한 본 발명은 렌즈 정보, 패턴 정보 또는 학습된 데이터를 사용하지 않고 왜곡된 영상으로부터 추출된 특징 정보와 광학적 특성에 기반하여 보다 객관적으로 왜곡을 보정하는 것을 목적으로 한다.
또한 본 발명은 반복적 왜곡계수 추정 및 반복적 왜곡 보정 모델을 통해 최적으로 왜곡을 보정하는 것을 목적으로 한다.
또한 본 발명은 측정대상의 고유한 특징정보를 기초로 추정한 왜곡계수를 통해 왜곡을 보정함으로써, 일정한 성능을 유지하는 것을 목적으로 한다.
또한 본 발명은 기존 왜곡 보정 방법의 적용이 불가능했던 시스템에서도 적용이 가능한 왜곡 보정 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 360도 AR 또는 VR 카메라를 포함하여, 광역 감시 시스템 및 고급 운전자 지원 시스템 카메라 등 확장된 응용분야에 넓은 영상 시스템으로 적용하여 활용 가능한 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해할 수 있을 것이다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 왜곡계수 추정을 통한 영상 보정 시스템은 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받는 왜곡 영상 입력부, 측정대상으로부터 각각 복수 개의 특징점을 추출하는 특징점 추출부, 추출된 복수 개의 특징점과 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여, 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류하는 특징점 분류부, 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정하는 왜곡계수 추정부, 추정된 왜곡계수를 기초로 입력된 왜곡 영상을 보정하는 영상 보정부를 포함할 수 있다.
이 때 적어도 하나 이상의 측정대상은 사람이며, 복수 개의 특징점은 상기 사람의 신체 왼쪽 눈의 홍채에 해당하는 눈의 중심점, 오른쪽 눈의 홍채에 해당하는 눈의 중심점, 코의 끝점, 입의 왼쪽 끝점 및 입의 오른쪽 끝점을 포함할 수 있다.
특징점 분류부는 다음 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따라 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류할 수 있다.
[수식 8]
Figure pat00001
(
Figure pat00002
: 비왜곡대상,
Figure pat00003
: 왜곡 영상의 중심점과 최소 거리에 위치한 측정대상,
Figure pat00004
: 측정대상의 개수,
Figure pat00005
: 측정대상으로부터 추출한 복수 개의 특징점의 평균점,
Figure pat00006
로서 입력된 왜곡 영상의 중심점)
[수식 9]
Figure pat00007
(
Figure pat00008
: 측정대상의 특징점,
Figure pat00009
: 복수 개 특징점의 평균점,
Figure pat00010
: 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00011
: 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00012
: 코의 끝점,
Figure pat00013
: 입의 왼쪽 끝점,
Figure pat00014
: 입의 오른쪽 끝점)
왜곡계수 추정부는 다음 수식 10으로 표현되는 왜곡계수 산출식에 따라 추정하고자 하는 왜곡계수를 산출할 수 있다.
[수식 10]
Figure pat00015
(
Figure pat00016
: j번째 추정된 왜곡계수,
Figure pat00017
: 측정대상의 개수,
Figure pat00018
: 왜곡대상의 특징점들의 표준편차,
Figure pat00019
: 비왜곡대상의 특징점들의 표준편차)
본 발명의 기술적 사상에 의한 왜곡계수 추정을 통한 영상 보정 시스템은 보정된 영상이 기 설정된 조건을 만족할 때까지 왜곡계수를 반복적으로 추정하고 보정된 영상을 반복 보정하여 적어도 하나 이상의 반복 보정 영상을 출력하는 반복 보정부, 출력된 적어도 하나 이상의 영상으로부터 직선 개수 및 길이를 포함하는 직선 정보를 검출하여 이에 기초한 최종 보정 영상을 선택하는 최종 보정 영상 선택부를 더 포함할 수 있다.
반복 보정부는 다음 수식 11 및 수식 12로 표현되는 반복 보정식에 따라 보정된 영상을 반복 보정할 수 있다.
[수식 11]
Figure pat00020
(
Figure pat00021
: j+1번째 보정 영상,
Figure pat00022
: j번째 추정된 왜곡계수,
Figure pat00023
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점 사이의 거리값,
Figure pat00024
: j번째 보정 영상,
Figure pat00025
: 반복 횟수)
[수식 12]
Figure pat00026
(
Figure pat00027
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점과의 거리값,
Figure pat00028
및
Figure pat00029
: j번째 왜곡 보정된 영상의 가로 및 세로 좌표값,
Figure pat00030
및
Figure pat00031
: 왜곡 영상의 중심점의 좌표값)
반복 보정부 및 최종 보정 영상 선택부는 다음 수식 14로 표현되는 비용함수에 따라 수행될 수 있다.
[수식 14]
Figure pat00032
(
Figure pat00033
: 최종 왜곡 보정 영상,
Figure pat00034
: j*번째 최종 왜곡 보정 영상 ,
Figure pat00035
: j번째 반복 보정된 영상에서 모든 직선 길이의 총합,
Figure pat00036
: j번째 반복 보정된 영상에서 추출된 직선의 집합,
Figure pat00037
: j번째 반복 보정된 영상에 대한 특징점들의 표준편차, |
Figure pat00038
|: 집합의 원소 개수)
본 발명의 기술적 사상에 의한 왜곡계수 추정을 통한 영상 보정 방법은 왜곡 영상 입력부에서 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받는 왜곡 영상 입력단계, 특징점 추출부에서 측정대상으로부터 각각 복수 개의 특징점을 추출하는 특징점 추출단계, 특징점 분류부에서 추출된 복수 개의 특징점과 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여, 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류하는 특징점 분류단계, 왜곡계수 추정부에서 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정하는 왜곡계수 추정단계, 영상 보정부에서 추정된 왜곡계수를 기초로 왜곡대상이 포함된 입력된 왜곡 영상을 보정하는 영상 보정단계를 포함할 수 있다.
이 때 적어도 하나 이상의 측정대상은 사람이며, 복수 개의 특징점은 상기 사람의 신체 왼쪽 눈의 홍채에 해당하는 눈의 중심점, 오른쪽 눈의 홍채에 해당하는 눈의 중심점, 코의 끝점, 입의 왼쪽 끝점 및 입의 오른쪽 끝점을 포함할 수 있다.
특징점 분류단계는 다음 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따라 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류할 수 있다.
[수식 8]
Figure pat00039
(
Figure pat00040
: 비왜곡대상,
Figure pat00041
: 왜곡 영상의 중심점과 최소 거리에 위치한 측정대상,
Figure pat00042
: 측정대상의 개수,
Figure pat00043
: 측정대상으로부터 추출한 복수 개의 특징점의 평균점,
Figure pat00044
로서 입력된 왜곡 영상의 중심점)
[수식 9]
Figure pat00045
(
Figure pat00046
: 측정대상의 특징점,
Figure pat00047
: 복수 개 특징점의 평균점,
Figure pat00048
: 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00049
: 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00050
: 코의 끝점,
Figure pat00051
: 입의 왼쪽 끝점,
Figure pat00052
: 입의 오른쪽 끝점)
왜곡계수 추정단계는 다음 수식 10으로 표현되는 왜곡계수 산출식에 따라 추정하고자 하는 왜곡계수를 산출할 수 있다.
[수식 10]
Figure pat00053
(
Figure pat00054
: j번째 추정된 왜곡계수,
Figure pat00055
: 측정대상의 개수,
Figure pat00056
: 왜곡대상의 특징점들의 표준편차,
Figure pat00057
: 비왜곡대상의 특징점들의 표준편차)
본 발명의 기술적 사상에 의한 왜곡계수 추정을 통한 영상 보정 방법은 반복 보정부에서 기 설정된 조건을 만족할 때까지 상기 왜곡계수를 반복적으로 추정하고 보정된 영상을 반복 보정하여 적어도 하나 이상의 반복 보정 영상을 출력하는 반복 보정단계, 최종 보정 영상 선택부는 출력된 적어도 하나 이상의 영상으로부터 직선 개수 및 길이를 포함하는 직선 정보를 검출하여 이에 기초한 최종 보정 영상을 선택하는 최종 보정 영상 선택단계를 더 포함할 수 있다.
반복 보정단계는 다음 수식 11 및 수식 12로 표현되는 반복 보정식에 따라 상기 보정된 영상을 반복 보정할 수 있다.
[수식 11]
Figure pat00058
(
Figure pat00059
: j+1번째 보정 영상,
Figure pat00060
: j번째 추정된 왜곡계수,
Figure pat00061
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점 사이의 거리값,
Figure pat00062
: j번째 보정 영상,
Figure pat00063
: 반복 횟수)
[수식 12]
Figure pat00064
(
Figure pat00065
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점과의 거리값,
Figure pat00066
및
Figure pat00067
: j번째 왜곡 보정된 영상의 가로 및 세로 좌표값,
Figure pat00068
및
Figure pat00069
: 왜곡 영상의 중심점의 좌표값)
반복 보정단계 및 최종 보정 영상 선택단계는 다음 수식 14로 표현되는 비용함수에 따라 수행될 수 있다.
[수식 14]
Figure pat00070
(
Figure pat00071
: 최종 왜곡 보정 영상,
Figure pat00072
: j*번째 최종 왜곡 보정 영상 ,
Figure pat00073
: j번째 반복 보정된 영상에서 모든 직선 길이의 총합,
Figure pat00074
: j번째 반복 보정된 영상에서 추출된 직선의 집합,
Figure pat00075
: j번째 반복 보정된 영상에 대한 특징점들의 표준편차, |
Figure pat00076
|: 집합의 원소 개수)
이상에서 설명한 바와 같은 왜곡계수 추정을 통한 영상 보정 시스템 및 방법에 따르면,
첫째, 보정된 영상들의 직선 정보를 사용하여 최적의 왜곡 보정 영상을 선택할 수 있는 효과를 가진다.
둘째, 렌즈 정보, 패턴 정보 또는 학습된 데이터를 사용하지 않고 왜곡된 영상으로부터 추출된 특징 정보와 광학적 특성에 기반하여 보다 객관적으로 왜곡을 보정할 수 있는 효과를 가진다.
셋째, 반복적 왜곡계수 추정 및 반복적 왜곡 보정 모델을 통해 최적으로 왜곡을 보정할 수 있는 효과를 가진다.
넷째, 측정대상의 고유한 특징정보를 기초로 추정한 왜곡계수를 통해 왜곡을 보정함으로써, 일정한 성능을 유지할 수 있는 효과를 가진다.
다섯째, 기존 왜곡 보정 방법의 적용이 불가능했던 시스템에서도 적용이 가능하여 다양한 분야에 적용이 가능한 효과를 가진다.
여섯째, 360도 AR 또는 VR 카메라를 포함하여, 광역 감시 시스템 및 고급 운전자 지원 시스템 카메라 등 확장된 응용분야에 넓은 영상 시스템으로 적용하여 활용할 수 있는 효과를 가진다.
도 1은 핀홀(Pinhole) 카메라 모델을 나타낸 도면으로서 핀홀 포인트인 C가 3D 좌표에서 (0, 0, 0)에 위치한 것을 추정할 수 있는 도면.
도 2는 어안렌즈 투영 모델을 나타낸 도면.
도 3은 어안렌즈 이미지의 직교 투영 모델을 나타낸 도면.
도 4는 본 발명의 실시예에 따른 어안 렌즈 왜곡을 보정하기 위해 제안된 이미지 기반 복원 알고리즘을 나타낸 블록도.
도 5는 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 시스템을 나타낸 구성도.
도 6은 본 발명의 실시예에 따른 캘리브레이션 패턴(Calibration pattern) 기반 방법을 사용한 왜곡계수 추정 방법을 나타낸 도면.
도 7은 본 발명의 실시예에 따른 왜곡된 영상 획득 프로세스 및 일반적인 영상 복원 프레임워크에서의 보정을 나타낸 도면.
도 8은 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 방법을 나타낸 순서도.
도 9는 본 발명의 실시예에 따른 기하학적으로 왜곡된 이미지와 두 가지 다른 보정 방법으로 보정한 이미지를 나타낸 도면.
도 10은 본 발명의 실시예에 따른 캘리브레이션 패턴과 다른 거리에서 360도 FOV 카메라로 획득한 왜곡 패턴 이미지를 나타낸 도면.
도 11은 본 발명의 실시예에 따른 이상적인 패턴 이미지와 약한 왜곡이 있는 보정된 패턴 이미지 사이의 거리 간격을 나타낸 도면.
도 12는 본 발명의 실시예에 따른 기존의 보정 방법(분할 모델) 및 본 발명에서 제안된 보정 방법을 이용한 왜곡 보정 결과를 나타낸 도면.
도 13은 본 발명의 실시예에 따른 시뮬레이션된 광각렌즈 이미지와 보정된 결과 이미지의 직선 개수를 나타낸 도면.
도 14는 본 발명의 실시예에 따른 수식 14에 의한 최종 왜곡 보정 영상(
Figure pat00077
) 및 직선의 개수(
Figure pat00078
)를 나타낸 도면.
도 15는 본 발명의 실시예에 따른 Flores 방법과 본 발명의 보정 방법을 이용한 직선 검출 및 왜곡 보정 결과를 나타낸 도면.
도 16은 본 발명의 실시예에 따른 비교 실험 결과를 나타낸 도면.
도 17은 본 발명의 실시예에 따른 직선 분석 이미지로서 비왜곡된 이미지와 왜곡된 이미지 한 쌍을 나타낸 도면.
도 18은 본 발명의 실시예에 따른 다양한 획득 조건 및 장소로 왜곡된 이미지를 보정한 결과 이미지를 나타낸 도면.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. 본 발명의 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명의 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한 본 발명과 관련된 공지 기능 및 그 구성에 대한 구체적인 설명은 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 구체적인 설명을 생략하였음에 유의해야할 것이다.
도 1은 핀홀(Pinhole) 카메라 모델을 나타낸 도면으로서 핀홀 포인트인 C가 3D 좌표에서 (0, 0, 0)에 위치한 것을 추정할 수 있는 도면이고, 도 2는 어안렌즈 투영 모델을 나타낸 도면이다.
도 1 및 도 2에 도시된 바와 같이, 핀홀 카메라 모델은 핀홀 포인트를 통해 3D 공간과 2D 이미지 평면에서의 투영 사이의 관계로 정의한다. 3D 공간에서 P=(X, Y, Z)은 2D 이미지 평면인 p=(x, y)로 투영된다.
이 때 두 개의 삼각형인 PQC와 pqC가 유사하기 때문에, 투시 투영이라고 불리는 [수식 1]의 관계를 가지고 있다.
[수식 1]
Figure pat00079
이 때 P=(X, Y, Z)은 3D 공간에서의 임의의 점, p=(x, y)은 2D 이미지 평면에서의 임의의 점이다.
투시 투영은 대부분 얇은 렌즈를 가진 카메라 시스템의 이론적 기반이지만, 도 2에 도시된 바와 같이 광각 또는 어안렌즈 카메라는 물체점과 투영된 점 사이의 투영이 물체의 입사각의 비선형 함수이기 때문에 다르다.
어안렌즈에 의한 굴절된 광선은 획득된 이미지에서 곡선 형태의 배럴 왜곡을 만들고, 물체의 형태가 반경 방향으로 변형된다. 어안렌즈 투영 모델을 이해하기 위해, 투영 영역을 사용할 수 있다.
도 3은 어안렌즈 이미지의 직교 투영 모델을 나타낸 도면이다.
도 3을 참조하면, 물체 평면의 P에서 시작하는 광선은 입사각
Figure pat00080
을 가진 중심 C로 들어온다. 중심 C가 어안렌즈가 없는 핀홀일 경우, C의 이미지는 방사 거리가
Figure pat00081
인 p에서 형성된다.
반면 광선이 어안렌즈에 의해 굴절된 경우, 그 가상이미지는 투영 영역의 p'에서 형성되고, 이미지 평면에 대한 직교 투영에 따라 방사 거리
Figure pat00082
가 결정된다.
도 3은 동일한 물체와 이미지 평면을 가진 투영 영역을 사용하여 투시 및 어안렌즈 투영 모델을 직관적으로 보여준다. 도 3에 도시된 바와 같이, 어안렌즈 투영 포인트(p')는 투시 투영 방식을 따르지 않는다. 특히, p 와 p' 사이의 관계는 공간적으로 다르다.
도 3에는 공간 변형 관계를 설명하는 네 가지 투영 모델이 있다. (1) 등거투영(Equidistant), (2) 등방각투영(Equisolid), (3) 직각투영(Orthographic), (4) 입체촬영투영(Stereographic model)이다.
각 투영 모델은 중심으로부터 왜곡되지 않은 포인트와 왜곡된 포인트의 방사 거리 사이 관계를 제공하며, 이는 각각
Figure pat00083
,
Figure pat00084
로 표시된다. 입사 광선의 각도
Figure pat00085
가 투영 영역에서
Figure pat00086
을 결정하기 때문에, 입사각
Figure pat00087
의 함수는
Figure pat00088
을 결정하는 투영 매핑 함수(Projection mapping functions)를 정의할 수 있다. 도 3에서 네 가지의 투영 모델인 투영 매핑 함수는 다음 [수식 2] 내지 [수식 5]로 정의된다.
[수식 2]
등거투영(Equidistant):
Figure pat00089
[수식 3]
등방각투영(Equisolid):
Figure pat00090
[수식 4]
직각투영(Orthographic):
Figure pat00091
[수식 5]
입체촬영투영(Stereographic model):
Figure pat00092
여기서, f,
Figure pat00093
및
Figure pat00094
은 각각 왜곡 이미지(영상)에서 중심점과 투영된 점 사이의 초점 길이, 입사각, 거리를 나타낸다.
이를 기반으로 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 시스템 및 방법을 설명하면 다음과 같다.
도 4는 본 발명의 실시예에 따른 어안 렌즈 왜곡을 보정하기 위해 제안된 이미지 기반 복원 알고리즘을 나타낸 블록도이고, 도 4(a)는 특징점을 포함하는 입력 이미지에 기초한 온라인 보정 알고리즘을 나타낸 블록도이고, 도 4(b)은 특징점을 포함하는 복수의 이미지에 기초한 온라인 보정 알고리즘을 나타낸 블록도이고, 도 4(c)은 특징점을 포함하지 않는 일반적인 입력 이미지에 대해 사전 캘리브레이션(Pre-calibration)을 사용한 오프라인 보정 알고리즘을 나타낸 블록도이다.
도 4에 도시된 바와 같이, 본 발명은 입력 왜곡 영상의 특징을 이용하여 최적으로 보정된 영상을 선택하는 영상 기반 왜곡계수 추정 방법을 제안한다. 이는 (1) 왜곡 매개변수 추정 및 최적으로 보정된 이미지 선택 과정에 있어서 사전정보를 위해 미리 지정된 렌즈 매개변수 또는 특수 캘리브레이션(Calibration) 패턴을 필요로 하지 않으며, (2) 도 4와 같이 온라인 및 오프라인 보정이 모두 가능하다는 점에서 다양한 응용 환경에 적용이 가능한 이점을 가질 수 있다.
이를 보다 상세하게 설명하면 다음과 같다.
도 5는 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 시스템을 나타낸 구성도이고, 도 6은 본 발명의 실시예에 따른 캘리브레이션 패턴(Calibration pattern) 기반 방법을 사용한 왜곡계수 추정 방법을 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 왜곡된 영상 획득 프로세스 및 일반적인 영상 복원 프레임워크에서의 보정을 나타낸 도면이다.
먼저 도 5 내지 도 7을 참조하면, 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 시스템은 왜곡 영상 입력부(100), 특징점 추출부(200), 특징점 분류부(300), 왜곡계수 추정부(400) 및 영상 보정부(500)를 포함할 수 있다.
왜곡 영상 입력부(100)는 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받을 수 있다. 이는 객관적인 특징 정보를 이용하여 왜곡을 보정하기 위해 적어도 하나 이상의 측정대상을 포함하고 있는 왜곡 영상을 입력받기 위한 구성요소라 할 수 있다. 이 때 입력받는 왜곡 영상 내의 적어도 하나 이상의 측정대상은 사람일 수 있다. 한편, 왜곡 영상 입력부(100)는 어안렌즈와 같은 초광각렌즈를 통해 왜곡 영상을 입력받을 수 있다.
특징점 추출부(200)는 측정대상으로부터 각각 복수 개의 특징점을 추출할 수 있다. 이는 렌즈 정보, 패턴 정보 또는 학습된 데이터가 아닌 왜곡 영상 내의 측정대상으로부터 고유한 특징정보를 추출하기 위한 구성요소라 할 수 있다. 이 때 추출하는 복수 개의 특징점은 측정대상이 사람일 경우, 사람의 신체 왼쪽 눈의 홍채에 해당하는 눈의 중심점, 오른쪽 눈의 홍채에 해당하는 눈의 중심점, 코의 끝점, 입의 왼쪽 끝점 및 입의 오른쪽 끝점을 포함할 수 있다. 만약 측정대상인 사람이 여러 명일 경우, 추출하는 복수 개의 특징점은 사람 별로 각각 추출할 수 있다.
측정대상으로부터 특징점을 추출할 때에는 멀티-태스크 딥 캐스캐이드 콘볼루션 신경망(Multi-task deep cascaded convolutional neural network)을 이용할 수 있다.
특징점 분류부(300)는 추출된 복수 개의 특징점과 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여, 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류할 수 있다. 이는 영상의 중심으로부터 거리가 멀어질수록 왜곡 정도가 커지는 초광각 렌즈의 특성을 이용하여 왜곡대상과 비왜곡대상의 분류 기준을 마련한 것이라 할 수 있다.
영상의 중심으로부터 거리가 멀어질수록 왜곡 정도가 커지는 초광각 렌즈의 특성은 도 6을 참조하여 설명할 수 있다.
도 6은 본 발명의 실시예에 따른 캘리브레이션 패턴(Calibration pattern) 기반 방법을 사용한 왜곡계수 추정 방법을 나타낸 도면이고, 도 6(a)은 캘리브레이션 패턴(Calibration)을 나타낸 도면이고, 도 6(b)은 어안렌즈에 의해 투사된 패턴 이미지를 나타낸 도면이고, 도 6(c)은 왜곡 곡선(
Figure pat00095
대
Figure pat00096
)을 나타낸 도면이다.
도 6에 도시된 바와 같이, 패턴 기반 방법은 왜곡 곡선을 사용하여
Figure pat00097
대
Figure pat00098
관계를 나타낼 수 있다. 패턴 기반 방법은 비왜곡점과 왜곡점 한 쌍이 존재하는 경우에만 정확한 왜곡을 생성할 수 있다. 도 6(b)과 같이, 왜곡된 영상의 점들이 제한된 영역에 분포하기 때문에 전체 영상에 대한 왜곡률은 추정할 수 없다.
이 문제를 해결하기 위해, 합리적 함수 기반 왜곡 모델은 다음 [수식 6]과 같이 다항식 함수를 사용하여 왜곡점과 비왜곡점 사이의 관계를 확립할 수 있다.
[수식 6]
Figure pat00099
Figure pat00100
Figure pat00101
여기서,
Figure pat00102
,
Figure pat00103
및
Figure pat00104
은 각각 비왜곡점, 왜곡점 및 영상의 중심점의 좌표를 나타낸다. 이 때 비왜곡점은 왜곡점을
Figure pat00105
로 나눈 값으로서, 다음 [수식 7]과 같이 표현된다.
[수식 7]
Figure pat00106
왜곡계수
Figure pat00107
을 추정하면, 왜곡점은 상기 [수식 6]을 이용한 비왜곡점으로부터 계산될 수 있다.
한편, 2차 이상의 모델을 사용하여 왜곡 보정한 경우와 1차 모델을 사용하여 왜곡 보정한 경우 비교하였을 때 개선효과가 적었기 때문에, 연산량이 적은 1차의 [수식 6]에서 주어진 왜곡 모델
Figure pat00108
을 사용할 수 있다. 이 때 어안렌즈의 모델링은 이 작업의 범위가 아니기 때문에, 다른 왜곡 모델의 정확도에 대한 추가 분석을 진행하지 않았다.
도 6(c)을 참조하면, 왜곡량은 영상의 중심에서 가장 적게 나타나는데, 이는 중심에서 멀어질수록 기하급수적으로 증가하는 것이 나타난다. 이러한 이유로, 본 발명에서는 적어도 하나 이상의 측정대상으로부터 추출된 복수 개의 특징점을 입력된 왜곡 영상의 중심점 사이의 거리 값 비교를 통해 왜곡대상 및 비왜곡대상의 분류 기준을 마련할 수 있다. 이 때 왜곡량은 왜곡 정도를 나타내는 것이라 할 수 있다.
한편, 특징점 분류부(300)는 다음 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따라 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류할 수 있다.
[수식 8]
Figure pat00109
(
Figure pat00110
: 비왜곡대상,
Figure pat00111
: 왜곡 영상의 중심점과 최소 거리에 위치한 측정대상,
Figure pat00112
: 측정대상의 개수,
Figure pat00113
: 측정대상으로부터 추출한 복수 개의 특징점의 평균점,
Figure pat00114
로서 입력된 왜곡 영상의 중심점)
[수식 9]
Figure pat00115
(
Figure pat00116
: 측정대상의 특징점,
Figure pat00117
: 복수 개 특징점의 평균점,
Figure pat00118
: 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00119
: 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00120
: 코의 끝점,
Figure pat00121
: 입의 왼쪽 끝점,
Figure pat00122
: 입의 오른쪽 끝점)
Figure pat00123
가 측정대상의 개수라 할 때,
Figure pat00124
이고,
Figure pat00125
은 측정대상으로부터 추출된 복수 개의 특징점들의 집합이라 할 수 있다.
보다 상세하게 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따른 왜곡대상과 비왜곡대상의 분류는 입력된 왜곡 영상 내의 여러 측정대상 중 입력된 왜곡 영상의 중심점과 가장 가까운 측정대상이 비왜곡대상이며, 그 외에 측정대상은 모두 왜곡대상이라 판단할 수 있다.
이 때
Figure pat00126
은
Figure pat00127
: 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00128
: 오른쪽 눈의 홍채에 해당하는 눈의 중심,
Figure pat00129
: 코의 끝점,
Figure pat00130
: 입의 왼쪽 끝점,
Figure pat00131
: 입의 오른쪽 끝점을 포함할 수 있다.
그리고
Figure pat00132
은 복수 개 특징점의 평균점이라 할 수 있다.
한편, 본 발명의 수식에서 특정한 점(비왜곡점, 왜곡점, 중심점 등)은 모두 좌표점이라 할 수 있다.
왜곡계수 추정부(400)는 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정할 수 있다. 이는 왜곡량을 결정하는 데에 중요한 요소인 표준편차를 이용하여 왜곡계수를 추정하는 구성요소라 할 수 있다.
한편 왜곡계수 추정부(400)는 다음 수식 10으로 표현되는 왜곡계수 산출식에 따라 추정하고자 하는 왜곡계수를 추정할 수 있다.
[수식 10]
Figure pat00133
(
Figure pat00134
: j번째 추정된 왜곡계수,
Figure pat00135
: 측정대상의 개수,
Figure pat00136
: 왜곡대상의 특징점들의 표준편차,
Figure pat00137
: 비왜곡대상의 특징점들의 표준편차)
도 6(b)에 도시된 바와 같이, 영상의 중심과 거리가 멀어질수록 측정대상의 특징점들은 서로 가까워지게 된다. 이에 왜곡대상과 비왜곡대상의 특징점들의 표준편차는 영상의 중심에서 멀어질수록 더 작아지게 된다. 이러한 추측을 바탕으로 왜곡대상과 비왜곡대상의 표준편차는 왜곡량을 결정하는 중요한 요소라 할 수 있다.
영상 보정부(500)는 추정된 왜곡계수를 기초로 입력된 왜곡 영상을 보정할 수 있다. 이는 왜곡량 등이 고려되어 추정된 왜곡계수를 기초로 보정 정도를 정확하게 파악하여 왜곡된 영상을 최적으로 보정하기 위한 구성요소라 할 수 있다.
다만 렌즈 왜곡은 공간 가변적이기 때문에 왜곡이 발생하는 과정에서 영상정보손실이 발생하기 때문에, 반복적 영상 보정을 통해 복수 개의 영상을 출력하여 최적의 보정 영상을 선택하는 과정이 추가로 필요할 수 있다.
한편, 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 시스템은 반복 보정부(600) 및 최종 보정 영상 선택부(700)를 더 포함할 수 있다.
반복 보정부(600)는 보정된 영상이 기 설정된 조건을 만족할 때까지 왜곡계수를 반복적으로 추정하고 보정된 영상을 반복 보정하여 적어도 하나 이상의 반복 보정 영상을 출력할 수 있다. 이는 최적으로 보정된 영상을 선택하기 위해, 반복적으로 왜곡계수를 추정하고 이에 기반하여 반복적으로 왜곡 보정 모델 수행을 통하여 후보 영상들을 다수 출력하기 위한 구성요소라고 할 수 있다.
한편 반복 보정부(600)는 다음 수식 11 및 수식 12로 표현되는 반복 보정식에 따라 보정된 영상을 반복 보정할 수 있다.
[수식 11]
Figure pat00138
(
Figure pat00139
: j+1번째 보정 영상,
Figure pat00140
: j번째 추정된 왜곡계수,
Figure pat00141
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점 사이의 거리값,
Figure pat00142
: j번째 보정 영상,
Figure pat00143
: 반복 횟수)
[수식 12]
Figure pat00144
(
Figure pat00145
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점과의 거리값,
Figure pat00146
및
Figure pat00147
: j번째 왜곡 보정된 영상의 가로 및 세로 좌표값,
Figure pat00148
및
Figure pat00149
: 왜곡 영상의 중심점의 좌표값)
최종 보정 영상 선택부(700)는 출력된 적어도 하나 이상의 영상으로부터 직선 개수 및 길이를 포함하는 직선 정보를 검출하여 이에 기초한 최종 보정 영상을 선택할 수 있다. 이는 기하학적 왜곡에 광학 특성을 사용하여 최적의 보정 영상을 선택하기 위한 구성요소라 할 수 있다.
보다 상세하게 본 발명의 보정 알고리즘은 영상 복원의 일반적인 프레임워크에서 고려될 수 있다. 다시 말해, 왜곡 영상은 이상적인 비왜곡 장면의 저하된 버전으로 간주되며, 보정된 이미지는 이 작업의 왜곡 보정 단계인 영상 복원 과정을 사용하여 이상적인 장면을 추정한 것이다. 이 때 영상 복원 프레임워크는 도 7과 같다.
여기서,
Figure pat00150
은 이상적인 비왜곡 장면이고,
Figure pat00151
은 어안렌즈에 의해 획득된 왜곡 영상,
Figure pat00152
은 왜곡 영상을 보정하여 추정된 영상이다.
이상적인 경우, 보정된 영상은 다음 [수식 13]으로 표현되는 이상적인 영상 산출과 동일해야한다.
[수식 13]
Figure pat00153
여기서,
Figure pat00154
은 이상적인 비왜곡 장면이고,
Figure pat00155
은 왜곡 영상을 보정하여 추정된 영상이다.
다만 렌즈 왜곡은 공간적으로 변형된 변환으로서 단일 영상 성능 저하 작업을 사용하여 정확하게 모델링할 수 없기 때문에, 실제로 상기 [수식 13]은 만족될 수 없다. 이에 [수식 13]에서 이미지를 비교하는 비용 함수 대신, [수식 11]에서 계산된 여러 반복 작업을 통해 출력된 적어도 하나 이상의 반복 보정 영상 중 최적으로 보정된 영상을 선택한다. 선택 과정에서 기하학적 왜곡에 견고한 광학 특성을 사용한다.
보다 상세하게 3D 공간을 2D 영상으로 투영하는 프로세스에서는 직선이 렌즈의 반경 방향 왜곡에 의해 굴곡되어 곡선이 된다. 이에 보정 과정은 곡선을 가능한 한 일직선으로 만들어야 하기 때문에, 직선 정보를 기초로 최종 보정 영상을 선택할 수 있다.
다만 직선 정보만을 조건으로 하여 최적의 보정 영상을 선택하면, 왜곡 중심으로 향하는 라인이 과하게 보정되기 때문에, 최종 보정 영상 선택부(700)는 j번째 반복 보정된 영상에서 모든 직선 길이의 총합인
Figure pat00156
와 j번째 반복 보정된 영상에서 추출된 직선의 개수인 |
Figure pat00157
|을 포함한 다음 수식 14로 표현되는 비용함수를 만족하는 최종 보정 영상을 선택할 수 있다. 한편, 다음 수식 14는 반복 보정부(600)에서의 기 설정된 조건이라 할 수 있다.
[수식 14]
Figure pat00158
(
Figure pat00159
: 최종 왜곡 보정 영상,
Figure pat00160
: j*번째 최종 왜곡 보정 영상 ,
Figure pat00161
: j번째 반복 보정된 영상에서 모든 직선 길이의 총합,
Figure pat00162
: j번째 반복 보정된 영상에서 추출된 직선의 집합,
Figure pat00163
: j번째 반복 보정된 영상에 대한 특징점들의 표준편차, |
Figure pat00164
|: 집합의 원소 개수)
상기 수식 14를 사용하여 선택된 최종 보정 영상은 특징점과 직선 정보의 결합을 사용하여 영상 내 직선이 왜곡 중심을 향하는 직선인 경우 과다 보정 되는 문제를 극복할 수 있다.
도 8은 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 방법을 나타낸 순서도이다.
도 8을 참조하면, 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 방법은 왜곡 영상 입력단계(S100), 특징점 추출단계(S200), 특징점 분류단계(S300), 왜곡계수 추정단계(S400) 및 영상 보정단계(S500)를 포함할 수 있다.
왜곡 영상 입력단계(S100)는 왜곡 영상 입력부(100)에서 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받을 수 있다. 이는 객관적인 특징 정보를 이용하여 왜곡을 보정하기 위해 적어도 하나 이상의 측정대상을 포함하고 있는 왜곡 영상을 입력받기 위한 단계라 할 수 있다. 이 때 입력받는 왜곡 영상 내의 적어도 하나 이상의 측정대상은 사람일 수 있다. 한편, 왜곡 영상 입력단계(S100)는 어안렌즈와 같은 초광각렌즈를 통해 왜곡 영상을 입력받을 수 있다.
특징점 추출단계(S200)는 특징점 추출부(200)에서 측정대상으로부터 각각 복수 개의 특징점을 추출할 수 있다. 이는 렌즈 정보, 패턴 정보 또는 학습된 데이터가 아닌 왜곡 영상 내의 측정대상으로부터 고유한 특징정보를 추출하기 위한 단계라 할 수 있다. 이 때 추출하는 복수 개의 특징점은 측정대상이 사람일 경우, 사람의 신체 왼쪽 눈의 홍채에 해당하는 눈의 중심점, 오른쪽 눈의 홍채에 해당하는 눈의 중심점, 코의 끝점, 입의 왼쪽 끝점 및 입의 오른쪽 끝점을 포함할 수 있다. 만약 측정대상인 사람이 여러 명일 경우, 추출하는 복수 개의 특징점은 사람 별로 각각 추출할 수 있다.
측정대상으로부터 특징점을 추출할 때에는 멀티-태스크 딥 캐스캐이드 콘볼루션 신경망(Multi-task deep cascaded convolutional neural network)을 이용할 수 있다.
특징점 분류단계(S300)는 특징점 분류부(300)에서 추출된 복수 개의 특징점과 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여, 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류할 수 있다. 이는 영상의 중심으로부터 거리가 멀어질수록 왜곡 정도가 커지는 초광각 렌즈의 특성을 이용하여 왜곡대상과 비왜곡대상의 분류 기준을 마련한 것이라 할 수 있다.
한편, 특징점 분류단계(S300)는 다음 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따라 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류할 수 있다.
[수식 8]
Figure pat00165
(
Figure pat00166
: 비왜곡대상,
Figure pat00167
: 왜곡 영상의 중심점과 최소 거리에 위치한 측정대상,
Figure pat00168
: 측정대상의 개수,
Figure pat00169
: 측정대상으로부터 추출한 복수 개의 특징점의 평균점,
Figure pat00170
로서 입력된 왜곡 영상의 중심점)
[수식 9]
Figure pat00171
(
Figure pat00172
: 측정대상의 특징점,
Figure pat00173
: 복수 개 특징점의 평균점,
Figure pat00174
: 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00175
: 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00176
: 코의 끝점,
Figure pat00177
: 입의 왼쪽 끝점,
Figure pat00178
: 입의 오른쪽 끝점)
Figure pat00179
가 측정대상의 개수라 할 때,
Figure pat00180
이고,
Figure pat00181
은 측정대상으로부터 추출된 복수 개의 특징점들의 집합이라 할 수 있다.
보다 상세하게 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따른 왜곡대상과 비왜곡대상의 분류는 입력된 왜곡 영상 내의 여러 측정대상 중 입력된 왜곡 영상의 중심점과 가장 가까운 측정대상이 비왜곡대상이며, 그 외에 측정대상은 모두 왜곡대상이라 판단할 수 있다.
이 때
Figure pat00182
은
Figure pat00183
: 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00184
: 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
Figure pat00185
: 코의 끝점,
Figure pat00186
: 입의 왼쪽 끝점,
Figure pat00187
: 입의 오른쪽 끝점을 포함할 수 있다.
그리고
Figure pat00188
은 복수 개 특징점의 평균점이라 할 수 있다.
한편, 본 발명에서 설명하는 수식에서 특정한 점(비왜곡점, 왜곡점, 중심점 등)은 모두 좌표점이라 할 수 있다.
왜곡계수 추정단계(S400)는 왜곡계수 추정부(400)에서 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정할 수 있다. 이는 왜곡량을 결정하는 데에 중요한 요소인 표준편차를 이용하여 왜곡계수를 추정하는 단계라 할 수 있다.
한편 왜곡계수 추정단계(S400)는 다음 수식 10으로 표현되는 왜곡계수 산출식에 따라 추정하고자 하는 왜곡계수를 추정할 수 있다.
[수식 10]
Figure pat00189
(
Figure pat00190
: j번째 추정된 왜곡계수,
Figure pat00191
: 측정대상의 개수,
Figure pat00192
: 왜곡대상의 특징점들의 표준편차,
Figure pat00193
: 비왜곡대상의 특징점들의 표준편차)
영상 보정단계(S500)는 영상 보정부(500)에서 추정된 왜곡계수를 기초로 입력된 왜곡 영상을 보정할 수 있다. 이는 왜곡량 등이 고려되어 추정된 왜곡계수를 기초로 보정 정도를 정확하게 파악하여 왜곡된 영상을 최적으로 보정하기 위한 구성요소라 할 수 있다.
다만 렌즈 왜곡은 공간가변적이기 때문에 왜곡이 발생하는 과정에서 영상정보손실이 발생하기 때문에, 반복적 영상 보정을 통해 복수 개의 영상을 출력하여 최적의 보정 영상을 선택하는 단계가 추가로 필요할 수 있다.
한편, 본 발명의 실시예에 따른 왜곡계수 추정을 통한 영상 보정 방법은 반복 보정단계(S600) 및 최종 보정 영상 선택단계(S700)를 더 포함할 수 있다.
반복 보정단계(S600)는 반복 보정부(600)에서 보정된 영상이 기 설정된 조건을 만족할 때까지 왜곡계수를 반복적으로 추정하고 보정된 영상을 반복 보정하여 적어도 하나 이상의 반복 보정 영상을 출력할 수 있다. 이는 최적으로 보정된 영상을 선택하기 위해, 반복적으로 왜곡계수를 추정하고 이에 기반하여 반복적으로 왜곡 보정 모델 수행을 통하여 후보 영상들을 다수 출력하기 위한 단계라 할 수 있다.
한편 반복 보정단계(S600)는 다음 수식 11 및 수식 12로 표현되는 반복 보정식에 따라 보정된 영상을 반복 보정할 수 있다.
[수식 11]
Figure pat00194
(
Figure pat00195
: j+1번째 보정 영상,
Figure pat00196
: j번째 추정된 왜곡계수,
Figure pat00197
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점 사이의 거리값,
Figure pat00198
: j번째 보정 영상,
Figure pat00199
: 반복 횟수)
[수식 12]
Figure pat00200
(
Figure pat00201
: j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점과의 거리값,
Figure pat00202
및
Figure pat00203
: j번째 왜곡 보정된 영상의 가로 및 세로 좌표값,
Figure pat00204
및
Figure pat00205
: 왜곡 영상의 중심점의 좌표값)
최종 보정 영상 선택단계(S700)는 최종 보정 영상 선택부(700)에서 출력된 적어도 하나 이상의 영상으로부터 직선 개수 및 길이를 포함하는 직선 정보를 검출하여 이에 기초한 최종 보정 영상을 선택할 수 있다. 이는 기하학적 왜곡에 광학 특성을 사용하여 최적의 보정 영상을 선택하기 위한 구성요소라 할 수 있다.
보다 상세하게 3D 공간을 2D 영상으로 투영하는 프로세스에서는 직선이 렌즈의 반경 방향 왜곡에 의해 굴곡되어 곡선이 된다. 이에 보정 과정은 곡선을 가능한 한 일직선으로 만들어야 하기 때문에, 직선 정보를 기초로 최종 보정 영상을 선택할 수 있다.
다만 직선 정보만을 조건으로 하여 최적의 보정 영상을 선택하면, 왜곡 중심으로 향하는 라인이 과하게 보정되기 때문에, 최종 보정 영상 선택단계(S700)에서는 j번째 반복 보정된 영상에서 모든 직선 길이의 총합인
Figure pat00206
와 j번째 반복 보정된 영상에서 추출된 직선의 개수인 |
Figure pat00207
|을 포함한 다음 수식 14로 표현되는 비용함수를 만족하는 최종 보정 영상을 선택할 수 있다. 한편, 다음 수식 14는 반복 보정단계(S600)에서의 기 설정된 조건이라 할 수 있다.
[수식 14]
Figure pat00208
(
Figure pat00209
: 최종 왜곡 보정 영상,
Figure pat00210
: j*번째 최종 왜곡 보정 영상 ,
Figure pat00211
: j번째 반복 보정된 영상에서 모든 직선 길이의 총합,
Figure pat00212
: j번째 반복 보정된 영상에서 추출된 직선의 집합,
Figure pat00213
: j번째 반복 보정된 영상에 대한 특징점들의 표준편차, |
Figure pat00214
|: 집합의 원소 개수)
상기 수식 14를 사용하여 선택된 최종 보정 영상은 특징점과 직선 정보의 결합을 사용하여 영상 내 직선이 왜곡 중심을 향하는 직선인 경우 과다 보정 되는 문제를 극복할 수 있다.
도 9는 본 발명의 실시예에 따른 기하학적으로 왜곡된 이미지와 두 가지 다른 보정 방법으로 보정한 이미지를 나타낸 도면이고, 도 9(a)는 입력된 왜곡 이미지, 도 9(b)는 기존 보정 방법인 패턴 기반 방법으로 보정한 이미지, 도 9(c)는 본 발명에서 제안된 보정 방법으로 보정된 이미지를 나타낸 도면이다.
도 10은 본 발명의 실시예에 따른 캘리브레이션 패턴과 다른 거리에서 360도 FOV 카메라로 획득한 왜곡 패턴 이미지를 나타낸 도면이고, 도 11은 본 발명의 실시예에 따른 이상적인 패턴 이미지와 약한 왜곡이 있는 보정된 패턴 이미지 사이의 거리 간격을 나타낸 도면이다. 이 때 도 11(a)은 이상적인 패턴 이미지, 도 11(b)는 왜곡 보정 패턴 이미지를 나타낸 도면이다.
먼저 도 9(a)를 참조하면, 입력된 왜곡 이미지는 360도 FOV를 가진 카메라를 사용하여 획득된 이미지로서, 획득된 이미지로부터 왜곡계수를 추정하여 왜곡된 이미지를 보정하였다. 그리고 도 9(b)에 도시된 바와 같이, 기존 보정 방법인 패턴 기반 방법은 왜곡률 추정을 위한 캘리브레이션 패턴 포인트의 수가 충분하지 않기 때문에, 부정확하게 캘리브레이션된 결과를 산출한다. 반면 도 9(c)에 도시된 바와 같이 본 발명에서 제안된 보정 방법은 이미지의 왜곡을 정확하게 제거할 수 있다. 한편, 도 9(b) 및 도 9(c)에서 수직으로 정렬된 점들을 포함하는 영역은 비교를 위해 확대한 것이다.
도 10을 참조하면, 보정 포인트가 이미지 중심 근처에서만 존재하고, 주변 영역에서의 캘리브레이션에 대한 특징이 없기 때문에, 캘리브레이션 패턴 기반 보정 방법의 성능이 제한된다.
보다 객관적인 평가를 위해, 본 발명에서 제안된 보정 방법은 기하학적 왜곡을 보정하는 성능을 평가하기 위한 새로운 측정 기준인 거리 비(Ratio)를 제안한다. 보다 구체적으로 본 발명에서 제안된 보정 방법은 수평 방향, 수직 방향 및 대각선 방향을 포함하는 3개의 방향 거리 비를 각각 정의하며, 이는 다음 [수식 15]와 같다.
[수식 15]
Figure pat00215
여기서
Figure pat00216
및
Figure pat00217
은 각각 비왜곡 이미지 및 보정된 이미지가 2개의 수평으로 인접한 포인트 사이의 거리를 나타낸다.
Figure pat00218
은 수평 방향의 거리 비,
Figure pat00219
은 수직 방향의 거리 비,
Figure pat00220
은 대각선 방향의 거리 비를 나타낸다.
수직 및 대각선의 대응관계는 도 11에 도시된 방식으로 정의된다. 제안된 거리 비는 왜곡 패턴의 점들 사이의 거리가 이상적인 캘리브레이션 패턴보다 작아지는 점에 기초하여 정의될 수 있다. 만약 보정 결과가 이상적인 패턴과 동일할 경우, 거리의 비는 1에 가깝다.
이와 관련하여 [표 1]은 거리 비를 사용하여 기존 보정 방법인 캘리브레이션 패턴 기반 방법(The calibration pattern-based method)과 본 발명에서 제안된 보정 방법(The proposed method)의 성능을 비교한 표이다.
[표 1]
Figure pat00221
[표 1]은 상기 도 9(b) 및 도 9(c)의 예상 거리 비율을 보여준다. 표 1을 참조하면, 본 발명에서 제안된 보정 방법(The proposed method)은 기존 보정 방법인 캘리브레이션 패턴 기반 방법(The calibration pattern-based method) 대비 세 가지 비율이 모두 1에 가까운 것을 확인할 수 있다.
본 발명에서 제안된 방법은 왜곡 영상의 특징점(FLPs: facial landmark points)을 사용하여 왜곡계수를 추정한 후, 추정된 왜곡계수를 사용하여 왜곡을 보정한다.
도 12는 본 발명의 실시예에 따른 기존의 보정 방법(분할 모델) 및 본 발명에서 제안된 보정 방법을 이용한 왜곡 보정 결과를 나타낸 도면이다. 이 때 도 12(a)는 입력된 왜곡 이미지, 도 12(b) 내지 도 12(d)는 각각 왜곡계수 k=0.2, k=0.26, k=0.3을 가진 기존의 보정 방법(분할 모델)을 사용하여 보정된 결과를 나타낸 도면이고, 도 12(e) 내지 도 12(g)는 다양한 반복 단계에서 본 발명의 보정 방법을 사용한 결과를 나타낸 도면이고, 도 12(h)는 본 발명의 보정 방법을 이용하여 다양한 반복 단계를 통해 출력된 반복 보정 영상 중 선택된 최적의 보정 영상을 나타낸 도면이다.
도 12를 참조하면, 본 발명에서 제안된 방법은 과다 보정의 최소화와 전반적으로 주관적인 이미지 품질이 향상되었다는 점에서 기존의 보정 방법(분할 모델) 대비 우수한 성능을 가진다는 것을 확인할 수 있다.
보다 구체적으로, 도 12의 제1행(도 12(a) 내지 도 12(d))은 입력된 왜곡 이미지와, k=0.2, k=0.26, k=0.3을 포함하여 무작위로 선택된 왜곡계수를 사용하여 보정된 3가지 상이한 보정 결과 이미지를 나타낸 도면이다. 도 12의 제2행(도 12(e) 내지 도 12(h))은 최적의 보정 결과를 포함하는 본 발명의 보정 방법 결과 이미지를 나타낸 도면이다.
도 12(a)에 도시된 바와 같이, 광각렌즈 왜곡은 적색 화살표로 표시되는 것과 같이 반경 방향을 따라 바깥쪽으로 선을 구부리는 경향이 있다. 다만 보정을 하면 도 12(d)와 같이, 반경 방향을 따라 선이 안쪽으로 구부러지는 경향이 있다. 이와 관련하여 기존 방법은 도 12(e) 내지 도 12(h) 중에서 최적으로 수정된 결과 이미지를 선택하는 것이 쉽지 않다.
반면 본 발명에서 제안된 방법은 적절하게 추정된 왜곡계수를 사용함으로써, 왜곡을 자동으로 보정할 수 있다. 또한 특징점(FLPs) 및 직선 분석을 사용하여 최적으로 보정된 솔루션을 선택하여 과다 보정 등 보정으로 인해 발생하는 한계점을 보완할 수 있다.
도 13은 본 발명의 실시예에 따른 시뮬레이션된 광각렌즈 이미지와 보정된 결과 이미지의 직선 개수를 나타낸 도면이며, 도 13(a)은 이상적인 이미지, 도 13(b)은 왜곡된 이미지, 도 13(c)은 적절하게 보정된 이미지, 도 13(d)은 과다 보정된 이미지, 도 13(e)은 도 13(a) 내지 도 13(d)에서의 직선 개수를 나타낸 도면이다.
도 14는 본 발명의 실시예에 따른 수식 14에 의한 최종 왜곡 보정 영상(
Figure pat00222
) 및 직선의 개수(
Figure pat00223
)를 나타낸 도면이고, 도 14(a)는 입력된 왜곡 이미지, 도 14(b)는 최종 보정 이미지, 도 14(c)는 직선의 개수(
Figure pat00224
) 대비 반복 횟수, 도 14(d)는 왜곡 보정된 영상에서 계산된 비용함수 결과 값(
Figure pat00225
) 대비 반복 횟수를 나타낸 도면이다.
본 발명에서 제안된 보정 방법은 최적화된 보정 영상을 선택하기 위해 직선이 곡선으로 변형이 되는 광각렌즈의 특성을 이용한다.
먼저 도 13(a)에 도시된 바와 같이, 직선의 수를 평가하기 위해 벽돌 이미지를 선택한다. 만약 직선이 구부러지면, 이의 결과로 나타나는 커브는 여러 개의 작은 직선으로 나뉘게 된다. 이러한 이유로 더 많은 이미지가 왜곡될수록 더 많은 수의 직선이 생성되는 것이다. 반면, 적절하게 보정된 이미지는 도 13(e)에 도시된 바와 같이 왜곡된 이미지 및 과다 보정된 이미지보다 적은 수의 직선이 생성된다.
도 14(c)와 도 14(d)를 비교하여 살펴보면, 추출된 직선의 개수(
Figure pat00226
)와 왜곡 보정된 영상에서 계산된 비용함수 결과 값(
Figure pat00227
) 모두 18번째 반복에서 최소값이 나타난다. 즉 왜곡 영상에서의 직선 정보는 최적으로 보정된 영상을 선택하는 주요 요인이 될 수 있다.
이와 같이 직선 정보는 최적으로 보정된 영상을 선택하는 주요 요인이기 때문에, 적절한 직선 검출 방법을 선택하는 것 또한 중요하다. 이와 관련하여 Flores 방법은 최근 기하학적 왜곡을 보정하기 위한 직선 검출 방법이지만, 이는 직선 검출 정확도를 떨어뜨리는 왜곡 효과를 고려하지 않았다. 이를 보다 구체적으로 설명하면 다음과 같다.
도 15는 본 발명의 실시예에 따른 Flores 방법과 본 발명의 보정 방법을 이용한 직선 검출 및 왜곡 보정 결과를 나타낸 도면이다. 그 중 도 15(a)는 입력된 왜곡 이미지, 도 15(b)는 Flores 방법을 이용하여 직선을 검출한 이미지, 도 15(c)는 본 발명의 보정 방법을 이용하여 직선을 검출한 이미지, 도 15(d)는 Flores 방법을 이용하여 보정된 이미지, 도 15(e)는 본 발명의 보정 방법을 이용하여 보정된 이미지를 나타낸 도면이다.
도 15(b) 및 도 15(c)를 참조하면, 본 발명의 보정 방법에서 직선 검출 정확도는 Flores 방법보다 높다. 뿐만 아니라, 도 15(e)를 참조하면, 왜곡된 이미지 내에서의 곡선(구부러진 선)은 본 발명의 보정 방법을 통해 직선이 되는 것을 확인할 수 있다. 반면, 도 15(d)에 도시된 바와 같이 Flores 방법은 곡선을 완전히 직선으로 만들 수 없는 것을 확인할 수 있다.
도 16은 본 발명의 실시예에 따른 비교 실험 결과를 나타낸 도면이며, 도 16(a)은 입력된 왜곡 이미지, 도 16(b)은 Cho의 보정 방법을 사용하여 보정된 결과 이미지, 도 16(c)은 본 발명에서 제안된 보정 방법을 사용하여 보정된 결과 이미지를 나타낸 도면이다.
도 16을 참조하면, 본 발명에서 제안된 보정 방법을 Cho의 보정 방법과 비교하여 왜곡 보정의 정확도를 평가할 수 있다. Cho의 보정 방법은 특징점(FLPs)을 사용하여 렌즈 왜곡을 보정하는 반면, 본 발명에서 제안된 보정 방법은 특징점(FLPs) 및 직선과 같은 2가지 특징을 사용한다. 이는 두 결과의 주관적이고 객관적인 검증을 위해 새로운 수치 왜곡 측정 방법을 제안한다. 이 때 수치 측정의 기초는 3D 현실 세계의 직선이 광학적 투영 이론에 기반한 비왜곡 이미지에서 직선이어야 한다는 것이다.
도 16에 도시된 바와 같이, 본 발명에서 제안된 보정 방법은 왜곡 효과를 완전하게 제거할 수 있다. 반면, Cho의 방법의 결과로 빨간 화살표로 표시된 천장과 벽의 조인트에는 왜곡이 여전히 남아있다.
Cho의 방법은 추정된 왜곡 계수와 이전에 추정된 왜곡 계수간의 차이 값을 사전에 정의한 임계값보다 적을 때까지 수행한다.영상 크기에 따라 임계값이 유동적이기 때문에 왜곡 보정의 정확성이 낮아진다.
도 17은 본 발명의 실시예에 따른 직선 분석 이미지로서 비왜곡된 이미지와 왜곡된 이미지 한 쌍을 나타낸 도면이며, 도 17(a)은 이상적인(비왜곡) 직선, 도 17(b)은 왜곡된 이미지에서 선을 나타낸 도면이다.
보다 상세하게 도 17을 참조하면, 비왜곡된 이미지에서의 직선은 왜곡된 이미지에서 곡선으로 변형된다. 각각의 선는 2개의 라인으로 특징지어지며, 2개의 라인 관계는
Figure pat00228
로 표시되는 왜곡률로 결정된다. 이 때 왜곡률
Figure pat00229
은 다음 [수식 16]으로 표현할 수 있다.
[수식 16]
Figure pat00230
여기서 L,
Figure pat00231
및 H은 각각 주황색, 파란색 및 녹색선 한 쌍의 거리를 나타낸다. 왜곡이 없는 이미지에서 2H은 L+
Figure pat00232
와 같다. 이에 왜곡률은 0이 된다.
[표 2]는 Cho의 보정방법(Cho‘s method)과 본 발명에서 제안된 보정방법(The proposed method)(도 16)을 사용하여 수정된 결과의 왜곡률을 비교한 표이다.
[표 2]
Figure pat00233
표 2를 참조하면, 본 발명에서 제안된 보정방법(The proposed method)의 왜곡률은 Cho의 보정방법(Cho‘s method)의 왜곡률보다 낮다(표 2의 Figure 14(a) 결과 참조). 두 번째 테스트 이미지는 카메라의 기울기 각도가 다르기 때문에, 첫 번째 이미지보다 왜곡률이 더 낮다(표 2의 Figure 14(b) 결과 참조).
도 18은 본 발명의 실시예에 따른 다양한 획득 조건 및 장소로 왜곡된 이미지를 보정한 결과 이미지를 나타낸 도면이며, 도 18(a)은 입력된 왜곡 이미지, 도 18(b)은 도 18(a)의 왜곡 보정 결과 이미지를 나타낸 도면이다.
도 18을 참조하면, 본 발명에서 제안된 보정방법이 다양한 실제 응용환경에 적용될 수 있다는 것을 검증할 수 있다. 이는 앞서 도 4에서 언급한 바와 같이, 본 발명에서 제안된 보정방법이 온라인 및 오프라인 보정이 모두 가능하다는 결과를 보여주는 도면이라 할 수 있다.
도 18에 도시된 바와 같이, 사람의 얼굴이 없는 테스트 이미지는 여러 깊이가 포함된 실제 환경에서 획득될 수 있다. 그리고 획득된 테스트 이미지의 왜곡을 보정하기 위해, 도 16에서 사용된 것과 같은 동일한 보정 절차를 적용할 수 있다. 그 결과, 도 18에 도시된 바와 같이 본 발명에서 제안된 보정방법이 깊이 시차 아티팩트(Depth parallax artifact)가 없는 기하학적 왜곡을 성공적으로 보정한 결과를 확인할 수 있다.
한편 본 명세서 및 청구범위 등에서 설명되는 이미지, 영상이라는 단어는 용어의 개념 및 도면에 도시된 바를 적절하게 설명하기 위한 것으로서, Image라는 동일한 단어 및 의미로 해석할 수 있다.
이상에서 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정들도 본 발명의 범위에 속하는 것으로 간주되어야할 것이다.
100 : 왜곡 영상 입력부 200 : 특징점 추출부
300 : 특징점 분류부 400 : 왜곡계수 추정부
500 : 영상 보정부 600 : 반복보정부
700 : 최종 보정 영상 선택부

Claims (14)

  1. 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받는 왜곡 영상 입력부;
    상기 측정대상으로부터 각각 복수 개의 특징점을 추출하는 특징점 추출부;
    상기 추출된 복수 개의 특징점과 상기 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여, 상기 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류하는 특징점 분류부;
    상기 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정하는 왜곡계수 추정부; 및
    상기 추정된 왜곡계수를 기초로 상기 입력된 왜곡 영상을 보정하는 영상 보정부;를 포함하는 왜곡계수 추정을 통한 영상 보정 시스템.
  2. 제 1 항에 있어서,
    상기 보정된 영상이 기 설정된 조건을 만족할 때까지 상기 왜곡계수를 반복적으로 추정하고 상기 보정된 영상을 반복 보정하여 적어도 하나 이상의 반복 보정 영상을 출력하는 반복 보정부; 및
    상기 출력된 적어도 하나 이상의 영상으로부터 직선 개수 및 길이를 포함하는 직선 정보를 검출하여 이에 기초한 최종 보정 영상을 선택하는 최종 보정 영상 선택부;를 더 포함하는 왜곡계수 추정을 통한 영상 보정 시스템.
  3. 제 1 항에 있어서,
    상기 적어도 하나 이상의 측정대상은 사람이며,
    상기 복수 개의 특징점은 상기 사람의 신체 왼쪽 눈의 홍채에 해당하는 눈의 중심점, 오른쪽 눈의 홍채에 해당하는 눈의 중심점, 코의 끝점, 입의 왼쪽 끝점 및 입의 오른쪽 끝점을 포함하는 왜곡계수 추정을 통한 영상 보정 시스템.
  4. 제 3 항에 있어서, 상기 특징점 분류부는,
    다음 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따라 상기 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류하는 왜곡계수 추정을 통한 영상 보정 시스템.
    [수식 8]
    Figure pat00234

    (
    Figure pat00235
    : 비왜곡대상,
    Figure pat00236
    : 왜곡 영상의 중심점과 최소 거리에 위치한 측정대상,
    Figure pat00237
    : 측정대상의 개수,
    Figure pat00238
    : 측정대상으로부터 추출한 복수 개의 특징점의 평균점,
    Figure pat00239
    로서 입력된 왜곡 영상의 중심점)
    [수식 9]
    Figure pat00240

    (
    Figure pat00241
    : 측정대상의 특징점,
    Figure pat00242
    : 복수 개 특징점의 평균점,
    Figure pat00243
    : 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
    Figure pat00244
    : 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
    Figure pat00245
    : 코의 끝점,
    Figure pat00246
    : 입의 왼쪽 끝점,
    Figure pat00247
    : 입의 오른쪽 끝점)
  5. 제 1 항에 있어서, 상기 왜곡계수 추정부는,
    다음 수식 10로 표현되는 왜곡계수 산출식에 따라 추정하고자 하는 왜곡계수를 산출하는 왜곡계수 추정을 통한 영상 보정 시스템.
    [수식 10]
    Figure pat00248

    (
    Figure pat00249
    : j번째 추정된 왜곡계수,
    Figure pat00250
    : 측정대상의 개수,
    Figure pat00251
    : 왜곡대상의 특징점들의 표준편차,
    Figure pat00252
    : 비왜곡대상의 특징점들의 표준편차)
  6. 제 1 항에 있어서, 상기 반복 보정부는,
    다음 수식 11 및 수식 12로 표현되는 반복 보정식에 따라 상기 보정된 영상을 반복 보정하는 왜곡계수 추정을 통한 영상 보정 시스템.
    [수식 11]
    Figure pat00253

    (
    Figure pat00254
    : j+1번째 보정 영상,
    Figure pat00255
    : j번째 추정된 왜곡계수,
    Figure pat00256
    : j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점 사이의 거리값,
    Figure pat00257
    : j번째 보정 영상,
    Figure pat00258
    : 반복 횟수)
    [수식 12]
    Figure pat00259

    (
    Figure pat00260
    : j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점과의 거리값,
    Figure pat00261
    및
    Figure pat00262
    : j번째 왜곡 보정된 영상의 가로 및 세로 좌표값,
    Figure pat00263
    및
    Figure pat00264
    : 왜곡 영상의 중심점의 좌표값)
  7. 제 2 항에 있어서,
    다음 수식 14로 표현되는 비용함수에 따라 상기 반복 보정부 및 상기 최종 보정 영상 선택부를 수행하는 왜곡계수 추정을 통한 영상 보정 시스템.
    [수식 14]
    Figure pat00265

    (
    Figure pat00266
    : 최종 왜곡 보정 영상,
    Figure pat00267
    : j*번째 최종 왜곡 보정 영상 ,
    Figure pat00268
    : j번째 반복 보정된 영상에서 모든 직선 길이의 총합,
    Figure pat00269
    : j번째 반복 보정된 영상에서 추출된 직선의 집합,
    Figure pat00270
    : j번째 반복 보정된 영상에 대한 특징점들의 표준편차, |
    Figure pat00271
    |: 집합의 원소 개수)
  8. 왜곡 영상 입력부에서 적어도 하나 이상의 측정대상이 포함된 왜곡 영상을 입력받는 왜곡 영상 입력단계;
    특징점 추출부에서 상기 측정대상으로부터 각각 복수 개의 특징점을 추출하는 특징점 추출단계;
    특징점 분류부에서 상기 추출된 복수 개의 특징점과 상기 입력된 왜곡 영상의 중심점 사이의 거리 값을 각각 비교하여, 상기 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류하는 특징점 분류단계;
    왜곡계수 추정부에서 상기 분류된 왜곡대상과 비왜곡대상의 복수 개 특징점의 표준편차에 기초하여 왜곡계수를 추정하는 왜곡계수 추정단계; 및
    영상 보정부에서 상기 추정된 왜곡계수를 기초로 상기 입력된 왜곡 영상을 보정하는 영상 보정단계;를 포함하는 왜곡계수 추정을 통한 영상 보정 방법.
  9. 제 8 항에 있어서,
    반복 보정부에서 기 설정된 조건을 만족할 때까지 상기 왜곡계수를 반복적으로 추정하고 상기 보정된 영상을 반복 보정하여 적어도 하나 이상의 반복 보정 영상을 출력하는 반복 보정단계; 및
    최종 보정 영상 선택부는 상기 출력된 적어도 하나 이상의 영상으로부터 직선 개수 및 길이를 포함하는 직선 정보를 검출하여 이에 기초한 최종 보정 영상을 선택하는 최종 보정 영상 선택단계;를 더 포함하는 왜곡계수 추정을 통한 영상 보정 방법.
  10. 제 8 항에 있어서,
    상기 적어도 하나 이상의 측정대상은 사람이며,
    상기 복수 개의 특징점은 상기 사람의 신체 왼쪽 눈의 홍채에 해당하는 눈의 중심점, 오른쪽 눈의 홍채에 해당하는 눈의 중심점, 코의 끝점, 입의 왼쪽 끝점 및 입의 오른쪽 끝점을 포함하는 왜곡계수 추정을 통한 영상 보정 방법.
  11. 제 10 항에 있어서, 상기 특징점 분류단계는,
    다음 수식 8 내지 9로 표현되는 비왜곡대상 기준식에 따라 상기 적어도 하나 이상의 측정대상을 왜곡대상과 비왜곡대상으로 분류하는 왜곡계수 추정을 통한 영상 보정 방법.
    [수식 8]
    Figure pat00272

    (
    Figure pat00273
    : 비왜곡대상,
    Figure pat00274
    : 왜곡 영상의 중심점과 최소 거리에 위치한 측정대상,
    Figure pat00275
    : 측정대상의 개수,
    Figure pat00276
    : 측정대상으로부터 추출한 복수 개의 특징점의 평균점,
    Figure pat00277
    로서 입력된 왜곡 영상의 중심점)
    [수식 9]
    Figure pat00278

    (
    Figure pat00279
    : 측정대상의 특징점,
    Figure pat00280
    : 복수 개 특징점의 평균점,
    Figure pat00281
    : 왼쪽 눈의 홍채에 해당하는 눈의 중심점,
    Figure pat00282
    : 오른쪽 눈의 홍채에 해당하는 눈의 중심점,
    Figure pat00283
    : 코의 끝점,
    Figure pat00284
    : 입의 왼쪽 끝점,
    Figure pat00285
    : 입의 오른쪽 끝점)
  12. 제 8 항에 있어서, 상기 왜곡계수 추정단계는,
    다음 수식 10으로 표현되는 왜곡계수 산출식에 따라 추정하고자 하는 왜곡계수를 산출하는 왜곡계수 추정을 통한 영상 보정 방법.
    [수식 10]
    Figure pat00286

    (
    Figure pat00287
    : j번째 추정된 왜곡계수,
    Figure pat00288
    : 측정대상의 개수,
    Figure pat00289
    : 왜곡대상의 특징점들의 표준편차,
    Figure pat00290
    : 비왜곡대상의 특징점들의 표준편차)
  13. 제 8 항에 있어서, 상기 반복 보정단계는,
    다음 수식 11 및 수식 12로 표현되는 반복 보정식에 따라 상기 보정된 영상을 반복 보정하는 왜곡계수 추정을 통한 영상 보정 방법.
    [수식 11]
    Figure pat00291

    (
    Figure pat00292
    : j+1번째 보정 영상,
    Figure pat00293
    : j번째 추정된 왜곡계수,
    Figure pat00294
    : j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점 사이의 거리값,
    Figure pat00295
    : j번째 보정 영상,
    Figure pat00296
    : 반복 횟수)
    [수식 12]
    Figure pat00297

    (
    Figure pat00298
    : j번째 보정 영상의 임의의 좌표값과 입력 영상의 중심점과의 거리값,
    Figure pat00299
    및
    Figure pat00300
    : j번째 왜곡 보정된 영상의 가로 및 세로 좌표값,
    Figure pat00301
    및
    Figure pat00302
    : 왜곡 영상의 중심점의 좌표값)
  14. 제 9 항에 있어서, 상기 최종 보정 영상 선택단계는,
    다음 수식 14로 표현되는 비용함수에 따라 상기 반복 보정부 및 상기 최종 보정 영상 선택부를 수행하는 왜곡계수 추정을 통한 영상 보정 방법.
    [수식 14]
    Figure pat00303

    (
    Figure pat00304
    : 최종 왜곡 보정 영상,
    Figure pat00305
    : j*번째 최종 왜곡 보정 영상 ,
    Figure pat00306
    : j번째 반복 보정된 영상에서 모든 직선 길이의 총합,
    Figure pat00307
    : j번째 반복 보정된 영상에서 추출된 직선의 집합,
    Figure pat00308
    : j번째 반복 보정된 영상에 대한 특징점들의 표준편차, |
    Figure pat00309
    |: 집합의 원소 개수)
KR1020180132180A 2018-10-31 2018-10-31 왜곡계수 추정을 통한 영상 보정 시스템 및 방법 KR102118173B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180132180A KR102118173B1 (ko) 2018-10-31 2018-10-31 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
US16/596,163 US11164292B2 (en) 2018-10-31 2019-10-08 System and method for correcting image through estimation of distortion parameter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132180A KR102118173B1 (ko) 2018-10-31 2018-10-31 왜곡계수 추정을 통한 영상 보정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200049207A true KR20200049207A (ko) 2020-05-08
KR102118173B1 KR102118173B1 (ko) 2020-06-02

Family

ID=70327488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132180A KR102118173B1 (ko) 2018-10-31 2018-10-31 왜곡계수 추정을 통한 영상 보정 시스템 및 방법

Country Status (2)

Country Link
US (1) US11164292B2 (ko)
KR (1) KR102118173B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102351235B1 (ko) * 2020-11-27 2022-01-14 아주대학교산학협력단 이미지 교정 방법 및 장치
US11348208B2 (en) * 2018-03-08 2022-05-31 Sony Corporation Signal processing apparatus and signal processing method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507924B (zh) * 2020-04-27 2023-09-29 北京百度网讯科技有限公司 视频帧的处理方法和装置
US20230377115A1 (en) * 2020-10-09 2023-11-23 Arizona Board Of Regents On Behalf Of Arizona State University Anti-tamper protection using dendrites
US20220121900A1 (en) * 2020-10-19 2022-04-21 Arizona Board Of Regents On Behalf Of Northern Arizona University Methods and systems for generating unclonable optical tags
CN112561807B (zh) * 2020-11-26 2022-08-26 北京大学 一种基于卷积神经网络的端到端径向畸变校正方法
US11677921B2 (en) * 2021-01-02 2023-06-13 Dreamvu Inc. System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras
CN114677684A (zh) * 2022-03-23 2022-06-28 平安普惠企业管理有限公司 扭曲图像校正方法、装置、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328570A (ja) 1999-12-18 2005-11-24 Lg Electronics Inc 映像歪み補正装置及びその方法とそれを利用した映像表示機器及びその方法
JP2006010613A (ja) * 2004-06-29 2006-01-12 Medeikku Engineering:Kk 画像の歪み補正方法
KR20100091383A (ko) * 2009-02-10 2010-08-19 전남대학교산학협력단 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
KR101014572B1 (ko) 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP2011049733A (ja) * 2009-08-26 2011-03-10 Clarion Co Ltd カメラキャリブレーション装置および映像歪み補正装置
KR101172629B1 (ko) 2011-01-04 2012-08-08 포항공과대학교 산학협력단 영상 처리 방법 및 이를 위한 장치
KR20170054183A (ko) * 2015-11-09 2017-05-17 현대자동차주식회사 시선 추적 장치 및 그의 눈 특징점 검출 오류 판별 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065632A1 (zh) * 2014-10-31 2016-05-06 华为技术有限公司 一种图像处理方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005328570A (ja) 1999-12-18 2005-11-24 Lg Electronics Inc 映像歪み補正装置及びその方法とそれを利用した映像表示機器及びその方法
JP2006010613A (ja) * 2004-06-29 2006-01-12 Medeikku Engineering:Kk 画像の歪み補正方法
KR101014572B1 (ko) 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
KR20100091383A (ko) * 2009-02-10 2010-08-19 전남대학교산학협력단 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
JP2011049733A (ja) * 2009-08-26 2011-03-10 Clarion Co Ltd カメラキャリブレーション装置および映像歪み補正装置
KR101172629B1 (ko) 2011-01-04 2012-08-08 포항공과대학교 산학협력단 영상 처리 방법 및 이를 위한 장치
KR20170054183A (ko) * 2015-11-09 2017-05-17 현대자동차주식회사 시선 추적 장치 및 그의 눈 특징점 검출 오류 판별 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348208B2 (en) * 2018-03-08 2022-05-31 Sony Corporation Signal processing apparatus and signal processing method
KR102351235B1 (ko) * 2020-11-27 2022-01-14 아주대학교산학협력단 이미지 교정 방법 및 장치

Also Published As

Publication number Publication date
KR102118173B1 (ko) 2020-06-02
US20200134789A1 (en) 2020-04-30
US11164292B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
KR102118173B1 (ko) 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
US11227144B2 (en) Image processing device and method for detecting image of object to be detected from input data
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
EP3489898B1 (en) Method and apparatus for estimating disparity
KR101014572B1 (ko) 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP5955028B2 (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
KR101053506B1 (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
CN106570899B (zh) 一种目标物体检测方法及装置
KR100996897B1 (ko) 직선 핏팅에 의한 광각렌즈의 원주방향의 왜곡영상 보정 방법
KR100930626B1 (ko) 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법
CN106982312A (zh) 多光圈相机系统及其操作方法
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN110598689B (zh) 用于估计图像中极值点的子像素位置的方法、设备和系统
Micušık et al. Para-catadioptric camera auto-calibration from epipolar geometry
JP2020149641A (ja) 物体追跡装置および物体追跡方法
US8406563B2 (en) Photometric calibration method and device
Gaganov et al. Robust shape from focus via Markov random fields
JP2015207090A (ja) 画像処理装置、及びその制御方法
CN111815709B (zh) 一种基于普通数码相机的单位姿多像面三维重建方法
TWI697846B (zh) 物體辨識方法及其裝置
CN107622514B (zh) 摄像机凸镜模型自主标定方法
CN110176037A (zh) 一种用于室外道路辅助驾驶的目标距离快速估算方法
CN112330726B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant