KR20170063953A

KR20170063953A - 이미지 처리 방법 및 장치

Info

Publication number: KR20170063953A
Application number: KR1020177012306A
Authority: KR
Inventors: 강 천; 종웨이 탕; 웨이 뤄
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2014-10-31
Filing date: 2014-10-31
Publication date: 2017-06-08
Also published as: EP3200148A1; EP3200148B1; US20170330308A1; WO2016065632A1; CN104363986A; KR101921672B1; EP3200148A4; US10262400B2; CN104363986B

Abstract

본 발명은 이미지 처리 방법 및 장치에 대해 개시하며, 촬영된 대상의 왜곡 이미지를 획득하는 단계; 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 지정된 임계값보다 작은 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택하는 단계 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 및 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하는 단계, 및 상기 광학 왜곡이 정정된 이미지를 획득하는 단계를 포함한다. 이 방법에서, 촬영된 대상의 이미지를 획득하는 프로세스에서 촬영 장치의 광학 촬영 이론에 의해 초래되는 광학 왜곡이 효과적으로 제거되며, 촬영된 이미지의 품질이 향상된다.

Description

이미지 처리 방법 및 장치{IMAGE PROCESSING METHOD AND DEVICE}

본 발명은 무선 통신 기술 분야에 관한 것이며, 특히 이미지 처리 방법 및 장치에 관한 것이다.

스마트폰과 모바일 인터넷의 급속한 발전에 따라, 실제 세계와 가상 네트워크 세계를 연결하기 위한 인터페이스로서 단말 장치(예를 들어, 캠코더 또는 카메라)는 스마트폰에서 매우 중요한 구성요소가 되었다. 매일 수 천명의 사람들이 스마트폰의 사진 촬영 기능을 사용하여 자신들과 관련되어 있거나 관련되지 않은 새로운 사물을 기록한다.

사람들이 기록한 대량의 새로운 사물을 보면, 얼굴 이미지가 상대적으로 큰 비중을 차지한다. 그렇지만, 단말 장치가 광학 원리를 사용해서 얼굴 특징을 얼굴 이미지로 변환하는 프로세스에서, 광학 왜곡이 쉽게 발생하여, 획득된 얼굴 이미지에서 얼굴 특징의 왜곡이 생긴다. 예를 들어, 배럴 왜곡이 발생하는데, 즉 실제의 애플리케이션에서, 단말 장치가 이미지 포착을 위해 광각 렌즈(pantoscopic lens)를 사용하면, 포착된 이미지의 얼굴 특징에 배럴 왜곡이 발생하거나, 또는 핀쿠션 왜곡(pincushion distortion)이 발생하는데, 즉 실제의 애플리케이션에서, 단말 장치가 장-초점 렌즈를 사용하여 이미지를 포착하면, 포착된 이미지의 얼굴 특징에 핀쿠션 왜곡이 발생하게 된다. 바꿔 말하면, 얼굴 왜곡의 엄격성은 얼굴 이미지의 품질에 영향을 준다.

본 발명의 제1 관점에 따라, 이미지 처리 방법이 제공되며, 상기 이미지 처리 방법은:

촬영된 대상의 왜곡 이미지를 획득하는 단계;

적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 지정된 임계값보다 작은 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택하는 단계 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 및

상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하는 단계, 및 상기 광학 왜곡이 정정된 이미지를 획득하는 단계

를 포함한다.

본 발명의 제1 관점의 가능한 실시 방식을 참조해서, 제1 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하는 단계는:

상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하는 단계 - 상기 이상적인 이미지 좌표는 광학 왜곡 없는 이미지 내의 촬영된 대상의 좌표를 나타내는 데 사용됨 - ;

상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하는 단계;

상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하는 단계; 및

찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하는 단계

를 포함한다.

본 발명의 제1 관점의 제1 가능한 실시 방식을 참조해서, 제2 가능한 실시 방식에서, 상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하는 단계는:

광학 왜곡 없는 가상 그리드 이미지를 생성하고, 상기 그리드 이미지에 상기 촬영된 대상을 맵핑하여 상기 촬영된 대상의 이상적인 이미지를 획득하는 단계; 및

상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표를 결정하는 단계

를 포함한다.

본 발명의 제1 관점의 제2 가능한 실시 방식을 참조해서, 제3 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하는 단계는:

단말 장치의 고유한 행렬 및 고유한 행렬의 역행렬을 판독하는 단계; 및

상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표에 대해:

상기 이상적인 이미지로부터 그리드 포인트를 선택하고, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하는 단계

를 포함한다.

본 발명의 제1 관점의 제3 가능한 실시 방식을 참조해서, 제4 가능한 실시 방식에서, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하는 단계는:

상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표를 제1 핀홀 평면 좌표(pinhole plane coordinates)로 변환하는 단계;

상기 선택된 렌즈 광학 왜곡 모델을 사용해서 제1 핀홀 평면 좌표를 왜곡된 제2 핀홀 평면 좌표를 변환하는 단계 - 상기 왜곡된 제2 핀홀 평면 좌표는 상기 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표가 상기 선택된 렌즈 광학 왜곡 모델에 기초하여 광학 왜곡을 겪은 후에 획득됨 - ; 및

상기 단말 장치의 고유한 행렬을 사용해서 상기 왜곡된 제2 핀홀 평면 좌표를 상기 이론적 광학 왜곡 이미지 좌표로 변환하는 단계

를 포함한다.

본 발명의 제1 관점의 제1 가능한 실시 방식, 또는 본 발명의 제1 관점의 제2 가능한 실시 방식, 또는 본 발명의 제1 관점의 제3 가능한 실시 방식, 또는 본 발명의 제1 관점의 제4 가능한 실시 방식을 참조해서, 제5 가능한 실시 방식에서, 상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하는 단계는:

상기 획득된 왜곡 이미지에 포함되어 있는 각각의 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표 간의 거리를 계산하고, 상기 계산에 의해 획득된 거리가 지정된 임계값보다 작은 대응하는 픽셀을 결정하는 단계

를 포함한다.

본 발명의 제1 관점의 제1 가능한 실시 방식, 또는 본 발명의 제1 관점의 제2 가능한 실시 방식, 또는 본 발명의 제1 관점의 제3 가능한 실시 방식, 또는 본 발명의 제1 관점의 제4 가능한 실시 방식, 또는 본 발명의 제1 관점의 제5 가능한 실시 방식을 참조해서, 제6 가능한 실시 방식에서, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하는 단계는:

찾아낸 픽셀의 픽셀 값에 대해 보간 연산을 수행하여, 상기 이상적인 이미지 내의 촬영된 대상의 이상적인 이미지 좌표의 픽셀 값을 획득하는 단계

를 포함한다.

본 발명의 제1 관점의 제2 가능한 실시 방식, 또는 본 발명의 제1 관점의 제3 가능한 실시 방식, 또는 본 발명의 제1 관점의 제4 가능한 실시 방식, 또는 본 발명의 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제1 관점의 제6 가능한 실시 방식을 참조해서, 제7 가능한 실시 방식에서, 상기 광학 왜곡이 정정된 이미지를 획득하는 단계는:

상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 획득된 이상적인 이미지를 상기 획득된 왜곡 이미지의 광학 왜곡이 정정된 이미지로 사용하는 단계

를 포함한다.

본 발명의 제1 관점의 가능한 실시 방식, 또는 본 발명의 제1 관점의 제1 가능한 실시 방식, 또는 본 발명의 제1 관점의 제2 가능한 실시 방식, 또는 본 발명의 제1 관점의 제3 가능한 실시 방식, 또는 본 발명의 제1 관점의 제4 가능한 실시 방식, 또는 본 발명의 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제1 관점의 제6 가능한 실시 방식, 또는 본 발명의 제1 관점의 제5 가능한 실시 방식을 참조해서, 제8 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는:

렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;

상기 교정 대상을 그리드 이미지에 맵핑하여 상기 교정 대상의 이상적인 이미지 좌표를 획득하는 단계;

상기 렌즈 광학 왜곡 모델을 사용해서 상기 교정 대상의 획득된 이상적인 이미지 좌표를 이론적 광학 왜곡 이미지 좌표로 변환하는 단계;

광학 이미지 장치의 촬영 기능을 사용해서 교정 대상을 이미지 센서에 맵핑하여, 광학 왜곡 이미지를 획득하고, 상기 광학 왜곡 이미지 내의 픽셀의 실제 왜곡 이미지 좌표를 결정하는 단계;

상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이에 따라, 상기 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값을 결정하는 단계; 및

상기 렌즈 광학 왜곡 모델과 상기 결정된 재투영 오차 값 간의 맵핑 관계를 구축하는 단계

를 포함한다.

본 발명의 제1 관점의 가능한 실시 방식, 또는 본 발명의 제1 관점의 제1 가능한 실시 방식, 또는 본 발명의 제1 관점의 제2 가능한 실시 방식, 또는 본 발명의 제1 관점의 제3 가능한 실시 방식, 또는 본 발명의 제1 관점의 제4 가능한 실시 방식, 또는 본 발명의 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제1 관점의 제6 가능한 실시 방식, 또는 본 발명의 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제1 관점의 제8 가능한 실시 방식을 참조해서, 제9 가능한 실시 방식에서, 상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 이미지 처리 방법은:

상기 획득된 왜곡 이미지 내에 지정된 대상이 포함되어 있는 것으로 결정할 때, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계;

상기 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 따라 구역 왜곡 정정 파라미터를 선택하는 단계; 및

상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하는 단계

를 더 포함한다.

본 발명의 제1 관점의 제9 가능한 실시 방식을 참조해서, 제10 가능한 실시 방식에서, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계는:

상기 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합을 결정하고, 상기 광학 왜곡이 정정된 이미지 내의 지정된 대상의 제2 위치 좌표 집합을 결정하는 단계;

상기 지정된 대상 내의 적어도 하나의 픽셀에 대해, 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표를 각각 결정하는 단계; 및

제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표에 따라 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계

를 포함한다.

본 발명의 제1 관점의 제9 가능한 실시 방식, 또는 본 발명의 제1 관점의 제10 가능한 실시 방식을 참조해서, 제11 가능한 실시 방식에서, 상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하는 단계는:

상기 선택된 구역 왜곡 정정 파라미터를 사용해서 제1 위치 좌표 집합에 포함되어 있는 각각의 픽셀의 좌표를 정정하는 단계;

정정된 제1 위치 좌표 집합과 제2 위치 좌표 집합에 따라, 상기 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 결정하는 단계; 및

상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하는 단계, 및 상기 광학 왜곡이 정정된 이미지를 획득하는 단계

를 포함한다.

본 발명의 제1 관점의 제11 가능한 실시 방식을 참조해서, 본 발명의 제1 관점의 제12 가능한 실시 방식에서, 상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하는 단계는:

상기 광학 왜곡이 정정된 이미지에 따라, 상기 구역 왜곡이 정정된 가상 그리드 이미지를 생성하는 단계 - 상기 구역 왜곡이 정정된 가상 그리드 이미지에 포함되어 있는 그리드 포인트의 개수는 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 개수와 같으며, 동일한 위치의 그리드 포인트의 좌표와 픽셀의 좌표는 같음 - ; 및

상기 그리드 이미지 내의 각각의 그리드 포인트에 대해, 이하의 작동:

상기 그리드 이미지로부터 그리드 포인트를 선택하고, 상기 결정된 변환 규칙을 사용해서 상기 그리드 포인트의 좌표를 구역 왜곡 좌표로 변환하는 단계;

상기 구역 왜곡 좌표 및 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 좌표에 따라, 좌표와 상기 구역 왜곡 좌표 간의 거리가 지정된 거리보다 작은 픽셀을 검색하는 단계; 및

찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하는 단계

를 포함한다.

본 발명의 제2 관점에 따라, 이미지 처리 장치가 제공되며, 상기 이미지 처리 장치는: 촬영 장치, 이미지 센서, 및 프로세서를 포함하며, 상기 이미지 센서는 버스에 의해 상기 프로세서에 연결되어 있으며,

상기 촬영 장치는 상기 이미지 센서에 촬영된 대상을 맵핑하도록 구성되어 있으며,

상기 이미지 센서는 상기 촬영된 대상의 왜곡 이미지를 획득하도록 구성되어 있으며,

상기 프로세서는, 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 선택하고 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 그리고

상기 렌즈 광학 왜곡 모델을 사용해서, 상기 이미지 센서에 의해 획득된 왜곡 이미지의 광학 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있다.

본 발명의 제2 관점의 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제1 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정할 때, 상기 프로세서는 구체적으로:

상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하고 - 상기 이상적인 이미지 좌표는 광학 왜곡 없는 이미지 내의 촬영된 대상의 좌표를 나타내는 데 사용됨 - ;

상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하고;

상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하며; 그리고

찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하도록 구성되어 있다.

본 발명의 제2 관점의 제1 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제2 가능한 실시 방식에서, 상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정할 때, 상기 프로세서는 구체적으로:

광학 왜곡 없는 가상 그리드 이미지를 생성하고, 상기 그리드 이미지에 상기 촬영된 대상을 맵핑하여 상기 촬영된 대상의 이상적인 이미지를 획득하며; 그리고

상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표를 결정하도록 구성되어 있다.

본 발명의 제2 관점의 제2 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제3 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세서는 구체적으로:

단말 장치의 고유한 행렬 및 고유한 행렬의 역행렬을 판독하며; 그리고

상기 이상적인 이미지로부터 그리드 포인트를 선택하고, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하도록 구성되어 있다.

본 발명의 제2 관점의 제3 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제4 가능한 실시 방식에서, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세서는 구체적으로:

상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표를 제1 핀홀 평면 좌표로 변환하고;

상기 선택된 렌즈 광학 왜곡 모델을 사용해서 제1 핀홀 평면 좌표를 왜곡된 제2 핀홀 평면 좌표를 변환하며 - 상기 왜곡된 제2 핀홀 평면 좌표는 상기 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표가 상기 선택된 렌즈 광학 왜곡 모델에 기초하여 광학 왜곡을 겪은 후에 획득됨 - ; 그리고

상기 단말 장치의 고유한 행렬을 사용해서 상기 왜곡된 제2 핀홀 평면 좌표를 상기 이론적 광학 왜곡 이미지 좌표로 변환하도록 구성되어 있다.

본 발명의 제2 관점의 제1 가능한 실시 방식, 또는 본 발명의 제2 관점의 제2 가능한 실시 방식, 또는 본 발명의 제2 관점의 제3 가능한 실시 방식, 또는 본 발명의 제2 관점의 제4 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제5 가능한 실시 방식에서, 상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색할 때, 상기 프로세서는 구체적으로:

상기 획득된 왜곡 이미지에 포함되어 있는 각각의 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표 간의 거리를 계산하고, 상기 계산에 의해 획득된 거리가 지정된 임계값보다 작은 대응하는 픽셀을 결정하도록 구성되어 있다.

본 발명의 제2 관점의 제1 가능한 실시 방식, 또는 본 발명의 제2 관점의 제2 가능한 실시 방식, 또는 본 발명의 제2 관점의 제3 가능한 실시 방식, 또는 본 발명의 제2 관점의 제4 가능한 실시 방식, 또는 본 발명의 제2 관점의 제5 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제6 가능한 실시 방식에서, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득할 때, 상기 프로세서는 구체적으로:

찾아낸 픽셀의 픽셀 값에 대해 보간 연산을 수행하여, 상기 이상적인 이미지 내의 촬영된 대상의 이상적인 이미지 좌표의 픽셀 값을 획득하도록 구성되어 있다.

본 발명의 제2 관점의 제2 가능한 실시 방식, 또는 본 발명의 제2 관점의 제3 가능한 실시 방식, 또는 본 발명의 제2 관점의 제4 가능한 실시 방식, 또는 본 발명의 제2 관점의 제5 가능한 실시 방식, 또는 본 발명의 제2 관점의 제6 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제7 가능한 실시 방식에서, 상기 광학 왜곡이 정정된 이미지를 획득할 때, 상기 프로세서는 구체적으로:

상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 획득된 이상적인 이미지를 상기 획득된 왜곡 이미지의 광학 왜곡이 정정된 이미지로 사용하도록 구성되어 있다.

본 발명의 제2 관점의 가능한 실시 방식, 또는 본 발명의 제2 관점의 제1 가능한 실시 방식, 또는 본 발명의 제2 관점의 제2 가능한 실시 방식, 또는 본 발명의 제2 관점의 제3 가능한 실시 방식, 또는 본 발명의 제2 관점의 제4 가능한 실시 방식, 또는 본 발명의 제2 관점의 제5 가능한 실시 방식, 또는 본 발명의 제2 관점의 제6 가능한 실시 방식, 또는 본 발명의 제2 관점의 제7 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제8 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는:

렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;

를 포함한다.

본 발명의 제2 관점의 가능한 실시 방식, 또는 본 발명의 제2 관점의 제1 가능한 실시 방식, 또는 본 발명의 제2 관점의 가능한 실시 방식, 또는 본 발명의 제2 관점의 제1 가능한 실시 방식, 또는 본 발명의 제2 관점의 제2 가능한 실시 방식, 또는 본 발명의 제2 관점의 제3 가능한 실시 방식, 또는 본 발명의 제2 관점의 제4 가능한 실시 방식, 또는 본 발명의 제2 관점의 제5 가능한 실시 방식, 또는 본 발명의 제2 관점의 제6 가능한 실시 방식, 또는 본 발명의 제2 관점의 제7 가능한 실시 방식, 또는 본 발명의 제2 관점의 제8 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제9 가능한 실시 방식에서, 상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 프로세서는:

상기 획득된 왜곡 이미지 내에 지정된 대상이 포함되어 있는 것으로 결정할 때, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하고;

상기 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 따라 구역 왜곡 정정 파라미터를 선택하며; 그리고

상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하도록 추가로 구성되어 있다.

본 발명의 제2 관점의 제9 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제10 가능한 실시 방식에서, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정할 때, 상기 프로세서는 구체적으로:

상기 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합을 결정하고, 상기 광학 왜곡이 정정된 이미지 내의 지정된 대상의 제2 위치 좌표 집합을 결정하고;

상기 지정된 대상 내의 적어도 하나의 픽셀에 대해, 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표를 각각 결정하며; 그리고

제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표에 따라 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하도록 구성되어 있다.

본 발명의 제2 관점의 제9 가능한 실시 방식, 또는 본 발명의 제2 관점의 제10 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제11 가능한 실시 방식에서, 상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득할 때, 상기 프로세서는 구체적으로:

상기 선택된 구역 왜곡 정정 파라미터를 사용해서 제1 위치 좌표 집합에 포함되어 있는 각각의 픽셀의 좌표를 정정하고;

정정된 제1 위치 좌표 집합과 제2 위치 좌표 집합에 따라, 상기 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 결정하며; 그리고

상기 결정된 변환 규칙에 따라, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있다.

본 발명의 제2 관점의 제11 가능한 실시 방식을 참조해서, 본 발명의 제2 관점의 제12 가능한 실시 방식에서, 상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정할 때, 상기 프로세서는 구체적으로:

상기 광학 왜곡이 정정된 이미지에 따라, 상기 구역 왜곡이 정정된 가상 그리드 이미지를 생성하고 - 상기 구역 왜곡이 정정된 가상 그리드 이미지에 포함되어 있는 그리드 포인트의 개수는 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 개수와 같으며, 동일한 위치의 그리드 포인트의 좌표와 픽셀의 좌표는 같음 - ; 그리고

상기 그리드 이미지로부터 그리드 포인트를 선택하고, 상기 결정된 변환 규칙을 사용해서 상기 그리드 포인트의 좌표를 구역 왜곡 좌표로 변환하고;

상기 구역 왜곡 좌표 및 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 좌표에 따라, 좌표와 상기 구역 왜곡 좌표 간의 거리가 지정된 거리보다 작은 픽셀을 검색하며; 그리고

찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하도록 구성되어 있다.

본 발명의 제3 관점에 따라, 이미지 처리 장치가 제공되며, 상기 이미지 처리 장치는:

촬영된 대상의 왜곡 이미지를 획득하도록 구성되어 있는 획득 모듈;

적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 지정된 임계값보다 작은 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택하도록 구성되어 있는 선택 모듈 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 및

상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있는 프로세싱 모듈

을 포함한다.

본 발명의 제3 관점의 가능한 실시 방식을 참조해서, 제1 관점의 제1 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제 1 가능한 실시 방식을 참조해서, 제1 관점의 제2 가능한 실시 방식에서, 상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제21 가능한 실시 방식을 참조해서, 제1 관점의 제3 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제3 가능한 실시 방식을 참조해서, 제1 관점의 제4 가능한 실시 방식에서, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제1 가능한 실시 방식, 또는 본 발명의 제3 관점의 제2 가능한 실시 방식, 또는 본 발명의 제3 관점의 제3 가능한 실시 방식, 또는 본 발명의 제3 관점의 제4 가능한 실시 방식을 참조해서, 제1 관점의 제5 가능한 실시 방식에서, 상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제1 가능한 실시 방식, 또는 본 발명의 제3 관점의 제2 가능한 실시 방식, 또는 본 발명의 제3 관점의 제3 가능한 실시 방식, 또는 본 발명의 제3 관점의 제4 가능한 실시 방식, 또는 제1 관점의 제5 가능한 실시 방식을 참조해서, 본 발명의 제3 관점의 제6 가능한 실시 방식에서, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제2 가능한 실시 방식, 또는 본 발명의 제3 관점의 제3 가능한 실시 방식, 또는 본 발명의 제3 관점의 제4 가능한 실시 방식, 또는 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제3 관점의 제6 가능한 실시 방식을 참조해서, 본 발명의 제3 관점의 제7 가능한 실시 방식에서, 상기 광학 왜곡이 정정된 이미지를 획득할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 가능한 실시 방식, 또는 본 발명의 제3 관점의 제1 가능한 실시 방식, 또는 본 발명의 제3 관점의 제2 가능한 실시 방식, 또는 본 발명의 제3 관점의 제3 가능한 실시 방식, 또는 본 발명의 제3 관점의 제4 가능한 실시 방식, 또는 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제3 관점의 제6 가능한 실시 방식, 또는 본 발명의 제3 관점의 제7 가능한 실시 방식에서, 본 발명의 제3 관점의 제8 가능한 실시 방식에서, 상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는:

렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;

를 포함한다.

본 발명의 제3 관점의 가능한 실시 방식, 또는 본 발명의 제3 관점의 제1 가능한 실시 방식, 또는 본 발명의 제3 관점의 제2 가능한 실시 방식, 또는 본 발명의 제3 관점의 제3 가능한 실시 방식, 또는 본 발명의 제3 관점의 제4 가능한 실시 방식, 또는 제1 관점의 제5 가능한 실시 방식, 또는 본 발명의 제3 관점의 제6 가능한 실시 방식, 또는 본 발명의 제3 관점의 제7 가능한 실시 방식, 또는 본 발명의 제3 관점의 제8 가능한 실시 방식을 참조해서, 본 발명의 제3 관점의 제9 가능한 실시 방식에서, 상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 프로세서는:

본 발명의 제3 관점의 제9 가능한 실시 방식을 참조해서, 본 발명의 제3 관점의 제10 가능한 실시 방식에서, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제9 가능한 실시 방식, 또는 본 발명의 제3 관점의 제10 가능한 실시 방식을 참조해서, 본 발명의 제3 관점의 제11 가능한 실시 방식에서, 상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득할 때, 상기 프로세싱 모듈은 구체적으로:

본 발명의 제3 관점의 제11 가능한 실시 방식을 참조해서, 본 발명의 제3 관점의 제12 가능한 실시 방식에서, 상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정할 때, 상기 프로세싱 모듈은 구체적으로:

이로운 효과는 다음과 같다:

본 발명의 실시예에서, 촬영된 대상의 왜곡 이미지가 획득되고; 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델이 선택되고, 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용되며, 그리고 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡이 정정되어, 상기 광학 왜곡이 정정된 이미지가 획득된다. 이 방법에서, 획득된 왜곡 이미지에 대해, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 사용하여 광학 왜곡 정정이 수행되고, 촬영된 대상의 이미지를 획득하는 프로세스에서 촬영 장치의 광학 촬영 이론에 의해 초래되는 광학 왜곡이 효과적으로 제거되며, 또한 선택된 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 지정된 임계값보다 작으므로, 광학 왜곡 정정의 정확도가 향상되며, 촬영된 이미지의 품질이 향상된다.

본 발명의 실시예의 기술적 솔루션을 더 명확하게 설명하기 위해, 이하에서는 본 발명의 실시예를 설명하는 데 필요한 첨부된 도면에 대해 간략하게 설명한다. 당연히, 이하의 실시예의 첨부된 도면은 본 발명의 일부의 실시예에 지나지 않으며, 당업자라면 창조적 노력 없이 첨부된 도면으로부터 다른 도면을 도출해낼 수 있을 것이다.
도 1은 본 발명의 실시예 1에 따른 이미지 처리 방법에 대한 개략적인 흐름도이다.
도 2는 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값에 대한 개략도이다.
도 3a는 광학 왜곡 정정에서 이미지의 변위 벡터에 대한 정상 차트이다.
도 3b는 광학 왜곡 정정에서 이미지의 변위 벡터에 대한 변화 차트이다.
도 4는 본 발명의 실시예 2에 따른 이미지 처리 장치에 대한 개략적인 구조도이다.
도 5는 본 발명의 실시예 3에 따른 이미지 처리 장치에 대한 개략적인 구조도이다.

본 발명의 목적을 달성하기 위해, 본 발명의 실시예는 이미지 처리 방법 및 장치를 제공한다. 획득된 왜곡 이미지에 대해, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 사용하여 광학 왜곡 정정이 수행되고, 촬영된 대상의 이미지를 획득하는 프로세스에서 촬영 장치의 광학 촬영 이론에 의해 초래되는 광학 왜곡이 효과적으로 제거되며, 또한, 선택된 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 향상되고, 촬영된 이미지의 품질이 향상된다.

본 발명의 실시예에 포함되는 촬영된 대상의 공간 좌표는 3차원 공간 내의 촬영된 대상의 좌표라는 것에 유의해야 한다. 예를 들어, 공간 좌표는 경도, 위도, 및 높이를 포함할 수 있다.

촬영된 대상의 이상적인 이미지 좌표는 촬영된 대상이 맵핑되는 그리드 이미지 내의 각각의 그리드 포인트의 왜곡되지 않은 좌표이다.

촬영된 대상의 이론적 광학 왜곡 이미지 좌표는 렌즈 광학 왜곡 모델을 사용해서 촬영된 대상의 이상적인 이미지 좌표에 대해 좌표 변환을 수행한 후 획득되는 좌표이다.

촬영된 대상의 실제적 왜곡 이미지 좌표는 다음과 같다: 광학 촬영 장치의 촬영 기능을 사용해서 촬영된 대상이 이미지 센서에 맵핑된 후, 실제적 왜곡 이미지 좌표가 획득되고, 여기서 실제적 왜곡 이미지 좌표에서 각각의 픽셀의 좌표는 촬영된 대상의 실제적 왜곡 이미지 좌표라 할 수 있다.

하나의 단말 장치는 복수의 렌즈 광학 왜곡 모델을 국부적으로 저장할 수 있고, 다른 렌즈 광학 왜곡 모델이 종래기술의 카메라/사진 교정 방법(예를 들어, Zhang Zhengyou 카메라 교정 방법 또는 Tsai 카메라 교정 방법)을 사용해서 결정될 수 있다는 것에 유의해야 한다.

렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수(distortion order) 및 왜곡 계수를 포함한다.

광학 왜곡 유형은 적어도 하나 이상의 방사상 왜곡 및 접선 왜곡을 포함한다.

방사상 왜곡은 벡터 종점의 길이 방향 변화이고, 접선 왜곡은 벡터 종점의 접선 방향 변화, 즉 각도에서의 변화라는 것에 유의해야 한다.

다른 단말 장치에 국부적으로 저장되어 있는 렌즈 광학 왜곡 모델은 같을 수도 있고 다를 수도 있다.

렌즈 광학 왜곡 모델이 다르다는 것은 렌즈 광학 왜곡 모델이 다른 광학 왜곡 유형을 포함한다는 것이나, 렌즈 광학 왜곡 모델이 동일한 광학 왜곡 유형과 다른 왜곡 단수를 포함한다는 것일 수 있다.

렌즈 광학 왜곡 모델이 동일하다는 것은 렌즈 광학 왜곡 모델이 동일한 광학 왜곡 유형 및 동일한 왜곡 단수를 포함한다는 것이다. 동일한 렌즈 광학 왜곡 모델에 있어서, 카메라/사진 교정 방법을 사용해서 다른 단말 장치에 의해 결정되면서 동일한 렌즈 광학 왜곡 모델에서의 동일한 왜곡 유형 및 동일한 왜곡 단수에 대응하는 왜곡 계수는 같을 수도 있고 다를 수도 있다.

예를 들어, 렌즈 광학 왜곡 모델은 다음과 같이 표현된다:

여기서 (x, y)는 촬영된 대상의 이상적인 이미지 좌표이고, (x_rd, y_rd)는 촬영된 대상의 이상적인 이미지 좌표가 방사상으로 왜곡된 후 획득되는 좌표이고, r은 (x, y)의 극 반지름(polar radius)을 나타내고, K₁은 방사상 왜곡 계수를 나타낸다. 다른 단말 장치에서, 결정된 K₁은 같을 수도 있고 다를 수도 있다.

이하에서는 본 명세서에 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명한다. 당연히, 설명된 실시예는 본 발명의 모든 실시예가 아닌 일부에 실시예에 불과하다. 창조적 노력 없이 본 발명의 실시예에 기초하여 당업자에 의해 획득되는 모든 다른 실시예는 본 발명의 보호 범위에 있게 된다.

실시예 1

도 1에 도시된 바와 같이, 도 1은 본 발명의 실시예 1에 따른 이미지 처리 방법에 대한 개략적인 흐름도이고, 여기서 방법은 단말 장치에 의해 수행될 수 있다. 상기 방법은 이하를 포함한다:

단계 101: 촬영된 대상의 왜곡 이미지를 획득한다.

단계 101에서, 촬영된 대상의 왜곡 이미지를 획득하는 단계에서, 단말 장치는 촬영 유닛의 촬영 기능을 사용해서 촬영된 대상을 이미지 센서에 맵핑하여, 왜곡 이미지를 획득하고, 이미지 센서는 맵핑에 의해 획득된 왜곡 이미지를 단말 장치의 프로세서에 송신한다.

단말 장치는 카메라, 캠코더, 또는 이동 전화와 같이 사진 촬영 기능을 갖춘 단말 장칠 수 있으며, 촬영 유닛은 단말 장치 내의 렌즈일 수 있다.

렌즈가 촬영된 대상을 이미지로 변환할 때, 렌즈 촬영의 광학적 이유로, 및/또는 촬영된 대상과 단말 장치 간의 거리로 인해, 촬영된 대상으로부터 변환된 이미지는 왜곡되는 경향이 있다.

렌즈 촬영의 광학적 이유에서는, 촬영된 대상으로부터 변환된 이미지가 광학적으로 왜곡되는 경향이 있다.

단계 102: 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 선택한다.

임의의 교정 대상에서, 재투영 오차 값은 교정 대상의 이론적 광학 왜곡 이미지 좌표와 교정 대상의 실제적 왜곡 이미지 좌표 간의 차이를 말한다.

환언하면, 재투영 오차 값이 작을수록, 교정 대상의 이론적 광학 왜곡 이미지 좌표는 교정 대상의 실제적 왜곡 이미지 좌표에 더 근접하고, 후속의 광학 왜곡 정정의 정확도가 더 높다.

적어도 하나의 렌즈 광학 왜곡 모델은 메모리에 저장되어 있을 수 있다는 것에 유의해야 한다.

단계 102에서, 적어도 하나의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계는 렌즈 광학 왜곡 모델을 학습함으로써 획득될 수 있다.

예를 들어, 렌즈 광학 왜곡 모델이 선택되고, 다른 교정 대상에 대해, 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 각각 계산되며, 이 경우, 렌즈 광학 왜곡 모델과 계산에 의해 획득되는 복수의 재투영 오차 값 간의 맵핑 관계가 저장되거나, 복수의 재투영 오차 값에 의해 획득되는 평균값 또는 다른 형태의 수치 값이 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 되도록 결정되며, 렌즈 광학 왜곡 모델과 그 결정된 재투영 오차 값 간의 맵핑 관계가 저장된다.

단말 장치에서, 복수의 렌즈 광학 왜곡 모델이 저장될 수 있다.

예를 들어, 렌즈 광학 왜곡 모델은 서로 다른 광학 왜곡 유형을 조합함으로써 획득될 수 있다. 구체적으로, 렌즈 광학 왜곡 모델은 방사상 왜곡 모델과 접선 왜곡 모델을 조합함으로써 획득된다.

예를 들어, 방사상 왜곡에 대응하는 방사상 왜곡 모델은 다음과 같을 수 있다:

(식 1)

여기서, 여기서 (x, y)는 촬영된 대상의 이상적인 이미지 좌표이고, (x_rd, y_rd)는 촬영된 대상의 이상적인 이미지 좌표가 방사상으로 왜곡된 후 획득되는 좌표이고, r은 (x, y)의 극 반지름을 나타내고, K_i는 방사상 왜곡 계수를 나타내고, r²ⁱ에서의 2i는 방사상 왜곡 단수를 나타내고, i의 값은 1 내지 N이며, 여기서 N은 양의 정수이다.

접선 왜곡에 대응하는 접선 왜곡 모델은 다음과 같을 수 있다:

(식 2)

여기서, 여기서, 여기서 (x, y)는 촬영된 대상의 이상적인 이미지 좌표이고, (x_pd, y_pd)는 촬영된 대상의 이상적인 이미지 좌표가 접선으로 왜곡된 후 획득되는 좌표이고, r은 (x, y)의 극 반지름을 나타내고, P₁, P₂, P₃, P₄, ...는 접선 왜곡 계수를 나타내고, r의 지수는 접선 왜곡 단수를 나타낸다.

조합에 의해 획득되는 렌즈 광학 왜곡 모델은 다음과 같다:

(식 3)

여기서, (x_rd, y_rd)는 촬영된 대상의 이상적인 이미지 좌표가 방사상으로 왜곡된 후 획득되는 좌표이고, (x_pd, y_pd)는 촬영된 대상의 이상적인 이미지 좌표가 접선으로 왜곡된 후 획득되는 좌표이며, (x_d, y_d)는 촬영된 대상의 이상적인 이미지 좌표가 렌즈 광학 왜곡을 겪은 후 획득되는 좌표이다.

알 수 있는 바와 같이, 방사상 왜곡 단수가 다르면, 및/또는 접선 왜곡 단수가 다르면, 획득된 렌즈 광학 왜곡 모델도 다르다.

표 1은 방사상 왜곡 모델과 접선 왜곡 모델을 조합함으로써 획득되는 렌즈 광학 왜곡 모델을 나타낸다.

렌즈 광학 왜곡 모델 No.	렌즈 광학 왜곡 모델에 대응하는 방사상 왜곡 모델 및 접선 왜곡 모델
1	2단 방사상 왜곡 모델 및 0단 접선 왜곡 모델
2	4단 방사상 왜곡 모델 및 0단 접선 왜곡 모델
3	6단 방사상 왜곡 모델 및 0단 접선 왜곡 모델
4	(2+4)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델
5	(2+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델
6	(4+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델
7	(2+4+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델

식 1 및 식 2를 참조하면, 이해할 수 있는 바와 같이, 2단 방사상 왜곡 모델은

를 나타내고, 4단 방사상 왜곡 모델은

를 나타내고, 6단 방사상 왜곡 모델은

를 나타내고, (2+4)단 방사상 왜곡 모델은

를 나타내고, (2+6)단 방사상 왜곡 모델은

를 나타내고, (4+6)단 방사상 왜곡 모델은

를 나타내며, (2+4+6)단 방사상 왜곡 모델은

를 나타낸다.

0단 접선 왜곡 모델은

을 나타낸다.

단말 장치는 종래기술의 카메라/사진 교정 방법(예를 들어, Zhang Zhengyou 카메라 교정 방법 또는 Tsai 카메라 교정 방법)을 사용해서 서로 다른 렌즈 광학 왜곡 모델의 방사상 왜곡 계수, 접선 왜곡 계수, 및 극 반지름을 각각 결정한다.

서로 다른 렌즈 광학 왜곡 모델의 방사상 왜곡 계수, 접선 왜곡 계수, 및 극 반지름이 결정된 후, 상기 렌즈 광학 왜곡 모델과 상기 대응하는 재투영 오차 값 간의 맵핑 관계는 다음의 방식:

렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;

로 구축될 수 있다.

상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이에 따라, 상기 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값을 결정하는 단계는:

상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이가 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값인 것으로 결정하는 단계

를 포함한다는 것에 유의해야 한다.

교정 대상이 복수의 포인트를 포함하면, 상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이가 계산되고, 교정 대상의 동일한 포인트를 지시하는 상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표가 차이를 계산하기 위해 선택된다는 것에 유의해야 한다. 획득된 복수의 차이의 평균값 또는 가중 평균값은 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 되도록 결정된다.

예를 들어, 렌즈 광학 모델이 2단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 0.6이고; 렌즈 광학 모델이 6단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 0.67이고; 렌즈 광학 모델이 6단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 1.1이고; 렌즈 광학 모델이 (2+4)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 0.51이고; 렌즈 광학 모델이 (2+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 0.54이고; 렌즈 광학 모델이 (4+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 0.51이고; 렌즈 광학 모델이 (2+4+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 포함하면, 계산에 의해 획득된 재투영 오차 값은 0.49이다.

도 2에 도시된 바와 같이, 도 2는 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값에 대한 개략도이다.

지정된 임계값이 0.52이면, 재투영 오차 값이 0.52보다 작은 렌즈 광학 왜곡 모델은:

(2+4)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 조합함으로써 획득되는 렌즈 광학 왜곡 모델, 즉, 렌즈 광학 왜곡 모델 4;

(4+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 조합함으로써 획득되는 렌즈 광학 왜곡 모델, 즉, 렌즈 광학 왜곡 모델 6;

(2+4+6)단 방사상 왜곡 모델 및 0단 접선 왜곡 모델을 조합함으로써 획득되는 렌즈 광학 왜곡 모델, 즉, 렌즈 광학 왜곡 모델 7

을 포함한다.

렌즈 광학 왜곡 모델 7에 대한 계산에 의해 획득되는 재투영 오차 값이 가장 작으므로, 렌즈 광학 왜곡 모델 7이 우선 렌즈 광학 왜곡 모델로서 선택될 수 있고, 렌즈 광학 왜곡 모델 7의 복잡도 역시 가장 높다. 조건을 만족하는 렌즈 광학 왜곡 모델 4 및 렌즈 광학 왜곡 모델 6에 대응하는 재투영 오차 값에 대해, 렌즈 광학 왜곡 모델 4 또는 렌즈 광학 왜곡 모델 6이 한정된 컴퓨팅 자원을 가진 장치에서 선호될 수 있다. 이 방식에서, 계산 복잡도를 감소하기 위해 정정 정확도가 약간 희생된다.

선택적으로, 본 발명의 이 실시예에서, 단말 장치는 획득된 왜곡 이미지에 대응하는 촬영된 대상을 교정 대상으로 추가로 사용하고, 서로 다른 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값을 각각 계산하며, 계산에 의해 획득된 재투영 오차 값에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 선택하거나 최소 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택할 수 있다.

구체적으로, 촬영된 대상이 교정 대상으로 사용되면, 먼저, 촬영된 대상에 대응하는 실제적 왜곡 이미지 좌표가 결정되고, 다음, 촬영된 대상에 대응하는 이론적 광학 왜곡 이미지 좌표가 서로 다른 렌즈 광학 왜곡 모델을 각각 사용하여 획득되고, 그런 다음 이론적 광학 왜곡 이미지 좌표와 실제적 왜곡 이미지 좌표 간의 차이가 계산되고, 각각의 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 획득되며, 마지막으로, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델이 선택되거나, 최소 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델이 선택된다.

각각의 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 획득되면, 렌즈 광학 왜곡 모델과 대응하는 재투영 오차 값 간의 맵핑 관계가 국부적으로 저장되고, 뒤이어 렌즈 광학 왜곡 모델을 선택하는 기준으로 사용될 수 있다는 것에 유의해야 한다.

단계 103: 선택된 렌즈 광학 왜곡 모델을 사용하여, 획득된 왜곡 이미지의 광학 왜곡을 정정하여 상기 광학 왜곡이 정정된 이미지를 획득한다.

단계 103에서, 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하는 단계는:

를 포함한다.

구체적으로, 먼저, 획득된 왜곡 이미지에 대응하는 촬영된 대상에 포함되는 각각의 포인트의 공간 좌표가 결정될 수 있고, 그런 다음 각각의 포인트의 공간 좌표에 대응하는 이상적인 이미지 좌표가 계산에 의해 획득된다.

이상적인 이미지 좌표는 광학 왜곡 없는 이미지 내의 촬영된 대상의 좌표이고, 공간 좌표는 3차원의 촬영된 대상의 좌표이다.

구체적으로, 각각의 포인트의 공간 좌표에 대응하는 이상적인 이미지 좌표는 다음의 방식:

광학 왜곡 없는 가상 그리드 이미지를 생성하고, 상기 가상 그리드 이미지에 촬영된 대상을 맵핑하여 촬영된 대상의 이상적인 이미지를 획득하는 단계, 및 상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표를 결정하는 단계에서의 계산에 의해 획득될 수 있다.

다음, 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표에 대해, 이하의 작동이 수행된다:

상기 이상적인 이미지로부터 그리드 포인트를 선택하고, 상기 선택된 렌즈 광학 왜곡 모델을 사용하여 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 이론적 광학 왜곡 이미지 좌표를 생성하는 단계;

를 포함한다.

상기 선택된 렌즈 광학 왜곡 모델을 사용하여 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 이론적 광학 왜곡 이미지 좌표를 생성하는 단계는 구체적으로:

상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하는 단계

를 포함한다.

구체적으로, 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하는 단계는 다음을 포함한다:

단계 1: 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표를 제1 핀홀 평면 좌표(pinhole plane coordanates)로 변환한다.

단계 2: 상기 선택된 렌즈 광학 왜곡 모델을 사용해서 제1 핀홀 평면 좌표를 왜곡된 제2 핀홀 평면 좌표를 변환하며, 상기 왜곡된 제2 핀홀 평면 좌표는 상기 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표가 상기 선택된 렌즈 광학 왜곡 모델에 기초하여 광학 왜곡을 겪은 후에 획득된다.

단계 3: 상기 단말 장치의 고유한 행렬을 사용해서 상기 왜곡된 제2 핀홀 평면 좌표를 상기 이론적 광학 왜곡 이미지 좌표로 변환한다.

핀홀 평면 좌표는 단말 장치에 기초해서 구축되는 좌표계에서 결정된 포인트의 좌표라는 것에 유의해야 한다.

단말 장치에 기초해서 구축되는 좌표계는: 원점으로 사용되는, 단말 장치의 촬영 유닛의 광학적 중심, 좌표계의 Z축으로 사용되면서 촬영 면에 수직인 광축, 및 포지티브 방향으로 사용되는 촬영 방향을 포함하며, 여기서 좌표계의 X축은 촬영 면 내의 이미지 물리 좌표계의 x축에 평행하고, 좌표계의 Y축은 촬영 면 내의 이미지 물리 좌표계의 y축에 평행하다.

예를 들어, 단계 1에서, 이하의 방식을 사용하여 선택된 그리드 포인트의 이상적인 이미지 좌표를 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표로 변환한다:

여기서, (x, y, 1)은 선택된 그리드 포인트의 이상적인 이미지 좌표에 대응하는 동질 좌표이고, (X, Y, Z)는 제1 핀홀 평면 좌표이며, A는 3*3의 상위 삼각 행렬이고(upper triangle matrix), 단말 장치의 교정 프로세스에서 고유한 행렬 출력을 나타내며, A^-1은 A의 역행렬이다.

(x, y, 1)은 (x, y)에 대해 동질 좌표 변환이 수행된 후에 획득되고, 여기서 (x, y)는 선택된 그리드 포인트의 이상적인 이미지 좌표이다.

예를 들어, 단계 2에서, 선택된 렌즈 광학 왜곡 모델을 사용하여, 제1 핀홀 평면 좌표에 대해 좌표 변환을 수행하여 왜곡된 제2 핀홀 평면 좌표를 획득한다.

선택된 렌즈 광학 왜곡 모델은 표 1에서 렌즈 광학 왜곡 모델 4이고, 여기서 방사상 왜곡 모델은

(식 4)이고; 삼각 왜곡 모델은

(식 5)이며, 조합에 의해 획득된 렌즈 광학 왜곡 모델은

(식 6)이다.

제1 핀홀 평면 좌표는 식 4 및 식 5로 각각 대체된다. 식 4로부터 계산에 의해 획득된 결과 및 식 5로부터 계산에 의해 획득된 결과는 식 6으로 대체되고, 왜곡 제2 핀홀 평면 좌표가 계산에 의해 획득된다.

예를 들어, 단계 3에서, 이하의 방식이 사용되어 제2 핀홀 평면 좌표를 이론적 광학 왜곡 이미지 좌표로 변환한다:

여기서, (x_d, y_d, z_d)는 이론적 광학 왜곡 이미지 좌표이고, (X_d, Y_d, 1)은 왜곡된 제2 핀홀 평면 좌표이다.

(X_d, Y_d, 1)은 단계 2에서 계산에 의해 획득된 (X_d, Y_d)의 동질 좌표이다.

동질 좌표 변환은 n차원 벡터를 나타내기 위해 n+1차원 벡터를 사용하는 방식이다.

구체적으로, 상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하는 단계는:

를 포함한다.

구체적으로, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하는 단계는:

찾아낸 픽셀의 픽셀 값에 대해 보간 연산(interpolation calculation)을 수행하여, 상기 이상적인 이미지 내의 촬영된 대상의 이상적인 이미지 좌표의 픽셀 값을 획득하는 단계

를 포함한다.

예를 들어, (x_d, y_d)는 이론적 광학 왜곡 이미지 좌표이고, 실제적 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀은 실제의 선택적 왜곡 이미지 좌표를 사용하여 찾아지고 다음과 같이 표현된다: (x1, y1), (x2, y2), (x3, y3), 및 (x4, y4); 그러므로 이상적인 이미지 내의 선택된 그리드 포인트 (x, y)에 대응하는 픽셀 값은 보간 연산이 (x1, y1)의 픽셀 값, (x2, y2)의 픽셀 값, (x3, y3)의 픽셀 값, 및 (x4, y4)의 픽셀 값에 대해 수행된 후 획득될 수 있다.

보간 연산 방법은 이중 선형 보간(bilinear interpolation)을 채용하거나, 바이큐빅 보간(bicubic interpolation)을 채용하거나, 에지 통계 정보에 기초하여 더 복잡한 보간을 채택할 수도 있으며, 이에 대해서는 여기서 구체적으로 제한되지 않는다는 것에 유의해야 한다..

이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값이 획득될 때, 그 획득된 이상적인 이미지는 그 획득된 왜곡 이미지의 광학 왜곡이 정정된 이미지로서 사용된다.

단계 104: 광학 왜곡이 정정된 이미지를 획득할 때, 지정된 대상이 광학 왜곡이 정정된 이미지에 포함되어 있는지를 검출하고, 지정된 왜곡이 포함되어 있으면, 단계 105를 수행하고, 그렇지 않으면, 광학 왜곡이 정정된 이미지를 출력한다.

단계 104에서, 지정된 대상은 얼굴 특징 이미지, 소정의 특정한 대상의 이미지 등이 될 수 있고, 이것은 여기서 제한되지 않는다.

단계 105: 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정한다.

획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향은: 지정된 대상이 획득된 왜곡 이미지의 중앙으로부터 획득된 왜곡 이미지의 가장자리로 이동하거나, 지정된 대상이 획득된 왜곡 이미지의 가장자리로부터 획득된 이미지의 중앙으로 이동하는 것을 포함한다.

획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향은: 변위 값 및 변위 변동 중 하나 이상을 포함한다:

구역 왜곡이란 변환에 의해 획득된 이미지가 촬영된 대상과 단말 장치 간의 공간적 거리 또는 광학 촬영 유닛의 촬영 기능을 사용해서 촬영된 대상을 이미지로 변환하는 프로세스에서의 촬영 각도로 인해 왜곡되는 것일 수 있다는 것에 유의해야 한다.

단계 105에서 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계는 구체적으로 다음을 포함한다:

단계 1: 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합을 결정하고, 광학 왜곡이 정정된 이미지 내의 지정된 대상의 제2 위치 좌표 집합을 결정한다.

예를 들어, 지정된 대상이 얼굴 특징이면, 얼굴 특징에 속하는 픽셀이 그 획득된 이미지에서 결정되고, 얼굴 특징에 속하는 결정된 픽셀의 좌표가 수집되어 제1 위치 좌표 집합을 획득하고, 얼굴 특징에 속하는 픽셀은 광학 왜곡이 정정된 이미지에서 결정되며, 얼굴 특징에 속하는 결정된 픽셀의 좌표가 수집되어 제2 위치 좌표 집합을 획득한다.

제1 위치 좌표 집합 및 제2 위치 좌표 집합에 포함되어 있는 얼굴 특징의 픽셀의 좌표는 얼굴 특징을 나타내는 촬영된 대상의 모든 픽셀의 좌표일 수도 있고 얼굴 특징을 나타내는 일부의 픽셀의 좌표일 수도 있다. 제1 위치 좌표 집합에 포함되어 있는, 얼굴 특징의 픽셀의 좌표 및 제2 위치 좌표 집합에 포함되어 있는, 얼굴 특징의 픽셀의 좌표는 얼굴 특징의 픽셀에 의해 나타나는 얼굴 특징이 같다는 것을 만족할 수 있다. 예를 들어, 촬영된 대상 내의 얼굴 특징 눈을 나타내는 픽셀에 1-10의 번호가 부여된다. 제1 위치 좌표 집합이 얼굴 특징 눈을 나타내는 No. 1 픽셀의 좌표를 포함하면, 제2 위치 좌표 집합 역시 얼굴 특징 눈을 나타내는 No. 1 픽셀의 좌표를 포함한다.

단계 2: 지정된 대상 내의 적어도 하나의 픽셀에 대해, 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표를 각각 결정한다.

예를 들어, 제1 위치 좌표 집합에 포함되어 있는, 얼굴 특징 눈을 나타내는 No. 1 픽셀의 좌표는 (a, b)이고;

제2 위치 좌표 집합에 포함되어 있는, 얼굴 특징 눈을 나타내는 No. 1 픽셀의 좌표는 (c, d)이다.

단계 3: 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표에 따라 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정한다.

예를 들어, (a, b)로부터 (c, d)로의 벡터가 계산되고, 벡터의 양의 부호 및 음의 부호는 획득된 왜곡 이미지 내의 얼굴 특징 눈을 나타내는 No. 1 픽셀의 구역 왜곡의 방향을 나타내고, 벡터의 값은 획득된 왜곡 이미지 내의 얼굴 특징 눈을 나타내는 No. 1 픽셀의 구역 왜곡의 강도를 나타낸다.

예를 들어, 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합에 따라, 지정된 대상이 그 획득된 왜곡 이미지의 4 모서리에 있고, 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 방향이 그 획득된 왜곡 이미지의 중앙으로부터 그 획득된 왜곡 이미지의 가장자리로 이동하는 것으로 결정되면, 왜곡 속도의 변화는: 처음에는 증가하다가 감소하는 것이다.

상대적 이동의 관점에서 보면, 지정된 대상이 그 획득된 왜곡 이미지 내에서 속도가 증가하는 영역에 있을 때, 지정된 대상은 4 모서리 쪽으로 신축되어, 지정된 대상의 구역 왜곡의 강도가 증가하게 하고, 지정된 대상이 그 획득된 왜곡 이미지 내에서 속도가 감소하는 영역에 있을 때, 지정된 대상은 중앙 쪽으로 압축되어, 지정된 대상의 구역 왜곡의 강도가 감소하게 한다.

도 3a에 도시된 바와 같이, 도 3a는 광학 왜곡 정정에서 이미지의 변위 벡터에 대한 정상 차트이다.

도 3b에 도시된 바와 같이, 도 3b는 광학 왜곡 정정에서 이미지의 변위 벡터에 대한 변화 차트이다.

단계 106: 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 따라 구역 왜곡 정정 파라미터를 선택한다.

구역 왜곡 정정 파라미터는 구역 왜곡 정정의 방향 및 구역 왜곡 정정의 강도를 설명하는 데 사용될 수 있다.

단계 106에서, 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 대응하는 구역 왜곡 정정 파라미터는 구역 왜곡의 강도 및 방향과 구역 왜곡 정정 파라미터 간의 맵핑 관계에 따라 획득된다.

구역 왜곡의 강도 및 방향과 구역 왜곡 정정 파라미터 간의 맵핑 관계는 학습에 의해 획득될 수 있다는 것에 유의해야 한다.

단계 107: 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득한다.

단계 107에서, 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하는 단계는 구체적으로 다음을 포함한다:

단계 1: 선택된 구역 왜곡 정정 파라미터를 사용해서, 제1 위치 좌표 집합에 포함되어 있는 각각의 픽셀의 좌표를 정정한다.

예를 들어, 제1 위치 좌표 집합으로부터 픽셀이 선택되고, 그 선택된 픽셀의 좌표는 이하의 방식으로 정정된다:

여기서,

는 선택된 픽셀의 정정된 좌표이고,

는 제2 위치 좌표 집합 내의 선택된 픽셀의 좌표이고,

는 제1 위치 좌표 집합 내의 선택된 픽셀의 좌표이며,

는 구역 왜곡 방향 및 구역 왜곡 강도를 포함하는 구역 왜곡 정정 파라미터이다.

단계 2: 정정된 제1 위치 좌표 집합과 제2 위치 좌표 집합에 따라, 상기 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 결정한다.

예를 들어, 정정된 제1 위치 좌표 집합으로부터 픽셀이 선택되고, 그 픽셀의 좌표에 대응하는 동질 좌표는

인 것으로 결정되고, 제2 위치 좌표 집합 내의 픽셀의 좌표에 대응하는 동일 좌표는

인 것으로 결정된다.

호모그래피 행렬 H는

및

에서 동일한 픽셀에 대응하는 좌표의 공간적 변환 관계, 즉

를 설명하고, 여기서

이다.

는 호모그래피 행렬을 나타내고, 여기서 호모그래피 행렬은 3*3 행렬이다.

추가의 확장에 의해 이하가 획득된다:

여기서

이다.

추가의 정리(collation)에 의해

가 획득되고, 여기서

이고,

이다.

이고,

은

에 포함되어 있는 픽셀 페어의 개수이다.

의 경우, 최소 제곱법 또는 그래디언트 디센트(gradient descent) 방법을 사용하여 h를 획득하고, 추가로 호모그래피 행렬 H를 획득하며, 여기서 호모그래피 행렬 H는 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 나타낸다.

단계 3: 결정된 변환 규칙을 사용해서, 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득한다.

구체적으로, 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하는 단계는 구체적으로:

먼저, 광학 왜곡이 정정된 이미지에 따라, 구역 왜곡이 정정된 가상 그리드 이미지를 생성하는 단계 - 상기 구역 왜곡이 정정된 가상 그리드 이미지에 포함되어 있는 그리드 포인트의 개수는 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 개수와 같으며, 동일한 위치의 그리드 포인트의 좌표와 픽셀의 좌표는 같음 - ; 및

다음, 그리드 이미지 내의 각각의 그리드 포인트에 대해, 이하의 작동:

를 포함한다.

구체적으로, 상기 결정된 변환 규칙을 사용해서 상기 그리드 포인트의 좌표를 구역 왜곡 좌표로 변환하는 단계는:

및

이고,

여기서, (x₁, y₁)은 선택된 그리드 포인트의 좌표이고, H^-1은 호모그래피 행렬의 역행렬이며, (x₂, y₂)는 구역 왜곡 좌표이다.

구체적으로, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하는 단계는:

찾아낸 픽셀의 픽셀 값에 대해 보간 연산(interpolation calculation)을 수행하여, 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하는 단계

를 포함한다.

구역 왜곡 없는 이미지 내의 픽셀 값이 그리드 이미지 내의 각각의 그리드 포인트에 대해 획득될 때, 획득된 왜곡 이미지의 광학 왜곡과 구역 왜곡이 정정된 이미지를 획득하도록 조합이 수행된다.

선택적으로, 상기 방법은:

획득된 왜곡 이미지의 광학 왜곡과 구역 왜곡이 정정된 이미지가 획득된 후, 상기 방법은: 획득된 이미지의 해상도가 단말 장치의 이미지 해상도와 같을 수 있도록, 디스플레이 파라미터를 사용하여 그 획득된 이미지를 표시하고 조정하며, 조정된 이미지를 출력하는 단계

를 더 포함한다.

디스플레이 파라미터는 디스플레이 크기, 디스플레이 해상도 등을 포함할 수 있다는 것에 유의해야 한다.

본 발명의 실시예 1의 솔루션에서, 촬영된 대상의 왜곡 이미지가 획득되고; 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델이 선택되고, 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용되며, 그리고 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡이 정정되어, 상기 광학 왜곡이 정정된 이미지가 획득된다. 이 방법에서, 획득된 왜곡 이미지에 대해, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 사용하여 광학 왜곡 정정이 수행되고, 촬영된 대상의 이미지를 획득하는 프로세스에서 촬영 장치의 광학 촬영 이론에 의해 초래되는 광학 왜곡이 효과적으로 제거되며, 또한 선택된 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값이 지정된 임계값보다 작으므로, 광학 왜곡 정정의 정확도가 향상되며, 촬영된 이미지의 품질이 향상된다.

실시예 2

도 4에 도시된 바와 같이, 도 4는 본 발명의 실시예 2에 따른 이미지 처리 장치에 대한 개략적인 구조도이다. 이미지 처리 장치는 본 발명의 실시예 1의 기능을 가진다. 이미지 처리 장치의 기능은 범용 컴퓨터를 사용해서 실행될 수 있다. 이미지 처리 장치는 촬영 장치(31), 이미지 센서(32), 및 프로세서(32)를 포함한다. 이미지 센서(32)와 프로세서(33)는 서브(34)에 의해 연결된다.

촬영 장치(31)는 이미지 센서(32)에 촬영된 대상을 맵핑하도록 구성되어 있다.

이미지 센서(32)는 촬영된 대상의 왜곡 이미지를 획득하도록 구성되어 있다.

프로세서(33)는, 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 선택하고 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 그리고

상기 렌즈 광학 왜곡 모델을 사용해서, 상기 이미지 센서(32)에 의해 획득된 왜곡 이미지의 광학 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있다.

또한, 이미지 처리 장치는 메모리(35)를 포함하며, 여기서 메모리(35)와 프로세서(33)는 버스(34)에 의해 연결된다.

메모리(34)는 이미지 센서(32)에 의해 획득된 왜곡 이미지를 저장하도록 구성되어 있다.

메모리(34)는 저장된 왜곡 이미지를 프로세서(33)에 송신하도록 추가로 구성되어 있다.

또한, 이미지 처리 장치는 디스플레이(36)를 더 포함할 수 있으며, 여기서 디스플레이(36)와 프로세서(33)는 버스(34)에 의해 연결된다.

디스플레이(36)는 프로세서(33)에 의해 획득된, 광학 왜곡이 정정된 이미지를 출력하고 표시하도록 구성되어 있다.

구체적으로, 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는:

렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;

를 포함한다.

구체적으로, 상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 프로세서(33)는,

구체적으로, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득할 때, 상기 프로세서(33)는 구체적으로:

구체적으로, 상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정할 때, 상기 프로세서(33)는 구체적으로:

디스플레이(36)는 구역 왜곡이 정정된 이미지를 표시하도록 추가로 구성되어 있다.

프로세서(33)는 범용 중앙처리장치(general-purpose central processing unit, CPU), 마이프로프로세서, 주문형 집적회로(application-specific integrated circuit, ASIC), 또한 본 발명의 솔루션에서 프로그램 실행을 제어하기 위한 하나 이상의 집적회로일 수 있다.

메모리(35)는 리드-온리 메모리(read-only memory, ROM) 또는 스태틱 정보 및 명령을 저장할 수 있는 다른 유형의 스태틱 저장 장치, 또는 랜덤 액세스 메모리(random access memory, RAM), 또는 동적 정보 및 명령을 저장할 수 있는 다른 유형의 동적 저장 장치일 수도 있고, 전기적으로 소거 가능한 프로그래머블 리드-온리 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 콤팩트 디스크 리드-온리 메모리(Compact Disc Read-Only Memory, CD-ROM), 또는 그 외 광디스크 스토리지(콤팩트 디스크, 레이저 디스크, 광디스크, 디지털 버서타일 디스크, 블루-레이 디스크 등을 포함한다), 자기 디스크 스토리지 매체, 또는 그 외 자기 디스크 장치, 또는 명령 또는 데이터 구조 형태를 가지는 예상 프로그램 코드를 반송 또는 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체일 수도 있으며, 이것은 제한되지 않는다. 메모리는 버스에 의해 프로세서에 연결된다.

왜곡 이미지에 대해, 이미지 처리 장치는 렌즈 광학 왜곡 모델을 사용해서, 렌즈 장치에 의해 초래되는 광학 왜곡을 정정할 뿐만 아니라, 구역 왜곡 정정 파라미터를 사용해서, 촬영 각도에 의해 초래되는 구역 왜곡도 정정한다. 그러므로 포착 장치에 의해 포착된 이미지의 품질이 향상된다.

실시예 3

도 5에 도시된 바와 같이, 도 5는 본 발명의 실시예 3에 따른 이미지 처리 장치에 대한 개략적인 구조도이다. 이미지 처리 장치는 획득 모듈(41), 선택 모듈(42), 및 프로세싱 모듈(43)을 포함한다.

획득 모듈(41)은 촬영된 대상의 왜곡 이미지를 획득하도록 구성되어 있다.

선택 모듈(42)은 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 지정된 임계값보다 작은 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택하도록 구성되어 있으며, 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용된다.

프로세싱 모듈(43)은 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있다.

구체적으로, 상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득할 때, 상기 프로세싱 모듈은 구체적으로,

구체적으로, 상기 광학 왜곡이 정정된 이미지를 획득할 때, 상기 프로세싱 모듈(43)은 구체적으로:

선택적으로, 상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는:

렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;

를 포함한다.

선택적으로, 상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 프로세서(43)는:

구체적으로, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득할 때, 상기 프로세싱 모듈(43)은 구체적으로:

구체적으로, 상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정할 때, 상기 프로세싱 모듈(43)은 구체적으로:

본 발명의 실시예 3에서의 이미지 처리 장치는 단말 장치에 집적된 논리 구성요소일 수 있고, 하드웨어 또는 소프트웨어로 실현될 수도 있고, 단말 장치와는 독립적인 장치일 수도 있으며, 이것은 여기서 제한되지 않는다.

당업자는 본 발명의 실시예는 방법, 장치(기기), 또는 컴퓨터 프로그램 제품으로서 제공될 수 있다는 것에 유의해야 한다. 그러므로 본 발명은 하드웨어 전용 실시예, 소프트웨어 전용 실시예, 또는 소프트웨어와 하드웨어의 조합의 실시예의 형태를 사용할 수 있다. 게다가, 본 발명은 컴퓨터 사용 가능형 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용 가능형 저장 매체(디스크 메모리, CD-ROM, 광 메모리 등을 포함하되 이에 제한되지 않는다) 상에서 실현될 수 있는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.

본 발명은 본 발명의 실시예에 따른 방법, 장치(기기), 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 설명하였다. 컴퓨터 프로그램 명령은 흐름도 및/또는 블록도에서의 각각의 프로세스 및/또는 각각의 블록 및 흐름도 및/또는 블록도에서의 하나의 프로세스 및/또는 하나의 블록의 조합을 실현하는 데 사용될 수 있다는 것에 유의해야 한다. 이러한 컴퓨터 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터, 임베디드 프로세서, 또는 머신을 생산하는 임의의 다른 프로그래머블 데이터 처리 장치의 프로세서를 위해 제공될 수 있으며, 이에 따라 컴퓨터 또는 임의의 다른 프로그래머블 데이터 처리 장치의 프로세서에 의해 실행되는 명령은 흐름도에서의 하나 이상의 프로세스 및/또는 블록도에서의 하나 이상의 블록에서의 특정한 기능을 실행하기 위한 장치를 생성한다.

이러한 컴퓨터 프로그램 명령은 특정한 방식으로 작동하는 컴퓨터 또는 임의의 다른 프로그래머블 데이터 처리 장치에 명령할 수 있는 컴퓨터 판독 가능형 메모리에 저장될 수 있으며, 이에 따라 컴퓨터 판독 가능형 메모리에 저장되어 있는 명령은 명령 장치를 포함하는 인공물을 생성한다. 명령 장치는 흐름도에서의 하나 이상의 프로세스 및/또는 블록도에서의 하나 이상의 블록에서의 특정한 기능을 실행한다.

이러한 컴퓨터 프로그램 명령은 또한 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치에 로딩될 수 있으며, 이에 따라 일련의 동작 및 단계는 컴퓨터 또는 다른 프로그래머블 장치 상에서 수행되며, 이에 의해 컴퓨터가 실행한 프로세싱을 생성한다. 그러므로 컴퓨터 또는 다른 프로그래머블 장치 상에서 실행되는 명령은 흐름도에서의 하나 이상의 프로세스 및/또는 블록도에서의 하나 이상의 블록에서의 특정한 기능을 실행하기 위한 단계를 생성한다.

본 발명의 일부의 바람직한 실시예를 설명하였으나, 당업자라면 기초적인 창조적 개념을 알게 되면 이러한 실시예에 대한 변형 및 수정을 수행할 수 있다. 그러므로 이하의 청구범위는 바람직한 실시예 및 본 발명의 범위 내에 해당되는 모든 변형 및 수정을 망라하는 것으로 의도되어야 한다.

당연히, 당업자는 본 발명의 정신 및 범주를 벗어남이 없이 본 발명에 대한 다양한 수정 및 변형을 수행할 수 있다. 본 발명은 이러한 수정 및 변형이 이하의 청구범위 및 그 등가의 기술에 의해 규정되는 보호 범위 내에 있는 한 이러한 수정 및 변형을 망라하도록 의도된다.

Claims

이미지 처리 방법으로서,
촬영된 대상의 왜곡 이미지를 획득하는 단계;
적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 지정된 임계값보다 작은 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택하는 단계 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 및
상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하는 단계, 및 상기 광학 왜곡이 정정된 이미지를 획득하는 단계
를 포함하는 이미지 처리 방법.
제1항에 있어서,
상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하는 단계는,
상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하는 단계 - 상기 이상적인 이미지 좌표는 광학 왜곡 없는 이미지 내의 촬영된 대상의 좌표를 나타내는 데 사용됨 - ;
상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하는 단계;
상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하는 단계; 및
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하는 단계
를 포함하는, 이미지 처리 방법.
제2항에 있어서,
상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하는 단계는,
광학 왜곡 없는 가상 그리드 이미지를 생성하고, 상기 그리드 이미지에 상기 촬영된 대상을 맵핑하여 상기 촬영된 대상의 이상적인 이미지를 획득하는 단계; 및
상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표를 결정하는 단계
를 포함하는, 이미지 처리 방법.
제3항에 있어서,
상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하는 단계는,
단말 장치의 고유한 행렬 및 고유한 행렬의 역행렬을 판독하는 단계; 및
상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표에 대해:
상기 이상적인 이미지로부터 그리드 포인트를 선택하고, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하는 단계
를 포함하는, 이미지 처리 방법.
제4항에 있어서,
상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하는 단계는,
상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표를 제1 핀홀 평면 좌표(pinhole plane coordinates)로 변환하는 단계;
상기 선택된 렌즈 광학 왜곡 모델을 사용해서 제1 핀홀 평면 좌표를 왜곡된 제2 핀홀 평면 좌표를 변환하는 단계 - 상기 왜곡된 제2 핀홀 평면 좌표는 상기 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표가 상기 선택된 렌즈 광학 왜곡 모델에 기초하여 광학 왜곡을 겪은 후에 획득됨 - ; 및
상기 단말 장치의 고유한 행렬을 사용해서 상기 왜곡된 제2 핀홀 평면 좌표를 상기 이론적 광학 왜곡 이미지 좌표로 변환하는 단계
를 포함하는, 이미지 처리 방법.
제2항 내지 제5항 중 어느 한 항에 있어서,
상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하는 단계는,
상기 획득된 왜곡 이미지에 포함되어 있는 각각의 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표 간의 거리를 계산하고, 상기 계산에 의해 획득된 거리가 지정된 임계값보다 작은 대응하는 픽셀을 결정하는 단계
를 포함하는, 이미지 처리 방법.
제2항 내지 제6항 중 어느 한 항에 있어서,
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하는 단계는,
찾아낸 픽셀의 픽셀 값에 대해 보간 연산(interpolation calculation)을 수행하여, 상기 이상적인 이미지 내의 촬영된 대상의 이상적인 이미지 좌표의 픽셀 값을 획득하는 단계
를 포함하는, 이미지 처리 방법.
제3항 내지 제7항 중 어느 한 항에 있어서,
상기 광학 왜곡이 정정된 이미지를 획득하는 단계는,
상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 획득된 이상적인 이미지를 상기 획득된 왜곡 이미지의 광학 왜곡이 정정된 이미지로 사용하는 단계
를 포함하는, 이미지 처리 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는,
렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;
상기 교정 대상을 그리드 이미지에 맵핑하여 상기 교정 대상의 이상적인 이미지 좌표를 획득하는 단계;
상기 렌즈 광학 왜곡 모델을 사용해서 상기 교정 대상의 획득된 이상적인 이미지 좌표를 이론적 광학 왜곡 이미지 좌표로 변환하는 단계;
광학 이미지 장치의 촬영 기능을 사용해서 교정 대상을 이미지 센서에 맵핑하여, 광학 왜곡 이미지를 획득하고, 상기 광학 왜곡 이미지 내의 픽셀의 실제 왜곡 이미지 좌표를 결정하는 단계;
상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이에 따라, 상기 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값을 결정하는 단계; 및
상기 렌즈 광학 왜곡 모델과 상기 결정된 재투영 오차 값 간의 맵핑 관계를 구축하는 단계
를 포함하는, 이미지 처리 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때,
상기 획득된 왜곡 이미지 내에 지정된 대상이 포함되어 있는 것으로 결정할 때, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계;
상기 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 따라 구역 왜곡 정정 파라미터를 선택하는 단계; 및
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하는 단계
를 더 포함하는 이미지 처리 방법.
제10항에 있어서,
상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계는,
상기 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합을 결정하고, 상기 광학 왜곡이 정정된 이미지 내의 지정된 대상의 제2 위치 좌표 집합을 결정하는 단계;
상기 지정된 대상 내의 적어도 하나의 픽셀에 대해, 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표를 각각 결정하는 단계; 및
제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표에 따라 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하는 단계
를 포함하는, 이미지 처리 방법.
제10항 또는 제11항에 있어서,
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하는 단계는,
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 제1 위치 좌표 집합에 포함되어 있는 각각의 픽셀의 좌표를 정정하는 단계;
정정된 제1 위치 좌표 집합과 제2 위치 좌표 집합에 따라, 상기 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 결정하는 단계; 및
상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하는 단계, 및 상기 광학 왜곡이 정정된 이미지를 획득하는 단계
를 포함하는, 이미지 처리 방법.
제12항에 있어서,
상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하는 단계는,
상기 광학 왜곡이 정정된 이미지에 따라, 상기 구역 왜곡이 정정된 가상 그리드 이미지를 생성하는 단계 - 상기 구역 왜곡이 정정된 가상 그리드 이미지에 포함되어 있는 그리드 포인트의 개수는 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 개수와 같으며, 동일한 위치의 그리드 포인트의 좌표와 픽셀의 좌표는 같음 - ; 및
상기 그리드 이미지 내의 각각의 그리드 포인트에 대해, 이하의 작동:
상기 그리드 이미지로부터 그리드 포인트를 선택하고, 상기 결정된 변환 규칙을 사용해서 상기 그리드 포인트의 좌표를 구역 왜곡 좌표로 변환하는 단계;
상기 구역 왜곡 좌표 및 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 좌표에 따라, 좌표와 상기 구역 왜곡 좌표 간의 거리가 지정된 거리보다 작은 픽셀을 검색하는 단계; 및
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하는 단계
를 포함하는, 이미지 처리 방법.
이미지 처리 장치로서,
촬영 장치, 이미지 센서, 및 프로세서를 포함하며, 상기 이미지 센서는 버스에 의해 상기 프로세서에 연결되어 있으며,
상기 촬영 장치는 상기 이미지 센서에 촬영된 대상을 맵핑하도록 구성되어 있으며,
상기 이미지 센서는 상기 촬영된 대상의 왜곡 이미지를 획득하도록 구성되어 있으며,
상기 프로세서는, 적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 재투영 오차 값이 지정된 임계값보다 작은 렌즈 광학 왜곡 모델을 선택하고 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 그리고
상기 렌즈 광학 왜곡 모델을 사용해서, 상기 이미지 센서에 의해 획득된 왜곡 이미지의 광학 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있는, 이미지 처리 장치.
제14항에 있어서,
상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정할 때, 상기 프로세서는 구체적으로,
상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하고 - 상기 이상적인 이미지 좌표는 광학 왜곡 없는 이미지 내의 촬영된 대상의 좌표를 나타내는 데 사용됨 - ;
상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하고;
상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하며; 그리고
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하도록 구성되어 있는, 이미지 처리 장치.
제15항에 있어서,
상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정할 때, 상기 프로세서는 구체적으로,
광학 왜곡 없는 가상 그리드 이미지를 생성하고, 상기 그리드 이미지에 상기 촬영된 대상을 맵핑하여 상기 촬영된 대상의 이상적인 이미지를 획득하며; 그리고
상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표를 결정하도록 구성되어 있는, 이미지 처리 장치.
제16항에 있어서,
상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세서는 구체적으로,
단말 장치의 고유한 행렬 및 고유한 행렬의 역행렬을 판독하며; 그리고
상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표에 대해:
상기 이상적인 이미지로부터 그리드 포인트를 선택하고, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하도록 구성되어 있는, 이미지 처리 장치.
제17항에 있어서,
상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세서는 구체적으로,
상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표를 제1 핀홀 평면 좌표로 변환하고;
상기 선택된 렌즈 광학 왜곡 모델을 사용해서 제1 핀홀 평면 좌표를 왜곡된 제2 핀홀 평면 좌표를 변환하며 - 상기 왜곡된 제2 핀홀 평면 좌표는 상기 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표가 상기 선택된 렌즈 광학 왜곡 모델에 기초하여 광학 왜곡을 겪은 후에 획득됨 - ; 그리고
상기 단말 장치의 고유한 행렬을 사용해서 상기 왜곡된 제2 핀홀 평면 좌표를 상기 이론적 광학 왜곡 이미지 좌표로 변환하도록 구성되어 있는, 이미지 처리 장치.
제15항 내지 제18항 중 어느 한 항에 있어서,
상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색할 때, 상기 프로세서는 구체적으로,
상기 획득된 왜곡 이미지에 포함되어 있는 각각의 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표 간의 거리를 계산하고, 상기 계산에 의해 획득된 거리가 지정된 임계값보다 작은 대응하는 픽셀을 결정하도록 구성되어 있는, 이미지 처리 장치.
제15항 내지 제19항 중 어느 한 항에 있어서,
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득할 때, 상기 프로세서는 구체적으로,
찾아낸 픽셀의 픽셀 값에 대해 보간 연산을 수행하여, 상기 이상적인 이미지 내의 촬영된 대상의 이상적인 이미지 좌표의 픽셀 값을 획득하도록 구성되어 있는, 이미지 처리 장치.
제15항 내지 제20항 중 어느 한 항에 있어서,
상기 광학 왜곡이 정정된 이미지를 획득할 때, 상기 프로세서는 구체적으로,
상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 획득된 이상적인 이미지를 상기 획득된 왜곡 이미지의 광학 왜곡이 정정된 이미지로 사용하도록 구성되어 있는, 이미지 처리 장치.
제14항 내지 제21항 중 어느 한 항에 있어서,
상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는,
렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;
상기 교정 대상을 그리드 이미지에 맵핑하여 상기 교정 대상의 이상적인 이미지 좌표를 획득하는 단계;
상기 렌즈 광학 왜곡 모델을 사용해서 상기 교정 대상의 획득된 이상적인 이미지 좌표를 이론적 광학 왜곡 이미지 좌표로 변환하는 단계;
광학 이미지 장치의 촬영 기능을 사용해서 교정 대상을 이미지 센서에 맵핑하여, 광학 왜곡 이미지를 획득하고, 상기 광학 왜곡 이미지 내의 픽셀의 실제 왜곡 이미지 좌표를 결정하는 단계;
상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이에 따라, 상기 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값을 결정하는 단계; 및
상기 렌즈 광학 왜곡 모델과 상기 결정된 재투영 오차 값 간의 맵핑 관계를 구축하는 단계
를 포함하는, 이미지 처리 장치.
제14항 내지 제22항 중 어느 한 항에 있어서,
상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 프로세서는,
상기 획득된 왜곡 이미지 내에 지정된 대상이 포함되어 있는 것으로 결정할 때, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하고;
상기 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 따라 구역 왜곡 정정 파라미터를 선택하며; 그리고
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하도록 추가로 구성되어 있는, 이미지 처리 장치.
제23항에 있어서,
상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정할 때, 상기 프로세서는 구체적으로,
상기 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합을 결정하고, 상기 광학 왜곡이 정정된 이미지 내의 지정된 대상의 제2 위치 좌표 집합을 결정하고;
상기 지정된 대상 내의 적어도 하나의 픽셀에 대해, 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표를 각각 결정하며; 그리고
제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표에 따라 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하도록 구성되어 있는, 이미지 처리 장치.
제23항 또는 제24항에 있어서,
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득할 때, 상기 프로세서는 구체적으로,
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 제1 위치 좌표 집합에 포함되어 있는 각각의 픽셀의 좌표를 정정하고;
정정된 제1 위치 좌표 집합과 제2 위치 좌표 집합에 따라, 상기 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 결정하며; 그리고
상기 결정된 변환 규칙에 따라, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있는, 이미지 처리 장치.
제25항에 있어서,
상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정할 때, 상기 프로세서는 구체적으로,
상기 광학 왜곡이 정정된 이미지에 따라, 상기 구역 왜곡이 정정된 가상 그리드 이미지를 생성하고 - 상기 구역 왜곡이 정정된 가상 그리드 이미지에 포함되어 있는 그리드 포인트의 개수는 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 개수와 같으며, 동일한 위치의 그리드 포인트의 좌표와 픽셀의 좌표는 같음 - ; 그리고
상기 그리드 이미지 내의 각각의 그리드 포인트에 대해, 이하의 작동:
상기 그리드 이미지로부터 그리드 포인트를 선택하고, 상기 결정된 변환 규칙을 사용해서 상기 그리드 포인트의 좌표를 구역 왜곡 좌표로 변환하고;
상기 구역 왜곡 좌표 및 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 좌표에 따라, 좌표와 상기 구역 왜곡 좌표 간의 거리가 지정된 거리보다 작은 픽셀을 검색하며; 그리고
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하도록 구성되어 있는, 이미지 처리 장치.
이미지 처리 장치로서,
촬영된 대상의 왜곡 이미지를 획득하도록 구성되어 있는 획득 모듈;
적어도 한 그룹의 렌즈 광학 왜곡 모델과 재투영 오차 값 간의 맵핑 관계에 따라, 지정된 임계값보다 작은 재투영 오차 값에 대응하는 렌즈 광학 왜곡 모델을 선택하도록 구성되어 있는 선택 모듈 - 상기 렌즈 광학 왜곡 모델은 광학 왜곡 유형, 왜곡 단수 및 왜곡 계수를 포함하고, 교정 대상에 대해, 상기 재투영 오차 값은 상기 교정 대상의 이론적 왜곡 이미지 좌표와 상기 교정 대상의 실제 왜곡 이미지 좌표 간의 차이를 나타내는 데 사용됨 - ; 및
상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있는 프로세싱 모듈
을 포함하는 이미지 처리 장치.
제27항에 있어서,
상기 렌즈 광학 왜곡 모델을 사용해서, 상기 획득된 왜곡 이미지의 광학 왜곡을 정정할 때, 상기 프로세싱 모듈은 구체적으로,
상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정하고 - 상기 이상적인 이미지 좌표는 광학 왜곡 없는 이미지 내의 촬영된 대상의 좌표를 나타내는 데 사용됨 - ;
상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득하고;
상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색하며; 그리고
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득하도록 구성되어 있는, 이미지 처리 장치.
제28항에 있어서,
상기 획득된 왜곡 이미지에 대응하는 촬영된 대상의 이상적인 이미지 좌표를 결정할 때, 상기 프로세싱 모듈은 구체적으로,
광학 왜곡 없는 가상 그리드 이미지를 생성하고, 상기 그리드 이미지에 상기 촬영된 대상을 맵핑하여 상기 촬영된 대상의 이상적인 이미지를 획득하며; 그리고
상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표를 결정하도록 구성되어 있는, 이미지 처리 장치.
제29항에 있어서,
상기 렌즈 광학 왜곡 모델을 사용해서 상기 촬영된 대상의 결정된 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이상적인 이미지 좌표에 대응하는 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세싱 모듈은 구체적으로,
단말 장치의 고유한 행렬 및 고유한 행렬의 역행렬을 판독하며; 그리고
상기 이상적인 이미지 내의 각각의 그리드 포인트의 이상적인 이미지 좌표에 대해:
상기 이상적인 이미지로부터 그리드 포인트를 선택하고, 상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득하도록 구성되어 있는, 이미지 처리 장치.
제30항에 있어서,
상기 단말 장치의 고유한 행렬, 상기 선택된 렌즈 광학 왜곡 모델 및 상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표에 대해 좌표 변환을 수행하여, 상기 이론적 광학 왜곡 이미지 좌표를 획득할 때, 상기 프로세싱 모듈은 구체적으로,
상기 단말 장치의 고유한 행렬의 역행렬을 사용해서 상기 선택된 그리드 포인트의 이상적인 이미지 좌표를 제1 핀홀 평면 좌표로 변환하고;
상기 선택된 렌즈 광학 왜곡 모델을 사용해서 제1 핀홀 평면 좌표를 왜곡된 제2 핀홀 평면 좌표를 변환하며 - 상기 왜곡된 제2 핀홀 평면 좌표는 상기 선택된 그리드 포인트에 대응하는 제1 핀홀 평면 좌표가 상기 선택된 렌즈 광학 왜곡 모델에 기초하여 광학 왜곡을 겪은 후에 획득됨 - ; 그리고
상기 단말 장치의 고유한 행렬을 사용해서 상기 왜곡된 제2 핀홀 평면 좌표를 상기 이론적 광학 왜곡 이미지 좌표로 변환하도록 구성되어 있는, 이미지 처리 장치.
제28항 내지 제31항 중 어느 한 항에 있어서,
상기 획득된 왜곡 이미지에 포함되어 있는 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표에 따라, 실제 광학 왜곡 이미지 좌표와 이론적 광학 왜곡 이미지 좌표 간의 거리가 지정된 임계값보다 작은 픽셀을 검색할 때, 상기 프로세싱 모듈은 구체적으로,
상기 획득된 왜곡 이미지에 포함되어 있는 각각의 픽셀의 이론적 광학 왜곡 이미지 좌표 및 실제적 광학 왜곡 이미지 좌표 간의 거리를 계산하고, 상기 계산에 의해 획득된 거리가 지정된 임계값보다 작은 대응하는 픽셀을 결정하도록 구성되어 있는, 이미지 처리 장치.
제28항 내지 제32항 중 어느 한 항에 있어서,
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 촬영된 대상의 이상적인 이미지 좌표에 대응하는 픽셀 값을 획득할 때, 상기 프로세싱 모듈은 구체적으로,
찾아낸 픽셀의 픽셀 값에 대해 보간 연산을 수행하여, 상기 이상적인 이미지 내의 촬영된 대상의 이상적인 이미지 좌표의 픽셀 값을 획득하도록 구성되어 있는, 이미지 처리 장치.
제29항 내지 제33항 중 어느 한 항에 있어서,
상기 광학 왜곡이 정정된 이미지를 획득할 때, 상기 프로세싱 모듈은 구체적으로,
상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 획득된 이상적인 이미지를 상기 획득된 왜곡 이미지의 광학 왜곡이 정정된 이미지로 사용하도록 구성되어 있는, 이미지 처리 장치.
제27항 내지 제34항 중 어느 한 항에 있어서,
상기 렌즈 광학 왜곡 모델과 상기 재투영 오차 값 간의 맵핑 관계는,
렌즈 광학 왜곡 모델에 대한 교정 대상을 선택하는 단계;
상기 교정 대상을 그리드 이미지에 맵핑하여 상기 교정 대상의 이상적인 이미지 좌표를 획득하는 단계;
상기 렌즈 광학 왜곡 모델을 사용해서 상기 교정 대상의 획득된 이상적인 이미지 좌표를 이론적 광학 왜곡 이미지 좌표로 변환하는 단계;
광학 이미지 장치의 촬영 기능을 사용해서 교정 대상을 이미지 센서에 맵핑하여, 광학 왜곡 이미지를 획득하고, 상기 광학 왜곡 이미지 내의 픽셀의 실제 왜곡 이미지 좌표를 결정하는 단계;
상기 이론적 광학 왜곡 이미지 좌표와 상기 실제적 왜곡 이미지 좌표 간의 차이에 따라, 상기 렌즈 광학 왜곡 모델에 대응하는 재투영 오차 값을 결정하는 단계; 및
상기 렌즈 광학 왜곡 모델과 상기 결정된 재투영 오차 값 간의 맵핑 관계를 구축하는 단계
를 포함하는, 이미지 처리 장치.
제27항 내지 제35항 중 어느 한 항에 있어서,
상기 이상적인 이미지 내의 각각의 그리드 포인트의 픽셀 값을 획득할 때, 상기 프로세서는,
상기 획득된 왜곡 이미지 내에 지정된 대상이 포함되어 있는 것으로 결정할 때, 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하고;
상기 지정된 대상의 구역 왜곡의 결정된 강도 및 방향에 따라 구역 왜곡 정정 파라미터를 선택하며; 그리고
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득하도록 추가로 구성되어 있는, 이미지 처리 장치.
제36항에 있어서,
상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정할 때, 상기 프로세싱 모듈은 구체적으로,
상기 획득된 왜곡 이미지 내의 지정된 대상의 제1 위치 좌표 집합을 결정하고, 상기 광학 왜곡이 정정된 이미지 내의 지정된 대상의 제2 위치 좌표 집합을 결정하고;
상기 지정된 대상 내의 적어도 하나의 픽셀에 대해, 제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표를 각각 결정하며; 그리고
제1 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표 및 제2 위치 좌표 집합 내의 적어도 하나의 픽셀의 좌표에 따라 상기 획득된 왜곡 이미지 내의 지정된 대상의 구역 왜곡의 강도 및 방향을 결정하도록 구성되어 있는, 이미지 처리 장치.
제36항 또는 제37항에 있어서,
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하여, 상기 구역 왜곡이 정정된 이미지를 획득할 때, 상기 프로세싱 모듈은 구체적으로,
상기 선택된 구역 왜곡 정정 파라미터를 사용해서 제1 위치 좌표 집합에 포함되어 있는 각각의 픽셀의 좌표를 정정하고;
정정된 제1 위치 좌표 집합과 제2 위치 좌표 집합에 따라, 상기 정정된 제1 위치 좌표 집합 내의 지정된 대상의 픽셀의 좌표와 제2 위치 좌표 집합 내의 픽셀의 좌표 간의 변환 규칙을 결정하며; 그리고
상기 결정된 변환 규칙에 따라, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정하고, 상기 광학 왜곡이 정정된 이미지를 획득하도록 구성되어 있는, 이미지 처리 장치.
제38항에 있어서,
상기 결정된 변환 규칙을 사용해서, 상기 광학 왜곡이 정정된 이미지의 구역 왜곡을 정정할 때, 상기 프로세싱 모듈은 구체적으로,
상기 광학 왜곡이 정정된 이미지에 따라, 상기 구역 왜곡이 정정된 가상 그리드 이미지를 생성하고 - 상기 구역 왜곡이 정정된 가상 그리드 이미지에 포함되어 있는 그리드 포인트의 개수는 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 개수와 같으며, 동일한 위치의 그리드 포인트의 좌표와 픽셀의 좌표는 같음 - ; 그리고
상기 그리드 이미지 내의 각각의 그리드 포인트에 대해, 이하의 작동:
상기 그리드 이미지로부터 그리드 포인트를 선택하고, 상기 결정된 변환 규칙을 사용해서 상기 그리드 포인트의 좌표를 구역 왜곡 좌표로 변환하고;
상기 구역 왜곡 좌표 및 상기 광학 왜곡이 정정된 이미지에 포함되어 있는 픽셀의 좌표에 따라, 좌표와 상기 구역 왜곡 좌표 간의 거리가 지정된 거리보다 작은 픽셀을 검색하며; 그리고
찾아낸 픽셀의 픽셀 값에 따른 계산에 의해, 상기 그리드 이미지 내의 선택된 그리드 포인트의 픽셀 값을 획득하도록 구성되어 있는, 이미지 처리 장치.