KR20100110121A

KR20100110121A - 이미지 왜곡 보정 방법

Info

Publication number: KR20100110121A
Application number: KR1020090028535A
Authority: KR
Inventors: 이기주; 김충웅; 박종진; 조동휘; 배수봉; 김종철
Original assignee: 삼성전자주식회사
Priority date: 2009-04-02
Filing date: 2009-04-02
Publication date: 2010-10-12
Also published as: EP2237220A3; US20100254624A1; EP2237220A2; JP2010244537A

Abstract

이미지 왜곡 보정 방법 및 상기 이미지 왜곡 보정 방법을 컴퓨터가 수행할 수 있도록 하는 컴퓨터 판독 가능한 매체에 관한 것으로, 디지털 카메라 등과 같은 장치로부터 촬영된 조명의 불균일성 및 렌즈의 굴곡에 의해 발생하는 왜곡된 이미지를 보정하여 정확한 이미지를 얻을 수 있다.

렌즈, 이미지 왜곡, 보정

Description

이미지 왜곡 보정 방법{A method for correction of image distortion}

본 발명은 이미지 왜곡 보정 방법 및 상기 이미지 왜곡 보정 방법을 컴퓨터가 수행할 수 있도록 하는 컴퓨터 판독 가능한 매체에 관한 것이다.

렌즈를 투과한 이미지는 렌즈 자체가 갖는 여러 가지 광학적 특성으로 인해 실제 육안으로 보이는 이미지와 여러 가지 면에서 차이가 있다. 카메라로 촬영된 이미지는 일반적으로 중심에서 바깥쪽으로 갈수록 거리가 멀어지므로, 렌즈의 굴곡에 의해 이미지의 왜곡이 발생한다. 또한 장치에서 사용되는 조명은 중심이 밝고 바깥쪽으로 갈수록 어두워지므로, 마찬가지로 이미지의 왜곡이 발생한다. 면역학적 분석 장치와 같은 반응지 타입의 촬영된 이미지의 경우에는, 반응 시작부와 반응 완료부의 배경의 밝기 차이에 의한 왜곡이 발생할 수 있다. 이러한 이미지의 왜곡은 촬영된 이미지의 밝기 정도를 수치화 과정에서 잘못된 결과를 반영하게 되므로, 이미지 왜곡에 대한 적절한 보정이 필요하다.

이와 같이, 육안으로 보이는 이미지와 렌즈를 통과하여 이미지 센서에 검출된 이미지의 차이점을 렌즈 수차라고 하며, 렌즈의 설계, 제작 시 렌즈 수차를 제거하여 육안으로 보이는 것과 실질적으로 동일한 이미지를 얻고자 하는데 많은 연 구가 이루어지고 있는 실정이다.

상기 렌즈 수차에는 여러 가지 종류가 있으며, 특히 렌즈와 센서의 기하학적 형태 차이 또는 렌즈의 굴곡에 의해 발생하는 렌즈의 왜곡 수차는 육안으로 보기에 직선으로 보이는 이미지가 렌즈를 통과한 후 곡선으로 나타내는 렌즈의 수차를 의미한다.

이러한 렌즈 왜곡을 보정하기 위한 방안으로 크게 두 가지가 알려져 있다. 첫째로, 렌즈 왜곡을 보정하기 위한 보정 렌즈를 추가로 설치함으로써 이미지 센서에 검출되기 이전에 입사되는 이미지 자체를 물리적으로 보정을 하는 방안이 있다. 다른 방안으로는 다음으로 왜곡된 이미지를 이미지 센서에서 검출한 후 이미지 센서의 각 픽셀에 검출된 왜곡된 이미지를 소프트웨어적으로 연산하여 보정하는 방안이 있다. 전자의 물리적 보정 방법은 보정 렌즈를 추가하여야 한다는 점에서 카메라의 제조 비용을 상승시킨다는 단점이 있다. 따라서 카메라 등에서는 후자의 소프트웨어적인 보정이 주로 사용되고 있다.

본 발명자들은 디지털 카메라 등에서 발생하는 조명의 불균일성 및 렌즈의 굴곡에 의해 왜곡되는 이미지를 보정하여 정확한 이미지를 얻고자 예의 연구 노력한 결과, 피사체에서 변환된 전기 신호로부터 보정식을 구하여 이를 피사체의 위치에 따른 밝기 값에 적용시켜 이미지 왜곡을 보정하는 방법을 개발하게 되었다.

따라서, 본 발명의 목적은 이미지 왜곡 보정 방법을 제공하는 것이다.

본 발명의 다른 목적은 상기 이미지 왜곡 보정 방법을 컴퓨터가 수행할 수 있도록 하는 컴퓨터 판독 가능한 매체를 제공하는 것이다.

본 발명의 일 양태에 따르면, 카메라로 배경 영역 및 표적 영역을 포함하는 피사체를 촬영하여 피사체로부터의 이미지를 카메라의 이미지 센서에 제공하는 단계; 상기 이미지 센서에서 상기 이미지를 전기적 신호로 변환하는 단계; 상기 피사체의 위치 x에 따른 밝기 값 y에 대한 2차 근사 값 ax²을 얻는 단계; 및 상기 2차 근사 값 ax²와 상기 밝기 값 y와의 차이를 얻고, 상기 차이 값을 상기 밝기 값 y에 더하거나 빼서, 조명 및 렌즈 굴곡으로 인한 상기 밝기 값 y의 왜곡을 보정하는 단계를 포함하는, 이미지의 왜곡을 보정하는 방법을 제공한다.

도 1은 본 발명의 일 구체예에 따른 디지털 카메라에서 렌즈에 의한 왜곡 보정 방법의 흐름도이다.

먼저, 피사체로부터 광학 신호가 렌즈를 통해 카메라에 입력(S101)되면 카메라 내의 이미지 센서는 이를 수신하여, 전기 신호로 변환시킨다(S102). 이후, 연산부에서 중심점을 정하고, 이를 포함하는 새로운 좌표를 생성하여, 피사체의 위치 x에 따른 밝기 값 y에 대한 2차 근사 값 ax²을 얻고, 피사체의 위치 x 및 이에 따른 밝기 값 y좌표를 대입하거나, 상기 a의 값을 변화시켜 보정 계수 a를 구한다(S103). 다음으로, 상기 결정된 근사 값을 상기 밝기 값에 반영함으로써, 렌즈에 의해 발생한 이미지의 왜곡을 보정한다(S104).

본 발명의 일 실시예에 따르면, 상기 이미지의 왜곡의 보정 결과를 사용자에게 출력하는 단계를 추가적으로 포함할 수 있다.

상기 이미지 왜곡 보정 방법을 각각의 단계별로 상세하게 설명하면 다음과 같다:

먼저, 카메라로 배경 영역 및 표적 영역을 포함하는 피사체를 촬영하여 피사체로부터의 이미지를 카메라의 이미지 센서에 제공하게 된다.

본 명세서에서 용어, “피사체”는 광학 신호를 발생시키고, 상기 광학 신호를 카메라에 제공하는 물체로, 배경 영역 및 표적 영역을 포함하는 것이 바람직하며, 가장 바람직하게는, 피사체의 배경 영역 및 표적 영역의 밝기의 정도 차이가 급격하게 나타나는 광학 이미지를 사용할 수 있다. 예컨대, 본 발명의 일 실시예에 따른 면역 반응 키트에 사용되는 반응지는 면역 반응이 발생하였는지 여부에 따라 반응지에 해당하는 배경색, 반응 시작부 및 반응 완료부의 밝기 차이가 확연히 드 러나므로, 상기 피사체로 사용될 수 있다.

한편, 피사체를 촬영하기 위한 카메라는 이미지 센서가 내장되어 있는 어떠한 종류의 디지털 카메라라도 가능하다.

본 명세서에서 용어, “이미지 센서”는 반도체가 빛에 반응하는 성질을 이용하여, 이미지를 촬영하는 장치로서, 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소가 감지하여 전기적인 값으로 전환하는 장치이다. 즉, 이미지 센서는 광학 이미지를 전기적인 신호로 변환시키는 반도체 소자로서, 이중 전하 결합 소자(Charge Coupled Device; CCD)는 개개의 모스(Metal Oxide Semiconductor; MOS) 커패시터가 서로 매우 근접한 위치에 있으면서 전하가 커패시터에 저장되고 이송되는 소자이며, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는 제어 회로 및 신호 처리 회로를 주변 회로로 사용하는 CMOS 기술을 이용하고, 화소 수만큼 MOS 트랜지스터를 형성하여 이용함으로써 차례차례 출력을 검출하는 스위칭 방식을 채용하는 소자이다.

본 발명의 일 실시예에 따르면, 상기 방법은 측정부, 조명부, 이미지 센서, 연산부 및 출력부를 포함하는 면역학적 분석 장치에서 수행될 수 있다.

상기 “면역학적 분석 장치”는 항원-항체 반응으로 인하여 표적 단백질의 발현의 증감을 확인할 수 있는 모든 장치를 총칭하며, 항원-항체 반응으로 인하여 발광 또는 발색 신호를 발생시킬 수 있는 시료를 카메라로 촬영하여 발광 또는 발색 신호의 발생 정도를 확인하기 위한 장치를 의미한다. 면역학적 분석 장치는 예컨대, 항체 또는 항원이 점착되어 있는 반응지에 표적 단백질을 접촉시키면, 표적 단백질의 존재 여부 또는 그 양의 많고 적음에 따라 발광 또는 발색 신호의 발생 정도가 달라지게 되고, 이를 피사체로 면역학적 분석 장치 내의 카메라로 촬영한 다음, 발광 또는 발색 신호의 발생 정도를 분석하여 사용자에게 그래프 또는 수치로 출력시키게 된다.

다음 단계로, 상기 이미지 센서에서 상기 이미지를 전기적 신호로 변환하게 된다.

이후, 변환된 신호로부터 피사체의 위치 x에 따른 밝기 값 y에 대한 2차 근사 값 ax²을 얻는다.

피사체의 위치 x값은 피사체를 포함하는 광학 이미지로부터 기준점을 임의로 정하여, 상기 기준점을 0으로 하고, 기준점으로부터의 거리를 바탕으로 결정할 수 있으며, 광학 이미지 상에서 왼쪽 끝부분을 x축의 기준점 0으로 정하는 것이 가장 바람직하다. 예컨대, 피사체가 본 발명의 일 실시예에 따른 면역 반응 키트 등에 사용되는 반응지인 경우, 반응지의 왼쪽 시작 부분을 x 값의 기준점인 0으로 정하고, 반응지의 수평 길이를 x축의 거리로 결정할 수 있다. x축의 단위 및 범위는 당업자의 편의에 따라 피사체의 길이의 단위(예컨대, mm, cm 등)로 표시할 수 있으나, 이에 한정하는 것은 아니다.

상기 밝기 값 y는 피사체의 밝기 정도를 전기 신호로 변환하여 나타낸 값으로, 예컨대, 0 내지 255의 값일 수 있다.

본 발명의 일 실시예에 따르면, 상기 2차 근사 값 ax²을 얻는 단계는 상기 배경 영역의 밝기 값이 가장 크거나, 가장 작은 값일 때의 피사체의 위치 x값 및 그에 따른 밝기 y값을 원점 (0,0)으로 하여 2차 근사 값 ax²의 계수 a에 수를 반복적으로 대입하여 상기 배경 영역 위치 x값 및 그에 대응하는 밝기 값 y와 일치하는 값이 가장 많이 발생할 때의 a값을 결정할 수 있다.

본 발명의 일 실시예에 따르면, 상기 2차 근사 값 ax²을 얻는 단계는 상기 배경 영역의 밝기 값이 가장 크거나, 가장 작은 값일 때의 피사체의 위치 x값 및 그에 따른 밝기 y값을 원점 (0,0)으로 하여 2차 근사 값 ax²에 2이상의 임의의 배경 영역의 위치 x값 및 그에 대응하는 배경 영역의 밝기 값 y를 대입하여 얻어지는 a값들의 평균값을 a로 결정할 수 있다.

이를 상세히 설명하면, 먼저 상기 배경 영역이 흰색 계열인 경우에는 밝기 값 y가 가장 큰 피사체의 위치 x값을, 검정색 계열인 경우에는 밝기 값 y가 가장 작은 값일 때의 피사체의 위치 x값 및 그에 따른 밝기 y값을 원점 (0,0)으로 결정한다. 이를 새로운 좌표로 하여, 상기 2차 근사 값 ax²의 a값을 구하게 된다. 첫 번째 방법은, 상기 2차 근사 값 ax²의 계수 a에 수를 반복적으로 대입하여 피사체의 위치 x값 및 그에 대응하는 배경 영역의 밝기 값 y와 일치하는 값이 가장 많이 발생할 때의 a값을 찾는 방법이고, 두 번째 방법은, 상기 결정된 2차 근사 값 ax²에 2이상의 임의의 피사체의 위치 x값 및 그에 대응하는 배경 영역의 밝기 값 y를 대입 하여 얻어지는 a값들의 평균값을 a값으로 결정하는 방법이다. 두 번째 방법으로 a값을 구하는 경우, 보다 정확한 a값을 얻기 위해서는 임의의 배경 영역의 위치 x값 및 그에 대응하는 배경 영역의 밝기 값 y의 대입 회수를 늘이는 것이 바람직하다.

상기 a값을 구하는 방법은 프로그램에 의해 자동으로 수행되거나, 출력된 그래프로부터 실험자가 직접 값을 대입하는 수동적인 방법으로 수행될 수 있다.

상기 피사체의 위치 x에 따른 밝기 값 y는 렌즈의 굴곡 및 피사체에 뷸균일하게 조사된 조명으로 인하여 피사체의 중심으로부터 바깥쪽으로 갈 수록 작아지거나, 커지는 왜곡 현상이 나타나게 되며, 상기 얻어진 2차 근사 값 ax²으로 왜곡을 보정하게 된다.

마지막으로, 상기 2차 근사 값 ax²와 상기 밝기 값 y와의 차이를 얻고, 상기 차이 값을 상기 밝기 값 y에 더하거나 빼서, 조명 및 렌즈 굴곡으로 인한 상기 밝기 값 y의 왜곡을 보정한다.

상기 2차 근사식은 보정식이 되어 상기 밝기 값 y에 적용되어, 이미지 왜곡을 보정하게 된다. 보정식을 이용한 이미지 왜곡의 보정 방법은 다음과 같다:

먼저, 상기 결정된 2차 근사 값 ax²와 상기 밝기 값 y와의 차이 값을 얻는다. 상기 피사체의 위치 x의 중심인 부분은 상기 차이 값이 0이 되고, 바깥쪽으로 갈수록 조명 및 렌즈 굴곡으로 인하여 근사 값과 밝기 값의 차이가 발생하게 된다. 상기 근사 값에서 a값이 0보다 작은 경우에는 피사체의 위치 x에 대응하는 밝기 값 y에 근사 값 ax²을 더하고, a값이 0보다 큰 경우에는 피사체의 위치 x에 대응하는 밝기 값 y에 근사 값 ax²을 빼는 방법으로 상기 밝기 값 y의 왜곡을 보정할 수 있다.

상기 방법에 따라 밝기 값 y를 보정한 다음, 그 보정된 값을 기준으로 하여 동일 이미지 상에서 표적 영역별로 밝기 차이를 정확하게 측정할 수 있다.

본 발명의 다른 양태에 따르면, 상기 방법을 컴퓨터가 수행할 수 있도록 하는 컴퓨터 판독 가능한 매체를 제공한다.

상기 이미지 왜곡 보정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.

상기 본 발명의 일 실시예에 따르면, 디지털 카메라 등과 같은 장치로부터 촬영된 조명의 불균일 및 렌즈의 굴곡에 의해 발생하는 왜곡된 이미지를 보정하여 정확한 이미지를 얻을 수 있으며, 동일 이미지 상에서 영역별 밝기 차이를 정확하 게 측정할 수 있다.

이하, 도면을 참고한 실시예를 통하여 본 발명을 더욱 상세히 설명하고자 한다. 이들 실시예는 오로지 본 발명을 보다 구체적으로 설명하기 위한 것으로서, 본 발명의 요지 따라 본 발명의 범위가 이들 실시예에 의해 제한되지 않는다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.

실시예

실시예 1 : 렌즈에 의한 이미지의 왜곡 확인

도 2는 면역학적 분석 장치에서 조명하에 반응지만을 피사체로 하여 촬영한 이미지를 나타내며, 도 4는 도 2의 촬영한 이미지를 피사체의 위치 x에 따른 밝기 값 y의 그래프로 출력한 결과를 나타낸다.

도 3은 면역 반응 후의 반응지를 피사체로 하여 조명하에서 촬영한 이미지를 나타내며, 도 7은 도 3의 촬영한 이미지를 피사체의 위치 x에 따른 밝기 값 y의 그래프로 출력된 결과를 나타낸다.

도 4 및 도 7에서 x축은 반응지의 왼쪽 끝 부분을 0으로 하는 수평 거리를 나타내며, y축은 촬영한 이미지의 밝기 값을 나타낸다.

도 2를 참조하면, 반응지에는 어떠한 면역 반응 시료도 존재하지 않기 때문 에, 반응지의 위치에 따라 밝기는 일정하므로, 전기 신호를 분석한 그래프는 직선 형태로 표시되어야 한다. 그러나 광학 이미지가 렌즈를 통해 카메라 내부로 들어오면서, 렌즈 및 조명에 의한 광학 이미지의 왜곡이 발생하므로, 도 4과 같은 볼록한 모양의 그래프로 왜곡되어 나타남을 확인할 수 있었다. 상기 그래프에서 x 값이 0에 가까운 부분에 피크가 보이는데, 이는 반응지의 배경 영역 및 표적 영역의 밝기 값이 아니므로, 실제로 밝기 값을 판단하는 경우에는 이를 제외하고 판단해야 한다.

도 3을 참조하면, 반응지에서 면역 반응이 일어난 경우, 그 색깔이 주변보다 어둡게 변하게 되고, 면역 반응의 강도에 따라 색의 어두운 정도가 달라지므로, 그래프에는 면역 반응이 일어난 부분에서 오목한 모양이 나타나게 된다. 면역 반응이 일어난 부분을 제외한 나머지 부분의 반응지의 밝기는 일정하므로, 그래프의 상단은 값이 일정하게 나타나야 한다. 그러나 이 경우에도 광학 이미지가 렌즈를 통해 카메라 내부로 들어오면서, 렌즈에 의한 광학 이미지의 왜곡이 발생하므로, 도 7과 같이 그래프의 상단부가 일정한 값이 아닌, 위로 볼록한 모양의 그래프로 왜곡되어 나타남을 확인할 수 있었다.

실시예 2 : 보정식에 의한 이미지 왜곡 보정

상기 실시예 1에서 확인한 바와 같이, 렌즈에 의한 광학 이미지의 왜곡으로 인해 반응 정도를 수치로 표현하여 결과를 나타내야 하는 면역학적 분석 장치와 같은 장치에서는 이러한 왜곡 형상을 보정하는 작업이 필수적이다. 따라서, 상기 방 법에 따라 보정식을 적용시켜, 상기 그래프에 나타난 굴곡을 보정하여 출력된 결과를 도 6 및 도 8에 나타내었다.

상기 실시예 1에서 설명한 바와 같이, 도 4의 그래프는 렌즈의 모양 및 조명에 따라 위로 볼록한 모양(또는, 아래로 볼록한 모양)의 그래프로 나타나게 된다. 상기 그래프는 y=ax²의 2차식 형태로 나타낼 수 있으며, a는 굴곡 보정을 위한 보정 계수로 사용된다. 또한, 상기 그래프에서 밝기 정도가 가장 밝은 위치, 즉, y값이 최대인 점의 좌표를 상기 2차식의 꼭지점으로 사용하였다.

도 5는 굴곡 보정을 수행하는 과정에서 보정식을 구하기 위한 좌표 위치의 선정 기준을 나타낸다. 굴곡 중심 x 및 y는 보정식의 꼭지점을 나타내며, 이를 기준으로 x₁ 및 x₂에 해당하는 위치의 좌표를 상기 식에 대입함으로써, a값을 구할 수 있다.

상기 보정식에 의해 도 3에서 나타낸 그래프를 보정한 결과, 도 6과 같이 직선 형태의 그래프가 나타남을 확인할 수 있었다. 또한, 실제 면역 반응 후의 반응지를 촬영한 이미지로부터 변환된 그래프를 상기 보정식에 의해 보정한 결과, 도 7과 같이 그래프의 상단이 직선 형태로 보정되어 출력됨을 확인할 수 있었다.

도 1은 렌즈에 의한 왜곡 보정 방법의 흐름도이다.

도 2는 면역학적 분석 장치에서 면역 반응 이전의 촬영한 반응지의 이미지를 나타낸다.

도 3은 면역학적 분석 장치에서 면역 반응 이후의 촬영한 반응지의 이미지를 나타낸다.

도 4는 면역 반응 이전의 촬영한 반응지의 이미지를 그래프로 출력한 결과를 나타낸다.

도 5는 굴곡 보정을 수행하는 과정에서 보정식을 구하기 위한 좌표 위치의 선정 기준을 나타낸다.

도 6은 면역 반응 이전의 촬영한 이미지에 대한 그래프를 보정한 결과를 나타낸다.

도 7은 면역 반응 이후의 촬영한 반응지의 이미지를 그래프로 출력한 결과를 나타낸다.

도 8은 면역 반응 이후의 촬영한 이미지에 대한 그래프를 보정한 결과를 나타낸다.

Claims

카메라로 배경영역 및 표적영역을 포함하는 피사체를 촬영하여 피사체로부터의 이미지를 카메라의 이미지 센서에 제공하는 단계;

상기 이미지 센서에서 상기 이미지를 전기적 신호로 변환하는 단계;

상기 피사체의 위치 x에 따른 밝기 값 y에 대한 2차 근사 값 ax²을 얻는 단계; 및

상기 2차 근사 값 ax²와 상기 밝기 값 y와의 차이를 얻고, 상기 차이 값을 상기 밝기 값 y에 더하거나 빼서, 조명 및 렌즈 굴곡으로 인한 상기 밝기 값 y의 왜곡을 보정하는 단계를 포함하는, 이미지의 왜곡을 보정하는 방법.
제1항에 있어서, 상기 이미지의 왜곡의 보정 결과를 사용자에게 출력하는 단계를 추가적으로 포함하는 방법.
제1항에 있어서, 상기 2차 근사 값 ax²을 얻는 단계는 상기 배경 영역의 밝기 값이 가장 크거나, 가장 작은 값일 때의 피사체의 위치 x값 및 그에 따른 밝기 y값을 원점 (0,0)으로 하여, 2차 근사 값 ax²의 계수 a에 수를 반복적으로 대입하여 상기 배경 영역의 위치 x값 및 그에 대응하는 배경 영역의 밝기 값 y와 일치하는 값이 가장 많이 발생할 때의 a값을 결정하는 것인 이미지 왜곡 보정 방법.
제1항에 있어서, 상기 2차 근사 값 ax²을 얻는 단계는 상기 배경 영역의 밝기 값이 가장 크거나, 가장 작은 값일 때의 피사체의 위치 x값 및 그에 따른 밝기 y값을 원점 (0,0)으로 하여, 2차 근사 값 ax²에 2이상의 임의의 배경 영역의 위치 x값 및 그에 대응하는 배경 영역의 밝기 값 y를 대입하여 얻어지는 a값들의 평균값을 a로 결정하는 것인 이미지 왜곡 보정 방법.
제1항에 있어서, 상기 방법은 측정부, 조명부, 이미지 센서, 연산부 및 출력부를 포함하는 면역학적 분석 장치에서 수행되는 것인 이미지 왜곡 보정 방법.
제1항의 방법을 컴퓨터가 수행할 수 있도록 하는 컴퓨터 판독 가능한 매체.