KR100451293B1 - 산업용 영상취득장비의 온도변화특성 보상을 위한 영상 보정 장치 및 방법 - Google Patents

Abstract

최근 과학기술의 발달과 더불어 생산라인, 감시장비 뿐만 아니라 극한 환경에서 작업을 필요로하는 모든 분야에서 첨단화, 자동화의 일환으로 산업용 비전 시스템의 수요가 증가하고 있다. 산업용 비젼 시스템은 초정밀 카메라와 영상 정보를 전송하는 프레임그래버 및 이를 처리하는 컴퓨터부로 크게 나뉜다. 이중 무엇보다도 가장 중요한 것은 센서역할을 하는 카메라이다. 카메라에서 획득된 영상은 컴퓨터의 연산처리 능력을 활용하여 여러가지 다양한 센서로 활용될 수 있다. 따라서 카메라에서 획득된 영상의 정밀도는 비전시스템의 성능에 큰 영향을 끼침으로 영상획득의 정밀도를 요하는 것은 상당히 중요한 일이라 할 수 있다. 그러나, 일반적으로 카메라에서 사용되는 전자 부품 및 CCD 소자는 온도에 따라 축력 특성 변화가 발생하여 카메라의 전체적인 성능을 저하시킨다.

따라서, 본 특허에서는 초정밀 영상취득장비의 온도변화특성 보상을 위한 적응적 영상 교정기법을 제시하고자 한다.

본 특허가 상용화되면, 온도변화에 따른 출력특성이 일정하게 유지됨으로 초정밀 측정이 가능하게 되고, 온도변화가 심한 열악한 환경에서의 자동화에 기여할 수 있을 것이다.

Description

산업용 영상취득장비의 온도변화특성 보상을 위한 영상 보정 장치 및 방법{An image correction apparatus and method to compensate the temperature dependent characteristics of industrial image acquisition systems}

본 발명은 영상취득장비의 온도변화에 따른 출력특성의 변화를 보정할 수 있는 적응적 영상 교정기법에 관한 것으로 다음과 같은 세가지 알고리즘을 제안한다.

1)CCD 센서에 온도 센서를 부착하여 온도변화를 감지하고 이에 따른 출력 특성의 변화를 비디오증폭도를 조정함으로서 출력값을 보상하는 방법이다.[그림1도] 일반적으로 CCD 센서는 온도가 증가함에 따라 출력특성이 감소한다. CCD 출력변화는 궁극적으로 열잡음에 의해 생겨나는 잡음 증가가 아날로그 신호처리부에서 사용하는 CDS(correlated double sampling)에 의해 샘플링 될때 잡음이 증가되면서 동일한 빛의 밝기에 대해 출력값이 적어진 것 처럼 보이는 것이다. 따라서 실험적 특성곡선을 구하고 이에대한 비디오 증폭도를 마이컴에서 자동으로 조정하도록 하여 영상을 실시간으로 보정한다.

2)Black reference value를 읽어서 온도를 보상하는 방법[그림3도]이다. CCD센서의 경우 한 클럭이 입력될 때 한 개의 픽셀정보가 전송되게 된다. 이때 CCD구조의 특성상 처음에 몇 개의 dark 픽셀이 생성되는데 이것이 black reference value이다. 이 값은 온도특성에 따라 변화됨으로 이 값을 마이컴에서 감지하여 비디오 증폭도를 보상하는 방법이다.

3) 온도 변화에 따른 샘플링 클럭 발생 시간을 마이컴에서 자동제어할 수 있도록하는 방법이다. CCD 뿐만 아니라 FPGA등 전자소자들은 온도특성에 따라 그 출력 특성이 변화한다. 따라서 샘플링 클럭 발생시간이 지연되어 CCD 출력을 최적화 하여 샘플링 할 수 없다. 이를 보상하기 위한 방법으로 clocked clock generator 의 timing을 마이컴에서 재선정할 수 있도록 한다.

본 발명은 모든 영상취득장비에 적용 가능한 영상 보정 기법으로써, 온도변화에 따른 출력특성을 자동으로 감지하고 이를 보상하는 회로를 구현하여 출력 영상의 변화를 최소화시켜 초정밀 출력을 얻을수 있는 카메라를 개발하는 것이다.

산업용 선형 카메라는 LCD, PDP, PCB등의 미세한 패턴등을 광학적으로 촬영하고 영상을 컴퓨터에 보내어 정상적인 패턴과 비교하는 등의 자동 영상 처리를 통하여 잘못 만들어진 패턴 부분을 찾아내어 수정등의 필요한 조치를 취하도록 하는데 사용되어진다.

반도체를 만드는 생산공정의 검사장비와 같이 온도와 습도가 일정하게 유지되는 환경에서는 온도에 따른 출력저하현상이 거의 발생되지 않는다. 그러나 밀패된 환경에서 별도의 온도제어 장치가 없는 열악한 환경에서의 장비들은 온도 변화가 심하게되고 이에 따라 카메라의 출력특성 저하되게 된다. 이런 장비가 생산현장에 설치되었을 경우 제품의 품질이 저하되거나 불량율이 높아질 수 있다. 따라서 카메라는 최대의 성능을 발휘할 수 있는 특정온도범위 내에서의 사용을 권장하고 있으며, 열악한 환경의 경우 카메라에 사용되는 전자 부품을 고급화하여 온도 특성의 범위를 넓이는 것이 일반적이다. 이렇게 할 경우 카메라의 생산 단가가 올라가게 되어 전체적인 비젼 시스템을 구성하는데 많은 어려움이 있다. 따라서 본 발명에서는 저렴한 상업용 전자 부품을 사용하여 보다 넓은 온도범위에서 영상의 출력 특성이 변화되지 않는 영상취득장비를 개발하는 것이다.

본 발명이 이루고자 하는 기술적 과제는 다음과 같다.

ㄱ)CCD 센서에 온도 센서를 부착하여 온도변화를 감지하고 이에 따른 출력 특성의 변화를 비디오 증폭도를 조정함으로서 출력값을 보상하는 방법이다.[그림4도]

ㄴ)Black reference value를 읽어서 온도변화에 따른 출력특성을 보상하는 방법이다.

ㄷ) 온도 변화에 따른 클럭 발생 시간을 마이컴에서 자동제어할 수 있도록하는 방법이다. [그림 2도]

제1도는 온도센서를 이용한 적응적 영상 교정기법 블록도

제 2 도는 Clocked clock generator에 의한 영상교정기법

제 3도는 선형 CCD 센서(Line CCD Sensor)의 구조도

제 4 도는 온도 변화에 따른 적응적 영상 교정기법

제 5 도는 CCD센서의 온도 센서 부착 위치와 방법

상기한 기술적 과제를 달성하기 위한 본 발명의 구성 및 작용은 다음과 같다.

(ㄱ)항의 기술적 과제를 위한 아이디어

제 1 도를 참조하여, 온도 변화에 따라 CCD에서 출력되는 원영상의 변화 곡선을 구하기 위해 사용하고자 하는 온도범위(-10 ∼ +50℃)에서 열환경 시험을 할 수 있는 시험장비를 구축하고 열특성 실험을 반복하여 실시한다. 이때 CCD의 열특성을 최적으로 파악하기 위해서는 온도센서의 부착위치 및 방법을 최적으로 해야만 한다. 따라서 본 발명에서는 ±0.1℃정도의 오차를 갖는 온도 센서를 이용하여[그림 5도]와 같이 전도성이 좋은 양면 테이프등으로 일차 고정하고 진동특성을 고려하여 엑폭시를 이용하여 2차고정하는 방법으로 부착하고, 반대편에는 컨넥터를 부착하여 마이컴과 연결되게 함으로서 탈부착의 용이성을 확보하였다.

실험으로부터 산출된 정보를 활용하여 열특성곡선을 산출한다. 이렇게 얻어진 열특성곡선은 실시간 출력영상 보정에 활용하기 위한 [그림 4도]와 같은 온도 변화에 따른 게인 특성 곡선을 구하고 이를 이용하여 온도 변화에 따른 실시간 출력 영상 보정을 한다.

(ㄴ)항의 기술적 과제를 위한 아이디어

(ㄱ)항의 아이디어를 보다 유용하게 활용하기 위한 또 다른 방법으로 온도센서를 사용하지 않고, CCD센서의 dark 픽셀을 활용하는 방법이다. CCD 출력변화는 궁극적으로 열잡음에 의해 생겨나는 잡음 증가가 아날로그 신호처리부에서 사용하는 CDS(correlated double sampling)에 의해 샘플링될때 잡음이 증가되면서 동일한 빛의 밝기에 대해 출력값이 적어진 것 처럼 보이는 것이다. 따라서 dark 픽셀의 값을 측정하여 늘어난 잡음만큼 출력을 증대시키면 신호대 잡음비는 떨어지지만 영상처리용 프로그램의 오류를 최소화 할 수 있다. 이값을 Black reference value(BRV)라고 한다. 이 값은 온도에 따라 변화되는 특성을 가지고 있으므로 이 값을 마이컴에서 감지하여 비디오 증폭도를 보상하는 방법이다. 우선, (ㄱ)항과 동일하게 CCD에 온도센서를 부착하여 온도에 따른 BRV값의 변화를 반복 실험하여 측정한다. 측정된 데이터를 근간으로 온도에 따른 BRV값의 특성곡선을 구하여 (ㄱ)항과 동일한 방법으로 출력영상을 실시간으로 보정한다.

(ㄷ)항의 기술적 과제에 대한 아이디어

온도 변화에 따른 샘플링 클럭 발생 시간을 마이컴에서 제어할 수 있도록하는 방법이다. CCD 뿐만 아니라 FPGA등 전자소자들은 온도특성에 따라 그 신호 특성이 변화한다. 이에 따라 신호전달 시간이 서로 달라짐으로 최적화된 샘플링이 어려워져 출력특성이 저하될 수 있다. 이를 보상하기 위한 방법으로 clocked clock generator 의 timing을 마이컴에서 선택할 수 있도록 한다. CCD의 출력정밀도와 가장 밀접한 관계를 가지고 있는 샐플링 클럭들의 발생 시점을 제어하기 위한 것으로서, (ㄱ)항과 동일한 방법으로 마이컴이 온도변화를 감지하여 자동으로 클럭 발생 시점을 조정할 수 있도록 회로를 구성하여 보정하도록 한다. 이와 같이 하면 개발시에 많은 시행착오를 위한 시간을 절약할 수 있는 잇점이 있다.

(ㄹ)세가지 방법((ㄱ)항,(ㄴ)항, (ㄷ)항)을 조합한 보정 방법

마지막으로 위에서 언급한 세가지 항목을 조합하여 상호 보완적인 알고리즘을 구현하는 것이다. (ㄱ)항으로부터 온도 변화에 따른 게인 특성곡선을 얻고 (ㄴ)항으로부터 온도변화에 따른 BRV값의 특성곡선을 얻어 상호 데이터를 비교하며 또한, (ㄷ)항의 클럭발생 시점을 조정함으로서 정밀한 교정을 실시하는 방법이다. 이 방법은 처음에 특성곡선을 구하기 위한 실험시간이 많이 요구되나 보다 정밀한 보정출력을 얻을 수 있는 장점이 있다.

이상의 설명과 같이, 산업용 영상취득장비의 온도변화특성 보상을 위한 적응적 영상 교정기법을 구현하였다. 카메라는 인간이 직접 작업하기 곤란한 환경에서의 자동화 및 모니터링에 그 수요가 늘어가고 있으며 또한 자동화를 위한 장비의 센서로서 활용되고 있다. 이러한 장비들의 활용에 있어 온도변화는 여러가지 요인에 의해 발생될 수 있다. 그 때 마다 출력의 미세감도변화가 정밀측정에 많은 어려움을 발생시킬 수 있다. 이러한 문제점을 본 발명으로 제한된 기법으로 저가의 상업용 전자부품을 활용하여 폭넓은 범위에서 출력의 감도가 일정한 카메라를 만들 수 있다.

Claims (7)

1. CCD 센서의 온도 변화를 검출하는 단계;

   미리 산출된 온도 변화에 따른 이득 특성 곡선에 기초하여 상기 온도 변화에 상응하는 이득값을 산출하는 단계; 및,

   상기 산출된 이득값만큼 상기 CCD 센서에 의해 촬상된 영상 신호를 증폭하여 온도변화에 의한 영상 출력 변화를 교정하는 단계를 포함하는 것을 특징으로 하는 산업용 영상 취득 장비의 온도 변화 특성 보상을 위한 영상 보정 방법.
2. CCD 센서의 온도 변화에 따른 다크 픽셀의 값을 측정하는 단계;

   미리 산출된 온도 변화에 따른 다크 픽셀 값의 특성 곡선에 기초하여 상기 온도 변화에 상응하는 이득값을 산출하는 단계; 및,

   상기 산출된 이득값만큼 상기 CCD 센서에 의해 촬상된 영상 신호를 증폭하여 온도변화에 의한 영상 출력 변화를 교정하는 단계를 포함하는 것을 특징으로 하는 산업용 영상 취득 장비의 온도 변화 특성 보상을 위한 영상 보정 방법.
3. CCD 센서의 온도 변화를 검출하는 단계;

   상기 검출된 온도 변화에 상응하는 클럭 타이밍을 산출하는 단계;

   상기 산출된 클럭 타이밍에 샘플링 클럭을 발생시키는 단계; 및,

   상기 샘플링 클럭의 발생에 따라 상기 CCD 센서에 의해 촬상된 영상 신호를 증폭하는 단계를 포함하는 것을 특징으로 하는 산업용 영상 취득 장비의 온도 변화 특성 보상을 위한 영상 보정 방법.
4. 영상을 촬상하는 CCD 센서;

   상기 CCD 센서의 온도를 검출하는 온도 센서부;

   상기 온도 센서로부터 수신된 온도 정보로부터 상기 CCD 센서의 온도 변화를 산출하고, 상기 온도 변화에 상응하는 이득값을 산출하여 이득 제어신호를 생성하는 마이컴부; 및,

   상기 마이컴부의 이득 제어신호에 상응하는 이득값만큼 상기 CCD 센서에서 촬상된 영상 신호를 증폭하는 비디오 증폭부를 포함하는 것을 특징으로 하는 산업용 영상 취득 장비의 온도 변화 특성 보상을 위한 영상 보정 장치.
5. 영상을 촬상하는 CCD 센서;

   상기 CCD 센서로부터 출력되는 다크 픽셀의 값을 측정하고, 측정된 다크 픽셀의 값을 미리 산출된 온도 변화에 따른 다크 픽셀 값의 특성 곡선에 적용하여 상기 CCD 센서의 온도 변화에 상응하는 이득값을 산출하는 마이컴부; 및,

   상기 산출된 이득값만큼 상기 CCD 센서에 의해 촬상된 영상 신호를 증폭하여 온도변화에 의한 영상 출력 변화를 교정하는 비디오 증폭부를 포함하여 구성되는 것을 특징으로 하는 산업용 영상 취득 장비의 온도 변화 특성 보상을 위한 영상 보정 장치.
6. 영상을 촬상하는 CCD 센서;

   상기 CCD 센서의 온도를 검출하는 온도 센서부;

   상기 온도 센서부로부터 수신된 온도 정보를 기초로 상기 CCD 센서의 온도 변화를 산출하고, 상기 검출된 온도 변화에 상응하는 클럭 타이밍을 산출하여 상기 산출된 클럭 타이밍에 샘플링 클럭을 발생시키는 마이컴부; 및,

   상기 샘플링 클럭의 발생에 따라 상기 CCD 센서에 의해 촬상된 영상 신호를 증폭하는 비디오 증폭부를 포함하는 것을 특징으로 하는 산업용 영상 취득 장비의 온도 변화 특성 보상을 위한 영상 보정 장치.
7. 삭제