KR102484708B1 - 다파장 광원 기반 3차원 영상의 보정방법 - Google Patents

다파장 광원 기반 3차원 영상의 보정방법 Download PDF

Info

Publication number
KR102484708B1
KR102484708B1 KR1020200155002A KR20200155002A KR102484708B1 KR 102484708 B1 KR102484708 B1 KR 102484708B1 KR 1020200155002 A KR1020200155002 A KR 1020200155002A KR 20200155002 A KR20200155002 A KR 20200155002A KR 102484708 B1 KR102484708 B1 KR 102484708B1
Authority
KR
South Korea
Prior art keywords
image
correcting
wavelength
light source
correction
Prior art date
Application number
KR1020200155002A
Other languages
English (en)
Other versions
KR20210061285A (ko
Inventor
김대근
강세원
류인건
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Publication of KR20210061285A publication Critical patent/KR20210061285A/ko
Application granted granted Critical
Publication of KR102484708B1 publication Critical patent/KR102484708B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 각각 제1 이미지 및 제2 이미지를 바탕으로 3차원 영상을 획득할 때, 렌즈를 구성하는 물질의 굴절률이 파장에 따라 서로 다름에 따라 발생하는 파장 오차 및/또는 제1 영상장치 및 상기 제2 영상장치간의 광정렬 오차에 의하여 발생하는 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있는 다파장 광원 기반 3차원 영상의 보정방법에 관한 것이다.
본 발명은 광원을 이용하여 3차원 영상을 보정하는 방법에 있어서,상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 제1 이미지 및 제2 이미지를 획득하는 이미지 획득단계와, 보정에 기준이 되는 상기 제1 이미지와, 보정의 대상이 되는 상기 제2 이미지 각각의 기준영역을 설정하는 기준영역 설정단계와, 상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴 모서리 좌표값을 인식하는 좌표값 인식단계와, 상기 좌표값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 이미지 보정단계를 포함하는 다파장 광원 기반 3차원 영상의 보정방법을 제공한다.

Description

다파장 광원 기반 3차원 영상의 보정방법{Correction method of three-dimensional image based on multi-wavelength light}
본 발명은 다파장 광원 기반 3차원 영상의 보정방법에 관한 것으로, 보다 상세하게는 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 각각 제1 이미지 및 제2 이미지를 바탕으로 3차원 영상을 획득할 때, 렌즈를 구성하는 물질의 굴절률이 파장에 따라 서로 다름에 따라 발생하는 파장 오차 및/또는 제1 영상장치 및 상기 제2 영상장치간의 광정렬 오차에 의하여 발생하는 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있는 다파장 광원 기반 3차원 영상의 보정방법에 관한 것이다.
현미경으로 대표되는 3차원 영상 획득장치는 일반적으로 회절 광학 한계의 제한을 받아, 현미경이 가지는 이미징 해상도보다 작은 구조는 분별할 수 없었다. 현미경의 해상도는 광의 파장이 짧을수록, 대물렌즈의 개구수가 클수록 높아지기는 하나, 회절 광학 한계에 제한을 받기 때문에 무한정 높일 수는 없었다.
최근 나노 기술이 발달함에 따라, 마이크로/나노 구조를 갖는 샘플에 대한 고속 검출은 샘플의 분석 과정에서 없어서는 안되는 기술수단이고, 생물공학 또는 의학 연구에서는 더 미세한 구조에 대해 특성 검출 및 분석을 하기 위한 더 높은 해상도(나노급)의 3차원 영상 획득장치가 요구되고 있다.
이러한 초고해상도 이미징을 실현하기 위해 다양한 방식의 현미경들이 개발되어 왔다. CCD/CMOS 등의 이미지센서가 갖는 분해능을 높여 판별 가능한 이미지 픽셀의 수를 극대화하는 방식, 비구면 렌즈 등 렌즈에서 발생하는 색수차를 최소화하는 방식, 이미지센서로부터 획득한 영상을 디지털 프로세싱을 통해 보정하여 해상도를 높이는 방식 등을 적용한 현미경들이 현재 사용되고 있다.
최근에는 다수의 이미지를 획득하고 이를 디지털 프로세싱을 통해 후처리하는 복합 방식의 3차원 영상 획득장치들이 제안되고 있다. 대표적으로, 노출을 달리한 이미지를 다수 획득하여 디지털 후처리를 통해 광학 심도를 향상시키는 HDR(High Dynamic Range)기법, 샘플에 입사되는 광에 미리 설정된 패턴을 주어 패턴 이미지와 비패턴 이미지를 서로 비교 처리하여 해상도를 향상시키는 SIM(Structured Illumination Modulation)기법 등이 있다.
HDR기법과 SIM기법의 공통점은 어떠한 특성을 부여한 다수의 이미지를 획득하여 디지털 프로세싱을 통하여 해상도가 향상된 단일의 이미지를 획득한다는 것이다. 그러나 HDR기법은 다수의 이미지를 획득하기 위해 상대적으로 많은 시간이 소요된다는 문제점이 있고, SIM기법은 3차원 고해상도 영상을 얻을 수 있다는 측면에서 유리하나 다수의 영상을 순차적으로 획득함으로써, 영상속도 측면에서는 느리다는 문제점이 있었다.
따라서, 다파장 광원을 기반으로 하되, 서로 다른 파장광을 출력함으로써 2차원 영상을 획득하고, 복수의 2차원 영상을 통해 3차원 영상을 생성함으로써 보다 빠르게 3차원 영상을 획득할 수 있으나, 서로 다른 파장광을 출력함으로써 2차원 영상을 획득할 때, 복수의 2차원 영상은 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이가 발생하는 문제점이 있다.
대한민국 등록특허공보 제10-1479734호(2015.01.06. 등록공고, 발명의 명칭 : 구조광 패턴 기반의 3차원 형상 측정 시스템)
본 발명에서 해결하고자 하는 과제는 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 각각 제1 이미지 및 제2 이미지으로 영상화할 때, 렌즈를 구성하는 물질의 굴절률이 파장에 따라 서로 다름에 따라 발생하는 파장 오차 및/또는 제1 영상장치 및 상기 제2 영상장치간의 광정렬 오차에 의하여 발생하는 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있는 다파장 광원 기반 3차원 영상의 보정방법을 제공하는 것이다.
상술한 과제를 해결하기 위하여, 본 발명은 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 3차원 영상을 생성하는 3차원 영상 획득장치로부터 획득되는 상기 3차원 영상을 보정하는 방법에 있어서, 상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 제1 이미지 및 제2 이미지를 획득하는 이미지 획득단계와, 보정에 기준이 되는 상기 제1 이미지와, 보정의 대상이 되는 상기 제2 이미지 각각의 기준영역을 설정하는 기준영역 설정단계와, 상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴 모서리 좌표값을 인식하는 좌표값 인식단계와, 상기 좌표값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 이미지 보정단계를 포함하는 다파장 광원 기반 3차원 영상의 보정방법을 제공한다.
여기서, 상기 좌표값 인식단계는 상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴이 가지고 있는 모서리 영역을 검출하는 모서리 검출단계와, 상기 모서리에 해당하는 좌표값을 출력하는 좌표값 출력단계를 포함할 수 있다.
또한, 상기 이미지 보정단계는 상기 제1 이미지 및 상기 제2 이미지 각각의 좌표값을 기준으로 기울기, 크기 및 중심 픽셀의 위치값을 계산하는 위치값 계산단계와, 상기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 XY축 이미지 보정단계와, 상기 제1 이미지 및 상기 제2 이미지의 스택(stack)을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 Z축 이미지 보정단계를 포함할 수 있다.
또한, 상기 XY축 이미지 보정단계는 상기 위치값 계산단계에서 계산된 상기 기울기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 회전시켜 보정하는 회전위치 보정단계와, 상기 위치값 계산단계에서 계산된 상기 크기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 확대 또는 축소시켜 크기가 같도록 보정하는 스케일 보정단계와, 상기 위치값 계산단계에서 계산된 상기 중심 픽셀 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 x축과 y축 위치 차이만큼 이동시켜 정렬하는 병진위치 보정단계를 포함할 수 있다.
또한, 상기 Z축 이미지 보정단계는 상기 제1 이미지 및 상기 제2 이미지으로부터 가장 콘트라스트가 높은 영상위치를 각각 검출하는 콘트라스트 검출단계 및 상기 제1 이미지의 콘트라스트를 기준으로 상기 제2 이미지의 z축 높이 위치를 보정하는 콘트라스트 기반 보정단계를 포함할 수 있다.
본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법은 다음과 같은 효과가 있다.
첫째, 서로 파장이 다른 제1 이미지 및 제2 이미지의 크기 차이, 초점위치 차이, 병진위치 차이, 회전위치 차이를 보정함으로써 간섭이 없는 고해상도의 3차원 영상을 획득할 수 있다.
둘째, 서로 다른 파장을 가진 2개의 광원을 이용하여 동시에 동일 물체에 대해서 파장에 따른 서로 다른 2개의 영상 정보를 획득할 수 있으므로, 영상 획득 속도가 2배 빨라지는 이점이 있다.
셋째, 2개 이상의 파장을 이용할 수 있으며, 파장 수의 배수만큼 영상 속도가 빨라지는 이점이 있다.
넷째, 서로 다른 파장을 이용함으로써 서로 다른 파장을 통해 획득된 영상 간의 간섭이 전혀 존재하지 않는 이점이 있다.
도 1은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 단계를 도시한 도면이다.
도 2는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 활용하는 3차원 영상 획득장치의 일 예를 도시한 도면이다.
도 3은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 이미지 획득단계를 도시한 도면이다.
도 4는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 기준영역 설정단계를 도시한 도면이다.
도 5는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 모서리 검출단계를 도시한 도면이다.
도 6은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 좌표값 출력단계를 도시한 도면이다.
도 7은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 위치값 계산단계를 도시한 도면이다.
도 8은 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 XY축 이미지 보정단계를 도시한 도면이다.
도 9는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 Z축 이미지 보정단계를 도시한 도면이다.
이하, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법의 실시예들을 첨부된 도면을 참조하여 상세히 설명한다. 본 발명과 관련하여 공지된 기술에 대한 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우, 공지된 기술에 대한 구체적인 설명을 생략한다.
도 1 내지 도 9를 참조하여, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 설명하면 다음과 같다.
먼저, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 설명하기 앞서, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 활용하는 3차원 영상 획득장치의 구성을 설명하면 다음과 같다
도 2는 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법을 활용하는 3차원 영상 획득장치의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 본 실시예에 따른 고해상도를 갖는 3차원 영상 획득장치는 3차원 마이크로/나노 구조를 갖는 샘플에 파장이 다른 파장광을 조사하고, 샘플에서 방출되는 반사광을 조합하여 3차원 영상을 획득하는 고해상도를 갖는 3차원 영상 획득장치에 관한 것으로서, 광원, 빔 컴바이너(200), 튜브렌즈(300), 대물렌즈(400), 축방향 이송장치(500), 영상렌즈(600), 빔 스플리터(700), 영상장치 및 영상생성부(미도시)를 포함한다.
상기 광원은 상기 광원은 3차원 마이크로/나노 구조를 갖는 샘플에 조사시키기 위한 복수의 파장광을 출력하며, 구체적으로 각각 제1 파장광 및 제2 파장광을 가지는 제1 광원(110) 및 제2 광원(120)을 포함하며, 샘플에 파장광을 조사하면, 3차원 마이크로/나노 구조를 갖는 샘플에 반사되어 파장반사광을 생성하게 된다.
상기 빔 컴바이너(200)는 상기 제1 광원(110) 및 상기 제2 광원(120)을 동일한 광경로로 전달하며, 동일한 광경로로 진행하는 상기 제1 광원(110) 및 상기 제2 광원(120)은 복수의 렌즈에 포함되는 상기 튜브렌즈(300), 상기 대물렌즈(400), 상기 영상렌즈(600)를 지나며, 상기 빔 스플리터(700)에서 파장이 서로 다른 영상을 수직방향으로 분리되며, 즉, 상기 영상장치가 포함하는 제1 영상장치(810) 및 상기 제2 영상장치(820)로 분리된다. 이때, 상기 축방향 이송장치(500)는 상기 대물렌즈(400)를 축방향으로 이송시키는 역할을 수행한다.
상술한 과정은 2차원의 해상도 타켓을 이용하여 영상장치의 광학계가 완전히 고정된 후 1회에 한하여 보정을 하는 것으로, 광학계의 변동이 있는 경우, 다시 보정을 진행한다.
상기 영상생성부는 상기 제1 이미지 및 상기 제2 이미지을 조합하여 샘플에 대한 3차원 영상을 생성하며, 구체적으로 미리 입력된 연산 알고리즘을 통해 하나의 픽셀 정보를 산출하고, 산출된 픽셀 정보들을 모두 조합하며, 이를 통해 샘플의 3차원 영상을 얻게 된다.
이와 같이 구성되는 본 발명에서의 고해상도를 갖는 3차원 영상 획득장치는 복수의 파장광을 샘플에 조사하여 조합할 이미지들을 동시에 획득함으로써, 영상 획득 시간을 단축할 수 있는 효과를 얻을 수 있다.
도 1에 도시된 바와 같이, 본 발명에 따른 다파장 광원 기반 3차원 영상의 보정방법은 이미지 획득단계(S100), 기준영역 설정단계(S200), 좌표값 인식단계(S300), 이미지 보정단계(S400)를 포함한다.
상기 이미지 획득단계(S100)에서는 상술한 고해상도를 갖는 3차원 영상 획득장치로부터 상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 제1 이미지 및 제2 이미지를 획득한다.
예를 들어, 도 3에 도시된 바와 같이, 제1 이미지(I1) 및 제2 이미지(I2)를 획득하며, 이때 상기 제1 이미지(I1)와 상기 제2 이미지(I2)는 일치하지 않으므로, 정렬이 필요하게 된다.
여기서, 상기 제1 이미지(I1)와 제2 이미지(I2)는 2차원 이미지이며, 상기 제1 이미지(I1)와 제2 이미지(I2) 중 긴 파장의 이미지를 기준 이미지로 하고, 짧은 파장의 이미지를 보정 이미지로 한다. 본 명세서에서 기준영상은 제1 이미지(I1)이고, 보정영상은 제2 이미지(I2)로 정의한다.
상기 기준영역 설정단계(S200)에서는 보정에 기준이 되는 상기 제1 이미지(I1)와 제2 이미지(I2) 각각의 기준영역을 설정한다.
즉, 도 4에 도시된 바와 같이, 상기 제1 이미지(I1)와 제2 이미지(I2) 각각으로부터 이미지 보정에 필요한 픽셀 데이터 수집 영역인 기준영역(A1, A2)을 설정한다.
이때, 상기 픽셀 데이터는 촬영한 대상 자체에 존재하는 패턴일 수도 있고, 또는 구조조명 등과 같은 패턴 형성 장치로부터 구현되는 패턴, 예를 들어 Ronchi-ruling과 같은 등간격의 줄무늬 패턴일 수도 있다.
본 명세서에서는 촬영한 대상 자체에 존재하는 패턴을 기준으로 서술하였으며, 패턴 형상 장치로부터 구현되는 패턴은 촬영한 대상 자체에 존재하는 패턴이 없는 경우 사용되는 것이 바람직하다.
상기 좌표값 인식단계(S300)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)별 기준영역 각각 패턴의 모서리에 대한 좌표값을 인식하며, 구체적으로 상기 좌표값 인식단계(S300)는 모서리 검출단계(S310)와, 좌표값 출력단계(S320)를 포함한다.
상기 모서리 검출단계(S310)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)별 기준영역에서 각각의 패턴의 모서리 영역(E1, E2)을 검출한다. 즉, 도 5에 도시된 바와 같이, 패턴별 외곽 라인을 먼저 검출하고, 이후 모서리 영역을 검출한다.
이후, 상기 좌표값 출력단계(S320)에서 검출된 상기 모서리에 해당하는 좌표값을 출력한다. 즉, 도 6에 도시된 바와 같이, 패턴별 모서리 영역을 기반하여, 4개의 직선 작도(C1, C2) 및 교점에 대한 좌표값을 출력한다.
상기 좌표값을 도 7에 도시된 제2 이미지를 예시로 설명하면, 위치에 따라 (x1,1, y1,1), (x1,2, y1,2), (x1,3, y1,3), (x1,4, y1,4)로 정의될 수 있다.
상기 이미지 보정단계(S400)에서는 출력된 상기 좌표값을 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 보정함으로써 이미지를 정렬하며, 구체적으로 상기 이미지 보정단계(S400)는 위치값 계산단계(S410), XY축 이미지 보정단계(S420) 및 Z축 이미지 보정단계(S430)를 포함한다.
상기 위치값 계산단계(S410)에서는 상기 제1 이미지 및 상기 제2 이미지 각각의 좌표값을 기준으로 기울기, 크기, 및 중심 픽셀의 위치값을 계산한다.
먼저, 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 기울기 차이는 광정렬 오차에 의하여 발생되며, 이러한 기울기 차이를 보정하기 위한 회전 교차상관계수 D인 상기 기울기 위치값은 도 7에 도시된 바와 같이, 각 이미지별 기울기를 직선에서 검출하여 이의 차이값을 계산함으로써 도출하고, 이는 아래 수학식 1, 수학식 2 및 수학식 3 순서대로 계산하여 도출된다.
Figure 112020124025077-pat00001
Figure 112020124025077-pat00002
...(2)
Figure 112020124025077-pat00003
Figure 112020124025077-pat00004
...(2)
Figure 112020124025077-pat00005
여기서, 수학식 1(1)의 y는 도 7에 도시된 제2 이미지(I2) 패턴의 좌표값인 (x1.1, y1.1), (x1.2, y1.2)을 이용하여, 패턴 직선의 기울기 값인 a1를 구하기 위한 수식이며, 수학식1(2)의 y는 제1 이미지(I1) 패턴 직선의 기울기 값인 a2를 구하기 위한 수식이다.
θ1은 상기 제1 이미지(I1)의 패턴 직선의 기울기 값인 a1를 이용하여, 제1 이미지 패턴의 기울기를 구하기 위한 수식이며, θ2는 제2 이미지(I2)의 패턴 직선의 기울기 값인 a2를 이용하여, 제2 이미지 패턴의 기울기를 구하기 위한 수식이다.
결과적으로, 회전 교차상관계수 D는 제1 이미지 패턴의 기울기인 θ1과 제2 이미지 패턴의 기울기인 θ2의 차이값으로 구할 수 있다.
다음으로, 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 크기(스케일) 차이는 파장 오차 및 광정렬 오차에 의하여 발생되며, 이러한 크기 차이를 보정하기 위한 스케일 보정계수 rx 및 ry인 상기 크기 위치값은 각 이미지별 패턴의 X축 및 Y축 길이를 검출하여 이의 차이값을 계산함으로써 도출하고, 이는 아래 수학식 4 및 수학식 5 순서대로 계산하여 도출된다.
Figure 112020124025077-pat00006
Figure 112020124025077-pat00007
...(2)
Figure 112020124025077-pat00008
...(3)
Figure 112020124025077-pat00009
...(4)
Figure 112020124025077-pat00010
Figure 112020124025077-pat00011
...(2)
여기서, 수학식 4의 d1,x, d1,y는 제2 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향 크기를 도출하기 위한 수식이며, d2,x, d2,y는 제1 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향 크기를 도출하기 위한 수식이다.
또한, 수학식 5에 기재된 바와 같이 스케일 보정계수인 rx 및 ry는 수학식 4로부터 도출된 d1,x와 d2,x의 비, d1,y와 d2,y의 비로 도출된다.
다음으로, 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 중심 픽셀(병진 위치) 차이는 광정렬 오차에 의하여 발생되며, 이러한 중심 픽셀 차이를 보정하기 위한 평면 교차상관계수(cross correlation) Sx 및 SY인 상기 중심 픽셀 위치값은 각 이미지별 패턴의 X축 및 Y축 중심값을 검출하여 이의 차이값을 계산함으로써 도출하고, 이는 아래 수학식 6 및 수학식 7 순서대로 계산하여 도출된다.
Figure 112020124025077-pat00012
Figure 112020124025077-pat00013
...(2)
Figure 112020124025077-pat00014
...(3)
Figure 112020124025077-pat00015
...(4)
Figure 112020124025077-pat00016
Figure 112020124025077-pat00017
...(2)
여기서, 수학식 6의 c1,x와 c1,y는 제2 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향의 중심 픽셀 위치를 도출하기 위한 수식이며, c2,x와 c2,y는 제1 이미지 패턴의 좌표값을 이용하여 X방향 및 Y방향의 중심 픽셀 위치를 도출하기 위한 수식이다.
또한, 수학식 7에 기재된 바와 같이, 평면 교차상관계수인 Sx 및 SY는 수학식 6으로부터 도출된 c1,x와 c2,x의 차, c1,y와 c2,y의 차로 도출된다.
상기 XY축 이미지 보정단계(S420)에서는 상기 위치값 계산단계(S410)에서 도출된 상기 위치값들을 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 보정하며, 구체적으로 상기 XY축 이미지 보정단계(S420)는 회전위치 보정단계(S421), 스케일 보정단계(S422) 및 병진위치 보정단계(S423)를 포함한다.
상기 회전위치 보정단계(S421)에서는 도 8의 (a)에 도시된 예시 개략도와 같이, 상기 위치값 계산단계(S410)에서 도출된 회전 교차상관계수 D를 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 회전시켜 보정함으로써 상기 제1 이미지(I1, 기준 이미지)와 상기 제2 이미지(I2, 보정 이미지)가 동일한 회전 위치(각도)를 갖도록 정렬한다.
상기 스케일 보정단계(S422)에서는 도 8의 (b)에 도시된 예시 개략도와 같이, 상기 위치값 계산단계(S410)에서 도출된 스케일 보정계수 rx 및 ry를 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 확대 또는 축소시킴으로써 상기 제1 이미지(I1)와 상기 제2 이미지(I2)의 크기가 같도록 보정한다.
상기 위치값 계산단계(S410)에서는 도 8의 (c)에 도시된 예시 개략도와 같이, 상기 위치값 계산단계(S410)에서 도출된 평면 교차상관계수 Sx 및 SY를 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 X축과 Y축 위치 차이만큼 이동시킴으로써 병진위치 차이를 보정하여 정렬한다.
상술한 회전위치 보정단계(S421), 스케일 보정단계(S422) 및 병진위치 보정단계(S423)를 모두 수행함으로써 도 8의 (d)에 도시된 바와 같이 상기 제2 이미지(I2)가 보정됨으로써(I2') 제1 이미지(I1)와 서로 어긋남 없이 중첩되도록 정렬된다.
상기 Z축 이미지 보정단계(S430)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)의 스택(stack)을 바탕으로 하여, 상기 제1 이미지(I1)를 기준으로 상기 제2 이미지(I2)를 보정하며, 구체적으로 상기 Z축 이미지 보정단계(S430)는 콘트라스트 검출단계(S431)와, 콘트라스트 기반 보정단계(S432)를 포함한다.
상기 콘트라스트 검출단계(S431)에서는 상기 제1 이미지(I1) 및 상기 제2 이미지(I2)로부터 가장 콘트라스트가 높은 영상위치를 각각 검출한다.
이후, 콘트라스트 기반 보정단계(S432)에서는 상기 제1 이미지(I1)의 콘트라스트를 기준으로 상기 제2 이미지(I2)의 z축 높이 위치를 보정한다.
즉, 도 9의 (b)에 도시된 예시 개략도와 같이, 빛의 강도(Intensity) 값이 최고값을 가지는 스택(stack)을 추출하여 같은 스택을 갖도록 상기 제2 이미지(I2)의 z축 높이 위치를 보정한다.
상술한 이미지 획득단계(S100), 기준영역 설정단계(S200), 좌표값 인식단계(S300), 이미지 보정단계(S400)를 수행한 이후, 상기 제1 이미지 및 상기 제2 이미지를 조합하여 샘플에 대한간섭이 없는 고해상도의 3차원 영상을 획득할 수 있다.
본 발명의 권리범위는 상술한 실시예 및 변형례에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.
110: 제1 광원
120: 제2 광원
200: 빔 컴바이너
300: 튜브렌즈
400: 대물렌즈
500: 축방향 이송장치
600: 영상렌즈
700: 빔 스플리터
810: 제1 영상장치
820: 제2 영상장치

Claims (5)

  1. 서로 다른 파장을 가지는 제1 파장광 및 제2 파장광을 개별적으로 출력하는 광원을 이용하여 3차원 영상을 생성하는 3차원 영상 획득장치로부터 획득되는 상기 3차원 영상을 샘플을 이용하여 1회 보정하는 다파장 광원 기반 3차원 영상의 보정방법에 있어서,
    상기 광원을 이용하여 복수개의 영상장치로 동시에 동일한 샘플에 대하여 상기 제1 파장광 및 상기 제2 파장광은 동일한 광경로로 이동하여, 상기 제1 파장광으로부터 제1 이미지를 획득하고, 상기 제2 파장으로부터 제2 이미지를 획득하는 이미지 획득단계;
    보정의 기준이 되는 상기 제1 이미지와, 보정의 대상이 되는 상기 제2 이미지 각각의 기준영역을 설정하는 기준영역 설정단계;
    상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴 모서리 좌표값을 인식하는 좌표값 인식단계;
    상기 동일한 광경로에 위치한 복수의 렌즈의 굴절률에 의하여 왜곡되는 상기 제1 이미지와 상기 제2 이미지의 차이를 상기 좌표값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 이미지 보정단계;를 포함하되,
    상기 이미지 보정단계는,
    상기 제1 이미지 및 상기 제2 이미지 각각의 좌표값을 기준으로 기울기 위치값, 크기 위치값 및 중심 픽셀 위치값을 계산하는 위치값 계산단계; 및
    상기 기울기 위치값, 상기 크기 위치값 및 중심 픽셀 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 XY축 이미지 보정단계를 포함하고,
    상기 XY축 이미지 보정단계는,
    상기 위치값 계산단계에서 계산된 상기 제1 이미지 패턴의 기울기 위치값과 상기 제2 이미지 패턴의 기울기 위치값의 차이만큼 상기 제1 이미지를 기준으로 상기 제2 이미지를 회전시켜 보정하는 회전위치 보정단계;
    상기 위치값 계산단계에서 계산된 상기 제1 이미지 및 상기 제2 이미지의 X방향 및 Y방향 크기 위치값을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 확대 또는 축소시켜 상기 제1 이미지와 상기 제2 이미지의 X방향 및 Y방향 크기가 같도록 보정하는 스케일 보정단계;
    상기 위치값 계산단계에서 계산된 상기 제1 이미지 및 상기 제2 이미지의 중심 픽셀 위치값 차이만큼, 상기 제1 이미지를 기준으로 상기 제2 이미지를 x축과 y축 방향으로 이동시켜 정렬하는 병진위치 보정단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.
  2. 제1항에 있어서,
    상기 좌표값 인식단계는,
    상기 제1 이미지 및 상기 제2 이미지별 기준영역 각각의 패턴이 가지고 있는 모서리 영역을 검출하는 모서리 검출단계; 및
    상기 모서리에 해당하는 좌표값을 출력하는 좌표값 출력단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.
  3. 제1항에 있어서,
    상기 이미지 보정단계는,
    상기 제1 이미지 및 상기 제2 이미지의 빛의 강도(Intensity) 값이 최고값을 가지는 스택(stack)을 바탕으로 하여, 상기 제1 이미지를 기준으로 상기 제2 이미지를 보정하는 Z축 이미지 보정단계;를 더 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.
  4. 삭제
  5. 제3항에 있어서,
    상기 Z축 이미지 보정단계는
    상기 제1 이미지 및 상기 제2 이미지으로부터 가장 콘트라스트가 높은 영상위치를 각각 검출하는 콘트라스트 검출단계; 및
    상기 제1 이미지의 콘트라스트를 기준으로 상기 제2 이미지의 z축 높이 위치를 보정하는 콘트라스트 기반 보정단계;를 포함하는 것을 특징으로 하는 다파장 광원 기반 3차원 영상의 보정방법.
KR1020200155002A 2019-11-18 2020-11-18 다파장 광원 기반 3차원 영상의 보정방법 KR102484708B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190147571 2019-11-18
KR20190147571 2019-11-18

Publications (2)

Publication Number Publication Date
KR20210061285A KR20210061285A (ko) 2021-05-27
KR102484708B1 true KR102484708B1 (ko) 2023-01-05

Family

ID=76135819

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155002A KR102484708B1 (ko) 2019-11-18 2020-11-18 다파장 광원 기반 3차원 영상의 보정방법

Country Status (1)

Country Link
KR (1) KR102484708B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105177A (ja) * 2011-11-11 2013-05-30 Leica Microsystems Cms Gmbh 試料における点状対象の三次元位置決め用の顕微鏡装置および方法
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
JP2018537709A (ja) * 2015-11-11 2018-12-20 スコピオ ラボズ リミテッド 異なる照明条件下で画像を生成するためのコンピュータ顕微鏡及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479734B1 (ko) 2013-07-26 2015-01-06 전자부품연구원 구조광 패턴 기반의 3차원 형상 측정 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013105177A (ja) * 2011-11-11 2013-05-30 Leica Microsystems Cms Gmbh 試料における点状対象の三次元位置決め用の顕微鏡装置および方法
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
JP2018537709A (ja) * 2015-11-11 2018-12-20 スコピオ ラボズ リミテッド 異なる照明条件下で画像を生成するためのコンピュータ顕微鏡及び方法

Also Published As

Publication number Publication date
KR20210061285A (ko) 2021-05-27

Similar Documents

Publication Publication Date Title
CN107076985B (zh) 具有弯曲焦面或目标基准元件和场补偿器的共焦成像设备
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
US8908026B2 (en) Imaging method and microscope device
JP6364193B2 (ja) 焦点位置調整方法および検査方法
JP6503221B2 (ja) ３次元情報取得装置、及び、３次元情報取得方法
CN103038692A (zh) 基于差分测量的自动聚焦
EP3387370B1 (en) Focusing system for a telecentric optical measuring machine
JP6408893B2 (ja) ３次元位置情報取得方法及び３次元位置情報取得装置
CN106233125B (zh) 共聚焦线检验光学系统
US10731971B1 (en) Method of measuring 3D profile
KR101523336B1 (ko) 웨이퍼 영상 검사 장치
US20160004058A1 (en) Lightsheet microscopy with rotational-shear interferometry
US20170023784A1 (en) An optical arrangement and method for imaging a sample
JP5626367B2 (ja) 焦点位置維持装置及び顕微鏡
KR101826127B1 (ko) 광학적 웨이퍼 검사 장치
KR102484708B1 (ko) 다파장 광원 기반 3차원 영상의 보정방법
US10298833B2 (en) Image capturing apparatus and focusing method thereof
JP2007278849A (ja) 光学測定装置及び光学測定方法
CN111272101A (zh) 一种四维高光谱深度成像系统
KR101916827B1 (ko) 고해상도를 갖는 3차원 영상 획득장치
KR101833245B1 (ko) 위상측정 광선편향법을 이용한 표면 검사 장치의 교정 방법 및 시스템
US20190043687A1 (en) System and method for axial scanning based on static phase masks
JP4651550B2 (ja) 三次元座標計測装置および方法
US11935259B2 (en) Microscope image measuring device and microscope image measuring method
CN211205210U (zh) 四维高光谱深度成像系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right