KR101650009B1

KR101650009B1 - 단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체

Info

Publication number: KR101650009B1
Application number: KR1020150007603A
Authority: KR
Inventors: 박진상
Original assignee: 박진상
Priority date: 2015-01-15
Filing date: 2015-01-15
Publication date: 2016-08-22
Also published as: KR20160088178A

Abstract

본 발명은 단일 기록 영상에 대하여 원영상을 복원하는 방법에 관한 것으로서, 램버트 비어의 법칙(Beer-Lambert-Bouguer law)이 적용되는 빛의 세기가 산란 매질을 투과한 빛으로부터 단일 페플로그램을 획득하고, 획득한 단일 페플로그램에 특정 추정법을 적용하여 산란 매질을 추정하며, 추정한 산란 매질을 상기 단일 페플로그램 내에서 제거하고, 산란 매질이 제거된 페플로그램으로부터 특정 계산법에 의해 광자를 검출하여 2차원 원영상을 복원하며, 복원된 2차원 원영상을 이용하여 이미지를 중첩하고, 중첩된 이미지를 3차원 수동 이미지 기술(3D passive imaging technique)을 이용하여 3차원 영상으로 복원하는 과정을 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 강하게 산란되는 매질을 통과한 단일 기록 영상에서 산란 노이즈를 제거하고 광자를 검출하는 기술을 이용함으로써 육안으로 물체 또는 풍경을 식별할 수 있을 정도로 개선된 화질을 제공할 수 있는 원영상 복원 기술을 제공할 수 있다.

Description

단일 기록 영상에 대한 산란 노이즈 제거 및 광자 검출을 통해 원영상을 복원하는 방법 및 그 기록매체 {The method and the recording media for original image restoration technology based on scattering noise removal and photon detection for single recorded image}

본 발명은 단일 기록 영상에 대하여 원영상을 복원하는 방법 및 그 기록매체에 관한 것으로서, 보다 상세하게는 통계적 추론 방법을 이용하여 산란 매질을 추정한 후 산란 노이즈를 제거하고, 남은 생존 광자들을 검출하는 방법을 통하여 원영상을 복원하는 방법 및 그 기록매체에 관한 것이다.

자연광 조건에서 강하게 산란되는 매질을 통과한 동화상(이미지)은 육안으로 식별하기가 어렵다. 그런데, 최근 다양한 분야에서 이러한 산란 매질을 통과한 물체나 풍경 등을 관측하려는 요구가 증가하여 상기 식별 기술에 대한 필요성이 제기되고 있다. 예를 들면, 운전 중 짙은 안개 지역을 지날 때 전방의 차량을 식별하는 것, 소방관이 화재 현장에서 연기 속의 생존자를 찾는 것, 전투기 조종사가 구름 속에 숨어 있는 적의 비행기를 발견하는 것 및 의사가 소정의 피부 조직을 통과해서 세포를 관찰하는 것 등의 상황에서 시야를 확보할 필요가 있다. 그러나 강력한 산란 매질이 존재하는 경우에는, 사람이 맨눈으로 물체나 풍경을 확인하는 데에 어려움이 있다.

이러한 어려움을 극복하기 위해 다양한 방법이 연구되어 왔는데, 일반적인 연구 방법에는 능동 광원인 레이저와 스캐닝 매카니즘(scanning mechanism)을 사용하는 비침습적 영상 획득 방법, 다중영상 획득 방법, 파면형성 방법 등과 같은 방법이 이용되었다. 그러나 이러한 방법들은 산란 매질을 어떻게 제거할 것인가에 초점을 두고 있었으며, 물체나 풍경에서 나오는 빛 정보를 검출하는 방법에 대해서는 고려하지 않았기 때문에 그 결과가 만족스럽지는 못하였다. 또한, 이러한 방법들은 환경 변화에 따라 변화하는 산란 매개체의 사전 정보가 반드시 필요하며, 야외에서 이미지를 획득하는 것이 어렵기 때문에 비실용적일 수밖에 없다는 문제가 있다.

(선행특허 1) 한국 공개 특허 제10-2002-0006781호 (선행특허 2) 한국 공개 특허 제10-2011-0103608호

Berrolotti, J. et. al. Non-invasive imaging through opaque scattering layers. Nature 491, 232-234 (2012) Nixon, M. et. al. Real-time wavefront shaping through scattering media by all-optical feedback. Nature Photon. 7, 919-924 (2013)

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 강하게 산란되는 매질을 통과한 단일 기록 영상에서 산란 노이즈를 제거한 후 광자를 검출하는 기술에 의하여 원영상을 복원하는 방법 및 그 기록매체를 제공하는데 그 목적이 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 원영상을 복원하는 방법은 램버트 비어의 법칙(Beer-Lambert-Bouguer law)이 적용되는 빛의 세기가 산란 매질을 투과한 빛으로부터 단일 페플로그램을 획득하는 단계; 상기 획득한 단일 페플로그램에 특정 추정법을 적용하여 산란 매질을 추정하는 단계; 상기 추정한 산란 매질을 상기 단일 페플로그램 내에서 제거하는 단계; 상기 산란 매질이 제거된 페플로그램으로부터 특정 계산법에 의해 광자를 검출하여 2차원 원영상을 복원하는 단계; 상기 복원된 2차원 원영상을 이용하여 이미지를 중첩하고, 상기 중첩된 이미지를 3차원 수동 이미지 기술(3D passive imaging technique)을 이용하여 3차원 영상으로 복원하는 단계; 를 포함한다.

상기 획득한 단일 페플로그램에 특정 추정법을 적용하여 산란 매질을 추정하는 단계는 최대가능추정(MLE)방법 또는 베이시안(Bayesian)추정법에 근거하여 산란 매질을 추정하는 것일 수 있다.

상기 산란 매질이 제거된 페플로그램으로부터 특정 계산법에 의해 광자를 검출하여 2차원 원영상을 복원하는 단계는 상기 광자의 수를 푸아송 분포(Poisson Distribution)에 기초한 광자 계수 영상법에 의한 계산법을 이용하여 추출하는 것일 수 있다.

상기 산란 매질이 제거된 페플로그램으로부터 광자를 검출하는 단계는 산란 매질은 입력 영상의 크기가 1% ~ 10% 사이의 값을 가지는 것일 수 있다.

상기 산란 매질이 제거된 페플로그램으로부터 광자를 검출하는 단계는 상기 페플로그램으로부터 변화하는 생존 광자의 수를 측정하되, 상기 생존 광자의 수는 입력 영상의 픽셀 수의 1% ~ 10% 사이의 값을 가지는 것일 수 있다.

상기 원영상을 3차원 영상으로 복원하기 위하여 자연광을 이용할 수 있다.

상기 원영상을 3차원 영상으로 복원하기 위하여 자연광 또는 적외선을 이용하는 것일 수 있다.

상기 원영상을 3차원 영상으로 복원하기 위하여 가시광선 및 적외선을 이용하는 것일 수 있다.

상기 원영상을 3차원 영상으로 복원하기 위하여 레이더를 이용할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 원영상을 복원하는 방법은 상기의 방법 중 어느 하나를 실행하기 위한 컴퓨터 프로그램을 기록한 기록매체로 구현될 수 있다.

본 발명에 의한 경우, 강하게 산란되는 매질을 통과한 단일 기록 영상에서 산란 노이즈를 제거하고 광자를 검출하는 기술을 이용함으로써 육안으로 물체 또는 풍경을 식별할 수 있을 정도로 개선된 화질을 제공할 수 있는 원영상 복원 기술을 제공하는 효과가 있다.

도 1은 본 발명의 실시예에 따른 페플로그래피를 적용하여 원영상을 복원하는 과정을 나타내는 흐름도이다.
도 2a는 본 발명의 실시예에 따른 소프트웨어의 적용을 도식화한 도면이다.
도 2b는 본 발명의 다른 실시예에 따른 소프트웨어의 적용을 도식화한 블록도이다.
도 3은 본 발명의 실시예에 따른 단일 기록 영상에 대한 산란 노이즈를 제거하고 광자를 검출하여 원영상을 복원하는 장치의 블록도이다.
도 4는 본 발명의 실시예에 따른 페플로그래피의 전체적인 개념을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 단일 페플로그램으로부터 산란 매질을 추정하고 제거하는 과정을 나타내는 도면이다.
도 6은 도 5에 따른 컴퓨터 집적 영상 재생 방법의 개념을 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따라 시각화된 페플로그래피의 실험결과를 나타내는 도면이다.
도 8은 본 발명의 또 다른 실시예에 따라 다양한 응용상황에 적용한 실험결과를 나타내는 도면이다.

첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

본 발명에서는 통계 광학을 기반으로 강력한 산란 매질을 통과한 물체나 풍경의 빛 정보를 검출(즉, 생존 광자를 직접적으로 감지하는 기술)하여 원래의 물체나 풍경의 영상을 복원하는 기술에 관하여 제안한다.

이하에서는 이러한 기술을 "Peplography(페플로그래피)"라고 정의하는데, 이는 가려져 있다는 뜻의 그리스어

"peplo(veiled)"와 기록한다는 뜻의 그리스어

"grafit(writing)"의 합성어이다. 페플로그래피는 통계 광학에 기초한 하나(단일)의 페플로그램(Peplogram, 가려진 이미지, veiled image)으로부터 생존 광자를 바로 검출하며, 집적 영상(integral imaging, 이미지 축적)방법을 이용하여 3차원적으로 페플로그램을 복원하게 되는 것에 관한 기술을 의미한다. 페플로그래피는 종래와 완벽히 다른 방식으로 산란 매질을 통과한 이미지(동화상)에 대하여 새로운 이미지(동화상)를 제공하기 때문에, 산란 매질과 관련된 동적인 영상 기술(dynamic imaging)분야에 존재하는 다양한 문제를 해결할 수 있다. 또한, 이하에서는 산란 매질 속에 있는 물체나 풍경에 대한 영상을 "Peplogram(페플로그램)"이라고 정의한다.

이하에서는 도면을 참조하여, 상기 페플로그래피를 뒷받침하는 이론 및 실험 결과를 제시하며, 페플로그래피를 통한 3차원 이미지(동화상)획득 방법에 관하여 구체적으로 설명한다.

도 1은 본 발명의 실시예에 따른 페플로그래피를 적용하여 원영상을 복원하는 과정을 나타내는 흐름도이다. 도 2의 a는 본 발명의 일 실시예에 따른 소프트웨어의 적용을 도식화한 블록도이다. 도 2의 b는 본 발명의 다른 실시예에 따른 소프트웨어의 적용을 도식화한 도면이다. 도 3은 본 발명의 실시예에 따른 단일 기록 영상에 대한 산란 노이즈를 제거하고 광자를 검출하여 원영상을 복원하는 과정의 블록도이다. 도 4는 본 발명의 실시예에 따른 페플로그래피의 전체적인 개념을 나타내는 도면이다.

도 1 부터 도 4를 참조하면, 페플로그래피를 이용하여 원영상을 복원하는 방법은 램버트 비어의 법칙(Beer-Lambert-Bouguer law)이 적용되는 빛의 세기가 산란 매질을 투과한 빛으로부터 단일 페플로그램을 획득하는 단계(S1), 상기 획득한 단일 페플로그램에 특정 추정법을 적용하여 산란 매질을 추정하는 단계(S2), 상기 추정한 산란 매질을 상기 단일 페플로그램 내에서 제거하는 단계(S3), 상기 산란 매질이 제거된 페플로그램으로부터 특정 계산법에 의해 광자를 검출하여 2차원 원영상을 복원하는 단계(S4), 상기 복원된 2차원 원영상을 이용하여 이미지를 중첩하고, 상기 중첩된 이미지를 3차원 수동 이미지 기술(3D passive imaging technique)을 이용하여 3차원 영상으로 복원하는 단계(S5); 를 포함하여 이루어질 수 있다.

여기서, 단일 페플로그램에 특정 추정법을 적용하여 산란 매질을 추정하는 단계(S2)는 최대가능추정(MLE)방법 또는 베이시안(Bayesian)추정법에 의하여 진행될 수 있다.

또한, 산란 매질이 제거된 페플로그램으로부터 특정 계산법에 의해 광자를 검출하여 2차원 원영상을 복원하는 단계(S4)는 상기 광자의 수를 푸아송 분포(Poisson Distribution)에 기초한 광자 계수 영상법에 의한 계산법을 이용하여 추출함으로써 진행될 수 있다.

또한, 상기 원영상을 3차원 영상으로 복원하기 위하여 레이더를 이용할 수 있으며, 자연광, 가시광선 또는 적외선의 빛들 중 선택된 하나 이상의 조합에 의한 빛을 이용할 수 있다.

각각의 단계에 대한 상세한 설명은 실시예, 도면 및 수학식을 참조하여 후술한다.

도 2a를 참조하면, 상기 원영상을 복원하는 방법은 특정 부분에 도입되어 호환 및 적용이 가능한 소프트웨어(컴퓨터 프로그램)의 형태로 구현될 수 있는데, 다양한 장치에 적용되어 네트워크를 이용하여 서비스가 가능한 웹형태의 서비스 또는 모바일 서비스가 가능하도록 응용될 수 있다.

즉, 상기 소프트웨어는 반도체 칩(semi-conductor chip)에 포함되어 반도체 칩의 형태로 구현될 수 있다. 또한, 소프트웨어 그 자체 또는 상기 소프트웨어가 적용된 반도체 칩의 형태로 기능 단위의 부품인 모듈(Embedded Sub-module or module)로서 형성될 수도 있다. 또한, 소프트웨어 그 자체, 상기 소프트웨어가 도입된 반도체 칩 또는 모듈 등의 형태로 다양한 장치의 시스템(Embedded System)을 구성하는 형태로 적용될 수 있으며, 그 예로 스마트 폰, 테블릿 PC, 노트북 컴퓨터, PC, 워크 스테이션(work station), 네비게이션, 블랙박스, 셋톱 박스(set-top box) 등을 고려할 수 있으나, 이에 한정되지는 않는다. 또한, 소프트웨어 그 자체, 상기 소프트웨어가 적용된 반도체 칩 또는 모듈 등의 형태로 구성된 다양한 장치의 시스템을 관리, 제어할 수 있는 서비스 플랫폼 센터(service platform center)에 적용될 수도 있다.

도 2b를 참조하면, 상기 원영상을 복원하는 방법으로서 특정 장치에 삽입되어 호환 및 적용이 가능할 수 있도록 구현된 소프트웨어(컴퓨터 프로그램)는 기존에 존재하는 소프트웨어 모듈에 포함되어 적용 및 호환됨으로써 다양한 분야에서 응용될 수 있게 된다. 즉, 다양한 분야에서 산란 노이즈를 제거하여 원래의 물체나 풍경의 영상을 복원하도록 적용될 수 있게 된다.

인공위성, 우주왕복선 등과 같은 우주항공 분야에서 지구대기를 통과하거나 비행기, 전투기, 헬기 등과 같은 항공 분야에서 구름을 통과하거나 어선, 선박, 유람선 등 해상 분야에서 안개를 통과하거나 잠수함, 해저통로 등 해저 분야에서 헤이즈(haze)를 통과하거나 자전거, 자동차, 철도 등 육상교통 분야에서 안개, 헤이즈를 통과하거나 미세먼지, 황사 등 날씨 관련 분야에서 미스트(mist)를 통과하거나 또는 사람의 지질, 단백질, 세포, 지문감식 등 헬스(health)분야에서 시야를 방해할 수 있는 분야 등에서 산란 노이즈를 제거할 수 있도록 적용될 수 있다. 다만 상기에서 설명한 적용 분야 외에도, 산란 노이즈 제거를 통한 영상 복원에 의하여 시야를 확보할 필요가 있는 경우에는 어느 분야에든지 다양하게 적용될 수 있을 것이다.

도 3을 참조하면, 본 발명에 의하여 단일 기록 영상에 대한 산란 노이즈를 제거하고 광자를 검출하여 원영상을 복원하는 장치(이하, '원영상 복원 장치'는 영상촬영부(300), 영상보정부 및 영상표시부를 포함하여 구성될 수 있다.

영상촬영부(300)는 원거리의 사물 또는 풍경을 촬영하게 된다. 이때, 영상촬영부는 원거리 사물 또는 풍경을 인식할 수 있도록 고배율 망원렌즈 및 상기 고배율 망원렌즈로부터 획득된 영상 정보를 기록하는 CCD(charge-coupled device) 모듈을 포함할 수 있는데, 이에 한정되지 아니하고 다양한 기록 장치로 대체될 수 있다. 여기서 고배율 망원렌즈는 사용자가 초점을 조절할 수 있는 포커스 조절부 및 영상의 특정 부위를 확대하거나 축소할 수 있도록 조절이 가능한 줌 버튼부를 포함할 수 있다.

영상보정부는 영상촬영부에서 촬영한 영상에 안개, 해무, 연무 또는 강우에 의한 영상 왜곡이 발생하면 이를 보정하는 역할을 한다. 즉, 영상촬영부에서 촬영된 영상을 받아들여 이를 분석함으로써 환경 요소를 감지하는 모듈을 더 포함할 수 있는데, 안개 요소를 감지할 수 있는 안개 자동 판별부 및 상기 안개 자동 판별부와 연결되며 상기 안개 자동 판별부에서 감지된 안개 요소에 따라 안개 정도를 산출하여 영상의 복원 정도를 보강할 수 있는 안개 성분 감쇄부를 구비할 수 있다.

이때, 안개 자동 판별부는 영상촬영부에서 촬영된 영상을 다수로 분할하는 영상분할부 및 상기 영상분할부와 연결되어 분할된 영상 영역별 안개 요소도를 산출하는 안개 성분 산출부를 포함할 수도 있다.

또한, 안개 성분 감쇄부는 영상분할부에 의해 다수로 분할된 촬영 영상을 분할된 영상의 안개 요소에 따라 영상의 명암 범위를 보정하는 콘트라스 보정부, 상기 영상분할부와 연결되어 영상에서 사물의 가장자리 성분을 처리하여 가장자리까지 이미지가 확실하게 구분될 수 있도록 보정하는 에지처리부 및 상기 에지처리부와 연결되어 영상의 색상(Red, Green, Blue)성분을 변환함으로써 실제 물체나 풍경과 유사한 색상을 표현할 수 있도록 하는 색상정보부를 구비할 수 있다.

영상표시부는 영상보정부에서 보정된 영상을 사용자에게 디스플레이하는 기능을 포함한다. 영상표시부는 헤드마운트 타입의 디스플레이가 될 수 있다. 헤드마운트 타입의 디스플레이로 형성된 영상표시부인 경우에는 상기 영상표시부는 사용자의 시선과 동일 선상에 위치하게 되는데, 이에 한정되지 아니하고 블루투스 등 무선 통신이나 스마트 폰, PC 등과 유선 연결을 통해 실시간으로 화면을 제공할 수 있는 등 다양한 변경이 가능하다.

이외에도 별도의 충전 거치대를 이용하여 충전되는 전원공급부를 더 포함할 수 있는데, 상기 충전 거치대는 유선 또는 무선 충전 방식으로 충전될 수 있으며 충전으로 재사용이 가능한 배터리를 구비할 수도 있다.

도 4를 참조하면, 산란 매질을 통과하는 빛의 강도 및 위상은 고정되지 않고 랜덤(random)한 값을 갖는다. 또한, 오렌지색의 실선은 페플로그램에서 산란되는 광선을 표시하며, 빨간색의 실선은 산란 매질을 통과하는 생존 광선을 표시한다. 따라서, 페플로그램으로부터 추정된 산란 매질을 제거한 후에, 생존 광자를 얻을 수 있게 된다. 그러나 이때에는 충분한 광자를 얻을 수 없는 광자 부족 상태이므로, 생존 광자를 바로 감지할 수 있는 새로운 이미지 시스템이 요구된다. 이는 후술할 도 5에 의해 확인될 수 있다.

도 4에 도시된 바와 같이, 전체 산란된 광선은 물체에서 나오는 작은(국소) 영역의 산란 매질을 통과하여 생성되는 산란된 광선들의 중첩이라고 가정할 수 있다. 즉, 작은 영역에 대하여 산란된 광선들은 통계적으로 서로 독립적이라고 가정할 수 있다. 다시 말하면, '산란 매질은 국소 영역에서 산란되는 빛(Scattered ray)과 투과되어 생존하는 빛(Ballistic ray)의 중첩이다'라는 가정을 통해 센트럴 리미트 정리(Central limit Theorem)를 사용하여 산란 매질이 가우시안(Gaussian) 분포를 따른다고 할 수 있다. 따라서, 최대가능추정(Maximum Likelihood Estimation, MLE) 또는 베이시안(Bayesian)추정법이라는 추정법을 사용하여 산란 매질을 추정할 수 있게 된다. 이렇게 추정된 산란 매질을 페플로그램에서 제거하고 남아 있는, 생존하는 빛을 검출하면 원영상으로 복원이 가능해진다. 생존하는 빛을 검출하기 위해서는 광자 (Photon)라는 개념을 사용해야 하며, 이는 생존 광선은 그 세기가 매우 작으므로 광자의 수 단위로 검출해야 하기 때문이다. 따라서, 본 발명에서는 광자를 검출하기 위해 광자계수 영상법(Photon counting imaging)을 사용하게 되는데, 광자계수 영상법에 관한 상세한 설명은 후술한다.

페플로그래피는 일반적으로 사용되는 자연광원과 이미지 센서에 의해 영상을 기록한다. 이렇게 기록된 이미지는 페플로그램으로 확인될 수 있는데, 상기 페플로그램을 획득하기 위하여 산란 매질을 최대가능추정(MLE)과 같은 통계적 추론 방법으로 추정하고 제거하는 방법을 이용한다. 산란 매질을 제거하는 방법을 거치면 페플로그램은 소수의 생존 광자를 표시하게 되는데, 그 이후에 생존 광자를 검출하기 위해서 푸아송 분포(Poisson Distribution)에 기초한 광자 계수 영상법이 적용되어 복원된 페플로그램이 얻어지게 된다. 이후에, 후술할 바와 같이 결과적으로는 개선된 화질을 가진 복원된 3차원 페플로그램이 획득될 수 있으며, 이는 집적 영상 방법을 적용한 3차원 수동 이미지 기술(3D passive imaging technique)에 의한다.

복원된 페플로그램을 획득하기 위해서, 산란 매질을 통계적 추론 방법으로 추정하고 제거한다고 하였는데 이하에서는 이에 대해 수식을 이용하여 좀 더 상세히 설명한다. 여기서 산란 매질은 많은 작은 산란 매질의 중첩이기 때문에 센트럴 리미트 정리(Central Limit Theorem)를 이용하여 모델링 된다. 즉,

의 영역은 가우시안 분포를 따르게 된다. 여기서, 단일 페플로그램(

)의 작은 영역이

픽셀의 분해능을 갖는 전하결합소자(CCD, 카메라 등)와 같은 종래의 이미지 기록 장치에 의해 획득될 때, 이에 상응하는 부분은

와 같이 표현되며, 이때

,

and

이다.

다시 말하면, 강력하게 산란되는 매질에 대하여 단일 페플로그램으로부터 산란되는 매질을 추측하기 위해서 최대가능추정(MLE) 방법과 같은 통계적 추론 방법을 적용하게 된다. 이때, 산란 매질은

의 차원을 가진 많은 다른 산란 부분으로 구성된다고 가정할 수 있으며, 또한 산란 매질은 샘플 평균

과 분산

값을 가우시안 분포에 의해 모델링 될 수 있는데, 그 값의 범위는 입력 영상 크기의 1% ~ 10% 사이의 값 중에서 추출될 수 있다. 여기서 i 와 j 는 각각 x와 y방향으로 산란되는 광자 부분의 인덱스(index)이다. 이에, 가우스 변수는 수식 (1)과 같이 표시된다.

(수식 1)

이때, I는 페플로그램의 픽셀 세기를 의미한다.

이로써, 산란 매질을 추정할 수 있게 되는데, 이는 가우시안 분포의 샘플 평균값인 미지의 변수(

)에 의하며, 최대가능추정(MLE) 방법을 이용하여 확률적으로 실제와 최대한 가까운 값을 갖게 된다.

좀 더 상세히 설명하면, 가우시안 분포 중 미지의 매개변수

(샘플 평균값)를 발견하는 것에 의해 산란 매질을 추정할 수 있으며, 이를 위해 수식 (2)부터 수식 (4)에서 보는 바에 따라 최대가능추정(MLE)과 같은 통계적 추측 방법이 이용될 수 있다.

(수식 2)

(수식 3)

(수식 4)

여기서, 수식 (3) 및 수식 (4)에서 보는 바와 같이, 추정되는 산란 매질은 (

)평면상의 표본 평균이다.

그 후, 산란 매질을 제거한 페플로그램

는 수식 (5)와 같이 표현된다.

(수식 5)

도 5는 본 발명의 다른 실시예에 따라 단일 페플로그램으로부터 산란 매질을 추정하고 제거하는 과정을 나타내는 도면이다. 즉, 도 5의 a는 본 발명의 실시예에 따른 산란 노이즈가 없는 요소 영상을 나타내는 도면이다. 도 5의 b는 본 발명의 실시예에 따른 단일 페플로그램의 이미지를 나타내는 도면이다. 도 5의 c는 본 발명의 실시예에 따라 추정된 산란 매질의 이미지를 나타내는 도면이다. 도 5의 d는 본 발명의 실시예에 따라 단일 페플로그램으로부터 산란 매질을 제거한 이미지를 나타내는 도면이다. 도 6은 도 5에 따른 컴퓨터 집적 영상 재생 방법의 개념을 나타내는 도면이다.

도 5를 참조하면, 본 발명에 의한 실험을 위해 엠블란스, 허머 차량 모델과 같은 모형 차량이 사용된다. 실험을 위해서 약 38리터의 물에 약 14밀리미터의 우유를 섞었으며, 이때 투과되는 빛의 세기는 램버트 비어의 법칙(Beer-Lambert-Bouguer law)에 의하여

와 같이 표현된다. 여기서

와

는 각각 산란 전의 빛의 세기와 조명 파장 및 매질에 의존하는 감쇄계수를 의미하며,

는 동질성을 갖는 매질의 두께를 나타낸다. 만약 산란 매질이 동질성이 없다면,

는 공간좌표에 의존한다. 즉, 페플로그래피는 동질성을 갖거나 또는 동질성이 없는 산란 매질 모두에 적용될 수 있다. 최대가능추정(MLE) 방법을 사용하여, 탁한 물에서의 추정된 산란 매개체는 도 5의 c와 같이 나타난다. 이때, 산란 매질의 작은 영역은

이다. 도 5의 d에 도시된 바와 같이 산란 매질을 제거한 페플로그램은 수식 (2)와 수식 (5)에 의해 얻어질 수 있다.

이렇게 처리된 페플로그램은 광자가 희박한 조건하에서 이미지를 기록한 것처럼 표시된다. 이는 단지 일부의 생존 광자만이 산란 매질을 통과하여 생존하기 때문이며, 광자계수 영상법에 의해서 이러한 생존 광자를 곧바로 검출하는 것이 가능하다. 여기서 광자계수 영상법은 광자가 희박한 조건에서 물체나 풍경의 영상을 획득할 때 사용되는 방법이다. 페플로그래피에서 추정된 산란 매질을 제거하면 세기가 약한 생존하는 빛(ballistic ray)만 남기 때문에 마치 광자가 희박한 조건과 같아진다. 따라서, 이 생존 광선을 검출하기 위해서는 광자계수 영상법이 사용될 수 있다. 광자계수 영상법은 드물게 발생되는 광자의 수를 계산하는 것이기 때문에 푸아송(Poisson) 분포를 따른다고 할 수 있다. 여기서 검출하고자 하는 광자의 수 (N _p )를 제어하기 위해 페플로그램에서 산란 매질을 제거한 영상을 정규화한다. 그런 다음 N _p 를 곱하고 푸아송 랜덤 발생을 통해 광자를 검출한다. 이렇게 검출된 광자로 이루어진 영상은 원영상으로 복원된 영상이다. 보다 화질이 좋은 원영상을 얻기 위해서는 3차원 영상법 중의 하나인 집적 영상 (Integral Imaging)을 사용할 수 있다. 집적 영상의 물체나 풍경에 대해 서로 다른 원근감을 갖는 다수의 영상을 획득하여 렌즈 배열을 통해 3차원 영상을 디스플레이하는 방법이다. 따라서, 페플로그래피에서는 집적 영상을 통해 획득된 다수의 페플로그램을 얻을 수 있다. 이 영상들을 컴퓨터 집적 영상 재생 (Computational Integral Imaging Reconstruction: CIIR) 방법으로 3차원 재생하게 되면 보다 화질이 좋은 원영상으로 복원할 수 있게 된다.

광자계수 영상법에 의해 생존 광자를 검출할 수 있는 광자계수 검출기는 푸아송 분포에 의해 수학적으로 모델링 되는데, 이러한 분포의 특성을 고려하는 것은 단위의 시간과 공간에서 드물게 발생하는 이벤트 상황에서 유용하게 사용될 수 있다는 장점을 갖기 때문이다. 도 4의 d에 도시된 바와 같이, 상기 처리된 페플로그램으로부터 생존 광자를 감지하기 위해서,

에 의하여 정규화된 페플로그램이 사용되며, 이때의 전체 에너지는 생존 광자의 감지를 위한 단위 에너지를 갖는다. 광자계수 검출기의 모델은 수식(6)과 같이 표현된다.

(수식 6)

여기서

는 검출하고자 하는 광자의 수,

는 색상 채널(Red(R)채널, Green(G)채널 및 Blue(B)채널), 그리고

는 개개의 색상 채널에 대한 생존 광자의 계수(coefficient)를 나타낸다.

이에 관하여 수학적으로 광자를 추출하는 모델에 관하여 좀 더 상세히 설명하면, 추정된 산란 매질을 제거한 후의 이미지는 적은 수의 생존 광자를 갖기 때문에, 새로운 이미지 추출 방법이 필요하다. 광자계수 영상법은 산란 매질을 제거한 후의 페플로그램으로부터 생존 광자를 감지하는 데에 이용되는데, 일반적으로, 광자계수 영상법은 푸아송(Poisson)분포에 의해 모델링 될 수 있다. 광자계수 영상 방법에 의한 모델링에서, 추출된 광자의 수는 추출하고자 하는 광자의 수(

)에 의해 조절된다. 그래서, 이미지는 단일 에너지를 가질 필요가 있고, 수식 (7)에 의하여 산란 매질을 통과한 물체 또는 풍경에 대한 전체 픽셀 세기의 합을 이용하여 정규화를 수행할 수 있다.

(수식 7)

여기서, 정규화된 이미지(

)는 단일 에너지를 갖는다. 원하는 수의 광자를 추출하기 위해서 수식 (8)과 같은 푸아송 랜덤 생성(Poisson random generation) 방법이 적용될 수 있다.

(8)

이때,

는 추출하고자 하는 광자의 수이고,

는 R채널, G채널 및 B채널 등의 색상 채널에 대한 빛의 계수(coefficient)를 의미한다.

수식 (7) 및 수식 (8)로부터 생존 광자를 가진 복원된 페플로그램이 생성된다. 그러나, 이렇게 생성된 페플로그램은 물체를 시각화하기 위한 충분한 수의 생존 광자를 포함하지 못하는 경우가 발생하므로, 다수의 복원된 페플로그램과 최대가능추정(MLE)방법을 사용하여 물체 또는 풍경 정보가 추정될 수 있다. 다수의 복원된 페플로그램으로부터 가능 함수(likelihood function)를 구성하고, 수식 (9)에서부터 수식 (12)를 이용하여 풍경을 추정할 수 있다.

(수식9)

(수식10)

(수식11)

(수식12)

수식 (12)에 의해서, 강력한 산란 매질을 통과하는 2차원 풍경을 추정할 수 있다. 이후, 3차원적으로 복원된 페플로그램은 컴퓨터 집적 영상 재생 기술을 이용하여 획득될 수 있다. 컴퓨터 집적 영상 재생 기술은 수동적 3차원 이미지 센싱 및 시각화 기술이다. 컴퓨터 집적 영상 재생 기술을 통하여 3차원 물체에 렌즈 배열(lenslet array) 또는 카메라 배열을 적용하여 3차원 정보에 관한 다른 정도의 원근감(perspective)을 가진 다수의 2차원 이미지를 기록할 수 있다. 이러한 2차원 이미지들을 요소 영상이라 한다. 이로써, 안경과 같은 별도의 장치 없이도 완벽한 시차 및 연속적인 시점을 제공할 수 있다. 3차원 이미지는 컴퓨터 집적 영상 재생 기술을 사용하여 각각의 깊이(depth)에서 복원함으로써 시각화될 수 있다.

도 6을 참조하면, 각각의 요소 영상은 재생 평면 상의 초점거리(f)를 가진 가상의 핀홀 배열을 통하여 투영(projetion)되는 것을 확인할 수 있다.

이후에, 모든 요소 영상들은 서로 겹쳐지게 되는데, 겹쳐진 부분은 재생 평면의 깊이(depth)에 따라 변화하기 때문에, 그 결과 다른 재생 이미지가 된다. 컴퓨터 집적 영상 복원의 과정은 수식 (13) 및 수식 (14)와 같이 구현될 수 있다.

(13)

(14)

여기서, N_x 는 요소 영상에서 X축 방향으로의 픽셀의 수이고, N_Y 는 요소 영상에서 Y축 방향으로의 픽셀 수이다. 또한, p는 가상 핀홀 사이의 간격이고, C_x는 X축 방향으로의 이미지 센서의 크기, C_y는 Y축 방향으로의 이미지 센서의 크기를 의미한다. z 는 재생된 이미지의 깊이이고, S_x 는 X축 방향으로 중첩되는 이동 픽셀의 수, S_y는 Y축 방향으로 중첩되는 이동 픽셀의 수이다. C_k1 는 K번째 행, ㅣ번째 열의 복원된 페플로그램을 의미하고, O(x, y)는 중첩되는 수를 나타내는 매트릭스가 된다.

산란 매질 뒤의 3차원 물체 또는 풍경(scene)으로부터 나오는 생존 광자의 전체 에너지는 조명(빛)의 파장에 비례한다. 각각의 기본적인 색상 채널에 있어서, 정규화된 페플로그램

에 각각 다른 계수가 적용될 수 있다. 즉 R채널, G채널 및 B채널에서 생존 광자에 대한

의 계수는 각각 1.4497, 1.1270 및 1로 설정된다. 이는 각각의 색상 채널의 평균 파장은 적색(R)이 685nm(red: 620~750nm), 녹색(G)이 532.5nm(green: 495~570nm) 그리고 파랑색(B)이 472.5nm(blue: 450~495nm)이기 때문이며, B채널을 기준으로 각각의 값을 비례적으로 정했기 때문이다.

도 7은 본 발명의 다른 실시예에 따라 시각화된 페플로그래피의 실험결과를 나타내는 도면이다. 즉, 도 7의 a는 본 발명의 실시예에 따라 200,000개의 생존 광자를 가진 복원된 페플로그램을 나타내는 도면이다. 도 7의 b는 본 발명의 실시예에 따라 세팅된 실험 설정을 나타내는 도면이다. 도 7의 c는 본 발명의 실시예에 따라 깊이(z)가 145mm일 때, 3차원적으로 복원된 페플로그램을 나타내는 도면이다. 도 7의 d는 본 발명의 실시예에 따라 깊이(z)가 155mm일 때, 3차원적으로 복원된 페플로그램을 나타내는 도면이다.

페플로그램에서, 추출하고자 하는 광자의 수(

)를 조절함으로써 산란 매질을 제거한 후의 페플로그램으로부터 변화하는 생존 광자의 수를 측정할 수 있는데, 상기 생존 광자의 수는 입력 영상의 픽셀 수의 1% ~ 10% 사이의 범위 중에서 선택될 수 있다.

수식 (7)을 이용하여 추출하고자 하는 생존 광자의 수(

)를 각각 색상 채널에

=200,000 로 설정하게 되면, 도 7의 a에 도시된 바와 같이 페플로그램을 복원할 수 있게 한다. 이때, 전술한 도 6의 b에서와 같이 탁한 물에서도 페플로그램으로부터 물체를 인식할 수 있기 때문에, 몇몇 노이즈 부분을 제외하고 화질은 대체적으로 개량되는 것을 확인할 수 있다. 그러나, 이렇게 얻어진 이미지는 깊이(두께) 정보가 없는 2차원 이미지이며, 화질은 여전히 만족스럽지 못하기 때문에, 개선된 화질을 가진 3차원 페플로그램을 획득하기 위해서 본 발명에서는 수동적인 3차원 집적 영상 기술(passive 3-D imaging technique of integral imaging)을 도입하였다. 수동적인 3차원 집적 영상 기술은 렌즈(lenslet)배열을 통하여 다양한 관점에서 다수의 2차원 이미지를 기록하고 표시하는 방법으로써, 3차원 이미지를 복원하는 데에 이용될 수 있다. 또한, 그림 6의 b에 도시된 바와 같이 합성 조리개 집적 영상 기술(synthetic aperture integral imaging)은 높은 분해능을 가진 요소 영상을 기록하는 데에 사용된다.

여기서, 카메라 렌즈의 초점 길이는 50mm이고, 카메라는 3,008(H) X 2,000(V)의 픽셀을 가지며, 카메라들 사이의 거리는 2mm이다. 엠블란스 또는 험머와 같은 모형 차량의 전면은 카메라로부터 145mm 내지 155mm 정도 떨어져 있다. 또한 카메라로부터 난파된 배 모형까지의 거리는 대략 175mm정도이다. 백색의 LED(light emitted diode) 조명이 수동 광원으로 사용되었고, 다수의 페플로그램을 합성 조리개 집적 영상 기술로 획득한 후에, 샘플 평균값

은 획득된 페플로그램으로부터

에 의해 계산될 수 있다. 여기서 샘플 평균값은 획득된 페플로그램으로부터 제거된다. 페플로그램의 전체 에너지는 픽셀 세기의 전체 합에 의해 정규화될 수 있다.

이러한 집적 영상 방법으로, 10(H) X 10(V) 정도의 요소 페플로그램이 획득되며, 이러한 3차원 물체 또는 풍경 이미지는 결국 그림 7의 c 및 그림 7의 d에 도시된 바와 같이 컴퓨터 집적 영상 재생 기술에 의해 이루어지며 다양한 평면 상에서 복원될 수 있다. 이러한 기술은 재생 평면에서 가상의 핀홀 배열을 통하여 요소 영상을 투영하는 데에 사용되며, 모든 요소 영상을 중첩하는 데에 사용된다. 여러 재생 평면에서 중첩된 영역은 서로 다르다.

또한, 도 7의 c와 도 7의 d에 도시된 바와 같이, 복원된 페플로그램의 노이즈는 컴퓨터 재생의 평균 효과(low-pass filtering) 때문에 확장되는데, 산란 매질을 통과한 물체 또는 광경의 깊이 정보를 얻기 위해서, 여러 깊이에서 컴퓨터 재생 방법을 수행한다.

도 8은 본 발명의 또 다른 실시예에 따라 다양한 응용상황에 적용한 실험결과를 나타내는 도면이다. 도 8의 a는 본 발명의 실시예에 따라 탁한 물에 있는 차량 모형에 적용된 3차원적으로 복원된 페플로그램 및 그 요소 영상을 나타내는 도면이다. 도 8의 b는 본 발명의 실시예에 따라 탁한 물에 있는 난파된 배 모형에 적용된 3차원적으로 복원된 페플로그램 및 그 요소 영상을 나타내는 도면이다. 도 8의 c는 본 발명의 실시예에 따라 안개낀 날씨의 풍경, 2차원적으로 복원된 페플로그램 및 그 요소 영상을 나타내는 도면이다.

도 8의 a 및 도 8의 b를 참조하면, 비록 탁한 물에 있는 있는 물체를 기록하였지만 본 발명의 실시예에 따라 작은 기포까지도 표시되는 페플로그래피가 형성된다. 또한, 도 6의 c를 참조하면, 실제 상황(예컨대, 안개 낀 날씨)에 관한 페플로그래피를 시행하여, 짙은 안개 지역의 건물 등은 2차원적으로 복원된 페플로그램에 의해 시각화될 수 있게 된다. 이후에, 3차원 페플로그래피를 평가하기 위해서 2차원 및 3차원적으로 복원된 패플로그램에 관한 평균제곱오차(MSE, Mean Square Error)를 계산하게 된다. 도 6의 a에 도시된 바와 같은 2차원적으로 복원된 페플로그램의 평균제곱오차는 대략 0.0876이고, 그 때의 3차원적으로 복원된 페플로그램의 평균제곱오차는 도 6의 c 및 도 6의 d에 도시된 바와 같이 대략 0.0220 및 0.0218이 된다. 그 결과 3차원적으로 복원된 페플로그램의 화질은 2차원적으로 복원된 페플로그램의 4배만큼 좋아지게 된 것을 확인할 수 있다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical diskk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개선된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

300: 영상촬영부

Claims

(a)램버트 비어의 법칙(Beer-Lambert-Bouguer law)이 적용되는 빛의 세기가 산란 매질을 투과한 빛으로부터 단일 페플로그램(Peplogram)을 획득하는 단계;
(b)상기 획득한 단일 페플로그램에 최대가능추정(Maximum Likelihood Estimation)방법 또는 베이시안(Bayesian) 추정법을 적용하여 산란 매질을 추정하는 단계;
(c)상기 추정한 산란 매질을 상기 단일 페플로그램 내에서 제거하는 단계;
(d)상기 산란 매질이 제거된 페플로그램으로부터, 생존 광자의 수는 입력 영상의 픽셀 수의 1% ~10% 사이의 범위를 가지도록 한 푸아송 분포(Poisson Distribution)에 기초한 광자 계수 영상법(Photon counting imaging)에 의한 계산법을 이용하여 변화하는 생존 광자의 수를 검출하여 2차원 원영상을 복원하는 단계; 및
(e)상기 복원된 2차원 원영상을 이용하여 이미지를 중첩하고, 상기 중첩된 이미지를 3차원 수동 이미지 기술(3D passive imaging technique)을 이용하여 3차원 영상으로 복원하는 단계; 를 포함하는 것을 특징으로 하는 원영상을 복원하는 방법.
삭제
삭제
청구항 1에 있어서,
상기 산란 매질이 제거된 페플로그램으로부터 광자를 검출하는 단계는 산란 매질의 영역은 입력 영상의 크기의 1% ~10% 사이의 범위 값을 가지는 것을 특징으로 하는 원영상을 복원하는 방법.
삭제
청구항 1에 있어서,
상기 원영상을 3차원 영상으로 복원하기 위하여 자연광을 이용하는 것을 특징으로 하는 원영상을 복원하는 방법.
청구항 1에 있어서,
상기 원영상을 3차원 영상으로 복원하기 위하여 자연광 또는 적외선을 이용하는 것을 특징으로 하는 원영상을 복원하는 방법.
청구항 1에 있어서,
상기 원영상을 3차원 영상으로 복원하기 위하여 가시광선 및 적외선을 이용하는 것을 특징으로 하는 원영상을 복원하는 방법.
청구항 1에 있어서,
상기 원영상을 3차원 영상으로 복원하기 위하여 레이더를 이용하는 것을 특징으로 하는 원영상을 복원하는 방법.
청구항 1, 청구항 4, 및 청구항6 내지 청구항9 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 기록매체.