KR20070118925A - 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치 - Google Patents

영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치 Download PDF

Info

Publication number
KR20070118925A
KR20070118925A KR1020060053235A KR20060053235A KR20070118925A KR 20070118925 A KR20070118925 A KR 20070118925A KR 1020060053235 A KR1020060053235 A KR 1020060053235A KR 20060053235 A KR20060053235 A KR 20060053235A KR 20070118925 A KR20070118925 A KR 20070118925A
Authority
KR
South Korea
Prior art keywords
image
restoration
reconstructed
focus
psf
Prior art date
Application number
KR1020060053235A
Other languages
English (en)
Other versions
KR100808610B1 (ko
Inventor
백준기
신정호
마이크 비벡
유윤종
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020060053235A priority Critical patent/KR100808610B1/ko
Priority to US11/639,964 priority patent/US7881551B2/en
Publication of KR20070118925A publication Critical patent/KR20070118925A/ko
Application granted granted Critical
Publication of KR100808610B1 publication Critical patent/KR100808610B1/ko

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 영상 처리 시스템에서 열화된 영상을 복원하는 다중초점 디지털 영상복원 방법 및 장치에 관한 것으로, 특히 디지털 방식으로 영상을 촬영하는 각종 장치에서 촬영된 영상의 초점이 맞지 않은 부분을 조절함으로써, 영상 전 영역에 대한 초점을 맞추어 원래의 영상으로 복원해 내는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및 장치에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 종래의 디지털 촬영 장치의 카메라 모듈에 적용된 디지털 자동 초점 조절 장치에서, 열화 영상 복원시 PSF를 검출하기 위한 계산과정 없이, 미리 설정된 PSF를 이용하여, 입력된 열화 영상에 대해 반복적 방식으로 여러 장의 복원 영상을 생성한 후, 각 복원 영상 중에서 초점이 맞춰진 영역을 선별하여 융합함으로써, 영상의 전 영역에 대한 초점을 맞추어 원래의 영상으로 복원해 내는 영상 융합 기술을 이용한 디지털 다중 초점 복원 방법 및 장치를 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 영상 융합 기술을 이용한 디지털 다중 초점 복원 방법에 있어서, 외부로부터 열화 영상을 입력받아, 상기 입력된 열화 영상을 점확산함수(PSF : Point Spread Function)를 구할 필요없이, 미리 설정된 점확산함수(PSF : Point Spread Function)와 영상복원 필터를 이용하여 N장의 복원 영상을 생성하는 과정과; 상기 생성된 N장의 복원 영상을 소정의 윈도우 사이즈로 나누고, 상기 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여, 상기 윈도우 영역 내의 고주파 부분만을 추려 내어 초점 열화를 분석하는 과정과; 상기 분석된 초점 열화를 이용하여, 상기 N장의 복원 영상 각각에 대한 가중치를 결정하는 과정과; 상기 결정된 N장의 복원 영상 각각에 대한 가중치를 기반으로 상기 가중치가 높은 윈도우 영역들을 선택하여 한 장의 영상으로 융합하는 과정; 및 상기 융합한 영상의 복원 정도를 미리 설정된 복원 정도와 비교하여, 상기 비교 결과 융합한 영상의 복원 정도가 상기 미리 설정된 복원 정도 이상이면, 상기 융합한 영상을 결과 영상으로 출력하는 과정을 포함함.
4. 발명의 중요한 용도
본 발명은 영상 처리 시스템의 디지털 다중 초점 복원 장치 등에 이용됨.
영상 처리 시스템, 디지털 다중 초점 복원 장치, 영상융합, 영상복원 필터

Description

영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및 장치{Digital Multi-focusing using Image Fusion}
도 1은 종래의 디지털 방식의 촬영 장치에 적용된 디지털 자동 초점 조절 장치를 나타내는 구성도.
도 2는 도 1의 PSF 검출부에서 PSF를 검출하는 과정을 나타내는 동작 흐름도.
도 3은 본 발명의 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치를 나타내는 구성도.
도 4는 도 3의 영상 융합부의 구성을 좀 더 상세히 나타내는 일실시예 예시도.
도 5는 본 발명의 제 1 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 과정을 나타내는 동작 흐름도.
도 6은 본 발명의 제 2 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 과정을 나타내는 동작 흐름도.
도 7a 내지 7d는 본 발명의 제 1 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 과정에서 사용된 열화 영상 및 결과 영상들을 나타내는 일실시예 예시도.
본 발명은 영상 처리 시스템에서 열화된 영상을 복원하는 다중초점 디지털 영상복원 방법 및 장치에 관한 것으로, 특히 디지털 방식으로 영상을 촬영하는 각종 장치에서 촬영된 영상의 초점이 맞지 않은 부분을 조절함으로써, 영상 전 영역에 대한 초점을 맞추어 원래의 영상으로 복원해 내는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및 장치에 관한 것이다.
일반적으로 디지털 방식으로 영상을 촬영하는 각종 장치(디지털 카메라, 캠코더, 컴퓨터 비젼 등)의 카메라 모듈에서 사용되는 자동 초점 조절 알고리즘은 렌즈의 심도와 유기적으로 연결되고, 이러한 심도에 따라 기계식 AF(Auto Focus, 또는 out-of-focus) 방식과 팬 포커스(Pan focus) 방식으로 구분될 수 있다.
먼저, 기계식 AF 방식은 심도가 얕은 광학계에서 사용되며, 렌즈 모듈과 센서간의 거리를 조정하여 피사체와 촬상면의 초점거리를 조정하는 형태를 취한다. 이러한 기계식 AF 방식은 크기가 큰 일반적인 디지털 카메라 등에 적용된다.
이에 반해, 팬 포커스 방식은 심도가 깊은 광학계에서 사용되며, 고정된 초점거리를 가지고 일정 범위 이상의 거리만 유지되면 촬상면에 초점이 맞는 형태를 취한다. 이러한 팬 포커스 방식은 작은 크기를 요구하는 이동통신 단말기의 카메라 모듈 등에 적용된다.
도 1은 종래의 디지털 방식의 촬영 장치에 적용된 디지털 자동 초점 조절 장 치를 나타내는 구성도이다.
도 1을 기술하기에 앞서 종래의 디지털 방식의 촬영 장치(디지털 카메라, 캠코더, 컴퓨터 비젼 등)에 적용된 디지털 자동 초점 조절 장치는 기계식 AF 방식 또는 팬 포커스 방식을 채용한다.
도 1에 도시된 바와 같이, 종래의 기계식 AF 방식 또는 팬 포커스 방식을 채용한 디지털 자동 초점 조절 장치는 이미지 센서부(110), PSF 검출부(120), CLS 필터부(130)를 포함한다. 이러한 디지털 자동 초점 조절 장치의 구성을 좀 더 상세히 살펴보면, 먼저 이미지 센서부(110)는 피사체 등의 다중 객체(Multiple Object)를 포함한 열화 영상을 입력받아, 입력된 열화 영상을 센싱하여 이를 PSF 검출부(120)로 전달한다. 이러한 이미지 센서부(110)는 고체 촬상소자(CCD : Charge Coupled Device) 타입, 상보성 금속 산화막 반도체(CMOS : Complementary Metal Oxide Semiconductor) 타입 및 밀착형 이미지 센서(CIS : Contact Image Sensor) 타입으로 이루어질 수 있다.
PSF 검출부(120)는 이미지 센서부(110)로부터 열화 영상을 입력받아, 입력된 열화 영상에 기초하여 영상 복원에 필요한 점확산함수(PSF : Point Spread Function, 이하 ‘PSF’로 칭함)를 검출하고, 검출한 PSF를 CLS 필터부(130)로 전달한다.
또한, PSF 검출부(120)는 특정 초점 위치에서 거리별로 기설정된 복수의 PSF가 저장된 데이터 베이스(미도시)를 구비하여, 구비된 데이터 베이스로부터 거리에 따른 최고 품질의 PSF를 결정하여 결정된 PSF를 CLS 필터부(130)로 전달할 수도 있 다.
CLS 필터부(130)는 PSF 검출부(120)로부터 입력된 PSF를 이용하여 제약적 최소제곱(CLS : Constrained Least Squares, 이하‘CLS'로 칭함) 영상복원 필터를 구성하여, 열화 입력 영상을 복원한다.
도 2는 도 1의 PSF 검출부에서 PSF를 검출하는 과정을 나타내는 동작 흐름도이다.
도 2의 PSF 검출부(120)는 특정 초점 위치에서 거리별로 기설정된 복수의 PSF가 저장된 데이터 베이스가 구비되지 않은 경우의 예를 기술하기로 한다.
PSF 검출부(120)에서 PSF를 검출하는 과정을 살펴보면, PSF 검출부(120)는 이미지 센서부(110)로부터 열화 영상이 입력되면(S210), PSF 검출부(120)에 구비된 캐니 필터(Canny Filter) 및 라인 필터(Line Filter)를 이용하여 입력 열화 영상에 대해 소정 크기의 부 영상들로 분할하고, 분할된 부 영상들의 에지를 검출한다(S220). 그리고 검출된 에지의 화소값이 임계치 이상인 대표 에지를 검출한다(S230). 에지의 화소값이 임계치 이상인 대표 에지가 검출되면, 검출된 대표 에지에 대한 계단 응답(Unit-Step Response)을 추출하여, 추출된 계단 응답에 따라 PSF를 검출한다.
이와 같이, 종래의 디지털 자동 초점 조절 방법에는 입력 영상을 다수의 블록으로 나눈 후, 그 블록에서 계단 응답 함수를 추출하여, 추출한 계단 응답 함수에 따라 PSF를 결정하는 것으로 이루어진다. 즉, 입력 영상을 소정 크기의 부 영상들로 분할하여 각각의 에지 방향을 추정한 후, 각 에지 방향에 대한 계단 응답 함 수를 구하고, 구해진 계단 응답 함수들의 평균을 계산함으로써 PSF를 결정하게 된다(S240). 이렇게 결정된 PSF는 CLS 필터부(130)로 전달되어, CLS 필터부(130)는 입력된 PSF를 이용하여 CLS 영상 복원 필터를 통해 열화 영상을 필터링하여 복원한다.
그러나 종래의 카메라 모듈에 적용된 고정 초점계가 아닌 기계식 AF 방식의 디지털 자동 초점 조절 장치는 영상의 전 영역에 걸쳐 초점을 맞추는 고정 초점계의 팬 포커스 방식과 달리, 영상의 특정 부분만 초점이 맞고 그 외의 범위는 초점이 흐려진다. 이러한 경우, 설정된 위치에서는 선명한 복원 영상을 얻을 수는 있지만 그 이외의 위치에서는 사물의 실체를 파악할 수 없다는 문제점이 있다.
또한, 열화 영상을 복원하기 위하여 PSF 검출 시에, PSF가 일정한 신뢰 수준을 만족할 때까지 복잡한 계산을 반복적으로 수행해야하기 때문에 많은 시간이 소요되어 입력된 열화 영상을 실시간으로 복원할 수 없다는 또 다른 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 종래의 디지털 촬영 장치의 카메라 모듈에 적용된 디지털 자동 초점 조절 장치에서, 열화 영상 복원시 PSF를 검출하기 위한 계산과정 없이, 미리 설정된 PSF를 이용하여, 입력된 열화 영상에 대해 반복적 방식으로 여러 장의 복원 영상을 생성한 후, 각 복원 영상 중에서 초점이 맞춰진 영역을 선별하여 융합하거나, 열화 영상을 PSF 별로 분할하여, 분할된 각각의 영역에서 PSF를 추정함으로써, 영상의 전 영역에 대한 초점 을 맞추어 원래의 영상으로 복원해 내는 영상 융합 기술을 이용한 디지털 다중 초점 복원 방법 및 장치를 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명은, 영상 융합 기술을 이용한 디지털 다중 초점 복원 방법에 있어서, 외부로부터 열화 영상을 입력받아, 상기 입력된 열화 영상을 점확산함수(PSF : Point Spread Function)를 구할 필요없이, 미리 설정된 점확산함수(PSF : Point Spread Function)와 영상복원 필터를 이용하여 N장의 복원 영상을 생성하는 과정과; 상기 생성된 N장의 복원 영상을 소정의 윈도우 사이즈로 나누고, 상기 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여, 상기 윈도우 영역 내의 고주파 부분만을 추려 내어 초점 열화를 분석하는 과정과; 상기 분석된 초점 열화를 이용하여, 상기 N장의 복원 영상 각각에 대한 가중치를 결정하는 과정과; 상기 결정된 N장의 복원 영상 각각에 대한 가중치를 기반으로 상기 가중치가 높은 윈도우 영역들을 선택하여 한 장의 영상으로 융합하는 과정; 및 상기 융합한 영상의 복원 정도를 미리 설정된 복원 정도와 비교하여, 상기 비교 결과 융합한 영상의 복원 정도가 상기 미리 설정된 복원 정도 이상이면, 상기 융합한 영상을 결과 영상으로 출력하는 과정을 포함한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명에 따른 실시예를 기술함에 있어, 본 발명은 디지털 방식으로 영상을 촬영하는 장치의 카메라 모듈에 적용된 고정 초점계가 아닌 기계식 AF 방식의 디지털 다중 초점 복원 장치를 예를 들어 기술하도록 한다.
바람직하게는 본 발명의 실시예에서 디지털 방식으로 영상을 촬영하는 장치는 카메라 모듈이 구비된 디지털 카메라, 캠코더, 컴퓨터 비젼 및 이동통신 단말기 등을 포함한다.
도 3은 본 발명의 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치를 나타내는 구성도이다.
본 발명의 영상융합 기술을 이용한 다중초점 디지털 영상복원 장치는 입력된 열화 영상 복원시 PSF를 검출하기 위한 계산과정 없이, 미리 설정된 PSF를 이용하여, 반복적으로 복원된 영상을 융합하거나, 열화 영상을 PSF별(또는 객체별)로 분할하여 각각의 영역에서 PSF를 추정하여 복원하고 복원된 영역을 융합함으로써, 영상의 전 영역에 대한 초점을 맞추어 원래의 영상으로 복원해 낸다.
도 3을 참조하면, 본 발명의 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치는 이미지 센서부(310), 영상 복원 필터부(320), 영상 융합부(330) 및 저장부(340)를 포함한다.
이러한 본 발명에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치의 구성을 좀 더 상세히 살펴보면, 먼저 이미지 센서부(310)는 피사체 등의 다중 객체(Multiple Object)를 포함한 열화 영상을 입력받아, 입력된 열화 영상을 센싱 하여 이를 영상 복원 필터부(320)로 전달한다. 여기서 이미지 센서부(310)가 입력된 열화 영상을 센싱하는 것은 영상 복원 필터부(320)에서 열화 영상 필터링 시에 필터링의 속도를 개선하기 위하여 공간 영역(Spacial Domain)의 영상을 주파수 영역(Frequency Domain)으로 변환하는 것을 나타낸다. 이러한 이미지 센서부(310)는 고체 촬상소자(CCD : Charge Coupled Device) 타입, 상보성 금속 산화막 반도체(CMOS : Complementary Metal Oxide Semiconductor) 타입 및 밀착형 이미지 센서(CIS : Contact Image Sensor) 타입으로 이루어질 수 있다.
영상 복원 필터부(320)는 이미지 센서부(310)로부터 주파수 영역으로 변환된 열화 영상을 입력받아, 이를 미리 설정된 PSF를 이용하여 영상복원 필터로 필터링하거나, 열화 영상을 PSF별(또는 객체별)로 분할하여 각각의 영역에서 PSF를 추정함으로써, N장의 복원 영상을 생성한다. 그리고 N장의 복원 영상이 생성되면, 영상 복원 필터부(320)는 생성된 N장의 복원 영상을 영상 융합부(330)로 전달한다.
본 발명의 실시예에서 영상 복원 필터부(320)는 미리 설정된 PSF와 영상복원 필터로 구성된다. 이러한 미리 설정된 PSF와 영상복원 필터를 이용하여 N장의 복원 영상을 생성하기 위한 방법에는 두 가지 방법이 사용될 수 있다.
이에 대해 살펴보면, 첫 번째 방법은 영상 복원 필터부(320)가 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성하는 것이고, 두 번째 방법은 열화 영상을 PSF별(또는 객체별)로 분할하여, 각각의 영역에서 PSF를 추정하여 N장의 복원 영상을 생성하는 것이다.
이러한 본 발명의 실시예에 따른 미리 설정된 PSF와 영상복원 필터를 이용하여 N장의 복원 영상을 생성하기 위한 첫 번째 방법과 두 번째 방법은 도 5와 도 6을 통해 좀더 상세히 설명하기로 한다.
그리고 영상 복원 필터부(320)를 구성하는 PSF와 영상복원 필터에 따라 두 가지 방법을 통해 N장의 복원 영상이 생성되면, 영상 복원 필터부(320)는 생성된 N장의 복원 영상을 공간 영역(Spacial Domain)으로 다시 역변환하여, 역변환된 N장의 복원 영상들을 영상 융합부(330)로 전달한다.
영상 융합부(330)는 영상 복원 필터부(320)로부터 공간 영역으로 역변환된 N장의 복원 영상이 입력되면, 입력된 N장의 복원 영상들의 초점 열화를 분석하여, 분석된 초점 열화를 기반으로 각 복원 영상들의 가중치를 결정한다. 그리고 영상 융합부(330)는 복원 영상의 가중치가 결정되면, 결정된 가중치를 기반으로 한 장의 영상으로 융합한다.
영상 융합부(330)는 복원 영상들이 결정된 가중치를 기반으로 한 장의 영상으로 융합되면, 융합된 영상의 복원 정도를 측정하여, 복원 정도가 미리 설정된 값에 만족하면, 융합된 영상을 결과 영상으로 출력하게 된다.
이러한 영상 융합부(330)에서 수행하는 복원 영상들에 대한 초점 열화 분석, 가중치 결정 그리고 결정된 가중치를 기반으로 복원 영상들을 한 장의 영상으로 융합하는 과정은 도 4를 통해 좀더 상세히 설명하기로 한다.
위와 같이, 본 발명의 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 장치는 입력된 열화 영상 복원시 PSF를 검출하기 위한 계산과정 없이, 영상 복원 필터부(320)를 구성하는 PSF와 영상복원 필터에 따라, 입력된 열화 영상에 대해 반복적 방식으로 N장의 복원 영상을 생성하거나, 입력된 열화 영상을 PSF별(또는 객체별)로 분할하여 각각의 영역에서 PSF를 추정하여 N장의 복원 영상을 생성한 후, 각 복원 영상 중에서 가중치가 높은 영역을 선택하여 융합함으로써, 영상의 전 영역에 대한 초점을 맞추어 원래의 영상으로 복원해 낸다.
도 4는 도 3의 영상 융합부의 구성을 좀 더 상세히 나타내는 일실시예 예시도이다.
도 4를 참조하면, 본 발명의 실시예에 따른 영상 융합부(330)는 초점 열화 분석부(410), 가중치 결정부(420), 비교부(430)를 포함한다. 이러한 영상 융합부(330)의 구성을 좀 더 상세히 살펴보면, 먼저 초점 열화 분석부(410)는 영상 복원 필터부(320)로부터 복원 영상이 입력되면, 입력된 복원 영상의 초점 열화를 분석하여, 분석한 복원 영상의 초점 열화를 가중치 결정부(420)로 전달한다.
이러한 초점 열화 분석부(410)에서 입력된 복원 영상의 초점 열화를 분석하는 방법은 영상 복원 필터부(320)를 구성하는 PSF와 영상복원 필터에 따라 달라질 수 있으며, 도 4에서는 영상 복원 필터부(320)가 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성한 예를 기술하도록 한다. 여기서 본 발명에서 제안한 정칙화 복원 공식은 입력된 열화 영상을 필터링하기 위한 영상복원 필터를 나타내며, 그리고 정칙화 복원 공식의 수치를 점차 증가시킴으로써, 1부터 N장의 영상복원 필터를 생성할 수 있다.
초점 열화 분석부(410)는 영상 복원 필터부(320)로부터 본 발명에 따른 정칙화 복원 공식 즉, 1부터 N장의 영상복원 필터에 따라 복원된 N장의 복원 영상들이 입력되면, 각각의 복원 영상들을 소정의 윈도우 사이즈로 나누고, 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여 윈도우 영역 내의 고주파 부분만을 추려 낸다. 이러한 윈도우 영역 내의 주변 픽셀 간의 차분 절대값은 다음의 수학식 1을 통해 구할 수 있다.
Figure 112006041443792-PAT00001
초점 열화 분석부(410)는 수학식 1을 통해 구해진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 전부 합산하여 하나의 대표 값을 정하게 되고, 정해진 대표 값이 일정 크기 이상 되는 것들만을 기록한다. 그리고 기록된 대표 값은 가중치 결정부(420)에서 가중치를 결정하는데 이용된다.
초점 열화 분석부(410)는 각 복원 영상들의 초점 열화가 분석되어 대표 값이 기록되면, 기록된 대표 값을 가중치 결정부(420)로 전달한다.
가중치 결정부(420)는 초점 열화 분석부(410)로부터 각 복원 영상들의 초점 열화가 분석되어 대표 값이 입력되면, 분석된 초점 열화의 대표 값을 이용하여 가중치를 결정한다. 본 발명의 실시예에 따른 영상 복원 필터부(320)가 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성한 예에서는 정칙화 복원 공식의 수치 증가에 따라 복원 정 도가 낮은 상태에서부터 누적되어 복원 정도가 점점 세어지게 된다. 이러한 경우, 가중치 결정부(420)는 생성되는 여러 장의 복원 영상 중에서 최종 결과에 가까운 영상에 가중치를 많이 주고, 최종 결과에 가깝지 않은 영상의 경우 가중치를 적게 주게 된다.
그리고 가중치 결정부(420)에서 분석된 초점 열화를 이용하여 각 복원 영상들의 가중치가 결정되면, 가중치가 결정된 각 복원 영상들을 비교부(430)로 전달한다.
비교부(430)는 가중치 결정부(420)로부터 가중치가 결정된 복원 영상들을 입력받으면, 결정된 가중치의 높은 부분을 선택하여 한 장의 영상으로 융합한다. 그리고 비교부(430)는 융합된 영상이 미리 설정된 복원 정도를 비교하여, 융합된 영상이 일정 수준을 만족하면 융합된 영상을 결과 영상을 결과 영상으로 출력하고 정칙화 복원 공식의 반복 수행을 멈추게 된다.
도 5는 본 발명의 제 1 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 과정을 나타내는 동작 흐름도이다.
본 발명의 제 1 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 과정은 영상 복원 필터부(320)가 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성한다.
도 5를 참조하면, 피사체 등의 다중 객체를 포함한 열화 영상이 이미지 센서부(310)로 입력되면(S510), 이미지 센서부(310)는 입력된 열화 영상을 주파수 영역(Frequency Domain)으로 변환하고, 주파수 영역으로 변환된 열화 영상을 영상 복 원 필터부(320)로 전달한다. 여기서 이미지 센서부(310)에서 열화 영상을 주파수 영역으로 변환하는 것은 입력된 열화 영상의 필터링 속도를 개선하기 위함이다.
영상 복원 필터부(320)는 이미지 센서부(310)로부터 주파수 영역으로 변환된 열화 영상이 입력되면, 입력된 열화 영상을 이용하여 N장의 복원 영상을 생성한다(S520).
본 발명의 제 1 실시예에 따른 영상 복원 필터부(320)에서 입력된 열화 영상을 이용하여 N장의 복원 영상을 생성하는 방법은 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성하는 것으로 이루어진다. 여기서 본 발명의 실시예에 따른 반복적 정칙화 복원 공식은 다음의 수학식 2와 같이 표현된다.
Figure 112006041443792-PAT00002
수학식 2를 살펴보면, x와 y는 각각 입력 영상(반복영상)과 출력 영상(관측 영상)을 나타낸다. 그리고 k는 반복횟수를 나타내며 β는 반복에 따른 임계치를 나타낸다.
이러한 수학식 2에서 표현된 정칙화 복원 공식은 결국 입력된 열화 영상을 필터링하기 위한 영상복원 필터를 나타내며, λ값을 점차 증가하여 1부터 N장의 영상복원 필터를 생성하여, 생성된 영상복원 필터를 이용하여 N장의 복원 영상을 생성하게 된다. 여기서 H는 미리 설정된 하나의 PSF를 나타내며, 본 발명의 실시예에 서 사용된 H는 다음과 같은 3*3 행렬로 표현된다.
Figure 112006041443792-PAT00003
그리고 수학식 2의 C는 선형 고역 통과 필터의 연산자로써, 본 발명의 실시예에서 사용된 C는 다음과 같은 3*3 행렬로 표현된다.
Figure 112006041443792-PAT00004
이러한 수학식 2에 사용된 수식들은 Kenneth R. Castleman 에 의해 Digital Image Processing의 제목으로 저술되고 Prentice-Hall 출판사로부터 1996년에 출간된 책의 397페이지에 상세히 기술되어 있다.
이와 같이, 본 발명의 제 1 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 과정은 미리 설정된 PSF를 이용하여 정칙화 복원 공식을 반복적으로 수행함으로써, N장의 복원 영상을 생성한다. 그리고 본 발명의 제 1 실시예에서는 반복적 정칙화 복원 공식의 λ값은 초기치가 0.01 이고, 정칙화 복원 공식을 반복 수행할수록 영상의 복원 정도가 누적되어 점점 세어지게 하였다. 그리고 영상 복원 필터부(320)는 위와 같은 방법을 통하여 N장의 복원 영상이 생성되면, 생성된 N장의 복원 영상을 공간 영역으로 역변환하여, 역변환된 N장의 복원 영상들을 영상 융합부(330)로 전달한다.
영상 융합부(330)는 영상 복원 필터부(320)로부터 공간 영역으로 역변환된 N 장의 복원 영상들이 입력되면, 입력된 N장의 복원 영상들의 가중치를 결정하기 위하여 초점 열화를 분석한다(S530).
본 발명의 제 1 실시예에서 영상 융합부(330)가 입력된 N장의 복원 영상들의 초점 열화를 분석하는 방법은 영상 복원 필터부(320)로부터 본 발명에 따른 반복적 정칙화 복원 공식 즉, N장의 영상복원 필터에 따라 복원된 N장의 복원 영상들이 입력되면, 각각의 복원 영상들을 소정의 윈도우 사이즈로 나누고, 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여 윈도우 영역 내의 고주파 부분만을 추려 내는 것으로 이루어진다. 이러한 윈도우 영역 내의 주변 픽셀 간의 차분 절대값은 앞서 도 4에서 기술한 수학식 1을 통해 구할 수 있다.
영상 융합부(330)는 N장의 복원 영상들의 초점 열화가 분석되면, 분석된 초점 열화를 이용하여 복원 영상들의 각기 다른 가중치를 결정한다(S540). 본 발명의 제 1 실시예에서 미리 설정된 PSF를 이용하여 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성한 예에서는 반복적 정칙화 복원 공식의 수치 증가에 따라 복원 정도가 낮은 상태에서부터 누적되어 복원 정도가 점점 세어지게 된다. 이러한 경우, 영상 융합부(330)는 생성되는 N장의 복원 영상 중에서 최종 결과에 가까운 영상에 가중치를 많이 주고, 최종 결과에 가깝지 않은 영상의 경우 가중치를 적게 주게 된다.
그리고 영상 융합부(330)는 복원 영상들의 가중치가 결정되면, 결정된 가중치의 높은 부분을 선별하여 한 장의 영상으로 융합한다. 그리고 융합된 영상을 미리 설정된 복원 정도와 비교하여, 융합된 영상이 일정 수준을 만족하면 융합된 영 상을 결과 영상을 결과 영상으로 출력하고 정칙화 복원 공식의 반복 수행을 멈추게 된다(S550). 이때 복원 영상들의 결정된 가중치를 기반으로 한 장의 영상으로 융합하는 방법은 일반적인 영상 융합 방법중 상황에 맞는 방식을 선택적으로 사용하여 이루어진다. 즉, 가중치가 높은 부분은 각각의 복원 영상중에서 초점이 잘 맞춰진 영역을 나타낸다. 이러한 초점이 잘 맞춰진 영역을 선별함으로써, 한 장의 영상으로 융합하게 된다.
위와 같이, 본 발명의 제 1 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 과정은 영상 복원 필터부(320)가 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식 즉, 영상복원 필터의 필터링을 반복적으로 수행하면서 N장의 복원 영상을 생성하고, 생성된 N장의 복원 영상들에 대한 가중치를 결정하여 각 복원 영상들에 대한 가중치가 높은 부분을 선별하여 한 장의 영상으로 융합함으로써, 융합된 영상을 결과 영상으로 출력하게 된다.
도 6은 본 발명의 제 2 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 과정을 나타내는 동작 흐름도이다.
본 발명의 제 2 실시예에 따른 영상융합 기술을 이용한 다중초점 디지털 영상복원 과정은 열화 영상을 PSF별(또는 객체별)로 분할하여 각각의 영역에서 PSF를 추정하여 N장의 복원 영상을 생성한다. 이러한 본 발명의 제 2 실시예에 따른 영상 복원 필터부(320)는 복원 정도가 다른 N개의 PSF를 이용하여 하나의 영상복원 필터로 필터링을 반복적으로 수행하면서 N장의 복원 영상을 생성한다.
도 6을 참조하면, 도 5와 마찬가지로 피사체 등의 다중 객체를 포함한 열화 영상 한 장이 이미지 센서부(310)로 입력되면(S610), 이미지 센서부(310)는 입력된 열화 영상을 주파수 영역(Frequency Domain)으로 변환하고, 주파수 영역으로 변환된 열화 영상을 영상 복원 필터부(320)로 전달한다.
영상 복원 필터부(320)는 이미지 센서부(310)로부터 주파수 영역으로 변환된 한 장의 열화 영상이 입력되면, 입력된 한 장의 열화 영상을 이용하여 N장의 복원 영상을 생성한다(S620).
본 발명의 제 2 실시예에 따른 영상 복원 필터부(320)에서 한 장의 열화 영상을 이용하여 N장의 복원 영상을 생성하는 방법은 초점 거리에 따라 복원 정도가 다른 N개의 PSF를 이용하여 입력된 열화 영상을 PSF별(또는 객체별)로 분할하여 각각의 영역에서 PSF를 추정하여 N장의 복원 영상을 생성하는 것으로 이루어진다. 이에 대하여 좀 더 상세히 설명하면, 먼저 복원 정도가 다른 N개의 PSF는 특정 초점 위치에서 거리별로 기설정된 PSF가 사용된다. 이러한 PSF는 광학계 설계 단계에서 사전에 계산된 PSF가 될 수 있으며, 실제 실험을 통해서 검출한 PSF가 될 수 있다. 또한, 가우스(Gauss) 함수 형태로 추정한 PSF가 될 수도 있는 영상 복원의 신뢰성이 확인된 값이다.
그리고 영상복원 필터는 영상 처리 시스템에서 열화된 영상을 복원할 때 사용하는 일반적인 영상복원 필터로써, 다음의 수학식 3과 같이 표현된다.
Figure 112006041443792-PAT00005
여기서 영상복원 필터의 열화 함수 G는 열화 정도를 나타내는 PSF인 H와 잡음의 발산을 억제하기 위한 저역 필터 C 그리고 원본 영상의 선명함과 평탄화 정도를 조절할 수 있는 제약조건 λ로 이루어진다.
이러한 수학식 3에 대해 좀더 상세히 설명하면 다음과 같다. 일반적인 영상 복원 시스템은 G를 통해 원영상에 가까운 복원 영상을 얻는 것을 목적으로 한다. 가장 간단한 복원 시스템의 경우에는 G가 이 되는 복원 필터(Inverse Filter)이다. 그러나 이러한 가장 간단한 복원 필터의 경우, H가 0으로 될 경우 발산하게 된다. 또는, 미약한 노이즈가 첨가되어도 영상이 깨지게 된다. 따라서 본 발명의 복원 필터의 경우 수학식 3에 예시된 바와 같이, 필터의 분자식이 0이 되는 것을 막도록 하는 항목을 추가하였다.
만약, 분자식의 λ|C| 항이 없다면,
Figure 112006041443792-PAT00006
이므로 분모와 약분하여 1/H이 된다. 이는 일반적인 복원 필터이다. 그리고 C는 고주파 필터(Highpass filter)를 나타낸다. 결국, λ|C| 항은 고주파 성분을 나타낸다. 그러나 λ|C| 항이 분자항에 위치함으로 즉, 역수로 되어 있음으로 고주파 성분을 억제하는 역할을 하게 된다. 이는 영상의 발산을 억제하도록 하기 위함이다. 결과적으로 분자식의 |H| 항은 영상의 복원을 λ|C| 항은 영상의 억제를 담당하며 이를 λ값을 통하여 영상의 선명화와 평탄화 정도를 조절한다. λ값이 작을수록 영상의 복원 정도는 강해지며, 이로 인해 영상은 선명해 지는 대신 영상복원의 부작용도 심해지게 된다. 반대로 람다가 클수록 영상복원의 부작용으로 생겨지는 영상의 깨짐은 덜해지지만 영상의 선명함은 떨어지게 된다.
이와 같이, 본 발명의 제 2 실시예에서 영상 복원 필터부(320)는 일반적인 영상복원 필터와 초점 거리에 따라 복원 정도가 다른 PSF별로 분할하여, 상기 분할한 각각의 영역에서 PSF를 추정하여 N장의 복원 영상을 생성한다. 그리고 영상 복원 필터부(320)는 N장의 복원 영상이 생성되면, 생성된 N장의 복원 영상을 공간 영역으로 역변환하여, 역변환된 N장의 복원 영상들을 미리 설정된 PSF의 특정 초점 위치에서 거리에 따라 순차적으로 한 장씩 영상 융합부(330)로 전달한다.
영상 융합부(330)는 영상 복원 필터부(320)로부터 PSF의 특정 초점 위치에서 거리에 따라 순차적으로 한 장의 복원 영상이 입력되면, 저장부(340)에 미리 저장된 복원 영상 또는 융합된 영상이 있는지 확인한다(S630).
영상 융합부(330)가 저장부(340)를 확인한 결과 미리 저장된 복원 영상 또는 융합된 영상이 없는 경우, 영상 융합부(330)는 현재 입력된 복원 영상을 저장부(340)에 저장하고(S640), 현재 입력된 복원 영상을 저장부(340)에 저장했음을 영상 복원 필터부(320)에 알리고, 영상 복원 필터부(320)로부터 PSF의 특정 초점 위치에서 거리에 따라 순차적으로 다음에 해당하는 복원 영상을 입력받는다.
영상 융합부(330)는 다른 복원 영상이 입력되면, 다시 저장부(340)에 미리 저장된 복원 영상 또는 융합된 영상이 있는지 확인한다(S630). 그리고 저장부(340)에 미리 저장된 복원 영상 또는 융합된 영상이 있는 것으로 확인되면, 현재 입력된 복원 영상과 미리 저장된 영상의 초점 열화를 분석한다(S650).
본 발명의 제 2 실시예에 따른 현재 입력된 복원 영상과 미리 저장된 영상의 초점 열화를 분석하는 방법은 현재 입력된 복원 영상과 미리 저장된 영상 각각을 일정 크기의 윈도우 사이즈로 나누고, 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여 윈도우 영역 내의 고주파 부분만을 추려 내는 것으로 이루어진다. 이러한 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값은 본 발명의 제 1 실시예와 마찬가지로 도 4에서 기술한 수학식 1을 통해 구할 수 있다.
그리고 구해진 픽셀과 주변 픽셀과의 차분을 일정 영역(윈도우 크기만큼) 안의 값들을 전부 합산하여 하나의 대표 값을 정하게 되고, 그 대표 값이 일정 크기 이상 되는 것들만을 기록한다
그리고 영상 융합부(330)는 현재 입력된 복원 영상과 미리 저장된 영상의 초점 열화가 분석되면, 분석된 초점 열화를 이용하여 가중치를 결정한다(S660). 이때, 영상 융합부(330)는 현재 입력된 복원 영상과 미리 저장된 영상에서 산출된 차분 값을 비교함으로써, 가중치를 결정하게 된다. 이는 주변 픽셀과의 차분 즉, 고주파 성분의 값이 많다는 것은 그만큼 복원이 잘되었다는 것을 반증하고 있기 때문에 이러한 영상에 가중치를 높게 주고, 주변 픽셀과의 차분이 적은 영상에 가중치도 적게 주어서 영상을 융합하는데 영상의 기준을 결정하는데 도움을 준다.
영상 융합부(330)는 현재 입력된 복원 영상과 미리 저장된 영상의 가중치가 결정되면, 결정된 가중치를 기반으로 현재 입력된 복원 영상과 미리 저장된 영상을 융합한다(S670). 이때 사용되는 융합방식은 일반적으로 사용되는 여러 가지 방식 중에서 선택하여 사용할 수 있다.
영상 융합부(330)는 현재 입력된 복원 영상과 미리 저장된 영상이 융합되면, 융합된 영상의 복원 정도를 판단한다(S680). 만약, 융합된 영상이 미리 설정된 사용자가 요구하는 복원의 기준을 만족하지 못하면, 저장부(340)에 융합된 영상을 저장하고(S690), 미리 설정된 PSF의 특정 초점 위치에서 거리에 따라 순차적으로 S620~S680의 영상 융합 과정을 반복 수행한다. 이에 반해 융합된 영상의 복원 정도를 판단한 결과, 융합된 영상이 미리 설정된 사용자가 요구하는 복원의 기준을 만족하면, 영상 복원의 반복과정을 멈추고, 현재 융합된 영상을 결과 영상으로 출력한다(S700). 여기서 융합된 영상의 복원 정도를 평가하는 방법을 설명하면 다음과 같다. 기본적으로 현재 영상과 이전 영상의 차분값이 어느 일정 수준 이하가 되면 융합 과정의 반복을 중지한다. 즉, 임계치를 0.05로 설정하였을 때, 현재 영상과 이전 영상의 화소값의 차분 합이 0.05 이하이면 융합 과정의 반복이 정지하게 된다. 이러한 임계치는 사용자의 선택에 따라 SNR(Signal to Noise Ratio) 또는 PSNR(Peak Signal To Noise Rate) 값 등을 이용하여 설정할 수 있다.
도 7a 내지 7d는 본 발명의 제 1 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 과정에서 사용된 열화 영상 및 결과 영상들을 나타내는 일실시예 예시도이다.
도 7a 내지 7d는 도 5에서 기술한 본 발명의 제 1 실시예에 따른 영상 융합 기술을 이용한 디지털 다중 초점 복원 과정에서 사용된 열화 영상 및 결과 영상들을 나타낸다. 본 발명의 제 1 실시예에서는 영상 복원 필터부(320)가 미리 설정된 PSF를 이용하여 본 발명에서 제안한 정칙화 복원 공식을 반복적으로 수행하면서 N장의 복원 영상을 생성하고, 생성된 N장의 복원 영상들에 대한 가중치를 결정하여 각 복원 영상들에 대한 가중치가 높은 부분을 선택하여 한 장의 영상으로 융합함으로써, 융합된 영상을 결과 영상으로 출력하게 된다.
본 발명의 제 1 실시예에서 피사체 등의 다중 객체를 포함한 도 7a의 열화 영상이 이미지 센서부(310)로 입력되면, 이미지 센서부(310)는 입력된 도 7a의 열화 영상을 필터링 속도를 개선하기 위하여 주파수 영역(Frequency Domain)으로 변환하고, 주파수 영역으로 변환된 열화 영상을 영상 복원 필터부(320)로 전달한다.
영상 복원 필터부(320)는 이미지 센서부(310)로부터 주파수 영역으로 변환된 도 7a의 열화 영상이 입력되면, 입력된 도 7a의 열화 영상을 이용하여 N장의 복원 영상을 생성한다.
이때, 본 발명의 제 1 실시예에 따른 영상 복원 필터부(320)는 미리 설정된 PSF를 이용하여 도 5에서 기술한 수학식 2의 정칙화 복원 공식, 즉 영상복원 필터의 필터링을 반복적으로 수행함으로써, N장의 복원 영상을 생성한다. 그리고 수학식 2에 적용된 H와 C는 다음과 같다.
Figure 112006041443792-PAT00007
Figure 112006041443792-PAT00008
이러한 수학식 2에 적용된 정칙화 복원 공식의 λ값은 초기치가 0.01 이고, 정칙화 복원 공식을 반복 수행할수록 복원 영상의 복원 정도가 누적되어 점점 세어 지게 하였다. 그리고 이러한 정칙화 복원 공식을 통해 생성된 복원 영상들의 가중치를 결정하여, 결정된 가중치를 기반으로 복원 영상들을 한 장의 영상으로 융합한다. 도 7b, 7c는 정칙화 복원 공식을 통해 생성된 복원 영상들을 가중치에 기반하여 융합한 영상을 나타낸다.
도 7b는 정칙화 복원 공식의 λ값에 0.03이 적용된 융합 영상을 나타낸다. 도 7b에서 예시된 바와 같이, 도 7a의 입력된 열화 영상보다 도 7b의 오른쪽 부분의 초점이 선명해 졌음을 확인할 수 있다. 그리고 도 7c는 λ값에 0.05가 적용된 융합 영상을 나타낸다. 도 7c에서 예시된 바와 같이, 도 7a의 입력된 열화 영상과 도 7b의 복원 영상보다 도 7c는 전체 영역이 더욱 선명해 졌음을 확인할 수 있다.
이렇게 정칙화 복원 공식에서 λ값을 점차 증가시킴으로써, 원래의 영상과 점점 유사한 복원 영상을 생성할 수 있다. 그리고 도 7d는 본 발명의 제 1 실시예에 따른 최종 결과 영상을 나타낸다. 도 7d에 예시된 바와 같이, 영상의 전체 영역이 초점이 맞아 선명함을 확인할 수 있다.
위와 같이, 입력된 열화 영상 복원시 PSF를 검출하기 위한 계산과정 없이, 미리 설정된 PSF를 이용하여, 입력된 열화 영상에 대해서 반복적 방식으로 여러 장의 복원 영상을 생성한 후, 각 복원 영상 중에서 초점이 맞춰진 영역을 선별하여 융합함으로써, 영상의 전 영역에 대한 초점을 맞추어 원래의 선명한 영상으로 복원할 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이 다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
상술한 바와 같은 본 발명은, 디지털 촬영 장치의 카메라 모듈에 적용된 디지털 자동 초점 조절 장치에서, 입력된 열화 영상 복원시 PSF를 검출하기 위한 계산과정 없이, 미리 설정된 PSF를 이용하여, 입력된 열화 영상에 대해서 반복적 방식으로 여러 장의 복원 영상을 생성한 후, 각 복원 영상 중에서 초점이 맞춰진 영역을 선별하여 융합하거나, 열화 영상을 PSF별로 분할하여, 분할된 각각의 영역에서 PSF를 추정함으로써, 영상의 전 영역에 대한 초점을 맞추어 원래의 영상으로 복원할 수 있는 효과가 있다.

Claims (14)

  1. 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법에 있어서,
    외부로부터 열화 영상을 입력받아, 상기 입력된 열화 영상을 점확산함수(PSF : Point Spread Function)를 구할 필요없이, 미리 설정된 점확산함수(PSF : Point Spread Function)와 영상복원 필터를 이용하여 N장의 복원 영상을 생성하는 과정과;
    상기 생성된 N장의 복원 영상을 소정의 윈도우 사이즈로 나누고, 상기 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여, 상기 윈도우 영역 내의 고주파 부분만을 추려 내어 초점 열화를 분석하는 과정과;
    상기 분석된 초점 열화를 이용하여, 상기 N장의 복원 영상 각각에 대한 가중치를 결정하는 과정과;
    상기 결정된 N장의 복원 영상 각각에 대한 가중치를 기반으로 상기 가중치가 높은 윈도우 영역들을 선택하여 한 장의 영상으로 융합하는 과정; 및
    상기 융합한 영상의 복원 정도를 미리 설정된 복원 정도와 비교하여, 상기 비교 결과 융합한 영상의 복원 정도가 상기 미리 설정된 복원 정도 이상이면, 상기 융합한 영상을 결과 영상으로 출력하는 과정을 포함하는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  2. 제 1 항에 있어서,
    상기 N장의 복원 영상은,
    고정된 하나의 점확산함수(PSF : Point Spread Function)를 이용하여 정칙화 복원 공식을 반복적으로 수행하여 생성되는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  3. 제 2 항에 있어서,
    상기 정칙화 복원 공식을 반복 수행할수록 상기 복원 영상의 복원 정도가 누적되어 점점 세어지는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  4. 제 1 항에 있어서,
    상기 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값은 하기의 <수학식 4>를 통해 구해진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 전부 합산하여 하나의 대표 값을 정하여, 상기 정해진 대표 값이 일정 크기 이상 되는 것들만을 기록하는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
    Figure 112006041443792-PAT00009
    여기서 M(i,j)는 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값.
  5. 제 1 항에 있어서,
    상기 N장의 복원 영상 각각에 대한 가중치는,
    상기 분석된 초점 열화에서 산출된 주변 픽셀과의 차분 값을 측정하여, 상기 측정한 차분 값에 따라 결정되는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  6. 제 1 항에 있어서,
    상기 융합한 영상의 복원 정도 비교는,
    상기 미리 설정된 복원 정도의 SNR(Signal to Noise Ratio) 또는 PSNR(Peak Signal To Noise Rate) 값을 통해 이루어지는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  7. 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법에 있어서,
    외부로부터 열화 영상을 입력받아, 상기 입력된 열화 영상을 점확산함수(PSF : Point Spread Function)를 구할 필요없이, 초점 거리에 따라 복원 정도가 다른 점확산함수(PSF : Point Spread Function) 별로 분할하여, 상기 분할한 각각의 영역에서 점확산함수(PSF : Point Spread Function)를 추정하고 N장의 복원 영상을 생성하여, 상기 생성된 N장의 복원 영상을 상기 초점 거리에 따라 순차적으로 한 장씩 전달하는 과정과;
    상기 한 장의 복원 영상이 입력되면, 미리 저장된 복원 영상 내지 융합된 영상이 있는지 확인하여, 상기 확인 결과 미리 저장된 영상이 있는 것으로 확인되면, 상기 입력된 복원 영상과 미리 저장된 영상의 초점 열화를 분석하는 과정과;
    상기 입력된 복원 영상과 미리 저장된 영상의 초점 열화가 분석되면, 상기 분석된 초점 열화를 비교하여, 상기 입력된 복원 영상과 미리 저장된 영상의 가중치를 결정하는 과정과;
    상기 결정된 가중치를 기반하여 상기 입력된 복원 영상과 미리 저장된 영상을 융합하는 과정; 및
    상기 융합한 영상의 복원 정도를 미리 설정된 복원 정도와 비교하여, 상기 비교 결과 융합한 영상의 복원 정도가 상기 미리 설정된 복원 정도 이상이면, 상기 융합한 영상을 결과 영상으로 출력하는 과정을 포함하는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  8. 제 7 항에 있어서,
    상기 미리 저장된 복원 영상 내지 융합된 영상의 확인결과, 상기 미리 저장된 복원 영상 내지 융합된 영상이 없으면, 현재 입력된 복원 영상을 저장부에 저장하고, 상기 초점 거리에 따라 순차적으로 다음에 해당하는 복원 영상을 입력받는 과정을 더 포함하는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  9. 제 7 항에 있어서,
    상기 비교 결과 융합한 영상의 복원 정도가 상기 미리 설정된 복원 정도 이하이면, 상기 융합한 영상을 저장부에 저장하고, 상기 초점 거리에 따라 순차적으로 다음에 해당하는 복원 영상을 입력받아 상기 영상 융합과정을 반복 수행하는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  10. 제 7 항에 있어서,
    상기 입력된 복원 영상과 미리 저장된 영상의 초점 열화는,
    상기 입력된 복원 영상과 미리 저장된 영상 각각을 일정 크기의 윈도우 사이즈로 나누고, 상기 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하 여 윈도우 영역 내의 고주파 부분만을 추려 내는 것으로 이루어지는 것을 특징으로 하는 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법.
  11. 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치에 있어서,
    외부로부터 열화 영상을 입력받아, 상기 입력된 열화 영상을 주파수 영역으로 변환하여 출력하는 이미지 센서부;
    상기 이미지 센서부로부터 주파수 영역으로 변환된 열화 영상을 입력받아, 상기 입력된 열화 영상을 점확산함수(PSF : Point Spread Function)를 구할 필요없이, 미리 설정된 점확산함수(PSF : Point Spread Function)와 영상복원 필터를 이용하여 N장의 복원 영상을 생성하고, 상기 생성된 N장의 복원 영상을 출력하는 영상 복원 필터부; 및
    상기 영상 복원 필터부로부터 N장의 복원 영상을 입력받아, 상기 입력된 N장의 복원 영상에 대한 초점 열화를 분석하고, 상기 분석된 초점 열화를 이용하여 상기 N장의 복원 영상에 대한 가중치를 결정하여, 상기 결정된 N장의 복원 영상에 대한 가중치를 기반으로 한 장의 영상으로 융합하여, 상기 융합된 영상이 미리 설정된 복원 정도 이상이면, 상기 융합된 영상을 결과 영상으로 출력하는 영상 융합부를 포함하는 것을 특징으로 하는 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치.
  12. 제 11 항에 있어서,
    상기 영상 융합부는,
    상기 영상 복원 필터부로부터 N장의 복원 영상을 입력받아, 상기 입력된 N장의 복원 영상을 소정의 윈도우 사이즈로 나누고, 상기 나누어진 윈도우 영역 내의 주변 픽셀 간의 차분 절대값을 구하여, 상기 윈도우 영역 내의 고주파 부분만을 추려 내어 초점 열화를 분석하는 초점 열화 분석부;
    상기 초점 열화 분석부로부터 분석된 초점 열화를 이용하여, 상기 N장의 복원 영상 각각에 대한 가중치를 결정하는 가중치 결정부; 및
    상기 가중치 결정부에서 결정된 상기 N장의 복원 영상 각각에 대한 가중치를 기반으로 상기 가중치가 높은 윈도우 영역들을 선택하여 한 장의 영상으로 융합하고, 상기 융합된 영상을 미리 설정된 복원 정도와 비교하여, 상기 비교 결과 융합된 영상의 복원 정도가 상기 미리 설정된 복원 정도 이상이면, 상기 융합된 영상을 결과 영상으로 출력하는 비교부를 포함하는 것을 특징으로 하는 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치.
  13. 제 11 항에 있어서,
    상기 입력된 열화 영상은 필터링 속도를 개선하기 위하여 주파수 영역으로 변환하는 것을 특징으로 하는 영상 융합 기술을 이용한 디지털 다중 초점 복원 장 치.
  14. 제 11 항에 있어서,
    미리 설정된 점확산함수(PSF : Point Spread Function)는,
    광학계 설계 단계에서 사전에 계산된 점확산함수(PSF : Point Spread Function), 실제 실험을 통해서 검출한 점확산함수(PSF : Point Spread Function) 그리고 가우스(Gauss) 함수 형태로 추정한 점확산함수(PSF : Point Spread Function)를 포함하는 것을 특징으로 하는 영상 융합 기술을 이용한 디지털 다중 초점 복원 장치.
KR1020060053235A 2006-06-13 2006-06-13 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치 KR100808610B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020060053235A KR100808610B1 (ko) 2006-06-13 2006-06-13 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
US11/639,964 US7881551B2 (en) 2006-06-13 2006-12-15 Method and apparatus for multifocus digital image restoration using image integration technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060053235A KR100808610B1 (ko) 2006-06-13 2006-06-13 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치

Publications (2)

Publication Number Publication Date
KR20070118925A true KR20070118925A (ko) 2007-12-18
KR100808610B1 KR100808610B1 (ko) 2008-02-28

Family

ID=38822062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060053235A KR100808610B1 (ko) 2006-06-13 2006-06-13 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치

Country Status (2)

Country Link
US (1) US7881551B2 (ko)
KR (1) KR100808610B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100935495B1 (ko) * 2008-02-14 2010-01-06 중앙대학교 산학협력단 영상의 반복적인 복원과 융합을 기반으로 한자동초점복원장치 및 방법
US8718376B2 (en) 2010-01-26 2014-05-06 Samsung Electronics Co., Ltd. Apparatus and method for enhancing image in portable terminal
US8929677B2 (en) 2009-11-27 2015-01-06 Samsung Electronics Co., Ltd. Image processing apparatus and method for synthesizing a high-resolution image and a refocused image
CN109862252A (zh) * 2017-11-30 2019-06-07 北京小米移动软件有限公司 图像拍摄方法及装置

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249357B2 (en) * 2006-10-23 2012-08-21 Ben Gurion University Of The Negev, Research And Development Authority Blind restoration of images degraded by isotropic blur
TWI371959B (en) * 2007-04-13 2012-09-01 Primax Electronics Ltd Image processing method and related partial psf estimation method thereof
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
JP4906673B2 (ja) * 2007-10-24 2012-03-28 株式会社リコー 画像処理装置、画像処理方法及び画像処理プログラム
US8160309B1 (en) 2007-12-21 2012-04-17 Csr Technology Inc. Method, apparatus, and system for object recognition and classification
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
TW201044856A (en) * 2009-06-09 2010-12-16 Ind Tech Res Inst Image restoration method and apparatus
US8803984B2 (en) 2010-02-10 2014-08-12 Dolby International Ab Image processing device and method for producing a restored image using a candidate point spread function
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
JP5765893B2 (ja) * 2010-06-16 2015-08-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
JP5635844B2 (ja) * 2010-09-06 2014-12-03 キヤノン株式会社 焦点調整装置および撮像装置
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CN103828343B (zh) 2011-06-10 2017-07-11 菲力尔系统公司 基于行的图像处理和柔性存储系统
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
CN109618084B (zh) 2011-06-10 2021-03-05 菲力尔系统公司 红外成像系统和方法
WO2013084414A1 (ja) * 2011-12-08 2013-06-13 パナソニック株式会社 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
US8989447B2 (en) * 2012-08-13 2015-03-24 Texas Instruments Incorporated Dynamic focus for computational imaging
WO2015015935A1 (ja) * 2013-07-29 2015-02-05 富士フイルム株式会社 撮像装置及び画像処理方法
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
CN104021526B (zh) * 2013-11-21 2017-08-22 上海海洋大学 Ar边界条件下图像模糊矩阵与矢量乘积的替代计算方法
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
CN105241811B (zh) * 2015-09-30 2018-10-23 爱威科技股份有限公司 多层次聚焦自动采图方法与系统
KR102523643B1 (ko) 2015-10-26 2023-04-20 삼성전자주식회사 이미지 신호 프로세서의 작동 방법과 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템의 작동 방법
CN105894483B (zh) * 2016-03-30 2018-08-31 昆明理工大学 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
CN106506965A (zh) * 2016-11-29 2017-03-15 努比亚技术有限公司 一种拍摄方法及终端
CN107909560A (zh) * 2017-09-22 2018-04-13 洛阳师范学院 一种基于SiR的多聚焦图像融合方法及系统
US10643313B2 (en) * 2018-01-19 2020-05-05 Bae Systems Information And Electronic Systems Integration Inc. Methods for image denoising and deblurring
US10764512B2 (en) * 2018-03-26 2020-09-01 Mediatek Inc. Method of image fusion on camera device equipped with multiple cameras
CN109191413A (zh) * 2018-08-21 2019-01-11 西京学院 一种基于改进型卷积神经网络的多聚焦图像融合方法
KR102388831B1 (ko) 2021-02-09 2022-04-21 인천대학교 산학협력단 지능형 다중 초점 영상 융합 장치 및 방법
KR102402677B1 (ko) 2021-06-15 2022-05-26 (주)지큐리티 영상 융합 방법 및 장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4963596A (en) * 1987-12-04 1990-10-16 Henkel Corporation Treatment and after-treatment of metal with carbohydrate-modified polyphenol compounds
JP2682023B2 (ja) * 1987-12-25 1997-11-26 味の素株式会社 デンプン質素材の製造法
US6353688B1 (en) * 1993-06-08 2002-03-05 The Regents Of The University Of California Accelerated signal encoding and reconstruction using pixon method
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
JPH11250246A (ja) * 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
JP4053185B2 (ja) * 1999-06-22 2008-02-27 富士フイルム株式会社 画像処理方法および装置
US6885762B2 (en) * 2000-02-07 2005-04-26 Trustees Of The University Of Pennsylvania Scale-based image filtering of magnetic resonance data
JP2003172873A (ja) 2001-09-28 2003-06-20 Olympus Optical Co Ltd 補正データ作成方法及び撮像装置
TW583603B (en) * 2003-02-21 2004-04-11 Inventec Appliances Corp Method for producing enhanced-resolution image by use of a plurality of low-resolution images
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100935495B1 (ko) * 2008-02-14 2010-01-06 중앙대학교 산학협력단 영상의 반복적인 복원과 융합을 기반으로 한자동초점복원장치 및 방법
US8929677B2 (en) 2009-11-27 2015-01-06 Samsung Electronics Co., Ltd. Image processing apparatus and method for synthesizing a high-resolution image and a refocused image
US8718376B2 (en) 2010-01-26 2014-05-06 Samsung Electronics Co., Ltd. Apparatus and method for enhancing image in portable terminal
CN109862252A (zh) * 2017-11-30 2019-06-07 北京小米移动软件有限公司 图像拍摄方法及装置
CN109862252B (zh) * 2017-11-30 2021-01-29 北京小米移动软件有限公司 图像拍摄方法及装置

Also Published As

Publication number Publication date
US7881551B2 (en) 2011-02-01
KR100808610B1 (ko) 2008-02-28
US20070286517A1 (en) 2007-12-13

Similar Documents

Publication Publication Date Title
KR100808610B1 (ko) 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
US8947580B2 (en) Auto focusing apparatus and control method
JP5198192B2 (ja) 映像復元装置および方法
JP4571617B2 (ja) 撮像装置及び撮像方法
KR101364421B1 (ko) 멀티-레졸류션 절차를 이용하여 강건한 깊이 맵을 생성하는 시스템 및 방법
US9100556B2 (en) Image processing apparatus and image processing method
US8379120B2 (en) Image deblurring using a combined differential image
KR101341096B1 (ko) 영상 복원 장치 및 방법
US8542313B2 (en) Depth from defocus calibration
US20100033617A1 (en) System and method to generate depth data using edge detection
US20120044408A1 (en) Image capturing apparatus and control method thereof
JP2015018205A (ja) 焦点検出装置及び方法、及び撮像装置
EP3371741B1 (en) Focus detection
JP2007505590A (ja) センサレベル画像歪み軽減方法および装置
KR101341101B1 (ko) 영상 복원 장치 및 복원 방법
JP2014138290A (ja) 撮像装置及び撮像方法
US20180109745A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4493416B2 (ja) 画像処理方法および装置並びにプログラム
US10217194B2 (en) Image shooting apparatus that extends depth of field by recovering blurred image and an image shooting method thereof
JP2012155456A (ja) 被写体分離装置、画像復元装置、被写体分離方法及び画像復元方法
KR100764414B1 (ko) Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
US20060092309A1 (en) Image-capturing device
WO2011102867A1 (en) A universal blurriness measurement approach for digital imagery
CN114422693B (zh) 一种对焦方法、装置、设备及可读存储介质
JP6626551B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150825

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170104

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180221

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 12