KR20220160406A - 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 - Google Patents

왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 Download PDF

Info

Publication number
KR20220160406A
KR20220160406A KR1020210068612A KR20210068612A KR20220160406A KR 20220160406 A KR20220160406 A KR 20220160406A KR 1020210068612 A KR1020210068612 A KR 1020210068612A KR 20210068612 A KR20210068612 A KR 20210068612A KR 20220160406 A KR20220160406 A KR 20220160406A
Authority
KR
South Korea
Prior art keywords
image
fourier
original
extracting
images
Prior art date
Application number
KR1020210068612A
Other languages
English (en)
Other versions
KR102476808B1 (ko
Inventor
박정훈
황병재
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020210068612A priority Critical patent/KR102476808B1/ko
Priority to PCT/KR2022/004309 priority patent/WO2022250267A1/ko
Publication of KR20220160406A publication Critical patent/KR20220160406A/ko
Application granted granted Critical
Publication of KR102476808B1 publication Critical patent/KR102476808B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 왜곡된 영상으로부터 대상을 복원하는 방법은, 왜곡 영역을 포함하는 복수의 원본 영상을 획득하는 단계; 상기 원본 영상에 대하여 푸리에 위상을 추출하는 단계; 상기 원본 영상에 대하여 푸리에 세기를 추출하는 단계; 및 상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하는 단계;를 포함하고, 상기 푸리에 위상을 추출하는 단계 및 상기 푸리에 세기를 추출하는 단계는 서로 독립적으로 수행된다.

Description

왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 {Method and Apparatus For Restoring Objects From Distorted Images}
본 발명은 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치에 관한 것으로, 더 상세하게는 왜곡된 영상만을 이용하여 복원 대상의 푸리에 위상 및 푸리에 세기를 정확히 추출하여 왜곡된 영상을 복원하는 방법 및 장치에 관한 것이다.
장거리 이미징이 어려운 이유 중 하나는 대상과 카메라 사이에 불규칙적으로 변하는 대기 등의 매질 때문이다. 대기는 온도 변화나 구성 성분 변화에 따라 실시간으로 움직이는데, 이 때문에 획득된 영상은 매번 다른 방식으로 왜곡되어 있다. 이러한 불규칙적인 매질에 의해 영상이 왜곡되는 문제를 해결하기 위하여 기존에는 파면 보정장치를 사용하였다. 대상과 카메라 사이에 존재하는 대기의 분포를 측정하고 이로 인한 왜곡을 보정할 수 있는 장비를 이용하여 대기에 의한 왜곡을 보정하는 것이다. 이와 같이 하드웨어를 기반으로 한 기술은 작동 환경이 제한적인데, 크기가 커서 사용할 수 있는 상황이 제한적이고, 온도나 진동에 민감하여 다양한 상황에 쓰이기 어렵다. 또한 관찰 대상과 보완 장비의 견고한 배열이 이루어지지 않으면 왜곡 보정 효과를 기대하기 어렵다. 이외에도 가격이 비싸서 다양한 상황에 적용하기 어려운 한계가 있다. 이러한 사용 환경의 문제와 고비용의 문제로 인해 하드웨어 기반의 기술이 널리 쓰이지 못하고 있다.
한편, 하드웨어를 기반으로 한 영상 보정의 단점들을 보완하기 위해서 계산 알고리즘을 이용한 영상 복원 방법이 개발되어 왔다. 고전적인 방법으로는 Labeyrie의 방법이 있는데, 이는 앞서 언급한 장치들을 사용하지 않으면서도 왜곡된 영상들만을 이용하여 영상을 복원하는 방법이다. 이 방법은 획득한 영상들의 파워 스펙트럼(power spectrum)을 이용한다. 획득한 영상들의 평균 파워 스펙트럼은 복원 대상의 푸리에 세기를 추정하는 값으로 사용될 수 있다. 푸리에 세기를 알면 위상복원 알고리즘을 이용해서 푸리에 위상을 복원할 수 있는데, 평균 파워 스펙트럼으로부터 대상의 푸리에 세기를 추정하고, 이를 토대로 위상복원 알고리즘을 통해 푸리에 위상을 계산하는 것이다. 이와 같이 복원한 푸리에 위상과 세기를 조합해서 왜곡이 사라진 대상을 복원할 수 있게 된다. 그러나 이와 같은 위상복원 알고리즘 기반 방법은 복원할 수 있는 대상의 크기가 획득 가능한 영상 크기에 비해 제한되어 있다는 큰 한계점이 있다. 획득한 영상 내에 복원 대상이 작은 영역에 한정되어 있어야 한다는 전제 조건이 있고 그렇지 않은 경우에는 복원이 되지 않는다. 또한 이 알고리즘의 결과로 산출되는 영상은 알고리즘에 사용되는 다양한 파라미터에 따라 달라지는 문제가 있다. 복원 결과가 여러 가지로 산출된다는 것은 실제 대상이 무엇인지를 알고리즘이 산출한 결과만으로는 판별할 수 없다는 뜻이 된다. 이러한 한계를 극복하기 위해 획득한 영상에서 복원 대상의 푸리에 위상을 복원하는 방법이 오랫동안 연구되어 왔다. 왜곡된 영상들을 이용한 영상복원 알고리즘이 다양하게 존재하지만, 영상이 복원되는 속도가 느리거나 복원된 영상의 품질이 낮은 문제를 가지고 있다.
전술한 문제점을 해결하기 위해, 본 발명은 푸리에 위상 및 푸리에 세기 추출을 이용한 간단한 연산으로 신속하고 간소하면서도 회절 한계까지 정확하고 안정적으로 영상을 복원하는 방법 및 장치를 제공하고자 한다.
본 발명의 일 실시예에 따른 왜곡된 영상으로부터 대상을 복원하는 방법은, 왜곡 영역을 포함하는 복수의 원본 영상을 획득하는 단계; 상기 원본 영상에 대하여 푸리에 위상을 추출하는 단계; 상기 원본 영상에 대하여 푸리에 세기를 추출하는 단계; 및 상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하는 단계;를 포함하고, 상기 푸리에 위상을 추출하는 단계 및 상기 푸리에 세기를 추출하는 단계는 서로 독립적으로 수행된다.
상기 푸리에 위상을 추출하는 단계는, 복수의 원본 영상에 대하여 위치 보정을 이용하여 정렬하여 정렬 영상 세트를 획득하는 단계; 상기 정렬 영상 세트의 평균 영상을 획득하는 단계; 및 상기 평균 영상으로부터 푸리에 위상을 추출하는 단계;를 포함할 수 있다.
상기 푸리에 위상을 추출하는 단계는, 복수의 원본 영상 중 위치 보정의 기준이 되는 기준 영상을 선택하는 단계; 상기 기준 영상을 포함하는 상기 복수의 원본 영상 각각에 대하여 상기 기준 영상과의 상관성을 산출하는 상호 상관(cross-correlation) 연산을 이용하여 상기 기준 영상을 기준으로 위치 보정하는 단계; 상기 위치 보정된 영상들을 합산하여 합산 영상을 획득하는 단계; 및 상기 합산 영상의 푸리에 위상을 산출하는 단계를 포함할 수 있다.
상기 복수의 원본 영상은 서로 다른 시점에서 복수 개로 획득될 수 있다.
상기 복수의 원본 영상은, 일 시점에서 단수 개로 획득된 단일 원본 영상을 이소플라나틱한 조건을 만족하는 복수 개의 서브 영상으로 분할하여 획득될 수 있다.
상기 복원 영상을 획득하는 단계 이후에, 반복 횟수가 미리 설정된 최대 반복 횟수에 도달하였는지 여부를 판단하는 단계;를 더 포함하고, 상기 판단하는 단계에서 아직 도달하지 않은 경우, 가장 나중에 얻어진 복원 영상을 그 다음 사이클의 기준 영상으로 결정하고, 동일한 복수의 원본 영상에 대하여 상기 푸리에 위상 및 상기 푸리에 세기를 추출하여 후속 복원 영상을 획득할 수 있다.
상기 원본 영상을 획득하는 단계에서, 상기 원본 영상은 카메라, 초음파 센서, 라디오 안테나 및 X-선 검출기 중 적어도 하나를 포함하는 공간센서 장치에 의해 촬영되어 획득될 수 있다.
본 발명의 일 실시예에 따른 왜곡된 영상으로부터 대상을 복원하는 장치는, 프로세서;를 포함하고, 상기 프로세서는, 왜곡 영역을 포함하는 복수의 원본 영상을 획득하고, 상기 원본 영상에 대하여 푸리에 위상을 추출하고, 상기 원본 영상에 대하여 푸리에 세기를 추출하고, 상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하며, 상기 푸리에 위상의 추출과 상기 푸리에 세기의 추출은 서로 독립적으로 수행한다.
본 발명의 실시예들에 따르면, 푸리에 위상 및 푸리에 세기 추출을 이용한 간단한 연산으로 신속하고 간소하며 회절 한계까지 정확하고 안정적으로 왜곡된 영상으로부터 대상을 복원할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 복원 장치의 구성을 개략적으로 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 복원 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 푸리에 위상을 추출하는 단계를 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상 복원 방법을 수식적 관점에서 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 영상 복원 장치(10)의 구성을 개략적으로 도시한 구성도이다.
영상 복원 장치(10)는 통신부(100), 프로세서(200), 메모리(300)를 포함한다.
통신부(100)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치 및/또는 외부 서버(미도시)와 통신할 수 있다.
프로세서(200)는 메모리(300)에 저장된 각종 프로그램을 이용하여 영상 복원 장치(10)를 전반적으로 제어하는 동작을 수행할 수 있다. 프로세서(200)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 통신부(100) 또는 메모리(300)에 의해 프로세서(200)로 제공될 수 있다. 예를 들어 프로세서(200)는 메모리(300)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 프로세서(200)는 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 포함할 수 있으나, 이에 한정되지 않는다.
메모리(300)는 영상 복원 장치(10)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리(300)는 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(Permanent Mass Storage Device)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 도면에 도시되지는 않았으나, 영상 복원 장치(10)는 입출력 인터페이스를 더 포함할 수 있다. 입출력 인터페이스(미도시)는 입출력 장치(미도시)와의 인터페이스를 위한 수단일 수 있다. 입력 장치는 예를 들어 키보드 또는 마우스 등의 장치를, 출력 장치는 이미지를 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로, 입출력 인터페이스(미도시)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.
본 발명의 일 실시예에 따른 프로세서(200)는 왜곡 영역을 포함하는 원본 영상(이하, 간략히 '원본 영상' 또는 '왜곡된 영상'으로 지칭할 수 있다.)으로부터 푸리에 위상 및 푸리에 세기를 추출하여 역변환하는 단순 알고리즘을 이용하여 용이하고 신속하게 영상을 복원할 수 있다. 프로세서(200)의 구체적 동작에 관하여는 후술하는 도면들을 이용하여 더 상세히 설명한다.
본 발명의 영상 복원 장치(10)는 도 1에 도시된 구성 요소들 외에 다른 구성요소를 더 포함할 수도 있고, 필요에 따라 통신부(100)는 생략될 수도 있다.
이하, 도 2 및 도 3을 함께 참조하여 본 발명의 일 실시예에 따른 영상 복원 방법에 대하여 설명한다. 도 2는 본 발명의 일 실시예에 따른 영상 복원 방법을 설명하기 위한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 푸리에 위상을 추출하는 단계(S200)를 설명하기 위한 순서도이다. 후술하는 영상 복원 방법은 전술한 프로세서(200)에 의해 수행될 수 있다.
먼저, 왜곡 영역을 포함하는 복수의 원본 영상을 획득한다(S100). 이때 원본 영상은 서로 다른 시점에서 동일한 위치에 대하여 복수 개로 획득될 수 있다. 또는 서로 다른 위치에서 복수 개로 획득될 수도 있다.
본 발명의 원본 영상은 파장에 의존하지 않으며 가시광선 영역대의 영상 뿐만 아니라 자외선, 적외선, X-선, 라디오 등 모든 전자기파대역 및 초음파 등의 모든 파동의 영상/신호에 적용 가능하다. 본 발명의 원본 영상은 원본 영상이 획득되는 파장에 한정되지 않는다.
이때, 본 발명의 원본 영상은 카메라, 초음파 센서, 라디오 안테나, X-선 검출기 등을 포함하는 공간센서 장치에 의해 촬영되어 획득될 수 있다.
실시예에 따라서, 원본 영상은 일 시점에서 단수 개로 획득될 수도 있다. 이때 단일 원본 영상은 이소플라나틱(isoplanatic)한 조건을 만족하는 복수 개의 서브 영상으로 분할될 수 있다. 상기 '이소플라나틱한 조건'이란 원본 영상의 왜곡을 하나의 점퍼짐함수(point spread function)에 의한 왜곡이라고 평가할 수 있는 범위를 의미할 수 있다. 이를 수식으로 표현하면 아래 [수학식 1]과 같다.
[수학식 1]
Figure pat00001
이때, Isub(x)는 분할된 하나의 서브 영상을 의미하고, Osub(x)는 각 서브 영상에서 왜곡이 없을 때의 복원 서브 영상을 의미하고, PSFsub(x)는 매질에 의한 왜곡을 의미한다. 원본 영상을 획득할 때마다 획득 시간 또는 획득 위치에 따라 매질이 변하고 이에 따라 원본 영상마다 왜곡되는 방식, 정도가 달라지므로, PSFsub(x) 또한 원본 영상 또는 이의 서브 영상마다 다를 수 있다.
즉, 전술한 복수의 원본 영상이라 함은, 동일 영역을 포함하는 복수의 원본 영상일 수도 있고, 일 영역의 하나의 원본 영상을 분할한 복수의 서브 영상을 의미할 수도 있다.
이후, 원본 영상에 대한 푸리에 위상을 획득한다(S200). 여기서, 도 3을 함께 참조하여 S200 단계에 관하여 설명한다. S200 단계는 후술하는 단계들을 포함할 수 있다.
먼저, 위치 보정을 이용하여 복수의 원본 영상을 정렬하여 정렬 영상 세트를 획득한다(S210). 이때 원본 영상이 복수 개인 경우 복수 개의 원본 영상을 정렬하는 것이고, 원본 영상이 단수 개인 경우 단일 원본 영상을 분할한 복수 개의 서브 영상을 정렬하는 것으로 해석할 수 있다. 더 구체적으로, 서로 다르게 왜곡된 복수의 원본 영상을 임의로 선택된 일 원본 영상을 기준으로 위치를 보정하여 정렬할 수 있다. 이하, 상기 기준이 된 일 원본 영상을 기준 영상으로 지칭할 수 있다. 이렇게 위치 보정으로 얻어진 정렬된 복수의 원본 영상을 정렬 영상 세트로 지칭한다.
이후, 상기 정렬 영상 세트의 각 영상들을 합산하고 평균을 산출하여 평균 영상을 획득한다(S220). 구체적으로, 기준 영상을 기준으로 위치 보정되어 정렬된 복수의 원본 영상들을 위치를 맞추어 더할 수 있다. 이후, 합산한 원본 영상의 개수에 따라 평균을 산출하여 평균 영상을 획득할 수 있다.
이후, 상기 평균 영상으로부터 푸리에 위상을 추출하여 원본 영상의 푸리에 위상으로 결정한다(S230). 이를 수식으로 표현하면 하기의 [수학식 2]와 같이 표현될 수 있다.
[수학식 2]
Figure pat00002
이때,
Figure pat00003
는 복원 대상이 되는 원본 영상(타겟 영상)의 푸리에 위상을 의미하고,
Figure pat00004
는 복수의 원본 영상 각각의 상호 상관을 기초로 위치가 보정된 영상들의 합산 영상을 의미하고, 이의 푸리에 위상인
Figure pat00005
를 타겟 영상의 푸리에 위상으로 사용한다.
한편, 전술한 S200 단계와 독립적으로, 원본 영상에 대한 푸리에 세기를 획득한다(S300). 이때 푸리에 세기를 획득하는 단계(S300)는 전술한 푸리에 위상을 획득하는 단계(S200)와 독립적으로 수행된다. 즉, 본 발명의 왜곡된 영상으로부터 영상을 복원하는 방법에 있어서, 푸리에 위상과 푸리에 세기는 선후관계가 아닌 서로 독립적, 병렬적으로 추출된다.
여기서 다시 도 2를 참조하면, S300 단계는 후술하는 단계들을 포함한다.
먼저, 복수의 원본 영상(
Figure pat00006
,
Figure pat00007
, … ,
Figure pat00008
) 각각의 파워 스펙트럼을 추출하고(S310), 상기 복수의 파워 스펙트럼의 평균 세기를 추출한다(S320).
이후, 상기 평균 세기의 제곱근으로 대상을 복원하고자 하는 타겟 영상의 푸리에 세기로 추출한다(S330).
이후, S200 단계에서 획득된 푸리에 위상 및 S300 단계에서 획득된 푸리에 세기를 곱한 값을 다시 푸리에 역변환하여 복원 영상을 획득한다(S400). 푸리에 역변환하여 획득하는 복원 영상은, 상기 [수학식 1]의
Figure pat00009
를 의미한다.
영상 복원을 위해 푸리에 진폭을 복구하는 방법은 많이 연구되어 왔지만, 복원 대상의 푸리에 위상의 복원은 어려운 문제로서 최근에 다양한 방법들이 연구되고 있다. 대표적인 방법으로 이중스펙트럼을 이용한 영상 복원 방법이 있는데, 이 방법은 이중스펙트럼의 크기가 획득한 영상의 제곱의 크기로 정해져서 계산해야되는 양이 많고, 복원 시간이 오래 걸리는 단점이 있다. 이러한 문제를 해결하기 위해서 병렬 계산 처리를 할 수 있는 하드웨어가 사용되기도 하지만, 여전히 획득한 영상들의 이중스펙트럼을 계산하고 영상을 복원하는 계산 과정이 매우 복잡하고 어려워서 널리 사용되지 못하고 있다. 이 외에도 왜곡된 영상들을 이용한 영상복원 알고리즘이 다양하게 존재하지만, 영상이 복원되는 속도가 느리거나 복원된 영상의 품질이 낮은 문제를 가지고 있다.
본 발명의 일 실시예에 따른 영상 복원 방법 및 컴퓨터 프로그램에 의하면, 복수의 원본 영상에 대하여 위치 보정된 영상들을 합산, 평균화하는 등의 단순한 연산을 통해 매질의 랜덤한 변화로 인한 무작위적으로 왜곡된 대상의 푸리에 위상을 회절 한계까지 정확하고 안정적으로 복원할 수 있다. 획득된 원본 영상들의 평균 연산을 이용하므로 산출되는 결과가 복원 대상에 수렴하는 경향이 있어서 기존의 알고리즘에 비해 안정적인 이점이 있다.
또한, 간단하고 신속하게 왜곡된 영상을 복원할 수 있을 뿐만 아니라, 복원 대상에 대한 참고 또는 기준이 되는 정보들이나, 복원 장치마다 달리 쓰이는 파라미터들에 대한 정보가 필요없이 항상 동일한 결과를 산출하는 등 영상 복원의 간소화를 도모할 수 있다. 또한, 최적화 문제를 해결하는 기존의 알고리즘에 비해 부가적인 과정이 필요 없으므로, 스마트폰 등의 소형 계산 장치로도 실시간 영상 복원을 구현하는 등 다양한 영상 복원 시스템에 활용될 수 있는 이점이 있다.
본 발명의 실시예들에 따르면, 진동, 불균일한 공기 밀도 분포, 불투명한 매질을 통한 영상 등 일반적으로 고해상도 영상을 획득하기 어려운 환경에 바로 적용 가능하여 회절 한계에 대응하는 최상의 영상 품질을 복원할 수 있다. 이에 따라, 본 발명의 실시예들은 대기외란을 통한 장거리 영상, 폐쇄회로 텔레비전(CCTV) 등을 이용한 무인감시, 정밀품질측정을 위한 산업용 머신비전 등 다양한 분야에 활용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 복원 방법을 수식적 관점에서 설명하기 위한 순서도이다. 이하, 설명의 편의 상 S300 단계에 관하여 먼저 설명한다.
이하에서,
Figure pat00010
는 복수의 원본 영상 중 n 번째 원본 영상을 의미하고,
Figure pat00011
는
Figure pat00012
의 푸리에 변환한 영상을 의미하고,
Figure pat00013
은 상호 상관을 기반으로 한 위치 보정의 기준이 되는 기준 영상을 의미하며,
Figure pat00014
은 위치 보정된 n 번째 영상을 의미한다. (
Figure pat00015
: Fourier transform of
Figure pat00016
.
Figure pat00017
: arbitrary image used as starting reference.
Figure pat00018
: shift-corrected nth image.)
S300 단계의 하기 수학식 3(Eq 3)을 참조하면, 복수의 원본 영상 각각의 푸리에 세기(|
Figure pat00019
|)의 제곱평균제곱근(root mean square; rms)으로 푸리에 세기를 추출한다(S300).
[수학식 3]
Figure pat00020
한편, 푸리에 위상을 추출하는 단계(S200)는 후술하는 수식들로 표현되는 단계들에 의해 수행될 수 있다.
먼저, n 개의 원본 영상 중에서 임의로 위치 보정의 기준이 될 기준 영상(
Figure pat00021
)이 선택된다. 이후, 상기 기준 영상을 포함하는 n 개의 원본 영상(
Figure pat00022
) 모두에 대하여 그 자신(
Figure pat00023
)과 기준 영상(
Figure pat00024
)의 상관성을 산출하는 상호 상관(cross-correlation) 연산을 수행한다. 이를 수학식으로 표현하면 하기 수학식 4(Eq 4)와 같이 표현될 수 있다. 이때 상호 상관 연산이란 일 예로 컨볼루션(convolution) 연산일 수 있으나, 이에 한정되지 않고 서로 다른 영상 간의 상관성을 나타내는 연산이면 족하다. 일 예로, 계산 속도를 높이기 위해서 상호 상관 연산을 푸리에 도메인에서의 곱셈으로도 구현할 수 있다.
[수학식 4]
Figure pat00025
이후, n 개의 원본 영상(
Figure pat00026
) 모두에 대하여 기준 영상(
Figure pat00027
)을 기준으로 위치 보정(shift correction)을 수행하여, n 개의 위치 보정된 영상(
Figure pat00028
)을 포함하는 정렬 영상 세트를 획득한다. 이는 하기의 수학식 5(Eq 5)으로 표현될 수 있다.
[수학식 5]
Figure pat00029
이후, 상기 정렬 영상 세트의 n 개의 위치 보정된 영상(
Figure pat00030
)을 모두 합산하여 합산 영상(
Figure pat00031
)을 산출하되, 이때 상기 합산 영상(
Figure pat00032
)은 합산한 n 개 영상의 평균을 의미할 수도 있다. 그리고, 상기 합산 영상의 푸리에 위상(
Figure pat00033
)을 산출하여, 이를 본 발명의 영상 복원 방법에 사용되는 푸리에 위상(
Figure pat00034
)으로 결정할 수 있다. 이를 수식으로 표현하면 하기의 수학식 6(Eq 6)과 같다.
[수학식 6]
Figure pat00035
이상과 같이, 본 발명의 푸리에 세기(
Figure pat00036
) 및 푸리에 위상(
Figure pat00037
)이 산출되었으면 두 값을 곱하고, 이를 푸리에 역변환하여 복원 영상(
Figure pat00038
)을 획득한다(S400). 이를 수식으로 표현하면 하기의 수학식 7(EQ 7)과 같다.
[수학식 7]
Figure pat00039
이후, 추가적으로 소정의 기준에 따라 최종적으로 획득된 복원 영상(
Figure pat00040
)을 최초 복원 영상으로 하여 전술한 S201, S202, S203 및 S400 단계를 반복 수행(iteration)할 수 있다(S500).
더 구체적으로, S400 단계에서 복원 영상이 획득되면 프로세서(200)는 반복 횟수(iter)가 프로세서(200) 및/또는 메모리(300)에 미리 설정된 기준에 따른 최대 반복 횟수(itermax)에 도달하였는지 여부를 판단한다(S500).
반복 횟수가 아직 최대 반복 횟수(itermax)에 도달하지 않은 경우, 프로세서(200)는 가장 나중에 얻어진 복원 영상(
Figure pat00041
)을 그 다음 사이클의 기준 영상(
Figure pat00042
)으로 결정한 후(S510), S201, S202, S203 및 S400 단계를 순차적으로 수행하여 후속 복원 영상을 획득할 수 있다. 반복 횟수가 미리 설정된 최대 반복 횟수(itermax)와 같아진 경우 가장 나중에 획득된 복원 영상을 최종 복원 영상으로 결정한 후 종료될 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다. 도 5의 좌측의 영상들(50p, 51, 52)은 복원 전 왜곡된 상태에서 획득된 영상들이고, 우측의 영상들(50a, 53, 54)은 복원된 상태에서 획득된 영상들이다.
먼저 좌측을 참조하면, 50p는 왜곡 영역을 포함하는 복수의 원본 영상 중 일 원본 영상으로, 전술한
Figure pat00043
또는 이로부터 위치 보정 된 영상인
Figure pat00044
에 대응될 수 있다. 51은 왜곡 없이 촬영된 물체의 실측 자료(ground truth)의 푸리에 위상과 50p의 푸리에 위상의 차이를 나타내는 영상이며, 52는 50p의 푸리에 세기를 나타내는 영상이다.
우측을 참조하면, 50a는 원본 영상으로부터 대상을 복원한 복원 영상으로, 전술한
Figure pat00045
에 대응된다. 53은 왜곡 없이 촬영된 물체의 실측 자료(ground truth)의 푸리에 위상과 50a의 푸리에 위상의 차이를 나타내는 영상으로 전술한
Figure pat00046
가 실측 자료(ground truth)와 동일하다는 것을 나타낸다. 54는 50a의 푸리에 세기를 나타내는 영상으로 전술한
Figure pat00047
에 대응될 수 있다.
n 개의 원본 영상 각각의 51의 영상으로 표현되는 푸리의 위상과, 52의 영상으로 표현되는 푸리에 세기 값을 곱하여 이를 푸리에 역변환하면 50a로 표현되는 복원 영상을 획득할 수 있다. 복원 영상(50a)의 푸리에 위상 및 푸리에 세기를 추출하면 53 및 54와 같이 표현될 수 있다. 다시 말해, n 개의 원본 영상 각각의 푸리에 위상(51) 및 푸리에 세기(52)(설명의 편의 상 51, 52에는 일 원본 영상의 푸리에 위상과 실측 자료의 푸리에 위상 간의 차, 푸리에 세기만 도시하였다.)를 이용하여 전술한 S200 내지 S400 단계, 또는 S200 내지 S500 단계에 따른 연산을 수행하면, 복원 영상의 푸리에 위상(53) 및 푸리에 세기(54)를 얻을 수 있고, 상기 53 및 54로 표현되는 값을 곱하여 푸리에 연산하면 최종적으로 복원 영상(50a)을 획득할 수 있다.
최종적으로 50p 및 50a를 비교하면 복원 영상(50a)에 포함되는 대상이 훨씬 더 뚜렷하게 보이는 것을 확인할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 영상 복원 방법을 예시도를 이용하여 설명하기 위한 모식도이다. 도 6의 좌측의 영상들(60p, 61, 62)은 복원 전 왜곡된 상태에서 획득된 영상들이고, 우측의 영상들(60a, 63, 64)은 복원된 상태에서 획득된 영상들이다.
도 6의 실시예는 전술한 도 5와 대비하여 원본 영상의 왜곡의 정도가 더 심한 실시예로서, 원본 영상(60p) 및 복원 영상(60a)을 참조하면 왜곡의 정도가 더 심한 것을 확인할 수 있다. 왜곡의 정도가 심한 것을 제외하고는 도 5와 동일한 내용이 적용되므로 이하에서는 차이점이 되는 부분을 위주로 설명한다.
먼저 좌측을 참조하면, 60p는 왜곡 영역을 포함하는 복수의 원본 영상 중 일 원본 영상으로, 전술한
Figure pat00048
또는 이로부터 위치 보정된 영상인
Figure pat00049
에 대응될 수 있다. 61은 60p의 푸리에 위상을 나타내는 영상이며, 62는 60p의 푸리에 세기를 나타내는 영상이다.
우측을 참조하면, 60a는 원본 영상으로부터 대상을 복원한 복원 영상으로, 전술한
Figure pat00050
에 대응된다. 63은 60a의 푸리에 위상을 나타내는 영상으로 전술한
Figure pat00051
에 대응되며, 64는 60a의 푸리에 세기를 나타내는 영상으로 전술한
Figure pat00052
에 대응될 수 있다.
최종적으로 60p 및 60a를 비교하면, 복원 영상(60a)에서 왜곡의 정도가 심한 원본 영상(60p)으로부터 복원하고자 하는 대상인 '2'라는 텍스트가 뚜렷하게 복원된 것을 확인할 수 있다.
왜곡의 정도가 심한 경우, 원본 영상(60p)은 대상의 왜곡 정보를 더 많이 포함할 수 있다. 따라서, 도 6에 도시된 원본 영상(60p) 자체는 단수 개로 구비되고, 대신에 한 개의 원본 영상(60p)이 복수 개(일 예로, n 개)의 서브 영역으로 분할되고, 상기 서브 영역 각각에 대응하는 복수 개의 서브 영상이 획득될 수 있다. 이때, 인접하는 서브 영역은 서로 중첩하는 부분을 포함할 수도 있다. 분할되는 서브 영상의 개수는 일 예로 수백 개 또는 수천 개 단위일 수 있으나, 이에 한정되지 않는다. 이때, 도 6에 도시된 61, 62는 상기 서브 영상 각각의 푸리에 위상 및 푸리에 세기에 대응될 수 있다.
도 5와 마찬가지로, n 개의 서브 영상 각각의 푸리에 위상(61) 및 푸리에 세기(62)를 이용하여 전술한 S200 내지 S400 단계, 또는 S200 내지 S500 단계에 따른 연산을 수행하면, 복원 영상의 푸리에 위상(63) 및 푸리에 세기(64)를 얻을 수 있고, 상기 63 및 64로 표현되는 값을 곱하여 푸리에 연산하면 최종적으로 복원 영상(60a)을 획득할 수 있다.
이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
따라서, 본 발명의 사상은 앞에서 설명된 실시예들에 국한하여 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위가 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 영상 복원 장치
200: 프로세서
50p, 60p: 원본 영상
50a, 60a: 복원 영상
51: 원본 영상과 실측 자료의 푸리에 위상 간의 차
61: 원본 영상의 푸리에 위상
52, 62: 원본 영상의 푸리에 세기
53: 복원 영상과 실측 자료의 푸리에 위상 간의 차
63: 복원 영상의 푸리에 위상
54, 64: 복원 영상의 푸리에 세기

Claims (8)

  1. 왜곡 영역을 포함하는 복수의 원본 영상을 획득하는 단계;
    상기 원본 영상에 대하여 푸리에 위상을 추출하는 단계;
    상기 원본 영상에 대하여 푸리에 세기를 추출하는 단계; 및
    상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하는 단계;를 포함하고,
    상기 푸리에 위상을 추출하는 단계 및 상기 푸리에 세기를 추출하는 단계는 서로 독립적으로 수행되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  2. 제1항에 있어서,
    상기 푸리에 위상을 추출하는 단계는,
    복수의 원본 영상에 대하여 위치 보정을 이용하여 정렬하여 정렬 영상 세트를 획득하는 단계;
    상기 정렬 영상 세트의 평균 영상을 획득하는 단계; 및
    상기 평균 영상으로부터 푸리에 위상을 추출하는 단계;를 포함하는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  3. 제1항에 있어서,
    상기 푸리에 위상을 추출하는 단계는,
    복수의 원본 영상 중 위치 보정의 기준이 되는 기준 영상을 선택하는 단계;
    상기 기준 영상을 포함하는 상기 복수의 원본 영상 각각에 대하여 상기 기준 영상과의 상관성을 산출하는 상호 상관(cross-correlation) 연산을 이용하여 상기 기준 영상을 기준으로 위치 보정하는 단계;
    상기 위치 보정된 영상들을 합산하여 합산 영상을 획득하는 단계; 및
    상기 합산 영상의 푸리에 위상을 산출하는 단계;
    를 포함하는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  4. 제1항에 있어서,
    상기 복수의 원본 영상은 서로 다른 시점에서 복수 개로 획득되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  5. 제1항에 있어서,
    상기 복수의 원본 영상은,
    일 시점에서 단수 개로 획득된 단일 원본 영상을 이소플라나틱한 조건을 만족하는 복수 개의 서브 영상으로 분할하여 획득되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  6. 제1항에 있어서,
    상기 복원 영상을 획득하는 단계 이후에,
    반복 횟수가 미리 설정된 최대 반복 횟수에 도달하였는지 여부를 판단하는 단계;를 더 포함하고,
    상기 판단하는 단계에서 아직 도달하지 않은 경우,
    가장 나중에 얻어진 복원 영상을 그 다음 사이클의 기준 영상으로 결정하고, 동일한 복수의 원본 영상에 대하여 상기 푸리에 위상 및 상기 푸리에 세기를 추출하여 후속 복원 영상을 획득하는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  7. 제1항에 있어서,
    상기 원본 영상을 획득하는 단계에서,
    상기 원본 영상은 카메라, 초음파 센서, 라디오 안테나 및 X-선 검출기 중 적어도 하나를 포함하는 공간센서 장치에 의해 촬영되어 획득되는, 왜곡된 영상으로부터 대상을 복원하는 방법.
  8. 프로세서;를 포함하고, 상기 프로세서는,
    왜곡 영역을 포함하는 복수의 원본 영상을 획득하고,
    상기 원본 영상에 대하여 푸리에 위상을 추출하고,
    상기 원본 영상에 대하여 푸리에 세기를 추출하고,
    상기 푸리에 위상 및 상기 푸리에 세기를 곱한 값을 푸리에 역변환하여 상기 왜곡 영역을 복원한 복원 영상을 획득하며,
    상기 푸리에 위상의 추출과 상기 푸리에 세기의 추출은 서로 독립적으로 수행하는, 왜곡된 영상으로부터 대상을 복원하는 장치.
KR1020210068612A 2021-05-27 2021-05-27 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치 KR102476808B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210068612A KR102476808B1 (ko) 2021-05-27 2021-05-27 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치
PCT/KR2022/004309 WO2022250267A1 (ko) 2021-05-27 2022-03-28 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210068612A KR102476808B1 (ko) 2021-05-27 2021-05-27 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220160406A true KR20220160406A (ko) 2022-12-06
KR102476808B1 KR102476808B1 (ko) 2022-12-12

Family

ID=84230021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210068612A KR102476808B1 (ko) 2021-05-27 2021-05-27 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102476808B1 (ko)
WO (1) WO2022250267A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012156715A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2021049005A1 (ja) * 2019-09-13 2021-03-18 三菱電機株式会社 情報処理装置およびそれを備えた電子機器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2870299B2 (ja) * 1992-06-08 1999-03-17 日本電気株式会社 画像信号の処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012156715A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。
WO2021049005A1 (ja) * 2019-09-13 2021-03-18 三菱電機株式会社 情報処理装置およびそれを備えた電子機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tengfei Wu ET AL:"Single-shot diffraction-limited imaging through scattering layers via bispectrum analysis", Optics Letters Vol. 41, Issue 21, pp. 5003-5006, 25 Oct. 2016, DOI:https://doi.org/10.1364/OL.41.005003 (2016.10.25.) 1부.* *
Thomas Tang ET AL:"Expression ratio evaluation in two-colour microarray experiments is significantly improved by correcting image misalignment", Bioinformatics, Volume 23, Issue 20, Pages 2686-2691, 15 Oct. 2007(2007.10.15.) 1부.* *

Also Published As

Publication number Publication date
WO2022250267A1 (ko) 2022-12-01
KR102476808B1 (ko) 2022-12-12

Similar Documents

Publication Publication Date Title
US10325358B2 (en) Method and system for image de-blurring
US20110267486A1 (en) Range measurement using multiple coded apertures
Kronander et al. A unified framework for multi-sensor HDR video reconstruction
CN107507135B (zh) 基于编码光圈和靶标的图像重构方法
Guo et al. De-noising of digital image correlation based on stationary wavelet transform
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
US20110267485A1 (en) Range measurement using a coded aperture
KR20130038794A (ko) 디지털 엑스레이 프레임들 시리즈에서의 잡음 감소의 방법
US20110267477A1 (en) Range measurement using symmetric coded apertures
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
Tian et al. Joint image registration and super-resolution from low-resolution images with zooming motion
Stanimirović et al. Removal of blur in images based on least squares solutions
Fessler Image reconstruction: Algorithms and analysis
KR101799143B1 (ko) 타깃 사이즈를 추정하기 위한 시스템 및 방법
US10521918B2 (en) Method and device for filtering texture, using patch shift
TWI776848B (zh) 用於獲得電磁場的波前的層析分佈的方法和光學系統
Chou et al. Out-of-plane modal property extraction based on multi-level image pyramid reconstruction using stereophotogrammetry
Hu et al. Error tolerance and effects analysis of satellite vibration characteristics and measurement error on TDICCD image restoration
KR102476808B1 (ko) 왜곡된 영상으로부터 대상을 복원하는 방법 및 장치
Mery et al. A fast non-iterative algorithm for the removal of blur caused by uniform linear motion in X-ray images
Wang et al. A bilateral filtering based ringing elimination approach for motion-blurred restoration image
CN114384780B (zh) 透过散射介质成像的方法、装置、计算机设备和存储介质
Abraham Sundar et al. Multi-frame super-resolution using adaptive normalized convolution
Sizikov et al. Reconstruction of images smeared uniformly and non-uniformly.

Legal Events

Date Code Title Description
GRNT Written decision to grant