KR101528244B1 - 액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리 - Google Patents

액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리 Download PDF

Info

Publication number
KR101528244B1
KR101528244B1 KR1020137019780A KR20137019780A KR101528244B1 KR 101528244 B1 KR101528244 B1 KR 101528244B1 KR 1020137019780 A KR1020137019780 A KR 1020137019780A KR 20137019780 A KR20137019780 A KR 20137019780A KR 101528244 B1 KR101528244 B1 KR 101528244B1
Authority
KR
South Korea
Prior art keywords
image
time
turbulence
vector
image data
Prior art date
Application number
KR1020137019780A
Other languages
English (en)
Other versions
KR20130129257A (ko
Inventor
니콜라 폴
쉴라즈 앙투안 드
Original Assignee
엘렉트리씨트 드 프랑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘렉트리씨트 드 프랑스 filed Critical 엘렉트리씨트 드 프랑스
Publication of KR20130129257A publication Critical patent/KR20130129257A/ko
Application granted granted Critical
Publication of KR101528244B1 publication Critical patent/KR101528244B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Treatment Of Fiber Materials (AREA)

Abstract

본 발명은 원자로 노심에 있는 물과 같이 이미지의 픽셀들의 명백한 변위 효과를 일으키는 난류를 포함한 액체에 침지된 카메라에 의해 획득된 연속 디지털 이미지 데이터의 처리에 관한 것이다. 처리는 이점적으로 이미지의 픽셀들에 난류의 효과에 대한 모델링; 및 시간평균 이미지의 상기 모델링에 의한 디콘볼루션을 포함한다.

Description

액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리{Processing of image data comprising effects of turbulence in a liquid medium}
본 발명은 디지털 이미지 데이터의 처리에 관한 것이다.
본 발명은 특히 (일반적으로 촬영된 시퀀스의) 연속 이미지들의 처리를 목표로 한다. 이들 이미지들은 카메라에 의해 얻어지며, 특히 카메라는 난류(turbulence)가 있는 액체에 담가 진다. 가령, 이들 난류 효과는 온도의 국소적 차이와 같은 액체 매질의 불균일로 인한 것일 수 있다. 이런 난류 현상으로 인해 픽셀 이미지들의 명백한 변위 효과가 발생된다. 가령, 이미지 가장자리에 해당하는 영역에서 온도의 국소적 차로 인해 난류 현상이 발생되며, 촬영된 이미지에 대한 난류의 영향은 이미지 가장자리에 있는 픽셀들의 섭동으로 인해 이들 픽셀들 중 일부의 (원래 위치에 대한) 명백한 변위로 자체적으로 나타나며, 이 변위는 시간에 걸쳐 (무작위로) 변할 수 있다.
이들 변화들의 랜덤한 특성으로 인해 이들로부터 난류 효과를 제거하기 위해 이미지 처리에서 어려움(또는 심지어 불가능)이 초래된다.
본 발명은 상기 상황을 개선하기 위한 것이다.
이를 위해, 본 발명은 특히
- 이미지의 픽셀들에 대한 난류 효과의 모델링, 및
- 시간평균 이미지의 상기 모델링에 의한 디컨볼루션을 포함한 상술한 타입의 이미지 데이터를 처리하는 방법을 제공한다.
이점적으로, 실제로 난류 효과를 완벽하게 하지만 상대적으로 긴 주기에 걸쳐 모델로 만들 수 있음을 관찰했다. 따라서, 시간에 걸쳐 이미지의 픽셀들을 평균함으로써 난류의 효과가 "스쿼시(squashed)"되게 한다. 평균의 흐릿한 이미지가 얻어진다. 이 이미지를 선명하게 하기 위해, 디컨볼루션(de-convolution)이 난류 효과를 나타내는 모델에 의해 적용된다.
물론, 본 명세서에서 나중에 제시된 일실시예가 정적 장면에 대한 카메라의 평행이동 경우로 다루어지나, 카메라가 촬영한 장면은 고정되는 것으로 가정된다.
한가지 이점적인 실시예에서, 상술한 난류 효과의 모델링은 난류 효과에 대한 변위벡터(u)에 대한 확률밀도의 모델 h(u)의 평가를 포함한다. 특히 이점적인 방식으로 이미지의 픽셀들에 대한 난류 효과의 확률적 모델링으로 지금까지의 랜덤 난류를 모델링하는 문제가 완벽하게 잘 해결된 것이 관찰되었다.
한가지 이점적인 모델의 예는 지수적 감소 타입이며, 상기 타입의 식에 의한 벡터(u)의 함수로 표현될 수 있다:
Figure 112013067405280-pct00001
여기서,
- σ는 벡터(u)의 노름(norm)의 표준편차를 나타내고,
- A 및 B는 가령 A=3/π 및 B=
Figure 112013067405280-pct00002
과 같은 양의 실수이다.
다른 실시예들도 가능하며 하기에 기술될 것이다.
시간평균 이미지의 평가에 관한 한, 한가기 가능한 실시예에서, 각각 시간의 함수로서 줄어드는 평균 망각율(이하 α로 표기함)의 급수에 의해 가중화된 평균이 포함된다.
벡터 좌표(x)로 픽셀에 대한 시간 n에서 평가된 평균 이미지 I α(x,n)는 다음과 같이 주어질 수 있다:
Figure 112013067405280-pct00003
여기서, α는 망각률에 해당하는 실수이다.
실제로, 시간평균 이미지는 회귀 시간 필터링에 의해 평가될 수 있다.
따라서, 시간 n에 대해 시간 필터링의 n번째 출력은 If(x,n)으로 표기되고, 평균 이미지 Iα(x,n)는 아래의 수학식에 의해 연결된다:
Figure 112013067405280-pct00004
Figure 112013067405280-pct00005
실행된 테스트는 망각율(α)이 1에 가까우나 여전히 1 미만일 경우에 최선이었음을 나타낸다. 0.99와 같이 선택된 값이 좋은 결과를 제공했다.
이제, 모델링에 의해 디컨볼루션에 관한 한, 상술한 모델링에 해당하는 표현으로 선형 공간 필터링의 적용이 이점적으로 포함된다.
공간 필터링은 다른 실시예들도 가능하나 이점적으로 비너 타입(Wiener type)일 수 있다.
공간 필터는 타입의 표현에 의해 가령 스펙트럼 영역에서 아래와 같이 주어진다:
Figure 112013067405280-pct00006
Figure 112013067405280-pct00007
여기서,
- f는 2차원 푸리에 변환(fourier transform)후 정규화된 2개 주파수들의 2차원 벡터이고,
- fc는 임의의 가능한 스펙터럼 에일리어싱(spectral aliasing)을 제거하기 위한 필터의 컷오프 주파수이며,
- Sb(f) 및 Ssharp(f)는 각각 노이즈와 결정될 선명한 이미지의 스펙트럼 출력 밀도이며,
- Hσ(f)는 난류 h(u) 효과의 확률밀도의 2차원 푸리에 변환이다.
이 표현의 간략화는 타입의 관계에 따른 공간 필터를 고려하는 것이다:
Figure 112013067405280-pct00008
여기서 RBS는 10-2 내지 10-4 범위에 있는 식으로 선택되는 파라미터의 함수로 표현된다.
상술한 타입의 관계로
Figure 112013067405280-pct00009
난류 hσ(u) 효과의 확률밀도의 2차원 푸리에 변환 Hσ(f)는 하기와 같이 주어진다:
Figure 112013067405280-pct00010
여기서, C는 양의 실수 상수이고 σ는 픽셀의 개수로 카운트된 양의 실수이다.
이전에 주어진 상수 A 와 B의 값을 취하고 2차원 푸리에 변환 Hσ(f)를 완벽히 정의하면, 이는 다음과 같이 주어질 수 있다:
Figure 112013067405280-pct00011
특히, 수행된 테스트는 σ가 0 내지 30개 픽셀들 사이에서 이점적으로 선택되어지는 것을 나타내었다.
상술한 바와 같이, 본 발명은 정적 장면에 대해 카메라가 평행이동으로 변위될 수 있는 실시예를 제공한다. 이 경우, 상기에 표현된 프로세싱이 보존될 수 있으나 그럼에도 불구하고 시간 n-1에서의 이미지의 픽셀들의 리포지셔닝을 시간 n에서 다음 이미지에 적용하는 주의를 취하며, 그런 후 카메라의 변위속도를 고려한다.
따라서, 이 실시예에서, 이전 이미지를 현재 이미지로의 리포지셔닝이 평균 이미지의 평가를 위해 수행된다.
그런 후 회귀 시간 필터링이 리포지셔닝 및 정규화로 수행되고, 한가지 예시적인 실시예에서, 전체 프로세싱은:
- I f(x,1)=0, N(x,1)=0로
리셋팅하는 단계:
-
Figure 112013067405280-pct00012
로 회귀 시간 필터링하는 단계:
-
Figure 112013067405280-pct00013
로 정규화 매트릭스 N의 업데이트를 하는 단계; 및
-
Figure 112013067405280-pct00014
로 시간 필터의 출력을 정규화하는 단계를 포함하고,
〔δn,n-1〕= (〔δxn ,n-1〕,〔δyn ,n-1〕)은 현재 이미지(n)와 카메라의 평행이동으로 인한 이전 이미지(n-1) 간의 가장 근접한 정수로 반올림되는 행 변이 x 및/또는 열 변이 y에 대한 벡터에 해당한다.
본 발명은 또한 이 프로그램이 프로세서에 의해 실행될 때 상술한 방법의 실행을 위한 명령어를 포함하는 컴퓨터 프로그램을 목표로 한다. 이런 프로그램의 전반적 알고리즘의 흐름도의 일예가 하기에 상세히 설명된 도 3에 주어져 있다.
본 발명은 또한 이미지의 픽셀들의 명백한 변위 효과를 야기하는 난류 현상을 포함한 액체에 침지된 카메라에 의해 획득된 연속 디지털 이미지 처리를 위한 입력부를 포함한 이미지 데이터 처리장치를 목표로 한다. 특히, 이런 장치는 상기 방법의 실행을 위한 계산수단을 더 포함한다. 이런 계산수단은 가령 상술한 컴퓨터 프로그램의 명령을 실행하기 위한 프로세서 및 작업 기억영역을 포함할 수 있다.
본 발명은 핵연료요소 어셈블리를 촬영하기 위해 핵시설의 물속에 침지된 카메라에 의해 획득된 이미지 데이터의 처리에 적용될 수 있으나 이에 국한되지 않는다. 이와 관련해 본 발명의 취지에서 상기 방법의 이런 용도는 획득 및 처리된 이미지로부터 핵연료요소 어셈블리 상태의 판단을 적어도 포함할 수 있다.
예컨대, 획득 및 처리된 이미지에서, 핵연료요소 어셈블리의 적어도 하나의 식별자가 판단될 수 있다. 이 실시예는 노심내 어셈블리들의 배열이 이점적으로 감시 및 체크되게 한다.
본 발명의 취지에서 상기 방법의 용도는 상기 이미지에서, 핵연료요소 어셈블리들 간의 간격의 측정을 더 포함할 수 있다.
이 실시예는 이점적으로 코어내 어셈블리들 각각의 위치가 정확하게 모니터되고 체크되게 한다.
마지막으로, 본 발명의 취지에서 상기 방법의 실행은 원자로 홀 또는 핵연료 홀의 수중저장고에 있는 원자로 용기의 물속에 있는지 간에 어셈블리의 상태의 전반적 감시를 가능하게 하는 것임을 알게 될 것이다.
본 발명은 또한 본 발명의 실행을 위한 상술한 타입의 장치에 연결된, 바람직하게는 누수방지 및 방사능에 강한 적어도 하나의 카메라를 포함한 이런 용도의 실행을 위한 시설을 목표로 한다.
본 발명의 내용에 포함됨.
본 발명의 다른 특징 및 이점은 하기에서 비제한적인 예시적인 실시예의 상세한 설명을 읽고 또한 첨부도면을 살펴보면 명백해질 것이다:
도 1은 본 발명의 실행을 위한 카메라와 장치를 포함한 설치와 함께 본 발명의 한가지 실행의 프레임워크에서 노심을 개략적으로 도시한 것이다.
도 2는 이미지들의 지원이 본 발명의 실행에 의해 처리 및 미처리되는 본 발명의 일실시예의 방법의 개략적 단계들을 도시한 것이다.
도 3은 카메라가 평행이동으로 이동될 수 있는 일실시예의 방법 단계들의 개략 흐름도이다.
도 4는 도 3에서 방법 단계들이 도시된 방법의 적용 후에 얻은 선명한 이미지를 도시한 것이다.
물이 채워진 용기(ENC)에서 노심(reactor core)이 복수의 핵연료요소 어셈블리들(ASS)(각각은 대개 가령 다수의 연료봉을 포함함)를 포함하는 도 1을 먼저 참조한다. 각 어셈블리(ASS)는 (도 4의 도면에서 흰색 원으로 둘러싸인) 식별자(ID)를 포함하고 어셈블리는 어셈블리간 분리(EC)에 의해 떨어져 있다.
카메라(CAM)이 그런 후 어셈블리(ASS)와, 특히, 이런 어셈블리들(도 1에 미도시됨) 및/또는 적어도 하나의 어셈블리 식별자(ID) 간에 "S홀"이라는 영역을 촬영한다. 카메라가 얻은 이미지는 이후
- 가령 S홀에 대해, 어셈블리를 안정화시키는데 사용되는 핀들에 대한 핵연료요소 어셈블리들의 캐칭 위험을 줄이기 위해 유용한 시간 내에서 피식별 홀의 변형; 및
- 각 핵연료요소 어셈블리가 기설정된 노심 면에 지정된 위치에 있는 것을 보장하기 위해, 어셈블리 식별자를 판독하게 한다.
이들 이미지들은 어셈블리들이 담긴 물에 침지된 카메라(CAM)로 촬영된다. 물의 굴절률이 국소적으로 변하는 현장의 물속 온도 차로 인해, 광학적 난류 현상(TUR)이 발생된다. 본 발명은 이미지에 영향을 끼치는 난류의 모델링을 제공하고 획득된 이미지를 처리하기 위해 이 난류 모델을 이용한다. 한가지 이점적인 실시예는 특히 평행이동 속도에 맞는 이미지 리포지셔닝 기술을 이용해 이들 피처리 이미지들을 획득한 카메라의 평행이동을 허용한다.
다시 도 1을 참조하면, 카메라(CAM)는 일반적으로
- 획득된 이미지 데이터를 수신하기 위한 인터페이스(INT),
- 이들 이미지 데이터를 처리하기 위한 프로세서(PROC) 및 작업 기억영역(MEM),
- 이미지 신호를 조절하고 스크린(ECR)로 보낸 후 처리된 이미지(IMT)를 디스플레이하기 위한 출력 인터페이스(OUT)를 구비한 획득된 이미지의 처리를 위한 장치(DIS)에 연결된다(처리된 이미지의 일예가 도 4에 도시되어 있다).
따라서, 본 발명의 취지에서 상기 방법의 사용은 전기를 생산하는 원자력 발전소들에 대해 원자로 정지 동작시에 현재 중요한 단계를 구성하는 특히 핵연료요소 장입의 마지막에서 원격 비디오 감시와 관련해 이점적이다. 이들 원격 비디오 감시는 (어셈블리 번호들의 식별을 통해) 노심 면을 검증하고 (가령, 어셈블리들 간에 갭의 측정을 통해) 어셈블리들을 정확하게 배치하기 위해 실행된다. 더욱이 원격 비디오 감시는 가령 피검증 어셈블리들의 포지셔닝을 가능하게 한다.
상기 방법은 특히 어셈블리 요소들 전부 또는 일부의 배치들을 계산하지만 또한 가령 연료홀에서 어셈블리들의 상태 감시도 돕기 위한 연속 이미지들(사진들)의 처리에 이점적으로 또한 적용될 수 있다.
이들 원격 비디오 감시의 해석은 종종 물속 난류 현상을 야기하는 핵연료요소들로부터 열 방출로 인한 어려움에 당혹해 한다. 이들 어려움들에 직면해, 촬영된 시퀀스들을 처리하기 위한 기술이 개발되었다. 이 처리를 위한 알고리즘은 실시간으로(이에 따라 비디오 데이터 스트림 라이브 프레임단위 처리를 할 수 있게) 동작하도록 설계되었다.
전체적으로 말하면, 처리는 이미지들의 픽셀들에서 난류 효과의 확률적 모델링을 기반으로 한다. 이 난류 모델로 복원 처리 알고리즘은 아래와 같이 2 단계로 정의될 수 있다:
- 제 1 시간 필터링으로 안정적이지만 흐릿한 이미지가 선형 공간필터로 얻어진다(이 흐릿한 이미지는 원래 선명한 이미지(알려지지 않음)의 컨볼루션에 해당하며, 이들 표현은 정확하게 난류 벡터의 확률밀도와 같음을 나타낸다);
- 공간적인 가령 비너 타입의 제 2 필터링으로 원래 이미지가 선명해지게 된다(따라서 선형 디콘볼루션에 의해 얻어진다).
상술한 2 단계 처리는 카메라가 정적일 경우 적용될 수 있다. 시간 필터링의 수렴시간으로 인해, 만족스러운 복원 이미지를 얻기 전에 수초 동안 카메라를 고정시키는 것이 바람직하다. 한가지 이점적인 실시예로, 카메라기 움직일 때(일반적으로 대부분 빈번한 경우에 해당하는 평행이동할 때) 이미지 처리 기술이 제공된다.
카메라 평행이동의 경우, 시간 필터가 카메라의 변화들에 적응하게 하기 위해 이미지를 리포지셔닝하기 위한 단계(선택적이지만 이점적임)가 제공된다. 이 이미지 리포지셔닝은 카메라 이동의 사전 평가를 통해 수행된다. 성능 특성들이 만족스럽고 이점적으로 고정 카메라로 처리한 것에 대해서도 품질의 손실이 없다.
이하, 제 1 단계로, 난류로 인한 열화 모델의 한가지 예를 설명한다.
이하, I(x,n,c)는 구성요소 c에 대해(c=1,2,3는 각각 적색, 녹색, 청색 구성요소들을 나타냄) 수신된 n번째 로우 이미지에 대한 좌표 x=(x,y)를 갖는 픽셀 값을 나타낸다. 처리 동작들은 3개 구성요소들에 대해 동일하므로, 표기는 처리된 구성요소를 언급하지 않음으로써 간단히 되어, I(x,n,c)는 간단히 I(x,n)로 표기된다.
이상적인 조건(난류가 없음, 고정 카메라, 불변의 장면)하에서, 촬영된 시퀀스의 이미지 I(x,n)는 I sharp(x)로 표기된 하나의 똑같은 선명한 본래의 연속 이미지의 샘플링으로 발생된다; 즉, I(x,n) = I sharp(x).
그런 후 난류가 있어, 이미지의 각 픽셀은 초기 위치로부터 변위되는 것으로 고려된다. 이미지 n에서 픽셀(x)의 변위에 해당하는 벡터(u x ,n)로 표기하면 다음과 같이 표현될 수 있다:
I(x,n) = I sharp(x + u x ,n)
난류로 인한 변위들은 게다가 랜덤하다. 변위벡터(u x ,n)에 대한 해석적 표현을 찾는 것은 생각될 수 있는 일이 아닌 것 같다.
이들 변위들의 확률적 설명이 그후 제공된다. 난류 벡터(u x ,n)는 h x ,n(u)로 표기된 소정의 확률밀도에 따른 랜덤벡터로 간주된다.
난류 현상이 (물과 같은 액체 매질의 경우에서) 시간적 및 공간적으로 모두 만족스럽다고 가정하면, 확률밀도는 x 또는 n에 의존하지 않는 것으로 생각될 수 있고, 다음과 같이 표현될 수 있다:
h x ,n(u) = h(u)
여기서, h(u)는 임의의 주어진 이미지(n) 및 임의의 주어진 픽셀(x)에 대한 난류의 확률밀도이다.
이하 처리 동작들은 이 난류 현상의 정상성(stationarity) 가정을 기초로 한다. 실제로, I m(x,n)으로 표기함으로써 시간 n에서 평균 이미지는 다음과 같이 정의된다:
Figure 112013067405280-pct00015
이 평균 이미지는 난류의 확률밀도로 원래 선명한 이미지(알지못함)의 컨볼루션과 같은 안정적인 이미지 I stable(x)로 수렴되는 것이 나타내진다:
Figure 112013067405280-pct00016
따라서, 미지(未知)의 선명한 이미지를 복원시키기 위해, 평균 이미지는 단지 난류의 확률밀도 h(u)로 디콘볼루션될 필요가 있다. 이 확률밀도는 미지(未知)이므로, 하기에서 다음 2개의 물리적 고려들을 기초로 확률밀도의 변화를 기술하기 위한 경험적 모델이 제공된다:
- 난류 현상은 일반적으로 전방향성이며 확률밀도는 벡터(u)의 각도에 무관해야 한다.
- 픽셀의 작은 변위들이 픽셀의 큰 변위들보다 더 빈번해야 한다: 따라서, 벡터(u)의 노름이 줄어들면, 값 h(u)도 줄어들어야 한다.
다른 요인들도 물론 모델의 선택시 포함될 수 있다. 가령, 파라미터들이 h(u)에 그리고 특히 푸리에 변환에 조절될 수 있는 해석적 표현을 결정짓는데 실용적일 수 있다. 이들 모든 가정들을 검증하는 간단한 모델은 가령 다음과 같은 지수함수적으로 감소하는 타입이다:
Figure 112013067405280-pct00017
이 수학식에서, σ는 난류 벡터의 노름의 표준편차(평균 변화)를 나타낸다. 이 파라미터로 촬영된 시퀀스에 따라 난류의 레벨에서의 차들이 고려되어 진다.
변형으로서, 가우시안 모델이 이용될 수 있다. 그러나, 지수함수 모델의 테스트가 좋은 결과를 주었다. 가우시안 또는 지수함수 모델보다 더 느린 감소를 나타내는 다른 타입의 모델들도 물론 다른 변형으로서 생각될 수 있다.
그런 후, 2개 처리 단계로 원래 이미지를 평가할 수 있다. 제 1 단계로, 로우 이미지의 시퀀스가 시간평균된다. 이 평균된 이미지는 하기의 식:
Figure 112013067405280-pct00018
으로 (난류 현상 없이 관찰됐을 것인) 미지의 선명한 이미지의 컨볼루션과 같은 안정적인 이미지 I stable(x)로 수렴된다. 제 2 단계로, 난류의 확률밀도에 의한 평균 이미지의 디콘볼루션으로 원래의 선명한 이미지가 평가되어 진다.
도 2는 실제 어셈블리 이미지에 대한 처리의 2개 주요 단계들을 도시한 것이다. 제 1 (시간) 필터(F1)로 연속 이미지들(IMn, IMn -1 등)로 시작해 안정적이지만 흐릿한 평균 이미지(ISF)가 얻어진다.
제 2 (공간 디콘볼루션) 필터(F2)로 흐릿한 이미지(ISF)로 시작해 원래 선명한 이미지(IN)가 복원된다.
이하 제 1 (시간) 필터(F1)를 설명한다.
촬영된 장면이 특히 조명, 줌 팩터 등 면에서 (난류 효과를 무시한) 불변인 경우, n번째 평균 이미지는 하기의 식으로 얻어진다:
Figure 112013067405280-pct00019
이 수학식에서, 같은 가중치가 각 이미지에 할당된다. 장면내 임의의 가능성있는 변화들(조명 및 기타)을 다루기 위해, 평균 이미지에서 지난 이미지들보다 최근 이미지들에 드 많은 가중치를 할당하는 것이 바람직하다. 시간(n)에서 평균 이미지에 대해, 이미지 I α(x,n)은 다음과 같이 취해진다:
Figure 112013067405280-pct00020
α는 (필터의 히스토리컬 메모리로서) 지난 이미지들에 할당된 약간의 중요성을 할당한 망각율이다. 다음의 항에 의한 정규화로
Figure 112013067405280-pct00021
1이 되는 가중치αk의 기하학적 합이 얻어지는데, 이는
Figure 112013067405280-pct00022
이기 때문이다.
수학식 I α(x,n)은 회귀 시간 필터링에 이은 정규화 단계의 형태를 취할 수 있다. I f(x,n)로 표기된 시간 필터의 n번째 출력 및 I α(x,n)로 표기된 정규화 출력 이미지는 다음과 같이 연결된다:
Figure 112013067405280-pct00023
Figure 112013067405280-pct00024
망각률 α에 대해 선택된 값은 시간 필터의 성능 특징을 결정한다. 이들 성능 특징을 평가하기 위해, n번째 이미지의 픽셀(x)과 타겟의 안정적 이미지의 픽셀(x) 간의 평균제곱차는 다음과 같이 정의된다:
Figure 112013067405280-pct00025
그런 후 이미지 n의 전체에 대한 평균제곱차를 정의할 수 있다:
Figure 112013067405280-pct00026
불변의 장면의 경우, 난류 효과를 무시하면 다음과 같이 나타난다:
Figure 112013067405280-pct00027
여기서, Σ2은 로우 이미지에서 픽셀들의 평균 변화이다. (n이 무한인 경향이 있을 때)수렴 후, 시간 필터의 정규화 출력의 나머지 제곱차는 다음과 같이 주어진다:
Figure 112013067405280-pct00028
망각율 α의 다양한 값들에 대해 처리된 이미지 개수의 함수로서 표준편차의 진행 계산은 정적 장면의 경우 가능한 한 크게 α를 선택하는 것이 바람직할 수 있음을 나타낸다. 하지만, 변하는 장면의 경우, 망각율 α의 선택은 장면 변화에 적용하기 위한 짧은 시간(작은 α)과 작은 나머지 표준편차(큰 α) 간에 절충을 일으킨다. 가령, 장면의 급격한 변화(가령 조명의 변화)가 시간 n0에서 발생하면, 시간 펄터가 수렴되는 반면에, 시간 n에서 필터의 출력과 안정적인 이미지 간의 표준편차는 다음과 같이 되는 것으로 나타난다;
Figure 112013067405280-pct00029
여기서 Δ는 장면 변화에 의해 야기된 레벨에서의 평균 변화를 나타낸다.
그러므로, 망각율 α이 클수록, 수렴시간이 더 길어질 것이나(α=0.99에 대해 약 300개 이미지 또는 12초), 나머지 표준편차는 출력 이미지가 안정화될 수 있을 정도로 충분히 작아진다(α=0.99에 대해 0.07). α의 선택된 값을 줄임으로써, 수렴의 속도는 증가되나(α=0.95에 대해 약 50개 이미지 또는 2초), 나머지 표준편차도 또한 증가된다(α=0.95에 대해 0.16). 출력 이미지는 수렴후에도 전체적으로 안정화되지 못한다.
한가지 현재 실시예로, 망각율은 바람직하게는 0.99로 설정되며 이는 (난류 효과를 무시한) 불변의 장면의 경우에 최적값이다. 그럼에도 불구하고, 본 명세서에 나타낸 처리는 촬영된 장면에서 잦은 변화(일반적으로 조명의 변화)에 맞게 충분히 유연해질 수 있다.
특히, (하기에 표현된) 이동하는 카메라의 경우, 장면의 각 요소는 단지 감소된 이미지 개수들을 볼 수 있다. 나머지 변화보다 수렴시간에 더 큰 중요성을 할당하기 위해 망각율을 줄이는 것이 바람직할 수 있다.
일예시적인 실시예로 상기 방법의 제 2 단계에 포함된 공간 필터링을 설명한다.
상술한 열화 모델에 따라면, 정규화 출력 I α(x,n)은 노이즈 b(x,n)가 하기에 주어진 평균분산이 추가되는 안정적 이미지 I stable(x)(난류의 확률밀도로 미지의 선명한 이미지의 컨볼루션)와 같아진다:
Figure 112013067405280-pct00030
이는 다음과 같이 표현될 수 있다:
Figure 112013067405280-pct00031
따라서, 출력 I α(x,n)으로부터 시작한 선명한 이미지의 평가는 결국 선형 공간 디콘볼루션 문제가 된다. 최적 복원필터는 스펙트럼 영역에서 비너 공식에 의해 다음과 같이 주어진다:
Figure 112013067405280-pct00032
Figure 112013067405280-pct00033
여기서,
- f는 2D 푸리에 변환 후 2개의 정규화된 주파수의 2차원 벡터(f=(f,g))이다.
- fc는 입력 이미지에 대한 임의의 가능한 스펙트럼 에일리어싱이 제거되게 하는 필터의 컷오프 주파수이다.
- Sb(f) 및 Ssharp(h)는 각각 복원될 노이즈 및 선명한 이미지의 스펙트럼 출력 밀도이다.
- Hσ(f)는 h(u)의 2D 푸리에 변환이다.
h(u)에 대해 선택된 지수함수 모델로, 다음과 같이 된다:
Figure 112013067405280-pct00034
제 1 단계로, 노이즈와 이미지가 일정(이미지 및 화이트 노이즈, Sb(f) 및 Ssharp(h)가 일정)한 스펙트럼 출력 밀도를 갖는다고 가정하자. 확률밀도의 푸리에 변환이 실수이면, 이미지의 복원을 위한 최적 필터는 다음과 같이 주어진다:
Figure 112013067405280-pct00035
여기서, "신호 대 노이즈 비"를 나타내는 RBS는 시간 필터의 출력에서 노이즈의 출력과 선명한 이미지(미지)의 출력 간의 비에 해당한다. 이 복원필터 파라미터는 2개의 파라미터 RBS 및 σ를 포함한다. 이들 2개의 파라미터들은 필터의 주파수 응답에 영향을 끼친다. RBS에 대한 크기 순서를 얻기 위해, 선명한 이미지(미지))가 범위(P)에 걸쳐 상대적으로 균일하게 분포된 픽셀들의 값을 갖는 것이라 생각할 수 있다. 픽셀이 취한 값들의 분산은 그런 후 P2/12인 것으로 나타난다. 시간 필터의 수렴 후, 출력에서 나머지 분산은 (1-α)/(1+α)Σ2과 같으며, 여기서 Σ2은 로우 이미지에 대한 노이즈의 분산이고 α는 필터의 망각율이다. 따라서, 비 RBS에 대해:
Figure 112013067405280-pct00036
가령, 처리 전에, Σ/P=0.1의 이미지의 "노이즈/범위"에 대해, 그리고, 망각율 α=0.99로, 6.10-4의 RBS가 얻어진다. 이 결과는 RBS의 최적값의 크기 순서를 제공한다.
RBS 비(比)는 처리된 이미지에 대한 다양한 테스트들에 따라 경험적으로 정해질 수 있다. 일반적으로, RBS가 0이 되는 경향이 있는 경우, 디콘볼루션 필터는 1/Hσ(f)로 역필터가 되고, 고역통과 및 노이즈에 너무 민감한 경향이 있는 것으로 판명된다. 따라서, RBS에 대해 너무 낮은 값은 노이즈 복원 이미지들을 제공한다("입자가 굵은(grainy)" 노이즈가 처리된 이미지들에 관찰된다). RBS가 무한인 경향이 있는 경우, 디콘볼루션 필터는 블러(blur) 필터 Hσ(f)가 되는 경향이 있다. 따라서, RBS에 대해 너무 값이 높으면 복원 이미지들을 흐릿해진다. RBS에 대한 최적값은 테스트들에 따라 10-4 내지 10-2 사이로 정해지므로 10-3의 디폴트 값이 선택된다.
파라미터 σ는 복원 필터가 난류 효과의 표준편차(평균변화)에 적응되도록 한다. 일반적으로, σ가 난류 효과의 실제 표준편차 미만이면, (공간 필터의 입력에서) 시간필터 이미지의 흐릿함이 완전히 감쇠되지 않는다. σ가 난류 효과의 실제 표준편차보다 더 크면, 이미지의 높은 주파수들이 너무 크게 증폭되어 이미지가 열화된다. σ의 최적값은 난류 효과의 수준 및 줌 팩터에 크게 의존한다(난류 효과는 줌 팩터가 클 경우에 더 큰 정도로 비디오 시퀀스를 열화시킨다). σ에 대한 최적값의 일예는 낮은 난류 수준에 대한 8개 픽셀들의 영역 내에서이다. 대조적으로, 줌 팩터가 큰 높은 난류 수준에 대해, σ의 최적값은 약 30 픽셀이다. 그런 후 σ는 0 내지 30 픽셀들 사이에 선택될 수 있는 것을 알게 될 것이다. 이 파라미터는 처리 동작 동안 및 획득된 이미지의 품질에 따라 이미지가 획득되면서 업데이트될 수 있다.
이하, 이미지들을 촬영하는 카메라의 평행이동이 고려되는 일실시예를 설명한다.
상술한 처리는 하기에 주어진 시간 필터로부터 정규화 출력을 디콘볼루션하는데 있다:
Figure 112013067405280-pct00037
그러나, 위의 이 평균은 카메라가 이동하고 로우 이미지들이 서로에 대해 변위되면 더 이상 의미가 없다. 카메라 평행이동의 경우, 각 이미지(k)는 현재 이미지(n)에 대해 소정의 벡터δn.k로 변위된다. 각 이미지가 그 변위의 함수로서 리포지셔닝되면, 상기 공식은 다음과 같이 된다:
Figure 112013067405280-pct00038
δ nk=(δxnk,δynk)는 이미지(k)와 이미지(n) 간에 (x축을 따른) 열 및 (y축을 따른) 행에서의 변위에 대한 벡터이고, n(x)은 리포지셔닝후 픽셀(x)을 포함한 연속 이미지의 개수를 나타낸다.
표현:
Figure 112013067405280-pct00039
x+δ nk에서 로우 이미지의 보간이다.
고정 카메라에 대한 복원의 경우에서와 같이, 평균 이미지는 회귀 필터 다음에 정규화의 형태를 취할 수 있다. 여기서 정규화는 고정 카메라의 경우에서보다 더 복잡한데, 이는 이용가능한 이미지의 개수는 해당 이미지 영역(픽셀에 의한 정규화)에 따르기 때문이다. 그럼에도 불구하고 다음과 같이 표현되는 것으로 나타나진다:
Figure 112013067405280-pct00040
Figure 112013067405280-pct00041
따라서, 이들 표현은 필터의 이전 출력(n-1 시간)의 보간을 포함한다.
이전 출력에서 대가가 많이 드는 보간 동작을 방지하기 위해, 다음과 같이 필터링 방정식을 간단히 하도록 선택된다:
Figure 112013067405280-pct00042
Figure 112013067405280-pct00043
이 표현에서, 현재 이미지(n)와 이전 이미지(n-1) 간에 가장 가까운 정수로 반올림된 행렬 변위벡터는 다음과 같이 표기된다:
Figure 112013067405280-pct00044
1과 같은 불변의 이미지가 모든 픽셀들에 걸쳐 입력시 설정될 때 리포지셔닝 시간 필터의 출력을 계산함으로써 픽셀당 단 하나의 정규화 매트릭스만이 계산되는 것으로 나타내 진다:
Figure 112013067405280-pct00045
리포지셔닝 및 정규화로 시간 필터링을 하기 위한 완전한 연산은 4 단계에 따라 최종적으로 표현된다:
- 리셋팅:
I f(x,1)=0, N(x,1)=0
- 시간 필터링:
Figure 112013067405280-pct00046
- 정규화 매트릭스의 업데이팅;
Figure 112013067405280-pct00047
- 시간 필터의 출력의 정규화;
Figure 112013067405280-pct00048
따라서, 각 이미지가 수신됨에 따라:
- 제 1 단계에서, 현재 이미지(n)와 이전 이미지(n-1) 간의 변위 δn,n-1가 평가된다;
- 이 변위는 시간 필터를 리포지셔닝하는데 사용된다;
- 각 픽셀에 대해 정규화 매트릭스를 계산한다;
- 연이어, 시간 필터로부터의 정규화 출력은 공간 필터에 의해 디콘볼루션된다.
디콘볼루션 방법은 앞서 고정 카메라의 경우에 설명되었다.
이하, 2개 이미지들 간의 평행이동의 평가를 설명한다. 다양한 이미지들 간에 변위를 평가하기 위한 여러 타입의 접근법이 있다. 실시간 처리 동작을 고려하기 위해 간단한 기술들이 여기서 선호된다. 가장 간단한 접근법은 이미지들 간에 최대 상호상관을 찾는데 있다. 노이즈, 난류 효과, 및 조명의 변화에 민감하지 않도록, 이미지 그자체에 작용하는게 아니라 이미지의 윤곽에 작용하는 것이 바람직하다. 따라서, 2개 이미지들 간의 변위에 대한 평가는 2단계로 구성된다. 제 1 단계로, 2개 "윤곽" 이미지들이 얻어진다. 제 2 단계로, 2개 이미지들 간에 상호상관 매트릭스가 계산된다. 상호상관 최대 좌표는 2개 이미지들 간에 행렬 변위를 나타낸다.
윤곽 이미지를 얻게 하는 필터는 다음에 의해 주어진 소벨 필터(Sobel filter)이다:
Figure 112013067405280-pct00049
여기서, σsobel은 필터의 통과대역을 지배하고 Msobel은 필터링 윈도우의 크기이다. 이들 파라미터들의 이점적인 값은 σsobel=0.9 픽셀, Msobel=5.σsobel이다.
동일한 필터가 Icontour(x,y)로 표기된 윤곽 이미지를 얻기 위해 이미지 I(x,y)의 행렬을 필터링하는데 사용된다:
Figure 112013067405280-pct00050
Figure 112013067405280-pct00051
2개 윤곽 이미지들 I1 contour(x,y) 및 I2 contour(x,y)간의 상호상관은 다음에 의해 주어진다:
Figure 112013067405280-pct00052
실질적으로 계산 시간을 줄이기 위해, 항:
Figure 112013067405280-pct00053
은 빠른 푸리에 변환을 이용해 얻을 수 있다:
Figure 112013067405280-pct00054
계산 시간을 더 줄이기 위해, 이동의 평가는 단지 하나의 이미지 채널에 대해 수행된다. 수신된 행 이미지들의 행들이 엇갈리는 경우일 수 있다. 이 경우 상호상관된 이미지들에서 하나씩 거른 행(가령 짝수 행들)만을 유지하는 것이 바람직할 수 있다. 마지막으로, 어떤 경우에서, 비디오 시퀀스는 겹쳐 쓰인 데이터(일반적으로 데이터 및 시간, 원자로의 이름, 촬영되는 어셈블리의 좌표)를 포함한다. 물론 변위를 평가하기 위한 이 이미지 영역을 이용하지 않는 것이 추천된다.
리포지셔닝의 계산을 이제 설명한다.
2개 이미지들 간의 시간 필터의 연속 출력을 리포지션하기 위해, 제 1 방안은 각 시간 n에서 현재 이미지(n)와 이전 이미지(n-1) 간의 변위 δn,n- 1를 계산하는데 있다. 그럼에도 불구하고, 테스트는 이 접근이 느린 카메라 이동의 (흔한) 경우에 적용될 수 없는 것을 나타내었다. 이는 다음과 같이 설명될 수 있다: 가령 카메라 이동으로 이미지당 0.3 행이 변위되고 열 아래로는 0이 변위된다고 가정하면, 2개의 연속 이미지들 간의 상호상관 매트릭스는 일반적으로 δn,n-1 = ([0],[0.3]) = (0,0)에서 최대가 된다. 따라서, 전혀 변위가 감지될 수 없고, 전혀 이미지가 리포지션되지 않는 반면, 하지만 카메라의 이동은 매 10개의 이미지마다 약 3행의 실제 리포지셔닝을 필요로 한다.
느린 변위(일반적으로 이미지당 0.5행 또는 행 미만)를 따를 수 있도록, 이하에서 또 다른 접근법이 제공된다. 변위는 현재 이미지(n)와 이전 이미지(n-1) 간에 평가되는 게 아니라 현재 이미지(n)와 기준 이미지(δn, ref) 간에 평가된다.
δn,n- 1는 그런 후 다음과 같이 간단히 주어진다:
δ n,n-1 = δ n, ref - δ n-1, ref
표 1은 이미지당 0.3 행의 변화 속도의 경우 이런 처리를 도시한 것이다. 이 예에서, 10개 이미지마다 3개의 변위된 이미지의 평균이 실제로 평가된다. 기준 이미지는 현재 이미지가 실질적으로 변위될 경우에 업데이트된다. 최대 변위의 20 픽셀의 임계치는 고정되며, 이는 1/20(또는 이미지당 0.05 행/열) 보다 큰 속도로 카메라의 임의의 이동이 다루어지게 하며, 고려되는 적용들의 경우에 충분한 것으로 판명된다.
이미지 색인 nref nref +1 nref +2 nref +3 nref +4 nref +5 nref +6 nref +7 nref +8 nref +9 nref +10
실제 변위
현재이미지/기준이미지
δyn , ref
0 0.3 0.6 0.9 1.2 1.5 1.8 2.1 2.4 2.7 3
평가 변위
현재이미지/기준이미지
[δyn , ref]
0 0 1 1 1 2 2 2 2 3 3
실제 변위
현재이미지/기준이미지
δyn ,n-1 = [δyn , ref]-[δyn-1, ref]
- 0 1 0 0 1 0 0 0 1 0
도 3은
- 단계 S1에서 현재 이미지 IMn(시간 n)를 이용한, 변위의 평가 및, 단계 S1에서 평가된 변위가 임계치(테스트 S6)를 초과한 경우, 단계 S7에서 임계치의 업데이트;
- 단계 S2에서, 리포지셔닝의 계산;
- 단계 S3에서 시간 필터링 및 단계 S4에서 픽셀에 의한 정규화; 및
- 선명한 이미지(IN)를 얻기 위해 단계 S5에서 공간 필터링으로
이동 상황에서 이미지 처리의 다양한 단계들을 요약한다.
고정 카메라를 이용한 처리에 대해 품질의 손실 없이 처리의 성능특징이 만족된다. 그러나 몇몇 인위물들이 카메라가 몇 초간 정지된 후에 이동하기 시작할 때 나타날 수 있다. 이들 인위물들은 그럼에도 불구하고 기능적으로 문제가 없다. 도 4에 도시된 바와 같이, 이들 인위물들(이 도면에서 검은 화살표로 표시된 행)은 (번호 "2D EL"를 갖는 흰색 원내에) 어셈블리 번호의 판독이나 어셈블리간 간격(이중 흰색 화살표)의 계산을 방해하지 않는다. 더욱이, 이들 인위물들은 간단한 이미지 처리 기술에 의해 줄어들 수 있다.
본 발명은 예로써 상술한 실시예들에 국한되지 않는 것은 말할 것도 없다; 이는 다른 변형들에까지 확장될 수 있다.
상기 예에서, 시간 필터는 비디오 시퀀스의 연속 이미지들의 간단한 평균을 수행한다. 이 평균에서, 더 큰 가중치를 양호한 품질의 이미지들에 할당하거나 더 가벼운 가중치를 열악한 품질의 이미지들에 할당하는 단계가 포함될 수 있다. 보다 일반적으로, 시간 필터는 더 많은 관련 이미지들을 조합하기 위한 처리 동작으로 대체될 수 있다. 그러나 이들 접근법들은 이미지의 관심 영역(어셈블리 번호를 포함하는 영역)에 대해 계산된 하나 이상의 품질 표시자들의 정의를 가정한다.
상술한 공간 필터는 이미지 전체에 동작한다. 변형으로서, 관심 영역에 대한 처리에 집중하도록 고안될 수 있다. 특히, 번호를 포함한 영역의 이진 특성과 같은 "사전 지식" 정보가 복원 과정에서 고려될 수 있다.
더욱이, 현재 공간필터는 이미지 전체에 대한 비너 디콘볼루션을 수행한다. 가령 파형요소들을 이용해 다른 디콘볼루션 처리기술이 똑같이 이용될 수 있다.
게다가, 콘트라스트의 등화를 위해 히스토그램의 로컬 등화에 의한 콘트라스트 강화가 이점적일 수 있음에 유의해야 한다.

Claims (25)

  1. 이미지의 픽셀들의 명백한 변위 효과를 야기하는 난류 현상을 포함한 액체에 침지된 카메라에 의해 획득된 연속 디지털 이미지 데이터 처리방법으로서,
    - 이미지의 픽셀들에 난류의 효과에 대한 모델링; 및
    - 시간평균 이미지의 상기 모델링에 의한 디콘볼루션을 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  2. 제 1 항에 있어서,
    모델링은 난류 효과에 대한 변위 벡터(u)의 확률밀도 모델의 평가를 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  3. 제 2 항에 있어서,
    상기 모델은 지수함수적으로 감소하는 타입인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  4. 제 3 항에 있어서,
    상기 모델 hσ(u)은 수학식 타입에 의해 벡터(u)의 함수로 표현되고;
    Figure 112013067405280-pct00055

    여기서, σ는 벡터(u)의 노름의 표준편차이고,
    A 및 B는 양의 실수 상수인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  5. 제 4 항에 있어서,
    A = 3/π이고 B=
    Figure 112013067405280-pct00056
    인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  6. 제 1 항에 있어서,
    시간평균 이미지는 각각 시간 함수로서 감소하는 망각율의 급수에 의해 가중화된 평균에 의해 평가되는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  7. 제 6 항에 있어서,
    벡터 좌표(x)를 갖는 픽셀에 대해 시간 n에서 평가된 평균 이미지 I α(x,n)는 아래와 같이 주어지며:
    Figure 112013067405280-pct00057

    α는 망각율에 해당하는 실수인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  8. 제 1 항에 있어서,
    시간평균 이미지는 회귀 시간필터링에 의해 평가되는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  9. 제 8 항에 있어서,
    벡터 좌표(x)를 갖는 픽셀에 대해 시간 n에서 평가된 평균 이미지 I α(x,n)는 아래와 같이 주어지며:
    Figure 112013067446915-pct00073

    α는 망각율에 해당하는 실수이며,
    I f(x,n)로 표기된 시간 n에 대해 시간 필터의 n번째 출력 및 평균 이미지 I α(x,n)는 하기의 식들:
    Figure 112013067446915-pct00074

    Figure 112013067446915-pct00075

    에 의해 연결되는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  10. 제 6 항에 있어서,
    망각율 α은 0.99와 같게 선택되는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  11. 제 1 항에 있어서,
    상기 디콘볼루션은 상기 모델링에 해당하는 표현으로 선형 공간 필터링의 적용을 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  12. 제 11 항에 있어서,
    필터링은 비너 타입(Wiener type)인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  13. 제 12 항에 있어서,
    모델링은 난류효과와 관련된 변위벡터 u의 확률밀도의 모델의 평가를 포함하고,
    공간 필터는 하기의 수학식:
    Figure 112013067446915-pct00060

    Figure 112013067446915-pct00061

    에 의해 공간 영역에 주어지고,
    여기서
    - f는 2차원 푸리에 변환 후 2개의 정규화된 주파수의 2차원 벡터이며,
    - fc는 임의의 가능한 스펙트럼 에일리어싱을 제거하기 위한 필터의 컷오프 주파수이고,
    Sb(f) 및 Ssharp(f)는 각각 결정될 노이즈 및 선명한 이미지의 스펙트럼 출력 밀도이며,
    - Hσ(f)는 난류 hσ(u)의 효과의 확률밀도의 2차원 푸리에 변환인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  14. 제 13 항에 있어서,
    공간 필터는 다음과 같이 표현되고;
    Figure 112013067405280-pct00062

    여기서, RBS는 상기 RBS가 10-2 내지 10-4 범위에 있도록 선택된 파라미터의 함수로서 표현되는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  15. 제 13 항에 있어서,
    상기 모델 hσ(u)은 수학식 타입에 의해 벡터(u)의 함수로 표현되고;
    Figure 112013067446915-pct00076

    여기서, σ는 벡터(u)의 노름의 표준편차이고,
    A 및 B는 양의 실수 상수이며,
    난류 hσ(u) 효과의 확률밀도의 2차원 푸리에 변환 Hσ(f)은 다음과 같이 주어지고:
    Figure 112013067446915-pct00077

    여기서, C는 양의 실수 상수이고 σ는 픽셀의 개수로 카운트된 양의 실수인 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  16. 제 15 항에 있어서,
    2차원 푸리에 변환 Hσ(f)은 다음과 같이 주어지고:
    Figure 112013067405280-pct00064

    σ는 0 내지 30 픽셀 범위에 있는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  17. 제 1 항에 있어서,
    상기 카메라가 평행이동해 움직이고, 평균 이미지의 평가를 위해 이전 이미지의 리포지셔닝이 현재 이미지에 적용되는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  18. 제 17 항에 있어서,
    시간평균 이미지는 회귀 시간필터링에 의해 평가되고, 리포지셔닝 및 정규화에 따른 시간 필터링을 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  19. 제 18 항에 있어서,
    벡터 좌표(x)를 갖는 픽셀에 대해 시간 n에서 평가된 평균 이미지 I α(x,n)는 아래와 같이 주어지며:
    Figure 112013067446915-pct00078

    α는 망각율에 해당하는 실수이며,
    I f(x,n)로 표기된 시간 n에 대해 시간 필터의 n번째 출력 및 평균 이미지 I α(x,n)는 하기의 식들:
    Figure 112013067446915-pct00079

    Figure 112013067446915-pct00080

    에 의해 연결되고,
    - I f(x,1)=0, N(x,1)=0로
    리셋팅하는 단계:
    -
    Figure 112013067446915-pct00081

    로 회귀 시간 필터링하는 단계:
    -
    Figure 112013067446915-pct00082

    로 정규화 매트릭스 N의 업데이트를 하는 단계; 및
    -
    Figure 112013067446915-pct00083

    로 시간 필터의 출력을 정규화하는 단계를 포함하고,
    Figure 112013067446915-pct00084

    는 현재 이미지(n)와 이전 이미지(n-1) 간에 가장 가까운 정수로 반올림된 행 변위벡터 x 및/또는 열 변위벡터 y에 해당하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  20. 프로세서(PROC)에 의해 프로그램이 실행될 때 제 1 항 내지 제 19 항 중 어느 한 항에 따른 방법의 실행을 위한 명령어를 포함한 컴퓨터 프로그램을 저장한 컴퓨터 판독가능한 기록매체.
  21. 이미지의 픽셀들의 명백한 변위 효과를 야기하는 난류 현상을 포함한 액체에 침지된 카메라에 의해 획득된 연속 디지털 이미지 데이터 처리를 위한 입력부를 포함한 이미지 데이터 처리장치로서,
    제 1 항 내지 제 19 항 중 어느 한 항에 따른 방법의 실행을 위한 계산수단을 더 포함하는 것을 특징으로 하는 이미지 데이터 처리장치.
  22. 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
    핵시설의 물속에 침지된 핵연료요소 어셈블리를 촬영하는 카메라에 의해 획득된 이미지 데이터를 처리하기 위하여,
    획득 및 처리된 이미지로부터 핵연료요소 어셈블리 상태의 판단을 적어도 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  23. 제 22 항에 있어서,
    상기 획득 및 처리된 이미지에서, 핵연료요소 어셈블리의 적어도 하나의 식별자의 판단을 적어도 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  24. 제 22 항에 있어서,
    상기 이미지에서, 핵연료요소 어셈블리들 간의 간격의 측정을 더 포함하는 것을 특징으로 하는 연속 디지털 이미지 데이터 처리방법.
  25. 핵시설의 물속에 침지된 핵연료요소 어셈블리를 촬영하는 카메라에 의해 획득된 이미지 데이터를 처리하기 위한 방법의 구현을 위한 이미지 데이터 처리시스템으로서,
    적어도 하나의 카메라와 제 21 항의 장치를 포함하는 것을 특징으로 하는 이미지 데이터 처리시스템.
KR1020137019780A 2011-01-28 2012-01-09 액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리 KR101528244B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1150655A FR2971075B1 (fr) 2011-01-28 2011-01-28 Traitement de donnees d'images comportant des effets de turbulences dans un milieu liquide.
FR1150655 2011-01-28
PCT/FR2012/050055 WO2012101355A1 (fr) 2011-01-28 2012-01-09 Traitement de données d'images comportant des effets de turbulences dans un milieu liquide

Publications (2)

Publication Number Publication Date
KR20130129257A KR20130129257A (ko) 2013-11-27
KR101528244B1 true KR101528244B1 (ko) 2015-06-11

Family

ID=45563432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137019780A KR101528244B1 (ko) 2011-01-28 2012-01-09 액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리

Country Status (14)

Country Link
US (1) US9749592B2 (ko)
EP (1) EP2668635B1 (ko)
JP (1) JP5657141B2 (ko)
KR (1) KR101528244B1 (ko)
CN (1) CN103493094B (ko)
BR (1) BR112013018156B1 (ko)
CA (1) CA2824002C (ko)
ES (1) ES2687125T3 (ko)
FR (1) FR2971075B1 (ko)
MX (1) MX2013008735A (ko)
RU (1) RU2559764C2 (ko)
UA (1) UA109178C2 (ko)
WO (1) WO2012101355A1 (ko)
ZA (1) ZA201304703B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
RU2686445C1 (ru) * 2016-01-14 2019-04-25 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Способ получения и обработки изображений, искажённых турбулентной атмосферой
FR3075448B1 (fr) * 2017-12-19 2020-01-03 Electricite De France Ensemble de tranquillisation de flux de reacteur nucleaire
CN110223242B (zh) * 2019-05-07 2021-08-10 北京航空航天大学 一种基于时空域残差生成对抗网络的视频湍流移除方法
CN111986400A (zh) * 2020-08-20 2020-11-24 广州驰创科技有限公司 一种基于物联网控制的立式自助终端机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912934A (en) * 1996-07-15 1999-06-15 Remote Ocean Systems, Inc. Underwater inspection system for nuclear power facilities
US20090252430A1 (en) * 2008-04-08 2009-10-08 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Automated Underwater Image Restoration Via Denoised Deconvolution

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63156475A (ja) * 1986-12-19 1988-06-29 Dainippon Screen Mfg Co Ltd 多階調画像読取装置
EP0466252A3 (en) 1990-07-03 1995-12-27 Univ New York State Res Found A method and apparatus for restoring convolution degraded images and signals
US5343284A (en) * 1990-10-24 1994-08-30 Kaman Aerospace Corporation Imaging lidar system employing bistatic operation
JP3159465B2 (ja) * 1991-05-17 2001-04-23 株式会社東芝 画像表示装置
US5467122A (en) * 1991-10-21 1995-11-14 Arete Associates Underwater imaging in real time, using substantially direct depth-to-display-height lidar streak mapping
US5742355A (en) * 1993-12-02 1998-04-21 U.S. Philips Corporation Method and apparatus for reducing noise in a video signal
WO1997016807A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for image-based object detection and tracking
USH1914H (en) * 1996-07-08 2000-11-07 The United States Of America As Represented By The Secretary Of The Army Method and system for mitigation of image distortion due to optical turbulence
US6091443A (en) * 1997-03-06 2000-07-18 Walker Downriggers, Inc. Underwater viewing system
JPH11166993A (ja) * 1997-12-05 1999-06-22 Hitachi Ltd 外観検査装置
RU2130176C1 (ru) * 1998-03-30 1999-05-10 Иркутское высшее военное авиационное инженерное училище Электрическое устройство измерения плотности жидкости в гидродинамической трубе
US6097424A (en) * 1998-07-03 2000-08-01 Nature Vision, Inc. Submersible video viewing system
JP3584285B2 (ja) * 2001-04-27 2004-11-04 独立行政法人情報通信研究機構 歪画像補正方法及び装置
JP2004101315A (ja) * 2002-09-09 2004-04-02 Nuclear Fuel Ind Ltd 水中における原子炉燃料集合体の識別標示確認用撮影カメラ装置
US7496226B2 (en) * 2003-09-19 2009-02-24 University Of Miami Multi-camera inspection of underwater structures
RU2381211C2 (ru) * 2004-09-02 2010-02-10 Истман Кемикал Компани Оптимизированное жидкофазное окисление в барботажной колонне реакторного типа
KR101049366B1 (ko) * 2006-01-30 2011-07-13 도시바 기카이 가부시키가이샤 글래스 소자의 성형용 금형
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
JP4958610B2 (ja) * 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
JP4961405B2 (ja) * 2008-08-19 2012-06-27 株式会社デンソーウェーブ シミュレーション装置の画像データ生成装置
JP2010121970A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 移動体認識システム及び移動体認識方法
CN101699509B (zh) * 2009-11-11 2012-10-03 耿则勋 一种利用气象数据进行大气模糊遥感影像恢复的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912934A (en) * 1996-07-15 1999-06-15 Remote Ocean Systems, Inc. Underwater inspection system for nuclear power facilities
US20090252430A1 (en) * 2008-04-08 2009-10-08 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Automated Underwater Image Restoration Via Denoised Deconvolution

Also Published As

Publication number Publication date
ZA201304703B (en) 2014-09-25
EP2668635B1 (fr) 2018-06-27
CN103493094A (zh) 2014-01-01
CA2824002A1 (fr) 2012-08-02
US20130300856A1 (en) 2013-11-14
FR2971075A1 (fr) 2012-08-03
US9749592B2 (en) 2017-08-29
CN103493094B (zh) 2018-10-02
JP5657141B2 (ja) 2015-01-21
FR2971075B1 (fr) 2013-03-01
WO2012101355A1 (fr) 2012-08-02
EP2668635A1 (fr) 2013-12-04
BR112013018156B1 (pt) 2021-08-24
KR20130129257A (ko) 2013-11-27
RU2559764C2 (ru) 2015-08-10
UA109178C2 (uk) 2015-07-27
CA2824002C (fr) 2018-01-02
ES2687125T3 (es) 2018-10-23
JP2014505308A (ja) 2014-02-27
RU2013139709A (ru) 2015-03-10
MX2013008735A (es) 2013-08-14
BR112013018156A2 (pt) 2018-09-11

Similar Documents

Publication Publication Date Title
Chan et al. An augmented Lagrangian method for total variation video restoration
JP6507846B2 (ja) 画像ノイズ除去方法及び画像ノイズ除去装置
KR101528244B1 (ko) 액체 매질에서 난류 효과를 포함한 이미지 데이터의 처리
JP6387646B2 (ja) グレースケール画像の処理方法及び装置
CN110796615B (zh) 一种图像去噪方法、装置以及存储介质
CN112785507A (zh) 图像处理方法及装置、存储介质、终端
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
CN110874827A (zh) 湍流图像复原方法、装置、终端设备及计算机可读介质
Wang et al. An improved image blind deblurring based on dark channel prior
El-Henawy et al. A comparative study on image deblurring techniques
CN112801890B (zh) 一种视频处理方法、装置及设备
US20200410645A1 (en) Image processing apparatus, image processing method, and storage medium
WO2014165159A1 (en) System and method for blind image deconvolution
CN112488920B (zh) 一种基于类高斯模糊核的图像正则化超分辨重建方法
US9686449B1 (en) Methods and systems for detection of blur artifact in digital video due to high quantization
Lu Out-of-focus blur: Image de-blurring
Moreschini et al. Shearlet-based light field reconstruction of scenes with non-lambertian properties
JP5855210B2 (ja) 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
Rana et al. Image deblurring methodology using wiener filter & genetic algorithm
Dhanakshirur et al. Evidence based feature selection and collaborative representation towards learning based PSF estimation for motion deblurring
Martinello et al. Fragmented aperture imaging for motion and defocus deblurring
CN117710250B (zh) 一种消除纤维镜成像蜂窝状结构的方法
Raju Dhanakshirur et al. Evidence based feature selection and collaborative representation towards learning based PSF estimation for motion deblurring
KR20230149899A (ko) 영상의 노이즈 제거 방법 및 장치
Bhatele et al. The fundamentals of medical image restoration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 4