KR20080081839A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20080081839A
KR20080081839A KR1020080020179A KR20080020179A KR20080081839A KR 20080081839 A KR20080081839 A KR 20080081839A KR 1020080020179 A KR1020080020179 A KR 1020080020179A KR 20080020179 A KR20080020179 A KR 20080020179A KR 20080081839 A KR20080081839 A KR 20080081839A
Authority
KR
South Korea
Prior art keywords
image data
recursive
filtering
frame
recursive filtering
Prior art date
Application number
KR1020080020179A
Other languages
English (en)
Other versions
KR100929319B1 (ko
Inventor
나오또 다까하시
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20080081839A publication Critical patent/KR20080081839A/ko
Application granted granted Critical
Publication of KR100929319B1 publication Critical patent/KR100929319B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05GX-RAY TECHNIQUE
    • H05G1/00X-ray apparatus involving X-ray tubes; Circuits therefor
    • H05G1/08Electrical details
    • H05G1/64Circuit arrangements for X-ray apparatus incorporating image intensifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

메모리로부터 판독된 이전 프레임의 화상 데이터를 a로 승산하고, 현 프레임의 화상 데이터를 (1-a)로 승산하고, 그 결과값들을 모두 가산하고, 그 가산한 결과값을 메모리에 저장하는 리커시브 필터링(recursive filtering)이 행해진다. 여기서, a 는 0 < a < 1의 범위에 있는 계수이다. 그 후, 리커시브 필터링 계수 및 리커시브 필터링의 횟수에 따라 변경된 공간 필터를 이용하여, 리커시브 필터링된 화상 데이터에 대하여 공간 필터링이 행해진다.
화상 처리 장치, 리커시브 필터링, 공간 필터링, 노이즈 감쇠율

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은 촬영된 영상에서의 노이즈를 감소시키기 위한 기술에 관한 것이다.
X선 영상 촬영의 분야에서는,입사된 X선을 신틸레이터(scintillator)(형광체) 및 화상 증폭기(image intensifier)를 이용하여 가시광으로 변환하고, 변환된 가시광 상을 CCD형 촬상 센서를 이용한 TV 카메라에 의해 촬상하는 2차원 디지털 X선 투시 장치가 제안되어 있다.
한편,최근에는,TV 카메라를 플랫-패널 검출기로 대체시킨 시스템이 제안되어 있다(예컨대, 특허 문헌 1 참조).
전술한 X선 투시 장치에서는,촬영된 영상의 화질을 향상시키기 위해 각종 화상 처리를 행하는 것이 일반적이다. 양자화 노이즈, 시스템 노이즈 등을 감소시키기 위한 노이즈 감소 처리가 그러한 처리의 한 종류이다. 종래부터 이용되고 있는 노이즈 감소 처리의 일례로서는 리커시브 필터링(recursive filtering)이 있다(특허 문헌 2 참조). 도 7에 도시한 바와 같이, 일반적인 리커시브 필터는 1 프레 임분의 화상 데이터를 저장하는 프레임 메모리(701)를 사용하고, 현 프레임과 리커시브 필터 처리가 행해진 이전(previous) 프레임의 화상 데이터에 대해 가산기(702)가 가중치 부여 가산을 행한다. 이렇게 하여, 시간적으로 랜덤한 노이즈를 감소시킨다. 또한, 이러한 종류의 리커시브 필터링은 이하의 수학식으로 표현된다.
Figure 112008016001572-PAT00001
여기서, t > 0, Y0 = X1 이다.
여기서, Xt는 t번째 프레임의 화상 데이터이고, Yt는 리커시브 필터링된 t번째 프레임의 화상 데이터이며, a는 피드백 계수이다. 계수 a의 범위는 O < a < 1으로 설정된다.
수학식 1에 나타낸 바와 같이, 리커시브 필터링에서는,피드백 계수에 기초하여 리커시브 필터링된 이전 프레임의 화상 데이터와 현 프레임의 화상 데이터의 가산 비율을 조정할 수 있다. 피드백 계수값이 클수록 노이즈 감소 처리 부분에 대한 효과가 커진다.
전술한 리커시브 필터링에 있어서, 움직임이 있는 화상에서는 잔상 효과가 모션 블러(motion blur)로서 나타난다. 이 때문에, 피드백 계수에 대해 큰 값이 설정된 경우, 현 프레임과 이전 프레임의 차분에 기초하여 이들 간의 움직임을 검지하고, 검지된 움직임에 따라 각 프레임에서의 피드백 계수를 변경하는(즉, 움직 임이 큰 경우에는 피드백 계수를 감소시키는) 방법이 존재한다. 예컨대, 일본 특허공개공보 제2005-003444호 및 일본 특허공개공보 제2002-112992호 참조.
그러나, 전술한 리커시브 필터링에 있어서, 기록이 먼저 개시되는 경우, 제1 프레임 이전에는 프레임이 존재하지 않기 때문에, 노이즈 억제가 행해질 수 없다. 또한, 노이즈 억제의 효과는 피드백 계수가 커질수록 증가하고, 이에 따라 프레임마다 노이즈 억제 효과가 변동되는 문제가 존재한다. 예를 들면, 피드백 계수를 0.8로 설정한 경우, 도 8로부터 알 수 있는 바와 같이, t가 커질수록 노이즈 감쇠율(출력 화상에서의 노이즈 표준 편차를 입력 화상에서의 노이즈 표준 편차로 제산하여 얻어진 값)은 작아지고, t = ∞인 경우 노이즈 감쇠율은 수렴한다.
또한, 움직임이 증가함에 따라 피드백 계수를 감소시키는 방법에서는, 움직임에 따라 피드백 계수가 프레임마다 상이하다. 이 때문에, 모션 블러를 억제할 수 있는 반면, 수학식 1에 비해 노이즈의 억제 효과가 보다 많이 변동되는(움직임이 큰 경우에는 노이즈 억제 효과가 감소하는) 문제가 존재한다.
본 발명은 피드백 계수에 의존하는 노이즈 억제 효과를 프레임마다 균일하게 하는 것을 목적으로 한다.
본 발명의 일 양태는, 메모리로부터 판독된 이전 프레임의 화상 데이터를 a로 승산하고, 현 프레임의 화상 데이터를 (1-a)로 승산하고, 그 결과값들을 모두 가산하고, 그 가산한 결과값을 메모리에 저장하는 리커시브 필터링(recursive filtering)을 행하기 위한 리커시브 필터링 수단 - 상기 a 는 0 < a < 1의 범위에 있는 계수임 - , 및 리커시브 필터링 계수 및 리커시브 필터링의 횟수에 따라 변경된 공간 필터를 이용하여, 리커시브 필터링된 화상 데이터에 대하여 공간 필터링을 행하기 위한 공간 필터링 수단을 포함하는 화상 처리 장치를 제공한다.
본 발명의 다른 양태는, 메모리로부터 판독된 이전 프레임의 화상 데이터를 a로 승산하고, 현 프레임의 화상 데이터를 (1-a)로 승산하고, 그 결과값들을 모두 가산하고, 그 가산한 결과값을 메모리에 저장하는 리커시브 필터링을 행하는 단계 - 상기 a 는 0 < a < 1의 범위에 있는 계수임 - , 및 상기 리커시브 필터링 계수 및 상기 리커시브 필터링의 횟수에 따라 변경된 공간 필터를 이용하여, 상기 리커시브 필터링된 화상 데이터에 대하여 공간 필터링을 행하는 단계를 포함하는 화상 처리 방법을 제공한다.
본 발명의 다른 특징들은 (첨부 도면을 참조하여) 이하의 예시적인 실시예들의 설명으로부터 명백해질 것이다.
본 발명에 따르면, 피드백 계수에 의존하는 노이즈 억제 효과를 프레임마다 균일하게 할 수 있다.
이하, 도면을 참조하여, 본 발명을 실시하기 위한 바람직한 실시예들 대하여 상세하게 설명한다.
[제1 실시예]
도 1은 제1 실시예에 따른 방사선 촬영 장치의 구성의 일례를 나타내는 도면이다. 도 1에서,참조번호 100은, X선 빔(102)을 이용하여 촬영된 영상(video)을 모니터 상에 출력할 때에 효과적인 화상 처리를 행하는 기능을 갖는 X선 촬영 장치이다. X선 촬영 장치(100)는 데이터 수집 회로(105), 전-처리(pre-processing) 회로(106), CPU(108), 메인 메모리(109), 콘솔 패널(110), 화상 표시 장치(111), 및화상 처리 회로(112)를 포함한다. 이들은 CPU 버스(107)을 통해 상호간에 데이터 교환이 가능하도록 접속되어 있다.
화상 처리 회로(112)는 리커시브(recursive) 필터링 회로(113), 공간 필터 설계 회로(114), 및 공간 필터링 회로(115)를 포함하며, 이들은 CPU 버스(107)에 접속되어 있다.
데이터 수집 회로(105) 및 전-처리 회로(106)는 상호 접속되어 있으며, 데이터 수집 회로(105)에는 2차원 X선 센서(104) 및 X선 발생 회로(101)가 접속되어 있다는 점에 유의한다.
전술한 바와 같은 X선 촬영 장치(100)에서, 메인 메모리(109)는 CPU(108)에 의해 행해지는 처리에 필요한 각종 데이터를 저장하고, 또한 CPU(108)에 대한 동작 메모리로서 기능한다. CPU(108)는, 메인 메모리(109)를 이용하여, 콘솔 패널(110)을 통해 이루어지는 조작에 따라 장치 전체의 동작 제어 등을 행한다. 이에 기초하여, X선 촬영 장치(100)는 이하의 방식으로 동작한다.
우선, 콘솔 패널(110)을 통해 사용자에 의해 촬영 지시가 입력되는 경우, CPU(108)는 이 촬영 지시를 데이터 수집 회로(105)에 전달한다. 한편,촬영 지시를 수신하면,CPU(108)는 X선 발생 회로(101) 및 2차원 X선 센서(104)를 제어함으로써, X선 촬영을 실행한다.
이러한 X선 촬영에서는, X선 발생 회로(101)가 우선적으로 피사체(103)에 대하여 X선 빔(102)을 조사한다. X선 발생 회로(101)에 의해 조사된 X선 빔(102)은 피사체(103)를 투과하면서 감쇠되고, 2차원 X선 센서(104)에 도달한다. 그 후, 2차원 X선 센서(104)에 의해 데이터 수집 회로(105)에는 X선 화상 신호들이 연속적으로 출력된다. 제1 실시예에서는, 피사체(103)를 인체로 상정한다. 즉, 2차원 X선 센서(104)로부터 출력되는 X선 화상 신호는 인체의 영상이다.
다음, 데이터 수집 회로(105)는 2차원 X선 센서(104)로부터 연속적으로 출력된 X선 화상 신호를 프레임 단위로 소정의 디지털 신호로 변환하고, 그 결과물을 X선 화상 데이터로서 전-처리 회로(106)에 공급한다. 전-처리 회로(106)는 데이터 수집 회로(105)로부터의 X선 화상 데이터에 대하여 오프셋 취소(offset cancellation), 게인 조정(gain adjustment) 등의 전-처리를 행한다. CPU(108)에 의해 행해지는 제어는 전-처리 회로(106)에 의해 전-처리된 X선 화상 데이터가 프레임 화상 데이터로서 CPU 버스(107)를 통해 메인 메모리(109) 및 화상 처리 회로(112)에 전송되게 한다.
화상 처리 회로(112)에서,리커시브 필터링 회로(113)는 전-처리 회로(106)로부터 전송된 프레임 화상 데이터에 대해 리커시브 필터링을 행한다. 본 실시예에서의 리커시브 필터링은 수학식 1 및 도 7을 이용하여 설명한 바와 같이, 현 프 레임의 화상 데이터와 리커시브 필터링된 이전 프레임의 화상 데이터에 대해 가중치 부여 가산을 행함으로써, 노이즈 감소를 실행하는 처리이다. 공간 필터 설계 회로(spatial filter establishment circuit)(114)는 프레임 화상 데이터의 프레임 정보 및 리커시브 필터링 회로(113)의 피드백 계수에 기초하여 공간 필터를 설계한다. 공간 필터링 회로(115)는 공간 필터 설계 회로(114)에 의해 산출된 공간 필터를 이용하여 리커시브 필터링 회로(113)로부터 출력된 화상 데이터에 대해 공간 필터링을 행한다. 공간 필터링은 프레임 내의 화상 데이터에 기초하여 노이즈 감소 처리를 행하는 처리이며, 예컨대 일본 특허공개공보 H11-252373호에 개시된 바와 같은 공지의 기술을 이용한다.
"프레임 정보"는 현 프레임의 화상 데이터가 촬영 개시 시로부터 몇 번째의 프레임인지를 나타내는 정보, 및 현 프레임의 화상 데이터가 리커시브 필터링의 개시 시로부터 몇 번째의 프레임인지를 나타내는 정보임에 유의한다.
다음, 도 2를 참조하여, 제1 실시예에 따른 X선 촬영 장치(100)의 화상 처리 회로(112)에 의해 수행되는 처리들에 대해 상술한다.
도 2는 제1 실시예에 따른 화상 처리 회로(112)의 처리 수순을 나타내는 흐름도이다. 전술한 바와 같이, 전-처리 회로(106)에 의해 전-처리된 프레임 화상 데이터는 CPU 버스(107)를 통해 화상 처리 회로(112)에 전송된다. 다음, 단계 S201, 단계 S202에서, 리커시브 필터링 회로(113)는 상기 수학식 1을 통해 프레임 화상 데이터에 대해 리커시브 필터링을 행한다.
우선, 단계 S201에서,이전 프레임의 리커시브 필터링된 화상 데이터를 메인 메모리(109)로부터 판독하고, 그 후 리커시브 필터링을 행한다. 다음, 단계 S202에서,리커시브 필터링된 화상 데이터를 다음 프레임에 행해질 리커시브 필터링을 위해 메인 메모리(109)에 저장한다.
다음, 단계 S203 내지 단계 S205에서, 공간 필터 설계 회로(114)는 프레임 화상 데이터의 프레임 정보 및 리커시브 필터링 회로(113)의 피드백 계수에 기초하여 공간 필터를 설계한다.
우선, 단계 S203에서,리커시브 필터링 회로(113)로부터 출력된 t번째 프레임 화상 데이터의 노이즈 감쇠율 α(t)를 산출한다. 노이즈 감쇠율은 리커시브 필터링된 화상 데이터 Yt의 노이즈 표준 편차 σT(t)를 입력 화상 데이터 Xt의 노이즈 표준 편차 αIN(t)로 제산하여 얻어진 값이다. 여기서, X선 화상 데이터에 중첩되는 노이즈는 본질적으로는 시간적으로 무관한 특성을 갖고,이에 따라 t번째 프레임 화상의 노이즈 감쇠율 α(t)은 피드백 계수 a를 이용하여, 이하의 수학식 2를 통해 근사적으로 산출될 수 있다.
Figure 112008016001572-PAT00002
따라서, 피드백 계수 a가, 예컨대 1/2 일 때, 첫번째 프레임의 화상 데이터의 노이즈 감쇠율은 1이고, 두번째 프레임 화상 데이터의 노이즈 감쇠율은
Figure 112008016001572-PAT00003
이다.
다음, 단계 S204에서, 노이즈 억제 효과가 동등하도록 사용되는 공간 필터에 대해 노이즈 감쇠율 β(t)가 설정된다. 여기서, 노이즈 억제 효과를 동등하게 하기 위해, 노이즈 감쇠율은 입력 화상 Xt에 리커시브 필터링 및 공간 필터링을 적용한 경우 상수 값이어야 한다. 즉, 이하의 수학식 3과 같이, α(t)와 β(t)의 곱이 상수여야 한다.
Figure 112008016001572-PAT00004
단,const는 const≤α(t)의 관계를 만족하는 임의의 상수임을 유념하자.
여기서, const는 원하는 노이즈 감쇠율을 규정하기 위한 상수이며, 예컨대 전체 프레임에서의 노이즈를 일률적으로 50%로 감소시킬 경우에는 1/2로 설정될 수 있다. 제1 실시예에서는,리커시브 필터링에 사용되는 피드백 계수 a와 동일한 값으로 const를 설정한다. 즉, 공간 필터의 노이즈 감쇠율 β(t)는 이하의 수학식 4를 통해 설정된다.
Figure 112008016001572-PAT00005
다음, 단계 S205에서, 노이즈 감쇠율이 β(t)인 공간 필터 h를 설계한다. 여기서, 리커시브 필터링된 X선 화상 데이터에 중첩되는 노이즈는 본질적으로 공간적으로는 무관한 특성을 갖기 때문에,공간 필터 h는 이하의 수학식 5가 성립하도록 설계될 수 있다.
Figure 112008016001572-PAT00006
여기서, ∥ㆍ∥2 는 유클리드 노옴(Euclidian norm)을 나타낸다.
공간 필터를 설계하는 방법은 임의의 특정 방법에 특별히 한정되는 것은 아니며, 상기 수학식 5를 만족하는 공간 필터인 한 어떠한 방법을 이용할 수도 있다. 제1 실시예에서는, 공간 필터 h가 아래와 같이 정의되고, 노이즈 감쇠율이 β(t)가 되도록 공간 필터 h가 설계된다는 것에 유념하자.
Figure 112008016001572-PAT00007
0≤i<M, 0≤j<M 임에 유의하자. 여기서, M은 필터 사이즈이며, 3 이상의 임의의 홀수값으로 설정된다. 또한,k는 필터 계수를 규정하기 위한 값이다.
M 및 k는 노이즈 감쇠율이 β(t)가 되도록 설정한다. 즉, 이하의 수학식 7을 만족하도록 M 및 k를 산출할 수 있다.
Figure 112008016001572-PAT00008
상기 수학식 7은 아래의 식으로 더 변형될 수 있다.
Figure 112008016001572-PAT00009
여기서, 상기 수학식 8을 k에 대하여 풀면 다음의 수학식이 된다.
Figure 112008016001572-PAT00010
k가 실수의 해를 갖기 위하여는 다음의 조건들이 충족될 필요가 있다.
Figure 112008016001572-PAT00011
상기 수학식 10을 정리하면 다음의 부등식이 된다.
Figure 112008016001572-PAT00012
따라서, 노이즈 감쇠율이 β(t)인 것에 기초한 M 및 k는 상기 수학식 9 및 11로부터 산출될 수 있다. 즉, 노이즈 감쇠율 β(t)에 따라 상기 수학식 11을 만족하는 필터 사이즈 M을 설정하고, 상기 수학식 9를 통해 k를 산출하면, 원하는 필터를 설계할 수 있다.
다음, 단계 S206에서, 공간 필터링 회로(115)는 공간 필터 설계 회로(114)에 의해 설계된 공간 필터 h를 사용하여 공간 필터링을 행한다. 구체적으로는,리커 시브 필터링 회로(113)로부터 출력된 리커시브 필터링된 화상 데이터 Yt에 대하여, 이하의 수학식을 통해 공간 필터링을 행하고, 원하는 노이즈 감쇠율을 갖는 화상 데이터 Zt를 작성한다.
Figure 112008016001572-PAT00013
여기서, * 는 중첩 적분(convolution integral)을 나타낸다.
이상 설명한 바와 같이, 피드백 계수에 따라 공간 필터를 설계하고, 리커시브 필터링 및 공간 필터링을 병용함으로써, 제1 실시예는 피드백 계수에 의존하는 노이즈 억제 효과의 프레임 마다의 변동을 균일하게 하는 효과를 갖는다.
[제2 실시예]
다음, 도면을 참조하여 본 발명에 따른 제2 실시예를 상세하게 설명한다. 제2 실시예는,제1 실시예의 화상 처리 회로에 피드백 계수 변경 회로를 부가한다.
도 3은 제2 실시예에 따른 방사선 촬영 장치의 구성의 일례를 나타내는 도면이다. 도 3에 도시한 X선 촬영 장치(300)에서,도 1에 도시한 X선 촬영 장치(100)와 동일한 기능을 갖는 구성 요소에는 동일한 참조 번호를 부여하고, 상세한 설명은 생략한다.
도 4는 제2 실시예에 따른 화상 처리 회로(112)의 처리 수순을 나타내는 흐름도이다. 도 4에 나타낸 처리 수순에서, 도 2에서와 동일한 단계들에는 동일한 참조번호를 부여하고, 상세한 설명은 생략한다.
우선,단계 S301에서, 피드백 계수 변경 회로(201)가 각 프레임에 대해 그 내부의 움직임에 따라 피드백 계수를 산출한다. 여기서 사용된 각 프레임에 대한 피드백 계수의 산출 방법은 특별히 한정되는 것은 아니다. 제2 실시예에서, 각 프레임에 대한 피드백 계수 b(t)는 현 프레임의 화상 데이터 Xt 및 이전 프레임의 화상 데이터 Xt -1 에 기초하여 다음 식을 통해 산출된다.
Figure 112008016001572-PAT00014
여기서, t>O, X0=X1 이다. 또한,E는 평균 연산을 나타낸다.
여기서, a는 O<a<1의 범위에서 설정된 기준 피드백 계수이다. 또한,vth는 노이즈 레벨을 설정하기 위한 임계값이며, 프레임 화상에 중첩되는 노이즈 레벨에 따라 적절한 값으로 설정될 수 있는데, 그 임계값은 노이즈의 분포의 약 2배로 설정하는 것이 바람직하다.
또한,상기 임계값의 조건(부등식의 우변)은 현 프레임 화상과 이전 프레임 화상의 평균 제곱 오차(MSE)이며, 그 값은 프레임들 간에 움직임이 없는 경우에 최소값(노이즈의 분포의 약 2배)이다. 반대로, 프레임들 간에 움직임이 큰 경우에, MSE는 큰 값이 된다. 따라서, 상기 식에 있어서, 움직임이 큰 경우에는, 기준으로 사용되는 피드백 계수 a를 작게 하여, 모션 블러를 억제할 수 있다.
기준으로 사용되는 피드백 계수 a는 유저가 콘솔 패널(110)을 통해 설정한 임의의 값을 이용할 수 있다는 점에 유의한다. 또한,일반적으로 X선 화상 데이터에 중첩되는 노이즈 레벨은 X선 크기에 따라 다르기 때문에,화상을 블록들로 분할할 수 있으며(예컨대, 화상을 64×64 화소들로 분할할 수 있다), 상기 수학식을 통해 블록 단위로 가변 피드백 계수를 산출할 수도 있다. 이 경우, 피드백 계수는 블록 단위로 상이하기 때문에,후단에서 행해지는 리커시브 필터링 및 공간 필터링은 블록 단위로 순차적으로 행해질 수 있다.
다음, 단계 S302에서,리커시브 필터링 회로(113)는 피드백 계수 변경 회로(201)에 의해 산출된 피드백 계수 b(t)를 이용하여, 이하의 수학식을 통해 모션 블러를 억제하는 리커시브 필터링을 행한다. 또한,단계 S202에서 리커시브 필터링된 화상 데이터 Y(t)는 메인 메모리(109)에 저장된다.
Figure 112008016001572-PAT00015
여기서,t>0, Y0=X1 이다.
다음, 단계 S303 내지 S205에서, 공간 필터 설계 회로(114)는 프레임 화상 데이터의 프레임 정보 및 피드백 계수 변경 회로(201)에 의해 변경된 피드백 계수에 기초하여 공간 필터를 설계한다.
우선, 단계 S303에서,리커시브 필터링 회로(113)로부터 출력된 t번째 프레임 화상 데이터의 노이즈 감쇠율 α(t)는 이하의 식을 이용하여 산출된다.
Figure 112008016001572-PAT00016
다음, 단계 S204 내지 S205에서,원하는 노이즈 감쇠율을 갖는 공간 필터를 설계하고, 단계 S206에서, 공간 필터링 회로(115)는 리커시브 필터링된 프레임 화상 데이터에 공간 필터링을 행한다.
이상 설명한 바와 같이, 제2 실시예는, 제1 실시예의 효과 외에도,움직임에 따른 가변 피드백 계수를 이용하여 모션 블러를 억제하는 효과를 얻는다.
[제3 실시예]
다음, 첨부 도면을 참조하여 본 발명에 따른 제3 실시예를 상세하게 설명한다. 제3 실시예는, 제2 실시예의 화상 처리 회로에 주파수 성분 분해 회로를 부가한다.
도 5는 제3 실시예에 따른 방사선 촬영 장치의 구성의 일례를 도시하는 도면이다. 도 5에 도시된 X선 촬영 장치(500)에서,도 3에 도시한 X선 촬영 장치(300)와 동일한 기능을 갖는 구성 요소에는 동일한 참조 번호를 부여하고,상세한 설명은 생략한다.
도 6은 제3 실시예에 따른 화상 처리 회로(112)의 처리 수순을 나타내는 흐름도이다. 도 6에 도시한 처리 수순에서, 도 4에서와 동일한 단계에는 동일한 참조 번호를 부여하고, 상세한 설명은 생략한다.
우선,단계 S601에서,주파수 성분 분해 회로(501)는 입력된 현 프레임의 화상 데이터 Xt를 2 이상의 주파수 대역의 화상 데이터로 분해한다. 여기서, 분해 방법은 특별히 한정되는 것은 아니다. 제3 실시예에서,화상 데이터는, 이하에서와 같이, 로우-패스 필터 g를 이용하여 저주파 화상 데이터 Lt 및 고주파 화상 데이터 Ht 로 분해된다.
Figure 112008016001572-PAT00017
로우-패스 필터로서 사용될 수 있는 필터의 예로는, 이동 평균 필터(running average filter), 가우스 필터 등이 있다는 점에 유의한다.
다음, 주파수 성분 분해 회로(501)에 의해 분해된 화상 데이터 중, 원하는 주파수 대역의 화상 데이터에 대하여 단계 S301 내지 단계 S206을 실행하고, 주파수 대역에 한정된 노이즈 저감을 실행한다. 제3 실시예에서는,주파수 성분 분해 회로(501)에 의해 분해된 고주파 화상 데이터 Ht에 대해서만 노이즈 저감을 실행한다는 점에 유의한다.
다음, 단계 S602에서,재구성 회로(502)는 저주파 화상 데이터 Lt 및 노이즈 저감된 고주파 화상 데이터 Ht 로부터 1개의 화상 데이터 X^t 를 재구성한다. 재구성은 이하의 수학식에 나타낸 바와 같이, 상기 수학식 16을 역변환함으로써 행해질 수 있다.
Figure 112008016001572-PAT00018
이상 설명한 바와 같이, 제3 실시예는 제2 실시예의 효과 외에도, 원하는 주파수 대역에 한정된 노이즈 저감을 실행할 수 있는 효과를 갖는다.
제3 실시예에서는 화상이 주파수 성분들로 분해되고, 그 후 상기 수학식을 통해 재구성하였지만, 본 실시예는 이 구성에 한정되지 않으며, 웨이블릿 변환, 라플라스 피라미드 등을 이용할 수도 있다는 점에 유의한다. 즉, 제3 실시예의 기술적 사상은 다른 주파수 성분 분해 처리가 이용되는 경우에도 적용될 수 있다.
또한,제3 실시예에서,화상 데이터는 2개의 주파수 대역폭의 화상 데이터 로 분해되지만, 화상 데이터를 3개 이상의 주파수 대역폭으로 분해하고, 원하는 주파수 대역폭의 화상 데이터에 대해서만 노이즈 감소 처리를 행할 수도 있다. 이러한 경우, 원하는 주파수 대역폭에 대해 노이즈 감소 처리를 행하고, 나아가 처음에 원했던 주파수 대역폭 외에 원하는 다른 주파수 대역폭의 화상 데이터에 강조 처리를 행할 수도 있다. 이는, 노이즈 감소를 수행하는 것 외에도, 원하는 대역폭의 샤프니스(sharpness)를 향상시킬 수 있다.
이상, 본 발명의 바람직한 실시예를 설명하였지만, 본 발명은 본 명세서에 설명된 실시예들에 한정되지 않는 것은 물론이고, 본 발명의 요지를 변경하지 않고서 각종 변형 및 변경이 가능하다.
본 발명은, 전술한 실시예의 기능을 실현하는 소프트웨어 프로그램을 시스템 또는 장치에 직접 또는 원격으로 공급하고, 시스템 또는 장치의 컴퓨터에 의해 그 프로그램의 코드 자체를 판독하고 실행하는 경우를 포함한다.
따라서, 본 발명의 기능 처리를 컴퓨터를 통해 실현하기 위해 컴퓨터에 인스톨되는 프로그램의 코드 자체도 본 발명을 실현한다. 즉, 본 발명의 기능 처리를 실현하기 위한 컴퓨터 프로그램 자체도 본 발명의 범위에 포함된다.
또한, 프로그램을 공급하는 데 사용될 수 있는 기억 매체의 예로서는, 플렉시블 디스크, 하드 디스크, 광 디스크, 광 자기 디스크, 자기 테이프, 비휘발성 메모리 카드, DVD 등이 있다.
대안적으로, 프로그램을 공급하는 다른 방법으로서, 클라이언트 컴퓨터의 브라우저를 이용하여 인터넷 홈페이지에 접속하고, 본 발명의 컴퓨터 프로그램을 하드디스크 등의 기억 매체에 다운로드 하는 방법이 제공될 수 있다. 프로그램은 자동 인스톨 기능을 포함하는 파일일 수도 있다는 점에 유의한다. 또한,이 방법은 본 발명의 프로그램을 구성하는 프로그램 코드를 복수의 파일로 분할하고, 각각의 파일을 다른 홈 페이지로부터 다운로드함으로써도 실현될 수 있다. 즉, 본 발명의 기능 처리를 컴퓨터를 통해 실현하기 위한 프로그램 파일을 복수의 유저에 대해 다운로드를 허용하는 WWW 서버도 본 발명의 범위에 포함된다.
또한, 프로그램은 암호화되고 기억 매체에 저장되어, 사용자에게 배포하고, 소정의 조건을 클리어한 유저에 대하여 인터넷을 통해 웹사이트로부터 취득된 파일들을 복원하는 키 정보를 다운로드시킬 수 있다. 그러면, 그 키 정보를 이용함으 로써 암호화된 프로그램을 실행하고, 프로그램을 컴퓨터에 인스톨하고, 그 기능을 실현할 수 있다.
또한,전술한 실시예들의 기능들은, 프로그램의 명령에 기초하여 그 처리의 일부 또는 전부를 실행하는 컴퓨터 상에서 기동되고 있는 0S 등에 의해 실현될 수 도 있다.
바람직한 실시예들을 참조하여 본 발명을 설명하였지만, 본 발명은 전술한 실시예들에 한정되지 않는다는 것을 이해해야 한다. 이하의 청구범위는 그러한 변경들과 균등 구성 및 기능을 모두 포함하도록 최광의로 해석되어야 한다.
도 1은 제1 실시예에 따른 방사선 촬영 장치의 구성의 일례를 나타내는 도면.
도 2는 제1 실시예에 따른 화상 처리 회로(112)의 처리 수순을 나타내는 흐름도.
도 3은 제2 실시예에 따른 방사선 촬영 장치의 구성의 일례를 나타내는 도면.
도 4는 제2 실시예에 따른 화상 처리 회로(112)의 처리 수순을 나타내는 흐름도.
도 5는 제3 실시예에 따른 방사선 촬영 장치의 구성의 일례를 나타내는 도면.
도 6은 제3 실시예에 따른 화상 처리 회로(112)의 처리 수순을 나타내는 흐름도.
도 7은 일반적인 리커시브(recursive) 필터링의 구성을 나타내는 도면.
도 8은 리커시브 필터링의 노이즈 감쇠율을 나타내는 도면.
<도면의 주요 부분에 대한 부호의 설명>
101: X선 발생 회로
112: 화상 처리 회로
113: 리커시브 필터링 회로
114: 공간 필터 설계 회로
115: 공간 필터링 회로

Claims (7)

  1. 화상 처리 장치로서,
    메모리로부터 판독된 이전 프레임의 화상 데이터를 a로 승산하고, 현 프레임의 화상 데이터를 (1-a)로 승산하고, 그 결과값들을 모두 가산하고, 그 가산한 결과값을 메모리에 저장하는 리커시브 필터링(recursive filtering)을 행하기 위한 리커시브 필터링 수단 - a 는 0 < a < 1의 범위에 있는 계수임 - ; 및
    리커시브 필터링 계수 및 상기 리커시브 필터링의 실행 횟수에 따라 변경된 공간 필터를 이용하여, 상기 리커시브 필터링된 화상 데이터에 대하여 공간 필터링을 행하기 위한 공간 필터링 수단
    을 포함하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 화상 데이터는 촬영된 영상의 화상 데이터이며,
    상기 리커시브 필터링 수단에 의해 처리되는 화상 데이터의 노이즈 감쇠율은, 현 프레임의 화상 데이터가 촬영 개시 시로부터 적어도 몇번째의 프레임인지를 나타내는 정보와, 현 프레임의 화상 데이터가 상기 리커시브 필터링의 개시 시로부터 몇번째의 프레임인지를 나타내는 정보 중 하나와, 상기 리커시브 필터링 계수에 대한 정보에 기초하여 산출되는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 공간 필터는, 상기 공간 필터링 수단에 의해 처리되는 화상 데이터의 노이즈 감쇠율과 상기 리커시브 필터링 수단에 의해 처리되는 화상 데이터의 노이즈 감쇠율의 곱이, 미리 결정된 노이즈 감쇠율이 되도록 변경되는 화상 처리 장치.
  4. 화상 처리 방법으로서,
    메모리로부터 판독된 이전 프레임의 화상 데이터를 a로 승산하고, 현 프레임의 화상 데이터를 (1-a)로 승산하고, 그 결과값들을 모두 가산하고, 그 가산한 결과값을 메모리에 저장하는 리커시브 필터링을 행하는 단계 - a 는 0 < a < 1의 범위에 있는 계수임 - ; 및
    리커시브 필터링 계수 및 상기 리커시브 필터링의 실행 횟수에 따라 변경된 공간 필터를 이용하여, 상기 리커시브 필터링된 화상 데이터에 대하여 공간 필터링을 행하는 단계
    를 포함하는 화상 처리 방법.
  5. 제4항에 있어서,
    상기 화상 데이터는 촬영된 영상의 화상 데이터이며,
    리커시브 필터링부에 의해 처리되는 화상 데이터의 노이즈 감쇠율은, 현 프레임의 화상 데이터가 촬영 개시 시로부터 적어도 몇번째의 프레임인지를 나타내는 정보와, 현 프레임의 화상 데이터가 상기 리커시브 필터링의 개시 시로부터 몇번째 의 프레임인지를 나타내는 정보 중 하나와, 상기 리커시브 필터링 계수에 대한 정보에 기초하여 산출되는 화상 처리 방법.
  6. 제5항에 있어서,
    상기 공간 필터는, 상기 공간 필터링 단계에서 처리되는 화상 데이터의 노이즈 감쇠율과 상기 리커시브 필터링 단계에서 처리되는 화상 데이터의 노이즈 감쇠율의 곱이, 미리 결정된 노이즈 감쇠율이 되도록 변경되는 화상 처리 방법.
  7. 제4항에 따른 화상 처리 방법을 컴퓨터로 하여금 실행하게 하는 프로그램을 기억하는 컴퓨터 판독가능한 기억 매체.
KR1020080020179A 2007-03-06 2008-03-04 화상 처리 장치 및 화상 처리 방법 KR100929319B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007056372A JP4854546B2 (ja) 2007-03-06 2007-03-06 画像処理装置及び画像処理方法
JPJP-P-2007-00056372 2007-03-06

Publications (2)

Publication Number Publication Date
KR20080081839A true KR20080081839A (ko) 2008-09-10
KR100929319B1 KR100929319B1 (ko) 2009-11-27

Family

ID=39839130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080020179A KR100929319B1 (ko) 2007-03-06 2008-03-04 화상 처리 장치 및 화상 처리 방법

Country Status (4)

Country Link
US (1) US8103117B2 (ko)
JP (1) JP4854546B2 (ko)
KR (1) KR100929319B1 (ko)
CN (1) CN101261734B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523791B2 (ja) 2008-10-27 2014-06-18 株式会社東芝 X線診断装置および画像処理装置
JP5393245B2 (ja) * 2009-05-12 2014-01-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、x線画像撮影装置およびx線画像撮影装置の制御方法
JP5543194B2 (ja) * 2009-12-24 2014-07-09 キヤノン株式会社 情報処理装置、処理方法及びプログラム
JP2012110466A (ja) 2010-11-24 2012-06-14 Canon Inc X線透視撮影装置、方法およびプログラム
CN102693529B (zh) * 2012-05-24 2015-01-28 杭州电子科技大学 基于延迟自反馈fhn随机共振机制的灰度图像增强方法
EP3061398B1 (en) 2013-10-21 2020-09-23 Canon Kabushiki Kaisha Radiographic imaging device and method for controlling same, radiographic image processing device and method, and program and computer-readable storage medium
JP5722984B2 (ja) * 2013-12-06 2015-05-27 ザイオソフト株式会社 医療用画像処理装置及び医療用画像処理プログラム
JP6253633B2 (ja) * 2015-12-25 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
JP6983801B2 (ja) * 2016-03-23 2021-12-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 2パス時間的ノイズ低減による画質の向上
JP6834821B2 (ja) * 2017-07-13 2021-02-24 日本電気株式会社 映像処理装置、映像処理方法及びプログラム
CN108335267A (zh) * 2017-12-29 2018-07-27 上海玮舟微电子科技有限公司 一种深度图像的处理方法、装置、设备和存储介质
MX2020006984A (es) * 2018-01-05 2020-10-05 Paramevia Pte Ltd Programa de soporte de diagnostico.
US11151726B2 (en) * 2018-01-10 2021-10-19 Canon Medical Systems Corporation Medical image processing apparatus, X-ray diagnostic apparatus, and medical image processing method
JP7091919B2 (ja) * 2018-08-02 2022-06-28 株式会社島津製作所 放射線撮影装置
JP7183746B2 (ja) * 2018-12-03 2022-12-06 コニカミノルタ株式会社 制御装置及びプログラム
JP7278092B2 (ja) * 2019-02-15 2023-05-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム
JP7437249B2 (ja) 2020-06-26 2024-02-22 日本放送協会 雑音除去装置及びそのプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4064530A (en) * 1976-11-10 1977-12-20 Cbs Inc. Noise reduction system for color television
JPS61177073A (ja) * 1985-02-01 1986-08-08 Nec Corp 画像信号処理装置
JP2508078B2 (ja) * 1987-04-30 1996-06-19 株式会社島津製作所 X線画像処理装置
DE69322444T2 (de) * 1992-07-10 1999-06-24 Koninklijke Philips Electronics N.V., Eindhoven Röntgendurchleuchtungsgerät mit Mitteln zur Rauschreduktion
US5574512A (en) * 1994-08-15 1996-11-12 Thomson Consumer Electronics, Inc. Motion adaptive video noise reduction system
JPH10257356A (ja) * 1997-03-14 1998-09-25 Sony Corp 雑音除去装置
JP4065463B2 (ja) 1998-03-06 2008-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
JP3526020B2 (ja) * 1999-12-02 2004-05-10 松下電器産業株式会社 ノイズ低減装置
JP3611773B2 (ja) * 2000-06-22 2005-01-19 松下電器産業株式会社 ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2002112992A (ja) 2000-06-30 2002-04-16 Canon Inc 信号処理装置及び方法、及び撮像装置
US6718069B2 (en) * 2001-02-22 2004-04-06 Varian Medical Systems, Inc. Method and system for reducing correlated noise in image data
EP1481541A1 (en) * 2002-02-28 2004-12-01 Koninklijke Philips Electronics N.V. Noise filtering in images
JP2005003444A (ja) 2003-06-10 2005-01-06 Canon Inc 放射線検出装置及び放射線撮像システム
JP4708712B2 (ja) 2004-02-04 2011-06-22 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP4484579B2 (ja) 2004-05-11 2010-06-16 キヤノン株式会社 画像処理装置及びその方法、プログラム
US7199838B2 (en) 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
JP2006229749A (ja) * 2005-02-18 2006-08-31 Sharp Corp 画像処理装置および画像処理方法
CN100367771C (zh) * 2005-04-08 2008-02-06 杭州国芯科技有限公司 一种自适应抑制图像噪声的方法

Also Published As

Publication number Publication date
CN101261734A (zh) 2008-09-10
KR100929319B1 (ko) 2009-11-27
US20080253679A1 (en) 2008-10-16
JP4854546B2 (ja) 2012-01-18
CN101261734B (zh) 2012-09-05
JP2008219654A (ja) 2008-09-18
US8103117B2 (en) 2012-01-24

Similar Documents

Publication Publication Date Title
KR100929319B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP5864958B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
US7558434B2 (en) Image processing apparatus, image processing method, storage medium, and program
US6823086B1 (en) Adaptive spatial filter
CN105469363B (zh) 基于模糊图像生成清晰图像的方法和装置
JP2007188493A (ja) 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
JP6041502B2 (ja) 画像処理装置および制御方法
WO2012029296A1 (ja) 画像処理装置及び画像処理方法
US5787209A (en) Method of filtering images using image compressibility to determine threshold parameter
US7630575B2 (en) Image processing apparatus, image processing method, program, and computer-readable medium
WO2020041882A1 (en) Neural network trained system for producing low dynamic range images from wide dynamic range images
KR20190067111A (ko) 움직임 흐림 제거 방법 및 장치
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6253633B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
JP6344934B2 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
US10068319B2 (en) Method for noise reduction in an image sequence
Aach et al. Spectral Estimation Filters for Noise Reduction
JP2003337942A (ja) 画像処理装置
US9031302B2 (en) Image processing apparatus configured to change a parameter determined based on user input so that an amplitude response of a processed image with respect to an original image is to be zero or more and related image processing method
JP4458325B2 (ja) 画像処理装置
Webster et al. Improved motion invariant imaging with time varying shutter functions
Aach et al. Spectral Estimation Filters for Noise Reduction
Varma et al. Removing Camera Shake using Discrete Cosine Transform

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080304

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090328

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20091112

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20091123

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20091123

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20121023

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20121023

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20131029

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20131029

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20141028

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20141028

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20151023

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20151023

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20161025

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20171025

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20171025

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20201110

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20211026

Start annual number: 13

End annual number: 13

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230904