KR101004064B1 - 영상정합 처리장치 및 영상정합방법 - Google Patents

영상정합 처리장치 및 영상정합방법 Download PDF

Info

Publication number
KR101004064B1
KR101004064B1 KR1020087029706A KR20087029706A KR101004064B1 KR 101004064 B1 KR101004064 B1 KR 101004064B1 KR 1020087029706 A KR1020087029706 A KR 1020087029706A KR 20087029706 A KR20087029706 A KR 20087029706A KR 101004064 B1 KR101004064 B1 KR 101004064B1
Authority
KR
South Korea
Prior art keywords
video signal
deteriorated
pixel value
signal
image signal
Prior art date
Application number
KR1020087029706A
Other languages
English (en)
Other versions
KR20090007790A (ko
Inventor
준 오카모토
케이시로 와타나베
다카아키 구리타
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20090007790A publication Critical patent/KR20090007790A/ko
Application granted granted Critical
Publication of KR101004064B1 publication Critical patent/KR101004064B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따르면, 특이점 제거 처리부(12)는 열화영상신호와 기준영상신호로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거한다. 픽셀 보정 처리부(13)는 상기 열화영상신호에 추가된 픽셀값 바이어스를 제거한다. 상기 특이점 제거 처리부(12)는 상기 영상신호를 공간주파수로 변환하고, 고주파 성분을 제거하며, 역변환에 의해 상기 영상신호를 복원하고, 또는 평균화 필터나 미디언 필터를 사용해 특이점을 제거한다. 상기 특이점 제거 처리부(12)는 상기 기준영상신호의 픽셀값과 상기 열화영상신호의 특이값 간의 관계를 구하고, 상기 열화영상신호의 픽셀값을 상기 기준영상신호와 정합하도록 상기 기준영상신호 또는 상기 열화영상신호의 픽셀값을 보정한다.
Figure R1020087029706
영상정합 처리장치, 열화영상신호, 픽셀값 보정, 주관적 품질 추정

Description

영상정합 처리장치 및 영상정합방법{Video Matching Apparatus and Video Matching Method}
본 발명은 평가대상으로서 열화(劣化) 영상신호를 상기 열화영상신호의 열화 전의 신호인 기준영상신호와 정합하는 영상정합 처리장치 및 영상정합방법에 관한 것으로, 상기 열화영상신호와 상기 기준영상신호의 물리적 특징량을 기초로 상기 열화영상신호의 주관적 품질을 추정한다.
종래, 영상품질평가는 기본적으로 사용자가 실제로 영상을 관찰할 때 사용자가 감지한 품질을 측정하는 이른바 주관적 품질평가이다. 그러나, 주관적 품질평가는 전용설비와 많은 시간 및 노동을 요한다. 따라서, 영상으로부터 물리적으로 측정된 양에서 주관적 품질을 추정하는 객관적 평가방법에 대한 요구가 일어났다.
종래 객관적 평가벙법에 따르면, 전문적 사용을 위한 안정적인 신호, 예컨대 대상 영상신호로서 방송국용 신호를 취급하는 것으로 충분하며, 다만 객관적 평가 알고리즘만이 예컨대 참조문헌 "Objective Perceptual Video Quality Measurement Techniques for Digital Cable Television in the Presence of a Full Reference, ITU-T Recommendation J.144, 2004"에 개시된 바와 같이 표준화를 위해 정해진다.
이런 이유로, 열화영상신호의 주관적 품질평가 추정전에 수행되는 정합처리 에 있어, 열화영상신호와 기준영상신호 간의 정합은 상기 열화영상신화의 포맷과 열화전 상기 기준영상신호의 포맷을 정합시키는 포맷변환처리, 및 상기 열화영상신호의 시간 및 위치와 상기 기준영상신호의 시간 및 위치를 정합시키는 위치/동기 정합처리를 수행함으로써 실현될 수 있다(예컨대, 미국특허 No. 5,446,492 명세서 참조).
영상을 실제 환경에서, 예컨대, 영상을 개인용 컴퓨터(PC)로 보는 환경에서 신호레벨(모니터 신호)을 이용하여 영상의 품질을 평가하는 경우, 플레이어에서의 처리, 모니터 출력보드의 특성/성능 등으로 인해 노이즈(noise) 또는 바이어스(bias)가 때때로 영상신호에 추가된다. 몇몇 노이즈 또는 바이어스는 사람의 눈에 감지될 수 없어 주관적 품질에 아무런 영향을 끼치지 않는다. 사람의 눈에 감지될 수 없는 이러한 노이즈 또는 바이어스가 품질 열화의 요인으로서 산출에 포함되는 경우, 영상의 품질열화를 과대평가하여 주관적 품질의 추정 정확도가 떨어지게 된다.
본 발명은 상기 문제를 해결하기 위한 것으로, 본 발명의 목적은 열화영상신호에 추가된 노이즈 또는 바이어스를 제거할 수 있는 영상정합 처리장치 및 영상정합방법을 제공하는 것이다.
본 발명의 영상정합 처리장치는 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이(shift) 및 위치 편이를 제거하는 위치/동기 정합 처리부와, 상기 열화영상신호로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거하는 특이점 제거 처리부를 구비하는 것을 특징으로 하는 영상정합 처리장치를 구비한다.
또한, 본 발명의 영상정합 처리장치는 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리부와, 상기 열화영상신호에 추가된 픽셀값 바이어스를 제거하는 픽셀값 보정 처리부를 구비한다.
본 발명의 영상정합방법은 열화영상신호와 상기 열화영상신호의 열화하기 전인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리단계와, 상기 열화영상신호로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거하는 특이점 제거 처리단계를 포함한다.
또한, 본 발명의 영상정합방법은 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리단계와, 상기 열화영상신호에 추가된 픽셀값 바이어스를 제거하는 픽셀값 보정단계를 포함한다.
상술한 바와 같이, 본 발명에 따르면, 심지어 플레이어에서의 후처리 또는 모니터 출력보드의 특성/성능으로 인해 열화영상신호에 노이즈가 추가되더라도, 상기 열화영상신호로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거하는 특이점 제거 처리를 수행함으로써 상기 노이즈가 제거될 수 있다. 그 결과, 본 발명은 영상신호를 실제로 보는 신호레벨(모니터 신호)에서 영상의 품질을 평가할 때 열화영상신호의 품질을 바르게 평가할 수 있다.
또한, 본 발명에 따르면, 심지어 플레이어에서의 포스트-필터(post-filter) 처리 또는 모니터 출력보드의 색보정 기능으로 인해 열화영상신호에 바이어스가 추가되더라도, 상기 열화영상신호에 추가된 픽셀값 바이어스를 제거하는 픽셀값 보정처리를 수행함으로써 상기 바이어스가 제거될 수 있다. 그 결과, 본 발명은 영상신호를 실제로 보는 신호레벨(모니터 신호)에서 영상의 품질을 평가할 때 열화영상신호의 품질을 바르게 평가할 수 있다.
게다가, 본 발명에 따르면, 열화영상신호 이외에 기준영상신호에 대한 특이점 제거처리를 수행함으로써 상기 열화영상신호에 상기 특이점 제거처리 적용시 새롭게 야기된 주관적 품질 추정의 정확도에 대한 특이점 제거처리의 악영향을 제거할 수 있다. 그 결과, 열화영상신호에서만 상기 특이점 제거 처리가 수행되는 경우에 비해 주관적 품질 추정의 정확도를 향상할 수 있다.
또한, 본 발명은 입력정보로서 특이점 제거량을 다음 단계의 주관적 품질 추정단계에 출력한다. 이 동작으로, 특이점 제거 처리에서 예기치 못한 처리가 수행될 때, 다음 단계의 주관적 품질 추정단계에서 주관적 품질 추정 정확도에 대한 예기치 못한 처리의 영향을 상정할 수 있다.
더욱이, 본 발명은 다음 단계의 주관적 품질 추정단계를 위해 입력정보로서 픽셀값의 보정을 위해 사용되는 보정정보를 출력한다. 이 동작으로, 예기치 못한 처리가 픽셀값 보정처리에서 수행되는 경우, 다음 단계의 주관적 품질평가 단계에서 주관적 품질 추정의 정확도에 대한 예기치 못한 처리의 영향을 상정할 수 있다.
도 1은 본 발명의 제 1 실시예에 따른 영상정합 처리장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 제 1 실시예에 따른 영상정합 처리장치의 동작을 도시한 흐름도이다.
도 3a 및 도 3b는 본 발명의 제 1 실시예에서 기준영상신호와 열화영상신호 사이의 픽셀 정합 개념을 도시한 위치/동기 정합 처리부의 동작을 설명하기 위한 도면이다.
도 4a는 본 발명의 제 1 실시예에서 열화영상신호의 프레임을 도시한 특이점 제거 처리부의 동작예를 설명하기 위한 그래프이다.
도 4b는 본 발명의 제 1 실시예에서의 열화영상신호의 공간 주파수를 도시한 특이점 제거 처리부의 동작예를 설명하기 위한 그래프이다.
도 4c는 본 발명의 제 1 실시예에서 고주파 성분을 제거한 후 공간 주파수로부터 변환 결과로서 열화영상신호의 프레임을 도시한 특이점 제거 처리부의 동작예를 설명하기 위한 그래프이다.
도 5a는 본 발명의 제 1 실시예에서 노이즈 제거필터의 예로서 3×3 근방의 평균화 필터를 도시한 특이점 제거 처리의 또 다른 동작예를 설명하기 위한 그래프이다.
도 5b는 본 발명의 제 1 실시예에서 노이즈 제거필터의 예로서 3×3 근방의 가중평균화 필터를 도시한 특이점 제거 처리의 또 다른 동작예를 설명하기 위한 그래프이다.
도 5c는 본 발명의 제 1 실시예에서 노이즈 제거필터의 예로서 크로스 평균화 필터(cross averaging filter)를 도시한 특이점 제거 처리의 또 다른 동작예를 설명하기 위한 그래프이다.
도 6a는 본 발명의 제 1 실시예에서 노이즈 제거필터의 예로서 3×3 근방의 미디언 필터(median filter)를 도시한 특이점 제거 처리의 또 다른 동작예를 설명하기 위한 그래프이다.
도 6b는 본 발명의 제 1 실시예에서 노이즈 제거 필터의 예로서 크로스 미디언 필터(cross median filter)를 도시한 특이점 제거 처리의 또 다른 동작예를 설명하기 위한 그래프이다.
도 6c는 본 발명의 제 1 실시예에서 노이즈 제거 필터의 예로서 롱 크로스 미디언 필터(long cross median filter)를 도시한 특이점 제거 처리의 또 다른 동작예를 설명하기 위한 그래프이다.
도 7a는 본 발명의 제 1 실시예에서 열화영상신호에 대한 디코딩시 처리영향을 도시한 픽셀값 보정 처리부의 동작을 설명한 그래프이다.
도 7b는 본 발명의 제 1 실시예에서 열화영상신호에 대한 디코딩 후의 처리영향을 도시한 픽셀값 보정 처리부의 동작을 설명한 그래프이다.
도 8은 본 발명의 제 2 실시예에 따른 영상정합 처리장치의 구성을 도시한 블록도이다.
[제 1 실시예]
본 발명의 실시예는 하기의 첨부도면을 참조로 설명된다. 도 1은 본 발명의 제 1 실시예에 따른 영상정합 처리장치의 구성을 도시한 블록도이다.
영상정합 처리장치는 정합 처리부(1)와 주관적 품질 추정부(2)를 포함한다. 정합 처리부(1)는 코딩이나 네트워크에서의 손실로 인해 열화된 입력 열화영상신호(D0)와 열화하기 전의 열화영상신호(D0)인 입력 기준영상신호(R0) 모두에 신호처리를 가함로써 정합 기준영상신호(R4)와 정합 열화영상신호(D4)를 출력한다. 주관적 품질 추정부(2)는 상기 정합 기준영상신호(R4)와 상기 정합 열화영상신호(D4)의 특징량을 측정함으로써 상기 정합 열화영상신호(D4)의 주관적 품질을 추정한다. 도 1의 장치는 영상정합 처리장치 및 객관적 영상품질 평가장치 모두를 구성하고 있음을 주목하라.
정합 처리부(1)는 포맷변환 처리부(10), 위치/동기 정합 처리부(11), 특이점 제거 처리부(12), 및 픽셀값 보정 처리부(13)를 포함한다. 도 2는 영상정합 처리장치의 동작을 도시한 흐름도이다.
포맷변환 처리부(10)는 기준영상신호(R0)의 포맷을 열화영상신호(D0)의 포맷과 정합하는 포맷변환처리를 수행한다(도 2의 단계(S10)).
위치/동기 정합 처리부(11)는 포맷변환 처리부(10)에 의해 신호처리된 기준영상신호(R1)와 열화영상신호(D1) 간의 시간축의 편이 및 위치 편이를 제거하는 위치/동기 정합처리를 수행한다(도 2의 단계(S11)).
특이점 제거 처리부(12)는 위치/동기 정합 처리부(11)에 의해 신호처리된 열화영상신호(D2)로부터 특이점(노이즈)을 제거하는 특이점 제거 처리를 수행한다(도 2의 단계(S12)). 특이점 제거 처리부(12)는 또한 하기의 이유로 인해 기준영상신호(R2)에 대한 특이점 제거 처리를 수행하는 것을 주목하라
픽셀값 보정 처리부(13)는 특이점 제거 처리부(12)에 의해 신호처리된 기준영상신호(R3)에 추가되는 바이어스(픽셀값 바이어스)를 제거하는 픽셀값 보정 처리를 수행한다(도 2의 단계(S13)).
각 처리에서 정합 처리부(1)의 동작이 하기에 상세히 기술된다. 포맷변환장치(10)는 기준영상신호(R0)의 신호 포맷, 크기, 및 종횡비가 열화영상신호(D0)와 다를 경우 상기 열화영상신호(D0)의 포맷을 상기 기준영상신호(R0)의 포맷과 정합하도록 열화영상신호(D0)를 변환시킨다. 예컨대, 기준영상신호(R0)가 비압축형 YUV 포맷이고 열화영상신호(D0)가 비압축형 RGB 포맷인 경우, 국제전기통신연합 전기통신표준화 부문(International Telecommunications Union Radiocommunication Sector, ITU-R) 추천 BT-601 "Studio Encoding Parameters of Digital Television For Standard 4:3 and Wide-Screen 16:9 Aspect Ratios"에 의해 정의된 변환 공식을 이용하여 상기 열화영상신호(D0)를 변환하는 것으로 충분하다. 열화영상신호(D0)가 압축된 포맷인 경우, 상기 포맷을 미리 비압축형 포맷으로 변환할 필요가 있음에 유의하라.
기준영상신호(R0)의 크기 또는 종횡비가 열화영상신호(D0)와 다른 경우, 포맷변환장치(10)는 상기 열화영상신호의 크기 또는 종횡비를 상기 기준영상신호(R0)의 크기 또는 종횡비와 정합하도록 상기 열화영상신호(D0)를 변환시킨다. 기준영상신호(R0)와 열화영상신호(D0)의 크기 또는 종횡비가 정수배 관계인 경우, 간단한 정수배로 계산이 수행될 수 있다. 그러나, 정수배 관계가 아니면, 열화영상신호(D0)의 크기를 임의의 크기로 변환시키는 것이 필요하다. 이 경우, 참조문헌 "Easy-to-Understand Digital Image Processing - from Filter Processing to DCT & Wavelt, CQ 출판사, 1996년"의 7장에 기재된 이미지 해상도 변환에서 처럼 크기를 임의의 크기로 변환하는 것으로 충분하다. 상기 기준영상신호(R0)와 상기 열화영상신호(D0) 간의 포맷 차이로 인해 상기 기준영상신호(R0)의 휘도(luminance) 발생범위 또는 색 발생범위가 상기 열화영상신호(D0)와 다른 경우, 필요에 따라 이들이 발생범위를 서로 정합시키도록 정합처리가 또한 수행된다.
포맷변환 처리부(10)에 의해 포맷변화된 기준영상신호(R1)의 프레임의 픽셀위치를 열화영상신호(D0)의 프레임의 픽셀위치와 정합시키기 위해, 위치/동기 정합처리부(1)는 도 3a에 도시된 기준영상신호(R1)의 대상 프레임(RF)과 열화영상신호(D1)의 대상 프레임(DF) 간의 차이값을 구한다. 이 때, 도 3b에 도시된 바와 같이, 위치/동기 정합 처리부(1)는 대상 프레임(RF)의 좌표 R(1,1)가 상기 대상영역의 좌상단에 위치된 상기 기준영상신호(R1)의 대상 프레임(RF)의 대상영역에 대응하는 상기 열화영상신호(D1)의 대상 프레임(DF)의 대상영역을 편이하면서 프레임(RF 및 DF)의 대상영역의 각 픽셀들 사이의 차이값의 총 합을 구한다. 도 3b를 참조하면, 상기 프레임(RF 및 DF)의 각각의 정사각형은 픽셀을 나타낸다.
위치/동기 정합 처리부(11)는 좌표 D(1,1), D(1,2), D(1,3), D(2,1), D(2,2), D(2,3), D(3,1), D(3,2), 및 D(3,3) 각각이 각 대상영역의 좌상단에 위치되도록 상기 열화영상신호(D1)의 대상영역을 편이시켜, 상기 각각의 대상영역의 각 픽셀과 상기 기준영상신호(R1)의 대상영역 사이의 차이값의 총 합을 구한다. 도 3b를 참조하면, 기준 심볼(A1)은 대상영역을 좌상단에 있는 좌표 D(1,1)로, A2는 대상영역을 좌상단에 있는 좌표 D(2,1)로, A3는 대상영역을 좌상단에 있는 좌표 D(3,1)로 표시한다.
상기 기준영상신호(R1)의 해당 대상 프레임(RF)의 각 픽셀과 상기 열화영상신호(D1)의 대상 프레임(DF) 간의 차이값의 총 합을 구하는 것과 동시에, 위치/동기 정합 처리부(11)는 상기 대상 프레임(RF)에 인접한 새 대상 프레임(RF)의 각각의 픽셀값과 상기 열화영상신호(D1)의 대상 프레임(DF) 간의 차이값의 총 합을 구한다(각 픽셀들 간의 차이값의 총 합을 이하 차이값으로 줄여 표현한다). 위치/동기 정합 처리부(11)는 프레임(RF) 마다 그리고 대상 프레임(DF)의 각 대상영역 마다 상기 열화영상신호(D1)의 한 대상 프레임(DF)과 기준영상신호(R1)의 복수의 대상 프레임(RF)들 간의 차이값을 구하고, 정합된 상태로 기준영상신호(R2)와 열화영상신호(D2)를 특이점 제거 처리부(12)에 출력하며, 차이값이 최소화되는 상태는 기준영상신호(R1)가 열화영상신호(D1)가 최고로 정합되는 상태(시간과 위치가 정합되는 상태)이다.
특이점 제거 처리부(12)는 위치/동기 정합 처리부(11)에 의한 위치/동기 정합 처리된 기준영상신호(R2)와 열화영상신호(D2)를 수신하고, 열화영상신호(D2)로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거한다. 이 특이점은 플레이어에서의 후처리 또는 모니터 출력보드의 특성/성능으로 인해 추가되는 압축/압축해제에 무관한 노이즈이다.
도 4a 내지 도 4c는 특이점 제거 처리부(12)의 동작예를 설명하기 위한 그래프로서, 열화영상신호(D2)의 고주파 성분의 제거 처리예가 도시되어 있다. 도 4a 및 도 4c 각각을 참조하면, 가로축은 X축이고 세로축은 Y축이다. 도 4b를 참조하면, 가로축은 수평 주파수(F1)이고 세로축은 수직 주파수(F2)를 나타낸다. 수평 주파수(F1)는 좌측방향으로 점점 감소하고 우측방향으로 점점 증가한다. 수직 주파수(F2)는 아랫방향으로 점점 감소하고 윗방향으로 점점 증가한다.
특이점 제거 처리부(12)는 예컨대 도 4a에 도시된 열화영상신호의 프레임을 도 4b에 도시된 공간 주파수로 2차원 퓨리에 변환 등에 의해 전체 또는 부분적으로 변환시키고, 고주파 성분(HF)을 제거한다. 그런 후 특이점 제거 처리부(12)는 역 2차원 퓨리에 변환을 수행하여 도 4c에 도시된 바와 같은 열화영상신호를 복원함으로써 상기 열화영상신호로부터 특이점(U)을 제거한다.
대안으로, 열화영상신호의 프레임내에 있는 대상픽셀의 값을 X(m,n)이라 하면, 특이점 제거 처리부(12)는 하기 식에 따라 특이점을 제거한 후 동일한 대상픽셀에 대한 값 Y(m,n)을 구하고 특이점을 제거한다:
Figure 112008083718313-pct00001
여기서, W(i,j)는 필터함수를 나타낸다.
수학식(1)의 계산을 실행한 값으로 K=l=1이라 가정하면, 도 5a에 도시된 3×3 근방 평균화 필터, 도 5b에 도시된 3×3 근방 가중평균화 필터, 도 5c에 도시된 크로스 평균화 필터 등이 고려될 수 있다.
3×3 근방 평균화 필터는 대상픽셀로서 도 5a에서 수평방향으로 3개 픽셀 × 수직방향으로 3개 픽셀의 가운데 픽셀에 적용되어, 도 5a에 도시된 바와 같이 각 픽셀의 필터함수 W(i,j)를 설정함으로써 대상픽셀의 값 Y(m,n)을 구한다. 마찬가지로, 3×3 근방 가중평균화 필터는 도 5b에 도시된 바와 같이 필터함수 W(i,j)를 설정함으로써 대상픽셀의 값 Y(m,n)을 구하도록 되어 있다. 크로스 평균화 필터는 대상픽셀로서 5개의 픽셀을 포함한 크로스의 가운데 픽셀에 적용되어, 도 5c에 도시된 바와 같이 각 픽셀의 필터함수 W(i,j)를 설정함으로써 대상픽셀의 값 Y(m,n)을 구한다.
또한, 수학식(1)의 계산을 실행하기 위한 필터로서, 도 6a에 도시된 3×3 근방 미디언 필터(median filter), 도 6b에 도시된 크로스 미디언 필터(cross median filter), 또는 도 6c에 도시된 롱 크로스 미디언 필터(long cross median filter)가 사용될 수 있다. 3×3 근방 미디언 필터는 대상픽셀로서 도 6a에서 수평방향으로 3개 픽셀 × 수직방향으로 3개 픽셀의 가운데 픽셀에 적용되어, 상기 대상픽셀의 값 Y(m,n)으로서 9개 픽셀의 중앙값을 구한다. 크로스 미디언 필터는 대상픽셀로서 도 6b에서 5개 픽셀을 포함하는 크로스의 가운데 픽셀에 적용되어 상기 대상픽셀의 값 Y(m,n)으로서 5개 픽셀의 중앙값을 구한다. 롱 크로스 미디언 필터는 대상픽셀로서 도 6c에서 9개 픽셀을 포함하는 크로스의 가운데 픽셀에 적용되어 상기 대상픽셀의 값 Y(m,n)으로서 9개 픽셀의 중앙값을 구한다.
특이점 제거 처리부(12)에 의해 신호처리된 열화영상신호(D3)는 상기 특이점 제거 처리부(12)에 입력되기 전의 열화영상신호(D2)에 또 다른 열화가 추가되는 형태인 것에 주목하라. 따라서, 주관적 품질이 특이점 제거 처리부(12)에 의해 신호처리된 열화영상신호(D3) 및 신호처리되지 않은 기준영상신호(R2)를 이용해 추정되는 경우, 추정 정확도가 떨어진다. 이런 이유로, 특이점 제거 처리부(12)는 위치/동기 정합 처리부(11)로부터 입력된 기준영상신호(R2)에 대해 열화영상신호(D2)용 신호처리와 동일한 신호처리를 수행하여 특이점을 제거한다. 이는 주관적 품질 추정부(2)가 연이은 단계에서 주관적 품질을 추정할 때 적절한 평가치를 도출하게 할 수 있다.
특이점 제거 처리부(12)가 사용하는 필터로서, 다앙한 타입의 저역통과(low-pass) 필터들이 고려될 수 있다. 본 발명자가 행한 조사에 따르면 특이점 제거 처리를 위해 도 6b의 크로스 미디언 필터를 사용하는 것이 타당한 것으로 밝혀졌다. 이는 매우 많지 않는 계산량과 많은 방식 및 장치의 조합을 고려하여 최적 추정 정확도를 구할 수 있기 때문이었다.
열화영상신호에 추가된 바이어스를 제거하기 위해, 픽셀값 보정 처리부(13)는 특이점 제거 처리부(12)에 의해 특이점 제거 처리된 기준영상신호(R3)의 픽셀과 열화영상신호(D3)의 해당 픽셀 간의 관계를 구하고, 상기 열화영상신호(D3)의 픽셀값을 보정하여 전체적으로 상기 열화영상신호(D3)의 픽셀값을 상기 기준영상신호(R3)의 픽셀값과 정합시킨다. 예컨대, 플레이어에서의 디코딩 처리, 디코딩 후의 포스트-필터 처리, 또는 모니터 출력보드의 색보정 기능으로 인해 바이어스가 열화영상신호(D3)에 추가된다.
픽셀값 보정 처리부(13)는 도 7a 및 도 7b에 도시된 바와 같이 기준영상신호(R3)의 픽셀값과 열화영상신호(D3)의 해당 픽셀값 사이의 관계를 구한다. 도 7a는 열화영상신호에 대한 디코딩시의 처리 영향을 도시한 것으로, 플레이어에서 포스트-필터 처리를 통과한 후 기준영상신호의 픽셀값과 열화영상신호의 픽셀값 사이의 관계를 좌표료 표시함으로써 얻은 그래프이며, 가로축은 열화영상신호의 휘도값(DL)를 나타내고, 세로축은 기준영상신호의 휘도값(RL)이다. 도 7a에 도시된 경우에서, 기준영상신호의 픽셀값과 열화영상신호의 해당하는 픽셀값 사이의 관계는 2차 회귀식(regression equation)으로 나타나 있다.
도 7b는 열화영상신호의 디코딩 후 처리 영향을 도시한 것으로, 모니터 출력보드의 색보정 기능을 한 후 기준영상신호의 픽셀값과 열화영상신호의 픽셀값 사이의 관계를 좌표료 표시함으로써 얻은 그래프이다. 도 7b에 도시된 경우에서, 기준영상신호의 픽셀값과 열화영상신호의 해당하는 픽셀값 사이의 관계는 1차 회귀식으로 나타나 있다.
픽셀값 보정 처리부(13)는 기준영상신호(R3)의 픽셀값과 열화영상신호(D3)의 해당하는 픽셀값 사이의 관계로부터 회귀식을 도출하고, 상기 회귀식을 이용해 상기 열화영상신호(D3)의 픽셀값을 보정한다. 픽셀값 보정 처리부(13)는 정합 기준영상신호(R4)로서 특이점 제거 처리부(12)로부터 입력된 기준영상신호(R3)를 주관적 품질 추정부(2)로 출력하고, 또한 정합 열화영상신호(D4)로서 픽셀값이 보정되는 열화영상신호(D3)를 주관적 품질 추정부(2)로 출력한다. 픽셀값 보정 처리부(13)에 의해 도출된 회귀식으로서, 선형식, 이차식, 다항식, 지수함수, 로그함수, 또는 이 들의 조합이 고려될 수 있다. 본 발명자가 한 조사에 따르면, 많은 경우, 상기 연산은 이차식을 이용해 근사함으로써 구현되었다. 따라서, 이 경우, 회귀는 이차식을 이용해 수행된다. 이 실시예에서, 열화영상신호(D3)는 기준영상신호(R3)와 정합된다. 그러나, 기준영상신호(R3)를 열화영상신호(D3)와 정합시킴으로써 기준영상신호(R3)의 픽셀값을 보정하는 것으로도 충분하다.
주관적 품질 추정부(2)는 정합 기준영상신호(R4)와 정합 열화영상신호(D4)의 특징량을 측정함으로써 열화영상신호의 주관적 품질을 추정한다(도 2의 단계 (S14)). 주관적 품질 추정부(2)의 예는 예컨대 참조문헌 "Okamoto, Hayashi, Takahashi,and Kurita, Proposal for an objective video quality assessment method that takes spatio-temporal feature amounts into consideration, THE TRANSACTIONS OF THE IEICE, Vol. J88-B, No. 4, pp. 8130823, 2005"에 개시되어 있다.
상술한 바와 같이, 이 실시예에 따르면, 특이점 제거 처리부(12)를 제공함으로써 플레이어에서의 후처리 또는 모니터 출력보드의 특성/성능으로 인한 열화영상신호에 추가된 잡음을 제거할 수 있다. 또한, 이 실시예에 따르면, 픽셀값 보정 처리부(13)를 제공함으로써 플레이어에서의 포스트-필터 처리 또는 모니터 출력보드의 특성/성능으로 인한 열화영상신호에 추가된 잡음을 제거할 수 있다. 그 결과, 본 실시예는 열화영상신호의 품질을 바르게 평가할 수 있다.
[제 2 실시예]
본 발명의 제 2 실시예가 하기에 기술된다. 도 8은 본 발명의 제 2 실시예에 따른 영상정합 처리장치의 구성을 도시한 블록도이다. 도 1과 동일한 참조부호는 도 8의 동일한 구성요소를 나타낸다.
제 2 실시예의 정합 처리부(1a)의 특이점 제거 처리부(12a)는 제 1 실시예의 특이점 제거 처리부(12)와 동일한 방식으로 작동하고, 입력정보로서 특이점 제거 처리시 특이점 제거량(S)(예컨대, 열화영상신호로부터 특이점의 제거 전후 픽셀값 변화량의 합, 기준영상신호로부터 특이점의 제거 전후 픽셀값 변화량의 합)을 주관적 품질 추정부(2)에 출력한다.
픽셀값 보정 처리부(13a)는 제 1 실시예의 픽셀값 보정 처리부(13)와 동일한 방식으로 동작하고, 입력정보로서 픽셀값 보정처리시 보정정보(C)(예컨대, 회귀식또는 회귀식의 계수)를 주관적 품질 추정부(2)에 출력한다.
이 동작으로, 주관적 품질 추정부(2)가 주관적 품질 추정처리를 수행할 때, 정합처리의 정도를 주관적 품질 추정부(2)에 알려 정합 처리부(1a)가 행한 정합처리에 의해 열화영상신호가 얼마나 많이 변경되었는지를 상기 주관적 품질 추정부(2)가 고려하게 할 수 있다. 제 1 실시예는 사람의 눈에 의해 감지될 수 있는 특이점의 제거 또는 픽셀값의 보정을 상정하지 않는다. 그러나, 특이점 제거 처리부(12) 또는 픽셀값 보정 처리부(13)가 예상치 못한 처리를 수행하는 경우, 상기 동작은 주관적 품질 처리부(2)에 의해 주관적 품질 추정처리에 영향을 끼칠 수 있다. 이런 이유로, 이 실시예는 주관적 품질 처리부(2)에 정합처리의 정도를 알림으로써 상기 주관적 품질 처리부(2)가 예상치 못한 처리를 고려하게 한다.
제 1 및 제 2 실시예의 영상정합 처리장치는 CPU, 기억장치, 및 외부장치용 인터페이스를 포함한 컴퓨터와 이들 하드웨어 자원을 제어하는 프로그램에 의해 구현될 수 있다.
플렉시블 디스크(flexible disk), CD-ROM, DVD-ROM, 또는 메모리 카드와 같은 기록매체에 기록되는 한편 본 발명의 영상정합방법을 이러한 컴퓨터가 실행하게 하는 프로그램이 제공된다. CPU는 기록매체로부터 읽어들인 프로그램을 기억장치에 기입하고 프로그램에 따라 제 1 및 제 2 실시예에 기술된 처리를 실행한다.
본 발명은 영상신호의 물리적 특징량의 주관적 품질을 추정하는 영상품질의 객관적 평가기술에 적용될 수 있다.

Claims (14)

  1. 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리부와,
    상기 열화영상신호 및 상기 기준영상신호로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거하는 특이점 제거 처리부를 구비하는 것을 특징으로 하는 영상정합 처리장치.
  2. 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리부와,
    상기 열화영상신호에 추가된 픽셀값 바이어스를 제거하는 픽셀값 보정 처리부를 구비하고,
    상기 픽셀값 보정 처리부는 상기 기준영상신호의 픽셀값과 상기 열화영상신호의 해당하는 픽셀값 사이의 관계로부터 이차식의 회귀식을 도출하고 이 회귀식을 이용하여 상기 열화영상신호의 픽셀값을 상기 기준영상신호의 픽셀값과 전체적으로 정합시키도록 상기 열화영상신호의 픽셀값을 보정하는 것을 특징으로 하는 영상정합 처리장치.
  3. 제 1 항에 있어서,
    상기 위치/동기 정합 처리부와 상기 특이점 제거 처리부에 의해 신호처리된 상기 열화영상신호와 상기 기준영상신호의 특징량을 측정함으로써 상기 열화영상신호의 주관적 품질을 추정하는 주관적 품질 추정부를 더 구비하는 것을 특징으로 하는 영상정합 처리장치.
  4. 제 2 항에 있어서,
    상기 위치/동기 정합 처리부와 상기 픽셀값 보정 처리부에 의해 신호처리된 상기 열화영상신호와 상기 기준영상신호의 특징량을 측정함으로써 상기 열화영상신호의 주관적 품질을 추정하는 주관적 품질 추정부를 더 구비하는 것을 특징으로 하는 영상정합 처리장치.
  5. 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리단계와,
    상기 열화영상신호 및 상기 기준영상신호로부터 눈에 보이지 않는 고주파 성분의 노이즈인 특이점을 제거하는 특이점 제거 처리단계를 포함하는 것을 특징으로 하는 영상정합방법.
  6. 삭제
  7. 열화영상신호와 상기 열화영상신호의 열화하기 전의 신호인 기준영상신호 간에 시간축상의 편이 및 위치 편이를 제거하는 위치/동기 정합 처리단계와,
    상기 열화영상신호에 추가된 픽셀값 바이어스를 제거하는 픽셀값 보정단계를 포함하고,
    상기 픽셀값 보정단계는 상기 기준영상신호의 픽셀값과 상기 열화영상신호의 해당하는 픽셀값 사이의 관계로부터 이차식의 회귀식을 도출하고 이 회귀식을 이용하여 상기 열화영상신호의 픽셀값을 상기 기준영상신호의 픽셀값과 전체적으로 정합시키도록 상기 열화영상신호의 픽셀값을 보정하는 것을 특징으로 하는 영상정합방법.
  8. 제 5 항에 있어서,
    상기 열화영상신호에 추가된 픽셀값 바이어스를 제거하는 픽셀값 보정단계를 더 포함하고,
    상기 픽셀값 보정단계는 상기 기준영상신호의 픽셀값과 상기 열화영상신호의 해당하는 픽셀값 사이의 관계로부터 이차식의 회귀식을 도출하고 이 회귀식을 이용하여 상기 열화영상신호의 픽셀값을 상기 기준영상신호의 픽셀값과 전체적으로 정합시키도록 상기 열화영상신호의 픽셀값을 보정하는 것을 특징으로 하는 영상정합방법.
  9. 제 5 항에 있어서,
    상기 특이점 제거 처리단계는 영상신호를 공간 주파수로 변환하고, 상기 고주파 성분을 제거하며, 역변환에 의해 상기 영상신호를 복원함으로써 상기 특이점을 제거하는 단계와, 평균화 필터(averaging filter) 또는 미디어 필터(median filter)를 사용해 상기 특이점을 제거하는 단계 중 하나를 포함하는 것을 특징으로 하는 영상정합방법.
  10. 삭제
  11. 제 5 항에 있어서,
    상기 위치/동기 정합단계와 상기 특이점 제거단계에서 신호처리된 상기 열화영상신호와 상기 기준영상신호의 특징량을 측정함으로써 상기 열화영상신호의 주관 적 품질을 추정하는 주관적 품질 추정단계를 더 포함하는 것을 특징으로 하는 영상정합방법.
  12. 제 11 항에 있어서,
    상기 특이점 제거단계는 입력정보로서 특이점 제거량을 다음 단계의 상기 주관적 품질 추정단계에 출력하는 단계를 포함하는 것을 특징으로 하는 영상정합방법.
  13. 제 7 항에 있어서,
    상기 위치/동기 정합단계와 상기 픽셀값 보정단계에서 신호처리된 상기 열화영상신호와 상기 기준영상신호의 특징량을 측정함으로써 상기 열화영상신호의 주관적 품질을 추정하는 주관적 품질 추정단계를 더 포함하는 것을 특징으로 하는 영상정합방법.
  14. 제 13 항에 있어서,
    상기 픽셀값 보정단계는 입력정보로서 특이점 픽셀값의 보정에 사용되는 보정정보를 다음 단계의 상기 주관적 품질 추정단계에 출력하는 단계를 포함하는 것을 특징으로 하는 영상정합방법.
KR1020087029706A 2006-06-21 2007-04-26 영상정합 처리장치 및 영상정합방법 KR101004064B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-171231 2006-06-21
JP2006171231A JP4763525B2 (ja) 2006-06-21 2006-06-21 映像整合方法

Publications (2)

Publication Number Publication Date
KR20090007790A KR20090007790A (ko) 2009-01-20
KR101004064B1 true KR101004064B1 (ko) 2010-12-27

Family

ID=38833222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087029706A KR101004064B1 (ko) 2006-06-21 2007-04-26 영상정합 처리장치 및 영상정합방법

Country Status (7)

Country Link
US (1) US8195010B2 (ko)
EP (2) EP2031882B1 (ko)
JP (1) JP4763525B2 (ko)
KR (1) KR101004064B1 (ko)
CN (1) CN101461252B (ko)
CA (1) CA2654501C (ko)
WO (1) WO2007148479A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140000833A (ko) * 2012-06-25 2014-01-06 엘지이노텍 주식회사 스테레오 매칭 장치 및 그 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2114079B2 (en) * 2008-05-02 2018-01-24 Psytechnics Ltd Method and apparatus for aligning signals
US8515182B2 (en) * 2009-02-11 2013-08-20 Ecole De Technologie Superieure Method and system for determining a quality measure for an image using multi-level decomposition of images
US8185334B2 (en) * 2009-03-05 2012-05-22 Tektronix, Inc. Methods and systems for filtering a digital signal
JP5283667B2 (ja) * 2010-07-07 2013-09-04 パナソニック株式会社 画像処理装置、画像処理方法およびプログラム
US8559753B2 (en) * 2011-09-23 2013-10-15 The Boeing Company Reflection removal system
CN104410904A (zh) * 2014-12-25 2015-03-11 安科智慧城市技术(中国)有限公司 视频播放方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05176179A (ja) * 1991-12-20 1993-07-13 Toppan Printing Co Ltd 圧縮・伸張処理された画像データの評価方法及びその装置
JP3277384B2 (ja) * 1992-03-11 2002-04-22 ソニー株式会社 画像測定方法
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5684538A (en) * 1994-08-18 1997-11-04 Hitachi, Ltd. System and method for performing video coding/decoding using motion compensation
JP3458600B2 (ja) * 1996-05-10 2003-10-20 Kddi株式会社 ディジタル画像品質評価装置
EP0809409B1 (en) 1996-05-24 2001-08-29 Matsushita Electric Industrial Co., Ltd. Method and circuit to determine a noise value that corresponds to the noise in a signal
KR100229796B1 (ko) 1996-08-30 1999-11-15 전주범 열화영상에 대한 보상기능을 갖는 영상 복호화 시스템
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
JPH11109905A (ja) * 1997-09-30 1999-04-23 Nippon Sorutec Kk モニター自動調整装置及び調整方法
JPH11208645A (ja) 1998-01-29 1999-08-03 Dainippon Printing Co Ltd カード付カートン
JPH11308645A (ja) * 1998-04-21 1999-11-05 Sony Corp 画像評価装置
JP3501954B2 (ja) * 1998-07-21 2004-03-02 日本放送協会 画質評価装置
JP3991845B2 (ja) * 2002-11-12 2007-10-17 松下電器産業株式会社 映像プログレッシブ変換再生装置
US7532804B2 (en) * 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
CN100591145C (zh) 2003-08-22 2010-02-17 日本电信电话株式会社 影像质量评价装置和影像质量评价方法
KR100798834B1 (ko) 2003-08-22 2008-01-28 니뽄 덴신 덴와 가부시키가이샤 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체
JP2005286689A (ja) * 2004-03-30 2005-10-13 Sanyo Electric Co Ltd ノイズ低減方法及び画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140000833A (ko) * 2012-06-25 2014-01-06 엘지이노텍 주식회사 스테레오 매칭 장치 및 그 방법
KR101896941B1 (ko) * 2012-06-25 2018-09-12 엘지이노텍 주식회사 스테레오 매칭 장치 및 그 방법

Also Published As

Publication number Publication date
JP2008005107A (ja) 2008-01-10
CN101461252B (zh) 2011-04-13
EP2390836A2 (en) 2011-11-30
CA2654501C (en) 2013-04-09
CA2654501A1 (en) 2007-12-27
EP2390836A3 (en) 2013-10-30
JP4763525B2 (ja) 2011-08-31
US8195010B2 (en) 2012-06-05
CN101461252A (zh) 2009-06-17
WO2007148479A1 (ja) 2007-12-27
KR20090007790A (ko) 2009-01-20
EP2031882A1 (en) 2009-03-04
EP2031882A4 (en) 2009-05-27
EP2390836B1 (en) 2018-06-13
EP2031882B1 (en) 2013-04-03
US20090303386A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
KR101004064B1 (ko) 영상정합 처리장치 및 영상정합방법
JP5839631B2 (ja) ブロックノイズの検出方法
US7369181B2 (en) Method of removing noise from digital moving picture data
US8004586B2 (en) Method and apparatus for reducing noise of image sensor
KR20030029909A (ko) 디지털 비디오 품질 측정 방법
US20130077862A1 (en) Image processing apparatus, image processing method and program
JP2004056828A (ja) ビデオ・シーケンスのブレ評価方法
US6611295B1 (en) MPEG block detector
JP2012231389A (ja) 画像処理装置、画像処理方法、及びプログラム
EP2056607B1 (en) Image processing apparatus and image processing program
JP4717371B2 (ja) 画像処理装置および画像処理プログラム
US20180182072A1 (en) Hybride denoising of images and videos based on interest metrics
JP4945942B2 (ja) 画像処理装置
KR101600312B1 (ko) 영상처리장치 및 영상처리방법
JP4797478B2 (ja) 画像処理装置
JP2010206790A (ja) 信号フィルタ処理方法及び装置並びにイメージ整列方法
Burns et al. Measurement of texture loss for JPEG 2000 compression
KR100674110B1 (ko) 블럭키와 블러리니스를 이용하여 비디오 품질을 측정하는방법 및 장치
KR100574595B1 (ko) 두개의 신호 시퀀스들 사이의 가시성 차이들을 평가하기 위한 방법 및 장치
JP3917316B2 (ja) 画像圧縮装置および画像伸張装置
Jenkin et al. Comparison of the First Order Wiener Kernel Transform of JPEG Compression with ISO 12233 SFR Measurements
JP2004007165A (ja) 画像処理方法、画像処理プログラム、画像処理装置
JPH06334786A (ja) 画像誤差評価方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131028

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141110

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161209

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171208

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191212

Year of fee payment: 10