WO2016060439A1 - 영상 처리 방법 및 장치 - Google Patents

영상 처리 방법 및 장치 Download PDF

Info

Publication number
WO2016060439A1
WO2016060439A1 PCT/KR2015/010772 KR2015010772W WO2016060439A1 WO 2016060439 A1 WO2016060439 A1 WO 2016060439A1 KR 2015010772 W KR2015010772 W KR 2015010772W WO 2016060439 A1 WO2016060439 A1 WO 2016060439A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
similarity
hierarchical
value
reference image
Prior art date
Application number
PCT/KR2015/010772
Other languages
English (en)
French (fr)
Inventor
이정훈
문영수
태용민
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP15851201.2A priority Critical patent/EP3200442B1/en
Priority to CN201580067086.2A priority patent/CN107005623B/zh
Priority to US15/519,786 priority patent/US10269099B2/en
Publication of WO2016060439A1 publication Critical patent/WO2016060439A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Definitions

  • the image processing apparatus acquires motion information including a motion vector between a pixel of the reference image and a pixel of the reference image calculated according to a comparison result between the hierarchical images of the reference image and the hierarchical images of the reference image.
  • the apparatus may further include a motion information acquirer.
  • FIG. 4 is a diagram illustrating an embodiment of a hierarchical image structure acquired for each image channel.
  • FIG. 3 illustrates a hierarchical image structure 310 having a hierarchical structure of three levels
  • FIG. 320 graphically represents the hierarchical image structure 310.
  • the diagram 310 is a Laplacian image pyramid
  • the global motion information acquisition unit 220 acquires a horizontal cumulative image 1D curve and a vertical cumulative image 1D curve including a column and cumulative pixel values of each column of the reference image 112.
  • the cumulative image 1D curve in the horizontal direction and the cumulative image 1D curve in the vertical direction, each of the columns of the reference image 114 and the cumulative pixel values of each row may be obtained.
  • the cumulative image 1D curve will be described with reference to FIG. 5.
  • the image processing apparatus may add pixel values of all image pixels positioned in an arbitrary column while moving in the horizontal direction (x direction) of the reference image 510.
  • the image processing apparatus may obtain the accumulated image 1D curve 520 in the horizontal direction by displaying the summed result as a height value on the 1D curve.
  • the global motion information acquisition unit 220 sets the search area based on the accumulated pixel values in the vertical image 1D curve in the vertical direction of the reference image 112, and accumulates pixels in the vertical direction with respect to the reference image 112 in the search area.
  • the movement of the reference image 114 in the vertical direction may be estimated by determining the relative position at which the cross correlation between the values and the accumulated pixel values in the vertical direction with respect to the reference image 114 is maximum.
  • the motion information acquisition unit 220 may use various techniques, including a normalized cross correlation (NCC) technique, to estimate the cross correlation.
  • NCC normalized cross correlation
  • FIG. 6 is a diagram illustrating an embodiment of estimating motion information.
  • the motion information acquisition unit 220 of the image processing apparatus 100 compares the pattern between the reference image 112 and the cumulative image 1D curves 610 and 620 in the horizontal direction of the reference image 114, and the reference image.
  • An example of estimating first motion information by comparing a pattern between the 112 and the accumulated image 1D curves 650 and 660 in the vertical direction of the reference image 114 is illustrated.
  • the motion information acquisition unit 220 of the image processing apparatus 100 may determine the magnitude of the motion Mx in the horizontal direction ( 640 and the first motion information may be estimated based on the magnitude of motion My 680 in the vertical direction.
  • the motion information acquisition unit 220 may update the motion information indicating the degree of motion of the reference image 114 with respect to the reference image 112.
  • the motion information acquisition unit 220 may estimate or update motion information with respect to images having the same level in the hierarchical image structure of the reference image 112 and the hierarchical image structure of the reference image 114.
  • the motion information acquirer 220 uses a method similar to the method performed by the motion information acquirer 220 to estimate motion information in a higher layer with respect to images of each level in a hierarchical image structure. Motion information can be estimated in the lower layer.
  • the motion information acquisition unit 220 includes a horizontal motion initial value (Mx ') 740 derived from the motion information at a higher level, and a vertical motion initial value (My') 785 derived from the motion information at a higher level. ), Motion information at a lower level may be estimated based on the magnitude of the motion in the horizontal direction (dMx) 745 and the magnitude of the motion in the vertical direction (dMy) 790. For example, the magnitudes of the final motions MX and MY in the horizontal direction and the vertical direction included in the motion information at the lower level may be expressed by the following equation.
  • the input image 910 is the same as the input image 810 of FIG. 8.
  • the image processing apparatus 100 may include a hierarchical image structure obtaining unit 210, a motion information obtaining unit 220, a representative value obtaining unit 230, a similarity determining unit 240, and a noise removing unit (The image processing apparatus 100 may have a partition of another type only after being divided into five partitions.
  • noise is removed by applying time-base filtering to the reference image and the reference image with respect to the N level.
  • time-base filtering may be performed by adding weights to the reference regions of the reference image according to the degree of similarity.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 기준 대표값들 및 참조 대표값들에 기초하여 기준 영상과 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들을 획득하는 단계, 계층 영상들로부터 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하는 단계, 기준 대표값들 및 참조 대표값들로부터 기준 영역들 및 참조 영역들간의 유사도를 판단하는 단계, 및 판단된 유사도에 따라, 기준 영상과 참조 영상에 필터링을 적용하여 노이즈를 제거하는 단계로 이루어진 영상 처리 방법이 개시된다.

Description

영상 처리 방법 및 장치
영상 처리 방법 및 장치에 관한 것으로, 구체적으로는 복수 개의 입력 영상들로부터 화질이 개선된 출력 영상을 획득하는 영상 처리 방법 및 장치에 관한 것이다.
조도가 상대적으로 낮은 어두운 환경이나 역광과 같이 열악한 영상 촬영 환경에서 디지털 카메라와 같은 영상 촬영 장치로 영상을 촬영하는 경우, 화질 열화 문제가 발생할 수 있다. 예를 들어, 충분한 노출(exposure) 시간 확보를 위해 긴 노출 시간(long exposure time)을 설정하여 촬영하는 경우, 길어지는 셔터 스피드와 영상 촬영 장치의 흔들림이나 오브젝트의 움직임에 의한 모션 블러(motion blur) 현상이 발생할 수 있다. 또한, 카메라의 감도를 고감도로 설정하고 영상을 촬영하는 경우, 어두운 영상이 노이즈 성분과 함께 증폭되어, 전체적으로 영상에 노이즈가 강하게 나타날 수 있다.
이와 같은 저조도 환경에서 촬영된 영상의 화질 열화 문제를 해결하기 위해, 한 장의 결과 영상에 기초하여 모션 블러를 제거하는 기술 및 고성능의 노이즈 제거 기술 등이 개발되어 왔고, 최근에는 한 장의 영상이 아닌 복수 개의 영상을 이용하여 이를 융합하여 처리하는 기술이 개발되고 있다.
복수 개의 영상들을 이용하여 화질이 개선된 출력 영상을 획득할 때 유사도 판단에 필요한 연산량 및 메모리 이동량을 감소시켜, 노이즈 제거 속도를 향상시킨 영상 처리 장치 및 방법이 개시된다. 또한, 본 발명의 일 실시예에 따른 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
일부 개시에 따른 영상 처리 방법은 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 단계, 상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 단계, 상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 단계, 및 상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 필터링을 적용하여 노이즈를 제거하는 단계를 포함할 수 있다.
상기 기준 대표값은 상기 기준 영역 안의 픽셀들의 픽셀값들로부터, 상기 참조 대표값은 상기 참조 영역 안의 픽셀들의 픽셀값들로부터 획득될 수 있다.
상기 기준 대표값은 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값이고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값일 수 있다.
상기 영상 처리 방법은 상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 단계를 더 포함할 수 있다.
상기 유사도를 판단하는 단계는 상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사도를 판단할 수 있다.
상기 유사도를 판단하는 단계는 상기 기준 대표값 및 상기 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사 여부를 판단할 수 있다.
상기 노이즈를 제거하는 단계는 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 필터링을 적용하고, 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 필터링을 적용하지 않을 수 있다.
상기 영상 처리 방법은 상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 기준 대표값들 및 상기 참조 대표값들을 획득하는 단계, 상기 유사도 판단 단계 및 상기 노이즈 제거 단계를 순차적으로 수행할 수 있다.
본원 발명은 상기 영상 처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체를 포함한다.
영상의 노이즈를 제거하는 영상 처리 장치는 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 계산하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 계층적 영상 구조 획득부, 상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 대표값 획득부, 상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 유사도 판단부, 및 상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 시간축 필터링을 적용하여 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.
상기 계층적 영상 구조 획득부는 상기 기준 대표값을 상기 기준 영역 안의 픽셀들의 픽셀값들로부터, 상기 참조 대표값을 상기 참조 영역 안의 픽셀들의 픽셀값들로부터 획득할 수 있다.
상기 계층적 영상 구조 획득부는 상기 기준 대표값을 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 하고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 할 수 있다.
상기 영상 처리 장치는 상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 움직임 정보 획득부를 더 포함할 수 있다.
상기 유사도 판단부는 상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사 여부를 판단할 수 있다.
상기 유사도 판단부는 상기 기준 대표값 및 상기 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사도를 판단할 수 있다.
상기 노이즈 제거부는 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 시간축 필터링을 적용하고, 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 시간축 필터링을 적용하지 않을 수 있다.
상기 영상 처리 장치는 상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 대표값 획득부의 상기 기준 대표값들 및 상기 참조 대표값들의 획득 동작, 상기 유사도 판단부의 유사도 판단 동작 및 상기 노이즈 제거부의 노이즈 제거 동작을 순차적으로 수행하여 출력 영상을 획득할 수 있다.
본 출원에서 개시된 영상 처리 장치 및 방법에 따라, 유사도 판단에 필요한 연산량 및 메모리 이동량이 감소됨으로써 노이즈 제거 속도가 향상된다.
도 1은 복수 개의 입력 영상들로부터 출력 영상을 획득하는 영상 처리 장치를 설명하기 위한 도면이다.
도 2는 영상 처리 장치의 일 실시예의 구성을 도시한 도면이다.
도 3은 계층적 영상 구조의 일 실시예를 설명하기 위하여 도시한 도면이다.
도 4는 영상 채널 별로 획득된 계층적 영상 구조의 일 실시예를 도시한 도면이다.
도 5는 누적 영상 1D 커브를 획득하는 일 실시예를 도시한 도면이다.
도 6은 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 7은 상위 계층의 움직임 정보에 기초하여 하위 계층의 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 8은 유사도 계산시 기준 영상과 참조 영상을 직접 비교하는 경우, 입력 영상들의 영상 처리 방법을 간략하게 도시한 도면이다.
도 9는 유사도 계산시 계층적 영상 구조의 획득시 같이 획득된 기준 대표값과 참조 대표값을 비교하는 경우, 입력 영상들의 영상 처리 방법을 간략하게 도시한 도면이다.
도 10은 계층적 영상 구조에 기초하여 영상 처리를 수행하는 동작을 설명하기 위한 도면이다.
도 11은 영상 처리 방법의 일 실시예를 설명하기 위한 흐름도이다.
일부 개시에 따른 영상 처리 방법은 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 단계, 상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 단계, 상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 단계, 및 상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 필터링을 적용하여 노이즈를 제거하는 단계를 포함할 수 있다.
영상의 노이즈를 제거하는 영상 처리 장치는 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 계산하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 계층적 영상 구조 획득부, 상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 대표값 획득부, 상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 유사도 판단부, 및 상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 시간축 필터링을 적용하여 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.
이하 첨부된 도면을 참고하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
도 1은 복수 개의 입력 영상들로부터 출력 영상을 획득하는 영상 처리 장치(100)를 설명하기 위한 도면이다.
입력 영상들(110)은 동일한 피사체를 대상으로 하여 시간적 간격을 가지고 연속 촬영되거나 동시에 촬영된 영상들을 나타낸다. 이와 같은 입력 영상들(110) 중 어느 하나의 입력 영상을 기준 영상(112)으로 설정할 수 있고, 그 외 나머지 입력 영상들은 제 1 참조 영상(114) 내지 제 n 참조 영상(114-n)으로 설정할 수 있다. 제 1 참조 영상(114) 내지 제 n 참조 영상(114-n)은 도 1에 도시된 바와 같이 n개가 될 수 있으며, 이때 n은 1 이상의 정수 값을 가질 수 있다.
기준 영상(112)은 영상 처리 장치(100)가 수행하는 영상 처리에 있어 기준이 되는 영상을 의미하고, 제 1 참조 영상(114) 내지 제 n 참조 영상(114-n)은 영상 처리를 위해 사용되는 나머지 영상들을 의미한다. 예를 들어, 기준 영상(112)은 동일한 피사체를 대상으로 하여 촬영된 영상 중 첫 번째로 촬영된 영상일 수 있고, 참조 영상(114)은 기준 영상(112) 다음에 촬영된 영상일 수 있다. 기준 영상(112) 및 참조 영상(114)의 구분은 위의 실시예에 한정되지 아니하며, 영상 처리 장치(100)는 복수 개의 영상 중 기준 영상(112)을 임의로 또는 소정의 기준에 따라 결정할 수 있다. 참조 영상은 적어도 하나가 될 수 있으며, 설명의 편의상 본 명세서에서는 하나의 참조 영상(114)을 가지는 경우에 대해서만 설명한다.
영상 처리 장치(100)는 기준 영상(112)과 참조 영상(114)을 입력으로 하여 영상 처리된 출력 영상(120)을 획득할 수 있다. 노출 시간을 짧게 하여 피사체를 촬영하는 경우, 기준 영상(112) 및 참조 영상(114)에는 카메라 등과 같은 영상 촬영 장치의 움직임 또는 피사체의 움직임에 의한 화질 열화가 포함될 수 있는데, 영상 처리 장치(100)는 위와 같은 화질 열화를 제거하여 화질이 개선된 출력 영상(120)을 획득할 수 있다. 예를 들어, 영상 처리 장치(100)는 노이즈의 제거, 디테일의 향상 또는 대비의 향상 등의 영상 처리를 수행하여 고품질의 출력 영상(120)을 획득할 수 있다.
디지털 카메라와 같은 영상 촬영 장치의 이미지 센서가 처리할 수 있는 해상도가 증가함에 따라 입력 영상들(110)의 해상도 또한 높아지고 있다. 해상도가 높아짐에 따라, 고해상도의 입력 영상들(110)을 영상 처리함에 있어서 메모리 공간의 효율적인 활용을 위하여 입력 영상들(110)을 전체 영상의 크기보다 작은 크기의 영상 영역으로 분할하여 처리할 수 있다. 영상 처리 장치(100)는 입력 영상 간의 전역적인 움직임 정보를 추정하고, 전역적인 움직임 정보를 기초로 타일 영상 기반의 이미지 처리를 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 구성을 도시한 도면이다.
영상 처리 장치(200)은 도1의 영상 처리 장치(100)와 동일한 영상 처리 장치일 수 있다. 영상 처리 장치(200)은 계층적 영상 구조 획득부(210), 움직임 정보 획득부(220), 대표값 획득부(230) 유사도 판단부(240) 및 노이즈 제거부(250)를 포함할 수 있다.
영상 처리 장치(200)는 입력 영상들(110)을 획득할 수 있다. 영상 처리 장치(200)는 입력 영상들(110) 중 기준 영상(112)을 구분할 수 있다. 만약 기준 영상(112)이 미리 정해지지 않았다면, 영상 처리 장치(200)는 입력 영상들(110) 중 기준 영상(112)을 정할 수 있다.
계층적 영상 구조 획득부(210)는 입력 영상들(110) 각각의 계층적 영상 구조를 획득할 수 있다. 계층적 영상 구조를 구성하는 계층의 수는 2개 이상이다. 계층적 영상 구조를 구성하는 계층의 수는 입력 영상들(110)의 해상도에 따라 결정될 수 있다. 입력 영상들(110)의 계층적 영상 구조는 각각 동일한 수의 계층을 가질 수 있다. 도 3 및 도 4에서 계층적 영상 구조의 실시예를 도시하고 있는바, 도 3 및 도 4에 대하여 설명한다.
도 3은 계층적 영상 구조의 일 실시예를 설명하기 위하여 도시한 도면이다.
도 3 도면(310)은 3단계의 계층 구조를 가지고 있는 계층적 영상 구조(310)를 나타내고, 도면(320)은 계층적 영상 구조(310)를 도형적으로 표현한 것이다. 도 3에서는 설명의 편의를 위해, 도면(310)이 라플라시안 이미지 피라미드이고, 기준 영상 및 참조 영상의 크기가 (가로 H, 세로 W)=(H x W)라고 가정한다.
계층적 영상 구조(310)가 라플라시안 이미지 피라미드의 경우, 가장 상위 레벨(레벨=3)의 피라미드 영상은 저주파 대역 성분을 가질 수 있고, 하위 레벨로 내려갈수록 더 높은 고주파 대역 성분을 가질 수 있다. 따라서, 가장 하위 레벨(레벨=1)은 가장 높은 고주파 대역 성분을 가질 수 있다. 또한, 참조 영상의 크기가 (H x W)이라면, "레벨=1"에서의 영상의 크기는 (H x W)이고, "레벨=2"에서의 영상의 크기는 (H/2 x W/2)이며, "레벨=3"에서의 영상의 크기는 (H/4 x W/4)이다.
가우시안 이미지 피라미드에서 "레벨=2"에서의 영상은 "레벨=1"에서의 영상에 가우시안 스무딩(Gaussian Smoothing)을 적용하여 획득할 수 있다. 가우시안 스무딩이란 일정 영역의 픽셀들의 평균값 또는 가중평균값을 구하여, 그 값을 대표값으로 정하고, 대표값을 가지는 픽셀을 일정 영역의 픽셀들의 대표 픽셀로 하는 이미지 처리를 의미한다. 예를 들면, "레벨=1"에서의 영상 중 특정 2 x 2 크기의 영역 안의 픽셀들의 평균값을 구할 수 있다. 그리고 평균값을 특정 영역 안의 픽셀들의 대표값으로 결정할 수 있다. 그리고 "레벨=2"에서의 영상의 픽셀 중 특정 2 x 2 크기의 영역 안의 픽셀들과 대응되는 픽셀은 특정 2 x 2 크기의 영역 안의 픽셀들의 대표값과 동일한 값을 가진다. 마찬가지로 "레벨=1"에서의 영상 중 2 x 2 크기의 다른 영역 안의 픽셀들과 상기 픽셀들과 대응되는 "레벨=2"에서의 영상의 픽셀에 대하여도 동일하게 적용된다.
영상 처리 장치(200)는 계층적 영상 구조(310)의 가장 상위 레벨에서부터 가장 하위 레벨까지 일련의 영상 처리를 수행할 수 있고, 해당 레벨에서의 처리 결과를 다음 하위 레벨의 영상 처리에 적용할 수 있다.
도 4은 영상 채널 별로 획득된 계층적 영상 구조의 일 실시예를 도시한 도면이다.
도 4에는 3단계의 계층 구조를 가지고 있는 계층적 영상 구조들이 도형적으로 표현되어 있다. 영상 처리 장치는 기준 영상 및 참조 영상을 구성하고 있는 영상 채널별로 계층적 영상 구조를 획득할 수 있다. 예를 들어, 기준 영상 및 참조 영상이 YCbCr의 색공간을 가지고 있는 경우, 영상 처리 장치는 기준 영상 및 참조 영상의 영상 채널별로 구성된 계층적 영상 구조를 이용할 수 있다. 기준 영상은 Y채널의 계층적 영상 구조(410), Cb 채널의 계층적 영상 구조(420), Cr 채널의 계층적 영상 구조(430)를 가질 수 있고, 참조 영상도 Y 채널의 계층적 영상 구조(440), Cb 채널의 계층적 영상 구조(450), Cr 채널의 계층적 영상 구조(460)를 가질 수 있다.
영상 처리 장치는 어느 하나의 영상 채널에 대한 영상 처리 결과를 나머지 영상 채널의 영상 처리에 적용할 수 있다. 예를 들어, 영상 처리 장치는 Y 채널의 계층적 영상 구조(410,440)에서의 영상 처리 결과를 Cb 채널의 계층적 영상 구조(420, 450)에서의 영상 처리에 적용할 수 있다.
만약 기준 영상 및 참조 영상이 YCbCr444 형식이라면, 영상 처리 장치는 Y 채널의 영상 처리 과정에서 도출된 움직임의 크기를 Cb 채널 및 Cr 채널의 영상 처리 과정에 그대로 적용할 수 있다. 기준 영상 및 참조 영상이 YCbCr422 형식인 경우, 영상 처리 장치는 Y 채널의 영상 처리 과정에서 도출된 움직임의 크기를 조절하여 Cb 채널 및 Cr 채널의 영상 처리 과정에 적용할 수 있다. 예를 들어, 휘도 채널(Y 채널)의 영상 크기가 (가로 H, 세로 W)이고, 크로마(chroma) 채널(Cb 채널, Cr 채널)의 영상 크기가 (가로 H/2, 세로 W)인 경우, 영상 처리 장치는 휘도 채널의 영상 처리 과정에서 도출된 움직임의 크기 중 세로 방향의 움직임의 크기는 크로마 채널에 그대로 적용하고, 가로 방향의 움직임의 크기는 절반으로 줄여 크로마 채널에 적용할 수 있다.
다시 도 2를 참조하면, 계층적 영상 구조 획득부(210)는 상위 레벨의 영상에서 하위 레벨의 영상까지의 계층적 영상 구조를 이루는 각 레벨의 영상들에 있어서, 현재 레벨의 계층적 영상 정보를 이전 레벨의 영상 처리 결과를 반영하여 결정할 수 있다. 가장 상위 레벨의 경우, 이전 레벨이 없기 때문에 가장 상위 레벨의 계층적 영상 정보가 그대로 사용될 수 있다. 가장 상위 레벨이 아닌 경우, 현재 레벨의 계층적 영상 정보에 이전 상위 레벨에서 영상 처리된 결과 영상 정보와 영상 처리 전 계층적 영상 정보 간의 차분 영상을 현재 레벨 방향으로 투영시켜 반영함으로써, 현재 레벨의 새로운 계층적 영상 정보를 결정할 수 있다.
움직임 정보 획득부(220)는 기준 영상(112)에 대한 참조 영상(114)의 움직임 정도를 나타내는 움직임 정보를 추정할 수 있다. 움직임 정보는 기준 영상(112)과 참조 영상(114) 사이에 존재하는 움직임 벡터를 포함할 수 있는데, 전역 움직임 벡터 (global motion vector) 나 지역 움직임 벡터 (local motion vector), 혹은 두 가지 모두에 대한 정보를 포함할 수 있다. 전역 움직임 벡터는 기준 영상(112) 또는 기준 영상(112)의 기준 영역을 기준으로 하여 참조 영상(114) 또는 참조 영상(114)의 참조 영역이 상대적으로 어느 정도의 위치 차이를 가지는지를 의미한다. 움직임 정보는 기준 영상(112) 및 참조 영상(114)의 상위 계층에서부터 추정되며, 상위 계층에서 추정된 움직임 정보는 기준 영상(112) 및 참조 영상(114)의 하위 계층의 움직임 정보를 추정하는데 사용된다. 보다 구체적으로, 상위 계층에서 추정된 움직임 정보는 하위 계층에서 기준 영상(112)에 대한 참조 영상(114)의 움직임 정도를 나타내는 움직임 정보를 추정시 참조 영상(114) 내의 탐색 영역의 설정에 이용될 수 있다. 이렇게 움직임 정보 획득부(220)가 움직임 정보 추정을 상위 계층부터 하위 계층으로 순차적으로 수행하기 때문에, 움직임 정보를 추정하기 위하여 참조 영상(114)의 전 영역을 탐색하지 않으므로, 신속하고 효율적으로 움직임 정보를 추정할 수 있다.
전역 움직임 정보 획득부(220)는 기준 영상(112)의 각 컬럼(column)과 각 로우(row) 별 누적 픽셀 값들로 이루어지는 수평 방향의 누적 영상 1D 커브와 수직 방향의 누적 영상 1D 커브를 획득하고, 참조 영상(114)의 각 컬럼과 각 로우 별 누적 픽셀 값들로 이루어지는 수평 방향의 누적 영상 1D 커브와 수직 방향의 누적 영상 1D 커브를 획득할 수 있다. 이하 도 5를 통해서 누적 영상 1D 커브에 대하여 설명한다.
도 5는 누적 영상 1D 커브를 획득하는 일 실시예를 도시한 도면이다.
도 5에는 영상 처리 장치가 움직임 정보를 추정하기 위해 누적 영상 1D 커브를 획득하는 일례가 도시되어 있다. 영상 처리 장치는 기준 영상 및 참조 영상 모두에 대해 동일한 방법을 이용하여 누적 영상 1D 커브를 획득할 수 있다. 이하에서는 도 5를 참조하여 참조 영상(510)의 누적 영상 1D 커브를 획득하는 과정에 대해 설명한다.
영상 처리 장치는 참조 영상(510)의 수평 방향(x 방향)으로 이동하면서 임의의 컬럼에 위치하는 모든 영상 픽셀들의 픽셀값을 합산할 수 있다. 영상 처리 장치는 합산된 결과를 1D 커브 상의 높이 값으로 표시하여 수평 방향의 누적 영상 1D 커브(520)를 획득할 수 있다.
또한, 영상 처리 장치는 참조 영상(510)의 수직 방향(y 방향)으로 이동하면서 임의의 로우(row)에 위치하는 모든 영상 픽셀들의 픽셀값을 합산할 수 있다. 마찬가지로, 영상 처리 장치는 합산된 결과를 1D 커브 상의 높이 값으로 표시하여 수직 방향의 누적 영상 1D 커브(530)를 획득할 수 있다.
위의 과정을 통해 획득된 수평 방향 및 수직 방향의 누적 영상 1D 커브(520, 530)는 수평 방향 및 수직 방향별 누적 픽셀값을 나타낼 수 있다. 예를 들어, 수평 방향의 누적 영상 1D 커브(520)에서, 임의의 위치에서의 커브 값은 참조 영상(510)에서 해당 위치의 컬럼에 포함되는 픽셀값들의 누적값을 나타낼 수 있다.
다시 도 2을 참조하면, 움직임 정보 획득부(220)는 기준 영상(112)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브와 참조 영상(114)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 영상(112)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브와 참조 영상(114)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브 간의 패턴을 다시 비교하여 움직임 정보를 추정할 수 있다.
전역 움직임 정보 획득부(220)는 기준 영상(112)의 수평 방향의 누적 영상 1D 커브에서 누적 픽셀 값들에 기초하여 탐색 영역을 설정하고, 탐색 영역 안에서 기준 영상(112)에 대한 수평 방향의 누적 픽셀 값들과 참조 영상(114)에 대한 수평 방향의 누적 픽셀 값들 간의 상호 상관도가 최대가 되는 상대적 위치를 파악할 수 있다. 움직임 정보 획득부(220)는 상호 상관도가 최대가 되는 상대적 위치를 이용하여 수평 방향에 대한 참조 영상(114)의 움직임을 추정할 수 있다.
전역 움직임 정보 획득부(220)는 기준 영상(112)의 수직 방향의 누적 영상 1D 커브에서 누적 픽셀 값들에 기초하여 탐색 영역을 설정하고, 탐색 영역 안에서 기준 영상(112)에 대한 수직 방향의 누적 픽셀 값들과 참조 영상(114)에 대한 수직 방향의 누적 픽셀 값들 간의 상호 상관도가 최대가 되는 상대적 위치를 파악하여 수직 방향에 대한 참조 영상(114)의 움직임을 추정할 수 있다. 움직임 정보 획득부(220)는 상호 상관도를 추정하기 위해 NCC(normalized cross correlation) 기법 등을 포함하는 다양한 기법을 이용할 수 있다. 움직임 정보 추정에 대하여 도 6를 참조하여, 보다 상세히 설명한다.
도 6은 움직임 정보를 추정하는 일 실시예를 도시한 도면이다. 도 6에는 영상 처리 장치(100)의 움직임 정보 획득부(220)가 기준 영상(112)과 참조 영상(114)의 수평 방향의 누적 영상 1D 커브(610, 620) 간의 패턴을 비교하고, 기준 영상(112)과 참조 영상(114)의 수직 방향의 누적 영상 1D 커브(650, 660) 간의 패턴을 비교하여, 제 1 움직임 정보를 추정하는 일 실시예가 도시되어 있다.
도 6의 (a)는 수평 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(610)와 참조 영상(114)의 누적 영상 1D 커브(620)가 도시되어 있다. 움직임 정보 획득부(220)는 기준 영상(112)의 누적 영상 1D 커브(610)를 중심으로 일정한 탐색 영역(630)을 설정할 수 있다. 예를 들어, 움직임 정보 획득부(220)는 기준 영상(112)의 누적 영상 1D 커브(610) 중 극대점, 극소점 또는 변곡점 등을 중심으로 하여 탐색 영역(630)을 설정할 수 있다.
움직임 정보 획득부(220)는 탐색 영역(630)에서 기준 영상(112)의 누적 영상 1D 커브(610)와 참조 영상(114)의 누적 영상 1D 커브(620) 간의 상호 상관도가 최대가 되는 상대적 위치를 검출할 수 있다. 검출된 상대적 위치에서, 기준 영상(112)의 누적 영상 1D 커브(610)와 참조 영상(114)의 누적 영상 1D 커브(620)는 최대치의 유사도를 가질 수 있다. 움직임 정보 획득부(220)는 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수평 방향에 대한 움직임의 크기(Mx)(640)를 추정할 수 있다.
도 6의 (b)에서, 움직임 정보 획득부(220)는 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(650)와 참조 영상(114)의 누적 영상 1D 커브(660)에 대해서도 도 6의 (a)에서 수행한 과정과 같은 방식으로, 탐색 영역(670)을 설정하고, 탐색 영역(670)에서 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(650)와 참조 영상(114)의 누적 영상 1D 커브(660) 간의 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수직 방향에 대한 움직임의 크기(My)(680)를 추정할 수 있다.
이와 같이, 기준 영상(112)과 참조 영상(114) 간의 전역적인 움직임이 병진 운동인 경우, 영상 처리 장치(100)의 움직임 정보 획득부(220)는 수평 방향에 대한 움직임의 크기(Mx)(640)와 수직 방향에 대한 움직임의 크기(My)(680)에 기초하여 제 1 움직임 정보를 추정할 수 있다.
움직임 정보 획득부(220)는 병진 운동뿐만 아니라 확장된 운동 모델을 처리하기 위해 기준 영상(112) 및 참조 영상(114)에 움직임의 추정을 위한 복수 개의 움직임 탐색 영역들을 설정할 수 있다. 움직임 정보 획득부(220)는 설정된 복수 개의 움직임 탐색 영역들에서, 기준 영상(112)의 누적 픽셀 값들과 참조 영상(114)의 누적 픽셀 값들 간의 수평 방향 및 수직 방향별 비교를 통해 제 1 움직임 정보를 추정할 수 있다. 움직임 정보 획득부(220)는 각각의 움직임 탐색 영역에서 병진 운동의 움직임 정도를 추정하고, 추정 결과를 분석하여 참조 영상(114)의 회전 등 확장된 운동 모델에서의 움직임을 추정할 수 있다. 예를 들어, 입력 영상의 위쪽, 아래쪽, 왼쪽, 오른쪽에 움직임 탐색 영역들이 설정된 경우, 움직임 정보 획득부(220)는 각 움직임 탐색 영역들의 위치에서 기준 영상(112)에 비해 참조 영상(114)이 어느 정도 이동하였는지를 추정할 수 있다. 움직임 정보 획득부(220)는 이와 같은 네 개의 움직임 탐색 영역들에서의 움직임 정도를 분석하여 참조 영상(114)의 회전 운동을 추정할 수 있다.
움직임 정보 획득부(220)는 기준 영상(112)에 대한 참조 영상(114)의 움직임 정도를 나타내는 움직임 정보를 갱신할 수 있다. 움직임 정보 획득부(220)는 기준 영상(112)에 대한 계층적 영상 구조와 참조 영상(114)에 대한 계층적 영상 구조에서, 같은 레벨의 영상들에 대하여 움직임 정보를 추정하거나 갱신할 수 있다. 예를 들어, 움직임 정보 획득부(220)는 계층적 영상 구조에서 각 레벨의 영상들에 대하여, 움직임 정보 획득부(220)가 상위 계층에서 움직임 정보를 추정하기 위해 수행했던 방법과 유사한 방법을 이용하여 하위 계층에서 움직임 정보를 추정할 수 있다.
기준 영상(112)과 참조 영상(114) 각각에 대한 계층적 영상 구조에서, 움직임 정보 획득부(220)는 같은 레벨의 영상들에 대하여 움직임 정보를 추정할 수 있다. 움직임 정보 획득부(220)는 기준 영상(112)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브와 참조 영상(114)의 컬럼 별 누적 픽셀 값들을 이어 획득한 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교할 수 있다. 마찬가지로 움직임 정보 획득부(220)는 기준 영상(112)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브와 참조 영상(114)의 로우 별 누적 픽셀 값들을 이어 획득한 수직 방향의 누적 영상 1D 커브 간의 패턴을 비교할 수 있다. 그리고 움직임 정보 획득부(220)는 수평 방향의 1D 커브 간의 패턴의 비교 결과와 수직 방향의 1D 커브 간의 패턴의 비교 결과에 기초하여 움직임 정보를 추정할 수 있다. 다만, 움직임 정보 획득부(220)는 상위 레벨에서 추정한 움직임 정보를 기본 정보로 사용하여, 하위 레벨에서 추정한 움직임 정보를 추정하기 위한 초기치로 이용할 수 있다. 즉, 상위 레벨에서 추정한 움직임 정보로부터 도출된 움직임 초기치에 기초하여 탐색 영역을 설정할 수 있다. 이에 따라 참조 영상(114)에서의 탐색 영역을 줄일 수 있고, 보다 정확하게 움직임을 추정할 수 있다.
도 7는 상위 계층의 움직임 정보에 기초하여 하위 계층의 움직임 정보를 추정하는 일 실시예를 도시한 도면이다.
도 7에는 영상 처리 장치(100)의 움직임 정보 획득부(220)가 기준 영상(112) 및 참조 영상(114)에 대한 각각의 계층적 영상 구조에서 같은 레벨의 영상에 대하여, 기준 영상(112)과 참조 영상(114)의 수평 방향의 누적 영상 1D 커브 간의 패턴을 비교하고, 기준 영상(112)과 참조 영상(114)의 수직 방향의 누적 영상 1D 커브 간의 패턴을 비교하여, 하위 레벨에서의 움직임 정보를 추정하는 일 실시예가 도시되어 있다.
도 7의 (a)는 수평 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(710)와 참조 영상(114)의 누적 영상 1D 커브(720)가 도시되어 있다. 움직임 정보 획득부(220)는 기준 영상(112)의 누적 영상 1D 커브(710)를 중심으로 일정한 탐색 영역(730)을 설정할 수 있다. 이 때, 움직임 정보 획득부(220)는 상위 레벨에서의 움직임 정보에서 도출된 움직임 초기치에 기초하여 탐색 영역을 설정할 수 있다. 예를 들어, 움직임 정보 획득부(220)가 수평 방향의 움직임을 추정하는 경우, 제 1 움직임 정보에서 도출된 수평 방향의 움직임 초기치(Mx')(740)에 기초하여 탐색 영역(730)의 중심 위치(750)를 설정할 수 있다. 움직임 정보 획득부(220)는 탐색 영역(730)에서 기준 영상(112)의 누적 영상 1D 커브(710)와 참조 영상(114)의 누적 영상 1D 커브(720) 간의 상호 상관도가 최대가 되는 상대적 위치를 이용하여 수평 방향에 대한 움직임의 크기(dMx)(745)를 추정할 수 있다.
도 7의 (b)에서, 움직임 정보 획득부(220)는 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(760)와 참조 영상(114)의 누적 영상 1D 커브(770)에 대해서도 상위 레벨에서의 움직임 정보에서 도출된 수직 방향의 움직임 초기치(My')(785)에 기초하여 탐색 영역(780)의 중심 위치(795)를 설정하고, 탐색 영역(780)에서 수직 방향에 대한 기준 영상(112)의 누적 영상 1D 커브(760)와 참조 영상(114)의 누적 영상 1D 커브(770) 간의 상호 상관도가 최대가 되는 상대적 위치에 기초하여, 수직 방향에 대한 움직임의 크기(dMy)(790)를 추정할 수 있다.
움직임 정보 획득부(220)는 상위 레벨에서의 움직임 정보에서 도출된 수평 방향의 움직임 초기치(Mx')(740), 상위 레벨에서의 움직임 정보에서 도출된 수직 방향의 움직임 초기치(My')(785), 수평 방향에 대한 움직임의 크기(dMx)(745) 및 수직 방향에 대한 움직임의 크기(dMy)(790)에 기초하여 하위 레벨에서의 움직임 정보를 추정할 수 있다. 예를 들어, 하위 레벨에서의 움직임 정보에 포함된 수평 방향 및 수직 방향에 대한 최종적인 움직임의 크기(MX, MY)는 다음의 수학식과 같이 나타낼 수 있다.
[수학식 1]
MX = Mx' + dMx
[수학식 2]
MY = My' + dMy
지역 움직임 정보는 블록 단위로 탐색될 수 있다. 기준 영상을 다양한 크기의 블록들로 나눈 뒤, 기준 영상의 블록과 가장 유사한 블록을 타겟 영상에서 찾는다. 이때, 가장 유사한 블록을 찾는 방법으로는 두 블록의 픽셀들의 SAD (sum of differences)나 SSE (sum of square error) 등이 사용될 수 있다. 블록 단위의 탐색 역시 전역 움직임 탐색시와 마찬가지로 계산량의 감소를 위해, 움직임 정보를 미리 예측한 뒤 제한된 주변 영역에서만의 탐색으로 정보 탐색영역을 제한할 수 있는데, 상위 레벨의 해당 위치 블록의 움직임 정보 등을 활용할 수 있다.
다시 도 2를 참조하면, 유사도 판단부(240)에서 움직임 정보 획득부(220)에서 추정된 움직임 정보를 기초로 기준 영상의 기준 영역들과 참조 영상의 참조 영역들 간의 유사도를 판단한다. 유사도 판단부(240)는 기준 영상을 일정한 크기로 분할한 기준 영역들과 참조 영상을 일정한 크기로 분할한 참조 영역들을 움직임 정보를 이용하여 매칭할 수 있다. 유사도를 판단함에 있어서, 기준 영역 및 참조 영역을 대표하는 기준 대표값 및 참조 대표값을 이용할 수 있다. 대표값 획득부(230)에서 기준 대표값 및 참조 대표값을 다양한 방식으로 획득할 수 있다. 유사도를 판단하는 방식에 따라 유사도 판단의 연산 속도 및 메모리 이동량이 개선될 수 있다. 따라서 종래 유사도 판단 방법과 본원 발명에서 제안하는 유사도 판단 방법의 일 실시예를 비교하여, 유사도 판단의 연산 속도 및 메모리 이동량이 개선 여부를 설명한다.
도 8와 도 9는 각각 종래의 유사도 판단 방법과 본원 발명의 유사도 판단 방법의 일 실시예를 나타낸다. 도 8과 도 9를 참조하여 유사도 판단시 본원 발명의 특징 및 효과를 설명한다.
도 8은 유사도 판단시 기준 영상과 참조 영상을 직접 비교하는 경우, 입력 영상들의 유사도 판단 방법을 간략하게 도시한 도면이다.
입력영상(810)은 기준 영상(812)과 참조 영상(814)을 포함한다. 도 8의 기준 영상(812)과 참조 영상(814)은 각각 도 1의 기준 영상(112)과 참조 영상(114)의 계층적 영상 구조 중 움직임 정보가 결정된 일 계층의 영상을 의미한다.
영상 정합부(820)에서, 기준 영상(812)과 참조 영상(814)를 비교하기 전에, 기준 영상(812)과 참조 영상(814) 간의 움직임 정보를 이용하여, 기준 영상(812)의 각 기준 영역마다 대응되는 참조 영상(814)의 각 참조 영역을 검출한다. 그리고 서로 대응되는 기준 영역과 참조 영역을 이용하여 기준 영상(812)과 참조 영상(814)을 정합한다.
유사도 판단부(830)에서 기준 영상(812)의 기준 영역들과 각 기준 영역에 대응되는 참조 영상(814)의 참조 영역들을 비교하여 유사도를 판단한다. 유사도 판단부(830)는 기준 영역과 기준 영역에 대응되는 참조 영역의 픽셀들 간에 휘도 또는 색차 성분의 차의 절대값을 계산하여 차감 영상을 획득하는 영상 차감부(832) 및 영상 차감부(832)에서 획득한 차감 영상으로부터 유사도를 판단하는 저역 통과 필터(834)를 포함한다.
예를 들어, 기준 영역의 각 픽셀의 휘도 성분을 이용하여 유사도를 판단할 경우, 영상 차감부(832)에서 기준 영역의 각 픽셀의 휘도 성분과 기준 영역에 대응되는 참조 영역의 각 픽셀의 휘도 성분을 획득한다. 그리고 획득된 픽셀들의 휘도 성분들의 차의 절대값을 구한다. 그리고 픽셀들의 휘도 성분들의 차의 절대값을 각 픽셀의 휘도 성분으로 하는 차감 영상을 획득한다.
저역 통과 필터(834)에서 영상 차감부(832)에서 획득한 차감 영상에 가우시안 스무딩 필터를 적용하여 차감 영상의 평균값 또는 가중 평균값을 구할 수 있다. 그리고 평균값 또는 가중 평균값을 유사도로 결정할 수 있다.
노이즈 제거부(840)는 유사도 판단부(830)에서 결정된 유사도를 기초로 입력 영상(810)의 노이즈를 제거한다.
도 9는 유사도 판단시 계층적 영상 구조의 획득시 같이 획득된 기준 대표값과 참조 대표값을 비교하는 경우, 입력 영상들의 유사도 판단 방법을 간략하게 도시한 도면이다.
입력 영상(910)은 도8의 입력 영상(810)과 동일하다.
대표값 획득부(920)는 도 2의 계층적 영상 구조 획득부(210)로부터 블록 (930)의 유사도 판단을 위하여 기준 대표값(912)과 참조 대표값(914)을 획득할 수 있다. 대표값 획득부(920)는 도 2의 대표값 획득부(230)를 의미한다. 도 2의 계층적 영상 구조 획득부(210)에서는 하위 계층 영상으로부터 상위 계층 영상을 획득할 때, 기준 영상 및 참조 영상의 대표값이 획득된다.
예를 들어, 도 3에서와 같이 "레벨=1"에서의 영상의 크기는 (H x W)이고, "레벨=2"에서의 영상의 크기는 (H/2 x W/2)이며, "레벨=3"에서의 영상의 크기는 (H/4 x W/4)일 경우, "레벨=1"의 영상에서 "레벨=2"의 영상을 획득하기 위하여, "레벨=1"의 영상을 2 x 2 크기의 영역들로 분할할 수 있다. 이 때 각 영역으로부터 4 개의 픽셀에 포함된 휘도 성분의 평균값을 구할 수 있다. 평균값은 "레벨=2"의 영상을 구성하는 픽셀의 휘도 성분의 값이 될 수 있다. 평균값은 평균값이 도출된 2 x 2 크기의 영역의 대표값으로 결정될 수 있다. 마찬가지로 "레벨=2"의 영상에서 "레벨=3"의 영상을 획득하는 과정에서도 "레벨=1"의 영상에서 "레벨=2"의 영상을 획득하는 과정에서 이루어진 방법이 적용될 수 있다.
더 예를 들자면, "레벨=3"의 영상을 획득하는 과정에서 획득된 "레벨=2"의 영상의 2 x 2 크기의 영역의 대표값은 "레벨=1"의 영상의 4 x 4 크기의 영역의 대표값이 될 수도 있다.
유사도 판단부(930)는 기준 영역과 기준 영역에 대응되는 참조 영역을 비교하는 대신에 기준 영역을 대표하는 기준 대표값(912)과 기준 영역에 대응되는 참조 영역을 대표하는 참조 대표값(914)을 이용하여 기준 영역과 참조 영역의 유사 여부를 판단한다. 유사도 판단부(930)는 도 2의 유사도 판단부 (240)를 의미한다. 유사도 판단부(930)은 대표값 획득부(920)에서 획득한 기준 대표값(912) 및 참조 대표값(914)의 차의 절대값을 계산하는 대표값 차감부(932)를 포함할 수 있다.
대표값 차감부(932)에서는 대표값 획득부(920)에서 획득한 기준 대표값과 참조 대표값의 차의 절대값을 계산한다. 계산된 절대값을 유사도로 결정할 수 있다.
노이즈 제거부(940)는 유사도 판단부(930)에서 결정된 유사도를 기초로 입력 영상(910)의 노이즈를 제거한다.
[수학식 3]
similarity = GaussianSmoothing( AbsoluteDifferences(frame0,frame1))
[수학식 4]
similarity = AbsoluteDifferences( GaussianSmoothing(frame0), GaussianSmoothing (frame1))
이하 상기 수학식 3과 수학식 4에 기초하여 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법의 차이를 설명한다. 수학식3과 수학식4의 similarity는 유사도를 의미한다. GaussianSmoothing은 가우시안 스무딩 필터를 이용하여 이미지의 픽셀들의 각 성분의 평균값 또는 가중 평균값을 획득하는 함수를 의미한다. AbsoluteDifferences는 변수 간의 차의 절대값을 획득하는 함수를 의미한다. frame 0과 frame 1은 각각 GaussianSmoothing 또는 AbsoluteDifferences에 입력되는 기준 영상 및 참조 영상을 의미한다.
도 8의 유사도 판단 방법은 수학식 3에 의하여 유사도를 판단하며, 도 9의 유사도 판단 방법은 수학식 4에 의하여 유사도를 판단한다. 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법은 GaussianSmoothing 함수와 AbsoluteDifferences 함수의 적용 순서가 다르므로, 같은 기준 영역과 참조 영역을 입력으로 하였더라도, 서로 다른 값의 유사도가 출력될 수 있다. 다만 움직임 정보 획득부(220)에 의하여 서로 대응되는 기준 영역과 참조 영역을 비교하므로 서로 다른 값의 유사도가 출력될 확률은 매우 낮다. 따라서 도 8의 유사도 판단 방법으로 출력되는 유사도와 도 9의 유사도 판단 방법으로 출력되는 유사도는 거의 동일하다.
또한 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법을 혼합 (hybrid) 형태로 사용하는 것도 가능하다. 수학식 3, 4의 차이점에 따라, 도 9의 유사도 계산 결과는 도 8의 유사도 계산 결과와 다르다. 움직임 정보 획득부에 의해 대부분의 경우 거의 동일한 유사도를 계산하지만, 아주 극단적인 경우에는 오차를 발생시킬 수 있다. 특히 문제가 되는 경우는 도 12와 같이 두 영상의 특정 부분에서 동일 방향에 대한 픽셀 값 기울기 (gradient) 가 서로 반대가 되는 경우이다. 물론 대부분의 촬영에서는 위에서 언급한 바와 같이 움직임 정보 획득부에서 두 블록이 선택되기는 힘들다. 하지만, 촬영 중, 카메라를 고속으로 이동시키는 등의 이상 동작이 발생하는 경우, 촬영된 영상들이 서로 매우 달라지게 되고, 이 경우 도 12와 같은 케이스가 발생할 수 있다. 이때, 움직임 정보 획득부에서 계산된 두 블록의 차 정보 (예를 들어, SAD, SSE 등) 를 토대로, 해당 블록의 유사도 계산시 도 8의 방식 혹은 도 9의 방식을 선택할 수 있다. 예를 들어, SAD 값이 다른 블록들의 움직임 정보 획득 결과에 비해 매우 큰 경우, 이는 위에서 언급한 극단의 경우라 판단하여 도 8에서와 같이 유사도를 계산하고, SAD의 값이 다른 블록들과 비슷한 경우에는 본 발명과 같이 도 9의 형태로 계산할 수 있다.
이하 상기 수학식 3과 수학식 4에 기초하여 도 8의 유사도 판단 방법과 도 9의 유사도 판단 방법의 계산량의 차이를 설명한다. 도 8에서는 기준 영역과 참조 영역의 서로 대응되는 기준 영역의 픽셀들과 참조 영역의 픽셀들의 차의 절대값을 획득하고, 획득한 절대값의 평균값 또는 가중평균값을 구하여, 그 평균값 또는 가중평균값을 대표값으로 정의한다. 즉 수학식 3의 GaussianSmoothing과 AbsoluteDifferences이 유사도 판단 단계에서 모두 수행된다.
그러나 도 9에서는 계층적 영상 구조 획득부(210)에서 이미 획득된 기준 영역의 기준 대표값과 참조 영역의 참조 대표값을 획득하고, 기준 대표값과 참조 대표값 간의 차의 절대값을 계산하는 연산만을 시행한다. 즉, 수학식 4의 AbsoluteDifferences만이 유사도 판단 단계에서 수행된다. 그리고 GaussianSmoothing은 계층적 영상 구조 획득부에서 획득된 것을 다시 활용하므로 계산량이 줄어든다. 그러므로 도 9에 도시된 유사도 판단 방법은 도 8에 도시된 유사도 판단 방법보다 계산량이 현저하게 적다.
마찬가지로 메모리 이동량에 있어서도 도 9의 유사도 판단 방법이 도 8의 유사도 판단 방법보다 유리하다. 도 8의 유사도 판단 방법은 기준 영상과 참조 영상 전체를 입력으로 하고, 도 9의 유사도 판단 방법은 각 기준 영역들의 기준 대표값 및 각 참조 영역의 참조 대표값만을 입력으로 하므로, 도 9의 유사도 판단 방법이 메모리 전송량이 더 적다.
상기 내용을 종합하면, 도 9의 유사도 판단 방법은 도 8의 유사도 판단 방법에 비하여, 성능은 떨어지지 않으면서, 계산량 및 메모리 이동량을 획기적으로 줄이는 효과가 있는 것을 알 수 있다. 계산량 및 메모리 이동량이 감소함으로써 전체 이미지 처리 과정이 빨라지고, 메모리를 효율적으로 관리할 수 있게 된다.
도 2를 참조하면, 유사도 판단부(240)에서 판단된 유사도에 따라 노이즈 제거부(250)에서 영상의 노이즈를 제거한다. 노이즈 제거부(250)는 시간축상 필터(temporal filter)를 이용하여 노이즈를 제거할 수 있다. 시간축상 필터란 기준 영역과 기준 영역에 대응되며, 기준 영역과 시간적으로 다른 시점에 위치하는 참조 영역의 평균값 또는 가중평균값을 구하여 노이즈를 제거하는 필터를 의미한다. 노이즈 제거부(250)의 시간축상 필터는 기준 영역과 참조 영역 간 유사도에 따라 참조 영역의 가중치를 달리하여 기준 영역과 참조 영역의 가중 평균값을 구함으로써 노이즈를 제거할 수 있다. 참조 영상이 하나가 아닌 복수인 경우, 참조 영상과 기준 영상의 유사도에 따라 각 참조 영상의 가중치를 달리하여 시간축상 필터를 적용할 수 있다.
설명의 편의를 목적으로 영상 처리 장치(100)를 계층적 영상 구조 획득부(210), 움직임 정보 획득부(220), 대표값 획득부(230), 유사도 판단부(240) 및 노이즈 제거부(250) 다섯 개의 파티션(partition)으로 분할하였을 뿐 영상 처리 장치(100)는 다른 종류의 파티션을 가질 수 있다.
도 10은 계층적 영상 구조에 기초하여 영상 처리를 수행하는 동작을 설명하기 위한 도면이다.
영상 처리 장치는 이미지 계층 구조에서 가장 상위 레벨(레벨=3)의 영상(저주파 대역 영상)(1005)에 대해 기준 영상에 대한 움직임을 추정하고 영상 처리를 수행하여 결과 영상(저주파 대역 영상)(1010)을 획득할 수 있고, 결과 영상(1010)을 현재 레벨에 적용할 수 있다. 영상 처리 장치는 가장 상위 레벨에서 획득된 결과 영상(1010)을 다음 레벨에 적용하기 위해 영상의 크기를 업-스케일링한 출력 영상(1020)을 획득할 수 있다.
영상 처리 장치는 중간 레벨(레벨=2)의 영상(고주파 대역 영상)(1015)에 가장 상위 레벨에서 업-스케일링된 출력 영상(1020)을 적용하여 새로운 입력 영상(저주파 대역 영상)(1025)을 획득할 수 있다. 중간 레벨에서 획득된 새로운 입력 영상(1025)에는 가장 상위 레벨의 결과 영상(1010)의 움직임 추정 정보 및 영상 처리된 결과가 적용될 수 있다. 예를 들어, 피라미드 이미지 구조에서는 하위 레벨의 영상 크기는 상위 레벨의 영상 크기에 두 배이므로, 영상 처리 장치는 상위 레벨에서 추정한 움직임 추정치를 두 배로 스케일링하여 하위 레벨에서의 움직임 초기치로 이용할 수 있다. 영상 처리 장치는 가장 상위 레벨에서 수행했던 것과 같이, 새로운 입력 영상(1025)에 대해 기준 영상에 대한 움직임을 추정하고 영상 처리를 수행하여 결과 영상(저주파 대역 영상)(1030)을 획득할 수 있다. 영상 처리 장치는 결과 영상(1030)을 현재 레벨인 중간레벨에 적용하고, 이렇게 획득된 결과 영상(1030)을 다음 레벨에 적용하기 위해 영상의 크기를 업-스케일링한 출력 영상(저주파 대역 영상)(1040)을 획득할 수 있다.
영상 처리 장치는 가장 하위 레벨(레벨=1)의 영상(고주파 대역 영상)(1035)에 중간 레벨에서 업-스케일링된 출력 영상(1040)을 적용하여 새로운 입력 영상(저주파 대역 영상)(1045)을 획득할 수 있다. 가장 하위 레벨에서 획득된 새로운 입력 영상(1045)에는 중간 레벨의 결과 영상(1030)의 움직임 추정 정보 및 영상 처리된 결과가 적용될 수 있다. 예를 들어, 이미지 피라미드 구조에서는 하위 레벨의 영상 크기는 상위 레벨의 영상 크기에 두 배이므로, 영상 처리 장치는 중간 레벨에서 추정한 움직임 추정치를 두 배로 스케일링하여 가장 하위 레벨에서의 움직임 초기치로 이용할 수 있다.
영상 처리 장치는 중간 레벨에서 수행했던 것과 같이, 새로운 입력 영상(1045)에 대해 기준 영상에 대한 움직임을 추정하고 영상 처리를 수행하여 결과 영상(저주파 대역 영상)(1050)을 획득할 수 있다. 위 과정을 통해 획득된 결과 영상(1050)이 하나의 참조 영상에 대한 최종적인 결과 영상이 될 수 있다. 영상 처리 장치는 하나의 참조 영상에 대한 최종적인 결과 영상이 획득되면 다음의 참조 영상에 대해 위와 같은 과정을 반복하여 수행할 수 있다.
도 11은 본 발명의 일 실시예에 따른 영상 처리 방법의 동작을 설명하기 위한 흐름도이다.
S1110에서는 기준 영상과 참조 영상에 대하여 각각 n개의 레벨의 계층 영상들로 구성되는 계층적 영상 구조를 획득한다. 참조 영상은 연속으로 촬영된 복수 개의 영상일 수 있다. 계층적 영상 구조가 획득되면서 계층 영상들로부터 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들이 같이 획득될 수 있다. 이 때 상기 기준 대표값들 및 상기 참조 대표값들은 삭제하지 않고 메모리에 저장한다.
S1120에서는 이미지 처리는 가장 상위 레벨인 n 레벨부터 시작한다. 이 때 이미지 처리의 대상이 되는 레벨을 N 레벨이라고 정의할 수 있다. 그러므로 처음에는 N 레벨을 n 레벨로 정한다.
S1130에서는 N 레벨의 계층 영상으로부터 기준 영상의 각 기준 영역들의 기준 대표값들 및 참조 영상의 각 참조 영역들의 참조 대표값들을 획득한다.
S1140에서는 기준 영상의 N 레벨의 계층 영상들과 참조 영상의 N 레벨의 계층 영상들 간의 비교 결과에 따라 계산된 기준 영상의 픽셀과 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득한다.
S1150에서는 움직임 정보에 기초하여 서로 매칭되는 기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들로부터 각각 기준 영상의 기준 영역들 및 참조 영상의 참조 영역들간의 유사도를 판단한다. 기준 대표값은 기준 영역 안의 픽셀들의 픽셀값들로부터, 참조 대표값은 참조 영역 안의 픽셀들의 픽셀값들로부터 획득된다. 이 때 픽셀값은 픽셀의 휘도 또는 색차 성분의 값을 의미한다. 기준 대표값은 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값일 수 있다. 마찬가지로 참조 대표값은 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값일 수 있다. 기준 대표값 및 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사 여부를 판단할 수 있다.
S1160에서는 판단된 유사도에 따라, N 레벨에 대하여 기준 영상과 참조 영상에 시간축 필터링을 적용하여 노이즈를 제거한다. 유사도와 미리 정해진 임계치의 비교를 통해 시간축 필터링의 수행 여부를 결정할 수 있다. 유사도의 크기에 따라 참조 영상의 참조 영역들에 가중치를 부가하여 시간축 필터링을 수행할 수 있다.
S1170에서는 N 레벨에 대한 노이즈 제거가 끝난 후, N 레벨이 가장 하위 레벨인 1 레벨이라면 영상 처리 방법을 종료한다.
S1180에서는 만약 1 레벨이 아니라면 N 레벨의 다음 하위 레벨을 N 레벨로 새로 결정한다. 그리고 다시 S1130에서 S1170을 새로 결정된 레벨에서 반복한다.
결과적으로 계층적 영상 구조의 최상위 레벨의 계층 영상부터 대표값 획득부, 유사도 판단부 및 노이즈 제거부가 순차적으로 수행되고, 다시 한 단계 아래 레벨의 계층 영상부터 상기 구성 단위들의 기능이 반복하여 수행되어, 최하위 레벨의 계층 영상에 대한 상기 구성 단위들의 기능의 수행이 완료될 때까지 반복됨으로써 출력 영상을 획득할 수 있다.
한편, 상술한 본 발명의 일실시예에 따른 영상 처리 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 영상의 노이즈를 제거하는 영상 처리 방법에 있어서,
    기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 단계;
    상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 단계;
    상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 단계; 및
    상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 필터링을 적용하여 노이즈를 제거하는 단계로 이루어진 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 기준 대표값은 상기 기준 영역 안의 픽셀들의 픽셀값들로부터, 상기 참조 대표값은 상기 참조 영역 안의 픽셀들의 픽셀값들로부터 획득되는 것을 특징으로 하는 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 기준 대표값은 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값이고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값인 것을 특징으로 하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 영상 처리 방법은,
    상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 단계를 더 포함하는 영상 처리 방법.
  5. 제 4 항에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사도를 판단하는 것을 특징으로 하는 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 기준 대표값 및 상기 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사 여부를 판단하는 것을 특징으로 하는 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 노이즈를 제거하는 단계는,
    상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하다고 판단된 경우, 상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역에 유사도에 따라 상기 참조 영상의 참조 영역에 가중치를 부가하고, 상기 기준 영역과 상기 참조 영역의 가중 평균을 구하는 시간축 필터링을 적용하고,
    상기 기준 영상의 기준 영역 및 참조 영상의 참조 영역이 유사하지 않다고 판단된 경우, 필터링을 적용하지 않는 것을 특징으로 하는 영상 처리 방법.
  8. 제 1 항에 있어서,
    상기 영상 처리 방법은,
    상기 계층적 영상 구조의 최상위 레벨의 계층 영상부터 최하위 레벨의 계층 영상까지 상기 기준 대표값들 및 상기 참조 대표값들을 획득하는 단계, 상기 유사도 판단 단계 및 상기 노이즈 제거 단계를 순차적으로 수행하는 것을 특징으로 하는 영상 처리 방법.
  9. 제 1 항의 영상 처리 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  10. 영상의 노이즈를 제거하는 영상 처리 장치에 있어서,
    기준 영상의 기준 영역들에 대한 기준 대표값들 및 참조 영상의 참조 영역들에 대한 참조 대표값들을 획득하고, 상기 기준 대표값들 및 상기 참조 대표값들에 기초하여 상기 기준 영상과 상기 참조 영상에 대하여 해상도를 달리하는 복수 개의 계층 영상들로 구성되는 계층적 영상 구조를 획득하는 계층적 영상 구조 획득부;
    상기 계층 영상들로부터 상기 기준 영상의 상기 기준 영역들에 대한 상기 기준 대표값들 및 상기 참조 영상의 상기 참조 영역들에 대한 상기 참조 대표값들을 획득하는 대표값 획득부;
    상기 기준 대표값들 및 상기 참조 대표값들로부터 상기 기준 영역들 및 상기 참조 영역들간의 유사도를 판단하는 유사도 판단부; 및
    상기 판단된 유사도에 따라, 상기 기준 영상과 상기 참조 영상에 시간축 필터링을 적용하여 노이즈를 제거하는 노이즈 제거부로 이루어진 영상 처리 장치.
  11. 제 10 항에 있어서,
    상기 계층적 영상 구조 획득부는,
    상기 기준 대표값을 상기 기준 영역 안의 픽셀들의 픽셀값들로부터, 상기 참조 대표값을 상기 참조 영역 안의 픽셀들의 픽셀값들로부터 획득하는 것을 특징으로 하는 영상 처리 장치.
  12. 제 11 항에 있어서,
    상기 계층적 영상 구조 획득부는,
    상기 기준 대표값을 상기 기준 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 하고, 상기 참조 대표값은 상기 참조 영역 안의 픽셀값들의 평균값 또는 가중평균값으로 하는 것을 특징으로 하는 영상 처리 장치.
  13. 제 10 항에 있어서,
    상기 영상 처리 장치는,
    상기 기준 영상의 계층 영상들과 상기 참조 영상의 계층 영상들 간의 비교 결과에 따라 계산된 상기 기준 영상의 픽셀과 상기 참조 영상의 픽셀 사이의 움직임 벡터를 포함하는 움직임 정보를 획득하는 움직임 정보 획득부를 더 포함하는 영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 유사도 판단부는,
    상기 움직임 정보에 기초하여 서로 매칭되는 상기 기준 영역의 상기 기준 대표값 및 상기 참조 영역의 참조 대표값을 비교하여 유사 여부를 판단하는 것을 특징으로 하는 영상 처리 장치.
  15. 제 10 항에 있어서,
    상기 유사도 판단부는,
    상기 기준 대표값 및 상기 참조 대표값의 차의 절대값과 미리 정해진 임계치의 비교를 통해 유사도를 판단하는 것을 특징으로 하는 영상 처리 장치.
PCT/KR2015/010772 2014-10-16 2015-10-13 영상 처리 방법 및 장치 WO2016060439A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15851201.2A EP3200442B1 (en) 2014-10-16 2015-10-13 Method and apparatus for image processing
CN201580067086.2A CN107005623B (zh) 2014-10-16 2015-10-13 用于图像处理的方法和装置
US15/519,786 US10269099B2 (en) 2014-10-16 2015-10-13 Method and apparatus for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0140169 2014-10-16
KR1020140140169A KR102274320B1 (ko) 2014-10-16 2014-10-16 영상 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016060439A1 true WO2016060439A1 (ko) 2016-04-21

Family

ID=55746923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/010772 WO2016060439A1 (ko) 2014-10-16 2015-10-13 영상 처리 방법 및 장치

Country Status (5)

Country Link
US (1) US10269099B2 (ko)
EP (1) EP3200442B1 (ko)
KR (1) KR102274320B1 (ko)
CN (1) CN107005623B (ko)
WO (1) WO2016060439A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3255607B1 (en) * 2016-06-08 2020-05-13 Esaote S.p.A. Method and system for estimating motion between images, particularly in ultrasound spatial compounding
JP2018166314A (ja) * 2017-03-28 2018-10-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US11657800B2 (en) 2019-04-26 2023-05-23 Lg Electronics Inc. Electronic device with wakeup word determined multi-mode operation
WO2020251086A1 (ko) * 2019-06-13 2020-12-17 엘지전자 주식회사 인공지능 세탁물 처리 기기
CN111699511A (zh) * 2019-12-31 2020-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质
US11494584B2 (en) * 2021-01-12 2022-11-08 Disney Enterprises, Inc. Automated prediction of pixel error noticeability
CN116385316B (zh) * 2023-06-01 2023-08-08 深圳市嘉润原新显科技有限公司 多目标图像动态捕捉方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109903A1 (en) * 2004-03-15 2006-05-25 James Bergen Method and apparatus for providing noise reduction
KR20070107353A (ko) * 2006-05-02 2007-11-07 엘지전자 주식회사 녹화물 편집 기능을 구비한 영상기기 및 그 제어방법
JP2010218110A (ja) * 2009-03-16 2010-09-30 Ricoh Co Ltd ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
US20120224789A1 (en) * 2011-03-01 2012-09-06 Microsoft Corporation Noise suppression in low light images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5848185A (en) * 1994-12-28 1998-12-08 Canon Kabushiki Kaisha Image processing apparatus and method
EP0936575B1 (fr) * 1998-02-17 2004-07-28 Koninklijke Philips Electronics N.V. Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images
US7181086B2 (en) * 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
US7782378B2 (en) 2006-10-17 2010-08-24 Sarnoff Corporation Scene-based non-uniformity correction method using local constant statistics
KR100859073B1 (ko) 2007-02-14 2008-09-17 주식회사 대우일렉트로닉스 움직임 추정 방법
US7856150B2 (en) 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid
KR101411639B1 (ko) 2007-09-11 2014-06-24 삼성전기주식회사 영상 정합 방법 및 장치
US8472725B2 (en) * 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
JP5615088B2 (ja) * 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
JP2013081078A (ja) * 2011-10-04 2013-05-02 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
US9449522B2 (en) 2012-11-16 2016-09-20 Educational Testing Service Systems and methods for evaluating difficulty of spoken text
JP6362333B2 (ja) 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR101811718B1 (ko) 2013-05-31 2018-01-25 삼성전자주식회사 영상 처리 방법 및 장치
CN103778611B (zh) * 2014-01-26 2016-08-17 天津大学 利用边缘检测的开关加权矢量中值滤波方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060109903A1 (en) * 2004-03-15 2006-05-25 James Bergen Method and apparatus for providing noise reduction
KR20070107353A (ko) * 2006-05-02 2007-11-07 엘지전자 주식회사 녹화물 편집 기능을 구비한 영상기기 및 그 제어방법
JP2010218110A (ja) * 2009-03-16 2010-09-30 Ricoh Co Ltd ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
US20120224789A1 (en) * 2011-03-01 2012-09-06 Microsoft Corporation Noise suppression in low light images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OZKAN, M. K. ET AL.: "Adaptive motion-compensated filtering of noisy image sequences", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 3, no. 4, August 1993 (1993-08-01), pages 277 - 290, XP000414654, ISSN: 1051-8215, Retrieved from the Internet <URL:http://ieeexplore.ieee.org/xp1/articleDetails.jsp?arnumber=257217> DOI: doi:10.1109/76.257217 *
See also references of EP3200442A4 *

Also Published As

Publication number Publication date
KR102274320B1 (ko) 2021-07-07
US20170243328A1 (en) 2017-08-24
CN107005623B (zh) 2020-04-28
EP3200442A4 (en) 2017-10-18
KR20160044979A (ko) 2016-04-26
EP3200442A1 (en) 2017-08-02
US10269099B2 (en) 2019-04-23
CN107005623A (zh) 2017-08-01
EP3200442B1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
WO2016060439A1 (ko) 영상 처리 방법 및 장치
WO2010038941A2 (en) Apparatus and method of obtaining high resolution image
JP3461626B2 (ja) 特定画像領域抽出方法及び特定画像領域抽出装置
KR101811718B1 (ko) 영상 처리 방법 및 장치
WO2022108061A1 (en) Method and device for joint denoising and demosaicing using neural network
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2015034269A1 (ko) 영상 처리 방법 및 장치
Bidokhti et al. Detection of regional copy/move forgery in MPEG videos using optical flow
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2013009099A2 (ko) 블러 처리 장치 및 방법
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
TWI425445B (zh) 用於判斷一移動平台之自我運動量的方法以及偵測系統
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2010032912A2 (en) Apparatus and method of interpolating image using region segmentation
WO2020085874A1 (en) Method and apparatus for dynamic image capturing based on motion information in image
WO2017213439A1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
WO2020076128A1 (en) Method and electronic device for switching between first lens and second lens
WO2013047954A1 (ko) 배경의 특징점으로부터 획득한 전역 움직임을 이용하여 영상을 안정화하는 영상 촬영 장치 및 방법
AU3763493A (en) A machine method for compensating for non-linear picture transformations, e.g. zoom and pan, in a video image motion compensation system
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
WO2014051309A1 (en) Stereo matching apparatus using image property
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2023136414A1 (ko) 도로 상의 위험물 정보를 수집하기 위한 정보 수집 단말 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15851201

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15519786

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015851201

Country of ref document: EP