KR20130074860A - 영화 필름 손상 복원장치 및 그 방법 - Google Patents

영화 필름 손상 복원장치 및 그 방법 Download PDF

Info

Publication number
KR20130074860A
KR20130074860A KR1020110142922A KR20110142922A KR20130074860A KR 20130074860 A KR20130074860 A KR 20130074860A KR 1020110142922 A KR1020110142922 A KR 1020110142922A KR 20110142922 A KR20110142922 A KR 20110142922A KR 20130074860 A KR20130074860 A KR 20130074860A
Authority
KR
South Korea
Prior art keywords
image
scratch
bleach
movie film
damage
Prior art date
Application number
KR1020110142922A
Other languages
English (en)
Inventor
김은이
김경태
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020110142922A priority Critical patent/KR20130074860A/ko
Publication of KR20130074860A publication Critical patent/KR20130074860A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영화 필름 손상 검출 장치 및 그 방법에 관한 것으로서, 본 발명의 목적은 영화 필름의 손상된 영역을 정밀하게 검출하고, 검출된 손상 영역을 분산 유전자 알고리즘을 이용하여 복원할 수 있도록 함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은, 영화 필름의 영상을 입력받는 입력부; 상기 입력부로부터 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출하는 손상검출부; 및 상기 손상검출부로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될 때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력하는 손상복원부; 을 포함하는 것을 특징으로 한다.

Description

영화 필름 손상 복원장치 및 그 방법{DEVICE AND METHOD FOR RESTORATING DEGRADED REGIONS IN MOVIE FILM}
본 발명은 영화 필름 손상 복원장치 및 그 방법에 관한 것으로, 보다 상세하게는 오래된 영화 필름의 스크래치, 블로치 등의 손상을 검출하고 분산 유전자 알고리즘을 이용하여 오래된 영화 필름 손상영역을 복원하는 영화 영화 필름 손상 복원장치 및 그 방법에 대한 것이다.
디지털 콘텐츠의 고화질 영상에 대한 수요 증가에 따라 고전영화의 DVD 제작이 필요하나, 고전영화의 경우, 오래된 영화 필름의 손상으로 라인 스크래치와 부분 손상이 흑, 백으로 나타난다.
따라서, 고전 영화의 필름을 DVD로 제작할 경우 필름손상으로 인한 다양한 잡음형태를 제거할 필요성이 있었다. 영상정보에 있는 라인 스크래치를 정적, 움직임, 단독, 비단독, 반전, 비반전으로 분류하여 각각의 스크래치에 적합한 다양한 스킴이 제안되었다.
이러한, 오래된 영화 필름의 스크래치를 검출하여 제거하는 알고리즘에 대해서는 전자공학회지 제44권 제6호 통권 제318호 (2007년 11월) pp.36-42 ISSN 1975-2377 KCI 등재된 "선형 회귀곡선 추적을 이용한 고전 필름의 흑,백 라인 스크래치 검출과 제거 알고리즘"(이하 "선행기술") 등 다수의 논문이 개재되어있다.
상기 선행기술은 라인 스크래치 좌우 영역의 밝기 값을 고려하여 선형회귀 곡선 추적과 미디언 필터링으로 라인 스크래치에 의해 손상된 부분정보를 추정, 보간하였다. 따라서, 흑백 필름에서 빠르게 복구하는 데는 효과적이었다.
다만, 흑백필름에서 단순히 밝기 차이를 이용하여 필름의 영상을 복구하다 보니 원본과 비교했을 때 정확성이 떨어지고, 화면이 뭉개지는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 목적은 오래된 영화 필름의 손상된 영역을 정밀하게 검출하고, 검출된 손상 영역을 분산 유전자 알고리즘을 이용하여 복원할 수 있도록 함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은, 영화 필름의 영상을 입력받는 입력부; 상기 입력부로부터 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출하는 손상검출부; 및 상기 손상검출부로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될 때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력하는 손상복원부; 을 포함하는 것을 특징으로 한다.
또한 바람직하게, 상기 손상검출부는, 상기 입력부로부터 입력받은 영화 필름의 영상에서 블로치 후보군을 검출하는 블로치 검출기; 상기 입력부로부터 입력받은 영화 필름의 영상에서 스크래치 후보군을 검출하는 스크래치 검출기; 영화 필름의 영상 중에서 일정한 크기의 윤곽선과 이웃하는 픽셀에 대한 밝기값을 측정하여 신경망; 상기 신경망을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 블로치인지 여부를 검증하는 제1텍스처 검증기; 상기 신경망을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 스크래치인지 여부를 검증하는 제2텍스처 검증기; 스크래치 및 블로치의 형태 정보를 저장하는 형태 메모리; 및 상기 형태 메모리의 형태정보를 이용하여 노이즈를 제거하는 형태 필터기; 를 포함하여 이루어지는 것을 특징으로 한다.
또한 바람직하게, 상기 블로치 검출기는 이진 영상을 생성하여 블로치를 검출하는 것을 특징으로 한다.
또한 바람직하게, 상기 블로치 검출기는 현재 프레임의 특정 픽셀의 명도와 사건적으로 이웃하는 상기 특정 픽셀의 명도를 이용하여 블로치를 검출하는 것을 특징으로 한다.
그리고 바람직하게, 상기 형태 메모리는 해당 영화 필름에서 스크래치 및 블로치의 형태로 형태 필터기에서 판단되는 경우, 스크래치 및 블로치의 형태를 형태 메모리에 저장하는 것을 특징으로 한다.
한편, 영화 필름 손상 복원 방법은 (a) 입력부가 영화 필름의 영상을 입력받는 과정; (b) 손상검출부가 상기 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출하는 과정; 및 (c) 손상 복원부가 상기 손상검출부로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될 때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력하는 과정; 을 포함하는 것을 특징으로 한다.
또한 바람직하게, 상기 (b) 과정은, (b-1) 상기 입력부로부터 입력받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출하는 단계; (b-2) 영화 필름의 영상 중에서 일정한 크기의 픽셀에 대한 밝기값을 측정하는 신경망을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 블로치 및 스크래치 인지 여부를 검증하는 단계; 및 (b-3) 사전에 저장된 스크래치 및 블로치의 형태정보를 이용하여 노이즈를 제거하여 손상 복원부로 전송하는 단계;를 포함하는 것을 특징으로 한다.
또한 바람직하게, 상기 (b) 과정은, 이진 영상을 생성하여 블로치를 검출하는 것을 특징으로 한다.
또한 바람직하게, 상기 (b) 과정은, 현재 프레임의 특정 픽셀의 명도와 사건적으로 이웃하는 상기 특정 픽셀의 명도를 이용하여 블로치를 검출하는 것을 특징으로 한다.
그리고 바람직하게, 상기 (b) 과정은, 형태 정보는 해당 영화 필름에서 스크래치 및 블로치의 형태로 형태 필터기에서 판단되는 경우, 스크래치 및 블로치의 형태를 형태 정보에 저장하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 영화 필름의 손상된 영역을 정밀하게 검출하고, 검출된 손상 영역을 분산 유전자 알고리즘을 이용하여 원본 영화 필름에 극히 유사하도록 복원할 수 있는 효과가 있다.
도 1 은 본 발명의 일실시예에 따른 영화 필름 손상 복원 장치의 개략도
도 2 는 본 발명의 일실시예에 따른 영화 필름 손상 복원 장치의 구성도.
도 3 은 본 발명의 일실시예에 따른 손상 후보지 검출 결과 일예시도.
도 4 는 본 발명의 일실시예에 따른 블로치 검출기의 설명도.
도 5 는 본 발명의 일실시예에 따른 텍스처 분류 방법 설명도.
도 6 은 본 발명의 일실시예에 따른 손상된 영역 검출결과의 일예시도.
도 7 은 본 발명의 일실시예에 따른 영화 필름 손상 복원 방법의 검출 일예시도.
도 8 은 본 발명의 일실시예에 따른 영화 필름 손상 복원 방법의 검출 일예시도.
도 9 는 본 발명의 일실시예에 따른 영화 필름 손상 복원 결과 일예시도.
도 10 은 본 발명의 일실시예에 따른 영화 필름 손상 복원 방법의 흐름도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
참고로, 일반적으로 오래된 TV 및 영화 데이터는 스크래치(scratch), 블로치(blotch), 플릭(flick) 등의 다양한 요인에 의해 손상된다. 그들 중 대부분의 손상요인은 스크래치와 블로치이다. 스크래치는 영화 필름을 영상화 하거나 복사하는 과정에서 영화 필름이 벗겨진 것으로, 전 프레임에 연이어 세로방향으로 길게 발생한다. 블로치는 먼지(dust), 머리카락(hair), 화학약품 등에 의해 발생하며, 불규칙적인 형태와 크기를 가진다.
지금까지 많은 시스템들은 스크래치와 블로치를 자동으로 검출하는 방법들을 개발했다. 그러나 그 방법들은 대부분의 손상요인을 검출할 수 없었다. 그 이유는 특정 손상영역에 대한 가정을 기반으로 개발하였기 때문이다. 더구나, 그것은 많은 오검출도 나타났기 때문에 복원단계에서 추가적으로 계산 비용이 들어가게 되었다.
본 발명에 따른 영화 필름 손상 복원장치에 관하여 도 1 내지 도 6 을 참조하여 설명하면 다음과 같다.
도 1 은 본 발명의 일실시예에 따른 영화 필름 손상 복원장치의 개략도로서, 도시된 바와 같이 상기 영화 필름 손상 복원장치는 입력부(100), 손상검출부(200) 및 손상복원부(300)를 포함한다.
상기 입력부(100)는 영화 필름의 영상을 순차적으로 입력받는다. 이때, 영화 필름의 영상은 연속적인 프레임을 가지고 프레임의 종류는 다양하게 변동될 수 있다.
1. 손상검출부(200)
상기 손상검출부(200)는 상기 입력부(100)로부터 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출한다.
따라서, 손상검출부(200)는 도 2 에 나타난 바와 같이 상기 입력부(100)로부터 입력받은 영화 필름의 영상에서 블로치 후보군을 검출하는 블로치 검출기(210), 상기 입력부(100)로부터 입력받은 영화 필름의 영상에서 스크래치 후보군을 검출하는 스크래치 검출기(220), 영화 필름의 영상 중에서 일정한 크기의 윤곽선과 이웃하는 픽셀에 대한 밝기값을 측정하여 신경망(230), 상기 신경망(230)을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 블로치인지 여부를 검증하는 제1텍스처 검증기(240), 상기 신경망(230)을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 스크래치인지 여부를 검증하는 제2텍스처 검증기(250), 스크래치 및 블로치의 형태 정보를 저장하는 형태 메모리(260) 및 상기 형태 메모리(260)의 형태정보를 이용하여 노이즈를 제거하는 형태 필터기(270)를 포함할 수 있다.
상기 블로치 검출기(210)는 상기 입력부(100)로부터 입력받은 영화 필름의 영상에서 블로치 후보군을 검출하고, 상기 스크래치 검출기(220)는 입력부(100)로부터 입력받은 영화 필름의 영상에서 스크래치 후보군을 검출한다. 상기 블로치 검출기(210) 및 스크래치 검출기(220)는 스크래치와 블로치는 각각 공간적인 영역에서 주변에 비해 높은 대비를 가지는 특성과, 시공간적 불연속성에 따른 프레임의 최대범위를 찾아냄으로써 후보영역을 검출한다. 스크래치의 경우 스크래치 검출기(220)(edge detector)를 사용하고 블로치의 경우 블로치 검출기(210)(SROD detector)를 이용할 수 있다. 그 후, 생성된 몇몇의 오 검출을 제거하기 위해, 구조적 분류와 형태 필터링을 통한 확인단계를 거쳐 손상영역을 검출한다. 스크래치와 블로치의 구조적 특성을 신경망(230)(NNs)을 통해 학습하여 각각의 가중치를 적용하여 검출하였으며, 스크래치의 경우, 스크래치의 형태 정보를 이용하여 생성된 원소구조를 이용한 모폴로지(morphology) 연산을 통해 스크래치의 검출이 확정되어진다.
일반적으로 스크래치와 블로치는 다음과 같은 특성을 지닌다. 스크래치는 연속된 프레임에서 나타나고 밝거나 어두운 명암의 수직의 직선의 형태로 보여진다. 블로치는 하나의 프레임에서 불연속적으로 발생하며 임의의 형태와 크기가 밝거나 어두운 점들로 나타난다. 즉, 스크래치와 블로치들은 각각 시공간적 범위에서 불연속적의 특성을 기반으로, 후보지역을 먼저 추출한다.
스크래치 검출기(220)는 스크래치 후보지를 검출할 수 있다. 스크래치는 수직 방향으로 밝거나 어두운 명도의 수직선으로 쉽게 보이기 때문에 Edge 검출기를 스크래치의 검출에 사용할 수 있다. 주어진 입력영상에 Edge 추출을 위해 Prewitt 마스크를 먼저 적용한다.
도 3 은 추출된 후보 스크래치 영역을 보여준다. 도 3 의 (a)는 오래된 영화인 "Knight", "Afrique du sud"의 원본 프레임이다. 도 3 의 (b)에서 볼 수 있듯이, Edge 검출은 간단히 스크래치의 후보지를 찾을 수 있다.
상기 블로치 검출기(210)(SROD 검출기)를 통한 후보지 검출은 공간적 불연속성을 가지는 스크래치와는 달리, 블로치는 영화영화 필름에서 한 프레임에서만 발생하는 시간적 불연속성을 가진다. 그러므로 블로치 후보지역은 연속되는 프레임에서의 모션 정보를 통해 정의할 수 있다 그러나, 모션정보는 많은 계산시간이 필요하다. 따라서, 연속된 프레임들 간의 명도차이를 통해 간단히 블로치를 구분하는 SROD(simplified rank ordered difference) 검출기를 사용한다.
I(x)를 현재 프레임의 픽셀 x의 명도라고 하고, r(x)를 시간적으로 이웃하는 픽셀 x(도 4 참조)의 명도라고 가정하면, 최대 명도와 최소명도는 r(x)로부터 계산된다.
즉,
Figure pat00001
이 값들을 사용하여 SROD는 이미지를 블로치 영역과 비블로치가 영역으로 다음 [수식 1]과 같이 구분한다.
[수식 1]
Figure pat00002

도 3의 (c)는 "afrique du sud"에 원본 영상이고, 도 3의 (d)는 SROD 검출기를 통해 추출된 블로치 후보지 검출 결과의 예이다. 마찬가지로 도 3 의 (b)에서 제거해야 하는 많은 오검출을 포함하고 있다.
첫 번째 단계인 후보영역 검출단계에서 비교적 간단하고 효과적으로 스크래치와 블로치를 찾는 반면, 또한 많은 오검출을 포함하고 있다. 그러므로 실제 손상영역을 오래된 장면에서 분류하는 검증단계가 요구된다.
인간의 수작업 없이 모든 종류의 스크래치를 정확히 검출하기 위해서, 제1텍스처 검증기(240) 및 제2텍스처 검증기(250)의 텍스처정보를 이용한 신경망(230) 기반의 텍스처 분류와 형태메모리에 저장된 형태 정보를 이용하여 형태 필터기(270)로 필터링한다.
먼저 텍스처분류를 위해 영상에서 스크래치와 비스크래치를 분류하는 텍스처 분류기로 신경망(230)(NNs)을 사용한다. 이때, 신경망(230)은 NㅧM 에에 윤곽선과 이웃하는 픽셀에 밝기 값을 받는다(이는 도 5 의 (a)에서 보여준다). 실험에서는 5ㅧ15 사이즈에 윈도우를 선택했다.
제2텍스처 검증기(250)는 상기 신경망(230)을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 스크래치인지 여부를 검증한다. 도 5의 (c)에서 보이듯이, 출력노드는 0과 1 사이의 2개의 실수의 벡터로 표현된다. 첫 번째 노드 값이 두 번째의 노드 값보다 크면 윈도우의 가운데 화소는 스크래치 클래스로 분류되고 그렇지 않으면 비스크래치 클래스로 분류된다. 스크래치(edge 검출기)로 생성된 모든 Edge 픽셀들을 신경망(230)은 스크래치와 비스크래치로 분류한다.
텍스처 분류 결과에서, 높은 빈도와 대비를 갖는 손상영역은 스크래치 영역으로 오분류된다. 형태 필터기(270)는 상기와 같이 오분류된 스크래치 영역을 제거하기 위해 형태 메모리(260)에 저장된 형태정보를 이용한다. 스크래치는 보통 길고 얇은 수직형태의 선으로 나타나게 되며, 그 최소 길이는 거의 3∼5 픽셀이다. 이 특성에 기반하여, 다음의 세 가지 구조적 요소들이 정의된다.
[수식 2]
Figure pat00003

여기서, X는 'don't care'변수이며, D는 입력 이미지의 해상도에 의해 정의되는 변수이다. 고해상도의 경우 1로 지정하며, 그렇지 않은 경우 0으로 지정한다. 여기서 BH는 수평적 요소의 검출을 위한 요소가 되고, BL(or BR)은 대각선 요소의 검출을 위한 요소이다. 이 구조적 요소들의 형태적 연산을 통해 오분류된 손상 영역을 제거한다.
N을 신경망(230)의 분류결과로 가정하면, 형태 필터링 결과 S는 다음과 같은 [수식 3]의 사용을 포함한다.
[수식 3]
Figure pat00004
Figure pat00005
는 모포롤지 연산의 닫힘(closing)연산이다.
이 단계에서 검출된 오분류 영역은 제거되고, 오직 수직선만 남아있다. 그리고 이 수직선들은 바로 손상 영역이 된다. 그 후, 작은 영역들은 노이즈로 간주되고 제거된다.
제1텍스처 검증기(240)는 텍스처 특성을 이용한 블로치를 검증한다. 영상에서 블로치는 임의의 형태와 크기를 가지며, 밝거나 혹은 검은 점들로써 나타난다. 그러므로 오직 텍스처 정보만이 오검출을 제거하는데 사용된다. 제1텍스처 검증기(240)는 제2텍스처 검증기(250)처럼 신경망(230), 형태메모리, 형태 필터기(270)를 이용하여 스크래치 검증 대신에 블로치 검증을 한다. 이때, 신경망(230)은 입력 이미지 sub-region의 특징을 분석하여 이미지 픽셀을 블로치와 비블로치로 구분짓는 필터로써 사용된다.
도 3의 (d)에서 보이듯이, 블로치 검출기(210)(SROD 검출기)는 이진(Binary)영상을 생성한다. 이때 '1'은 블로치 픽셀을, '0'은 비블로치 픽셀을 나타낸다. 이진 영상에서, 첫 번째로 연결 성분 분석을 통해 레이블링을 적용하여, 오브젝트들을 생성한다. 그 후, 각각의 오브젝트들은 신경망(230) 기반의 분류기의 입력하기 위해 15ㅧ15크기에 맞추어 정규화 된다. 그림 5(b)와 같이 입력 윈도우에 형태에 해당하는 픽셀의 명암 값만 사용한다. 그러므로 일반적인 실행을 향상시키고 분류과정의 속도를 높인다. 분류의 결과에 따라, 이진 영상은 하얀색의 손상 픽셀로 분류하고 검은색은 비 손실로 분류한다.
그리고, 형태 메모리(260)는 해당 영화 필름에서 스크래치 및 블로치의 형태로 형태 필터기(270)에서 판단되는 경우, 스크래치 및 블로치의 형태를 형태 메모리(260)에 저장하여 해당 영화 필름에서 주로 발견되는 스크래치 및 블로치의 형태를 이용하여 해당 영화 필름의 스크래치 및 블로치의 검출이 종료될 때까지 사용할 수 있도록 하여 지속적인 자기 업데이트를 가능하도록 할 수 있다.
도 6은 손상된 영역의 검출 결과를 보여준다. 도 6 의 (a)는 스크래치를 위한 텍스처 분류결과를 보여주며, 도 6 의 (b)는 형태 필터링 결과를 보여준다. 그림 도 7 의 (b)에 보이듯이 수직의 성분을 제외한 오검출 영역이 필터링 되어진다. 도 6의 (c) 은 도 3으로부터의 확인결과를 나타낸다. 도 6 의 (d)에서 볼 수 있듯이, 모든 종류의 손실은 정확히 검출된다.
2. 손상검출부의 실험결과
실험에서 "Knight", "Sit-down", "Afrique du sud", "Avant tierce" 그리고 "태권-V"같은 유명한 오래된 영화들과 애니메이션으로부터 다양한 종류의 손상영역들을 수집하였다. 이 영화 및 애니메이션에는 표 1에 기술된 다양한 손상영역을 가지고 있다. 제안된 방법의 성능평가를 위해 Joyeux의 방법과 비교하였다.
실험을 위해 손상영역을 가진 영상들 중 1019개의 손상영역을 수동으로 선택한 후, 손상영역 픽셀들을 검출하여 손상영역 클래스로 할당하였다. 이중 215개의 손상영역은 학습을 위해 이용하였고, 나머지 794개의 손상영역들은 테스트에 사용하였다. 신경망(230)에서, 은닉층은 특징 추출 모듈로 수행하였고, 은닉층의 수는 실험에 다양한 개수로 실험하였으며, 그 중 오검출이 가장 적었던 은닉층의 수로 결정되었다(스크래치 분류기는 18개와 블로치 분류기는 20개).
[표 1] 실험에서 사용한 손상영역의 종류별 데이터 개수
Figure pat00006
표 1은 제안된 방법의 평가를 위해 사용된 794개의 손상영역을 그 요인에 맞추어 요약한 것이다. 스크래치에 경우 가장 빈번하게 나타나는 positive 스크래치와 다른 방법에서는 검출률이 낮았던 secondary 스크래치를 더 많이 사용하였다. 블로치 경우 이전에 연구에서 오검출이 높았던 dust를 많이 사용하였다. 제안된 방법은 다양한 손상요인들을 검출하기 위해서 개발되어졌다. 이를 증명하기 위해서 실험데이터의 분포를 표 1과 같이 구성하였다.
그림 7은 오래된 영화인 "Sit-down"을 제안된 방법 적용한 예를 보여준다. 그림 7(a)는 입력 장면의 현재 프레임을 보여준다. 그림 7(b), (c)에서는 제안된 방법에 의해 검출된 스크래치와 블로치를 보여준다. 그림 7(e) 는 Joyeux방법의 검출 결과를 보여준다. Joyeux방법은 principal 스크래치는 검출할 수 있었으나, secondary 스크래치는 검출할 수 없었다. 블로치의 경우 dust를 검출 할 수 없었다. 그러나 그림 7(d)에서 확인할 수 있는 것처럼, 제안된 방법이 다양한 종류(예. 스크래치와 블로치)의 손상을 검출할 수 있었다.
그림 8은 애니메이션인 "태권-V"에 제안된 방법을 적용한 예를 보여준다. 애니메이션은 많은 인위적인 직선을 가지고 있다. 그림 8(a)는 입력 영상의 현재 프레임을 보여준다. 그림 8(b), (c)에서는 제안된 방법에 의해 검출된 스크래치와 블로치를 보여준다. 그림 8(e)는 Joyeux 방법의 검출 결과이다. Joyeux 방법은 블로치의 경우 hair는 검출할 수 있으나, dirt를 검출할 수 없었다. 또한 많은 인위적인 선을 손상요인으로 오검출하였다. 하지만, 그림 8(d)에서 보이듯이, 제안된 방법은 애니메이션에 서도 오검출을 줄이며 좋은 성과를 보였다.
제안된 방법의 성능을 평가하기 위해 정확도(recall)와 정밀도(precision)에 적용하여 측정하였다. 정확도와 정밀도는 다음 [수식 4]와 같이 정의된다.
[수식 4]
Figure pat00007
표 2에서 보이듯이 제안된 방법은 평균적으로 정확도은 81%로 보였으며, 정밀도는 79%를 보였다. 스크래치의 경우 오검출을 많이 줄일 수 있었으며, 블로치의 경우 기존의 방법들과는 다르게 다양한 타입을 검출할 수 있었다.
[표 2] 실험 결과
Figure pat00008
따라서, 오래된 영화와 만화영화의 영상기록물에서 자동적으로 다양한 종류의 손실(예. 스크래치와 블로치)를 검출하는 방법을 제안하였다. 제안된 방법은 오래된 영화와 만화영화에서 실험하였다. 실험 결과 제안된 방법을 통해 다양한 종류의 스크래치를 찾을 수 있고 상업적인 사용의 가능성을 잠재하고 있다는 것이 검증하였다.
3. 손상복원부
상기 손상복원부(300)는 상기 손상검출부(200)로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될 때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력한다.
영상의 복원은 Bayesian 접근법에서 사후확률 최대화 기준(Maximum a Posteriori: MAP framework)을 사용하여 정형화 된다. 따라서 복원은 사후에너지함수의 최소화로 표현되고, 이 때 사후에너지 함수는 다음과 같이 정의되어진다.
[수식 5]
Figure pat00009

[수식 5]의 U(x)와 V(y│x)는 각각 [수식 6]과 같이 주어진다.
[수식 6]
Figure pat00010
여기서 xs는 영상 사이트 s에서의 컬러 값을 나타내고, xt는 xs와 인접한 화소를 나타낸다. 그리고 ys c와 ys p는 각각 현재 프레임과 이전프레임의 관측영상에서 사이트 s에 대응하는 화소에서의 컬러 값을 나타낸다. 그리고 a, ap, ac와 δ, δc, δp는 파라미터 값으로 실험에 의해서 정의된다.
즉 영화 복원문제는 [수식 6] 에너지 함수에서 E(x)를 최소화하는 것으로 정형화 된다. 사후에너지 함수의 최소화는 분산 유전자 알고리즘 (distributed genetic algorithm: DGA)을 사용하여 독립적으로 진화하는 염색체의 모집단에 의해 수행된다. 각 염색체는 하나의 화소에 할당되고, 컬러 특징벡터로 이루어진다. 염색체들은 초기화 후, 종료조건에 부합될 때까지 선택, 교접, 돌연변이를 반복수행하여 진화한다. 이러한 과정을 통해 염색체의 레이블은 안정적인 해로 수렴이 되고, 이때 얻은 컬러 결과가 복원 결과로 간주된다.
4. 실험결과
영화 필름 복원 방법의 효율성을 증명하기 위해서 다양한 영상에서 실험이 이루어 졌으며, 그 결과는 기존의 방법들과 비교 분석 되었다. 영화 데이터로 "Knight", "Sit-down", "afrique du sud", "Avanttierce" 등이 사용되었다. 이러한 데이터들은 다양한 스크래치와 블러치 등을 가지고 있다. 그리고 비교 분석을 위해 채택된 방법은 Lee et al.의 방법과 Joyeus et al.의 방법이 채택되었다.
제안된 방법의 DGA 파라미터는 다음과 같다. 스크래치의 모집단은 현재 프레임에서 27개의 개체로, 블러치의 경우 이전 프레임에서 9개와 현재 프레임에서 9개로 총 18개의 개체로 구성된다. 교접확률은 0.5, 돌연변이 확률은 0.01로 종료 조건을 위하여 최대 반복세대수는 500번, 안정도 기준 값은 0.04로 안정도 도달 횟수는 4로 고정되었다.
도 9 는 오염된 영상의 복원 결과이다. 도 9 (a)는 영화 "Knight"와 "avant tierce"에 원 영상을 보여준다. 도 9 (b)는 Joyeux et al.의 이용한 복원 결과이고, 도 9 (c)는 Lee et al.의 복원 결과이며, 도 9 (d)는 제안된 방법을 이용한 결과이다. 시각적으로 비교하였을 때, 여러 복원 방법들 중 제안된 GA 복원결과가 가장 좋았다. 기존의 방법을 사용한 경우, 복원해야할 영역을 정확하게 주어졌을 경우에는 좋은 결과를 가져올 수 있지만, 도 9 (c)와 같은 경우 이미지에 경계부분이 아닌 부분은 복원이 잘 됐지만 정확하지 않은 일정 영역이 주워졌을 때 경계면에서 영역의 손실을 가져왔다.
다양한 영상에 적용한 결과 평균적으로 스크래치와 블러치는 각각 88, 92번의 세대 후에 수렴하고, 각가 0.7769, 0.59(.sec)의 시간이 필요 하다. 따라서 결과적으로 제안된 시스템은 기존의 방법에 비해 더 정확하게 실시간으로 복원 할 수 있다.
이하, 본 발명의 일실시예에 따른 영화 필름 손상 검출 방법에 대해서 설명한다.
영화 필름 손상 검출 방법은 도 10 에 도시된 바와 같이 입력부(100)가 영화 필름의 영상을 입력받는 과정(S100), 손상검출부(200)가 상기 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출하는 과정(S200) 및 손상복원부(300)가 상기 손상검출부(200)로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력하는 과정(S300)를 포함한다.
구체적으로 상기 S200 과정은 상기 입력부(100)로부터 입력받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출하는 단계(S210), 영화 필름의 영상 중에서 일정한 크기의 픽셀에 대한 밝기값을 측정하는 신경망(230)을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 블로치 및 스크래치 인지 여부를 검증하는 단계(S220) 및 사전에 저장된 스크래치 및 블로치의 형태정보를 이용하여 노이즈를 제거하여 손상복원부(300)로 전송하는 단계(S230)을 포함하여 영화 필름의 영상 중에서 손상된 부분을 정확하게 검출할 수 있도록 한다. 참고로, 상기 영화 필름 손상 검출 방법의 알고리즘은 앞서 설명한 방법과 같다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100 : 입력부 200 : 손상검출부
210 : 블로치 검출기 220 : 스크래치 검출기
230 : 신경망 240 : 제1텍스처 검증기
250 : 제2텍스처 검증기 260 : 형태 메모리
270 : 형태 필터기 300 : 손상복원부

Claims (10)

  1. 영화 필름의 영상을 입력받는 입력부;
    상기 입력부로부터 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출하는 손상검출부; 및
    상기 손상검출부로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될 때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력하는 손상복원부; 을 포함하는 것을 특징으로 하는 영화 필름 손상 복원장치.
  2. 제 1 항에 있어서,
    상기 손상검출부는,
    상기 입력부로부터 입력받은 영화 필름의 영상에서 블로치 후보군을 검출하는 블로치 검출기;
    상기 입력부로부터 입력받은 영화 필름의 영상에서 스크래치 후보군을 검출하는 스크래치 검출기;
    영화 필름의 영상 중에서 일정한 크기의 윤곽선과 이웃하는 픽셀에 대한 밝기값을 측정하여 신경망;
    상기 신경망을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 블로치인지 여부를 검증하는 제1텍스처 검증기;
    상기 신경망을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 스크래치인지 여부를 검증하는 제2텍스처 검증기;
    스크래치 및 블로치의 형태 정보를 저장하는 형태 메모리; 및
    상기 형태 메모리의 형태정보를 이용하여 노이즈를 제거하는 형태 필터기; 를 포함하여 이루어지는 것을 특징으로 하는 영화 필름 손상 복원장치.
  3. 제 2 항에 있어서,
    상기 블로치 검출기는 이진 영상을 생성하여 블로치를 검출하는 것을 특징으로 하는 영화 필름 손상 복원장치.
  4. 제 2 항에 있어서,
    상기 블로치 검출기는 현재 프레임의 특정 픽셀의 명도와 사건적으로 이웃하는 상기 특정 픽셀의 명도를 이용하여 블로치를 검출하는 것을 특징으로 하는 영화 필름 손상 복원장치.
  5. 제 2 항에 있어서,
    상기 형태 메모리는
    해당 영화 필름에서 스크래치 및 블로치의 형태로 형태 필터기에서 판단되는 경우, 스크래치 및 블로치의 형태를 형태 메모리에 저장하는 것을 특징으로 하는 영화 필름 손상 복원 장치.
  6. (a) 입력부가 영화 필름의 영상을 입력받는 과정;
    (b) 손상검출부가 상기 입력 받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출한 후 영화 필름의 영상 중에서 일정한 크기의 범위를 지정하여 입력 노드의 값과 출력 노드의 값의 차이를 이용하여 블로치 및 스크래치인지 여부를 검증하고, 사전에 설정된 스크래치 및 블로치의 형태 정보를 이용하여 일정한 크기의 범위에서 노이즈를 제거하여 영화 필름의 영상 중에서 손상된 부분을 검출하는 과정; 및
    (c) 손상 복원부가 상기 손상검출부로부터 출력된 영상정보를 초기화 및 매칭한 후 종료조건에 부합될 때까지 선택, 돌연변이, 교접을 반복실시 하여 손상된 영상정보를 복원시킨 후 출력하는 과정; 을 포함하는 것을 특징으로 하는 영화 필름 손상 복원 방법.
  7. 제 6 항에 있어서,
    상기 (b) 과정은,
    (b-1) 상기 입력부로부터 입력받은 영화 필름의 영상에서 블로치 후보군 및 스크래치 후보군을 검출하는 단계;
    (b-2) 영화 필름의 영상 중에서 일정한 크기의 픽셀에 대한 밝기값을 측정하는 신경망을 이용하여 입력 노드의 값과 출력 노드의 값의 차이에 따라 블로치 및 스크래치 인지 여부를 검증하는 단계; 및
    (b-3) 사전에 저장된 스크래치 및 블로치의 형태정보를 이용하여 노이즈를 제거하여 손상 복원부로 전송하는 단계;를 포함하는 것을 특징으로 하는 영화 필름 손상 복원 방법.
  8. 제 6 항에 있어서,
    상기 (b) 과정은,
    이진 영상을 생성하여 블로치를 검출하는 것을 특징으로 하는 영화 필름 손상 복원 방법.
  9. 제 6 항에 있어서,
    상기 (b) 과정은,
    현재 프레임의 특정 픽셀의 명도와 사건적으로 이웃하는 상기 특정 픽셀의 명도를 이용하여 블로치를 검출하는 것을 특징으로 하는 영화 필름 손상 복원 방법.
  10. 제 6 항에 있어서,
    상기 (b) 과정은,
    형태 정보는 해당 영화 필름에서 스크래치 및 블로치의 형태로 형태 필터기에서 판단되는 경우, 스크래치 및 블로치의 형태를 형태 정보에 저장하는 것을 특징으로 하는 영화 필름 손상 복원 방법.

KR1020110142922A 2011-12-27 2011-12-27 영화 필름 손상 복원장치 및 그 방법 KR20130074860A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110142922A KR20130074860A (ko) 2011-12-27 2011-12-27 영화 필름 손상 복원장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110142922A KR20130074860A (ko) 2011-12-27 2011-12-27 영화 필름 손상 복원장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20130074860A true KR20130074860A (ko) 2013-07-05

Family

ID=48988841

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110142922A KR20130074860A (ko) 2011-12-27 2011-12-27 영화 필름 손상 복원장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20130074860A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021926A (zh) * 2017-09-28 2018-05-11 东南大学 一种基于全景环视系统的车辆刮痕检测方法及系统
KR20190024636A (ko) * 2017-08-30 2019-03-08 한국과학기술원 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치
US10853977B2 (en) 2017-08-30 2020-12-01 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing image using extended neural network
CN117689677A (zh) * 2024-02-01 2024-03-12 山东大学日照研究院 一种砂轮磨损状态识别方法、系统、设备及介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190024636A (ko) * 2017-08-30 2019-03-08 한국과학기술원 확장된 뉴럴 네트워크를 이용한 영상 복원 방법 및 장치
US10853977B2 (en) 2017-08-30 2020-12-01 Korea Advanced Institute Of Science And Technology Apparatus and method for reconstructing image using extended neural network
CN108021926A (zh) * 2017-09-28 2018-05-11 东南大学 一种基于全景环视系统的车辆刮痕检测方法及系统
CN117689677A (zh) * 2024-02-01 2024-03-12 山东大学日照研究院 一种砂轮磨损状态识别方法、系统、设备及介质
CN117689677B (zh) * 2024-02-01 2024-04-16 山东大学日照研究院 一种砂轮磨损状态识别方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
Santra et al. Learning a patch quality comparator for single image dehazing
JP4746050B2 (ja) ビデオデータを処理するための方法及びシステム
Huang et al. Highly accurate moving object detection in variable bit rate video-based traffic monitoring systems
JP5036580B2 (ja) ブースト分類器を新たなサンプルに対して適応させる方法
EP1995691B1 (en) Method and apparatus for segmenting a motion area
US8649599B2 (en) Image processing apparatus, image processing method, and program
JP5159677B2 (ja) ビデオ・ストリーム内での放置対象および除去済み対象の検出方法およびコンピュータ・プログラム、コンピュータ・システム
KR101471199B1 (ko) 영상을 전경과 배경으로 분리하는 방법 및 장치, 영상을전경과 배경으로 분리하여 배경을 대체하는 방법 및 장치
US20080101653A1 (en) Method And System For Object Detection In An Image Plane
KR20190028103A (ko) 비관심 객체에 대한 마스크 처리 방법 및 그 장치
KR20130074860A (ko) 영화 필름 손상 복원장치 및 그 방법
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
KR20050085355A (ko) 분할된 이미지로부터 폴스 엣지들을 제거하는 방법 및 장치
CN114881869A (zh) 一种巡检视频图像预处理方法
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
Janardhana Rao et al. Hybridized cuckoo search with multi-verse optimization-based patch matching and deep learning concept for enhancing video inpainting
Hsu et al. Blurred image detection and classification
Culibrk Neural network approach to Bayesian background modeling for video object segmentation
Yang et al. K3dn: Disparity-aware kernel estimation for dual-pixel defocus deblurring
KR101617428B1 (ko) 디지털 영상에서 손상 영역을 검출하는 방법 및 장치
CA2780710A1 (en) Video segmentation method
Ren et al. Segmentation-assisted detection of dirt impairments in archived film sequences
He et al. Single image dehazing using non-local total generalized variation
Kim et al. Automatic restoration of scratch in old archive
Ali et al. A joint image dehazing and segmentation model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application