KR100657280B1

KR100657280B1 - 신경망을 이용한 이미지 순차주사화 방법 및 장치

Info

Publication number: KR100657280B1
Application number: KR1020040080339A
Authority: KR
Inventors: 김영택; 왕시앙린
Original assignee: 삼성전자주식회사
Priority date: 2003-12-12
Filing date: 2004-10-08
Publication date: 2006-12-14
Also published as: US20050129306A1; KR20050059407A

Abstract

본 발명은 비디오 이미지 처리 방법 및 장치에 관한 것으로서, 특히 비디오 이미지의 에지(edge) 방향에 근거하여 선택된 신경망의 이용을 통하여 비월주사 비디오 필드의 생략된 주사선을 보간함으로써 순차주사화된 비디오 이미지로 변환시키기 위한 신호처리 방법 및 장치에 관한 것이다.

본 발명에 따른 이미지를 공간적으로 보간하기 위한 방법은 이미지의 보간 값을 제공하기 위하여 복수의 다른 에지 방향 각각에 대하여 제공된 신경망을 이용하는 단계를 포함함을 특징으로 한다.

Description

신경망을 이용한 이미지 순차주사화 방법 및 장치{Method and apparatus for image deinterlacing using neural networks}

도 1은 에지 방향이 명확하게 정의되는 뚜렷한 에지를 갖는 이미지의 각각의 샘플들을 도시한 것이다.

도 2는 본 발명에 따른 이미지 순차주사화 시스템에 근거한 에지 방향 검출 및 신경망에 대한 기능적인 블록도이다.

도 3은 비월 이미지 필드의 일부 및 위치를 정의하는 복수의 픽셀, 즉 에지 방향이 검출되어질 필요가 있는 픽셀들을 도시한 것이다.

도 4는 몇몇의 에지 방향 및 다른 에지 방향을 나타내는 숫자 도식을 도시한 것이다.

도 5A 및 5B는 에지 방향을 찾기 위한 벡터 상관 방법에 사용되는 벡터들의 2가지 다른 예를 도시한 것이다.

도 6은 (수직 라인에 관하여) 대칭인 에지 방향들에 동일한 신경망이 이용될 수 있도록 미러 작용된 데이터를 생성시키도록 수직 라인에 대하여 미러 작용 후의 이웃한 픽셀들의 원래의 데이터 세트를 도시한 것이다.

도 7은 신경망 보간기에서 이용되는 이웃하는 샘플들 또는 픽셀들의 세트의 예를 도시한 것이다.

도 8은 본 발명의 일 실시 예에서의 신경망 보간기로 이용될 수 있는 선형 신경망의 예를 도시한 것이다.

도 9는 본 발명의 일 실시 예에서의 신경망 보간기를 트레이닝하기 위한 시스템 블록도를 도시한 것이다.

도 10은 신경망의 보간 능력을 초과하는 수직적 고주파 성분들을 제거하기 위하여 트레이닝 이미지를 필터링하는데 이용되는 저역 통과 필터의 주파수 응답의 일예를 도시한 것이다.

도 11은 본 발명의 신경망 보간기가 현대 보간 방법과 관련되어 검출된 에지 방향에서의 에러 또는 부정확성에 대하여 보다 덜 민감하고 보다 더 강건해지는 이유를 설명하기 위한 보간되는 필드의 예를 보여준다.

텔레비전 및 비디오 모니터 위에 표시하기 위한 비월주사 비디오 이미지는 잘 알려져 있다. 비월주사는 예를 들면, NTSC(National Television System Committee) 및 PAL(Phase Alternation by Line) 규격에 따라서 동작되는 텔레비전 및 모니터에 사용되는 프로세스이다.

비월 비디오(interlaced video)는 다중 라인들을 포함하고, 이들 다중 라인들은 비월주사 비디오가 디스플레이될 때, 전형적으로 우선 이미지의 홀수 라인들이 스크린의 위로부터 아래까지 형성되고, 이어서 비슷한 사양으로 교대로 짝수 라인들이 형성된다.

비월주사는 무선 주파수 스펙트럼의 텔레비전 방송 할당에 이용할 수 있는 제한된 대역폭 때문에 텔레비전 시스템에 처음 도입되었다. 이미 알려진 바대로, 비월주사 이미지는 비-비월주사 이미지보다 방송을 위하여 실질적으로 적은 무선 주파수 대역을 필요로 한다.

그러나, 현대 컴퓨터 디스플레이 및 텔레비전들에 있어서, 대역폭의 제한을 강제하지는 않는다. 많은 시청자들은 비-비월 비디오(non-interlaced video)가 비월 비디오에 비하여 시각적으로 우월하다고 믿는다. 그리고, 일부 시청자들은 비-비월 비디오 이미지가 보다 해상도가 높고 깜박이는 현상이 적다는 것을 알고 있다. 그러므로, 비-비월 비디오가 선호되고 있다.

예로서, 전형적으로 이미지를 비-비월 규격으로 디스플레이시키는 디지털 TV 시스템에 있어서, 입력 비디오는 많은 다른 규격을 가질 수 있으며, 즉 비월 또는 비-비월 규격이 될 수 있다. 비-비월 이미지를 디스플레이시키기 위하여 비월 이미지를 비-비월 이미지로 변환시키기 위하여 순차주사화 프로세스(deinterlacing process)가 이용된다. 또한, 이는 비-비월 규격으로 컴퓨터 모니터 위에 비디오 이미지를 디스플레이시키는데 바람직하다. 그래서, 만일 입력 비디오 신호가 비월 규 격인 경우에는 비-비월 규격으로 입력 비디오 신호를 변환시킬 필요가 있다.

비월 비디오 이미지 필드를 순차주사화시키기 위하여 현 필드의 스캔(scan) 라인(이를테면, 홀수 스캔 라인) 사이에 필드의 생략된 스캔 라인(이를테면, 짝수 스캔 라인)들이 반드시 생성시켜야 한다.

생략된 스캔 라인들을 생성시키기 위하여 다양한 방법들이 이용될 수 있다. 비월 비디오 이미지를 순차주사화시키기 위한 종래의 방법으로는 라인 중복 방식(line doubling method), 공간 보간 및 공간 보간과 시간 보간을 결합하는 방식 등이 있다.

라인 중복 방식이 이용될 때, 주어진 스캔 라인으로 이웃하여 생략된 스캔 라인을 단지 복사하게 된다. 그러나, 이 방식은 일반적으로 매우 만족한 결과를 제공하지 못한다. 라인 중복 방식에 의하여 형성된 순차주사 이미지의 실제 해상도는 원래의 비월 이미지의 해상도보다 좋지 않다. 이러한 순차주사 이미지의 시각적 또는 외견상 해상도만이 원래의 비월 이미지에 비하여 조금 나아진다.

순차주사화를 위하여 공간 보간이 이용될 때, 현재 스캔 라인들에 포함된 정보를 이용하여 생략된 스캔 라인들을 생성시킨다. 그래서, 공간 보간에서는 동일한 필드에 있는 샘플들만이 생략된 스캔 라인들을 생성시키도록 새로운 픽셀들에 대한 값들을 평가하는데 이용된다(그렇지 않다면 시간 보간의 약간 양이 포함된다).

그러므로, 이미지 필드에서 이웃하는 샘플 값들 중에서 상관성으로 인하여, 새로운 픽셀의 값은 그것에 이웃한 픽셀들의 값에 근거하여 평가된다. 일반적으로, 보간은 새로운 픽셀에 대한 보간 값으로 이웃하는 샘플 값들의 가중 평균을 계산함 으로써 실행된다.

예를 들어, 생략된 스캔 라인에 픽셀을 생성시키기 위하여 현 스캔 라인에서 생략된 픽셀에 인접한 픽셀들의 값(휘도 값 또는 칼라 값)들을 평균한다. 생략된 픽셀에서 가까운 픽셀들은 생략된 픽셀로부터 먼 픽셀들보다 많은 가중치를 준다. 평균된 값들은 이미지의 비월주사화 이전에 생략된 픽셀들의 원하는 값에 근접된다. 그래서, 보간 프로세스는 원래의 비-비월 이미지를 재생시키게 된다.

비슷하게, 시간 보간은 생략된 스캔 라인들의 필드에 대한 이전 및 다음 필드로부터의 정보를 이용하여 생략된 스캔 라인들을 생성시킨다. 이에 따라서, 생략된 픽셀의 값은 생략된 픽셀을 포함하는 필드의 이전/다음 필드의 동일 위치의 픽셀 값들의 평균값으로 결정될 수 있다. 예를 들어, 짝수 필드에서 생략된 픽셀을 생성시키기 위하여 이들 필드 사이의 2개의 홀수 필드들로부터 해당 픽셀에 대응되는 값들을 평균한다.

더욱이, 시간 정보만으로는 항상 적합한 보간 결과를 생성시키지는 못한다. 이에 따라서, 시간 정보가 부적당할 때, 공간 보간이 종종 사용된다. 그래서, 이용되는 이미지 보간의 타입에 관계없이, 좋은 공간 보간 방법은 디지털 TV 시스템과 같은 응용 기기에서 원하는 전반적인 비디오 순차주사화 품질을 달성하기 위하기 위하여 필수적이다.

연속하는 비디오 신호의 순차주사화를 위하여 공간 및 시간 정보를 동시에 이용하는 종래의 기술에 의한 이미지 보간 방법을 공간-시간(spatio-temporal) 방법이라 칭한다.

비록 종래의 기술에 의한 보간 방법이 일반적으로 이미지 확장 목적에 적합하지만, 공통적으로 부딪치는 문제는 원하지 않게 이미지 에지(edge)가 열화되는 것이다. 이는 보간되거나 또는 순차주사화된 이미지에서 거칠거나 흐려지는 에지로 종종 관찰된다. 이러한 열화는 비디오 이미지의 사선 에지에서 흔히 계단 형상으로 나타난다.

이러한 이미지 열화를 완화시키기 위하여 종래의 기술에 의한 방법은 새로운 픽셀의 위치에서 검출된 에지 방향으로 따라서 새로운 픽셀을 보간한다. 만일 정확한 이미지 방향이 새로운 픽셀에서 검출되면, 픽셀의 값은 단지 에지 방향을 따라서 이웃하는 샘플들 값의 가중 평균으로 보간된다. 결과적으로, 보간된 이미지의 에지는 에지 방향을 따라서는 보다 부드러워지고 에지 방향을 가로질러서는 보다 예리해진다. 그래서, 에지 품질은 보간된 이미지에서 보다 좋게 유지된다.

그러나, 이러한 종래의 기술에 의한 보간 방법들은 에지 방향이 정확하게 검출되는 것을 필요로 한다. 만일 에지 방향이 틀리게 또는 부정확하게 검출되면, 검출된 방향에 따른 보간은 보간된 이미지에서 눈에 거슬리는 품질 문제를 발생시킬 수 있다. 더욱이 현대의 에지 방향 검출 방법들은 본질적으로 원하는 것만큼 정확하지 못한다.

이에 따라서, 비록 종래의 기술이 제한된 범위에서 알려져 있지만, 비디오 이미지를 정확하게 순차화주사 시키는 문제를 해결하는 데는 불충분하다.

본 발명이 이루고자 하는 기술적 과제는 상술한 문제점을 해결하기 위하여 에지 검출이 부정확하더라도 이미지 품질이 유지되도록 이미지를 보간하기 위한 방법 및 장치를 제공하는데 있다.

상기 기술적 과제를 달성하기 위하여 본 발명의 일 실시 예에 의한 이미지 보간 방법은 에지 방향에 대하여 보간을 하도록 신경망을 트레이닝(training)시키고 이미지에서 근사적으로 같은 에지 방향이 결정될 때 보간하기 위하여 트레이닝된 신경망을 이용하여 이미지를 공간적으로 보간함을 특징으로 한다.

본 발명의 다른 실시 예에 의한 이미지 보간 방법은 관련된 에지 방향에 근거한 보간을 위하여 각 신경망들을 트레이닝함으로써 복수의 에지 방향들에 상응하는 복수의 신경망들을 관련지음으로써 이미지를 공간적으로 보간함을 특징으로 한다.

본 발명의 또 다른 실시 예에 의한 이미지 보간 방법은 보간되어질 이미지 내의 위치에서 이미지의 에지 방향을 결정하는 단계, 상기 결정된 이미지 방향에 근거하여 신경망을 선택하는 단계 및 상기 선택된 신경망을 이용하여 상기 위치에서 이미지의 값을 보간하는 단계를 포함함을 특징으로 한다.

바람직하게, 에지 방향을 검출하는 단계는 인접된 스캔 라인들 사이에서 보간되어질 위치의 인접된 픽셀 사이의 벡터 상관을 이용하여 결정하는 단계를 포함한다.

바람직하게, 본 발명은 실행 가능한 에지 방향이 존재하는지 여부를 결정하고, 신경망을 선택하기에 앞서 실행 가능한 에지 방향이 존재하지 않을 때, 실행 가능한 에지 방향이 존재하지 않을 경우 보간하기 위하여 트레이닝된 신경망을 선택하는 단계를 더 포함함을 특징으로 한다.

바람직하게, 신경망을 선택하는 단계는 결정된 에지 방향에 관련된 신경망을 복수의 다른 신경망 중에서 결정하는 단계를 포함함을 특징으로 한다.

다른 버전(version)으로, 바람직하게 신경망을 선택하는 단계는 대칭 에지 방향들에 대하여 공통된 신경망을 쉽게 이용하도록 데이터 세트를 미러(mirror) 작용시키는 단계를 포함함을 특징으로 한다. 데이터 세트는 바람직하게 수직적으로 미러 작용시킨다. 이 방식에서 필요로 되는 신경망의 개수는 반으로 줄어든다.

또 다른 버전으로, 바람직하게 신경망을 선택하는 단계는 하나의 신경 단위를 갖는 실질적으로 선형인 신경망을 선택하는 단계를 포함함을 특징으로 한다. 그러나, 비선형 신경망들을 포함하는 다양한 타입의 신경망들도 또한 본 발명에 적용될 수 있다. 각 신경망들은 또한 어떤 원하는 개수의 신경 단위를 포함할 수 있다.

바람직하게, 복수의 신경망들은 보다 정확하고 신뢰성 있는 보간이 용이해지도록 트레이닝된다. 바람직하게 각 신경망들은 소정의 에지 방향에 대하여 이미지의 값을 보간하도록 트레이닝된다. 그래서, 본 발명의 일 실시 예에 따르면, 각 신경망은 주어진 에지 방향이 존재하는 이미지의 위치에서 이미지의 값을 최상으로 보간시키기 위하여 최적화된다. 이 방식에서. 복수의 다른 신경망들 중의 하나가 특정 에지 방향과 결합되고, 이는 에지 방향이 이미지 내에서 존재하는 경우에 이미지 값을 보간하기 위한 최적의 어울림이 된다.

전술된 결정, 선택 및 보간 단계들은 예를 들어, 2개의 이전 스캔 라인들 사 이의 새로운 스캔 라인을 생성시키기 위하여 원하는 만큼 반복될 수 있다. 그래서, 본 발명에 따른 이미지 보간 방법은 예를 들어 순차주사화를 위하여 이용될 수 있다. 대안으로, 본 발명에 따른 이미지 보간 방법은 순차주사화와는 다른 이미지 해상도 신장(또는 이미지 업-스케일링)에 이용될 수 있다.

본 발명은 다른 타입의 이미지에 이용될 수 있으며, 또한 비디오 이미지의 이용에 제한되지 않는다.

바람직하게, 보간되어지는 비디오 이미지의 위치는 픽셀에 의하여 정의된다. 보간되는 값은 세기, 칼라 또는 보간의 실익이 있는 어떤 다른 값들도 가능하다.

바람직하게, 에지 방향은 보간되어질 가장 가까운 위치의 하나의 스캔 라인으로부터의 벡터와 보간되어질 가장 가까운 위치의 또 다른 스캔 라인으로부터의 벡터의 상관에 의하여 결정된다. 상기 스캔 라인들은 보간되어질 위치의 바로 위/아래의 스캔 라인이다.

보간되어질 위치는 비디오 이미지의 두 스캔 라인 사이가 될 수 있다. 이는 일반적으로 본 발명이 순차주사화를 위하여 이용되는 경우가 될 것이다. 그래서, 위치는 비월 비디오 이미지의 한 필드의 2개의 스캔 라인 사이가 될 수 있다.

본 발명이 순차주사화에 이용될 때, 보간되어질 위치는 비월 비디오 이미지의 2개 스캔 라인 사이의 근사적인 중심점이다. 그래서, 순차주사화 동안에 본 발명은 전체 생략된 스캔 라인을 실질적으로 쉽게 보간할 수 있다.

이미지 값을 보간하는 신경망인 선택된 신경망의 입력은 보간되어질 위치에 대하여 이웃하는 이미지의 일부의 대응 값을 포함한다. 이와 같이, 만일 세기가 보 간되어지면, 선택된 신경망의 입력으로 이미지의 이웃하는 일부의 세기 값들이 공급된다. 바람직하게, 입력들은 보간되어질 위치에서 픽셀에 대하여 이웃하는 픽셀 값들을 포함한다.

바람직하게 에지 방향을 결정하는 단계는 2N+1개 다른 에지 방향 중의 하나를 결정하는 단계 및 N+3개의 신경망 중의 하나를 선택하여 상기 신경망을 선택하는 단계를 포함한다. 특히, N+1개 신경망들은 바람직하게 에지 방향이 결정될 때 보간을 위하여 이용된다. 더욱이, 바람직하게 신경망들 중의 하나가 에지가 존재하고 에지 방향을 결정할 수 없을 때 보간을 위하여 이용된다. 하나의 신경망은 에지 방향을 인지될 수 없을 때 이용된다.

바람직하게, 40에서 80개 샘플들이, 그리고 보다 바람직하게는 60개 샘플들이 신경망의 입력으로 제공된다. 각 샘플들은 보간되어질 가장 가까운 위치의 이미지 내의 위치로부터 취해진 이미지의 값이 포함된다. 바람직하게 각 위치는 픽셀이다.

신경망은 적어도 이미지의 일부분이 그것에 공급됨으로써 트레이닝된다. 신경망의 바이어스(bias) 값은 트레이닝 시작될 때 초기에 0으로 설정된다. 트레이닝 시작될 때 신경망의 모든 입력은 규칙적으로 가중되어 주어진다.

대안으로, 바이어스는 트레이닝 시작될 때 0이 아닌 값 다른 값으로 설정될 수 있으며, 가중 인자들은 트레이닝 시작될 때마다 다르게 될 수 있다. 예를 들어, 이는 이를테면 트레이닝 프로세스의 속도를 높이거나 또는 트레이닝 프로세스 완료 후에 보다 정확한 보간을 수행함으로써 트레이닝 프로세스를 신장시키도록 알려진 이들 파라미터에 대한 특정 시작 값들로 실행된다.

보간을 하는데 신경망의 능력을 실질적으로 초과하는 성분들을 제거하기 위하여 저역 통과 필터링된 이미지 또는 이미지의 일부분이 트레이닝 프로세스 동안에 제공된다.

바람직하게 저역 통과 필터의 차단 주파수는 근사적으로 이미지의 샘플링 주파수의 1/4이 된다.

역 전파 알고리즘(back propagation algorithm)은 트레이닝 프로세스 동안에 신경망의 파라미터들을 가변시키기 위하여 이용된다. 파라미터들은 가중 인자 및 바이어스 값을 포함한다. 바람직하게 역 전파 알고리즘(back propagation algorithm)은 학습 알고리즘으로 최소 평균 제곱(least mean square) 수단을 이용한다.

본 발명의 또 다른 실시 예에 따른 이미지를 공간적으로 보간하기 위한 시스템은 소정의 에지 방향에 대하여 이미지의 값을 보간하도록 각각 배치된 복수개의 신경망; 보간할 이미지 내의 위치에서 이미지의 에지 방향을 결정하도록 배치된 에지 방향 검출기; 및 상기 에지 방향 검출기에 반응하고, 상기 결정된 에지 방향에 근거하여 상기 복수의 신경망 중의 하나를 선택하도록 배치된 신경망 선택기를 포함함을 특징으로 한다.

에지 방향 검출기는 인접된 스캔 라인들 위의 픽셀들 사이의 벡터 상관을 결정함으로써 에지 방향을 결정하도록 배치된다. 에지 방향 검출기는 실행 가능한 에지 방향이 존재하는지 여부를 결정하고, 실행 가능한 에지 방향이 존재하지 않을 때 신경망을 선택하기에 앞서, 실행 가능한 에지 방향이 존재하지 않을 경우 보간하기 위하여 트레이닝된 신경망을 선택하도록 배치된다.

신경망 선택기는 결정된 에지 방향에 관련된 신경망을 복수의 다른 신경망 중에서 결정함으로써 신경망을 선택하도록 배치된다.

에지 방향 검출기는 보간되어질 가장 가까운 위치의 하나의 스캔 라인으로부터의 벡터와 보간되어질 가장 가까운 위치의 또 다른 스캔 라인으로부터의 벡터의 상관에 의하여 결정되도록 배치된다. 상기 스캔 라인들은 보간되어질 위치의 바로 위/아래 스캔 라인들이다.

본 발명의 또 다른 실시 예에 따른 비월 이미지의 2개의 이웃하는 스캔 라인 사이에 생략된 스캔 라인을 보간하는 방법은 생략된 스캔 라인 위의 선택된 포인트에서 이미지의 에지 방향을 검출하는 단계; 상기 검출된 에지 방향에 근거하여 신경망을 선택하는 단계; 및 상기 선택된 포인트에 대하여 보간된 값을 제공하도록 상기 신경망을 이용하는 단계를 포함함을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 비디오 이미지 순차주사화 방법은 비디오 이미지의 필드내의 2개의 인접 스캔 라인들 중앙에 위치한 보간되어질 비디오 이미지내의 위치에서 비디오 이미지의 에지 방향을 결정하는 단계; 상기 결정된 이미지 방향에 근거하여 신경망을 선택하는 단계; 및 상기 선택된 신경망을 이용하여 상기 위치에서 이미지의 값을 보간하는 단계를 포함함을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 비월 이미지의 2개의 이웃하는 스캔 라인들 사이에 생략된 라인을 보간하기 위한 장치는 생략된 라인 위에서 선택된 포인트 에서 이미지의 에지 방향을 검출하도록 배치된 에지 방향 검출기 및 복수의 신경망을 포함함을 특징으로 한다. 바람직하게 각 신경망은 특정의 에지 방향이 검출될 때 생략된 라인에 대한 값을 보간하도록 배치된다.

본 발명의 또 다른 실시 예에 따른 비디오 이미지를 순차주사화시키기 위한 시스템은 복수의 신경망을 포함함을 특징으로 한다. 각 신경망은 소정의 에지 방향에 대하여 비디오 이미지의 값을 보간하도록 배치된다. 에지 방향 검출기는 보간되어질 비디오 이미지 내의 위치에서 이미지의 에지 방향을 결정하도록 배치된다. 신경망 선택기는 에지 방향 검출기에 반응하며, 결정된 에지 방향에 근거하여 신경망들 중의 하나를 선택하도록 배치된다.

본 발명의 또 다른 실시 예에 따른 비디오 이미지 순차주사화 시스템을 포함하는 모니터는 소정의 에지 방향에 대하여 이미지의 값을 보간하도록 각각 배치된 복수개의 신경망; 보간되어질 이미지 내의 위치에서 이미지의 에지 방향을 결정하도록 배치된 에지 방향 검출기; 및 상기 에지 방향 검출기에 반응하고, 상기 결정된 에지 방향에 근거하여 상기 복수의 신경망 중의 하나를 선택하도록 배치된 신경망 선택기를 포함함을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 공간 보간을 위한 방법은 보간되어질 이미지 내의 위치에서 이미지의 에지 방향을 결정하는 단계; 상기 결정된 이미지 방향에 근거하여 신경망을 선택하는 단계; 및 상기 선택된 신경망을 이용하여 상기 위치에서 이미지의 값을 보간하는 단계를 포함함을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 순차주사화 방법은 비디오 이미지의 필드 내의 2개의 인접 스캔 라인들 중앙에 위치한 보간되어질 비디오 이미지내의 위치에서 비디오 이미지의 에지 방향을 결정하는 단계; 상기 결정된 이미지 방향에 근거하여 신경망을 선택하는 단계; 및 상기 선택된 신경망을 이용하여 상기 위치에서 이미지의 값을 보간하는 단계를 포함함을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 신경망 트레이닝 방법은 비-비월 이미지를 공급하는 단계; 비월 이이지 규격으로 이미지를 비월 처리하는 단계; 신경망에 비월 이이미지의 일부분을 공급하는 단계; 비월 이미지 내의 위치에서 비월 이미지에서의 에지 방향을 결정하는 단계; 상기 결정된 에지 방향에 근거하여 신경망을 선택하는 단계; 상기 선택된 신경망을 이용하여 상기 위치에서 비월 이미지의 값을 보간하는 단계; 에러 값을 정의하도록 상기 보간된 값과 비-비월 이미지의 대응 위치에서의 값을 비교하는 단계; 및 상기 에러 값에 근거하여 상기 선택된 신경망을 변경시키는 단계를 포함함을 특징으로 한다.

바람직하게, 위의 비-비월 이미지는 선택된 위치에서 보간된 이미지와 비-비월 이미지를 비교하기 전에 수직적으로 저역 통과 필터링된다.

본 발명의 또 다른 실시 예에 따른 이미지 순차주사화를 위하여 복수의 신경망들을 트레이닝하기 위한 장치는 비-비월 이미지를 비월 이미지로 변환시키도록 배치되고, 비월 이미지를 신경망에 전송하는 비월 변환기; 상기 비-비월 이미지를 수직적으로 저역 통화 필터링하도록 배치된 수직 저역 통과 필터; 상기 신경망으로부터 보간된 값과 상기 수직 저역 통과 필터로부터의 비-비월 이미지의 대응 값을 비교하고, 상기 보간된 값과 상기 대응 값 사이의 차이를 표시하는 에러 신호를 생 성시키도록 배치된 비교기; 및 상기 신경망의 변경이 용이하게 상기 비교기로부터의 에러 신호를 상기 신경망에 전송하도록 배치된 역 전파 경로를 포함함을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명하기로 한다.

본 발명은 순차주사화 및 다른 응용을 위한 믿을 수 있고 정확한 공간 이미지 보간 방법을 제공한다. 특히, 본 발명은 비월 이미지 필드에서 2개의 이웃하는 스캔 라인들 사이에서 에지 방향을 검출하고, 에지 방향과 결합된 신경망을 이용하여 2개의 이웃하는 스캔 라인들의 중심에서 한 개의 생략된 스캔 라인을 보간하기 위한 시스템을 제공한다. 보간을 통하여, 원래의 비월 이미지를 이미지 에지 영역 주변의 현저한 거슬림 또는 품질의 열화 없이 비-비월 이미지로 일반적으로 변환시킬 수 있다.

더욱이, 본 발명은 종래의 기술에 의한 보간 방법과 비교하여 에지 방향 검출 에러에 덜 민감하고 보다 안정적인 이미지 보간 방법에 근거한 에지 방향을 제공한다. 이러한 목적을 달성하기 위하여 신경망이 보간 프로세스에 이용된다. 각각 다른 에지 방향에 대하여 분리된 신경망은 일반적으로 트레이닝되고, 그들의 위치에서 근사적으로 동일한 에지 방향을 갖는 픽셀들을 보간하는데 이용된다.

주어진 비월 이미지에 대하여, 모든 2개의 이웃하는 라인들 사이에 생략된(빠질) 라인이 있다. 순차주사화를 위한 본 발명의 일 실시 예에 따르면, 에지 방향들은 각각의 생략된 라인 안에 있는 픽셀들 위치에서 검출된다. 에지 방향들은 비 월 스캔에서 모든 2개의 이웃하는 스캔 라인들 사이에서 에지 방향이 결정할 수 있는 어떠한 바람직한 방법을 이용하여 검출될 수 있다.

각각 다른 에지 방향은 일반적으로 제공된 신경망과 결합된다. 그러나, (수직 라인에 대하여) 대칭적인 에지 방향들은 아래에 설명된 바와 같이 단순한 미러(mirror) 작용을 이용함으로써 동일한 신경망과 결합될 수 있다.

각각의 신경망으로의 입력들은 새로운 픽셀의 이웃하는 픽셀들의 샘플 값들이다. 신경망으로부터의 출력은 새로운 픽셀의 보간된 값이다.

트레이닝은 표준 테스트 이미지들의 세트(set)에 근거하여 수행된다. 각 트레이닝 이미지는 2개의 비월 이미지 필드로 바람직하게 분리되고, 에지 방향은 이미지 필드에서 모든 2개의 이웃하는 라인들 사이에서 생략된 라인의 위치에서 검출된다. 검출 결과에 근거하여 동일한 에지 방향을 갖는 픽셀들은 함께 그룹화된다. 픽셀의 이웃하는 샘플 값들은 이에 상응하는 신경망의 입력으로 이용되며, 신경망은 특정의 에지 방향이 검출될 때 보간을 위하여 지시된다.

바람직하게, 신경망의 트레이닝 목표는 보간될 픽셀들의 원래의 값들이 아니다. 대신에. 샘플링 이론에 따라서 보간 능력을 초과하는 수직 고주파를 제거하기 위하여 원래의 이미지는 수직 방향을 따라서 저역 통과 필터(LPF)를 이용하여 처리된다. 저역 통과 필터의 차단 주파수는 현 이미지의 샘플링 주파수의 1/4로 설정하는 것이 바람직하다. 보간되어질 생략된 픽셀들에 대하여, 수직적으로 저역 통과 필터링 된 이미지에서 이들 값들은 트레이닝 목적으로 고려된다. 한번 트레이닝을 완료하면, 신경망은 에지 방향에 상응하는 픽셀 보간을 위한 보간기로서 이용될 수 있다.

본 발명은 이미지 보간 방법에 근거한 에지 방향과 보간을 위한 신경망의 장점을 결합시켰다. 이는 에지 방향을 이용하지 않는 종래의 기술에 의한 이미지 보간 방법보다 보간된 이미지에서 보다 좋은 에지 품질을 제공한다. 부가적으로, 본 발명은 종래의 기술에 의한 방법보다 검출된 에지 방향에서 에러 또는 부정확성에 덜 민감하고 보다 안정적이다.

도 1을 참조하면, 쉽게 인지할 수 없는 에지 방향을 갖는 이미지 픽셀들을 보여준다. 에지 방향을 따라서, 픽셀들의 값(예로서, 휘도, 칼라 값 또는 다른 바람직한 값들)들은 대체적으로 일정하거나 또는 서서히 변화된다. 역으로, 에지 방향을 가로질러 픽셀들의 휘도 값들은 급격하게 변화한다. 그래서, 도 1에 도시된 이미지의 에지 방향은 화살표 방향이다.

이 기술분야에서 숙련된 자는 이해하겠지만, 이러한 에지는 이미지 내에서 경계로 표시된다. 예를 들어, 어두운 밤 하늘에 대하여 흰 빌딩의 에지와 같이, 에지는 이미지의 전면에서 밝게 비치는 부분과 어두운 후면 사이의 경계를 표시할 수도 있다.

도 2는 본 발명의 일 실시 예에 따른 보간을 위한 시스템(10)의 블록도를 보여주며, 에지 방향 검출기(11) 및 이미지 보간기(12)에 근거한 신경망을 포함한다. 이미지 보간기(12)는 복수의 개별적인 신경망(12a-12z)들을 포함한다. 개별적인 신경망(12a-12z)은 에지 방향 검출기(11)에서 검출된 에지 방향의 번호에 근사적으로 대응되거나, 그렇지 않으면 아래에 설명된 바와 같이 그 번호의 1/2에 근사적으로 대응된다.

시스템(10)은 또한 에지 방향 검출기(11)로부터의 출력에 의하여 함께 제어되는 입력 및 출력 스위치(13, 14)들을 각각 포함한다. 입력 및 출력 스위치(13, 14)들은 상호간에 동기 되고, 항상 같은 신경망(12a-12z)에 연결된다. 스위치(13, 14)의 선택은 보간될 새로운 픽셀의 위치에서의 에지 방향 검출 결과에 종속된다. 이러한 방식에 따라서, 신경망(12a-12z)의 대응되는 하나가 각각의 새로운 픽셀 값을 보간하기 위하여 선택된다.

실제(트레이닝에 반대되는 개념)에 있어서, 시스템(10)에 비월 이미지가 입력된다. 시스템(10)은 보간을 통하여 비-비월 규격으로 변환된 이미지를 출력한다. 그래서, 입력은 어떠한 원하는 소스로부터의 비월 이미지가 될 수 있으며, 출력은 디지털 텔레비전, 컴퓨터 모니터, 등과 같은 기기에 이미지를 디스플레이시키는데 이용될 수 있다.

도 2에 도시된 바와 같이, 만일 원하면 시스템(10)은 디지털 텔레비전 또는 컴퓨터 모니터(20) 내에 배치될 수 있다. 아니면 시스템(10)은 일반적인 컴퓨터, 제공된 응용기기 또는 다른 장치(20)와 결합되거나 또는 내에 배치될 수 있다.

도 3을 참조하면, 비월 필드는 스캔 라인(행) n-3, n-1, n+1 및 n+3을 포함한다. 에지 방향 검출기(11; 도 2)는 비월 스캔에서 모든 이웃하는 2개의 스캔 라인들 사이의 중심에서 에지 방향을 검출한다. 라인 n-3, n-1, n+1 및 n+3은 보간 및 순차주사화 이전의 원래의 스캔 라인들이다. 검은 원(31)은 필드에서 스캔 라인 n-3, n-1, n+1, n+3 위의 원래의 샘플들을 나타낸다. 라인 n-2, n, n+2는 (바로 이전)필드에서 누락될/생략된 스캔 라인들이고 보간될 필요가 있다. 속이 빈 원(32)들은 보간되어질 새로운 픽셀의 위치를 나타낸다. 위치(32)는 에지 방향 검출기(11)가 에지 방향을 검출할 필요가 있는 위치들이다.

픽셀(31)들을 갖는 이미지에 보간된 픽셀(32)들을 더함으로써, 신장된(enhanced) 또는 순차주사화된 이미지가 생성된다. 비록 본 발명이 비디오 이미지를 순차주사화 하는데 특별히 적합하지만, 본 발명이 속하는 기술분야에서는 이미지 해상도 신장 응용의 다른 다양한 예에 유사하게 적용할 수 있는 것으로 이해될 수 있다.

이미지에서 에지 방향을 검출하는 다른 방법들이 있다. 설명의 편의를 위하여 본 발명의 일 실시 예에 아래에 언급된 바와 같은 에지 방향 검출의 방법을 사용하였다. 그러나, 다른 에지 방향 검출 방법이 또한 본 발명에 사용될 수도 있다. 따라서, 본 발명의 설명은 단지 하나의 예에 해당되며, 발명의 범위를 제한하지는 않는다.

도 4를 참조하면, 설명의 편의를 위하여 다른 에지 방향을 숫자 도식으로 표현하도록 정의하였다. 에지 방향을 표시하기 위하여 다른 도식들이 또한 이용될 수 있다.

에지 방향 검출기(11)는 에지 방향의 명시적인 표시 방식을 필요로 하지 않으며, 신경망(12a-12z) 또는 제1,2스위치(13, 14)에 도선으로 직접 연결될 수 있으며, 또는 통신으로 연결될 수 있다. 예를 들어, 에지 방향 검출기(11)에 의한 에지 방향의 검출은 입력 및 출력 스위치(13, 14)들의 위치를 지정함으로써, 거기에 연 결된 지정 제어 라인들을 통하여 대응되는 신경망(12a-12z)을 선택할 수 있으며, 따라서 명시적인 숫자 도식의 필요를 제거할 수 있다.

그래서, 도 4에 도시된 바와 같이, 다른 에지 방위는 다른 숫자 값으로 할당될 수 있다. 예를 들어, 수직 방향은 0(zero)으로 할당될 수 있다. 비-수직 방향에 대해서는 현재의 픽셀의 상위 열 또는 하위 열 위에 수직 방향으로부터 천이된 픽셀들의 값으로 방향 값을 결정할 수 있다. 예를 들어, 방향 연결되는 픽셀(n+1, m-1)과 픽셀(n-1, m+1)은 1로 방향 값이 할당될 수 있다. 방향 연결되는 픽셀(n+1, m+)과 픽셀(n-1, m-1)은 -1로 방향 값이 할당될 수 있다. 일반적인 형태로, 방향 연결되는 픽셀(n+1, m-i)과 (n-1, m+i)은 i로 방향 값이 할당될 수 있다. 여기에서 i는 양의 값 또는 음의 값을 가질 수 있으며, 또한 정수가 아닌 값이 될 수 있다. 예를 들어, 도 4는 위치 (n+1, m-0.5)와 위치 (n-1, m+0.5)를 연결하는 경우에 방향 값이 0.5가 되는 것을 보여준다.

바람직하게는, 검출된 에지 방향에 가장 부합하는 신경망(12a-12z)중의 하나가 보간을 위하여 사용된다. 그래서 예로서, 만일 신경망(12a-12z)이 단지 양 또는 음의 정수 값을 갖는 에지 방향에 대한 보간을 제공하는 것으로 제한되고, 검출된 에지 방향이 1.2라면, 이 때 이 값은 우수리를 떼어 버린 정수 값 1로 만들고 나서 이 값에 대응되는 신경망이 보간을 위하여 사용된다.

도 5A 및 5B를 참조하여 벡터 상관을 검사함으로써 에지 방향을 검출하기 위한 전형적인 방법을 설명하기로 한다. 벡터는 선택된 스캔 라인 위에 인접된 복수의 픽셀들을 포함한다. 2개의 선택된 스캔 라인의 하나로부터의 벡터는 에지 방향 을 결정하기 위하여 선택된 다른 스캔 라인으로부터의 벡터에 대하여 상관성이 있다. 근사적으로 동일한 값을 갖는 픽셀들은 다른 것에 비하여 비교적 높은 상관성을 갖는다. 아래의 예에서 상세하게 설명된 바와 같이, 한 스캔 라인의 픽셀들에 다른 스캔 라인의 픽셀들을 매칭시킴으로써 정의된 방향이 에지 방향이다.

가능성 있는 상관의 한 세트의 예를 도 5A에 도시하였다. 이는 수직적 에지 방향에 대한 상관의 세트이다. 그래서, 이 상관의 세트가 검사된 모든 세트의 상관 중에서 가장 높은 상관성을 가지면, 이 때 에지 방향은 수직 방향이다. 이 예에서, 상부 스캔 라인 n-1과 바로 아래의 하부 스캔 라인 n+1의 상관이 결정된다.

도 5A는 속이 빈 원(32)은 보간될 라인 n 위의 픽셀들을 나타낸다. 라인 n-1 위에 7개의 픽셀(31)들이 각각 a₁, a₂,..., a₆ 및 a₇의 값을 갖고, 라인 n+1 위에 7개의 픽셀들이 각각 b₁, b₂,..., b₆ 및 b₇의 값을 갖는다고 가정하자. 벡터 폭(벡터 정의에 이용되는 각 행에서 픽셀들의 수)이 5라고 가정하자. 이 때 (a₂,a₃,a ₄,a₅,a₆)는 벡터로 정의되고, (b₂,b₃,b₄,b₅,b₆) 또한 벡터로 정의된다.

두 벡터들 사이의 상관을 검사하면 보간할 가장 가까운 이미지 픽셀(32)의 영역에서 에지 방향의 결정이 쉬워진다. 위에서 언급한 바와 같이, 만일 상부 라인 n-1 위에 픽셀들이 바로 아래 라인의 픽셀들과 가장 상관성이 높으면, 이것이 수직 에지 방향을 표시한다. 그러나, 복수의 다른 상관성이 결정되고 가장 높은 상관성을 갖는 벡터 쌍들이 에지 방향을 정의하는 것으로 평가하는 것이 중요하다.

비슷하게, 도 5B에 도시된 바와 같이, 벡터 (a₁,a₂,a₃,a₄,a ₅)와 벡터 (b₁,b₂,b₃,b₄,b₅) 사이의 상관을 검사하면, -1 에지 방향의 상관 값을 제공한다. 만일 이 상관의 세트가 검사된 모든 상관의 세트 중에서 가장 높은 상관성을 가지면, 이 때 에지 방향은 -1이다.

이와 같은 사양에서, 벡터 상관은 다른 방향을 따라서 검사될 수 있다. 가장 높은 벡터 상관을 제공하는 방향이 실제 에지 방향을 나타낼 가능성이 높다. 벡터 상관 방법의 예는 2002. 10. 11에 출원된 미국 특허 출원 번호 10/269,464 "벡터 상관에 근거한 에지 방향 검출 방법 및 그 장치"에 기술되어 있다.

도 6을 참조하면, 미러 작용이 주어진 에지 방향의 수를 처리하기 위하여 필요한 신경망(12a-12z)의 수를 줄이는데 선택적으로 이용될 수 있다. 에지 방향 검출 후에 주어진 에지 방향을 갖는 픽셀들은 고유의 신경망 보간기를 이용하여 보간된다. 고유의 신경망 보간기는 주어진 에지 방향에 대하여 트레이닝된 신경망이다. 일반적으로, 각 신경망(12a-12z)은 단일의 에지 방향에 제공된다.

수직 방향에 관련되어 서로 다르게 대칭적인 에지 방향의 각 쌍은 수평적 미러 작용을 이용하여 단순화시켜 그룹화시킬 수 있다. 그러므로, 예를 들어 k 또는 -k의 에지 방향을 갖는 픽셀들은 동일한 신경망 보간기를 함께 이용할 수 있다.

예를 들어, 만일 신경망 보간기가 현재 픽셀 위치에서 식별된 k의 에지 방향과 -k의 방향을 갖는 픽셀들을 보간하기 위하여 트레이닝되면, 이 때 현재 픽셀의 이웃하는 샘플들은 신경망 보간기로 보내기 전에 수직 라인에 대하여 선택적으로 미러 작용을 적용시킨다. 이러한 미러 작용 적용 후에, -k 방향을 갖는 에지는 k 방향을 갖는 에지가 된다. 그래서, k 방향을 갖는 에지를 보간하기 위하여 적합한 단일의 신경망으로 k 및 -k 양 에지 방향에 대하여 보간할 수 있다.

도 6을 참조하면, 보간기에서 이용되는 이웃하는 픽셀들이 도시된 바와 같이 5x4 이웃하는 샘플 또는 픽셀들의 그룹을 포함하고 있다고 가정하자. 도 6에서 현재 샘플은 안에 작은 십자를 갖는 속이 빈 원(41)으로 나타낸다. 수직 라인에 대하여 샘플들을 미러 작용 적용 전/후의 데이터를 보여준다. 샘플들은 미러 작용 적용 후에 좌우로 반전된다. 어떠한 에지 방향에서든지 결과는 비슷하게 반전되어, 비 수평 또는 비 수직 에지 방향의 부호 변화를 변화시키는 결과를 초래한다.

에지 방향 검출기(11; 도 2)는 수직 방향을 포함하는 2N+1 개의 다른 에지 방향을 구별할 수 있다. 미러 작용을 적용하면, 이들 방향은 모든 2개의 대칭적인 방향들이 하나의 방향으로 됨으로써 N+1개로 그룹화될 수 있다. 추가적으로, 에지 방향 검출기(11)는 2개의 추가적인 경우를 구별하는데 적합하다. 하나의 경우는 이미지 영역에 에지가 없는 평평한 이미지 영역의 경우이다(예를 들어, 전체 화이트 이미지 영역은 에지가 없다).

다른 경우는 이미지 영역에서 검출될 수 있는 유효한 에지 방향이 없는 경우 이며, 이는 이미지 영역 내용이 너무 복합한 경우, 즉 에지로 인식되도록 포함된 구조가 너무 세밀한 경우이다(예를 들어, 만일 반점이 너무 미세하면, 이미지의 반점 부분은 이 결과를 가져올 수 있다).

이들 2가지 경우(평평한 이미지 및 복잡한 이미지)를 포함해서 에지 방향 검 출기(11)가 결정할 수 있는 경우의 수는 N+3이다. 그러므로, 도 2에 도시된 바와 같이, N+3 신경망 보간기(12a-12z)가 시스템(10)에 필요하다.

시스템(10)에서 사용되는 신경망 보간기(12a-12z)는 선형 또는 비선형이 될 수 있다. 사실 넓은 영역 특성의 신경망이 이용될 수 있다. 각 신경망 보간기(12a-12z)의 입력은 이미지 필드의 생략된 스캔 라인 위의 현재 픽셀의 이웃하는 샘플들이다. 출력은 현재 픽셀에 대한 보간 값이다.

도 7을 참조하면, 현 픽셀의 이웃하는 15x4 샘플들이 보간을 위해 이용된다. 이들 샘플들은 신경망 보간기의 입력으로 제공된다. 도 7에서 15x4 이웃하는 샘플들의 위치는 검은 원(31)으로 도시하였다. 샘플 값들은 이 영역의 상부 왼쪽 구석으로부터 하부 오른쪽 구석까지 각각 p₁, p₂,..., p₆₀으로 표시된다. 생략된 스캔 라인의 픽셀들은 속이 빈 원(32)들로 도시하였다. 중앙에 작은 십자를 갖는 속이 빈 원(41)은 보간되어질 현 픽셀을 표시한다.

일단 에지 방향이 검출되면, 새로운 픽셀에 대한 보간은 신경망 보간기들의 세트를 통하여 수행된다. 각 신경망 보간기는 다른 에지 방향을 갖는 픽셀들의 보간을 책임진다. 도 8을 참조하면, 시스템(10; 도 2)에서 이용될 수 있는 선형 신경망(12) 구조가 도시되어 있으며, 여기에는 단지 하나의 선형 신경 단위만이 도시되어 있다. 이와는 다르게, 각 신경망(12a-12z)은 다른 어떠한 원하는 구조에 결합된 어떠한 원하는 개수의 비선형 신경 단위들로 구성될 수 있다. 설명의 편의를 위하여, 본 발명의 일 실시 예에서는 보간을 위하여 선형 신경망이 선택되었다. 각 신 경망 보간기에 대한 입력은 현 픽셀의 이웃하는 샘플들이다. 출력은 현 픽셀에 대한 보간 값이다. 예를 들어, 비월 이미지에서 현 픽셀의 이웃하는 15x4 샘플들은 망 입력으로 이용될 수 있다. 샘플 값들은 이웃하는 영역의 상위 좌측 구석으로부터 하위 우측 구석까지 p₁, p₂, ..., p_L로 각각 표시된다.

도 8에서 p₁, p₂, ..., p_L 노드(node)들은 신경망(12a-12z)의 입력들이고, q는 출력이다. 바이어스(bias) 값은 바람직하게 초기 0으로 설정된다. 출력 q는 선형 변환 함수 블록(81)에 의하여 생성된다. 선형 변환 함수(81)는 그것을 통과된 값을 단순히 되돌리기 때문에, 선형 변환 함수는 본 발명의 구성에서 선택적으로 삭제될 수 있다. 출력 q와 신경망(12a-12z)의 입력 사이의 관계는 수학식 1과 같이 표현될 수 있다.

위의 방정식에서 w₁, w₂, ..., w_L은 가중 계수(가중 파라미터)들이고, 방정식에서 L은 보간에 이용되는 이웃하는 샘플들의 개수를 나타낸다(도 7의 예에서 L은 60이다). 본 발명이 속하는 기술분야에서 가중 계수들은 신경망 보간기의 특성을 결정하는 주요 파라미터로 이해될 수 있다. 다른 에지 방향들은 최적의 결과를 위하여 다른 가중 계수들을 필요로 한다. 그래서, 각각의 신경망 보간기들은 일반적으로 다른 가중 계수들을 갖는다.

도 8의 예는 선형 신경 단위가 이용되는 경우를 보여준다. 신경망으로부터 단지 하나의 출력이 있을 때, 하나의 선형 신경 단위로 충분하다. 이러한 경우 때문에 하나 이상의 선형 신경 단위를 갖는 망은 본질적으로 하나의 신경 단위를 갖는 망으로 등화시킬 수 있다. 비선형 신경 단위들이 이용될 때, 하나 이상의 신경 단위가 망에 포함될 수 있다. 도 8은 시스템에 이용될 수 있는 신경망의 예를 제공한다. 그러나, 하나 또는 그 이상의 신경 단위를 갖는 비선형 신경망들이 또한 이용될 수 있다. 신경망의 타입에 관계없이 아래에 설명된 동일한 트레이닝 방법이 적용될 수 있다.

도 7에 도시된 60개의 이웃하는 샘플들은 합리적인 망 트레이닝 복잡성을 갖는 좋은 보간 결과를 제공하기 위하여 충분하다. 이웃하는 샘플들의 개수가 너무 적거나 또는 너무 많으면 최적의 원하는 보간 결과들을 얻을 수 없게 될 것이다. L이 너무 클 때는 가중 파라미터들의 최적의 세트를 얻도록 신경망을 트레이닝하는데 어렵다.

에지 방향 검출기(11)로부터의 각각 다른 결과에 대하여, 분리된 신경망(12a-12z)은 도 8에 도시된 바와 같이 선택되어 보간에 이용된다. 만일 원하면, 대칭 결과들은 위에서 설명한 동일한 신경망에 의하여 처리될 수 있다. 예를 들어, 도 2를 다시 참조하면, 에지 방향 검출기(11)는 수직 방향을 포함하여 (2*N+1)개의 다른 에지 방향을 결정할 수 있다. 이 때, 시스템(10)은 모두 N+3 개의 신경망 보간기들이 필요하다. 에지 방향 검출기의 출력은 4가지 종류로 분류될 수 있다. 즉, (1) 수직 방향, (2) 2*N의 개의 다른 비-수직 방향, (3) 에지가 없는 평평한 이미 지 영역 및 (4) 유효한 이미지가 없는 복잡한 이미지로 분류될 수 있다. 하나의 신경망 보간기는 각각 (1), (3) 및 (4)의 경우를 필요로 한다. 그러나, 비-수직 방향의 경우에 대해서는 단지 N개 신경망 보간기로 충분하다. 이는 이웃하는 샘플들에 수평 미러 작용을 적용하기 때문에, 모든 2개의 대칭 방향들이 하나의 그룹으로 결합됨으로써 2*N개 비-수직 방향들이 N개 그룹으로 그룹화될 수 있다. 예를 들어, k와 -k 값을 갖는 방향들이 함께 그룹화되어 하나의 망을 공유할 수 있게 된다. 이와 같은 방법으로, 시스템(10)은 N+3 개의 신경망 보간기들로 충분하다.

신경망이 보간을 위하여 이용되어 지기 전에, 최적화된 가중 파라미터 w₁, w₂, ..., w_L을 결정하기 위하여 일반적으로 트레이닝을 해야만 한다. 즉, 보간을 위한 특별한 신경망에 대한 특별한 에지 방향에 상응하는 최적의 가중 파라미터들을 결정하기 위하여 각 신경망은 트레이닝되어야 한다.

도 9를 참조하면, 트레이닝 프로세스를 위한 시스템(90)의 블록도의 예가 도시되었다. 시스템(90)에서 입력은 바람직하게 비-비월 트레이닝 이미지이다. 출력은 신경망 학습 에러이다. 각 트레이닝 이미지는 2개 필드로 얽혀져 있다. 각 필드에서, 에지 방향들은 바람직하게 에지 방향 검출기(11)에 의하여 모든 생략된 픽셀의 위치에서 검출된다. 도 9에서 에지 방향 검출기(11)는 바람직하게는 도 2에 도시되어 설명되어진 동일한 에지 방향 검출기(11)이다. 에지 방향 검출기(11)의 출력에 근거하여 이에 대응되는 신경망(12a-12z)이 선택된다. 생략된 픽셀의 이웃하는 샘플 값들은 신경망 입력으로 이용된다.

원래의 트레이닝 이미지는 바람직하게 수직 저역 통과 필터(LPF; 92)를 통하여 처리된다. 이 저역 통과 필터(92)는 샘플링 이론에 따라서 신경망(12a-12z)의 신뢰할만한 보간 능력을 초과하는 수직 고주파 부분을 제거하기 위하여 이용된다. 그래서, 저역 통과 필터(92)의 차단 주파수는 바람직하게 트레이닝 이미지의 샘플링 주파수의 1/4로 설정한다.

도 10을 참조하면, 저역 통과 필터의 주파수 응답의 예를 보여주며, 여기에서 정규화된 주파수 값 1은 샘플링 주파수의 1/2에 상응한다.

도 9를 다시 참조하면, 수직 저역 통과 필터링 후에 생략된 픽셀에 대한 대응되는 값은 트레이닝 목표로 이용된다. 신경망(12a-12z)의 출력은 결합기(93)에 의하여 트레이닝 목표와 비교된다. 트레이닝 목표와 신경망(12a-12z)의 출력 사이의 에러는 결정되고, 역전파 알고리즘 처리부(94)를 경유하여 트레이닝되는 신경망(12a-12z)에 공급된다. 에러 계산은 바람직하게는 널리 알려져 있는 이론들에 따른 최소 평균 제곱(LMS) 수단에 근거하여 실행된다. 신경망(12a-12z)의 가중 계수들은 에러가 최소가 되도록 조정된다. 만일 원하면, 신경망(12a-12z)의 바이어스 인자는 또한 에러가 최소가 되도록 가변될 수 있다.

이러한 트레이닝 프로세스는 반복하는 방식으로 수행된다. 프로세스는 에러가 소정의 임계 값 미만이 될 때까지 또는 반복 회수가 소정의 값에 도달될 때까지 연속된다. 프로세스는 각각 분리된 신경망(12a-12z)에 대하여 반복된다. 도 2에 도시된 모든 신경망들에 대하여 트레이닝 프로세스를 마친 후에, 본 발명의 장치는 이미지 보간에 이용될 준비를 마치게 된다.

본 발명에서 언급된 방법의 예는 이미지 보간을 위하여 에지 방향 검출 및 신경망 모두를 이용한다. 에지 방향 검출을 통하여, 동일한 방향을 갖는 픽셀들은 특정된 보간기가 해당 방향에서 에지 특성을 좋게 유지할 수 있도록 하기 위하여 같은 그룹으로 분류된다. 신경망 보간기에서는, 보간을 위하여 에지 방향을 따라서 단지 이웃하는 샘플들을 이용하는 현대의 방법론에 따라서 이용되어 지는 것보다는 보다 이웃하는 샘플들이 현 픽셀 값을 보간하는데 이용된다. 보간에 있어서 보다 이웃하는 샘플들을 이용하는 본 발명에 의한 방법이 현대의 방법들에 비하여 에러 및 검출된 에지 방향에서의 부정확성에 대하여 보다 강건하고 덜 민감하다.

도 11을 참조하면, 본 발명에 따른 에지 방향 및 보간의 예에 의한 본 발명의 장점을 보여준다. 예를 들어, 위에서 언급된 에지 방향을 표시하기 위한 도식에 따라서 현 픽셀 위치에서 실제 에지 방향이 1.7이라 가정하자.

에지 방향은 2로 전형적으로 검출될 것이다. 그러나, 픽셀 a와 d가 보간에 이용되지 않고, 실제 에지 방향에 정렬되지 않은 픽셀 b와 c가 이용되기 때문에, 에지 방향 2에 따른 보간은 좋은 결과를 주지 못할 것이다. 그러나, 본 발명에서 언급된 신경망 보간기를 이용하면, a,b,c,d를 포함하는 보다 이웃하는 샘플들이 보간에 이용된다. 그러므로 본 발명은 에지 방향이 정확하게 검출되지 않더라도 좋은 보간 결과들을 제공한다.

본 발명에 따르면, 비디오 순차주사화를 위하여 적합한 이미지 보간을 위한 강건한 방법이 제공되었다. 본 발명의 방법은 에지 방향 검출이 부정확할 경우에도 양질의 이미지를 유지하고, 에지 방향 검출 프로세스에서의 고유의 제한에 기인하 는 현대 보간 방법론의 단점을 극복하였다.

위에서 언급되고 도면에 도시된 이미지 순차주사화를 위한 방법 및 장치의 예는 단지 본 발명의 바람직한 일 실시 예를 표현한 것으로 이해되어야 한다. 다양한 변경 및 추가는 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위 내에서 실행될 수 있을 것이다. 일 예로서, 신경망은 실제 신경망보다는 차라리 컴퓨터 코드를 통하여 시뮬레이션될 수 있다.

그래서, 위에서 설명되어진 또는 다른 변경 및 추가는 본 발명이 속하는 기술분야에서 본 발명의 기술적 사상의 범위 내에서 다양하게 실행될 수 있으며, 또한 다른 다양한 응용에 이용되어질 수 있을 것이다.

본 발명은 방법, 장치, 시스템 등으로서 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필연적으로 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 가능 매체에 저장되어 질 수 있으며 또는 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. 프로세서 판독 가능 매체는 정보를 저장 또는 전송할 수 있는 어떠한 매체도 포함한다. 프로세서 판독 가능 매체의 예로는 전자 회로, 반도체 메모리 소자, ROM, 플레쉬 메모리, E²PROM, 플로피 디스크, 광 디스크, 하드 디스크, 광 섬유 매체, 무선 주파수(RF) 망, 등이 있다. 컴퓨터 데이터 신호는 전자 망 채널, 광 섬유, 공기, 전자계, RF 망, 등과 같은 전송 매체 위로 전파될 수 있는 어떠한 신호도 포함된다.

첨부된 도면에 도시되어 설명된 특정의 실시 예들은 단지 본 발명의 예로서 이해되어 지고, 본 발명의 범위를 한정하는 것이 아니며, 본 발명이 속하는 기술분야에서 본 발명에 기술된 기술적 사상의 범위에서도 다양한 다른 변경이 발생될 수 있으므로, 본 발명은 보여지거나 기술된 특정의 구성 및 배열로 제한되지 않는 것은 자명하다.

상술한 바와 같이, 본 발명에 의하면 이미지의 보간 값을 생성시키기 위하여 복수의 다른 에지 방향 각각에 대하여 제공된 신경망을 이용함으로써, 에지 검출이 부정확하더라도 좋은 이미지 품질이 유지되도록 이미지를 보간할 수 있는 효과가 발생된다.

Claims

이미지의 보간 값을 제공하기 위하여 복수의 다른 에지 방향 각각에 대하여 제공된 신경망을 이용하는 단계를 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
에지 방향에 대한 보간을 위하여 신경망을 트레이닝하고, 근사적으로 동일한 에지 방향으로 결정될 때 보간하기 위하여 상기 트레이닝된 신경망을 이용하는 단계를 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
관련된 에지 방향에 근거하여 값을 보간하도록 각 신경망을 트레이닝함으로써 복수의 에지 방향에 상응하는 복수의 신경망을 대응시키는 단계를 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
보간되어질 이미지 내의 위치에서 이미지의 에지 방향을 결정하는 단계;

상기 결정된 이미지 방향에 근거하여 신경망을 선택하는 단계; 및

상기 선택된 신경망을 이용하여 상기 위치에서 이미지의 값을 보간하는 단계를 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 에지 방향 결정하는 단계는 인접된 스캔 라인들 사이에서 보간되어질 위치의 인접된 픽셀 사이의 벡터 상관을 이용하여 결정함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 실행 가능한 에지 방향이 존재하는지 여부를 결정하고, 실행 가능한 에지 방향이 존재하지 않을 때 신경망을 선택하기에 앞서, 실행 가능한 에지 방향이 존재하지 않을 경우 보간하기 위하여 트레이닝된 신경망을 선택하는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 신경망을 선택하는 단계는 상기 결정된 에지 방향에 가장 근접되게 관련된 신경망을 복수의 다른 신경망들 중에서 결정함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 신경망을 선택하는 단계는 상기 결정된 에지 방향에 대하여 이미지의 값을 보간하기 위하여 최적의 트레이닝된 신경망을 복수의 다른 신경망들 중에서 결정함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 대칭 에지 방향들에 대하여 공통된 신경망을 쉽게 이용하도록 데이터 세트를 미러 작용시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 신경망을 선택하는 단계는 하나의 신경 단위를 갖는 실질적으로 선형인 신경망을 선택함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 소정의 에지 방향에 대한 이미지의 값을 보간하도록 복수의 신경망 각각을 트레이닝하는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 2개의 이전 스캔 라인들 사이들 사이의 새로운 스캔을 제공 하기 위하여 상기 에지 방향 결정, 상기 신경망 선택 및 보간을 반복적으로 실행하는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 보간되는 값은 세기임을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 보간되는 값은 칼라임을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 에지 방향은 보간되어질 가장 가까운 위치의 하나의 스캔 라인으로부터의 벡터와 보간되어질 가장 가까운 위치의 또 다른 스캔 라인으로부터의 벡터의 상관에 의하여 결정됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 에지 방향은 보간되어질 바로 위의 위치의 스캔 라인으로부터의 벡터와 보간되어질 바로 아래 위치의 또 다른 스캔 라인으로부터의 벡터의 상관에 의하여 결정됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 보간되어질 위치는 비월 비디오 이미지의 2개 스캔 라 인들 사이의 근사적으로 중앙 위치이고, 순차주사화된 비디오 이미지의 생성을 용이하게 하기 위하여 보간된 값을 갖는 비디오 이미지를 신장시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 선택된 신경망의 입력은 보간되어질 위치에 대하여 이미지의 이웃하는 부분들의 값임을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서,

2N+1개 다른 에지 방향 중의 하나를 선택하여 상기 에지 방향을 결정하는 단계;

N+3개의 신경망 중의 하나를 선택하여 상기 신경망을 선택하는 단계; 및

상기 에지 방향이 검출될 수 있을 때 N+3개의 신경망이 보간을 위하여 이용되고, 에지가 존재하나 에지 방향을 결정할 수 없을 때 신경망들 중의 하나가 보간을 위하여 이용되며, 에지가 없을 때 하나의 신경망을 이용하는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 초기에 0으로 설정된 가중치 계수들을 갖는 신경망에 이미지의 일부분을 공급함으로써 신경망을 트레이닝시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 초기에 0으로 설정된 바이어스 값을 갖는 신경망에 이미지의 일부분을 공급함으로써 신경망을 트레이닝시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 신경망에 이미지의 수직적으로 저역 통과된 이미지의 일부분을 공급함으로써 신경망을 트레이닝시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 보간하는 상기 신경망의 능력을 실질적으로 초과하는 수직 성분들을 억압하기 위하여 수직 방향을 따라서 저역 통과 필터링된 이미지의 일부분을 상기 신경망에 공급함으로써 신경망을 트레이닝시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 신경망에 이미지의 일부분을 공급함으로써 신경망을 트레이닝시키고, 상기 신경망의 파라미터들을 가변시키는데 역 전파 알고리즘을 이용함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
제4항에 있어서, 상기 신경망에 이미지의 일부분을 공급함으로써 신경망을 트레이닝시키고, 상기 신경망의 파라미터들을 가변시키는데 학습 알고리즘인 최소 평균 제곱 수단을 이용하는 역 전파 알고리즘을 이용함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 방법.
이미지에서 복수의 다른 에지 방향 각각에 대하여 보간된 값을 공급하도록 배치된 신경망을 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
소정의 에지 방향에 대하여 이미지의 값을 보간하도록 각각 배치된 복수개의 신경망;

보간할 이미지 내의 위치에서 이미지의 에지 방향을 결정하도록 배치된 에지 방향 검출기; 및

상기 에지 방향 검출기에 반응하고, 상기 결정된 에지 방향에 근거하여 상기 복수의 신경망 중의 하나를 선택하도록 배치된 신경망 선택기를 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 에지 방향 검출기는 인접된 라인들 위치에 있는 픽셀들 사이의 벡터 상관을 결정함으로써 에지 방향을 결정하도록 배치됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 에지 방향 검출기는 실행 가능한 에지 방향이 존재하 는지 여부를 결정하고, 실행 가능한 에지 방향이 존재하지 않을 때 신경망을 선택하기에 앞서, 실행 가능한 에지 방향이 존재하지 않을 경우 보간하기 위하여 트레이닝된 신경망을 선택하도록 배치됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 신경망 선택기는 상기 결정된 에지 방향에 가장 근접되게 관련된 신경망을 복수의 다른 신경망들 중에서 결정함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 신경망 선택기는 상기 결정된 에지 방향에 대하여 이미지의 값을 보간하기 위하여 최적의 트레이닝된 신경망을 복수의 다른 신경망들 중에서 결정하도록 배치됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 에지 방향 검출기는 대칭 에지 방향들에 대하여 공통된 신경망을 쉽게 이용하도록 데이터 세트를 미러 작용시키도록 배치됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 에지 방향 검출기는 대칭 에지 방향들에 대하여 공통된 신경망을 쉽게 이용하도록 데이터 세트를 수직적으로 미러 작용시키는 단계를 더 포함함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 신경망은 하나의 신경 단위를 갖는 실질적으로 선형인 신경망을 선택함을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 각각의 신경망은 소정의 에지 방향에 대하여 이미지의 값을 보간하도록 트레이닝됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 에지 방향 검출기는 보간되어질 가장 가까운 위치의 하나의 스캔 라인으로부터의 벡터와 보간되어질 가장 가까운 위치의 또 다른 스캔 라인으로부터의 벡터의 상관에 의하여 결정되도록 배치됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.
제27항에 있어서, 상기 에지 방향 검출기는 보간되어질 바로 위의 위치의 스캔 라인으로부터의 벡터와 보간되어질 바로 아래 위치의 또 다른 스캔 라인으로부터의 벡터의 상관에 의하여 결정되도록 배치됨을 특징으로 하는 이미지를 공간적으로 보간하기 위한 시스템.