KR20070094521A - 화상 처리 장치 및 화상처리 방법과 프로그램 - Google Patents

Abstract

인터레이스(interlace) 화상을, 보다 양호한 화질의 프로그레시브(progressive) 화상으로 변환한다. 움직임 벡터 검출부(131)는, 입력된 인터레이스 방식의 화상 I1의 화소이하 정밀도의 움직임 벡터를 검출한다. 움직임 보상부(補償部)(134)는, 검출된 움직임 벡터에 의거해서, 1프레임 전(前)의 출력 화상에 움직임 보상을 행한 화상 P4를 생성한다. 순회 계수(巡回係數) 설정부(133)는, 화상 I1을 IP 변환한 프로그레시브 방식의 화상 P1의 각 화소에 대해서, IP 변환 전의 화상 P1에 존재하는 위치에 있는 화소인지의 여부, 수직 움직임량(動量)의 크기 및, 움직임 벡터의 신뢰도(信賴度; reliability)에 의거해서, 순회 계수 KA, KB를 설정한다. 곱합 연산부(積和演算部)(135)는, 화상 P1과 화상 P4와의 대응하는 위치에 있는 화소의 화소값(畵素値)을, 순회 계수 KA 또는 KA를 이용해서 가중(重付; as weight; 웨이트를 이용해서) 가산(加算; add)한다. 본 발명은, IP 변환을 행하는 화상 처리 장치에 적용할 수 있다.

화상 변환 장치,　순회형 IP 변환부,　 IP 변환부,　 순회형 변환부,　 움직임 벡터 검출부,　 MC 블록 차분 검출부,　 순회 계수 설정부.　

Description

화상 처리 장치 및 화상처리 방법과 프로그램{IMAGE PROCESSING APPARATUS AND METHOD AND PROGRAM}

도 1은 본 발명을 적용한 화상 변환 장치의 1실시형태의 구성을 도시하는 블록도(圖),

　　 도 2는 도 1의 순회형(巡回型) IP 변환부의 기능적 구성을 도시하는 블록도,

　　 도 3은 프로그레시브 화상의 화소의 타입을 설명하기 위한 도면,

　　 도 4는 도 2의 움직임 벡터 검출부의 기능적 구성을 도시하는 블록도,

　　 도 5는 도 2의 순회 계수 설정부의 기능적 구성을 도시하는 블록도,

　　 도 6은 도 1의 화상 변환 장치에 의해 실행되는 화상 변환 처리를 설명하기 위한 플로차트,

　　 도 7은 움직임 적응형(適應型)의 방법을 이용한 IP 변환 처리를 설명하기 위한 도면,

　　 도 8은 도 6의 스텝 S2의 순회형 변환 처리의 상세한 내용을 설명하기 위한 플로차트,

　　 도 9는 MC블록 차분값 BD의 검출 방법을 설명하기 위한 도면,

　 도 10은 MC블록 차분값 BD의 검출 방법을 설명하기 위한 도면,

　　 도 11은 수직 움직임량 VY와 기본 순회 계수 KA0의 관계를 도시하는 그래프,

　　 도 12는 수직 움직임량 VY와 기본 순회 계수 KB0의 관계를 도시하는 그래프,

　　 도 13은 수직 움직임량 VY와 수직 에일리어싱 왜곡의 크기의 관계를 설명하기 위한 도면,

　　 도 14는 움직임 벡터의 분포의 예를 도시하는 도면,

　　 도 15는 움직임 벡터의 분포의 다른 예를 도시하는 도면,

　　 도 16은 움직임 분산 MD0의 산출 방법을 설명하기 위한 도면,

　　 도 17은 움직임 분산 MD1의 산출 방법을 설명하기 위한 도면,

　　 도 18은 도 8의 스텝 S21의 움직임 벡터 검출 처리의 상세한 내용을 설명하기 위한 플로차트,

　　 도 19는 화소 이하 정밀도의 움직임 벡터를 검출하는 방법을 설명하기 위한 도면,

　　 도 20은 순회형 변환부의 제2 실시형태의 구성을 도시하는 블록도,

　　 도 21은 순회형 변환부의 제3 실시형태의 구성을 도시하는 블록도,

　　 도 22는 퍼스널 컴퓨터의 구성의 예를 도시하는 블록도,

[부호의 설명]

101:화상 변환 장치,　111: 순회형 IP 변환부,　121: IP 변환부,　122: 순회형 변환부,　131: 움직임 벡터 검출부,　132: MC 블록 차분 검출부,　133: 순회 계수 설정부,　134: 움직임 보상부,　135: 곱합 연산부,　136: 프레임 메모리,　151: 움직임 평가값 검출부,　152: 화소 정밀도 움직임 벡터 검출부, 153, 154 : 탭 추출부,　156: 클래스 분류부,　157: 계수 메모리,　158: 예측 연산부,　159: 화소 이하 정밀도 움직임 벡터 검출부,　171: 기본 순회 계수 설정부,　172: 움직임 분산 검출부,　173: 순회 계수 산출부,　181: 움직임 분산 차감량 산출부,　182: MC 블록 차분 산출부,　183: 감산부,　201: 순회형 변환부,　211: 프레임 메모리,　212: 움직임 벡터 검출부,　213: MC 블록 차분 검출부,　301: 순회형 변환부,　311, 312: 프레임 메모리, 313: 움직임 벡터 검출부,　314:　MC블록 차분 검출부,　401: CPU,　402: ROM,　403: RAM,　408: 기록부,　410: 드라이브,　411: 리무버블 미디어

본 발명은, 화상 처리 장치 및 화상처리 방법과 프로그램에 관한 것으로서, 특히 인터레이스(interlace) 방식의 화상을, 보다 양호(良好)한 화질의 프로그레시브 방식의 화상으로 변환할 수 있도록 하는 화상 처리 장치 및 화상 처리 방법과 프로그램에 관한 것이다.

수직 방향으로 움직이는 피사체를 촬영하거나, 촬영 장치를 수직 방향으로 움직여서 촬영했을 경우, 인터레이스 방식의 화상(이하, 인터레이스 화상이라고도 칭한다)에서는, 수직 방향의 대역 제한(帶域制限)이 불충분하기 때문에, 수직 방향의 에일리어싱 왜곡(折返歪; aliasing distortion)(이하, 수직 에일리어싱 왜곡이라고 칭한다)이 발생하고, 수평 방향의 선의 굵기가 변동하거나 에지의 강함(强)이 변동하거나 하는 현상이 발생한다. 또, 수직 에일리어싱 왜곡은, 인터레이스 방식의 화상을 프로그레시브 방식의 화상(이하, 프로그레시브 화상이라고도 칭한다)으로 변환(이하, IP 변환이라고 칭한다)한 경우, 더욱 더 눈에 띄어 보이는 특징이 있다.

그런데, 종래, IP 변환의 하나의 방법으로서, 움직임 벡터를 이용해서 움직임 보상(補償)을 행하는 것에 의해, 피사체가 움직이는 부분의 해상도(解像度)를 향상시키는 수법이 제안되어 있다(예를 들면, 일본 특허 문헌 1 참조).

또, 종래, 현재의 프레임의 화상과 1프레임 전의 화상과의 사이의 움직임 벡터를 구하고, 현재 프레임의 화상과, 1프레임 전의 화상에 움직임 벡터를 이용해서 움직임 보상을 행한 화상을, 순회 계수(巡回係數)라고 불리는 계수를 이용해서 가중 가산(重付加算)하는 것에 의해, 수직 에일리어싱 왜곡과 같은 주기적인 일그러짐이나 랜덤 노이즈(random noise)를 저감하는 방법이 있다. 이 방법에서는, 순회 계수를 K(0≤K≤1)로 한 경우, 현재의 프레임의 화소값이 1-K배 되고, 움직임 보상을 행한 화상의 화소값이 K배 되어 가산된다. 그러나, 순회 계수를 너무 크게 하면, 수직 에일리어싱 왜곡이나 랜덤 노이즈가 저감되는 한편, 피사체가 움직이고 있는 영역에서 잔상(殘像) 등에 의한 화상의 희미해짐(blur)이 발생하는 경우가 있다. 그 때문에, 또 현재의 프레임의 화상과, 하나 전(前)의 프레임의 화상과의 사이의 차이(差; differences)인 움직임 성분에 의거해서, 순회 계수를 변화시키는 것이 제안되어 있다(예를 들면, 일본 특허 문헌 2 참조).

　　　[특허 문헌 1]일본 특개 2000－261768호 공보

　　 [특허 문헌 2]일본 특개 2004－88234호 공보

그렇지만, 특허 문헌 1에 기재된 발명에서는, IP 변환 후의 프로그레시브 화상에서, 피사체가 움직이고 있는 영역의 해상도는 향상(向上)되지만, 수직 방향의 에일리어싱 왜곡을 억제하는 것이 곤란하다.

또, 일본 특허 문헌 2에 기재된 발명에서는, 움직임 성분에 의거해서만 순회 계수를 변화시키기 때문에, 화상의 희미해짐을 충분히 억제하는 것이 곤란하다.

본 발명은, 이와 같은 상황을 감안해서 이루어진 것이며, 인터레이스 방식의 화상을, 보다 양호한 화질의 프로그레시브 방식의 화상으로 변환할 수가 있도록 하는 것이다.

본 발명의 제1 측면의 화상 처리 장치는, 인터레이스 방식의 입력 화상을 프로그레시브 방식의 출력 화상으로 변환하는 화상 처리 장치로서, 상기 입력 화상을 프로그레시브 방식의 중간 화상으로 변환하는 IP 변환 수단과, 상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터를 검출하는 움직임 벡터 검출 수단과, 상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소에 대한 제1 순회 계수, 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소에 대한 제2 순회 계수를 설정하는 순회 계수 설정 수단과, 상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상에 대해서 움직임 보상을 행한 화상인 움직임 보상 화상을 생성하는 움직임 보상 수단과, 상기 중간 화상의 상기 제1 타입 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1의 순회 계수를 이용해서 가중 가산하고, 상기 중간 화상의 상기 제2의 타입 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는 출력 화상 생성 수단이 설치(設)되어 있다.

상기 순회 계수 설정 수단에는, 상기 수직 움직임량의 절대값이 0또는 상기 중간 화상의 화소의 간격의 짝수배(偶數倍)에 가까울 수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작은 값으로 설정하고, 상기 수직 움직임량이 상기 중간 화상의 화소 간격의 홀수배(奇數倍)에 가까울 수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 큰 값으로 설정시킬 수가 있다.

상기 순회 계수 설정 수단에는, 같은(同) 값의 상기 수직 움직임량에 대해서, 상기 제2 순회 계수를 상기 제1 순회 계수보다 큰 값으로 설정시킬 수가 있다.

상기 움직임 벡터의 신뢰도를 검출하는 신뢰도 검출 수단과, 상기 움직임 벡터의 신뢰도에 의거해서, 상기 제1 순회 계수 및 상기 제2 순회 계수를 보정(補正)하는 보정 수단을 더 설치할 수가 있다.

상기 신뢰도 검출 수단에는, 상기 움직임 벡터의 신뢰도로서, 각각의 상기 움직임 벡터에 대해서, 주변의 상기 움직임 벡터와의 편차의 정도(度合)를 나타내는 제1 움직임 분산을 검출시키고, 상기 보정 수단에는, 상기 제1 움직임 분산이 클 수록, 상기 제1 순회 계수 및 상기 제 2 순회 계수를 작게 하도록 보정시킬 수가 있다.

상기 신뢰도 검출 수단에는, 또 상기 움직임 벡터의 신뢰도로서, 각각의 상기 움직임 벡터에 대해서, 그 상기 움직임 벡터에 대응하는 화소를 상기 움직임 벡터로 나타내는 방향 및 거리만큼 이동한 위치의 주변에서의 1프레임 전의 움직임 벡터와의 편차 정도를 나타내는 제2 움직임 분산을 검출시키고, 상기 보정 수단에는, 또 상기 제2 움직임 분산이 클 수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작게 하도록 보정시킬 수가 있다.

상기 움직임 벡터 검출 수단에는, 소정(所定; 미리 정해진) 크기의 블록마다 상기 움직임 벡터를 검출시키고, 상기 신뢰도 검출 수단에는, 상기 입력 화상의 상기 블록내의 화소값과, 상기 블록을 상기 움직임 벡터로 나타내는 방향 및 거리만큼 이동시킨 상기 과거의 출력 화상의 블록내의 화소값과의 차분값을 검출시키고, 상기 보정 수단에는, 상기 차분값이 클수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작게 하도록 보정시킬 수가 있다.

본 발명의 제1 측면의 화상 처리 방법 또는, 프로그램은, 인터레이스 방식의 입력 화상을 프로그레시브 방식의 출력 화상으로 변환하는 화상 처리 방법 또는, 인터레이스 방식의 입력 화상을 프로그레시브 방식의 출력 화상으로 변환하는 화상 처리를 컴퓨터에 실행시키는 프로그램으로서, 상기 입력 화상을 프로그레시브 방식의 중간 화상으로 변환하고, 상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터를 검출하고, 상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소에 대한 제1 순회 계수 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소에 대한 제2 순회 계수를 설정하고, 상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상에 대해서 움직임 보상을 행한 화상인 움직임 보상 화상을 생성하고, 상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가산하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는 스텝을 포함한다.

본 발명의 제1 측면에서는, 상기 입력 화상이 프로그레시브 방식의 중간 화상으로 변환되고, 상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터가 검출되고, 상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소에 대한 제1 순회 계수 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소에 대한 제2 순회 계수가 설정되고, 상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상에 대해서 움직임 보상(補償)을 행한 화상인 움직임 보상 화상이 생성되고, 상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가산하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상이 생성된다.

[발명을 실시하기 위한 최량의 형태]

이하(以下)에 본 발명의 실시의 형태를 설명하겠지만, 본 발명의 구성 요건과 명세서 또는 도면에 기재된 실시형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 발명을 서포트하는 실시형태가, 발명의 상세한 설명에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 상세한 설명 중(中)에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시형태로서, 여기에는 기재되어 있지 않은 실시형태가 있었다고 해도, 그것은, 그 실시형태가, 그 구성 요건에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 역(逆)으로, 실시형태가 구성 요건에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그 것은, 그 실시형태가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는 것인 것을 의미하는 것도 아니다.

본 발명의 제1 측면의 화상 처리 장치(예를 들면, 도 2의 순회형 IP 변환 부(111))는, 제1에, 인터레이스 방식의 입력 화상(예를 들면, 화상 I1)을 프로그레시브 방식의 출력 화상(예를 들면, 화상 P2)으로 변환하는 화상 처리 장치로서, 상기 입력 화상을 프로그레시브 방식의 중간 화상(예를 들면, 화상 P1)으로 변환하는 IP 변환 수단(예를 들면, 도 2의 IP 변환부(121))과, 상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터(예를 들면, 움직임 벡터(V))를 검출하는 움직임 벡터 검출 수단(예를 들면, 도 2의 움직임 벡터 검출부(131))과, 상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량(예를 들면, 수직 움직임량 VY)에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소(예를 들면, 타입 A의 화소)에 대한 제1 순회 계수(예를 들면, 순회 계수 KA0) 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소(예를 들면, 타입 B의 화소)에 대한 제2 순회 계수(예를 들면, 순회 계수 KB0)를 설정하는 순회 계수 설정 수단(예를 들면, 도 2의 순회 계수 설정부(133))과, 상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상(예를 들면, 화상 P3)에 대해서 움직임 보상을 행한 화상인 움직임 보상 화상(예를 들면, 화상 P4)을 생성하는 움직임 보상 수단(예를 들면, 도 2의 움직임 보상부(134))과, 상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가산하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는 출력 화상 생성 수단(예를 들면, 도 2의 곱합 연산부(135))을 구비한다.

본 발명의 제1 측면의 화상 처리 장치는, 제2에, 상기 움직임 벡터의 신뢰도를 검출하는 신뢰도 검출 수단(예를 들면, 도 5의 움직임 분산 차감량(差引量) 산출부(181)또는 MC블록 차분 차감량 산출부(182))과, 상기 움직임 벡터의 신뢰도에 의거해서, 상기 제1 순회 계수 및 상기 제2 순회 계수를 보정하는 보정 수단(예를 들면, 감산부(183-1 및 183-3) 또는, 감산부(183-2 및 183-4))을 더 구비한다.

본 발명의 제1 측면의 화상 처리 방법 또는 프로그램은, 인터레이스 방식의 입력 화상(예를 들면, 화상 I1)을 프로그레시브 방식의 출력 화상(예를 들면, 화상 P2)으로 변환하는 화상 처리 방법, 또는, 인터레이스 방식의 입력 화상(예를 들면, 화상 I1)을 프로그레시브 방식의 출력 화상(예를 들면, 화상 P2)으로 변환하는 화상 처리를, 컴퓨터에 실행시키는 프로그램으로서, 상기 입력 화상을 프로그레시브 방식의 중간 화상(예를 들면, 화상 P1)으로 변환하고(예를 들면, 도 6의 스텝 S1), 상기 중간 화상의 화소의 간격보다 짧은 거리를 최소 단위로 하는 상기 입력 화상 및 상기 중간 화상의 움직임 벡터(예를 들면, 움직임 벡터(V))를 검출하고(예를 들면, 도 8의 스텝 S21), 상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량(예를 들면, 수직 움직임량 VY)에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소(예를 들면, 타입 A의 화소)에 대한 제1 순회 계수(예를 들면, 순회 계수 KA0) 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소(예를 들면, 타입 B의 화소)에 대한 제2 순회 계수(예를 들면, 순회 계수 KB0)를 설정하고(예를 들면, 도 8의 스텝 S23), 상기 움직임 벡터에 의거해 서, 과거의 상기 출력 화상(예를 들면, 화상 P3)에 대해서 움직임 보상을 행한 화상인 움직임 보상 화상(예를 들면, 화상 P4)을 생성하고(예를 들면, 도 8의 스텝 S28), 상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가산하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는(예를 들면, 도 8의 스텝 S29) 스텝을 포함한다.

이하, 본 발명의 실시형태에 대해 도면을 참조해서 설명한다.

도 1은, 본 발명을 적용한 화상 변환 장치(101)의 1실시형태를 도시하는 블록도이다. 화상 변환 장치(101)는, 순회형 IP 변환부(111), 출력 위상 변환부(112), 자연 화상(自然畵; natural-image) 예측부(113), 인공 화상(人工畵; artificial-image) 예측부(114), 자연화상 인공화상 판정부(115), 및, 합성부(116)에 의해 구성된다. 또, 순회형 IP 변환부(111)는, IP 변환부(121) 및 순회형 변환부(122)에 의해 구성된다.

순회형 IP 변환부(111)의 IP 변환부(121) 및 순회형 변환부(122)에는, 처리 대상(對象)으로 되는 인터레이스 방식의 SD(Standard Definition) 화상이 입력된다.

IP 변환부(121)는, 소정의 방법에 의거해서, 입력된 인터레이스 방식의 SD 화상(이하, 입력 화상이라고도 칭한다)을 프로그레시브 방식의 SD 화상(이하, 중간 화상이라고도 칭한다)으로 IP 변환하고, IP 변환한 프로그레시브 방식의 SD 화상을 순회형 변환부(122)에 공급 한다.

순회형 변환부(122)는, 입력 화상과, 1프레임 전에 순회형 변환부(122)로부터 출력된 프로그레시브 방식의 SD 화상(이하, 출력 화상이라고도 칭한다)과의 사이의 움직임 벡터를 구한다. 순회형 변환부(122)는, 입력 화상의 화소값과, 구한 움직임 벡터에 의거해서, 출력 화상에 움직임 보상을 행한 화상의 화소값을, 순회 계수를 이용해서 가중 가산하는 것에 의해, 중간 화상의 화질을 향상시킨다. 순회형 변환부(122)는, 중간 화상을 보다 고화질의 프로그레시브 방식의 SD 화상인 출력 화상으로 변환하고, 출력 화상을 출력 위상 변환부(112)에 공급한다. 또한, 순회 계수는, 중간 화상의 각 화소에 대해서, 변환전의 입력 화상에서 화소가 존재하는 위치에 있는지의 여부, 움직임 벡터의 수직 방향의 크기 및, 움직임 벡터의 확실함(確; probability)을 나타내는 신뢰도에 의거해서 설정된다.

출력 위상 변환부(112)는, 순회형 변환부(122)로부터 공급되는 SD 화상에 대해서, 수평 방향 및 수직 방향으로 보간(補間)을 행하는 것에 의해, HD(High Definition) 화상을 생성한다. 출력 위상 변환부(112)는, 그 HD 화상을, 자연 화상 예측부(113), 인공 화상 예측부(114) 및, 자연화상 인공화상 판정부(115)에 공급한다.

자연화상 예측부(113)는, 출력 위상 변환부(112)로부터 공급되는 HD 화상으로부터, 그 HD 화상 중 자연 화상(自然畵像; natural image)을 고품질(高品質; high-quality)로 한 HD 화상(이하, 자연고품질 화상이라고 칭한다)을 예측한다. 구체적으로는, 자연화상 예측부(113)는, HD 화상의 특징에 따라서, 그 HD 화상으로부터 구해지는 자연 고품질 화상의 화소인 주목(注目; subject)화소를, 자연 화상의 특징에 적합(適)한 클래스로 분류(分類; classify)한다. 그리고, 자연 화상 예측부(113)는, 그 클래스에 대응하는, 자연 고품질 화상을 예측하기 위한 예측 계수와, HD 화상을 이용해서 연산하는 것에 의해, 출력 위상 변환부(112)로부터 공급된 HD 화상으로부터, 자연 고품질 화상을 예측한다. 자연화상 예측부(113)는, 그 자연 고품질 화상을 합성부(116)에 공급한다.

여기서, 자연 화상이란, 후술 하는 인공 화상이 아닌 화상으로서, 자연계(自然界)에 존재하는 것을 그대로 촬상하는 것에 의해 얻어지는 화상이다.

인공화상 예측부(114)는, 자연화상 예측부(113)와 마찬가지로, 출력 위상 변환부(112)로부터 공급되는 HD 화상으로부터, 그 HD 화상 중 인공 화상을 고품질로 한 HD 화상(이하, 인공 고품질 화상이라고 칭한다)을 예측한다. 구체적으로는, 인공화상 예측부(114)는, HD 화상의 특징에 따라서, 그 HD 화상으로부터 구해지는 인공 고품질 화상의 화소인 주목 화소를, 인공 화상의 특징에 적합한 클래스로 분류한다. 그리고, 인공 화상 예측부(114)는, 그 클래스에 대응하는, 인공 고품질 화상을 예측하기 위한 예측 계수와, HD 화상을 이용해서 연산하는 것에 의해, 출력 위상 변환부(112)로부터 공급된 HD 화상으로부터, 인공 고품질 화상을 예측한다. 인공 화상 예측부(114)는, 그 인공 고품질 화상을 합성부(116)에 출력한다.

여기서, 인공 화상이라 함은, 문자나 단순한 도형 등의, 계조(階調)가 적고, 위상 정보인 에지(edge) 위상 정보가 뚜렷한, 즉, 평탄 부분(平坦部分)이 많은 인 공적인 화상이다. 바꾸어 말하면, 인공 화상은, 문자나 단순 도형 등의 계조가 그다지 없고, 윤곽(輪郭) 등의 위상 정보가 지배적으로 되어있는 화상이다.

자연화상 인공화상 판정부(115)는, 출력 위상 변환부(112)로부터 공급되는 HD 화상의 각 화소에 대해서, 인공 화상으로 분류되는 영역, 또는, 자연 화상으로 분류되는 영역의 어느 영역에 속하는지를 판정하고, 판정 결과를 인공 화상도(人工畵度; degrees of artificiality)로서 합성부(116)에 출력한다. 즉, 인공 화상도라 함은, 인공 화상과 자연 화상과의 중간으로 분류되는 영역에서 자연 화상에서의 인공 화상의 비율을 0 내지 1의 값으로 나타낸 것이다.

합성부(116)는, 자연화상 인공화상 판정부(115)로부터 공급되는 판정 결과에 의거해서, 자연 화상 예측부(113)로부터 공급되는 자연 고품질 화상의 각 화소의 화소값과, 인공 화상 예측부(114)로부터 공급되는 인공 고품질 화상의 각 화소의 화소값을 인공 화상도에 따른 비율로 합성(合成)하고, 합성 결과 얻어지는 HD 화상을 출력한다.

도 2는, 도 1의 순회형 IP 변환부(111)의 순회형 변환부(122)의 기능적 구성을 상세하게 도시한 블록도이다. 순회형 변환부(122)는, 움직임 벡터 검출부(131), MC 블록 차분(差分; difference) 검출부(132), 순회 계수 설정부(133), 움직임 보상부(134), 곱합 연산부(135) 및, 프레임 메모리(136)에 의해 구성된다.

또한, 이하, 순회형 IP 변환부(111)에서 처리되는 각 화상의 화소의 위치를 나타내는 좌표계(座標系)에 대해서, 수평(가로) 방향을 x축방향으로 하고, 수직(세로) 방향을 y축방향으로 한다. 즉, 각 화소의 좌표는, (x, y)로 나타내어진다. 또, 이하, 외부로부터 IP 변환부(121)에 입력되는 인터레이스 방식의 SD 화상인 입력 화상을 화상 I1이라고도 칭하고, IP 변환부(121)로부터 출력되는 프로그레시브 방식의 SD 화상인 중간 화상을 화상 P1이라고도 칭한다.

또, 일반적으로, 프로그레시브 화상에는, IP 변환전의 인터레이스 화상에서 화소가 존재하는 위치에 있는 화소와, 존재하지 않는 위치에 있는 화소의 2 종류의 화소가 있다. 이하, 이 2종류의 화소를 구별하는 경우, 전자(前者)를 A타입의 화소, 후자(後者)를 B타입의 화소라고 한다.

도 3은, IP 변환전의 인터레이스 화상 및 IP 변환 후의 프로그레시브 화상의 화소의 위치의 관계를 도시하는 도면이다. 도 3의 횡축 방향은, 시간을 나타내고, 종축 방향은, 화소의 위치를 나타낸다. 이 도 3의 예에서, 흰 동그라미(白丸)에 둘러싸인 검은 동그라미(黑丸)로 나타내어지는 화소가, A타입의 화소이고, 검은 동그라미만으로 나타내어지는 화소가, B타입의 화소이다.

움직임 벡터 검출부(131)는, 화상 I1의 각 화소의 움직임 벡터를 검출한다. 구체적으로는, 움직임 벡터 검출부(131)는, 1프레임 전에 순회형 변환부(122)로부터 출력된 프로그레시브 SD 화상인 출력 화상이며, 프레임 메모리(136)에 기억되어 있는 화상(이하, 화상 P3이라고도 칭한다)을, 프레임 메모리(136)로부터 판독출력한다. 움직임 벡터 검출부(131)는, 도 18을 참조해서 후술하는 바와 같이, 화상 I1을, 소정의 크기 즉, 세로 Nㅧ가로 M화소의 블록으로 분할하고, 블록마다, 화소 이하 정밀도(畵素以下精度; sub-pixel-precision)로 즉, 프로그레시브 화상에서의 화소의 간격보다 짧은 거리를 최소단위로 해서, 움직임 벡터를 검출한다. 또, 화 상 I1에 실제로 존재하지 않는 B타입의 화소에 대해서는, 그 화소가 포함되는 블록의 움직임 벡터가 적용된다.

또한, 이하, 블록 등, 각 화상내의 소정의 블록의 위치를 나타내는 좌표계에 대해서, 화소의 위치를 나타내는 좌표계와 구별하기 위해서, 수평(가로) 방향을 X축 방향으로 하고, 수직(세로) 방향을 Y축 방향으로 한다. 즉, 각 블록의 좌표는(X, Y)로 나타내어진다. 또, 이하, 좌표(X, Y)의 블록의 움직임 벡터를 V(X, Y)로 나타내고, 움직임 벡터 V(X, Y)의 수평 방향의 성분인 수평 움직임량을 VX(X, Y)로 나타내고, 움직임 벡터 V(X, Y)의 수직 방향의 성분인 수직 움직임량을 VY(X, Y)로 나타낸다. 또, 이하, 수평 움직임량 및 수직 움직임량의 크기는, 프로그레시브 화상에서의 화소 간격을 기준으로 해서 나타내기로 한다. 또, 이하, 각 블록의 왼쪽위구석(左上隅; top left)의 화소를 기준 화소라고 하고, 기준 화소의 좌표를 기준 좌표라고 한다.

움직임 벡터 검출부(131)는, 검출한 움직임 벡터 V(수평 움직임량 VX 및 수직 움직임량 VY)를 나타내는 정보를, MC블록 차분 검출부(132), 순회 계수 설정부(133) 및, 움직임 보상부(134)에 공급한다. 또, 움직임 벡터 검출부(131)는, 움직임 벡터의 검출에 이용한 화상 I1 및 화상 P3을 MC 블록 차분 검출부(132)에 공급한다.

MC 블록 차분 검출부(132)는, 도 9 및 도 10을 참조해서 후술하는 바와 같이, 화상 I1의 블록 마다, 각 블록의 화소값과, 그 블록에 대응하는 화상 P3의 블록 즉, 화상 I1의 각 블록을 움직임 벡터 V로 나타내어지는 방향 및 거리만큼 이동 시킨 위치에 있는 화상 P3 블록의 화소값과의 차분값인 MC 블록 차분값을 검출한다. MC블록 차분 검출부(132)는, 검출한 MC 블록 차분값을 나타내는 정보를 순회 계수 설정부(133)에 공급한다.

또한, 이하, 화상 I1의 좌표(X, Y)의 블록에 대응하는 블록 차분값을, BD(X, Y)로 나타낸다.

순회 계수 설정부(133)는, 도 8 등을 참조해서 후술하는 바와 같이, 움직임 벡터 V 및, MC블록 차분값 BD에 의거해서, A타입의 화소에 대한 순회 계수 KA 및, B타입의 화소에 대한 순회 계수 KB를 설정한다. 또한, 이하, 좌표(x, y)의 A타입의 화소에 대한 순회 계수 KA를 KA(x, y)로 나타내고, 좌표(x, y)의 B타입의 화소에 대한 순회 계수 KB를 KB(x, y)로 나타낸다. 순회 계수 설정부(133)는, 설정한 순회 계수 KA 및 KB를 나타내는 정보를 곱합 연산부(135)에 공급한다.

움직임 보상부(134)는, 프레임 메모리(136)로부터 화상 P3을 판독출력한다. 움직임 보상부(134)는, 도 8을 참조해서 후술하는 바와 같이, 움직임 벡터 V에 의거해서, 화상 P3에 대해서 움직임 보상을 행한 화상 P4를 생성한다. 움직임 보상부(134)는, 화상 P4를 곱합 연산부(135)에 공급한다.

곱합 연산부(135)는, 도 10을 참조해서 후술하는 바와 같이, 화상 P1의 A타입 화소의 화소값과 화상 P4의 대응하는 위치에 있는 화소의 화소값을 순회 계수 KA를 이용해서 가중 가산하고, 화상 P1의 B타입 화소의 화소값과 화상 P4의 대응하는 위치에 있는 화소의 화소값을 순회 계수 KB를 이용해서 가중 가산한 화소값으로 이루어지는 프로그레시브 방식의 SD 화상인 출력 화상(이하, 화상 P2이라고도 칭한 다)을 생성한다. 곱합 연산부(135)는, 화상 P2를 출력 위상 변환부(112)에 공급함과 동시에, 프레임 메모리(136)에 기억시킨다.

또, 이하, 화상 I1 및 화상 P1 내지 P4 좌표(x, y)의 화소의 화소값을, 각각, I1(x, y) 및 P1(x, y) 내지 P4(x, y)로 나타낸다.

도 4는, 움직임 벡터 검출부(131)의 기능적 구성을 도시하는 블록도이다. 움직임 벡터 검출부(131)는, 움직임 평가값 검출부(151), 화소 정밀도 움직임 벡터 검출부(152), 탭 추출부(153, 154), ADRC(Adaptive Dynamic Range Coding) 처리부(155), 클래스 분류부(156), 계수 메모리(157), 예측 연산부(158) 및, 화소 이하 정밀도 움직임 벡터 검출부(159)에 의해 구성된다.

움직임 평가값 검출부(151)는, 외부로부터 입력되는 화상 I1을 취득하고, 프레임 메모리(136)로부터 화상 P3을 취득한다. 움직임 평가값 검출부(151)는, 화상 I1을 소정의 크기의 블록으로 분할하고, 각 블록을 순차(順次) 주목 블록으로 한다. 또한, 움직임 평가값 검출부(151)는, 도 18을 참조해서 후술하는 바와 같이, 화상 P3의 소정 범위내의 화소를, 순차, 주목 화소로 하고, 주목 화소를 기준 화소로 하는 주목 블록과 같은 크기의 블록(이하, 비교 대상 블록이라고 칭한다)과 주목 블록과의 대응하는 위치에 있는 화소의 화소값과의 차분을 취하고, 그 차분값의 절대값을 합계(合計; add)한 값을, 주목 화소에 대한 움직임 평가값으로서 구한다. 움직임 평가값 검출부(151)는, 검출한 움직임 평가값을 나타내는 정보를, 화소 정밀도 움직임 벡터 검출부(152) 및, 탭 추출부(153, 154)에 공급한다. 또, 움직임 평가값 검출부(151)는, 움직임 벡터의 검출에 이용한 화상 I1 및 화상 P3을 MC 블 록 차분 검출부(132)에 공급한다.

또한, 이하, 좌표(x, y)의 주목 화소에 대한 움직임 평가값을 M(x, y)로 나타낸다.

화소 정밀도 움직임 벡터 검출부(152)는, 도 18을 참조해서 후술하는 바와 같이, 움직임 평가값 M이 최소로 되는 화소(이하, 최소 평가값 화소라고 칭한다)의 좌표와, 주목 블록의 기준화소의 좌표를 연결(結; connect)하는 벡터를, 주목 블록에 대한 화소 정밀도, 즉, 프로그레시브 화상에서의 화소의 간격과 똑같은 거리를 최소단위로 하는 움직임 벡터로서 검출한다.

화소 정밀도 움직임 벡터 검출부(152)는, 검출한 화소 정밀도의 움직임 벡터를 나타내는 정보를 탭 추출부(153, 154)에 공급한다.

탭 추출부(153)는, 도 18을 참조해서 후술하는 바와 같이, 최소 평가값 화소와 최소 평가값 화소에 인접하는 화소와의 사이의 위치, 즉, 화소 이하 정밀도의 위치(이하, 예측 위치라고도 함)에서의 움직임 평가값을 예측하는데 이용하는 화소이며, 최소 평가값 화소를 포함하는 최소 평가값 화소 근방(近傍)의 화상 P3의 화소에 대응하는 움직임 평가값 M을 예측 탭으로해서 추출한다. 탭 추출부(153)는, 추출한 예측 탭을 예측 연산부(158)에 공급한다.

탭 추출부(154)는, 도 18을 참조해서 후술하는 바와 같이, 최소 평가값 화소를, 몇 개의 클래스 중 어느것인가로 클래스분류하는 클래스 분류를 행하는데 이용하는 화상 P3의 몇개의 화소에 대응하는 움직임 평가값 M을, 클래스 탭으로서 추출한다. 탭 추출부(154)는, 추출한 클래스 탭을 ADRC 처리부(155)에 공급한다.

ADRC 처리부(155)는, 클래스 탭을 구성하는 화소의 움직임 평가값 M을 ADRC 처리하고, 그 결과 얻어지는 ADRC 코드를 나타내는 정보를 클래스 분류부(156)에 공급한다.

또한, K비트 ADRC에서는, 예를 들면, 클래스 탭을 구성하는 화소의 움직임 평가값 M의 최대값 MAX와 최소값 MIN이 검출되고, DR=MAX-MIN을, 클래스 탭을 구성하는 움직임 평가값 M의 집합(集合)의 국소적(局所的)인 다이나믹 레인지로 하고, 이 다이나믹 레인지 DR에 의거해서, 클래스 탭을 구성하는 움직임 평가값 M이 K비트로 재양자화(再量子化; re-quantize)된다. 즉, 클래스 탭을 구성하는 각 화소의 움직임 평가값 M으로부터, 최소값 MIN이 감산(減算; subtract)되고, 그 감산값이 DR/2^K로 제산(除算; divide; 나눗셈)(양자화) 된다. 그리고, 이상과 같이 해서 얻어지는, 클래스 탭을 구성하는 K비트의 각 화소의 움직임 평가값 M을, 소정의 순번(順番; order)으로 늘어놓은(竝; arranged) 비트열(列; string)이, ADRC 코드로서 출력된다.

클래스 분류부(156)는, ADRC 처리부(155)로부터의 ADRC 코드에 의거해서, 최소 평가값 화소를 클래스 분류하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 나타내는 정보를, 계수 메모리(157)에 공급한다.

계수 메모리(157)는, 후술하는 학습에 의해서 미리 구해진 클래스마다의 탭 계수 세트를 기억하고 있다. 계수 메모리(157)는, 그 기억하고 있는 탭 계수의 세트 중의, 클래스 분류부(156)로부터 공급되는 클래스 코드에 대응하는 어드레스에 기억되어 있는 탭 계수, 즉 클래스 분류부(156)로부터 공급되는 클래스 코드가 나타내는 클래스의 탭 계수를, 예측 연산부(158)에 공급한다.

예측 연산부(158)는, 도 18을 참조해서 후술하는 바와 같이, 탭 추출부(153)가 출력하는 예측 탭과, 계수 메모리(157)가 출력하는 탭 계수를 취득하고, 그 예측 탭과 탭 계수를 이용해서, 예측 위치에서의 움직임 평가값 M의 참값(眞値; true value)의 예측값을 구하는 소정의 예측 연산을 행한다. 이것에 의해, 예측 연산부(158)는, 예측 위치에서의 움직임 평가값 M'의 예측 값을 구하고, 화소 이하(以下) 정밀도 움직임 벡터 검출부(159)에 공급한다.

화소 이하 정밀도 움직임 벡터 검출부(159)는, 최소 평가값 화소 및 예측 위치 중에서 움직임 평가값이 최소로 되는 화소 또는 위치를 검출하고, 검출한 화소 또는 위치의 좌표와, 주목 블록의 기준 화소의 좌표를 연결하는 벡터를, 주목 블록에 대한 화소 이하 정밀도의 움직임 벡터 V로서 검출한다. 화소 이하 정밀도 움직임 벡터 검출부(159)는, 검출한 움직임 벡터 V를 나타내는 정보를 MC 블록 차분 검출부(132) 및 순회 계수 설정부(133) 및, 움직임 보상부(134)에 공급한다.

도 5는, 순회 계수 설정부(133)의 기능적 구성을 도시하는 블록도이다. 순회 계수 설정부(133)는, 기본 순회 계수 설정부(171), 움직임 분산 검출부(172) 및, 순회 계수 산출부(173)에 의해 구성된다. 또, 순회 계수 산출부(173)는, 움직임 분산 차감량(差引量; subtraction amount) 산출부(181), MC 블록 차분 차감량 산출부(182) 및, 감산부(183-1 내지 183-4)에 의해 구성된다.

기본 순회 계수 설정부(171)는, 도 11 내지 도 12를 참조해서 후술하는 바와 같이, 수직 움직임량 VY에 의거해서, 화상 P1의 A타입의 화소에 대한 기본 순회 계수 KA0 및, B타입의 화소에 대한 기본 순회 계수 KB0을설정한다. 또, 이하, 좌표 (x, y)의 화소에 대한 기본 순회 계수 KA0을 KA0(x, y)로 나타내고, 좌표 (x, y)의 화소에 대한 기본 순회 계수 KB0을KB0(x, y)로 나타낸다. 기본 순회 계수 설정부(171)는, 기본 순회 계수 KA0을 나타내는 정보를 감산부(183-1)에 공급하고, 기본 순회 계수 KB0을나타내는 정보를 감산부(183－3)에 공급한다.

움직임 분산 검출부(172)는, 도 14 및 도 17을 참조해서 후술하는 바와 같이, 움직임 벡터 검출부(131)에 의해 검출된 움직임 벡터 V의 신뢰도로서, 주위의 움직임 벡터 V와의 사이의 편차(distribution)의 정도를 나타내는 움직임 분산 MD를 검출한다. 또한, 이하, 움직임 벡터 V(X, Y)에 대한 움직임 분산 MD를, MD(X, Y)로 나타낸다. 움직임 분산 검출부(172)는, 움직임 분산 MD를 나타내는 정보를 움직임 분산 차감량 산출부(181)에 공급한다.

움직임 분산 차감량 산출부(181)는, 도 8을 참조해서 후술하는 바와 같이, 움직임 분산 MD에 의거해서, 기본 순회 계수 KA0, KB0을 보정하기 위한 보정값(補正値)인 움직임 분산 차감량 KM1을 산출한다. 또, 이하, 화상 P1의 좌표 (x, y)의 화소에 대한 움직임 분산 차감량 KM1을, KM1(x, y)로 나타낸다. 움직임 분산 차감량 산출부(181)는, 움직임 분산 차감량 KM1을 나타내는 정보를 감산부(183-1 및 183-3)에 공급한다.

MC 블록 차분 차감량 산출부(182)는, 도 8을 참조해서 후술하는 바와 같이, MC 블록 차분값 BD에 의거해서, 기본 순회 계수 KA0, KB0을 보정하기 위한 보정값 인 MC 블록 차분 차감량 KM2를 산출한다. 또한, 이하, 화상 P1의 좌표 (x, y)의 화소에 대한 움직임 분산 차감량 KM2를, KM2(x, y)로 나타낸다. MC 블록 차분 차감량 산출부(182)는, MC 블록 차분 차감량 KM2를 나타내는 정보를 감산부(183-2 및 183-4)에 공급한다.

감산부(183-1)는, 기본 순회 계수 KA0으로부터 움직임 분산 차감량 KM1을 차감하고, 또 감산부(183-2)는, 감산부(183-1)에 의한 산출값(算出値)으로부터 MC 블록 차분 차감량 KM2를 차감한다. 이것에 의해, 순회 계수 KA가 산출된다. 또, 이하, 화상 P1의 좌표 (x, y)의 화소에 대한 순회 계수 KA를 KA(x, y)로 나타낸다. 감산부(183-2)는, 순회 계수 KA를 나타내는 정보를 곱합 연산부(135)에 공급한다.

감산부(183-3)는, 기본 순회 계수 KB0으로부터 움직임 분산 차감량 KM1을 차감하고, 또, 감산부(183-4)는, 감산부(183-3)에 의한 산출값으로부터 MC 블록 차분 차감량 KM2를 차감한다. 이것에 의해, 순회 계수 KB가 산출된다. 또한, 이하, 화상 P1의 좌표 (x, y)의 화소에 대한 순회 계수 KB를 KB(x, y)로 나타낸다. 감산부(183-4)는, 순회 계수 KB를 나타내는 정보를 곱합 연산부(135)에 공급한다.

다음에, 도 6의 플로차트(flow chart)를 참조해서, 화상 변환 장치(101)에 의해 실행되는 화상 변환 처리를 설명한다. 또, 이 처리는, 예를 들면, 외부로부터 화상 I1의 입력이 개시되었을 때 개시된다.

스텝 S1에서, IP 변환부(121)는, IP 변환 처리를 행한다. 구체적으로는, IP 변환부(121)는, 외부로부터 입력되는 인터레이스 방식의 화상 I1을 IP 변환하는 것에 의해, 화상 P1을 생성한다. 여기서, 도 7을 참조해서, IP 변환부(121)가 행하 는 IP 변환 처리의 1예인, 움직임 적응형(適應型)이라 불리는 방법을 이용한 IP 변환 처리에 대해서 설명한다.

도 7은, 인터레이스 화상에서의 수직 방향의 화소의 늘어섬(竝; arrangement; 배열)을 도시하는 도면이다. 도 7의 횡축방향은 시간을 나타내고, 종축 방향은 화소의 위치를 나타낸다. 또, 도면 내의 흰 동그라미는 화소를 나타낸다. 또한, 도면 내의 좌단(左端)의 화소의 열은 n-1번째 필드에 속하고, 한가운데(眞中)의 화소의 열은 n번째의 필드에 속하고, 우단(右端)의 화소의 열은 n+1번째 필드에 속하는 것으로 한다.

이하, n번째의 필드의 인터레이스 화상을 프로그레시브 화상으로 변환하는 경우에, 위치 x에서 보간할 화소(B타입의 화소)의 화소값을 산출하는 예에 대해서 설명한다. 또, n-1번째의 필드에서, 위치 x에 대응하는 위치에 있는 화소의 화소값을 a, n+1번째의 필드에서, 위치 x에 대응하는 위치에 있는 화소의 화소값을 b로 한다. 또, n번째 필드에서, 위치 x위에 인접하는 화소의 화소값을 c, 아래(下)에 인접하는 화소의 화소값을 d로 한다.

예를 들면, |a-b|≤|c-d|인 경우, 위치 x는 화상의 움직임이 적은 정지(靜止; still) 영역에 포함된다고 여겨지고, 위치 x의 화소값은, 전후(前後)의 필드에서 위치 x에 대응하는 위치에 있는 화소의 화소값의 평균값인 (a+b)/2로 된다. 한편, |a-b|＞|c-d|인 경우, 위치 x는 화상의 움직임이 큰 동작 영역에 포함된다고 여겨지고, 위치 x의 화소값은, 상하 방향으로 인접하는 화소값의 평균값인 (c+d)/2로 된다. 또, 다른(他) 위치의 B타입의 화소에 대해서도, 마찬가지 방법에 의해 화소값이 구해진다.

또 IP 변환부(121)가 행하는 IP 변환의 방법은, 특정의 방법에 한정되는 것은 아니고, 예를 들면, 클래스 분류 적응 처리를 이용한 방법을 이용하도록 해도 좋다. 또 클래스 분류 적응 처리를 이용한 IP 변환의 방법에 대해서는, 예를 들면, 본건 출원인이 앞서 출원한 일본 특개 제2000-50213호 공보 등에, 그 상세한 내용이 개시(開示)되어 있다.

또, 화상 I1을 그대로 IP 변환하는 것이 아니라, IP 변환하기 전에, 노이즈 제거 등의 화질을 향상시키는 화상 처리를 화상 I1에 행하도록 해도 좋다.

IP 변환부(121)는, 생성한 화상 P1을 순서대로(順; sequentially) 곱합 연산부(135)에 공급한다.

스텝 S2에서, 순회형 변환부(122)는, 순회형 변환 처리를 행한다. 순회형 변환 처리의 상세한 내용은, 도 8을 참조해서 후술하겠지만, 이 처리에 의해, 화상 P1이 보다 고화질의 화상 P2로 변환되고, 화상 P2가 출력 위상 변환부(112)에 공급된다.

스텝 S3에서, 출력 위상 변환부(112)는, 출력 위상 변환 처리를 행한다. 구체적으로는, 출력 위상 변환부(112)는, 순회형 변환부(122)로부터 공급되는 SD 화상에 대해서, 수평 방향 및 수직 방향에 보간을 행하는 것에 의해, HD 화상을 생성한다. 출력 위상 변환부는, 그 HD 화상을, 자연 화상 예측부(113), 인공 화상 예측부(114) 및, 자연화상 인공화상 판정부(115)에 공급한다.

스텝 S4에서, 자연화상 예측부(113)는, 자연화상 예측 처리를 행한다. 구체 적으로는, 출력 위상 변환부(112)로부터 공급되는 HD 화상으로부터, 그 HD 화상 중 자연 화상을 고품질로 한 자연 고품 화상을 예측한다. 즉, 자연 화상 예측부(113)는, HD 화상의 특징에 따라서, 그 HD 화상으로부터 구해지는 자연 고품질 화상의 화소인 주목 화소를, 자연 화상의 특징에 적합한 클래스로 분류한다. 그리고, 자연 화상 예측부(113)는, 그 클래스에 대응하는, 자연 고품질 화상을 예측하기 위한 예측 계수와, HD 화상을 이용해서 연산하는 것에 의해, 출력 위상 변환부(112)로부터 공급된 HD 화상으로부터, 자연 고품질 화상을 예측한다. 자연화상 예측부(113)는, 그 자연 고품질 화상을 합성부(116)에 공급한다.

스텝 S5에서, 인공화상 예측부(114)는, 인공화상 예측 처리를 행한다. 구체적으로는, 인공 화상 예측부(114)는, 자연 화상 예측부(113)와 마찬가지로, 출력 위상 변환부(112)로부터 공급되는 HD 화상으로부터, 그 HD 화상 중 인공 화상을 고품질로 한 인공 고품질 화상을 예측한다. 즉, 인공 화상 예측부(114)는, HD 화상의 특징에 따라서, 그 HD 화상으로부터 구해진 인공 고품질 화상의 화소인 주목 화소를, 인공 화상의 특징에 적합한 클래스로 분류한다. 그리고, 인공 화상 예측부(114)는, 그 클래스에 대응하는, 인공 고품질 화상을 예측하기 위한 예측 계수와, HD 화상을 이용해서 연산하는 것에 의해, 출력 위상 변환부(112)로부터 공급된 HD 화상으로부터, 인공 고품질 화상을 구한다. 인공화상 예측부(114)는, 그 인공 고품질 화상을 합성부(116)에 출력한다.

스텝 S6에서, 자연화상 인공화상 판정부(115)는, 자연화상 인공화상 판정 처리를 행한다. 구체적으로는, 자연화상 인공화상 판정부(115)는, 출력 위상 변환 부(112)로부터 공급되는 HD 화상의 각 화소에 대해서, 인공 화상으로 분류되는 영역, 또는, 자연 화상으로 분류되는 영역의 어느 영역에 속하는지를 판정하고, 판정 결과를 인공화상도(人工畵度)로서 합성부(116)에 출력한다.

　　 스텝 S7에서, 합성부(116)는, 화상을 합성한다. 구체적으로는, 합성부(116)는, 자연화상 인공화상 판정부(115)로부터 공급되는 판정 결과에 의거해서, 자연 화상 예측부(113)로부터 공급되는 자연 고품질 화상의 각 화소의 화소값과, 인공 화상 예측부(114)로부터 공급되는 인공 고품질 화상의 각 화소의 화소값을 인공 화상도에 따른 비율로 합성한다. 합성부(116)는, 합성한 화상을 후단(後段)의 장치에 출력한다.

또, 복수(複數; plurality)의 화상의 화상 변환을 연속해서 행하는 경우, 상술한 스텝 S1 내지 S7의 처리가 되풀이(반복)해서 실행된다.

다음에, 도 8을 참조해서, 도 6의 스텝 S2의 순회형 변환 처리의 상세한 내용을 설명한다.

스텝 S21에서, 움직임 벡터 검출부(131)는, 움직임 벡터 검출 처리를 행한다. 움직임 벡터 검출 처리의 상세한 내용은, 도 18을 참조해서 후술 하겠지만, 이 처리에 의해, 화상 I1의 각 화소의 화소 이하 정밀도의 움직임 벡터 V가 검출된다. 또, 검출된 움직임 벡터 V의 수평 움직임량 VX 및 수직 움직임량 VY를 나타내는 정보가, 움직임 벡터 검출부(131)로부터, MC 블록 차분 검출부(132) 및 순회 계수 설정부(133) 및, 움직임 보상부(134)에 공급된다. 또, 움직임 벡터 V의 검출에 이용한 화상 I1 및 화상 P3이, 움직임 벡터 검출부(131)로부터 MC 블록 차분 검출 부(132)에 공급된다.

　　 스텝 S22에서, MC 블록 차분 검출부(132)는, MC 블록 차분값을 검출한다. 여기서, 도 9 및 도 10을 참조해서, MC블록 차분값의 검출 방법을 설명한다.

우선, 도 9에 도시되는 바와 같이, 화상 I1의 블록 B0에 대응하는 위치에 있는 화상 P3의 블록을 B0’로 한다. 또, 블록 B0의 움직임 벡터 V로 나타내어지는 방향 및 거리만큼 블록 B0’를 이동시킨 블록을 블록 B1로 한다.

움직임 벡터 V는 화소 이하 정밀도이기 때문에, 수평 움직임량 VX 또는 수직 움직임량 VY에 소수 부분이 존재하는 경우, 블록 B1의 화소의 위치는, 화상 P3의 실제의 화소의 위치와 일치하지 않는다. 여기서, 도 10을 참조해서, 블록 B1이, 화상 P3에서의 실제의 화소의 위치와 일치하지 않는 경우에, 블록 B1의 각 화소의 화소값을 산출하는 방법을 설명한다.

도 10의 검은 동그라미로 나타내어지는 화소 z는, 블록 B1내의 하나의 화소로서, 화상 P3에 실재(實在; 실제로 존재)하지 않는 위치에 있는 화소이다. 흰 동그라미로 나타내는 화소 a 내지 d는, 화소 z에 인접하는(즉, 가장 가까운) 화상 P3에 실재하는 화소이다. 화소 a 내지 d 및 화소 z의 화소값을, 각각 a 내지 d 및 z로 하고, 화소 z의 왼쪽 기울기 위(上)에 있는 화소 a와 화소 z와 사이의 x축 방향의 거리를 xd, y축 방향의 거리를 yd로 한 경우, 화소 z의 화소값 z는, 이하의 식(1)에 의거해서 산출된다.

z=(1-yd)ㅧ((1-xd)ㅧa+xdㅧb)+ydㅧ((1-xd)ㅧc+xdㅧd)···(1)

또, 블록 B1의 화소의 위치가, 화상 P3에 실재하는 화소의 위치와 일치하는 경우, 그 대로 화상 P3의 화소값이 블록 B1의 각 화소의 화소값으로 된다.

MC 블록 차분 검출부(132)는, 블록 B1의 각 화소의 화소값을 산출한 후, 이하의 식(2)에 의거해서, MC 블록 차분값 BD를 산출한다.

　　　[수학식 1]

또한, B0(i, j)는, 블록 B0의 왼쪽위구석의 화소인 기준 화소를 원점(0,0)으로 하는 위치 (i, j)에 있는 블록 B0내의 화소의 화소값을 나타내고, B1(i, j)는, 블록 B1의 기준 화소를 원점 (0,0)으로 하는 위치 (i, j)에 있는 블록 B1내의 화소의 화소값을 나타낸다. 즉, MC 블록 차분값 BD는, 블록 B0와 블록 B1의 대응하는 위치에 있는 화소의 화소값의 차분을 취하고, 그 차분값의 절대값의 합계값(合計値)으로 된다.

따라서, 현재의 프레임과 하나 전의 프레임의 대응하는 블록내의 화상의 변화가 클 수록, MC 블록 차분값 BD는 커진다. 즉, MC 블록 차분값 BD가 큰 블록은, 피사체가 변형 혹은 복잡한 움직임을 하고 있거나, 작은 피사체가 복수 존재하고 있거나, 피사체의 에지 부분을 포함하고 있거나 하는 등의 원인에 의해, 화상의 움직임이 복잡한 영역의 블록일 가능성이 높다. 따라서, 그 블록에 대해서 검출된 움직임 벡터 V는 정확하게 검출되고 있지 않을 가능성이 높고, 그 움직임 벡터 V의 신뢰도는 낮다고 말할 수 있다.

MC 블록 차분 검출부(132)는, 화상 I1의 각 블록에 대해서, MC 블록 차분값 BD를 검출하고, 검출한 MC블록 차분값 BD를 나타내는 정보를 MC 블록 차분 차감량 산출부(182)에 공급한다.

스텝 S23에서, 기본 순회 계수 설정부(171)는, 기본 순회 계수를 설정한다. 구체적으로는, 기본 순회 계수 설정부(171)는, 화상 P1의 A타입의 화소에 대한 기본 순회 계수 KA0을, 그 화소가 포함되는 블록의 수직 움직임량 VY 및, 도 11에 도시되는 그래프에 의거해서 설정하고, B타입의 화소에 대한 기본 순회 계수 KB0을, 그 화소가 포함되는 블록의 수직 움직임량 VX 및, 도 12에 도시되는 그래프에 의거해서 설정한다.

여기서, 도 11 및 도 12에 도시되는 그래프에 대해서 설명한다. 도 11은, 수직 움직임량 VY와 기본 순회 계수 KA0의 관계를 도시하는 그래프이며, 도 12는, 수직 움직임량 VY와 기본 순회 계수 KB0의 관계를 도시하는 그래프이다.

그런데, 화상의 수직 에일리어싱 왜곡은 , 화소 이하 정밀도의 수직 움직임량에 따라서 변화하는 성질이 있다. 구체적으로는, 각 화소의 수직 움직임량의 절대값이, 화소 간격의 홀수배에 가까운 영역일수록, 수직 에일리어싱 왜곡은 커지고, 0 또는 화소 간격의 짝수배에 가까운 영역일수록, 수직 에일리어싱 왜곡은 작아진다. 예를 들면, 도 13에 도시되는 n번째의 프레임의 화소 Pa의 수직 움직임량 VY가, 도면 내의 VY1, VY3, VY5, VY7과 같이, 화소 간격의 홀수배에 가까울 수록, 수직 에일리어싱 왜곡은 커지고, VY2, VY4, VY6과 같이, 0.0 또는 화소 간격의 짝수배에 가까울수록, 수직 에일리어싱 왜곡은 작아진다.

또 후술하는 바와 같이, 순회 계수의 값이 클수록, 수직 에일리어싱 왜곡을 억제하는 효과가 높아지는 한편, 화상의 흐릿해짐(blur)이 발생하기 쉬워지며, 값이 작을 수록, 수직 에일리어싱 왜곡을 억제하는 효과가 낮아지는 한편, 화상의 흐릿해짐의 발생이 억제된다. 따라서, 도 11 및 도 12의 그래프에 도시되는 바와 같이, 수직 움직임량 VY의 절대값이 0 또는 짝수에 가까울 수록, 즉 수직 방향의 화소 간격의 짝수배에 가까울 수록, 화상의 흐릿해짐을 억제할 수 있도록, 기본 순회 계수 KA0, KB0이 작은 값으로 설정되고, 수직 움직임량 VY의 절대값이 홀수에 가까울 수록, 즉 수직 방향의 화소의 간격의 홀수배에 가까울 수록, 수직 에일리어싱 왜곡이 억제되도록, 기본 순회 계수 KA0, KB0이 큰 값으로 설정된다.

또한, 수직 움직임량 VY의 절대값이 0또는 짝수인 경우, 수직 에일리어싱 왜곡은 발생하지 않지만, 도 11 및 도 12의 그래프와 같이, 수직 에일리어싱 왜곡 이외의 랜덤한 노이즈를 제거 할 수 있도록, 기본 순회 계수 KA0, KB0을 0 이외의 적당한 값으로 설정하도록 해도 좋다.

또, B타입의 화소는, 변환전의 화상 I1에 원래(元元) 없었던 화소이며, 조금(少少; slight)의 흐릿해짐은 허용된다. 따라서, 에일리어싱 왜곡 및 랜덤 노이즈가 보다 억제되도록, 같은 값의 수직 움직임량 VY에 대해서, KB0이 KA0보다도 큰 값으로 설정된다.

이와 같이, 화소의 타입 및 수직 움직임량에 따라서, 기본 순회 계수 KA0, KB0을 설정하는 것에 의해, 화상 P1의 해상도(解像度)를 양호하게 유지(保; maintain)하면서, 즉, 화상을 흐릿하게 하지 않고, 수직 에일리어싱 왜곡이나 노이즈를 제거하는 것이 가능하게 된다.

기본 순회 계수 설정부(171)는, 기본 순회 계수 KA0을 나타내는 정보를 감산부(183-1)에 공급하고, 기본 순회 계수 KB0을 나타내는 정보를 감산부(183-3)에 공급한다.

스텝 S24에서, 움직임 분산 검출부(172)는, 움직임 분산을 검출한다. 여기서, 도 14 및 도 15를 참조해서, 움직임 분산에 대해서 설명한다.

도 14 및 도 15는, 움직임 벡터의 분포의 예를 도시하는 도면이다. 도 14에 도시되는 바와 같이, 사선(斜線)으로 나타내어지는 블록의 움직임 벡터 V0a가, 주변의 움직임 벡터 V1a 내지 V8a와 거의 마찬가지인 경우, 즉, 움직임 벡터 V0a와 주변의 블록의 움직임 벡터 V1a 내지 V8a와의 유사성(類似性)이 높은 경우, 움직임 벡터 V0a는 정확하게 구해지고 있을 가능성이 높고, 움직임 벡터 V0a의 신뢰도는 높다고 말할 수 있다.

한편, 도 15에 도시되는 바와 같이, 사선으로 나타내어지는 블록의 움직임 벡터 V0b 및 주변의 블록의 움직임 벡터 V1b 내지 V8b의 크기나 방향이 크게 다른 경우, 즉, 움직임 벡터 V0b와 주변의 움직임 벡터 V1b 내지 V8b와의 유사성이 낮은 경우, 움직임 벡터 V0b는 정확하게 구해지고 있지 않을 가능성이 높고, 움직임 벡터 V0b의 신뢰도는 낮다고 말할 수 있다.

　　 그래서, 움직임 분산 검출부(172)는, 움직임 벡터 검출부(131)에 의해 검출된 움직임 벡터 V의 신뢰도로서, 각 움직임 벡터 V에 대해서, 주변의 움직임 벡터 V와의 편차의 정도를 나타내는 움직임 분산 MD0를 검출한다.

　　 구체적으로는, 예를 들면, 도 16의 사선으로 나타내어지는 좌표 (X, Y)의 블 록 Bp의 움직임 벡터 V(X, Y)에 대한 움직임 분산 MD0(X, Y)를, 블록 Bp를 중심으로 하는 세로 Nb0ㅧ가로 Mb0 블록(화소수(畵素數)로 표현한 경우, 세로 Np0ㅧ가로 Mp0 화소)의 영역 D0을 대상으로, 이하의 식(3)에 의거해서 산출한다. 또 영역 D0의 왼쪽위구석의 화소의 좌표를 (x0, y0)으로 한다.

　　　[수학식 2]

또 vx0(x, y)는, 좌표 (x, y)의 화소가 포함되는 블록의 수평 움직임량을 나타내고, vy0(x, y)는, 좌표 (x, y)의 화소가 포함되는 블록의 수직 움직임량을 나타낸다.

즉, 움직임 분산 MD0은, 블록 Bp의 움직임 벡터 V와, 영역 D0내의 각 화소의 움직임 벡터 V와의 사이의 거리의 2승(2乘; squares)의 평균값을 나타낸다.

또, 움직임 분산 검출부(172)는, 움직임 벡터 V의 신뢰도로서, 각 움직임 벡터 V에 대해서, 그 움직임 벡터 V에 대응하는 화소(또는 블록)를, 움직임 벡터 V로 나타내는 방향 및 거리만큼 이동한 위치의 주변에서의 1프레임 전의 움직임 벡터 V와의 편차를 나타내는 움직임 분산 MD1을 검출한다.

　　 구체적으로는, 예를 들면, 우선, 도 16의 블록 Bp에 대응하는 위치에 있는 1프레임 전의 화상의 블록을, 도 17의 블록 Bp’로 한다. 또, 블록 Bp의 움직임 벡터 V(X, Y)의 수평 움직임량 VX(X, Y) 및 수직 움직임량 VY(X, Y)의 소수점 이하 (以下)를 사사오입(四捨五入; round) 한 값에 의해 나타내어지는 방향 및 거리만큼 블록 Bp’를 이동시킨 블록을 블록 Bm으로 한다. 움직임 분산 검출부(172)는, 블록 Bp의 움직임 벡터 V(X, Y)에 대한 움직임 분산 MD1(X, Y)를, 블록 Bm을 중심으로 하는 세로 Nb1ㅧ가로 Mb1 블록(화소수로 표현한 경우, 세로 Np1ㅧ가로 Mp1 화소)의 영역 D1을 대상으로, 이하의 식(4)에 의거해서 산출한다. 또, 영역 D1의 왼쪽위구석의 화소의 좌표를(x1, y1)로 한다.

　　　[수학식 3]

또한, vx1(x, y)는, 1프레임 전의 좌표 (x, y)의 화소가 포함되는 블록의 수평 움직임량을 나타내고, vy1(x, y)는, 1프레임 전의 좌표 (x, y)의 화소가 포함되는 블록의 수직 움직임량을 나타낸다.

즉, 움직임 분산 MD1은, 블록 Bp의 움직임 벡터 V와, 영역 D1내의 각 화소의 움직임 벡터 V와의 사이의 거리의 2승의 평균값을 나타낸다.

또, 움직임 분산 검출부(172)는, 이하의 식(5)에 의거해서, 움직임 분산 MD(X, Y)를 산출한다.

MD(X, Y)=MD1(X, Y)+MD2(X, Y)···(5)

따라서, 대상으로 되는 움직임 벡터 V와 주위의 움직임 벡터 V와의 사이의 편차가 클수록, 움직임 분산 MD(X, Y)는 커진다. 즉, 그 움직임 벡터 V(X, Y)에 대응하는 화소 및 그 근방은, 피사체가 변형 혹은 복잡한 움직임을 하고 있거나, 작은 피사체가 복수 존재하고 있거나 하는 등의 원인에 의해, 화상의 움직임이 복잡한 영역일 가능성이 높다. 따라서, 그 움직임 벡터 V는 정확하게 검출되고 있지 않을 가능성이 높고, 그 움직임 벡터 V(X

, Y)의 신뢰도는 낮다고 말할 수 있다.

움직임 분산 검출부(172)는, 상술한 방법에 따라서, 각 움직임 벡터 V에 대한 움직임 분산 MD를 산출하고, 움직임 분산 MD를 나타내는 정보를 움직임 분산 차감량 산출부(181)에 공급한다.

스텝 S25에서, 움직임 분산 차감량 산출부(181)는, 움직임 분산 차감량을 산출한다. 구체적으로는, 움직임 분산 차감량 산출부(181)는, 화상 P1의 각 화소에 대한 움직임 분산 차감량 KM1을, 그 화소가 포함되는 블록의 움직임 분산 MD를 이용해서, 이하의 식(6)에 의거해서 산출한다.

　　KM1(x, y)=a1ㅧMD(X, Y)+b1　　　···(6)

또, a1 및 b1은 소정의 값의 정수(定數; constants)이다. 단, 정수 a1은 정(正)의 값으로 된다. 또, 식 (6)의 우변(右邊)의 값이 0 보다 작아지는 경우, KM1(x, y)는 0으로 보정된다.

움직임 분산 차감량 산출부(181)는, 산출한 움직임 분산 차감량 KM1을 나타내는 정보를 감산부(183-1) 및 (183-3)에 공급한다.

스텝 S26에서, MC 블록 차분 차감량 산출부(182)는, MC 블록 차분

차감량을 구한다. 구체적으로는, MC 블록 차분 차감량 산출부(182)는, 화상 P1의 각 화소에 대한 MC 블록 차분 차감량 KM2를, 그 화소가 포함되는 블록의 MC 블록 차분값 BD를 이용해서, 이하의 식 (7)에 의거해서 산출한다.

　　 KM2(x, y) = a2ㅧBD(X, Y)+b2　　　···(7)

또, a2, b2는 소정의 정수이다. 단, 정수 a2는 정의 값으로 된다. 또, 식(7)의 우변의 값이 0보다 작아진 경우, KM2(x, y)는 0으로 보정된다.

스텝 S27에서, 감산부(183-1 내지 183-4)는, 순회 계수를 산출한다.

구체적으로는, 감산부(183-1)는, 기본 순회 계수 KA0으로부터 움직임 분산 차감량 KM1을 뺀(引; subtract) 값을 감산부(183-2)에 공급한다. 감산부(183-2)는, 감산부(183-1)로부터 공급되는 값으로부터 MC 블록 차분 차감량 KM2를 뺀 값을 순회 계수 KA로서 곱합 연산부(135)에 공급한다. 즉, 화상 P1의 좌표 (x, y)에 있는 A타입의 화소에 대한 순회 계수 KA(x, y)는, 이하의 식(8)에 의거해서 산출된다.

KA(x, y)=KA0(x, y)-KM1(x, y)-KM2(x, y) ···(8)

또, 감산부(183-3)는, 기본 순회 계수 KB0으로부터 움직임 분산 차감량 KM1을 뺀 값을 감산부(183-4)에 공급한다. 감산부(183-4)는, 감산부(183-3)로부터 공급되는 값으로부터 MC 블록 차분 차감량 KM2를 뺀 값을 순회 계수 KB로서 곱합 연산부(135)에 공급한다. 즉, 화상 P1의 좌표 (x, y)에 있는 B타입의 화소에 대한 순회 계수 KB(x, y)는, 이하의 식(9)에 의거해서 산출된다.

KB(x, y)=KB0(x, y)-KM1(x, y)-KM2(x, y)···(9)

즉, 순회 계수 KA(x, y) 및 KB(x, y)는, 움직임 분산 차감량 KM1(x, y) 또는 MC 블록 차분 차감량 KM2(x, y)가 클수록 즉, 움직임 분산 MD(x, y) 또는 MC 블록 차분값 BD(x, y)가 클수록, 작아지도록 보정된다.

스텝 S28에서, 움직임 보상부(134)는, 1프레임 전의 출력 화상에 대해서 움직임 보상을 행한다. 구체적으로는, 움직임 보상부(134)는, 프레임 메모리(136)로부터 1프레임 전의 화상 P3을 판독출력한다. 움직임 보상부(134)는, 움직임 벡터 V를 이용해서, 화상 P3에 대해서 움직임 보상을 행한 화상 P4를 생성한다.

또 화상 P4의 각 화소의 화소값는, 그 화소에 대응하는 위치에 있는 화상 P1의 화소의 움직임 벡터 V로 나타내어지는 방향 및 거리만큼 이동한 위치에 있는 화상 P3의 화소의 화소값으로 된다. 단, 움직임 벡터 V의 수평 움직임량 VX 또는 수직 움직임량 VY에 소수 부분이 존재하고, 화상 P3의 움직임 벡터 V만큼 이동한 위치에 실제의 화소가 존재하지 않는 경우, 도 10을 참조해서 상술한 방법과 마찬가지 방법에 의해, 화상 P4의 화소값이 산출된다.

움직임 보상부(134)는, 화상 P4의 화소값 P4(x, y)를 순서대로 곱합 연산부(135)에 공급한다.

스텝 S29에서, 곱합 연산부(135)는, 화상을 합성하고, 순회형 변환 처리는 종료한다. 구체적으로는, 곱합 연산부(135)는, 화상 P1과 화상 P4의 대응하는 위치에 있는 화소의 화소값을, 순회 계수 KA 또는 KB를 이용해서, 가중 가산한다. 즉, 곱합 연산부(135)는, A타입의 화소에 대해서는, 순회 계수 KA를 이용해서, 이하의 식(10)에 의거해서, 화상 P2의 화소값 P2(x, y)를 산출하고, B타입의 화소에 대해서는, 순회 계수 KB를 이용해서, 이하의 식 (11)에 의거해서, 화상 P2의 화소값 P2(x, y)를 산출한다.

P2(x, y)=(1-KA(x, y))ㅧP1(x, y)+KA(x, y)ㅧP4(x, y)···(10)

P2(x, y)=(1-KB(x, y))ㅧP1(x, y)+KB(x, y)ㅧP4(x, y)···(11)

일반적으로, 순회 계수 KA(x, y) 및 KB(x, y)의 값이 커질수록, 화상 P2에서의 화상 P4의 성분이 차지하는 비율이 커지기 때문에, 화상 P2에서의, 수직 에일리어싱 왜곡의 발생의 억제 효과가 높아지는 한편, 화상의 흐릿해짐이 발생하기 쉬워지고, 순회 계수 KA(x, y) 및 KB(x, y)의 값이 작아질수록, 화상 P2에서 화상 P4의 성분이 차지하는 비율이 작아지기 때문에, 화상 P2에서의 수직 에일리어싱 왜곡 발생의 억제 효과가 낮아지는 한편, 화상의 흐릿해짐의 발생은 억제된다.

본 발명의 실시형태에서는, 순회 계수 KA(x, y) 및 KB(x, y)는, 상술한 바와 같이, 움직임 분산 차감량 KM1(x, y) 또는 MC 블록 차분 차감량 KM2(x, y)가 클수록, 즉, 움직임 분산 MD(x, y) 또는 MC 블록 차분값 BD(x, y)가 클수록 작아진다.

즉, 좌표 (x, y)의 화소의 움직임 벡터 V(X, Y)의 신뢰도가 낮고, 가중 가산하는 화상 P1의 화소와 화상 P4의 화소와의 상관(相關)이 낮을 가능성이 높은 경우, 또는, 그 화소가, 에일리어싱 왜곡 또는 랜덤 노이즈가 눈에 띄기 어려운(目立難; unnoticeable), 화상의 움직임이 복잡한 영역에 포함될 가능성이 높은 경우, 화소값 P2(x, y)에서의 화소값 P1(x, y)의 성분이 차지하는 비율이 커진다. 한편, 좌표 (x, y)의 화소의 움직임 벡터 V(X, Y)의 신뢰도가 높고, 가중 가산하는 화상 P1의 화소와 화상 P4의 화소와의 상관이 높을 가능성이 높은 경우, 또는 그 화소가, 에일리어싱 왜곡 또는 랜덤 노이즈가 눈에 띄기 쉬운, 넓은 범위에 걸쳐서 화 상의 움직임이 적은 영역에 포함될 가능성이 높은 경우, 화소값 P2(x, y)에서의 화소값 P1(x, y)의 성분이 차지하는 비율이 커진다.

또, 수직 움직임량 VY(X, Y)의 절대값이 홀수에 가까울 수록, 즉 수직 에일리어싱 왜곡이 클수록, 순회 계수 KA(x, y) 및 KB(x, y)는 커지고, 화소값 P2(x, y)에서의 화소값P4(x, y)의 성분이 차지하는 비율이 커진다. 한편, 수직 움직임량 VY(X, Y)의 절대값이 0 또는 짝수에 가까울 수록, 즉 수직 에일리어싱 왜곡이 작을 수록, 순회 계수 KA(x, y) 및 KB(x, y)는 작아지고, 화소값 P2(x, y)에서의 화소값 P1(x, y)의 성분이 차지하는 비율이 커진다.

또, 같은 수직 움직임량 VY에 대해서, B타입의 화소에 대한 기본 순회 계수 KB0 쪽이 A타입의 화소에 대한 기본 순회 계수 KA0보다 큰 값으로 설정되고, 또한 움직임 분산 차감량 KM1 및 MC 블록 차감량 KM2는 화소의 타입의 틀림(違; difference)에 의해 값은 변하지 않으므로, 마찬가지의 화상의 영역에서는, 순회 계수 KB(x, y)가 KA(x, y)보다 커지고, 화상 P2의 B타입의 화소가, A타입의 화소보다, 화소값 P2(x, y)에서의 화소값 P4(x, y)의 성분이 차지하는 비율이 커진다.

따라서, 화상 P2에서, 수직 에일리어싱 왜곡 및 랜덤 노이즈가 억제됨과 동시에, 화상의 흐릿해짐이 억제되고, 해상도가 높은 화질을 얻을 수가 있다.

곱합 연산부(135)는, 생성한 화상 P2를 출력 위상 변환부(112)에 공급함과 동시에, 프레임 메모리(136)에 기억시킨다.

다음에, 도 18의 플로차트를 참조해서, 도 8의 스텝 S21의 움직임 벡터 검출 처리의 상세한 내용을 설명한다.

스텝 S41에서, 움직임 평가값 검출부(151)는, 1프레임 전의 화상을 취득한다. 구체적으로는, 움직임 평가값 검출부(151)는, 1프레임 전의 출력 화상인 화상 P3을, 프레임 메모리(136)로부터 판독출력한다.

스텝 S42에서, 움직임 평가값 검출부(151)는, 화소 위치의 움직임 평가값을 산출한다. 구체적으로는, 움직임 평가값 검출부(151)는, 화상 I1내의 블록 중, 아직 움직임 벡터를 검출하고 있지 않은 블록을 하나 선택해서, 주목 블록으로 한다. 움직임 평가값 검출부(151)는, 화상 P3의 소정의 범위내의 화소를, 순차(順次), 주목 화소로 하고, 각 주목 화소에서의 움직임 평가값 M(x, y)를, 이하의 식 (12)에 의해 구한다.

　　　[수학식 4]

또한, 식 (12)에서, 주목 화소의 좌표를 (x, y)로 하고, 주목 블록의 기준 화소(왼쪽위구석)의 좌표를 (xb, yb)로 한다.

즉, 움직임 평가값 M은, 주목 화소를 기준 화소로 하는 비교 대상 블록과 주목 블록과의 대응하는 위치에 있는 화소의 화소값의 차분을 취하고, 그 차분값의 절대값을 합계한 값이며, 움직임 평가값 M이 작을 수록, 비교 대상 블록내의 화상은, 보다 주목 블록내의 화상에 가깝다고 말할 수 있다.

움직임 평가값 검출부(151)는, 검출한 각 화소의 움직임 평가값 M을 나타내 는 정보를 화소 정밀도 움직임 벡터 검출부(152) 및, 탭 추출부(153, 154)에 공급한다.

스텝 S43에서, 화소 정밀도 움직임 벡터 검출부(152)는, 화소 정밀도의 움직임 벡터를 검출한다. 구체적으로는, 화소 정밀도 움직임 벡터 검출부(152)는, 움직임 평가값 M이 최소로 되는 최소 평가값 화소를 검출한다. 화소 정밀도 움직임 벡터 검출부(152)는, 최소 평가값 화소의 좌표와 주목 블록의 기준 화소의 좌표를 연결하는 벡터를, 주목 블록의 화소 정밀도의 움직임 벡터로서 검출한다. 화소 정밀도 움직임 벡터 검출부(152)는, 검출한 화소 정밀도의 움직임 벡터를 나타내는 정보를 탭 추출부(153, 154)에 공급한다.

스텝 S44에서, 탭 추출부(153)는, 예측 탭을 추출한다. 구체적으로는

, 탭 추출부(153)는, 최소 평가값 화소를 포함하는 최소 평가값 화소의 근방 화상 P3의 화소에 대응하는 움직임 평가값 M을 예측 탭으로서 추출한다.

도 19는, 화상 P3의 일부를 도시하는 도면이다. 또한, 도 19에서, 최소 평가값 화소를 화소 P0으로 하고, 화소 P0 내지 P24에 대응하는 움직임 평가값을 움직임 평가값 M0 내지 M24로 한다. 예를 들면, 탭 추출부(153)는, 최소 평가값 화소인 화소 P0, 화소 P0의 외주(外周)에 인접하는 화소 P1 내지 P8 및, 화소 P1 내지 P8의 외주에 인접하는 화소 P9 내지 P24에 대응하는 움직임 평가값 M0 내지 M24를, 예측 탭으로서 추출한다. 탭 추출부(153)는, 추출한 예측 탭을 예측 연산부(158)에 공급한다.

스텝 S45에서, 탭 추출부(154)는, 클래스 탭을 추출한다. 예를 들면,

탭 추출부(154)는, 도 19에 도시되는 예에서, 최소 평가값 화소인 화소 P0 및 화소 P0에 인접하는 화소 P1 내지 P8에 대응하는 움직임 평가값 M0 내지 M8을, 클래스 탭으로서 추출한다. 탭 추출부(154)는, 추출한 클래스 탭을 ADRC 처리부(155)에 공급한다.

스텝 S46에서, ADRC 처리부(155)는, ADRC 처리를 행한다. 구체적으로는, ADRC 처리부(155)는, 클래스 탭을 구성하는 화소의 움직임 평가값 M을 ADRC 처리하고 , 그 결과 얻어지는 ADRC 코드를 나타내는 정보를 클래스 분류부(156)에 공급한다.

스텝 S47에서, 클래스 분류부(156)는, 클래스 분류를 행한다. 구체적으로는, 클래스 분류부(156)는, ADRC 처리부(155)로부터의 ADRC 코드에 의거해서, 최소 평가값 화소를 클래스 분류하고, 그 결과 얻어지는 클래스에 대응하는 클래스 코드를 나타내는 정보를, 계수 메모리(157)에 공급한다.

스텝 S48에서, 계수 메모리(157)는, 탭 계수를 공급한다. 구체적으로는, 계수 메모리(157)는, 내부에 기억하고 있는 탭 계수 세트 중, 최소 평가값 화소의 클래스 코드에 대응하는 탭 계수를 취득한다. 계수 메모리(157)는, 취득한 탭 계수를 예측 연산부(158)에 공급한다.

스텝 S49에서, 예측 연산부(158)는, 예측 연산을 행한다. 구체적으로는, 예를 들면, 도 19에 도시되는 예에서, 화소 P0과 화소 P1 내지 P8을 연결하는 직선상(直線上)의 위치로서, 정확히 중간의 위치 P1’내지 P8’를 예측 위치로 한 경우, 예측 연산부(158)는, 이하의 식(13)에 의거해서, 위치 P1’내지 P8’에서의 움 직임 평가값 M1’내지 M8’을 산출한다.

　　　[수학식 5]

다만, m=1 내지 8 이다.

또 ^wmn(n=0 내지 24)는, 위치 Pm’(m=1 내지 8)의 움직임 평가값 Mm’(m=1 내지 8)을 산출하기 위해서 이용하는 탭 계수이다.

예측 연산부(158)는, 각 예측 위치에서의 움직임 평가값 Mm’를, 화소 이하 정밀도 움직임 벡터 검출부(159)에 공급한다.

스텝 S50에서, 화소 이하 정밀도 움직임 벡터 검출부(159)는, 화소 이하 정밀도의 움직임 벡터를 검출한다. 구체적으로는, 예를 들면, 도 19에 도시되는 예의 경우, 화소 이하 정밀도 움직임 벡터 검출부(159)는, 화소 P0 및 위치 P1’내지 P8’의 움직임 평가값 중, 최소로 되는 것을 검출한다. 화소 이하 정밀도 움직임 벡터 검출부(159)는, 움직임 평가값이 최소인 화소 또는 위치의 좌표와, 주목 블록의 기준 화소의 좌표를 연결하는 벡터를, 주목 블록에 대한 화소 이하 정밀도의 움직임 벡터 V로서 검출한다. 즉, 이 예에서는, 화소 간격의 2분의 1의 정밀도로 움직임 벡터가 검출된다.

또한, 화소 사이에 설정하는 예측 위치의 수를 늘리는 것에 의해, 보다 높은 정밀도로, 즉 보다 작은 단위로 움직임 벡터를 검출하는 것이 가능하게 된다.

화소 이하 정밀도 움직임 벡터 검출부(159)는, 검출한 움직임 벡터 V를 나타 내는 정보를 MC 블록 차분 검출부(132), 순회 계수 설정부(133) 및, 움직임 보상부(134)에 공급한다.

스텝 S51에서, 움직임 평가값 검출부(151)는, 움직임 벡터를 모두 검출했는지를 판정한다. 아직 움직임 벡터를 검출하고 있지 않은 블록이 남아 있는 경우, 움직임 평가값 검출부(151)는, 움직임 벡터를 아직 모두 검출하고 있지 않다고 판정하고, 처리는 스텝 S42로 되돌아간다. 그 후, 스텝 S51에서, 움직임 벡터를 모두 검출했다고 판정될 때까지, 스텝 S42 내지 S51의 처리가 되풀이(반복)해서 실행된다.

스텝 S51에서, 움직임 벡터가 모두 검출되었다고 판정된 경우, 처리는 스텝 S52로 진행된다.

스텝 S52에서, 움직임 평가값 검출부(151)는, 움직임 벡터의 검출에 이용한 화상을 공급하고, 화소 이하 정밀도 움직임 벡터 검출 처리는 종료한다. 구체적으로는, 움직임 평가값 검출부(151)는, 움직임 벡터의 검출에 이용한 화상 I1 및 화상 P3을 MC 블록 차분 검출부(132)에 공급한다.

다음에, 계수 메모리(157)에 기억되는 탭 계수의 학습에 대해서 설명한다.

우선, 보다 일반화한 예에 의거해서, 클래스 분류 적응 처리에서의 탭 계수의 학습에 대해서 설명한다. 구체적으로는, HD 화상을 구성하는 화소(이하, 적당히, HD 화소라고 한다)의 화소값 y를, SD 화상을 구성하는 화소(이하, 적당히, SD 화소라고 한다)로부터, HD 화소를 예측하기 위한 예측 탭으로서 추출되는 복수의 SD 화소와, 탭 계수를 이용해서, 다음의 선형(線形) 1차식에 의한 선형 결합에 의 해 구하는 선형 1차 결합 모델의 예에 의거해서, 탭 계수의 학습에 대해 설명한다.

[수학식 6]

　단, 식(14)에서, x_n은, HD 화소 y에 대한 예측 탭을 구성하는, n번째의 SD 화상 데이터의 화소의 화소값을 나타내고, w_n은, n번째의 SD 화소의 화소값과 승산(乘算; multiply)되는 n번째의 탭 계수를 나타낸다. 또한, 식 (14)에서는, 예측 탭이, N개의 SD 화소x₁, x₂,···, x_N으로 구성되는 것으로 하고 있다.

지금, 제k샘플의 HD 화소의 화소값의 참값을 y_k로 나타냄과 동시에, 식 (14)에 의해 얻어지는 그 참값 y_k의 예측값을 y_k’로나타내면, 그 예측 오차 e_k는, 다음식으로 나타내어진다.

[수학식 7]

　식 (15)의 예측값 yk’는, 식 (14)에 의해서 구해지기 때문에, 식 (15)의 yk’를, 식(14)에 의해서 치환(置換)하면, 다음식이 얻어진다.

[수학식 8]

단, 식(16)에서, x_n,_k는, 제k 샘플의 HD 화소에 대한 예측 탭을 구성하는 n번째의 SD 화소를 나타낸다.

식 (16)의 예측 오차 e_k를 0으로 하는 탭 계수 w_n이, HD 화소를 예측하는데 최적인 것으로 되지만, 모든 HD 화소에 대해서, 그와 같은 탭 계수 w_n을 구하는 것은, 일반적으로는 곤란하다.

그래서, 탭 계수 w_n이 최적인 것임을 나타내는 규범(規範; standard)으로서, 예를 들면, 최소 자승법(最小自乘法; least squares method)을 채용하는 것으로 하면, 최적인 탭 계수 w_n는, 통계적인 오차로서의, 예를 들면, 다음식으로 나타내어지는 자승 오차의 총합 E를 최소로 함으로써 구할 수가 있다.

　　　[수학식 9]

단, 식 (17)에서, K는, HD 화소 y_k와 그 HD 화소 y_k에 대한 예측 탭을 구성하는 SD 화소 x₁,_k, x₂,_k,···, x_N,_k와의 세트의 샘플 수(數)를 나타낸다.

식 (17)의 자승 오차의 총합 E를 극소(極小)로 하는 탭 계수 w_n은, 그 총합 E를 탭 계수w_n로 편미분(偏微分; partially differentiating) 한 것을 0으로 하는 것이며, 따라서, 다음식을 만족시킬 필요가 있다.

[수학식 10]

　그래서, 상술한 식(18)을 탭 계수 w_n로 편미분 하면, 다음식이 얻어진다.

[수학식 11]

식(18)과 식(19)로부터, 다음식이 얻어진다.

　　　[수학식 12]

식(20)의 e_k에, 식(16)을 대입하는 것에 의해, 식(20)은, 식(21)에

나타내는 정규 방정식(正規方程式)에서 나타낼 수가 있다.

[수학식 13]

식(21)의 정규 방정식은, HD화소 y_k와 SD 화소 x_n,_k세트를, 어느 정도의 수를 준비함으로써, 구해야 할 탭 계수 w_n의 수와 같은 수만큼 세울 수 있으며, 따라서, 식 (21)을 푸는(解; solve) 것에 의해, 최적인 탭 계수 w_n을 구할 수가 있다. 또 식(21)을 풀 때에는, 예를 들면, 쓸어내기법(掃出法)(Gauss-Jordan의 소거법)등을 채용하는 것이 가능하다. 단, 식(21)을 풀려면 , 식 (21)에서, 탭 계수 w_n에 관련된 좌변의 행렬(行列; matrix)이 정칙(正則; regular)일 필요가 있다.

이상과 같이, 다수의 HD화소 y₁, y₂,···, y_K를, 탭 계수의 학습의 교사(敎師)로 되는 교사 데이터로 함과 동시에, 각 HD화소 y_k에 대한 예측 탭을 구성하는 SD 화소x₁,_k, x₂,_k,···, x_N,_k를, 탭 계수의 학습의 학생(生徒)으로 되는 학생 데이터로 해서, 식 (21)을 푸는 것에 의해, 최적인 탭 계수 w_n을 구할 수가 있다.

여기서, 교사 데이터 y로서, 예측 위치에도 화소가 존재하는, 화상 P3보다 화소 밀도가 높은 화상의 각 화소에 대해서 검출한 움직임 평가값 M으로 이루어지는 화상(이하, 교사 화상이라고 칭한다)을 채용하고, 학생 데이터 x로서, 화상 P3과 같은 화소 밀도로 되도록, 교사 화상으로부터 화소를 솎아낸(間引; decimation, reduction ) 화상을 채용하는 것에 의해, 식 (13)에서 이용되는 탭 계수를 구할 수가 있다.

또한, 클래스 분류 적응 처리를 이용한 화소 이하 정밀도의 움직임 벡터를 검출하는 방법에 대해서는, 예를 들면, 본건 출원인이 앞서 출원한 일본 특개평(特 開平) 제9-187013호 공보 등에, 그 상세한 내용이 개시되어 있다.

　　 이상과 같이 해서, 인터레이스 방식의 화상을, 보다 양호한 화질의 프로그레시브 방식의 화상으로 변환할 수가 있다.

또, 예를 들면, 순회형 IP 변환부(111)로부터는, 수직 에일리어싱 왜곡이나 노이즈가 제거(取除)된 화상이 출력되기 때문에, 후단의 화상 처리 장치에서, 보다 양호한 화질을 얻을 수가 있다. 예를 들면, 본건 출원인이 앞서 출원한 일본 특개 제2002-218413호 공보에 기재되어 있는, 클래스 분류 적응 처리를 이용해서 화질을 복수의 축(軸)으로 자유롭게 조정(調整)하는 처리에서, 보다 강하게 해상도를 올리도록 조정하는 것이 가능하게 되며, 보다 양호한 화질을 얻을 수가 있다.

또한, 이상의 설명에서는, 화상 I1의 움직임 벡터 V를 검출하는 대상으로 되는 화상을 1프레임 전의 출력 화상인 화상 P3으로 하는 예에 대해서 설명했지만, 예를 들면, 화상 P3 대신에, 1필드 전의 입력 화상인 화상 I2 또는 2필드 전의 입력 화상인 화상 I3을 이용하도록 해도 좋다.

도 20은, 화상 I1의 움직임 벡터 V를 검출하는 대상으로 되는 화상으로서 1필드 전의 입력 화상인 화상 I2을 이용하는 경우의 순회형 변환부(201)의 기능적 구성을 도시하는 블록도이다. 순회형 변환부(201)는, 프레임메모리(211), 움직임 벡터 검출부(212), MC 블록 차분 검출부(213), 순회 계수 설정부(133), 움직임 보상부(134), 곱합 연산부(135) 및, 프레임 메모리(136)에 의해 구성된다. 또, 도 2와 대응하는 부분에 대해서는, 같은 부호를 붙이(付)고 있고, 처리가 같은 부분에 대해서는, 그 설명은 되풀이(반복)됨으로 생략한다.

프레임 메모리(211)는, 외부로부터 입력된 화상 I1을 기억하고, 1필드분 지연시키고, 움직임 벡터 검출부(212)에 공급한다. 즉, 순회형 변환부(201)에 입력되고 나서 1 필드분 지연 된 화상 I1인 화상 I2이 움직임 벡터 검출부(212)에 공급된다.

움직임 벡터 검출부(212)는, 화상 I1의 화상 I2에 대한 움직임 벡터 V를, 상술한 움직임 벡터 검출부(131)와 마찬가지의 방법에 의해 검출한다. 움직임 벡터 검출부(212)는, 검출한 움직임 벡터 V의 수평 움직임량 VX 및 수직 움직임량 VY를 나타내는 정보를, MC 블록 차분 검출부(213), 순회 계수 설정부(133) 및, 움직임 보상부(134)에 공급한다. 또, 움직임 벡터 검출부(212)는, 움직임 벡터 V의 검출에 이용한 화상 I1 및 화상 I2을 MC 블록 차분 검출부(213)에 공급한다.

MC 블록 차분 검출부(213)는, 화상 I1의 블록 마다, 각 블록의 화소값과, 그 블록에 대응하는 화상 I2의 블록, 즉, 화상 I1의 각 블록을 움직임 벡터 V로 나타내는 방향 및 거리만큼 이동시킨 위치에 있는 화상 I2의 블록의 화소값과의 차분값인 MC 블록 차분값을 검출한다. MC 블록 차분 검출부(213)는, 검출한 MC 블록 차분값 BD를 나타내는 정보를 순회 계수 설정부(133)에 공급한다.

도 21은, 화상 I1의 움직임 벡터 V를 검출하는 대상으로 되는 화상으로서, 2 필드 전의 입력 화상인 화상 I3을 이용하는 경우의 순회형 변환부(301)의 기능적 구성을 도시하는 블록도이다. 순회형 변환부(301)는, 프레임메모리(311, 312), 움직임 벡터 검출부(313), MC 블록 차분 검출부(314), 순회 계수 설정부(133), 움직임 보상부(134), 곱합 연산부(135), 및, 프레임 메모리(136)에 의해 구성된다. 또, 도 2와 대응하는 부분에 대해서는, 같은 부호를 붙이고 있고, 처리가 같은 부분에 대해서는, 그 설명은 되풀이하게 되므로 생략한다.

프레임메모리(311)는, 외부로부터 입력된 화상 I1을 기억하고, 1필드분 지연시키고, 프레임메모리(312)에 공급한다. 즉, 순회형 변환부(301)에 입력되고 나서 1필드 분 지연된 화상 I1인 화상 I2이 프레임 메모리(312)에 공급된다.

프레임 메모리(312)는, 화상 I2을 기억하고, 1필드 분 지연시키고, 움직임 벡터 검출부(313)에 공급한다. 즉, 순회형 변환부(301)에 입력되고 나서 2필드 분 지연된 화상 I1인 화상 I3이 움직임 벡터 검출부(313)에 공급된다.

움직임 벡터 검출부(313)는, 화상 I1의 화상 I3에 대한 움직임 벡터 V를, 상술한 움직임 벡터 검출부(131)와 마찬가지의 방법에 의해 검출한다. 또 검출한 움직임 벡터 V는, 화상 I1이 입력되는 필드 간격 및 화상 P2이 출력되는 프레임 간격의 2배의 간격, 즉, 2필드 사이에서의 움직임 벡터이기 때문에, 움직임 벡터 검출부(313)는, 정합성(整合性)을 취하기 위해서, 검출한 움직임 벡터의 크기를 반분(半分)으로 한 벡터, 즉, 수평 움직임량 VX 및 수직 움직임량 VY를 2분의 1로 한 값을 나타내는 정보를, MC 블록 차분 검출부(314), 순회 계수 설정부(133) 및, 움직임 보상부(134)에 공급한다. 또, 움직임 벡터 검출부(313)는, 움직임 벡터 V의 검출에 이용한 화상 I1 및 화상 I3을 MC 블록 차분 검출부(314)에 공급한다.

MC블록 차분 검출부(314)는, 화상 I1의 블록 마다, 각 블록의 화소값과, 각 블록에 대응하는 화상 I3의 블록 즉, 화상 I1의 각 블록을 움직임 벡터 V의 2분의 1의 벡터로 나타내는 방향 및 거리만큼 이동시킨 위치에 있는 화상 I3의 블록 화소 값가의 차분값인 MC 블록 차분값을 검출한다. MC 블록 차분 검출부(314)는, 검출한 MC 블록 차분값 BD를 나타내는 정보를 순회 계수 설정부(133)에 공급한다.

또, 화소 이하 정밀도의 움직임 벡터의 검출 방법은, 상술한 방법에 한정되는 것은 아니고, 다른 방법을 이용하도록 해도 좋다.

또, 이상의 설명에서는, SD 화상을 IP 변환 처리하는 예에 대해서 설명했지만, 물론, 본 발명은, HD 화상 등 고(高)해상도의 화상의 IP 변환 처리에도 적용하는 것이 가능하다.

또, 본 발명은, 예를 들면, 텔레비젼 수상기 등, 인터레이스 화상을 프로그레시브 화상으로 변환하는 화상 처리 장치에 적용할 수가 있다.

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용(專用)의 하드웨어에 내장(組入)되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨하는 것으로, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용(汎用)의 퍼스널 컴퓨터 등에, 프로그램 기록 매체로부터 인스톨된다.

도 22는, 상술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨터(400)의 구성의 예를 도시하는 블록도이다. CPU(Central Processing Unit)(401)는, ROM(Read Only Memory)(402), 또는 기록부(408)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행한다. RAM(Random Access Memory)(403)에는, CPU(401)가 실행하는 프로그램이나 데이터 등이 적당히 기억된다. 이들 CPU(401), ROM(402), 및 RAM(403)은, 버스(404)에 의해 상호(相互) 접속되어 있다.

CPU(401)에는 또, 버스(404)를 거쳐서 입출력 인터페이스(405)가 접속되어 있다. 입출력 인터페이스(405)에는, 키보드, 마우스, 마이크로 폰 등 으로부터 이루어지는 입력부(406), 디스플레이, 스피커 등 으로부터 이루어지는 출력부(407)가 접속되어 있다. CPU(401)는, 입력부(406)로부터 입력되는 지령에 대응해서 각종 처리를 실행한다. 그리고, CPU(401)는, 처리 결과를 출력부(407)에 출력한다.

입출력 인터페이스(405)에 접속되어 있는 기록부(408)는, 예를 들면 하드디스크로부터 이루어지고, CPU(401)가 실행하는 프로그램이나 각종 데이터를 기억한다. 통신부(409)는, 인터넷이나 로컬 에리어 네트워크 등의 네트워크를 거쳐서 외부의 장치와 통신한다.

또, 통신부(409)를 거쳐서 프로그램을 취득하고, 기록부(408)에 기억해도 좋다.

입출력 인터페이스(405)에 접속되어 있는 드라이브(410)는, 자기 디스크, 광디스크, 광자기디스크, 또는 반도체 메모리 등의 리무버블 미디어(411)가 장착된 때, 그들을 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라서 기록부(408)에 전송되고, 기억된다.

컴퓨터에 인스톨되고, 컴퓨터에 의해 실행 가능한 상태로 되는 프로

그램을 격납(格納)하는 프로그램 기록 매체는, 도 22에 도시하는 바와 같이, 자기 디스크(프렉서블 디스크를 포함함), 광디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광자기(光磁氣) 디스크, 또는 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(411), 또는, 프로그램이 일시적 또는 영속적(永續的)으로 격납되는 ROM(402)이나, 기록부(408)를 구성하는 하드디스크 등에 의해 구성된다. 프로그램 기록 매체에의 프로그램의 격납은, 필요에 따라서 라우터, 모뎀 등의 인터페이스인 통신부(409)를 거쳐서, 로컬 에리어 네트워크, 인터넷, 디지털 위성방송이라고 하는, 유선 또는 무선의 통신 매체를 이용해서 행해진다.

또한, 본 명세서에 있어서, 프로그램 기록 매체에 격납되는 프로그램을 기술하는 스텝은, 기재된 순서(順序)에 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.

또, 본 발명의 실시형태는, 상술한 실시의 형태로 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에서 여러 가지의 변경이 가능하다.

이상과 같이, 본 발명의 1 측면에 의하면, 인터레이스 방식의 화상을, 프로그레시브 방식의 화상으로 변환할 수가 있다. 특히, 본 발명의 1측면에 의하면, 인터레이스 방식의 화상을, 보다 양호한 화질의 프로그레시브 방식의 화상으로 변환할 수가 있다.

Claims (9)

1. 인터레이스(interlace) 방식의 입력 화상(畵像)을 프로그레시브(progressive)방식의 출력 화상으로 변환하는 화상 처리장치에 있어서,

   상기 입력 화상을 프로그레시브 방식의 중간 화상으로 변환하는 IP 변환 수단과,

   상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터를 검출하는 움직임 벡터 검출 수단과,

   상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소(畵素)에 대한 제1 순회 계수 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소에 대한 제2 순회 계수를 설정하는 순회 계수 설정 수단과,

   상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상에 대해서 움직임 보상(補償)을 행한 화상인 움직임 보상 화상을 생성하는 움직임 보상 수단과,

   상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가산(重付加算)하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2의 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는 출력 화상 생성 수단

   을 구비하는 화상 처리 장치.
2. 제1항에 있어서,

   상기 순회 계수 설정 수단은, 상기 수직 움직임량(量)의 절대값이 0또는 상기 중간 화상의 화소의 간격의 짝수배(偶數倍)에 가까울 수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작은 값으로 설정하고, 상기 수직 움직임량이 상기 중간 화상의 화소의 간격의 홀수배(奇數倍)에 가까울 수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 큰 값으로 설정하는

   화상 처리 장치.
3. 제1항에 있어서,

   상기 순회 계수 설정 수단은, 같은 값의 상기 수직 움직임량에 대해서, 상기 제2 순회 계수를 상기 제1 순회 계수보다 큰 값으로 설정하는

   화상 처리 장치.
4. 제1항에 있어서,

   상기 움직임 벡터의 신뢰도(信賴度; reliability)를 검출하는 신뢰도 검출 수단과,

   상기 움직임 벡터의 신뢰도에 의거해서, 상기 제1 순회 계수 및 상기 제 2의 순회 계수를 보정(補正)하는 보정 수단

   을 더 구비하는 화상 처리 장치.
5. 제4항에 있어서,

   상기 신뢰도 검출 수단은, 상기 움직임 벡터의 신뢰도로서, 각각의 상기 움직임 벡터에 대해서, 주변(周邊)의 상기 움직임 벡터와의 편차의 정도를 나타내는 제1 움직임 분산(分散)을 검출하고,

   상기 보정 수단은, 상기 제1 움직임 분산이 클수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작게 하도록 보정하는

   화상 처리 장치.
6. 제5항에 있어서,

   상기 신뢰도 검출 수단은, 상기 움직임 벡터의 신뢰도로서, 각각의 상기 움직임 벡터에 대해서, 그 상기 움직임 벡터에 대응하는 화소를 상기 움직임 벡터로 나타내는 방향 및 거리만큼 이동한 위치의 주변에서의 1프레임 전(前)의 움직임 벡터와의 편차의 정도를 나타내는 제2 움직임 분산을 검출하고,

   상기 보정 수단은, 상기 제2 움직임 분산이 클수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작게 하도록 더 보정하는

   화상 처리 장치.
7. 제4항에 있어서,

   상기 움직임 벡터 검출 수단은, 소정(所定; 미리 정해짐)의 크기의 블록마다 상기 움직임 벡터를 검출하고,

   상기 신뢰도 검출 수단은, 상기 입력 화상의 상기 블록내(內)의 화소값과, 상기 블록을 상기 움직임 벡터로 나타내는 방향 및 거리만큼 이동시킨 상기 과거의 출력 화상의 블록내의 화소값과의 차분값을 검출하고,

   상기 보정 수단은, 상기 차분값이 클수록, 상기 제1 순회 계수 및 상기 제2 순회 계수를 작게 하도록 보정하는

   화상 처리 장치.
8. 인터레이스 방식의 입력 화상을 프로그레시브 방식의 출력 화상으로 변환하는 화상 처리 방법에 있어서,

   상기 입력 화상을 프로그레시브 방식의 중간 화상으로 변환하고,

   상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터를 검출하고,

   상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소에 대한 제1 순회 계수 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소에 대한 제2 순회 계수를 설정하고,

   상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상에 대해서 움직임 보상을 행한 화상인 움직임 보상 화상을 생성하고,

   상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가산하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는

   스텝을 포함하는 화상 처리 방법.
9. 인터레이스 방식의 입력 화상을 프로그레시브 방식의 출력 화상으로 변환하는 화상 처리를, 컴퓨터에 실행시키는 프로그램에 있어서,

   상기 입력 화상을 프로그레시브 방식의 중간 화상으로 변환하고,

   상기 중간 화상의 화소의 간격보다 짧은 거리를 최소단위로 하는 상기 입력 화상의 움직임 벡터를 검출하고,

   상기 움직임 벡터의 수직 방향의 성분인 수직 움직임량에 의거해서, 상기 입력 화상에 화소가 존재하는 위치에 있는 제1 타입의 화소에 대한 제1 순회 계수 및, 상기 입력 화상에 화소가 존재하지 않는 위치에 있는 제2 타입의 화소에 대한 제2 순회 계수를 설정하고,

   상기 움직임 벡터에 의거해서, 과거의 상기 출력 화상에 대해서 움직임 보상을 행한 화상인 움직임 보상 화상을 생성하고,

   상기 중간 화상의 상기 제1 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제1 순회 계수를 이용해서 가중 가 산하고, 상기 중간 화상의 상기 제2 타입의 화소의 화소값과 상기 움직임 보상 화상의 대응하는 위치에 있는 화소의 화소값을 상기 제2 순회 계수를 이용해서 가중 가산한 화소값으로 이루어지는 상기 출력 화상을 생성하는

   스텝을 포함하는 프로그램.

Images