KR20060044827A - 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 - Google Patents

Abstract

화소 단위의 움직임 벡터를 정확하게 구한다. 주목 화소가 존재하는 주목 블록이 블록 C이고, 그 주목 블록인 블록 C의 수직 방향 및 수평 방향으로 인접하는 근방 블록이 블록 A, B, D, E인 경우, 각각의 블록 단위 움직임 벡터 a 내지 e를 주목 화소의 화소 단위 움직임 벡터의 후보인 것으로 하고, 실제로 주목 화소에 대하여 블록 단위 움직임 벡터 a 내지 e를 사용하여 필드간 보간에 사용되는 화소간의 화소값의 차분이 최소로 되는 움직임 벡터를 주목 화소의 화소 단위 움직임 벡터로 한다.

움직임 벡터, 주목 화소, 블록 매칭, 차분 데이터, 화상 처리 장치

Description

화상 처리 장치 및 방법, 기록 매체, 및 프로그램{IMAGE PROCESSING APPARATUS AND METHOD, RECORDING MEDIUM, AND PROGRAM}

도 1은 종래의 화상 처리 장치의 구성을 도시하는 블록도.

도 2는 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 도시하는 블록도.

도 3은 도 1의 화소 단위 움직임 벡터 검출부(21)의 구성을 도시하는 블록도.

도 4는 도 1의 화상 처리 장치에 의한 화상 처리를 설명하는 플로우차트.

도 5는 도 4의 단계 S2의 처리의 움직임 보상 처리를 설명하는 플로우차트.

도 6은 주목 블록과 근방 블록을 설명하는 도면.

도 7은 블록의 사이즈를 설명하는 도면.

도 8은 주목 블록과 근방 블록의 블록 단위 움직임 벡터를 설명하는 도면.

도 9는 화소가 생성되는 생성 필드를 설명하는 도면.

도 10은 차분을 구하는 화소를 설명하는 도면.

도 11은 도 4의 단계 S3의 처리의 조건 판정 처리를 설명하는 플로우차트.

도 12는 도 4의 단계 S4의 처리의 선택 처리를 설명하는 플로우차트.

도 13은 처리 전의 화상의 예를 도시하는 도면.

도 14는 도 13의 화상을 종래의 방법에 의해 해상도 변환한 예를 설명하는 도면.

도 15는 도 13의 화상을 본 발명의 방법에 의해 해상도 변환한 예를 설명하는 도면.

도 16은 화소 단위 움직임 벡터 검출부의 그 밖의 구성을 도시하는 도면.

도 17은 도 16의 화상 처리 장치에 의한 화상 처리를 설명하는 플로우차트.

도 18은 도 17의 단계 S72의 처리의 부가 정보 검출 처리를 설명하는 플로우차트.

도 19는 부가 정보인 엣지의 방향을 식별하는 코드를 설명하는 도면.

도 20은 부가 정보인 엣지의 방향을 식별하는 코드를 설명하는 도면.

도 21은 도 17의 단계 S73의 처리의 움직임 보상 처리를 설명하는 플로우차트.

도 22는 도 17의 단계 S74의 처리의 조건 판정 처리를 설명하는 플로우차트.

도 23은 화소 단위 움직임 벡터 검출부의 또다른 그 밖의 구성을 도시하는 도면.

도 24는 도 23의 화소 단위 움직임 벡터 검출부를 구비한 화상 처리 장치의 화상 처리를 설명하는 플로우차트.

도 25는 블록 단위 움직임 벡터의 그 밖의 예를 도시하는 도면.

도 26은 도 24의 단계 S152의 처리의 움직임 벡터 평활화 처리를 설명하는 플로우차트.

도 27은 움직임 벡터 평활화 처리를 설명하는 도면.

도 28은 화소 단위 움직임 벡터 검출부의 또다른 그 밖의 구성을 도시하는 도면.

도 29는 도 28의 화소 단위 움직임 벡터 검출부에 의한 조건 판정 처리를 설명하는 플로우차트.

도 30은 도 29의 단계 S207의 처리의 움직임 벡터 평활화 처리를 설명하는 플로우차트.

도 31은 도 28의 화소 단위 움직임 벡터 검출부에 의한 선택 처리를 설명하는 플로우차트.

도 32는 기록 매체를 설명하는 도면.

<도면의 주요부분에 대한 부호의 설명>

12 : 블록 단위 움직임 벡터 검출부

21 : 화소 단위 움직임 벡터 검출부

22 : 화상 합성부

31 : 블록 단위 움직임 벡터용 메모리

32 : 현 필드 데이터용 전 처리부

33 : 현 필드 데이터용 버퍼

34 : 전 지연 필드 데이터용 전 처리부

35 : 전 지연 필드 데이터용 버퍼

36 : 움직임 보상부

37 : 조건 판정부

38 : 화소 벡터 선택부

51 : 현 필드 부가 정보 검출부

52 : 현 필드 부가 정보용 버퍼

53 : 전 지연 필드 부가 정보 검출부

54 : 전 지연 필드 부가 정보용 버퍼

55 : 움직임 보상부

56 : 조건 판정부

71 : 움직임 벡터 평활화부

81 : 조건 판정부

82 : 움직임 벡터 평활화부

38 : 화소 벡터 선택부

[특허 문헌1] 일본 특개평 05-219529호 공보

본 발명은, 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히, 화소 단위로 움직임 벡터를 정확하게 구함과 함께, 구해진 움직임 벡터에 기초하여 생성되는 화소의 에러 발생량에 따라, 화소의 생성 방법을 전환하 도 록 한 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.

기존의 화상의 화소에 기초하여, 새로운 화소를 생성하여, 화상의 해상도나 필드 주파수를 변환시키는 기술이 일반적으로 보급되고 있다.

동화상의 화소 생성에는, 움직임 벡터를 이용하는 방법이 알려져 있다. 움직임 벡터란, 동화상 등에서, 시간적으로 동일한 화소값을 가진 화소가 이동하는 경우, 그 화소가 움직이는 방향과 거리를 나타내는 것이다.

도 1은, 종래의 움직임 벡터를 이용한 주사선 수 변환을 행하는 화상 처리 장치(1)의 구성을 도시하고 있다.

화상 처리 장치(1)는, 화상 메모리(11-1, 11-2), 블록 단위 움직임 벡터 검출부(12), 및, 화상 합성부(13)로 구성되고, 도시하지 않은 TV(Television) 튜너나 DVD(Digital Versatile Disc) 플레이어 등으로부터 공급되는 영상 소스를 통해서 얻어진 인터레이스 화상 신호이며, AD(Analog to Digital) 변환기에 의해 디지털화된 입력 데이터의 주사선 수를 변환하여 출력한다.

화상 메모리(11-1, 11-2)는, 입력된 필드 데이터를 1 필드분 저장하고, 1 필드분 지연 후 출력한다. 따라서, 화상 메모리(11-1)는, 현 필드에 대하여 1 필드분 지연한 지연 필드 데이터를 화상 합성부(13)에 공급한다. 또한, 화상 메모리(11-2)는, 또한 1 필드분 지연된 전(前) 지연 필드 데이터를 공급한다. 결과적으로, 화상 메모리(11-2)는, 합계 2 필드분 지연된 필드 데이터(=전 지연 필드 데이터)가 블록 단위 움직임 벡터 검출부(12), 및, 화상 합성부(13)에 공급된다.

블록 단위 움직임 벡터 검출부(12)는, 현 필드 데이터와 화상 메모리(11-2) 로부터 공급되는 전 지연 필드 데이터를 취득하고, 이 두 필드 사이의 필드 데이터의 상관으로부터 움직임 벡터를 검출한다. 보다 구체적으로는, 예를 들면, 블록 단위 움직임 벡터 검출부(12)는, 블록 매칭법에 의해 움직임 벡터를 블록 단위로 검출한다. 블록 매칭법이란, 예를 들면, 우선 현 필드 내의 소정 수의 화소로 이루어지는 기준 블록을 설정하고, 또한, 전 지연 필드 내에서, 기준 블록과 동일 사이즈의 검색 블록을 설정한다. 그리고, 이 검색 블록을 순차적으로 전 지연 필드내를 이동시키면서 검색 블록 내의 화소를 순차적으로 추출하고, 기준 블록과 검색 블록의 각각의 대응하는 화소 위치의 화소간의 화소값의 차분 절대값 합을 계산하고, 그 차분 절대값 합을 최소로 하는 검색 블록과, 기준 블록과의 상대적인 위치 관계에 기초하여, 움직임 벡터를 구하는 방법이다.

화상 합성부(13)는, 현 필드 데이터, 화상 메모리(11-1, 11-2)로부터 공급되는 지연 필드 데이터 및 전 지연 필드 데이터, 및 블록 단위 움직임 벡터 검출부(12)로부터 공급되는 블록 단위 움직임 벡터를 취득하고, 이들의 정보로부터 화상을 합성하고, 주사선 수 변환을 행하여, 출력 데이터로서 후단에 출력한다.

다음으로, 도 1의 화상 처리 장치(1)의 동작에 대하여 설명한다.

먼저, 화상 메모리(11-1)가, 선두의 필드 데이터를 기억한다. 다음 타이밍에서, 화상 메모리(11-1)는, 기억하고 있던 필드 데이터를 지연 필드 데이터로서 화상 메모리(11-2), 및, 화상 합성부(13)에 공급한다. 또한, 다음 타이밍에서, 화상 메모리(11-1)는, 기억하고 있는 지연 필드 데이터를, 화상 메모리(11-2)에 공급함과 함께, 화상 합성부(13)에 공급한다. 또한, 화상 메모리(11-2)는, 기억하고 있던 전 지연 필드 데이터를 각각 블록 단위 움직임 벡터 검출부(12), 및 화상 합성부(13)에 공급한다.

이 때, 블록 단위 움직임 벡터 검출부(12)는, 현 필드 데이터와 전 지연 필드 데이터를 이용하여, 블록 매칭에 의해 블록 단위로 움직임 벡터를 구하여, 화상 합성부(13)에 공급한다.

화상 합성부(13)는, 공급된 지연 필드 상의 프로그레시브 화상용으로 새로 생성할 필요가 있는 주사선 상의 각 화소를 통과하는 움직임 벡터와 교차하는, 현 필드 데이터와 전 지연 필드 데이터 상의 화소를 이용하여 필드간 보간에 의해 화소를 생성하고, 인터레이스 화상의 지연 필드 화상을 프로그레시브 화상으로 하여 출력한다.

또한, 휘도 신호의 움직임 뿐만 아니라 색차 신호 등의 움직임도 검출하도록 도록 하고 움직임 벡터를 검출하도록 하여, 정확하게 움직임 벡터를 검출할 수 있도록 하는 것이 있다(예를 들면, 특허 문헌1 참조).

그러나, 상기한 움직임 벡터를 검출하기 위한 연산 방법인 블록 매칭법에서는, 블록 사이즈가 크면 움직임 벡터의 검출 정밀도가 저하되지만, 어느 정도의 블록 사이즈보다 작게 해도 움직임 벡터의 검출 정밀도가 향상되지 않음이 알려져 있다. 또한, 블록 매칭에서는, 블록 사이즈를 작게 하면 방대한 계산량으로 되기 때문에 계산 비용이 지나치게 든다는 문제가 있었다.

또한, 움직임 벡터의 검출 정밀도의 향상과 리얼타임 처리를 실현시키기 위 해 계산 비용을 억제시킨다고 하는 상반되는 요구의 균형으로부터, 움직임 벡터는 소정의 크기의 블록 단위로 구해지는 것으로 된다. 그 때문에, 움직임 벡터가 검출되는 검색 블록내에서, 2개 이상의 움직임 벡터를 갖는 화소가 존재하고 있는 경우, 보간에 의해 생성되는 화소로 이루어지는 화상에서는, 블록 단위로 왜곡이 발생하거나, 보간에 의해 생성된 화소와, 주변의 화소가 미스 매치를 일으키거나, 또한, 블록 단위로 움직임 벡터가 동일하게 되기 때문에, 보간에 의해 생성된 화상의 공간 해상도가 외관상 열화하는 문제가 발생했다

본 발명은 이와 같은 상황을 감안하여 이루어진 것으로, 특히, 움직임 벡터를 이용한 움직임 보정형 화상 처리에서, 화소 단위의 움직임 벡터를 정확하게 구함과 함께, 보간에 의해 생성된 화소의 에러가 발생하는 정도를 구하여, 보간에 의한 화소의 생성 방법을 전환함으로써, 계산량의 저비용화를 도모하면서, 블록 단위로 발생하는 보간에 의해 생성되는 화상의 왜곡이나, 보간에 의해 생성된 화소의 주변 화소와의 미스 매치를 억제하여 화질을 향상시키도록 하는 것이다.

본 발명의 제1 화상 처리 장치는, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 수단과, 블록 단위 움직임 벡터 검출 수단에 의해 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분을 계산하는 차분 계산 수단과, 차분 계산 수단에 의해 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 주목 화소의 화소 단위 움직임 벡터로서 선택하는 화소 단위 움직임 벡터 선택 수단과, 화소 단위 움직임 벡터 선택 수단에 의해 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 수단을 구비하는 것을 특징으로 한다.

상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소에서의 각각의 보조 정보를 생성하는 보조 정보 생성 수단을 더 설치하도록 할 수가 있고, 화소 단위 움직임 벡터 선택 수단에는, 주목 화소의 생성에 사용되는 제1 필드 상의 화소에서의 보조 정보와, 제2 필드 상의 화소에서의 보조 정보가 일치하고, 또한, 차분 계산 수단에 의해 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 주목 화소의 화소 단위 움직임 벡터로서 선택하도록 할 수 있다.

상기 보조 정보는, 화소마다의 엣지의 방향을 나타내는 코드로 하도록 할 수 있다.

상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소에서의 보조 정보와, 제2 필드 상의 화소에서의 보조 정보가 일치하지 않는 경우, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 수단을 더 설치하도록 할 수 있다.

본 발명의 제1 화상 처리 방법은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하 는 블록 단위 움직임 벡터 검출 단계와, 블록 단위 움직임 벡터 검출 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분을 계산하는 차분 계산 단계와, 차분 계산 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 주목 화소의 화소 단위 움직임 벡터로서 선택하는 화소 단위 움직임 벡터 선택 단계와, 화소 단위 움직임 벡터 선택 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여 주목 화소를 생성하는 화소 생성 단계를 포함하는 것을 특징으로 한다.

본 발명의 제1 기록 매체의 프로그램은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와, 블록 단위 움직임 벡터 검출 제어 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분의 계산을 제어하는 차분 계산 제어 단계와, 차분 계산 제어 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터의, 주목 화소의 화소 단위 움직임 벡터로서의 선택을 제어하는 화소 단위 움직임 벡터 선택 제어 단계와, 화소 단위 움직임 벡터 선택 제어 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용한, 주목 화소의 생성을 제어하는 화소 생성 제어 단계를 포함하는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와, 블록 단위 움직임 벡터 검출 제어 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분의 계산을 제어하는 차분 계산 제어 단계와, 차분 계산 제어 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터의, 주목 화소의 화소 단위 움직임 벡터로서의 선택을 제어하는 화소 단위 움직임 벡터 선택 제어 단계와, 화소 단위 움직임 벡터 선택 제어 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용한, 주목 화소의 생성을 제어하는 화소 생성 제어 단계를 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 제2 화상 처리 장치는, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 수단과, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 수단과, 화소 단위 움직임 벡터 계산 수단에 의해 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 수단을 포함하는 것을 특징으로 한다.

본 발명의 제2 화상 처리 방법은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하 는 블록 단위 움직임 벡터 검출 단계와, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 단계와, 화소 단위 움직임 벡터 계산 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 단계를 포함하는 것을 특징으로 한다.

본 발명의 제2 기록 매체의 프로그램은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화한, 주목 화소의 화소 단위 움직임 벡터의 계산을 제어하는 화소 단위 움직임 벡터 계산 제어 단계와, 화소 단위 움직임 벡터 계산 제어 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용한, 주목 화소의 생성을 제어하는 화소 생성 제어 단계를 포함하는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화한, 주목 화소의 화소 단위 움직임 벡터의 계산을 제어하는 화소 단위 움직임 벡터 계산 제 어 단계와, 화소 단위 움직임 벡터 계산 제어 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용한, 주목 화소의 생성을 제어하는 화소 생성 제어 단계를 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 제1 화상 처리 장치 및 방법, 및 프로그램에서는, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터가 검출되고, 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분이 계산되고, 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터가, 주목 화소의 화소 단위 움직임 벡터로서 선택되고, 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소가 이용되어, 주목 화소가 생성된다.

본 발명의 제2 화상 처리 장치 및 방법, 및 프로그램에서는, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터가 검출되고, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터가 평활화되어, 주목 화소의 화소 단위 움직임 벡터가 계산되고, 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소가 이용되어, 주목 화소가 생성된다.

본 발명의 화상 처리 장치는, 독립된 장치이어도 되고, 화상 처리를 행하는 블록이어도 된다.

이하에 본 발명의 실시 형태를 설명하지만, 본 명세서에 기재된 발명과, 발명의 실시 형태와의 대응 관계를 예시하면, 다음과 같이 된다. 본 기재는, 본 명세서에 기재되어 있는 발명을 서포트하는 실시 형태가 본 명세서에 기재되어 있음을 확인하기 위한 것이다. 따라서, 발명의 실시 형태 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시 형태가 있다고 하더라도, 그것은, 그 실시 형태가, 그 발명에 대응하는 것이 아님을 의미하는 것은 아니다. 반대로, 실시 형태가 발명에 대응하는 것으로서 여기에 기재되어 있다고 하더라도, 그것은, 그 실시 형태가, 그 발명 이외의 발명에는 대응하지 않는 것임을 의미하는 것도 아니다.

또한, 본 기재는, 본 명세서에 기재되어 있는 발명의 전부를 의미하는 것이 아니다. 바꾸어 말하면, 본 기재는, 본 명세서에 기재되어 있는 발명으로서, 본 출원에서는 청구되고 있지 않은 발명의 존재, 즉, 장래에, 분할 출원되거나, 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것이 아니다.

즉, 본 발명의 제1 화상 처리 장치는, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 수단(예를 들면, 도 2의 블록 단위 움직임 벡터 검출부(12))과, 블록 단위 움직임 벡터 검출 수단에 의해 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분을 계산하는 차분 계산 수단(예를 들면, 도 3의 움직임 보상부(36))과, 차분 계산 수단에 의해 계산된 화소값의 차분이 최소로 되 는 블록 단위 움직임 벡터를, 주목 화소의 화소 단위 움직임 벡터로서 선택하는 화소 단위 움직임 벡터 선택 수단(예를 들면, 도 3의 조건 판정부(37))과, 화소 단위 움직임 벡터 선택 수단에 의해 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 수단(예를 들면, 도 2의 화상 합성부(22))을 구비하는 것을 특징으로 한다.

상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소에서의 각각의 보조 정보를 생성하는 보조 정보 생성 수단(예를 들면, 도 16의 현 필드 데이터용 부가 정보 검출부(51))을 더 설치하도록 할 수 있고, 화소 단위 움직임 벡터 선택 수단에는, 주목 화소의 생성에 사용되는 제1 필드 상의 화소에서의 보조 정보와, 제2 필드 상의 화소에서의 보조 정보가 일치하여, 또한, 차분 계산 수단에 의해 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 주목 화소의 화소 단위 움직임 벡터로서 선택하게 하도록 할 수 있다.

상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소에서의 보조 정보와, 제2 필드 상의 화소에서의 보조 정보가 일치하지 않는 경우, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 수단(예를 들면, 도 27의 움직임 벡터 평활화부(82))을 더 설치하게 하도록 할 수 있다.

본 발명의 제1 화상 처리 방법은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하 는 블록 단위 움직임 벡터 검출 단계(예를 들면, 도 4의 플로우차트의 단계 S1의 처리)와, 블록 단위 움직임 벡터 검출 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분을 계산하는 차분 계산 단계(예를 들면, 도 5의 플로우차트의 단계 S13 내지 S17의 처리)와, 차분 계산 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 주목 화소의 화소 단위 움직임 벡터로서 선택하는 화소 단위 움직임 벡터 선택 단계(예를 들면, 도 4의 플로우차트의 단계 S4의 처리)와, 화소 단위 움직임 벡터 선택 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 단계(예를 들면, 도 4의 플로우차트의 단계 S5의 처리)를 포함하는 것을 특징으로 한다.

본 발명의 제2 화상 처리 장치는, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 수단(예를 들면, 도 2의 블록 단위 움직임 벡터 검출부(12))과, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 수단(예를 들면, 도 23의 움직임 벡터 평활화부(71))과, 화소 단위 움직임 벡터 계산 수단에 의해 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 수단(예를 들면, 도 2의 화상 합성부)을 구비하는 것을 특 징으로 한다.

본 발명의 제2 화상 처리 방법은, 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 단계(예를 들면, 도 25의 플로우차트의 단계 S151의 처리)와, 복수의 블록의 기준 위치와, 주목 화소와의 거리에 따라, 복수의 블록마다의 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 단계(예를 들면, 도 25의 플로우차트의 단계 S152의 처리)와, 화소 단위 움직임 벡터 계산 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 주목 화소를 생성하는 화소 생성 단계(예를 들면, 도 25의 플로우차트의 단계 S153의 처리)를 포함하는 것을 특징으로 한다.

또한, 기록 매체, 및, 프로그램에 대한 대응 관계는, 화상 처리 방법과 마찬가지이기 때문에, 그 설명은 생략한다.

도 2는, 본 발명을 적용한 화상 처리 장치(20)의 일 실시 형태의 구성을 도시하는 도면이다. 또한, 도 2의 화상 처리 장치(20)의 구성에서, 도 1의 화상 처리 장치(1)와 대응하는 구성에 대해서는, 동일한 부호를 붙이고, 그 설명은, 적절하게 생략하는 것으로 한다.

화소 단위 움직임 벡터 검출부(21)는, 입력 데이터인 현 필드 데이터, 화상 메모리(11-2)로부터 공급되는 전 지연 필드 데이터, 및, 블록 단위 움직임 벡터 검출부(12)로부터 공급되는 블록 단위 움직임 벡터에 기초하여, 화소 단위로 움직임 벡터를 생성하고, 화소 단위 움직임 벡터로서 화상 합성부(22)에 공급한다.

화상 합성부(22)는, 입력 데이터인 현 필드 데이터, 화상 메모리(11-1)로부터 공급되는 지연 필드 데이터, 화상 메모리(11-2)로부터 공급되는 전 지연 필드 데이터, 및, 화소 단위 움직임 벡터 검출부(21)로부터 공급되는 화소 단위 움직임 벡터에 기초하여, 현 필드와 전 지연 필드를 합성함으로써 새로운 필드를 생성하여 후단의 장치에 출력한다.

화상 합성부(22)는, 생성한 새로운 필드를 포함하는 출력 데이터로서, 예를 들면, 주사선 변환 처리에서는, 입력된 인터레이스 화상을 프로그레시브 화상으로 변환하여 출력하거나, 해상도 변환 또는 필드 주파수 변환을 실행한다. 여기서, 후단의 장치란, 예를 들면, 그 밖의 화상 처리 장치이거나, 텔레비전 수상기와 같은 화상 표시 장치이거나, VTR(Video Tape Recoder)과 같은 화상 기록 장치이어도 된다.

다음으로, 도 3을 참조하여, 화소 단위 움직임 벡터 검출부(21)의 상세한 구성에 대하여 설명한다.

블록 단위 움직임 벡터용 메모리(31)는, 블록 단위 움직임 벡터 검출부(12)로부터 공급되는 블록 단위 움직임 벡터를 저장하고, 주목 블록의 움직임 벡터 뿐만 아니라, 그 근방의 움직임 벡터도 포함시킨 복수의 움직임 벡터를 동시에 움직임 보상부(36)에 공급한다. 또한, 주목 화소란, 처리 대상으로 되는 화소이고, 주목 블록이란, 처리 대상으로 되는 주목 화소를 포함하는 복수의 화소로 이루어지는 블록이다.

현 필드 데이터용 전 처리부(32)는, LPF(Low Pass Filter) 등으로 구성되어, 입력되는 현 필드 데이터의 노이즈의 영향을 제거하는 전 처리를 행하고, 처리 결과로 되는 노이즈 제거된 현 필드 데이터를 현 필드 데이터용 버퍼(33)에 공급한다. 또한, 현 필드 데이터용 전 처리부(32)는, LPF에 한정되지 않고, 예를 들면, 메디언 필터와 같은 것이어도 되며, 또한, 현 필드 데이터용 전 처리부(32)를 설치하지 않고, 전 처리를 행하지 않도록 해도 된다.

현 필드 데이터용 버퍼(33)는, 현 필드 데이터용 전 처리부(32)로부터 공급된 전 처리 완료된 현 필드 데이터를 저장한다. 현 필드 데이터용 버퍼(33)는, 예를 들면, 메모리 등으로 구성되어 있고, 현 필드 데이터 중 처리에 필요한 데이터를 유지할 수 있는 용량이 있으면 된다. 현 필드 데이터용 버퍼(33)는, 움직임 보상부(36)로부터의 요구에 따라, 메모리 상을 랜덤하게 액세스함으로써 읽어낸 데이터를 움직임 보상부(36)에 공급한다.

전 지연 필드 데이터용 전 처리부(34)는, 현 필드 데이터용 전 처리부(32)와 마찬가지로 LPF 등으로 구성되고, 화상 메모리(11-2)로부터 공급되는 전 지연 필드 데이터의 노이즈의 영향을 제거하는 전 처리를 행하고, 처리 결과를 전 지연 필드 전 처리 완료 데이터로서 전 지연 필드 데이터용 버퍼(35)에 공급한다.

전 지연 필드 데이터용 버퍼(35)는, 현 필드 데이터용 버퍼(33)와 마찬가지로, 예를 들면, 메모리 등으로 구성되어 있고, 전 지연 필드 데이터용 전 처리부(34)로부터 공급되는 전 처리 완료 전 지연 필드 데이터를 저장한다. 전 지연 필드 데이터용 버퍼(35)는, 움직임 보상부(36)로부터의 요구에 따라, 메모리 상을 랜 덤하게 액세스함으로써 읽어낸 전 지연 필드 데이터를 움직임 보상부(36)에 공급한다.

움직임 보상부(36)는, 움직임 보상 처리를 실행하고, 블록 단위 움직임 벡터용 메모리(31)로부터, 주목 블록과 그 근방의 복수의 블록의 블록 단위의 움직임 벡터를 읽어내고, 각 움직임 벡터가, 주목 화소를 통과할 때, 주목 화소가 존재하는 필드로부터 보아, 시간적으로 전후의 프레임으로 되는 현 필드 상과 전 지연 필드 상을, 그 움직임 벡터가 통과하는 위치의 화소간의 화소값의 차분을 구하여, 차분 데이터로서 움직임 벡터마다 조건 판정부(37)에 출력한다. 이 때, 움직임 보상부(36)는, 차분 데이터에 대응하는 움직임 벡터도 조건 판정부(37)에 공급한다.

조건 판정부(37)는, 조건 판정 처리를 실행하고, 움직임 벡터마다 요구된 차분 데이터 중, 최소로 되는 차분 데이터를 선택하여, 최소로 된 차분 데이터에 대응하는 움직임 벡터를 식별하는 선택 신호와, 비교한 차분 데이터에 대응하는 움직임 벡터를 화소 벡터 선택부(38)에 공급한다.

화소 벡터 선택부(38)는, 선택 처리를 실행하여, 조건 판정부(37)로부터 공급된 선택 신호에 기초하여, 차분 데이터가 최소로 되는 블록 단위 움직임 벡터를 주목 화소의 화소 단위 움직임 벡터로서 선택하여, 화상 합성부(22)에 출력한다.

다음으로, 도 4의 플로우차트를 참조하여, 도 2의 화상 처리 장치(20)에 의한 화상 처리에 대하여 설명한다.

단계 S1에서, 블록 단위 움직임 벡터 검출부(12)는, 입력되는 원 필드 데이터와 화상 메모리(11-2)로부터 공급되는 전 지연 필드 데이터에 기초하여, 블록 매 칭에 의해 블록 단위로 움직임 벡터를 구하여, 화소 단위 움직임 벡터 검출부(21)에 출력한다. 또한, 블록 단위의 움직임 벡터의 검출 방법에 대해서는, 종래의 블록 매칭법을 이용한 검출 방법과 마찬가지이기 때문에, 그 설명은 생략한다.

단계 S2에서, 화소 단위 움직임 벡터 검출부(21)의 움직임 보상부(36)는, 움직임 보상 처리를 실행하여, 처리 결과로서 처리에 사용한 블록 단위의 움직임 벡터와 차분 데이터를 조건 판정부(37)에 출력한다.

여기서, 도 5의 플로우차트를 참조하여, 움직임 보상부(36)에 의한 움직임 보상 처리에 대하여 설명한다.

단계 S11에서, 움직임 보상부(36)는, 처리 횟수를 카운트하기 위한 도시하지 않은 카운터 y를 초기화하여 0으로 한다. 단계 S12에서, 움직임 보상부(36)는, 처리 횟수를 카운트하기 위한 도시하지 않은 카운터 x를 초기화하여 0으로 한다.

단계 S13에서, 움직임 보상부(36)는, 현 필드 데이터용 버퍼(33)로부터 현 필드 데이터용 전 처리부(32)에 의해 전 처리된 현 필드 데이터와, 전 지연 필드 데이터용 버퍼(35)로부터 전 지연 필드 데이터용 전 처리부(34)에 의해 전 처리된 전 지연 필드 데이터를 읽어내고, 도 5에서 도시되는 생성하려고 하는 주목 화소(x, y)가 속하는 블록인 생성 블록과, 그 근방의 복수의 블록 A 내지 E 중, 블록 A의 블록 단위 움직임 벡터인 움직임 벡터 a에 기초하여, 주목 화소(x, y)의 생성에 사용되는 현 필드 상의 화소 a_pr과 전 지연 필드 상의 화소 a_de의 화소값을 구하고, 또한, 그 차분 a_diff를 구하여, 계산에 이용한 블록 단위 움직임 벡터 a와 대응시켜 조건 판정부(37)에 출력한다. 또한, 이후의 설명에서는, 주목 화소가 존재 하는 블록을 주목 블록이라고 하고, 그 근방의 블록을 근방 블록이라고 하며, 또한, 주목 화소의 필드를 생성 필드라고 하는 것으로 한다.

즉, 예를 들면, 도 6에서 도시되는 바와 같이, 주목 화소가 존재하는 생성 필드의 사이즈가 xsize×ysize이고, 주목 블록이 도 6 중의 블록 C(도면 중에서는, 검게 표시되어 있는 블록임)인 경우, 그 근방 블록은, 블록 A, B, D, E(도면 중에서 사선으로 표시되어 있는 블록임)의 4 블록인 것으로 한다. 여기서, 각 블록의 사이즈는, 어느 것이나 동일하고, 예를 들면, 도 7에서 도시되는 바와 같이, step_x×step_y 이다. 또한, 주목 블록과 근방 블록인 블록 A 내지 E의 블록 단위 벡터는, 예를 들면, 도 8에서 도시되는 바와 같이, 각각 움직임 벡터 a 내지 e인 것으로 한다.

또한, 생성 필드는, 시간적으로 전 지연 필드와 현 필드 사이에 존재하는 것이고, 전 지연 필드와 현 필드의 간격을 1이라고 하면, 도 9에서 도시되는 바와 같이, 현 필드까지의 간격을 α로 할 때, 전 지연 필드까지의 거리는 (1-α)로 표시되는 것으로 된다.

또한, 주목 화소(x, y)의 생성에 사용하는 현 필드 상의 화소 a_pr과 전 지연 필드 상의 화소 a_de는, 예를 들면, 블록 A의 블록 단위 움직임 벡터 a를 (Xa, Ya)로 나타내는 것으로 하면, 도 10에서 도시되는 바와 같이, 화소 a_pr은, 현 필드 상의 좌표(x+α×Xa, y+α×Ya) 상의 화소이고, 화소 a_de는, 전 지연 필드 상의 좌표(x-(1-α)×Xa, y-(1-α)×Ya) 상의 화소로 된다.

따라서, 블록 단위 움직임 벡터 a가 (Xa, Ya)로 표시되는 경우, 움직임 보상 부(36)는, 현 필드 상의 좌표(x+α×Xa, y+α×Ya) 상의 화소 a_pr의 화소값과, 전 지연 필드 상의 좌표(x-(1-α)×Xa, y-(1-α)×Ya) 상의 화소 a_de의 화소값의 차분 a_diff를 구하여, 연산에 이용한 블록 단위 움직임 벡터 a와 대응시켜 조건 판정부(37)에 공급한다.

즉, 움직임 보상부(36)는, 블록 단위 움직임 벡터 a가, 생성 필드 상의 주목 화소(x, y)를 통과할 때에, 현 필드를 통과하는 위치의 화소(도 10 중의 블록 단위 움직임 벡터 a의 종점으로 되는 위치의 화소)의 화소값과, 전 지연 필드를 통과하는 위치의 화소(도 10 중의 블록 단위 움직임 벡터 a의 시점으로 되는 위치의 화소)의 화소값과의 차분을 차분 a_diff로서 계산한다.

단계 S14에서, 움직임 보상부(36)는, 단계 S13의 처리와 마찬가지로, 블록 B의 블록 단위 움직임 벡터 b에 기초하여, 주목 화소(x, y)의 생성에 사용하는 현 필드 상의 화소 b_pr과 전 지연 필드 상의 화소 b_de의 화소값을 구하고, 또한, 그 차분 b_diff를 구하여, 계산에 이용한 움직임 벡터 b를 대응시켜 조건 판정부(37)에 출력한다.

단계 S15에서, 움직임 보상부(36)는, 단계 S13의 처리와 마찬가지로, 블록 C의 블록 단위 움직임 벡터 c에 기초하여, 주목 화소(x, y)의 생성에 사용하는 현 필드 상의 화소 c_pr과 전 지연 필드 상의 화소 c_de의 화소값을 구하고, 또한, 그 차분 c_diff를 구하여, 계산에 이용한 움직임 벡터 c를 대응시켜 조건 판정부(37)에 출력한다.

단계 S16에서, 움직임 보상부(36)는, 단계 S13의 처리와 마찬가지로, 블록 D 의 블록 단위 움직임 벡터 d에 기초하여, 주목 화소(x, y)의 생성에 사용하는 현 필드 상의 화소 d_pr과 전 지연 필드 상의 화소 d_de의 화소값을 구하고, 또한, 그 차분 d_diff를 구하여, 계산에 이용한 움직임 벡터 d를 대응시켜 조건 판정부(37)에 출력한다.

단계 S17에서, 움직임 보상부(36)는, 단계 S13의 처리와 마찬가지로, 블록 E의 블록 단위 움직임 벡터 e에 기초하여, 주목 화소(x, y)의 생성에 사용하는 현 필드 상의 화소 e_pr과 전 지연 필드 상의 화소 e_de의 화소값을 구하고, 또한, 그 차분 e_diff를 구하여, 계산에 이용한 움직임 벡터 e를 대응시켜 조건 판정부(37)에 출력한다.

단계 S18에서, 움직임 보상부(36)는, 카운터 x가, 필드의 수평 방향의 사이즈에 상당하는 xsize인지의 여부를 판정하여, xsize가 아니라고 판정한 경우, 단계 S19에서, 카운터 x를 1 인크리먼트하고, 그 처리는, 단계 S13으로 되돌아간다.

단계 S18에서, 카운터 x가 xsize가 아니라고 판정된 경우, 단계 S20에서, 움직임 보상부(36)는, 카운터 y가 ysize인지의 여부를 판정하여, 예를 들면, ysize가 아니라고 판정했을 때, 단계 S21에서, 카운터 y를 1 인크리먼트하고, 그 처리는, 단계 S12로 되돌아가고, 그 이후의 처리가 반복된다.

단계 S20에서, 카운터 y가 ysize라고 판정된 경우, 그 처리는, 종료한다.

즉, 단계 S13 내지 S17의 처리가, 생성 필드 상의 각 화소에 대하여 반복되고, 각 화소에 대하여, 자기가 속하는 블록과, 그 근방의 블록의 블록 단위 움직임 벡터의 전 지연 필드 상의 시점 위치의 화소값과, 현 필드 상의 종점 위치의 화소 값과의 차분 a_diff 내지 e_diff가 구해져서, 연산에 사용된 블록 단위 움직임 벡터와 대응시켜 조건 판정부(37)에 공급되고, 단계 S18 내지 S21의 처리에 의해, 생성 필드 상의 모든 화소에 대하여, 그 처리가 이루어졌다고 판정될 때까지 반복된다.

여기서, 도 4의 플로우차트의 설명으로 되돌아간다.

단계 S4에서, 움직임 보상 처리가 이루어지면, 단계 S5에서, 조건 판정부(37)는, 조건 판정 처리를 실행하고, 각 화소에 대하여 화소 단위 움직임 벡터의 후보로 되는 블록 단위 움직임 벡터 a 내지 e 중 어느 하나를 선택하는 신호를 화소 벡터 선택부(38)에 공급한다.

여기서, 도 11의 플로우차트를 참조하여, 조건 판정부(37)에 의한 조건 판정 처리에 대하여 설명한다.

단계 S31에서, 조건 판정부(37)는, 움직임 보상부(36)로부터 공급된 차분 b_diff와 차분 d_diff를 비교하여, 차분 b_diff가 차분 d_diff보다도 작은지의 여부를 판정한다. 즉, 조건 판정부(37)는, 주목 블록으로부터 보아 수평 방향으로 인접하는 근방 블록의 차분 b_diff와 차분 d_diff의 대소를 비교한다.

예를 들면, 단계 S31에서, 차분 b_diff가 차분 d_diff보다도 작다고 판정된 경우, 조건 판정부(37)는, 단계 S32에서, 수평 방향의 차분 h_diff로서 b_diff를 설정하고(h_diff=b_diff로 설정하고), 수평 방향의 근방 블록의 대표로 되는 움직임 벡터 h를 움직임 벡터 b로 설정한다(h=b로 설정한다).

한편, 예를 들면, 단계 S31에서, 차분 b_diff가 차분 d_diff보다도 작지 않 다고 판정된 경우, 조건 판정부(37)는, 단계 S33에서, 수평 방향의 차분 h_diff로서 d_diff를 설정하고(h_diff=d_diff로 설정하고), 수평 방향의 근방 블록의 대표로 되는 움직임 벡터 h를 움직임 벡터 d로 설정한다(h=d로 설정한다).

단계 S34에서, 조건 판정부(37)는, 움직임 보상부(36)로부터 공급된 차분 a_diff와 차분 e_diff를 비교하여, 차분 a_diff가 차분 e_diff보다도 작은지의 여부를 판정한다. 즉, 조건 판정부(37)는, 주목 블록으로부터 보아 수직 방향으로 인접하는 근방 블록의 차분 a_diff와 차분 e_diff의 대소를 비교한다.

예를 들면, 단계 S34에서, 차분 a_diff가 차분 e_diff보다도 작다고 판정된 경우, 조건 판정부(37)는, 단계 S35에서, 수직 방향의 차분 v_diff로서 a_diff를 설정하고(v_diff=a_diff로 설정하고), 수직 방향의 근방 블록의 대표로 되는 움직임 벡터 v를 움직임 벡터 a로 설정한다(v=a로 설정한다).

한편, 예를 들면, 단계 S34에서, 차분 a_diff가 차분 e_diff보다도 작지 않다고 판정된 경우, 조건 판정부(37)는, 단계 S36에서, 수직 방향의 차분 v_diff로서 e_diff를 설정하고(v_diff=e_diff로 설정하고), 수직 방향의 근방 블록의 대표로 되는 움직임 벡터 v를 움직임 벡터 e로 설정한다(v=e로 설정한다).

단계 S37에서, 조건 판정부(37)는, c_diff가 소정의 임계값 th보다도 작은 지의 여부를 판정하여, 예를 들면, 소정의 임계값 th보다도 작은 경우, 단계 S38에서, 선택 신호 PSEL로서 c_diff를 채용한 것을 나타내는 C와 함께, 블록 단위 움직임 벡터 c를 화소 벡터 선택부(38)에 공급한다.

단계 S37에서, 차분 c_diff가 임계값 th보다도 작지 않다고 판정된 경우, 단 계 S39에서, 조건 판정부(37)는, 차분 h_diff가 차분 v_diff보다도 작은지의 여부를 판정하여, 예를 들면, 차분 h_diff가 차분 v_diff보다도 작다고 판정한 경우, 단계 S40으로 진행한다.

단계 S40에서, 조건 판정부(37)는, h_diff가 소정의 임계값 th보다도 작은 지의 여부를 판정하여, 예를 들면, 소정의 임계값 th보다도 작은 경우, 단계 S41에서, 선택 신호 PSEL로서 h_diff를 채용한 것을 나타내는 H와 함께, 블록 단위 움직임 벡터 h를 화소 벡터 선택부(38)에 공급한다. 또한, 단계 S40에서, h_diff가 소정의 임계값 th보다도 작지 않은 경우, 그 처리는, 단계 S38로 진행한다.

단계 S39에서, 차분 h_diff가 차분 v_diff보다도 작지 않다고 판정된 경우, 단계 S42에서, 조건 판정부(37)는, v_diff가 소정의 임계값 th보다도 작은지의 여부를 판정하여, 예를 들면, 소정의 임계값 th보다도 작은 경우, 단계 S43에서, 선택 신호 PSEL로서 v_diff를 채용한 것을 나타내는 V와 함께, 블록 단위 움직임 벡터 v를 화소 벡터 선택부(38)에 공급한다. 또한, 단계 S42에서, v_diff가 소정의 임계값 th보다도 작지 않은 경우, 그 처리는, 단계 S38로 진행한다.

즉, 단계 S31 내지 S33의 처리에 의해, 주목 블록에 대하여 수평 방향으로 인접하는 근방 블록 사이의 차분 중 작은 쪽이 수평 방향의 차분으로서 설정되고, 단계 S34 내지 S36의 처리에 의해, 주목 블록에 대하여 수직 방향으로 인접하는 근방 블록 사이의 차분 중 작은 쪽이 수직 방향의 차분으로서 설정된다.

그리고, 단계 S37에서, 주목 블록의 차분이 소정의 임계값 th보다도 작은 경우, 단계 S38에서, 선택 신호로서 c_diff를 선택했음을 나타내는 C가 화소 벡터 선 택부(38)에 공급된다. 또한, 단계 S37에서, 주목 블록의 차분이 소정의 임계값 th보다도 작지 않은 경우, 단계 S39에서, 수평 방향의 차분 h_diff와 수직 방향의 차분 v_diff의 대소 관계로부터 차분이 작은 쪽이 선택되고, 단계 S40, S42에서, 각각 소정의 임계값 th보다도 작으면, 단계 S41, S43의 처리에 의해, 각각 선택 신호로서, 각각 h_diff, v_diff를 선택했음을 나타내는 PSEL=H, V를 화소 벡터 선택부(38)에 공급한다. 또한, 단계 S40, S42에서, 소정의 임계값보다도 작지 않은 경우, 단계 S38에서, 선택 신호로서 c_diff를 선택했음을 나타내는 C가 화소 벡터 선택부(38)에 공급된다.

결과적으로, 차분 a_diff 내지 e_diff 중, c_diff가 소정의 임계값 th보다도 작으면, 선택 신호 PSEL=C가 화소 벡터 선택부(38)에 공급되고, c_diff가 소정의 임계값 th보다도 작지 않으면, 차분 a_diff, b_diff, d_diff, e_diff 중, 가장 작은 것이고, 또한, 소정의 임계값 th보다도 작은 차분인 선택 신호 PSEL=H 또는 V가 화소 벡터 선택부(38)에 공급되고, 또한, 어느 차분도 소정의 임계값 th보다도 작지 않은 경우, 선택 신호 PSEL=C가 화소 벡터 선택부(38)에 공급된다.

다음으로, 도 12의 플로우차트를 참조하여, 화소 벡터 선택부(38)에 의한 선택 처리에 대하여 설명한다.

단계 S61에서, 화소 벡터 선택부(38)는, 선택 신호 PSEL이 C인지의 여부를 판정하고, 예를 들면, 선택 신호 PSEL이 C라고 판정한 경우, 단계 S62에서, 블록 단위 움직임 벡터 c를, 주목 화소(x, y)의 화소 단위 움직임 벡터로 설정하여, 화소의 위치 정보와 함께 화상 합성부(22)에 출력한다.

단계 S61에서, 선택 신호 PSEL이 C가 아니라고 판정된 경우, 단계 S63에서, 화소 벡터 선택부(38)는, 선택 신호 PSEL이 H인지의 여부를 판정하여, 예를 들면, 선택 신호 PSEL이 H라고 판정한 경우, 단계 S64에서, 블록 단위 움직임 벡터 h(즉, 블록 단위 움직임 벡터 b 또는 d)를, 주목 화소(x, y)의 화소 단위 움직임 벡터로 설정하고, 화소의 위치 정보와 함께 화상 합성부(22)에 출력한다.

단계 S63에서, 선택 신호 PSEL이 H가 아니라고 판정된 경우, 즉, 선택 신호 PSEL이 V라고 판정된 경우, 단계 S65에서, 화소 벡터 선택부(38)는, 블록 단위 움직임 벡터 v(즉, 블록 단위 움직임 벡터 a 또는 e)를, 주목 화소(x, y)의 화소 단위 움직임 벡터로 설정하고, 화소의 위치 정보와 함께 화상 합성부(22)에 출력한다.

이상의 처리에 의해, 선택 신호에 대응한 화소 단위 움직임 벡터가 설정된다.

여기서, 도 4의 플로우차트의 설명으로 되돌아간다.

단계 S5에서, 화상 합성부(13)는, 화소 단위 움직임 벡터의 정보에 기초하여, 현 필드 데이터, 지연 필드 데이터, 전 지연 필드 데이터를 합성하여, 해상도를 변환한 화상 데이터를 출력한다. 즉, 예를 들면, 생성 필드 상의 주목 화소의 화소 단위 움직임 벡터가, 블록 단위 움직임 벡터 a이도록 설정되어 있는 경우, 화상 합성부(13)는, 상기한 도 10에서 도시되는 바와 같이, 생성 필드 상의 주목 화소에 대하여, 대응하는 화소 단위 움직임 벡터 a를 이용하여, 화소 단위 움직임 벡터 a가 주목 화소를 통과할 때의 전 지연 필드 상의 화소 단위 움직임 벡터 a의 시 점으로 되는 위치의 화소의 화소값과, 현 필드 상의 화소 단위 움직임 벡터 a의 종점으로 되는 위치의 화소의 화소값을 이용하여, 예를 들면, 그 화소간의 평균치를 취함으로써 필드간 보간하여 화소를 생성하고, 또한, 필요에 따라 지연 필드 데이터와 합성하여, 화상을 생성하여, 출력한다.

즉, 이상의 처리에 의해, 생성하려고 하는 화소가 속하는 블록을 포함하는,그 근방의 블록의 블록 단위 벡터를, 생성하려고 하는 화소 위치에서의 화소 단위 움직임 벡터의 후보로 하고, 그 후보로 되어 있는 블록 단위 움직임 벡터를 이용하여, 실제로 필드간 보간에 사용되는 화소간의 화소값의 차분이 가장 작은, 즉, 필드간 보간에 의해 생성되는 새로운 화소가, 필드간 보간에 사용되는 화소와 가장 상관이 높은 화소로 되는 블록 단위 움직임 벡터가, 화소 단위 움직임 벡터로 설정된다. 결과적으로, 화소 단위 움직임 벡터를 이용하여 필드간 보간에 의해 생성된 화소는, 화소 단위로 주변과 상관이 높은 것으로 하는 것이 가능해지고, 블록 단위 움직임 벡터를 이용한 경우에 비하여, 보다 자연스러운 화상으로 된다.

또한, 이 처리에 의해, 예를 들면, 도 13에서 도시되는 바와 같은 흰색 틀로 도시되는 영역의 화상인 경우, 종래의 처리에서는, 블록 단위로 움직임 벡터가 설정되어 있었기 때문에, 블록으로서 설정된 영역 내에서 서로 다른 움직임이 있는 화소가 존재해도(도 13에서는, 배경이 정지되어 있고, 인물의 어깨 부분이 이동해 있음), 블록 단위로 동일한 움직임 벡터가 사용되기 때문에, 도 14에서 도시되는 바와 같이, 블록 단위로 계단 형상으로 마찬가지의 위치 관계에 있는 현 필드와 전 지연 필드 상의 화소가 필드간 보간에 사용됨으로써, 화소가 생성된 화상 상에, 예 를 들면, 계단 형상의 샤기(shaggy)가 발생하는 것과 같은 경우가 있었다. 또한, 도 14, 도 15는, 각 화소의 움직임 벡터의 수평 방향의 크기를 농도로 하여 표시한 것이다. 도 14에서는, 흰색 틀로 묶인 각 블록 내에 수치가 나타나 있고, 이들의 수치는, 각 블록의 블록 단위의 화소의 움직임 벡터의 수평 방향의 크기를 나타내고 있다. 지금의 경우, 주목 블록이 +12이고, 위에 인접한 근방 블록이 0이고, 아래로 인접한 근방 블록이 13이고, 좌측에 인접한 블록이 -1이고, 우측에 인접한 블록이 +12이고, 주목 블록에서는, 움직임이 있는 화소가 존재하는 영역과, 움직임이 없는 화소가 존재하는 영역이 혼재하고 있음에도 불구하고, 동일한 움직임 벡터가 설정되어 있음이 나타나 있다.

한편, 본 발명을 이용한 처리에서는, 화소 단위로 움직임 벡터가 설정되고, 또한, 이들의 움직임 벡터는, 필드간 보간에 의해 생성되는 화소가 필드간 보간에 사용되는 화소간의 차분이 주변의 블록 단위 움직임 벡터 중에서 최소의 것이기때문에, 주변의 화소와의 상관이 높은 것으로 되고, 예를 들면, 도 15의 흰색 틀 부분으로 도시되는 주목 블록 내에 움직임이 있는 화소가 존재하는 영역과 움직임이 없는 화소가 존재하는 영역의 경계 부분에 대해서도, 각각 구별하여 움직임 벡터가 설정되는 것으로 되기 때문에, 결과적으로, 자연스러운 화소 생성을 실현하는 것이 가능하게 된다.

또한, 필드에는, 위상이 서로 다른 2개의 필드가 있는데, 각각 톱 필드와 보텀 필드라고 한다. 톱 필드는, 최상단의 수평 주사선 상으로부터 1 라인 걸러 화소가 배치되고, 그 이외의 라인에는, 화소가 없고, 보텀 필드는, 최상단의 1 라인 아래의 수평 주사선으로부터 1 라인 걸러 화소가 생성되고, 그 이외의 라인에 화소가 존재하지 않는다. 즉, 톱 필드와 보텀 필드에서는, 화소가 존재하는 라인이 1 라인 어긋난 관계로 되어 있다. 이 때문에, 본 예에서는, 현 필드와 전 지연 필드는, 동위상의 필드이지만, 지연 필드는, 현 필드와 전 지연 필드 상에서의 화소 배치가 1 라인 어긋난 서로 다른 위상의 필드이다.

따라서, 도 9에서 도시되는 α를 1/2로 설정한 경우, 생성 필드는, 지연 필드 그 자체로 되고, 지연 필드 상의 화소가 존재하지 않는 라인 상에, 현 필드와 전 지연 필드 상에 존재하는 화소의 정보에 기초하여, 지연 필드 상의 화소가 존재하지 않는 라인 상에 화소를 생성하고, 또한, 지연 필드 데이터와 합성함으로써, 인터레이스 화상을 프로그레시브 화상으로 변환하는 것이 가능하게 된다.

또한, 이상에서는, 화소 단위 움직임 벡터의 후보로서, 주목 블록의 블록 단위 움직임 벡터 외에 근방 블록으로서, 주목 블록에 수평 방향, 및, 수직 방향으로 인접하는 블록인 근방 블록의 블록 단위 움직임 벡터를 사용하는 예에 대하여 설명했지만, 근방 블록은, 그 이외의 위치의 블록이라도 되고, 또한, 수에 대해서도, 상기한 4 블록 뿐만 아니라, 예를 들면, 주목 블록의 좌우의 비스듬히 위, 또는, 좌우의 비스듬히 아래의 위치의 블록을 포함시킨 8 블록으로 하도록 해도 된다. 또한, 동위상의 서로 다른 필드 상의 블록을 근방 블록으로서 사용해도 되고, 예를 들면, 전후의 동일 위상의 필드(생성 필드에 대하여 2 필드 전의 필드와 2 필드 후의 필드) 상의 주목 블록과 동위치의 블록 등을 사용해도 된다.

그런데, 도 3의 화소 단위 움직임 벡터 검출부(21)의 경우, 이 방법으로는, 화소 단위의 움직임 벡터를 도출할 때에, 복수의 블록 단위 움직임 벡터의 후보를 이용하여, 필드간 보간에 사용하는 화소간의 화소값의 차분이 작은, 즉, 상관이 높은 화소간을 시점과 종점으로 하는 움직임 벡터를 화소 단위 움직임 벡터로 하기 때문에, 예를 들면, 동일한 형상이 반복되는 화상이나 복잡한 형상을 갖는 화상에서는, 화소 단위의 움직임 벡터가 오검출될 우려가 있다. 이 오검출된 화소 단위 움직임 벡터가 필드간 보간에 사용되면, 보간에 의해 생성된 화소로 이루어지는 화상에, 공간적, 또는, 시간적인 불연속성이 발생할 우려가 있고, 결과적으로, 화질의 열화를 초래할 우려가 있다.

이에 따라, 주목 블록과 근방 블록의 복수의 블록 단위 움직임 벡터를 화소 단위의 움직임 벡터의 후보로서, 어느 하나를 선택할 때, 움직임 벡터에 대응한 필드간 보간에 사용되는 화소간의 차분 뿐만 아니라, 그 밖의 부가 정보에서의 선택 조건을 부가함으로써 정확하게 화소 단위 움직임 벡터를 선택할 수 있도록 해도 된다.

도 16은, 주목 블록과 근방 블록의 복수의 블록 단위 움직임 벡터를 화소 단위의 움직임 벡터의 후보로서, 어느 하나를 선택할 때, 움직임 벡터에 대응한 필드간 보간에 사용되는 화소간의 차분 뿐만 아니라, 그 밖의 부가 정보에서의 선택 조건을 부가함으로써, 보다 정확하게 화소 단위 움직임 벡터를 선택할 수 있도록 한 화소 단위 움직임 벡터 검출부(21)의 구성을 도시하고 있다. 또한, 도 3의 화소 단위 움직임 벡터 검출부(21)와 대응하는 구성에 대해서는, 동일한 부호를 붙이고, 그 설명은 적절하게 생략하는 것으로 한다.

도 16의 화소 단위 움직임 벡터 검출부(21)에서, 도 3의 화소 단위 움직임 벡터 검출부(21)와 서로 다른 것은, 현 필드 부가 정보 검출부(51), 현 필드 부가 정보용 버퍼(52), 전 지연 필드 부가 정보 검출부(53), 및, 전 지연 필드 부가 정보용 버퍼(54)가 새로 부가되어 있고, 또한, 움직임 보상부(36) 및 조건 판정부(37) 대신에 움직임 보상부(55) 및 조건 판정부(56)를 설치하고 있는 점이다.

현 필드 부가 정보 검출부(51)는, 현 필드 데이터를 취득하고, 소정의 순서에 따라서 부가 정보로서, 화소 단위의 2차원의 엣지가 존재하는 방향을 나타내는 코드를 계산한다. 또한, 현 필드 부가 정보 검출부(51)는, 도 16에서 도시되어 있는 바와 같이, 현 필드 데이터를 그대로 사용하여 화소 단위의 2차원의 엣지가 존재하는 방향을 나타내는 코드를 계산하도록 해도 되지만, 현 필드 데이터용 전 처리부(32)에 의해 전 처리가 이루어진 현 필드 데이터를 사용하여 화소 단위의 2차원의 엣지가 존재하는 방향을 나타내는 코드를 계산하도록 해도 된다.

현 필드 부가 정보용 버퍼(52)는, 현 필드 부가 정보 검출부(51)로부터 공급된 부가 정보를 취득하여, 저장한다. 현 필드 부가 정보용 버퍼(52)는, 움직임 보상부(55)로부터의 요구에 따라, 데이터를 움직임 보상부(55)에 공급한다.

전 지연 필드 부가 정보 검출부(53)는, 전 지연 필드 데이터를 취득하고, 소정의 순서에 따라서 부가 정보로서, 화소 단위의 2차원의 엣지가 존재하는 방향을 나타내는 코드를 계산한다. 또한, 전 지연 필드 부가 정보 검출부(53)는, 도 16에서 도시되어 있는 바와 같이, 전 지연 필드 데이터를 그대로 사용하여 화소 단위의 2차원의 엣지가 존재하는 방향을 나타내는 코드를 계산하도록 해도 되지만, 전 지 연 필드 데이터용 전 처리부(34)에 의해 전 처리가 이루어진 전 지연 필드 데이터를 사용하여 화소 단위의 2차원의 엣지가 존재하는 방향을 나타내는 코드를 계산하도록 해도 된다.

전 지연 필드 부가 정보용 버퍼(54)는, 전 지연 필드 부가 정보 검출부(53)로부터 공급된 부가 정보를 취득하여, 저장한다. 전 지연 필드 부가 정보용 버퍼(54)는, 움직임 보상부(55)로부터의 요구에 따라, 데이터를 움직임 보상부(55)에 공급한다.

움직임 보상부(55)는, 기본적으로는 움직임 보상부(36)와 마찬가지로 움직임 보상 처리를 실행하는 것이지만, 차분 데이터와 블록 단위 움직임 벡터를 조건 판정부(56)에 공급할 뿐만 아니라, 현 필드 부가용 버퍼(52), 및, 전 지연 필드 부가용 버퍼(54)로부터 취득한 부가 정보에 기초하여, 복수의 후보로 되는 블록 단위 움직임 벡터마다 필드간 보간에 사용되는 화소간의 부가 정보를 비교하고, 비교 결과를 조건 판정부(56)에 출력한다.

조건 판정부(56)는, 조건 판정 처리를 실행하고, 상기한 차분 데이터 외에 추가로 비교 결과를 고려하여, 차분 데이터가 작고, 또한, 비교 결과가 일치하는 움직임 벡터를 식별하는 선택 신호와, 비교한 차분 데이터에 대응하는 움직임 벡터를 화소 벡터 선택부(38)에 공급한다.

다음으로, 도 17의 플로우차트를 참조하여, 도 21의 화소 단위 움직임 벡터 검출부(21)를 구비한 화상 처리 장치(20)에 의한 화상 처리에 대하여 설명한다. 또한, 도 17의 단계 S71, S75, S76의 처리는, 도 4의 플로우차트를 참조하여 설명 한 단계 S1, S4, S5의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.

단계 S72에서, 현 필드 부가 정보 검출부(51), 및, 전 지연 필드 부가 정보 검출부(53)는, 각각 부가 정보 검출 처리를 실행하고, 현 필드 데이터와 전 지연 필드 데이터의 각각에 대하여, 화소 단위 엣지가 존재하는 방향을 나타내는 코드를 계산하여, 현 필드 부가 정보 버퍼(52) 및 전 지연 필드 부가 정보 버퍼(54)에 저장시킨다.

여기서, 도 18의 플로우차트를 참조하여, 현 필드 부가 정보 검출부(51)에 의한 부가 정보 검출 처리를 설명한다.

단계 S81에서, 현 필드 부가 정보 검출부(51)는, 현 필드 상의 각 화소에 대하여, 수평 엣지의 유무를 나타내는 코드인 수평 엣지 코드 EH를 계산한다. 즉, 예를 들면, 도 19에서 도시되는 바와 같이, 주목 화소가 화소 D(x, y)인 경우, 현 필드 부가 정보 검출부(51)는, 도면 중의 주목 화소의 좌측에 인접하는 화소 D(x-1, y)와의 화소값의 차분 (D(x, y)-D(x-1, y))를 수평 엣지 코드 EH로서 연산한다.

단계 S82에서, 현 필드 부가 정보 검출부(51)는, 현 필드의 각 화소에 대하여, 수직 엣지의 유무를 나타내는 코드인 수직 엣지 코드 EV를 계산한다. 즉, 예를 들면, 도 19에서 도시되는 바와 같이, 주목 화소가 화소 D(x, y)인 경우, 현 필드 부가 정보 검출부(51)는, 도면 중의 주목 화소의 상측에 인접하는 화소 D(x, y-1)와의 화소값의 차분 (D(x, y)-D(x, y-1))을 수직 엣지 코드 EV로서 계산한다. 또한, 도 19에서는, 수평 방향의 좌표는, 우측을 향해 상승하고, 수직 방향의 좌표는, 아래를 향해 상승하는 것으로 한다.

단계 S83에서, 현 필드 부가 정보 검출부(51)는, 현 필드의 각 화소에 대하여, 소정의 테이블에 기초하여, 수평 엣지 코드 EH와 수직 엣지 코드 EV의 각각의 값이, 플러스의 값인지, 0인지, 또는, 마이너스의 값인지에 기초하여, 엣지의 방향을 나타내는 코드를 결정하고, 결정한 엣지의 방향의 코드를 화소 위치의 정보에 대응시켜 현 필드 부가 정보 버퍼(52)에 저장시킨다.

즉, 엣지의 방향의 코드를 결정하는 테이블은, 예를 들면, 도 20에서 도시되는 바와 같은 테이블이고, 수평 엣지 코드 EH와 수직 엣지 코드 EV가 플러스의 값, 마이너스의 값, 또는 0 중의 어느 것인가에 의해 결정된다. 따라서, 도 20에서 도시되는 테이블을 사용하는 경우, 현 필드 부가 정보 검출부(51)는, 수평 엣지 코드 EH와 수직 엣지 코드 EV가, 모두 0인 경우, 엣지는 존재하지 않는 것으로 간주하고, 코드를 0으로 한다. 또한, 수평 엣지 코드 EH와 수직 엣지 코드 EV가, 모두 마이너스의 값인 경우, 엣지는 주목 화소로부터 보아 좌측 상방향의 위치에 존재하는 것으로 하고, 코드는 1로 된다. 또한, 수평 엣지 코드 EH가 0이고, 수직 엣지 코드 EV가 마이너스의 값인 경우, 엣지는 주목 화소로부터 보아 상방향의 위치에 존재하는 것으로 하고, 코드는 2로 된다. 또한, 수평 엣지 코드 EH가 플러스의 값이고, 수직 엣지 코드 EV가 마이너스의 값인 경우, 엣지는 주목 화소로부터 보아 우측 상방향의 위치에 존재하는 것으로 하고, 코드는 3으로 된다. 또한, 수평 엣지 코드 EH가 플러스의 값이고, 수직 엣지 코드 EV가, 0인 경우, 엣지는 주목 화소로부터 보아 우측 방향의 위치에 존재하는 것으로 하고, 코드는 4로 된다. 또한, 수평 엣지 코드 EH와 수직 엣지 코드 EV가, 모두 플러스의 값인 경우, 엣지는 주목 화소로부터 보아 우측 하방향의 위치에 존재하는 것으로 하고, 코드는 5로 된다. 또한, 수평 엣지 코드 EH가 0이고, 수직 엣지 코드 EV가 플러스의 값인 경우, 엣지는 주목 화소로부터 보아 하방향의 위치에 존재하는 것으로 하고, 코드는 6으로 된다. 또한, 수평 엣지 코드 EH가 마이너스의 값이고, 수직 엣지 코드 EV가, 플러스의 값인 경우, 엣지는 주목 화소로부터 보아 좌측 하방향의 위치에 존재하는 것으로 하고, 코드는 7로 된다. 또한, 수평 엣지 코드 EH가 마이너스의 값이고, 수직 엣지 코드 EV가 0인 경우, 엣지는 주목 화소로부터 보아 좌측 방향의 위치에 존재하는 것으로 하고, 코드는 8로 된다.

이상의 처리에 의해, 현 필드 데이터 상의 각 화소에 대하여 인접하는 화소 간의 대소 관계로부터 엣지가 존재할 가능성을 나타내는 정보를, 엣지의 방향을 나타내는 코드로서 각 화소에 부가할 수 있다. 또한, 이상에서는, 현 필드 부가 정보 검출부(51)에 의한 부가 정보 검출 처리에 대하여 설명했지만, 전 지연 필드 부가 정보 검출부(53)에서도, 전 지연 필드로부터 마찬가지의 처리에 의해 부가 정보가 검출되는 것으로 되기 때문에, 그 처리의 설명은 생략한다.

여기서, 도 17의 플로우차트의 설명으로 되돌아간다.

단계 S72에서, 부가 정보 검출 처리가 실행된 후, 단계 S73에서, 움직임 보상부(55)는, 움직임 보상 처리를 실행하고, 차분 데이터 및 비교 결과를 조건 판정부(56)에 출력한다.

여기서, 도 21의 플로우차트를 참조하여, 움직임 보상부(55)에 의한 움직임 보상 처리에 대하여 설명한다. 또한, 도 21의 플로우차트에서, 단계 S101 내지 S103, S105, S107, S109, S111, 및, 단계 S113 내지 S116의 처리는, 도 5를 참조하여 설명한 단계 S11 내지 S21의 처리와 마찬가지이기 때문에, 그 설명은 생략한다.

단계 S104에서, 움직임 보상부(55)는, 화소 a_pr과 화소 a_de의 엣지 방향의 코드를 비교하여, 비교 결과 code_a를 조건 판정부(56)에 출력한다. 보다 상세하게는, 움직임 보상부(55)는, 화소 a_pr과 화소 a_de의 엣지 방향의 코드를 비교하여, 일치한 경우, 비교 결과 code_a=1을, 일치하지 않는 경우, 비교 결과 code_a=0을 조건 판정부(56)에 출력한다.

단계 S106에서, 움직임 보상부(55)는, 화소 b_pr과 화소 b_de의 엣지 방향의 코드를 비교하여, 비교 결과 code_b를 조건 판정부(56)에 출력한다. 보다 상세하게는, 움직임 보상부(55)는, 화소 b_pr과 화소 b_de의 엣지 방향의 코드를 비교하여, 일치한 경우, 비교 결과 code_b=1을, 일치하지 않는 경우, 비교 결과 code_b=0을 조건 판정부(56)에 출력한다.

단계 S108에서, 움직임 보상부(55)는, 화소 c_pr과 화소 c_de의 엣지 방향의 코드를 비교하여, 비교 결과 code_c를 조건 판정부(56)에 출력한다. 보다 상세하게는, 움직임 보상부(55)는, 화소 c_pr과 화소 c_de의 엣지 방향의 코드를 비교하여, 일치한 경우, 비교 결과 code_c=1을, 일치하지 않는 경우, 비교 결과 code_c=0을 조건 판정부(56)에 출력한다.

단계 S110에서, 움직임 보상부(55)는, 화소 d_pr과 화소 d_de의 엣지 방향의 코드를 비교하여, 비교 결과 code_d를 조건 판정부(56)에 출력한다. 보다 상세하게는, 움직임 보상부(55)는, 화소 d_pr과 화소 d_de의 엣지 방향의 코드를 비교하 여, 일치한 경우, 비교 결과 code_d=1을, 일치하지 않는 경우, 비교 결과 code_d=0을 조건 판정부(56)에 출력한다.

단계 S112에서, 움직임 보상부(55)는, 화소 e_pr과 화소 e_de의 엣지 방향의 코드를 비교하여, 비교 결과 code_e를 조건 판정부(56)에 출력한다. 보다 상세하게는, 움직임 보상부(55)는, 화소 e_pr과 화소 e_de의 엣지 방향의 코드를 비교하여, 일치한 경우, 비교 결과 code_e=1을, 일치하지 않는 경우, 비교 결과 code_e=0을 조건 판정부(56)에 출력한다.

이상의 처리에 의해, 움직임 보상부(55)는, 후보로 되는 주목 블록과 근방 블록의 블록 단위 움직임 벡터마다의 차분 데이터와 함께, 대응하는 블록 단위 움직임 벡터마다의 프레임간 보간 처리에 사용하는 화소간의 엣지의 방향을 나타내는 코드의 비교 결과를 조건 판정부(56)에 출력한다.

여기서, 도 17의 플로우차트의 설명으로 되돌아간다.

단계 S74에서, 조건 판정부(56)는, 조건 판정 처리를 실행한다.

여기서, 도 22의 플로우차트를 참조하여, 조건 판정부(56)에 의한 조건 판정 처리에 대하여 설명한다.

단계 S131에서, 조건 판정부(56)는, 차분 a_diff, b_diff, d_diff, e_diff를 비교하여, 작은 순으로 재배열한다. 이후의 설명에서는, 차분은, 작은 순으로 차분 a_diff, b_diff, d_diff, e_diff로 배열하여 얻어지고 있는 것으로 하여 설명하지만, 순서는, 이에 한정되는 것이 아님은 물론이다.

단계 S132에서, 조건 판정부(56)는, 단계 S131의 처리에서 배열된 차분 a_diff, b_diff, d_diff, e_diff 중, 가장 작은 차분을 선택한다. 따라서, 지금 의 경우, 차분 a_diff가 선택되는 것으로 된다.

단계 S133에서, 조건 판정부(56)는, 선택된 차분이, 주목 블록에 대하여 수직 방향으로 인접하는 블록의 차분인 a_diff 또는 e_diff인지의 여부를 판정한다. 지금의 경우, a_diff가 선택되어 있기 때문에, a_diff라고 판정되고, 단계 S134로 진행한다.

단계 S134에서, 조건 판정부(56)는, 수직 방향의 차분 v_diff로서 a_diff 또는 e_diff 중 어느 하나가 선택되어 있는 값을 설정하고(v_diff=a_diff 또는 e_diff로 설정하여), 수직 방향의 근방 블록의 대표로 되는 움직임 벡터 v를, 차분에 대응하여 움직임 벡터 a 또는 e로 설정하고(v=a 또는 e로 설정하고), 비교 결과 code_v를 차분에 대응하여, 비교 결과 code_a, 또는, code_e 중 어느 하나로 설정한다(code_v= code_a 또는 code_e로 설정한다). 지금의 경우, a_diff가 선택되어 있기 때문에, 수직 방향의 차분 v_diff는, a_diff로서 선택되고, 수직 방향의 근방 블록의 대표로 되는 움직임 벡터 v가 움직임 벡터 a로 되고, 비교 결과 code_v는, code_a로 된다.

한편, 예를 들면, 단계 S133에서, 차분 a_diff 또는 차분 e_diff가 선택되어 있지 않다고 판정된 경우, 조건 판정부(56)는, 단계 S135에서, 수평 방향의 차분 h_diff로서 b_diff 또는 d_diff 중 어느 하나가 선택되어 있는 값을 설정하고(h_diff=b_diff 또는 d_diff로 설정하고), 수평 방향의 근방 블록의 대표로 되는 움직임 벡터 h를, 차분에 대응하여 움직임 벡터 b 또는 d로 설정하고(h=b 또는 d로 설정하고), 비교 결과 code_h를 차분에 대응하여, 비교 결과 code_b, 또는, code_d 중 어느 하나로 설정한다(code_h=code_b 또는 code_d로 설정한다).

단계 S136에서, 조건 판정부(56)는, c_diff가 소정의 임계값 th보다도 작고, 또한, 비교 결과 code_c가 1인지의 여부를 판정하여, 예를 들면, 소정의 임계값 th보다도 작고, 또한, 비교 결과 code_c가 1인 경우, 단계 S137에서, 선택 신호 PSEL로서 c_diff를 채용한 것을 나타내는 C와 함께, 블록 단위 움직임 벡터 c를 화소 벡터 선택부(38)에 공급한다. 즉, 주목 블록의 차분 c_diff가 소정의 임계값 th보다도 작고, 또한, 비교 결과 code_c가 1(블록 단위 움직임 벡터 c가 주목 화소를 통과할 때의, 블록 단위 움직임 벡터 c의 현 필드 상의 교차점의 위치의 화소와 전 지연 필드 상의 교차점의 위치에서의 화소의 엣지가 존재하는 방향이 일치함)인 경우, 주목 블록의 블록 단위 움직임 벡터 c가 선택되는 것으로 된다.

단계 S137에서, 차분 c_diff가 임계값 th보다도 작지 않은지, 또는, code_c가 1이 아니라고 판정된 경우, 단계 S138에서, 조건 판정부(56)는, 선택된 차분이, 차분 h_diff인지의 여부를 판정하고, 지금의 경우, 차분 v_diff=a_diff이기 때문에, 차분 h_diff가 아니라고 판정되고, 그 처리는, 단계 S142로 진행한다.

단계 S142에서, 조건 판정부(56)는, v_diff가 소정의 임계값 th보다도 작은지의 여부를 판정하고, 예를 들면, 소정의 임계값 th보다도 작은 경우, 단계 S143에서, code_v가 1인지의 여부를 판정하고, 예를 들면, 1이라고 판정되었을 때, 단계 S144에서, 선택 신호 PSEL로서 v_diff를 채용한 것을 나타내는 V와 함께, 블록 단위 움직임 벡터 v를 화소 벡터 선택부(38)에 공급한다. 또한, 단계 S142에서, v_diff가 소정의 임계값 th보다도 작지 않은 경우, 그 처리는, 단계 S137로 진행한다.

또한, 단계 S138에서, h_diff라고 판정된 경우, 단계 S139에서, 조건 판정부(56)는, h_diff가 소정의 임계값 th보다도 작은지의 여부를 판정하여, 예를 들면, 소정의 임계값 th보다도 작은 경우, 단계 S140에서, code_h가 1인지의 여부를 판정하여, 예를 들면, 1이라고 판정했을 때, 단계 S141에서, 선택 신호 PSEL로서 h_diff를 채용한 것을 나타내는 H와 함께, 블록 단위 움직임 벡터 h를 화소 벡터 선택부(38)에 공급한다. 또한, 단계 S139에서, h_diff가 소정의 임계값 th보다도 작지 않은 경우, 그 처리는, 단계 S137로 진행한다.

단계 S140, 또는, 단계 S143에서, 각각 code_h가 1이 아니거나, 또는, code_v가 1이 아니라고 판정된 경우, 단계 S145에서, 조건 판정부(56)는, 블록 단위 움직임 벡터의 후보가 2 이상 남겨져 있는지의 여부를 판정한다. 지금의 경우, 차분 a_diff, b_diff, d_diff, e_diff에 대응하는 블록 단위 움직임 벡터 a, b, d, e의 4개가 남겨져 있기 때문에, 2 이상 남겨 있다고 판정되고, 그 처리는, 단계 S146으로 진행한다.

단계 S146에서, 조건 판정부(56)는, 지금 현재 차분 diff가 가장 작은 움직임 벡터를 후보로부터 삭제하고, 그 처리는, 단계 S132로 되돌아간다. 즉, 지금 의 경우, 차분 a_diff가 가장 작기 때문에, 대응하는 움직임 벡터 a가 후보로부터 삭제되는 것으로 된다.

또한, 단계 S132에서는, 후보로부터 움직임 벡터 a가 삭제되어 있기 때문에, 차분 a_diff의 다음으로 작은 차분 b_diff를 선택하고, 그 이후의 처리를 반복한다. 그리고, 단계 S132 내지 S136, S138 내지 S140, S142, S143, S145, S146의 순으로 처리가 이루어지면, 후보로 되어 있는 움직임 벡터 b가 삭제되고, 단계 S132에서, 차분 d_diff가 선택되고, 그 이후의 처리가 반복된다.

그리고, 또한, 단계 S132 내지 S136, S138 내지 S140, S142, S143, S145의 순으로 처리가 이루어지면, 단계 S145에서, 후보가 2 이상이 아니게 되기 때문에, 그 처리는, 단계 S137로 진행한다.

즉, 주목 블록의 차분 c_diff가 소정의 임계값 th보다도 작고, 비교 결과 code_c가 1인 경우, 조건 판정부(56)는, 선택 신호 PSEL=C를 출력한다. 또한, 주목 블록의 차분 c_diff가 소정의 임계값 th보다도 작고, 비교 결과 code_c가 1이 아닌 경우, 조건 판정부(56)는, 차분 a_diff, b_diff, d_diff, e_diff 중, 비교 결과가 1인 것에서 가장 작은 것에 대응하는 선택 신호 PSEL=H 또는 V를 출력한다. 또한, 주목 블록의 차분 c_diff가 소정의 임계값 th보다도 작고, 비교 결과 code_c가 1이 아닌 경우이고, 그 밖의 후보의 비교 결과가 모두 1이 아닐 때, 조건 판정부(56)는, 선택 신호 PSEL=C를 출력한다.

결과적으로, 화소 단위 움직임 벡터의 후보로 되는 블록 단위 움직임 벡터가 주목 화소를 통과할 때의 현 필드 상의 교차점의 위치의 화소와 전 지연 필드 상의 교차점의 위치의 화소의 화소간 차분 뿐만 아니라, 각각의 화소의 엣지가 존재하는 방향이 일치하는지의 여부의 요소도 고려하여, 주목 블록과 그 근방 블록의 블록 단위 움직임 벡터의 후보로부터 최적의 블록 단위 움직임 벡터가 화소 단위 움직임 벡터로서 선택되는 것으로 되기 때문에, 미세한 도형이나 반복의 형상 등을 포함하는 화상이어도, 정확하게 화소 단위의 움직임 벡터를 결정하는 것이 가능하게 된다.

그런데, 이상에서는, 화소 단위 움직임 벡터의 후보로 되는 블록 단위 움직임 벡터가 주목 화소를 통과할 때의 현 필드 상의 교차점의 위치의 화소와 전 지연 필드 상의 교차점의 위치의 화소의 화소간 차분 뿐만 아니라, 각각의 화소의 엣지가 존재하는 방향이 일치하는지의 여부를 고려하여, 주목 블록 및 복수의 근방 블록의 블록 단위 움직임 벡터로부터 최적의 화소 단위 움직임 벡터를 선택하는 예에 대하여 설명했지만, 이상의 방법에서는, 화소 단위 움직임 벡터로서 선택할 수 있는 움직임 벡터에 한계가 있어, 해상도 변환이나 인터레이스 화상으로부터 프로그레시브 화상에의 변환이라는 화상 처리에서는 부자연스러운 화소가 생성될 가능성을 작게 할 수 있지만, 예를 들면, 필드 주파수 변환이나 코마 수 변환이라는 원래 존재하지 않는 필드를 생성하는 화상 생성의 경우, 움직임 벡터의 정밀도가 생성되는 화상에 직접 반영되는 것으로 되어, 일부에서 움직임 벡터를 정확하게 검출할 수 없는 사태가 발생하면 정확하게 필드를 생성할 수 없게 될 우려가 있다.

이에 따라, 주목 화소의 주변의 후보로 되는 움직임 벡터를 주목 화소로부터의 거리에 따라, 평활화하고, 주변 화상과의 상관을 살려, 화소 단위의 움직임 벡터를 구하도록 해도 된다.

도 23은, 주목 화소의 주변의 후보로 되는 움직임 벡터를 주목 화소로부터의 거리에 따라, 평활화하고, 주변 화상과의 상관을 살린 화소 생성을 함으로써, 화소 단위의 움직임 벡터를 구하도록 한 화소 단위 움직임 벡터 검출부(21)의 구성을 도시하고 있다. 또한, 도 23의 화소 단위 움직임 벡터 검출부(21)에서, 도 3 또는 도 16의 화소 단위 움직임 벡터 검출부(21)와 대응하는 구성에 대해서는, 동일한 부호를 붙이고, 그 설명은 적절하게 생략하는 것으로 한다.

도 23의 화소 단위 움직임 벡터 검출부(21)는, 블록 단위 움직임 벡터용 메모리(31)와 움직임 벡터 평활화부(71)로 구성되어 있다.

움직임 벡터 평활화부(71)는, 주목 블록과 근방 블록의 각 블록 단위 움직임 벡터를, 각 블록의 중심 위치(기준으로 되는 위치이면 되고, 반드시 중심일 필요는 없지만, 여기서는, 중심 위치를 기준 위치로 함)를 기점으로 하는 벡터로 간주하고, 생성 필드 상의 각 화소에 대하여, 근방 블록의 블록 단위 움직임 벡터의 기점 위치로부터의 거리에 따라 계수를 곱한 선형합을 취함으로써, 주목 화소 근방의 움직임 블록을 평활화하고, 화소 단위 움직임 벡터를 생성하여, 화상 합성부(22)에 출력한다.

다음으로, 도 24의 플로우차트를 참조하여, 도 23의 화소 단위 움직임 벡터 검출부(21)를 구비한 화상 처리 장치(20)에 의한 화상 처리에 대하여 설명한다. 또한, 도 24의 플로우차트에서의 단계 S151, S153의 처리는, 도 4의 플로우차트에서의 단계 S1, S5의 처리와 마찬가지이기 때문에, 그 설명은 생략한다. 또한, 설명의 편의상, 주목 블록과 근방 블록은, 도 25에서 도시되는 바와 같이 설정하는 것으로 한다. 즉, 주목 블록을 블록 E로 하고, 근방 블록을 블록 A 내지 D, F 내지 I로 하고, 각각의 블록 단위 움직임 벡터를 a 내지 i로 나타내는 것으로 한다.

단계 S152에서, 움직임 벡터 평활화부(71)는, 블록 단위 움직임 벡터용 메모리(31)에 저장되어 있는 움직임 벡터를 읽어내어, 움직임 벡터 평활화 처리를 실행한다.

여기서, 도 26의 플로우차트를 참조하여, 움직임 벡터 평활화부(71)에 의한 움직임 벡터 평활화 처리에 대하여 설명한다.

단계 S161에서, 움직임 벡터 평활화부(71)는, 각 화소의 화소 단위 움직임 벡터가 구해지지 않은 블록을 주목 블록으로 하여, 그 근방 블록인 블록 A 내지 I에 대응하는 블록 단위 움직임 벡터 a 내지 i를 블록 단위 움직임 벡터용 메모리(31)로부터 읽어낸다. 예를 들면, 주목 블록과 근방 블록이, 도 27에서 도시되는 바와 같이, 3 블록×3 블록인 것으로 하고, 각 블록의 사이즈가 step_x×step_y인 것으로 한다. 또한, 도면 중의 주목 블록인 블록 E의 좌측 위의 위치가 원점으로 되고, x방향은, 수평 우측 방향으로 하고, y방향은 수직 하방향인 것으로 한다. 또한, 도 27에서, 각 블록의 중앙부의 검정 동그라미는, 각 블록의 중심 위치를 나타내고 있다. 또한, 이 처리에서는, 주목 블록 내의 각 화소의 화소 단위 움직임 벡터를 구하는 처리를 설명한다.

단계 S162에서, 움직임 벡터 평활화부(71)는, 도시하지 않은 카운터 y를 초기화한다. 단계 S163에서, 움직임 벡터 평활화부(71)는, 도시하지 않은 카운터 x를 초기화한다.

단계 S164에서, 움직임 벡터 평활화부(71)는, 카운터 y가 y<step_y/2인지의 여부를 판정하고, 예를 들면, 카운터 y가 y<step_y/2라고 판정한 경우, 즉, 주목 화소(x, y)가, 주목 블록의 수직 방향의 중앙보다도 상측에 존재하는 경우, 단계 S165에서, 이하의 수학식 1을 연산한다.

여기서, b, e는, 블록 단위 움직임 벡터 b, e이다. 즉, 수학식 1에서는, 주목 화소와 블록 B, E의 중심 위치까지의 각각의 수직 방향의 거리에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 b, e의 선형합 vv0을 구하고 있다.

단계 S166에서, 움직임 벡터 평활화부(71)는, 카운터 x가 x<step_x/2인지의 여부를 판정하여, 예를 들면, 카운터 x가 x<step_x/2라고 판정한 경우, 즉, 주목 화소가, 주목 블록의 수평 방향의 중앙보다도 좌측에 존재하는 경우, 단계 S167에서, 이하의 수학식 2를 연산한다.

여기서, a, d는, 블록 단위 움직임 벡터 a, d이다. 즉, 수학식 2에서는, 주목 화소와 블록 A, D의 중심 위치까지의 각각의 수직 방향의 거리에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 a, d의 선형합 vv1을 구하고 있다.

단계 S168에서, 움직임 벡터 평활화부(71)는, 이하의 수학식 3을 연산한다.

즉, 수학식 3에서는, 주목 화소와 블록 E, D의 중심 위치까지의 각각의 수평 방향의 거리(=블록 A, B의 중심 위치까지의 각각의 수평 방향의 거리)에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 vv0, vv1의 선형합을 주목 화소의 화소 단위 움직임 벡터 pv(x, y)로서 구하고 있고, 여기서는, 수평 방향의 거리(=블록 A, B의 중심 위치까지의 각각의 수평 방향의 거리)에 따른 가중치 계수를 이용하여, 블록 단위 움직임 벡터 b, e의 선형합 vv0과 블록 단위 움직임 벡터 a, d의 선형합 vv1의 선형합을 구하고 있다.

따라서, 단계 S165, S167, S168에 의해, 주목 화소가 주목 블록의 좌측 위의 영역에 존재하는 경우, 각 화소의 화소 단위의 움직임 벡터는, 블록 A, B, D, E의 각각의 중심 위치로부터의 거리에 따른 가중치 계수에 의한 벡터 a, b, d, e의 선형합으로서 구해진다.

단계 S164에서, 카운터 y가, y<step_y/2가 아니라고 판정된 경우, 즉, 주목 화소가, 주목 블록의 수직 방향의 중앙보다도 하측에 존재하는 경우, 단계 S171에서, 이하의 수학식 4를 연산한다.

여기서, e, h는, 블록 단위 움직임 벡터 e, h이다. 즉, 수학식 4에서는, 주목 화소와 블록 E, H의 중심 위치까지의 각각의 수직 방향의 거리에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 e, h의 선형합 vv0을 구하고 있다.

단계 S172에서, 움직임 벡터 평활화부(71)는, 카운터 x가 x<step_x/2인지의 여부를 판정하고, 예를 들면, 카운터 x가 x<step_x/2라고 판정한 경우, 즉, 주목 화소가, 주목 블록의 수평 방향의 중앙보다도 좌측에 존재하는 경우, 단계 S173에서, 이하의 수학식 5를 연산하고, 그 처리는, 단계 S168로 진행한다.

여기서, d, g는, 블록 단위 움직임 벡터 d, g이다. 즉, 수학식 5에서는, 주목 화소와 블록 D, G의 중심 위치까지의 각각의 수직 방향의 거리에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 d, g의 선형합 vv1을 구하고 있다.

따라서, 단계 S171, S173, S168에 의해, 주목 화소가 주목 블록의 좌측 아래의 영역에 존재하는 경우, 각 화소의 화소 단위의 움직임 벡터는, 블록 D, E, G, H의 각각의 중심 위치로부터의 거리에 따른 가중치 계수에 의한 벡터 d, e, g, h의 선형합으로서 구해진다.

단계 S166에서, 예를 들면, 카운터 x가 x<step_x/2가 아니라고 판정된 경우, 즉, 주목 화소가, 주목 블록의 수평 방향의 중앙보다도 우측에 존재하는 경우, 단계 S176에서, 이하의 수학식 6을 연산한다.

여기서, c, f는, 블록 단위 움직임 벡터 c, f이다. 즉, 수학식 6에서는, 주 목 화소와 블록 C, F의 중심 위치까지의 각각의 수직 방향의 거리에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 c, f의 선형합 vv1을 구하고 있다.

단계 S175에서, 움직임 벡터 평활화부(71)는, 이하의 수학식 7을 연산한다.

즉, 수학식 7에서는, 주목 화소와 블록 B, C의 중심 위치까지의 각각의 수평 방향의 거리(=블록 E, F의 중심 위치까지의 각각의 수평 방향의 거리)에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 vv0, vv1의 선형합을 주목 화소의 화소 단위 움직임 벡터 pv(x, y)로서 구하고 있다.

따라서, 단계 S165, S176, S175에 의해, 주목 화소가 주목 블록의 우측 위의 영역에 존재하는 경우, 각 화소의 화소 단위의 움직임 벡터는, 블록 B, C, E, F의 각각의 중심 위치로부터의 거리에 따른 가중치 계수에 의한 벡터 b, c, e, f의 선형합으로서 구해진다.

단계 S172에서, 예를 들면, 카운터 x가 x<step_x/2가 아니라고 판정한 경우, 즉, 주목 화소가, 주목 블록의 수평 방향의 중앙보다도 우측에 존재하는 경우, 단계 S174에서, 이하의 수학식 8을 연산하고, 그 처리는, 단계 S175로 진행한다.

여기서, f, i는, 블록 단위 움직임 벡터 f, i이다. 즉, 수학식 8에서는, 주 목 화소와 블록 F, I의 중심 위치까지의 각각의 수직 방향의 거리에 따른 가중치 계수를 이용하여 블록 단위 움직임 벡터 f, i의 선형합 vv1을 구하고 있다.

따라서, 단계 S171, S174, S175에 의해, 주목 화소가 주목 블록의 우측 아래의 영역에 존재하는 경우, 각 화소의 화소 단위의 움직임 벡터는, 블록 E, F, H, I의 각각의 중심 위치로부터의 거리에 따른 가중치 계수에 의한 벡터 e, f, h, i의 선형합으로서 구해진다.

단계 S169에서, 카운터 x가, 필드 화상의 수평 방향의 크기인 xsize인지의 여부가 판정되고, 카운터 x가 xsize가 아니라고 판정된 경우, 그 처리는, 단계 S170으로 진행하고, 움직임 벡터 평활화부(71)는, 카운터 x를 1 인크리먼트하고, 그 처리는, 단계 S164로 되돌아간다.

단계 S169에서, 카운터 x가 xsize라고 판정된 경우, 즉, 주목 블록의 수평 방향의 1 라인의 각 화소의 화소 단위 움직임 벡터가 구해졌다고 판정된 경우, 단계 S177에서, 움직임 벡터 평활화부(71)는, 카운터 y가 필드 화상의 수직 방향의 크기인 ysize인지의 여부를 판정하여, 예를 들면, 카운터 y가 ysize가 아니라고 판정한 경우, 단계 S178에서, 카운터 y를 1 인크리먼트하고, 그 처리는 단계 S163으로 되돌아간다.

단계 S177에서, 카운터 y가, ysize라고 판정된 경우, 즉, 그 블록의 모든 화소에 대하여 화소 단위 움직임 벡터가 구해졌다고 판정된 경우, 단계 S179에서, 움직임 벡터 평활화부(71)는, 모든 블록에 대하여, 화소 단위 움직임 벡터가 구해졌는지의 여부를 판정하고, 모든 블록에 대하여 처리가 끝나지 않았다고 판정된 경 우, 그 처리는, 단계 S161로 되돌아가고, 그 이후의 처리가 반복되며, 단계 S177에서, 모든 블록에 대하여 처리가 종료했다고 판정된 경우, 그 처리는, 종료한다.

이상의 처리에 의하면, 각 화소에 대하여 주목 블록의 우측 위의 영역의 화소의 화소 단위 움직임 벡터는, 주목 블록, 및, 주목 블록의 위, 우측 위, 및 우측에 인접하는 블록의 각각의 중심 위치와의 거리에 따른 계수를 곱한 선형합을 구함으로써, 평활화하여 구해지고, 각 화소에 대하여 주목 블록의 우측 아래의 영역의 화소의 화소 단위 움직임 벡터는, 주목 블록, 및, 주목 블록의 아래, 우측 아래, 및 우측에 인접하는 블록의 각각의 중심 위치와의 거리에 따른 계수를 곱한 선형합을 구함으로써, 평활화하여 구해지고, 각 화소에 대하여 주목 블록의 좌측 위의 영역의 화소의 화소 단위 움직임 벡터는, 주목 블록, 및, 주목 블록의 위, 좌측 위, 및 좌측에 인접하는 블록의 각각의 중심 위치와의 거리에 따른 계수를 곱한 선형합을 구함으로써, 평활화하여 구해지고, 각 화소의 대하여 주목 블록의 좌측 아래의 영역의 화소의 화소 단위 움직임 벡터는, 주목 블록, 및, 주목 블록의 아래, 좌측 아래, 및 좌측에 인접하는 블록의 각각의 중심 위치와의 거리에 따른 계수를 곱한 선형합을 구함으로써, 평활화하여 구해진다.

결과적으로, 공간적으로 분포하는 블록 단위 움직임 벡터를 그 거리에 따라 합성함으로써, 화소 단위의 움직임 벡터가 생성되기 때문에, 계산 비용을 억제하면서, 움직임 벡터의 검출 에러가 적은 움직임 벡터를 화소 단위로 생성하는 것이 가능하게 된다.

이상에서는, 1의 화소 단위의 움직임 벡터를 생성함에 있어서, 4 블록분의 블록 단위 움직임 벡터를 합성하도록 했지만, 그 이상의 수의 블록의 블록 단위 움직임 벡터를 거리에 따라 계수를 곱한 선형합을 구하도록 해도 된다.

또한, 이상에서는, 동일 필드 내의 블록 단위 움직임 벡터를 합성했지만, 주목 블록이 존재하는 필드 이외의 필드의 블록 단위 움직임 벡터를 사용하도록 해도되고, 예를 들면, 주목 블록이 존재하는 필드와 2 필드분 전과 후의 필드 상의 동위치의 블록의 블록 단위 움직임 벡터를 필드의 간격에 따른 계수를 곱한 선형합으로서 구하도록 해도 된다.

또한, 도 3이나 도 16의 화소 단위 움직임 벡터 검출부(21)의 구성과, 도 23의 화소 단위 움직임 벡터(21)의 구성을 합성하도록 하여, 예를 들면, 도 22의 플로우차트의 단계 S145의 처리에 의해 후보로 되는 블록 단위 움직임 벡터가 없어지고, 화소 단위의 움직임 벡터를 집광할 수 없는 상태가 되었을 때, 그 화소의 움직임 벡터에 대해서는, 평활화에 의해 구하도록 해도 된다.

도 28은, 도 16의 화소 단위 움직임 벡터 검출부(21)의 구성과 도 23의 화소 단위 움직임 벡터 검출부(21)의 구성을 조합한 화소 단위 움직임 벡터 검출부(21)를 도시하고 있다.

기본적인 구성은, 도 16의 화소 단위 움직임 벡터 검출부(21)와 마찬가지이지만, 움직임 벡터 평활화부(82)가 부가되어 있고, 그것에 대응하여 조건 판정부(56), 화소 벡터 선택부(57)를 대신하여, 조건 판정부(81), 화소 벡터 선택부(83)가 설치되어 있다. 조건 선택부(81)는, 조건 선택부(56)와 기본적으로 동일하지만, 또한 후보로 되는 블록 단위 움직임 벡터가 없어지고, 화소 단위의 움직임 벡 터를 집광할 수 없는 상태가 되었을 때, 그 화소의 움직임 벡터에 대해서는, 움직임 벡터 평활화부(82)를 동작시킨다. 움직임 벡터 평활화부(82)는, 기본적으로 움직임 벡터 평활화부(71)와 동일한 것이다. 화소 벡터 선택부(83)는, 화소 벡터 선택부(57)와 기본적으로 마찬가지의 것이지만, 화소 단위 움직임 벡터의 선택 시에, 움직임 벡터 평활화부(82)에 의해 평활화된 움직임 벡터를 화소 단위의 움직임 벡터로서 선택할 수 있다.

또한, 도 28의 화소 단위 움직임 벡터 검출부(21)를 구비한 화상 처리 장치(20)의 화상 처리에서는, 기본적으로 도 4의 플로우차트의 처리와 동일하지만, 조건 판정 처리, 및, 선택 처리 이외에는, 마찬가지이기 때문에, 여기서는, 도 29 내지 도 31의 플로우차트를 참조하여, 도 28의 화소 단위 움직임 벡터 검출부(21)의 조건 판정 처리 및 선택 처리에 대해서만 설명한다. 또한, 도 29의 플로우차트에서의 단계 S191 내지 206은, 도 22의 플로우차트에서의 단계 S131 내지 S146과 동일하기 때문에, 그 설명은 생략한다.

단계 S207에서, 움직임 벡터 평활화부(82)는, 조건 판정부(81)로부터의 명령에 기초하여, 움직임 벡터 평활화 처리를 실행한다.

여기서, 도 30에서 도시되는 플로우차트에 대해서는, 움직임 벡터 평활화부(82)에 의한 움직임 벡터 평활화 처리이지만, 도 30의 플로우차트에서의 단계 S221 내지 S231의 처리에 대해서는, 도 26의 플로우차트에서의 단계 S161, S164 내지 S175의 처리와 동일하기 때문에 그 설명은 생략한다.

다음으로, 도 31의 플로우차트를 참조하여, 도 28의 화소 단위 움직임 벡터 검출부(21)에 의한 선택 처리에 대하여 설명한다. 또한, 도 31의 플로우차트에서의 단계 S251 내지 S254, S256의 처리에 대해서는, 도 12의 플로우차트를 참조하여 설명한 단계 S61 내지 S65의 처리와 동일하기 때문에, 그 설명은 생략한다.

단계 S255에서, 화소 벡터 선택부(83)는, 선택 신호 PSEL이 V인지의 여부를 판정하여, 예를 들면, 선택 신호 PSEL이 V라고 판정한 경우, 그 처리는, 단계 S256으로 진행한다. 또한, 단계 S255에서, 선택 신호 PSEL이 V가 아니라고 판정된 경우, 단계 S257에서, 화소 벡터 선택부(83)는, 움직임 벡터 평활화부(82)로부터 공급되는 움직임 벡터를 화소 단위의 움직임 벡터로 한다.

이상의 처리에 의해, 후보로 되는 블록 단위 움직임 벡터가 없어지고, 화소 단위의 움직임 벡터를 집광할 수 없는 상태가 되었을 때, 그 화소의 움직임 벡터에 대해서는, 평활화에 의해 구해지도록 되기 때문에, 보다 안정된 화소 단위 움직임 벡터를 구하는 것이 가능하게 된다.

상기한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행시키는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에 기록 매체로부터 인스톨된다.

도 32는, 도 2의 화상 처리 장치(20)의 전기적인 내부 구성을 소프트웨어에 의해 실현하는 경우의 퍼스널 컴퓨터의 일 실시 형태의 구성을 도시하고 있다. 퍼스널 컴퓨터의 CPU(501)는, 퍼스널 컴퓨터의 전체의 동작을 제어한다. 또한, CPU(501)는, 버스(504) 및 입출력 인터페이스(505)를 통하여 사용자로부터 키보드나 마우스 등으로 이루어지는 입력부(506)로부터 명령이 입력되면, 그것에 대응하여 ROM(Read Only Memory)(502)에 저장되어 있는 프로그램을 실행한다. 혹은 또한, CPU(501)는, 드라이브(510)에 접속된 자기 디스크(521), 광 디스크(522), 광 자기 디스크(523), 또는 반도체 메모리(524)로부터 읽어지고, 기억부(508)에 인스톨된 프로그램을, RAM(Random Access Memory)(503)에 로드하여 실행한다. 이것에 의해, 상기한 도 2의 화상 처리 장치(20)의 기능이, 소프트웨어에 의해 실현되고 있다. 또한, CPU(501)는, 통신부(509)를 제어하여, 외부와 통신하여, 데이터의 수수를 실행한다.

프로그램이 기록되어 있는 기록 매체는, 도 32에 도시하는 바와 같이, 컴퓨터와는 달리, 사용자에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(121)(플렉시블 디스크를 포함함), 광 디스크(522)(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광 자기 디스크(523)(MD(Mini-Disc)를 포함함), 혹은 반도체 메모리(524) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 조립된 상태로 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(502)이나, 기억부(508)에 포함되는 하드디스크 등으로 구성된다.

또한, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 기재된 순서에 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별적으로 실행되는 처리를 포함하는 것이다.

본 발명에 의하면, 계산량의 저비용화를 도모하면서, 블록 단위로 보간함으로써 발생하게 되는 화상의 왜곡이나, 보간에 의해 생성된 화소의 주변 화소와의 미스 매치를 억제하여 화질을 향상시키도록 하는 것이 가능하게 된다.

Claims (11)

1. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 수단과,

   상기 블록 단위 움직임 벡터 검출 수단에 의해 검출된 블록 단위 움직임 벡터에 기초하여, 상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분을 계산하는 차분 계산 수단과,

   상기 차분 계산 수단에 의해 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 상기 주목 화소의 화소 단위 움직임 벡터로서 선택하는 화소 단위 움직임 벡터 선택 수단과,

   상기 화소 단위 움직임 벡터 선택 수단에 의해 선택된 화소 단위 움직임 벡터에 의해, 상기 제1 필드 상의 화소와 상기 제2 필드 상의 화소를 이용하여, 상기 주목 화소를 생성하는 화소 생성 수단

   을 포함하는 것을 특징으로 하는 화상 처리 장치.
2. 제1항에서,

   상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소에서의 각각의 보조 정보를 생성하는 보조 정보 생성 수단을 더 구비하고,

   상기 화소 단위 움직임 벡터 선택 수단은, 상기 주목 화소의 생성에 사용되 는 제1 필드 상의 화소에서의 보조 정보와, 제2 필드 상의 화소에서의 보조 정보가 일치하고, 또한, 상기 차분 계산 수단에 의해 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 상기 주목 화소의 화소 단위 움직임 벡터로서 선택하는 것을 특징으로 하는 화상 처리 장치.
3. 제2항에 있어서,

   상기 보조 정보는, 화소마다의 엣지의 방향을 나타내는 코드인 것을 특징으로 하는 화상 처리 장치.
4. 제2항에 있어서,

   상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소에서의 보조 정보와, 제2 필드 상의 화소에서의 보조 정보가 일치하지 않는 경우, 상기 복수의 블록의 기준 위치와, 상기 주목 화소와의 거리에 따라, 상기 복수의 블록마다의 상기 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 수단을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
5. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 단계와,

   상기 블록 단위 움직임 벡터 검출 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분을 계산하는 차분 계산 단계와,

   상기 차분 계산 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터를, 상기 주목 화소의 화소 단위 움직임 벡터로서 선택하는 화소 단위 움직임 벡터 선택 단계와,

   상기 화소 단위 움직임 벡터 선택 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 상기 제1 필드 상의 화소와 상기 제2 필드 상의 화소를 이용하여, 상기 주목 화소를 생성하는 화소 생성 단계

   를 포함하는 것을 특징으로 하는 화상 처리 방법.
6. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와,

   상기 블록 단위 움직임 벡터 검출 제어 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분의 계산을 제어하는 차분 계산 제어 단계와,

   상기 차분 계산 제어 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터의, 상기 주목 화소의 화소 단위 움직임 벡터로서의 선택을 제어하는 화소 단위 움직임 벡터 선택 제어 단계와,

   상기 화소 단위 움직임 벡터 선택 제어 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 상기 제1 필드 상의 화소와 상기 제2 필드 상의 화소를 이용한, 상기 주목 화소의 생성을 제어하는 화소 생성 제어 단계

   를 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
7. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와,

   상기 블록 단위 움직임 벡터 검출 제어 단계의 처리에서 검출된 블록 단위 움직임 벡터에 기초하여, 상기 주목 화소의 생성에 사용되는 제1 필드 상의 화소와, 제2 필드 상의 화소와의 화소값의 차분의 계산을 제어하는 차분 계산 제어 단계와,

   상기 차분 계산 제어 단계의 처리에서 계산된 화소값의 차분이 최소로 되는 블록 단위 움직임 벡터의, 상기 주목 화소의 화소 단위 움직임 벡터로서의 선택을 제어하는 화소 단위 움직임 벡터 선택 제어 단계와,

   상기 화소 단위 움직임 벡터 선택 제어 단계의 처리에서 선택된 화소 단위 움직임 벡터에 의해, 상기 제1 필드 상의 화소와 상기 제2 필드 상의 화소를 이용한, 상기 주목 화소의 생성을 제어하는 화소 생성 제어 단계

   를 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.
8. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 수단과,

   상기 복수의 블록의 기준 위치와, 상기 주목 화소와의 거리에 따라, 상기 복수의 블록마다의 상기 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 수단과,

   상기 화소 단위 움직임 벡터 계산 수단에 의해 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 상기 주목 화소를 생성하는 화소 생성 수단

   을 구비하는 것을 특징으로 하는 화상 처리 장치.
9. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터를 검출하는 블록 단위 움직임 벡터 검출 단계와,

   상기 복수의 블록의 기준 위치와, 상기 주목 화소와의 거리에 따라, 상기 복수의 블록마다의 상기 블록 단위 움직임 벡터를 평활화하여, 주목 화소의 화소 단위 움직임 벡터를 계산하는 화소 단위 움직임 벡터 계산 단계와,

   상기 화소 단위 움직임 벡터 계산 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용하여, 상기 주목 화소를 생성하는 화소 생성 단계

   를 포함하는 것을 특징으로 하는 화상 처리 방법.
10. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와,

    상기 복수의 블록의 기준 위치와, 상기 주목 화소와의 거리에 따라, 상기 복수의 블록마다의 상기 블록 단위 움직임 벡터를 평활화한, 주목 화소의 화소 단위 움직임 벡터의 계산을 제어하는 화소 단위 움직임 벡터 계산 제어 단계와,

    상기 화소 단위 움직임 벡터 계산 제어 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용한, 상기 주목 화소의 생성을 제어하는 화소 생성 제어 단계

    를 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
11. 블록 매칭에 의해 주목 화소를 포함하는 블록과, 그 근방의 복수의 블록에 대하여, 각각의 블록 단위 움직임 벡터의 검출을 제어하는 블록 단위 움직임 벡터 검출 제어 단계와,

    상기 복수의 블록의 기준 위치와, 상기 주목 화소와의 거리에 따라, 상기 복 수의 블록마다의 상기 블록 단위 움직임 벡터를 평활화한, 주목 화소의 화소 단위 움직임 벡터의 계산을 제어하는 화소 단위 움직임 벡터 계산 제어 단계와,

    상기 화소 단위 움직임 벡터 계산 제어 단계의 처리에서 계산된 화소 단위 움직임 벡터에 의해, 제1 필드 상의 화소와 제2 필드 상의 화소를 이용한, 상기 주목 화소의 생성을 제어하는 화소 생성 제어 단계

    를 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.

Images