KR20060059845A

KR20060059845A - 화상 처리 장치 및 방법, 기록 매체, 및 프로그램

Info

Publication number: KR20060059845A
Application number: KR1020050115023A
Authority: KR
Inventors: 자비에 미첼
Original assignee: 소니 가부시끼 가이샤
Priority date: 2004-11-29
Filing date: 2005-11-29
Publication date: 2006-06-02
Also published as: JP4600011B2; JP2006155179A; US7483040B2; EP1662771A2; CN100493169C; EP1662771A3; CN1805531A; US20060115184A1; KR101174503B1

Abstract

엣지의 방향을 정확하게 인식하여, 정확하게 화상을 보간한다. 방향 판별부(123)가 주목 화소의 엣지의 방향을 인식하여, 주목 화소의 위치와 함께 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다. 방향 보간부(131)가, 주목 화소를 방향 보간한다. 신뢰도 레이팅부(124)는, 방향 보간부(131)에 의해 보간된 보간 화소가 적정한지의 여부를 판정하고, 신뢰도를 레이팅화하여 방향성 분포 생성부(125)에 출력한다. 방향성 분포 생성부(125)는, 방향의 정보와 신뢰도의 정보에 기초하여 방향성 분포를 생성한다. 기울기 선택부(126)는, 방향성 분포 생성부(125)로부터의 방향성 분포에 기초하여 엣지의 방향을 인식한다. 본 발명은, 화상 해상도 변환 장치에 적용할 수 있다.

버퍼, 신뢰도 레이팅부, 선형 보간부, 통계 경사 보간부, 경사 웨이팅부

Description

화상 처리 장치 및 방법, 기록 매체, 및 프로그램{IMAGE PROCESSING APPARATUS AND METHOD THEREOF, RECORDING MEDIUM AND PROGRAM}

도 1은 본 발명을 적용한 화상 처리 장치의 구성예를 도시하는 블록도.

도 2는 도 1의 수직 업 샘플링 처리부의 구성예를 도시하는 블록도.

도 3은 도 1의 1차원 수직 이미지 리프레시 처리부의 구성예를 도시하는 블록도.

도 4는 도 1의 화상 처리 장치의 줌 처리를 설명하는 플로우차트.

도 5는 도 4의 스텝 S6에서의 줌 업 처리를 설명하는 플로우차트.

도 6은 도 5의 스텝 S21의 처리에서의 수직 업 샘플링 처리를 설명하는 플로우차트.

도 7은 도 6의 스텝 S51의 처리에서의 원화상의 주목 영역 추출 처리를 설명하는 도면.

도 8은 도 6의 스텝 S52, S53의 처리에서의 국소 에너지의 계산을 설명하는 도면.

도 9는 도 6의 스텝 S55에서의 방향 판별 처리를 설명하는 플로우차트.

도 10은 도 6의 스텝 S55에서의 방향 판별 처리를 설명하는 플로우차트.

도 11은 도 9의 스텝 S81에서의 max_dir 방향 선택 처리를 설명하는 플로우 차트.

도 12는 도 9의 스텝 S82에서의 left_dir 방향 선택 처리를 설명하는 도면.

도 13은 도 9의 스텝 S83에서의 right_dir 방향 선택 처리를 설명하는 도면.

도 14는 도 6의 스텝 S55에서의 엣지 방향 판별 처리를 설명하는 도면.

도 15는 도 6의 스텝 S62에서의 기울기 선택 처리의 주목 영역을 설명하는 도면.

도 16은 도 6의 스텝 S62에서의 기울기 선택 처리를 설명하는 플로우차트.

도 17은 도 6의 스텝 S62에서의 기울기 선택 처리 시의 방향과 신뢰도의 예를 설명하는 도면.

도 18은 도 6의 스텝 S62에서의 기울기 선택 처리 시의 정의되는 엣지의 방향을 설명하는 도면.

도 19는 도 6의 스텝 S62에서의 기울기 선택 처리 시의 분포와 방향성 분포를 설명하는 도면.

도 20은 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 21은 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 22는 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 23은 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 24는 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 25는 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 26은 엣지 방향의 계산 방법의 그 밖의 방법을 설명하는 도면.

도 27은 도 5의 스텝 S22에서의 1차원 수직 이미지 리프레시 처리를 설명하는 플로우차트.

도 28은 도 5의 스텝 S22에서의 1차원 수직 이미지 리프레시 처리의 주목 영역을 설명하는 도면이다.

도 29는 도 5의 스텝 S22에서의 1차원 수직 이미지 리프레시 처리를 설명하는 도면.

도 30은 도 5의 스텝 S22에서의 1차원 수직 이미지 리프레시 처리를 설명하는 도면.

도 31은 도 5의 스텝 S22에서의 1차원 수직 이미지 리프레시 처리를 설명하는 도면.

도 32는 종래 방법에 의해 줌된 화상예를 도시하는 도면.

도 33은 본 발명을 적용한 방법에 의해 줌된 화상예를 도시하는 도면.

도 34는 기록 매체를 설명하는 도면.

<도면의 주요 부분에 대한 부호의 설명>

11 : 수직 업 샘플링 처리부

12 : 수평 업 샘플링 처리부

17 : 1차원 수직 이미지 리프레시 처리부

17a, 18a : 버퍼

18 : 1차원 수평 이미지 리프레시 처리부

123 : 방향 판별부

124 : 신뢰도 레이팅부

126 : 기울기 선택부

127 : 선형 보간부

128 : 통계 경사 보간부

129 : 경사 웨이팅부

130 : 합성부

132 : 엣지 강도 정보 생성부

133 : 텍스쳐 강도 정보 생성부

특허 문헌 1 : 일본 특개 2002-215121호 공보

본 발명은, 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히 정지 화상 및 동화상 등 여러가지 화상에 적용할 수 있어, 인간의 시각 특성에 맞춘 방법에 의해 선명하고 자연스러운 엣지와 텍스쳐를 재묘화하고, 고화질인 고해상도 화상을 얻을 수 있도록 한 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.

디지털 화상에 기초하는 기기(디지털 카메라나 카메라 일체형 비디오 테이프 레코더 등)의 사용 기회가 많아짐에 따라서, 소위 디지털 줌 처리의 필요성이 높아 져 왔다. 그에 수반하여, 디지털 화상의 해상도를 높이기 위한 여러가지 방법이 개발되어 왔다. 종래의 주된 방법으로서, 이하의 3개의 방법이 존재한다. 제1 방법은, 최근 이웃 화소를 그대로 이용한 보간 방법(0차 보간(zero-order-hold interpolation))이며, 특히 하드웨어의 관점으로부터 보아 간단한 보간법이다. 제2 방법은, 최근 이웃 2 화소의 평균값을 계산하여, 수직 방향과 수평 방향에 새로운 화소를 삽입하는 쌍선형 보간 방법(bilinear interpolation)이며, 인접 화소의 보간에는 꽤 좋은 방법이라고 생각되고 있다. 제3 방법은, 노이즈에도 강하여, 모자이크 패턴이 출현하지 않다, B-스플라인(B-spline) 보간법이다.

또한, 엣지를 강조할 수 있도록 하여, 인터레이스 화면을 프로그레시브 화면으로 변환하는 것이 있다(예를 들면, 특허 문헌 1 참조).

그러나, 제1 방법은, 특히 고배율로 효과가 적고, 확대된 화상에는, 유명한 「모자이크 패턴」이라고 하는 노이즈가 생기게 된다. 그리고, 엣지가 대폭 파괴되어, 매우 눈에 거슬린 재기가 출현한다. 제2 방법은, 화상 전체가 흐려지게 된다는 결점이 있어, 화상의 해상도는 개선되지 않는다. 덧붙여, 고배율 시에 모자이크 현상이 많이 생기게 된다. 제3 방법은, 화상은 꽤 희미해지게 되어, 그럼에도 불구하고 상대적으로 보면 하드웨어는 복잡하게 되게 된다.

또한, 전술한 과제를 해결하기 위해, 일본 특원 2001-201729로써 주목 화소에 인접하는 상하의 라인 상, 또는 좌우의 열에 존재하는 화소 중, 주목 화소를 통하는 대각선 상 중 어느 하나의 방향에 걸치는 화소로부터 주목 화소를 보간함으로 써, 화상 중의 엣지를 강조할 수 있도록 화상을 확대하는 것이 제안되어 있다. 그러나, 화소를 보간하는 데 있어서, 보간 화소와 그 상하, 또는, 좌우에 인접하는 화소와의 상관을 구하고, 그 상관성이 인정을 받을 수 없을 때는, 상하, 또는 좌우의 화소 사이에 선형 보완하도록 하고 있었기 때문에, 반드시 올바른 보간 화소를 생성할 수 없어, 예를 들면 주목 화소에 대하여 경사 방향에 인접한 화소간으로 보간할 화소를 사용할 수 없는 경우가 있어, 결과적으로 선명한 확대 화상을 생성할 수 없다고 하는 과제가 있었다.

따라서, 경사 방향으로 엣지가 존재하는 경우에 대응하기 위해, 주목 화소 근방의 복수의 화소에서의, 엣지의 방향을 검출하면 함께, 이들의 신뢰도를 구하고, 그 신뢰도의 횟수에 기초하여, 엣지의 방향을 결정하여, 보간하는 방법이 제안되어 있다. 그러나, 횟수에 기초하여, 엣지의 방향을 결정하고 있기 때문에, 신뢰도의 횟수가 공간적으로 변동되고 있었던 경우에나, 그 횟수에 기초하여, 엣지의 방향이 결정되기 때문에, 반드시 올바른 엣지의 방향을 검출할 수 없고, 정확하게 화소를 보간하여 생성할 수 없다고 하는 과제가 있었다.

본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 적은 계산 처리량으로, 효과적이고 또한 간단하게, 컴퓨터 그래픽스로부터 사진까지의 범위에 미치는 여러가지 타입의 정지 화상 및 동화상의 해상도의 변경에 임하여 발생하는 화상의 에러를 억제할 수 있도록 하는 것이다.

본 발명의 화상 처리 장치는, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 경사 웨이팅 설정 수단과, 경사 웨이팅 설정 수단에 의해 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소를 합성하여 합성 보간 화소를 주목 화소 위치의 화소로서 생성하는 합성 보간 수단과, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하는 엣지 강도 정보 생성 수단과, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하다 정보를 생성하는 텍스쳐 강도 정보 생성 수단과, 텍스쳐 강도 정보 생성 수단에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 화소를 합성하여 텍스쳐 믹스 화소를 생성하는 텍스쳐 적응 혼합 수단과, 엣지 강도 정보 생성 수단에 의해 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소를 합성하여 엣지 믹스 화소를 주목 화소 위치의 화소로서 생성하는 엣지 적응 혼합 수단을 포함하는 것을 특징으로 한다.

상기 주목 화소 위치를 포함하는, 주목 화소 위치에 대응하는 복수의 화소의 기울기 방향성 분포과, 신뢰도에 기초하여, 가장 신뢰도가 높은 주목 화소 위치의 기울기를 선택하는 기울기 선택 수단과, 기울기 선택 수단에 의해 선택된 기울기에 기초하여, 주목 화소 위치의 통계 경사 보간 화소를 보간하여 생성하는 통계 경사 보간 수단을 더 설치하도록 할 수 있어, 경사 웨이팅 설정 수단에는, 통계 경사 보간 수단에 의해 보간되어 생성된, 통계적으로 주목 화소 위치의 가장 신뢰도가 높 은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정시키도록 할 수 있다.

상기 그 밖의 보간은, 주목 화소 위치의 상하, 또는, 좌우의 화소를 이용한 보간에 의해 주목 화소 위치의 보간 화소를 보간하여 생성하도록 할 수 있다.

상기 엣지의 유무에 기초하여, 주목 화소 위치를 포함하는, 주목 화소 위치에 대응하는 복수의 화소 위치의 엣지의 방향을 판별하는 방향 판별 수단과, 방향 판별 수단에 의해 판별된 주목 화소에 대응하는 복수의 화소 위치의 엣지의 방향에 기초하여, 주목 화소 위치에 대응하는 복수의 화소 위치의 엣지 방향 보간 화소를 보간하여 생성하는 엣지 방향 보간 수단을 더 설치하도록 할 수 있다.

상기 엣지 방향 보간 수단에 의해 보간되어 생성된 엣지 방향 보간 화소의 신뢰도를 레이팅하는 신뢰도 레이팅 수단을 더 설치하도록 할 수 있어, 엣지 강도 정보 생성 수단에는, 신뢰도 레이팅 수단에 의해 레이팅된 신뢰도에 기초하여, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성시키도록 할 수 있어, 텍스쳐 강도 정보 생성 수단에는, 신뢰도 레이팅 수단에 의해 레이팅된 신뢰도에 기초하여, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성시키도록 할 수 있다.

상기 신뢰도 레이팅 수단에는, 엣지 방향 보간 수단에 의해 보간된 엣지 방향 보간 화소의 국소적 구조의 정합성을 판정하여, 정합성의 판정 결과에 기초하여, 엣지 방향 보간 수단에 의해 보간된 엣지 방향 보간 화소의 신뢰도를 레이팅하도록 할 수 있다.

상기 합성 보간 수단에는, 경사 웨이팅 설정 수단에 의해 설정된 웨이트에 대응하는 계수를 이용하여, 그 밖의 보간에 의해 생성된 보간 화소와 기울기 통계 경사보 수단에 의해 생성된 통계 경사 보간 화소의 선형합을 드는 것에 의해 합성하여 합성 보간 화소를 주목 화소로서 생성시키도록 할 수 있다.

본 발명의 화상 처리 방법은, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 경사 웨이팅 설정 스텝과, 경사 웨이팅 설정 스텝의 처리에 의해 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소를 합성하여 합성 보간 화소를 주목 화소 위치의 화소로서 생성하는 합성 보간 스텝과, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하는 엣지 강도 정보 생성 스텝과, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성하는 텍스쳐 강도 정보 생성 스텝과, 텍스쳐 강도 정보 생성 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 화소를 합성하여 텍스쳐 믹스 화소를 생성하는 텍스쳐 적응 혼합 스텝과, 엣지 강도 정보 생성 스텝의 처리에 의해 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소를 합성하여 엣지 믹스 화소를 주목 화소 위치의 화소로서 생성하는 엣지 적응 혼합 스텝을 포함하는 것을 특징으로 한다.

본 발명의 기록 매체의 프로그램은, 통계적으로 주목 화소 위치의 가장 신뢰 도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트의 설정을 제어하는 경사 웨이팅 설정 제어 스텝과, 경사 웨이팅 설정 제어 스텝의 처리에 의해 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소를 합성하여 합성 보간 화소의 주목 화소 위치의 화소로서의 생성을 제어하는 합성 보간 제어 스텝과, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 엣지 강도 정보 생성 제어 스텝과, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 텍스쳐 강도 정보 생성 제어 스텝과, 텍스쳐 강도 정보 생성 제어 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 화소와의 합성에 의한 텍스쳐 믹스 화소의 생성을 제어하는 텍스쳐 적응 혼합 제어 스텝과, 엣지 강도 정보 생성 제어 스텝의 처리에 의해 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소와의 합성에 의한 엣지 믹스 화소의 주목 화소 위치의 화소로서의 생성을 제어하는 엣지 적응 혼합 제어 스텝을 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트의 설정을 제어하는 경사 웨이팅 설정 제어 스텝과, 경사 웨이팅 설정 제어 스텝의 처리에 의해 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소를 합성하여 합성 보간 화소의 주목 화소 위치의 화소로서의 생성을 제어하는 합성 보간 제어 스텝과, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 엣지 강도 정보 생성 제어 스텝과, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 텍스쳐 강도 정보 생성 제어 스텝과, 텍스쳐 강도 정보 생성 제어 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 화소와의 합성에 의한 텍스쳐 믹스 화소의 생성을 제어하는 텍스쳐 적응 혼합 제어 스텝과, 엣지 강도 정보 생성 제어 스텝의 처리에 의해 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소와의 합성에 의한 엣지 믹스 화소의 주목 화소 위치의 화소로서의 생성을 제어하는 엣지 적응 혼합 제어 스텝을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 화상 처리 장치 및 방법, 및 프로그램에서는, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트가 설정되어, 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소가 합성되어 합성 보간 화소가 주목 화소 위치의 화소로서 생성되고, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보가 생성되고, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보가 생성되고, 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되 는 텍스쳐 화소와가 합성되어 텍스쳐 믹스 화소가 생성되어, 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소와가 합성되어 엣지 믹스 화소가 주목 화소 위치의 화소로서 생성된다.

본 발명의 화상 처리 장치는, 독립된 장치에 있어도 되고, 화상 처리를 행하는 블록이어도 된다.

<실시 형태>

이하에 본 발명의 실시 형태를 설명하지만, 본 명세서에 기재된 발명과, 발명의 실시 형태와의 대응 관계를 예시하면, 다음과같이 된다. 이 기재는, 본 명세서에 기재되어 있는 발명을 서포트하는 실시 형태가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 실시 형태중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시 형태가 있었다고 해도, 그것은, 그 실시 형태가, 그 발명에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 반대로, 실시 형태가 발명에 대응하는 것으로서 여기에 기재되어 있었다고 해도, 그것은, 그 실시 형태가, 그 발명 이외의 발명에는 대응하지 않는 것인 것을 의미하는 것도 아니다.

또한, 이 기재는, 본 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 바꾸어 말하면, 이 기재는, 본 명세서에 기재되어 있는 발명으로, 이 출원으로서는 청구되어 있지 않은 발명의 존재, 즉 장래, 분할 출원되거나, 보정에 의해 출현, 추가되는 발명의 존재를 부정하는 것은 아니다.

즉, 본 발명의 화상 처리 장치는, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 경사 웨이팅 설정 수단(예를 들면, 도 2의 경사 웨이팅부(129))와, 경사 웨이팅 설정 수단에 의해 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소를 합성하여 합성 보간 화소를 주목 화소 위치의 화소로서 생성하는 합성 보간 수단(예를 들면, 도 2의 합성부(130))과, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하는 엣지 강도 정보 생성 수단(예를 들면, 도 2의 엣지 강도 정보 생성부(132))와, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성하는 텍스쳐 강도 정보 생성 수단(예를 들면, 도 2의 텍스쳐 강도 정보 생성부(133))과, 텍스쳐 강도 정보 생성 수단에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 화소를 합성하여 텍스쳐 믹스 화소를 생성하는 텍스쳐 적응 혼합 수단(예를 들면, 도 3의 텍스쳐 적응 혼합 처리부(196))와, 엣지 강도 정보 생성 수단에 의해 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소를 합성하여 엣지 믹스 화소를 주목 화소 위치의 화소로서 생성하는 엣지 적응 혼합 수단(예를 들면, 도 3의 엣지 적응 혼합 처리부(197))를 구비하는 것을 특징으로 한다.

본 발명의 화상 처리 방법은, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 경사 웨이팅 설정 스텝(예를 들면, 도 6의 플로우차트에서의 스텝 S67의 처리)와, 경사 웨이팅 설정 스텝의 처리에 의해 설정된 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 통계 경사 보간 화소를 합성하여 합성 보간 화소를 주목 화소 위치의 화소로서 생성하는 합성 보간 스텝(예를 들면, 도 6의 플로우차트에서의 스텝 S68의 처리)와, 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하는 엣지 강도 정보 생성 스텝(예를 들면, 도 6의 플로우차트에서의 스텝 S63의 처리)과, 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성하는 텍스쳐 강도 정보 생성 스텝(예를 들면, 도 6의 플로우차트에서의 스텝 S64의 처리)과, 텍스쳐 강도 정보 생성 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 주목 화소 위치의 합성 보간 화소와, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 화소를 합성하여 텍스쳐 믹스 화소를 생성하는 텍스쳐 적응 혼합 스텝(예를 들면, 도 27의 플로우차트에서의 스텝 S247의 처리)과, 엣지 강도 정보 생성 스텝의 처리에 의해 생성된 엣지의 강도 정보에 기초하여, 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 엣지 화소를 합성하여 엣지 믹스 화소를 주목 화소 위치의 화소로서 생성하는 엣지 적응 혼합 스텝(예를 들면, 도 27의 플로우차트에서의 스텝 S248의 처리)을 포함하는 것을 특징으로 한다.

또한, 기록 매체, 및 프로그램에 대해서는, 화상 처리 방법와 마찬가지이기 때문에, 그 설명은 생략한다.

도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 표하고 있다. 이 화상 처리 장치(2)에서는, 화상 입력부(1)가 처리대상으로 삼아지는 화상 데이터를, 기록 매체로부터 판독하거나, 네트워크를 통하여 전송되어 오는 것을 수신하여 입력하여, 화상 처리부(2)에 출력한다. 화상 처리부(2)는, 화상 입력부(1)로부터 입력된 화상의 해상도를 변경하고(확대 또는 축소하고), 화상 출력부(3)에 출력한다. 화상 출력부(3)는, 화상 처리부(2)로부터 공급된 화상 데이터를 표시부에 표시시키거나, 기록 매체에 기록하거나, 혹은, 전송 매체를 통하여, 다른 장치에 전송한다.

화상 처리부(2)의 수직 업 샘플링 처리부(11)와 수직 축소 처리부(13)는, 각각 원화상의 해상도를 종래의 방법(예를 들면, 선형 확대 또는 선형 축소등) 수직 방향에 Z배(Z는 실수)하는 처리를 행한다. 수직 축소 처리부(13)는, Z의 값이 0보다 크게 1보다 작은 경우(0<Z<1)의 처리를 행하여, 수직 업 샘플링 처리부(11)는, Z의 값이 2인 경우(Z=2)의 처리를 행한다.

수평 업 샘플링 처리부(12)와 수평 축소 처리부(14)는, 각각 원화상의 해상도를 수평 방향에 Z배하는 처리를 행한다. 수평 축소 처리부(14)는, Z의 값이 0보다 크게 1보다 작은 경우(0<Z<1)의 처리를 행하여, 수평 업 샘플링 처리부(12)는, Z의 값이 2인 경우의 처리(Z=2)를 행한다.

1차원 수직 이미지 리프레시 처리부(17)와 1차원 수평 이미지 리프레시 처리부(18)는, 버퍼(17a, 18a)를 적절하게 이용하면서, 각각 수직 방향 또는 수평 방향으로 화상 데이터를 일차원의 필터로 처리하여, 엣지와 텍스쳐를 시각적으로 위화감 없이 강조한다. 즉, 기록 매체에 화상 데이터가 기록되는 경우, 기록 매체가 물리적인 영향에 의해 고역 성분이 억제되어, 화상 중의 엣지 부분과 텍스쳐 부분이 흐려지게 된다고 하는 현상이 발생하는 경우가 있기 때문에, 1차원 수직 이미지 리프레시 처리부(17)와 1차원 수평 이미지 리프레시 처리부(18)는, 각 화소의 중심 화소 에너지를 구하여, 대응하는 필터 처리를 행함과 함께, 중심 화소 에너지의 값으로부터 그 화소가 엣지, 또는, 텍스쳐 중 어디에 속해 있는지를 판별하고, 엣지인 경우에 대해서는, 또한 필터 처리에 의해 발생하여 버리는 왜곡을 억제하기 때문에, 클립핑 처리를 실시한다.

또한, 1차원 수직 이미지 리프레시 처리부(17)와 1차원 수평 이미지 리프레시 처리부(18)로 사용하는 필터는, 각각 두가지의 필터가 준비되어 있고, 필요에 따라 유저가 임의로 설정할 수 있다. 이 두 가지의 필터 중 한 쪽의 필터는 주파수 영역의 특성을 면밀히 제어할 수 있다고 하는 특성이 있고, 다른 쪽의 필터는 전자의 필터와 비교하면 주파수 영역의 특성을 면밀히 제어할 수 없지만, 처리량을 경감할 수 있는고 하는 것이다. 이들의 필터는, 구성하는 필터의 요소가 다르다고 하는 것 외에는 마찬가지이고, 그 처리도 마찬가지이다. 이하의 설명에서는, 전자의 필터를 A 타입, 후자의 필터를 B 타입이라고 칭하는 것으로 한다.

다음으로, 도 2의 블록도를 참조하여, 수직 업 샘플링 처리부(11)의 구성에 대하여 설명한다.

대역 제한부(121)는, 예를 들면 LPF(Low Pass Filter) 등으로 구성되고, 입력된 화상의 각 화소의 화소값을 평활화하여, 대역을 제한하여 방향 판별부(123), 및 액티브 영역 검출부(122)에 출력한다.

액티브 영역 검출부(122)는, 대역 제한된 화상 신호로부터 국소 에너지를 산출하여 그 값에 의해 엣지의 유무를 검출하여, 검출 결과를 방향 판별부(123)에 출력한다.

방향 판별부(123)는, 액티브 영역 검출부(122)의 액티브 영역 검출 결과에 기초하여, 엣지의 방향을 판별하고, 판별한 엣지의 방향의 정보를 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력함과 함께, 화소 정보를 방향 보간부(131)에 출력한다. 신뢰도 레이팅부(124)는, 입력된 화상의 정보와, 방향 판별부(123)로부터 입력되는 엣지의 방향의 정보에 기초하여, 엣지의 방향의 정보의 신뢰도를 구하여, 방향성 분포 생성부(125)에 출력한다. 방향 보간부(131)는, 방향 판별부(123)로부터의 정보에 기초하여, 그 방향에 존재하는 화소값을 이용하여 화소를 보간한다.

방향성 분포 생성부(125)는, 방향 판별부(123)로부터 입력되는 엣지의 방향의 정보와 대응하는 신뢰도 레이팅부(124)로부터의 신뢰도의 정보에 기초하여, 방향성 분포를 생성하여 기울기 선택부(126), 엣지 강도 정보 생성부(132), 텍스쳐 강도 생성부(133), 및 경사 웨이팅부(129)에 공급한다. 기울기 선택부(126)는, 방향성 분포 생성부(125)로부터의 방향성 분포에 기초하여, 주목 화소에서의 신뢰도의 가장 높은 엣지의 기울기를 선택하여, 선택한 기울기의 정보를 통계 경사 보간부(128)에 출력한다. 또한, 경사 웨이팅부(129)는, 경사 방향의 엣지에 붙이는 웨이트를 계산하여 합성부(130)에 출력한다.

엣지 강도 정보 생성부(132)는, 방향성 분포에 기초하여, 엣지의 강도를 정 량적으로 평가하여, 그 결과를 1차원 수직 이미지 리프레시부(17)에 출력한다.

텍스쳐 강도 정보 생성부(133)는, 방향성 분포에 기초하여, 텍스쳐의 강도를 정량적으로 평가하여, 그 결과를 1차원 수직 이미지 리프레시부(17)에 출력한다.

선형 보간부(127)는, 입력된 화상 중, 보간하려고 하는 화소에 대하여 선형 보간 등의 종래 보간을 행함으로써 화소를 생성하여 합성부(130)에 출력한다. 통계 경사 보간부(128)는, 기울기 선택부(126)로부터 선택된 기울기를 포함하는 각 방향에 존재하는 화소 간의 평균 화소값의 기울기 분포에 의한 웨이팅 평균 화소값을 생성하고, 합성부(130)에 출력한다. 합성부(130)는, 경사 웨이팅부(129)로부터 입력되어 오는 경사 방향의 웨이트 정보에 기초하여, 선형 보간에 의해 생성된 보간 화소의 화소값과, 통계 경사 보간부(128)에 의해 통계 경사 보간에 의해 생성된 보간 화소의 화소값을, 각각에 웨이팅하여 가산함으로써(웨이트를 계수로서 선형합을 구함으로써) 합성하여 보간 화소로서 출력한다.

경사 웨이팅부(129)는, 방향성 분포 생성부(125)로부터 공급되는 방향성 분포사선의 웨이팅을 행하여, 사선의 웨이트의 정보를 합성부(130)에 공급한다.

또한, 수평 업 샘플링 처리부(12)에 대해서는, 기본적으로, 도 2를 참조하여 설명했다, 수직 업 샘플링 처리부(11)와 마찬가지의 방법으로, 수평 방향의 화소에 대하여 처리하는 것이다. 즉, 수평 업 샘플링 처리부(12)에서의 처리는, 도 2의 수직 업 샘플링 처리부(11)에서의 처리에 대응하여, 수평 방향의 화소에 대하여 마찬가지의 처리를 실행하는 것이며, 기본적인 처리 방법은, 수직 업 샘플링 처리부(11)와 마찬가지이기 때문에, 그 설명은 생략한다.

다음으로, 도 3의 블록도를 참조하여, 1차원 수직 이미지 리프레시 처리부(17)의 구성에 대하여 설명한다.

텍스쳐 필터 처리부(191)는, 입력된 화상의 주목 화소에 대응하는 복수의 화소를 수직 방향으로 필터 처리하여 텍스쳐 적응 혼합 처리부(196)에 출력한다.

텍스쳐 적응 혼합 처리부(196)는, 텍스쳐 필터 처리부(191)에 의해 수직 방향에 필터 처리된 화소의 값이라고 입력된 화상의 주목 화소의 값을, 텍스쳐 강도 정보 생성부(133)에 공급된 제어 신호를 이용하여, 웨이팅하여 합성하여, 엣지 적응 혼합 처리부(197)에 출력한다.

수직 최대값 최소값 검출부(192)는, 입력된 화상의 주목 화소에 대응하는 수직 방향의 복수의 화소 중, 그 최대값으로 되는 화소값과 최소값으로 되는 화소값을 추출하여, 판별 비교부(194)에 출력한다.

엣지 필터 처리부(193)는, 입력된 화상의 주목 화소에 대응하는 복수의 화소를 수직 방향에 필터 처리하여, 판별 비교부(194)에 출력한다.

판별 비교부(194)는, 엣지 필터 처리부(193)에 의해 수직 방향에 필터 처리된 치와, 수직 최대값 최소값 검출부(192)로부터 입력되어 오는 최대값 또는 최소값을 비교하여, 값을 클립핑하여, 엣지 적응 혼합 처리부(197)에 출력한다.

엣지 적응 혼합 처리부(197)는, 판별 비교부(194)에 의해 출력된 화소의 값과, 텍스쳐 적응 혼합 처리부(196)에 의해 출력된 화소의 값을, 엣지 강도 정보 생성부(132)에 공급된 제어 신호를 이용하여, 웨이팅하여 합성하여, 버퍼(17a)에 출력한다. 출력부(19)5는, 버퍼(17a)에 기억된 화상 신호를 적절하게 판독하여 출력 한다.

또한, 1차원 수평 이미지 리프레시 처리부(18)에 대해서는, 기본적으로는, 도 3을 참조하여 설명했다, 도 1의 1차원 수직 이미지 리프레시 처리부(17)와 마찬가지의 방법으로, 수평 방향의 화소에 대하여 처리하는 것이다. 즉, 1차원 수평 이미지 리프레시 처리부(18)에서의 처리는, 도 3의 차원 수직 이미지 리프레시 처리부(17)에서의 처리에 대응하여, 수평 방향의 화소에 대하여 처리를 실행하는 것이며, 기본적인 처리 방법은, 1차원 수직 이미지 리프레시 처리부(17)와 마찬가지이기 때문에, 그 설명은 생략한다.

다음으로, 도 4의 플로우차트를 참조하여, 화상 처리부(2)의 줌 처리에 대하여 설명한다. 최초로 스텝 S1에서, 화상 처리부(2)는, 변수 z에 배율 Z의 값을 설정한다.

다음에 스텝 S2에서, 화상 처리부(2)는, 변수 z의 값이 1 이상인지의 여부를 판정하고, 1 미만인 경우에는, 스텝 S3으로 진행하여, 변수 z의 값이 0보다 크고 1보다 작은 값인지의 여부가 판정된다.

스텝 S3에서 변수 z의 값이 0보다 크게 1보다 작다고 판정된 경우에는, 스텝 S4로 진행하여, 수직 축소 처리부(13) 및 수평 축소 처리부(14)에 의해 표준 축소 처리가 실행된다. 그 후, 스텝 S5에서, 출력 표시 처리가 실행된다. 즉, 생성된 화상이, 화상 출력부(3)에 의해, 표시부에 표시된다.

이것에 대하여 스텝 S3에서, 변수 z의 값이 0과 1 사이가 아니라고 판정된 경우, 즉 변수 z의 값이 1보다도 큰 경우, 스텝 S2에서, 변수 z가 1보다 크다고 판 정되고, 처리가 스텝 S6으로 진행하는 것으로 되어, 스텝 S6에서의 줌 처리가 소정 횟수 실행된 결과, 확대 처리가 이미 완료한 상태로 되고 있는 것으로 되기 때문에, 스텝 S5로 진행하여, 출력 표시 처리가 실행된다.

스텝 S2에서, 변수 z의 값이 1 이상이라고 판정된 경우, 스텝 S6으로 진행하여, 화상 처리부(2)는, 줌 업 처리를 실행한다. 이 줌 처리의 상세 내용은, 도 5의 플로우차트를 참조하여 후술한다.

스텝 S6에서, 줌 업 처리가 완료한 후, 스텝 S7에서, 화상 처리부(2)는, 변수 z의 값을 2로 제산한다. 그 후, 처리는 스텝 S2로 되돌아가, 그 이후의 처리가 반복하여 실행된다.

즉, 변수 z의 값이 1보다 큰 경우에는, 스텝 S6의 처리가 변수 z의 값이 1보다 작아질 때까지 소정 횟수 반복하여 행해진다. 그리고, 변수 z의 값이 1보다 작아진 경우에는, 변수 z의 값이 0과 1 사이의 값일 때, 스텝 S4에서 표준 축소 처리가 행해진다. 이 표준 축소 처리는, 예를 들면 선형 보간 처리나 바이 큐빅 필터를 이용하여 실현할 수 있다. 또한, 이후에서는, 종래가 표준 보간 처리로서 선형 보간 처리를 예에 설명을 진행시키지만, 표준 보간 처리는, 그 이외의 방법으로도 되는 것은 물론이다.

다음으로, 도 5의 플로우차트를 참조하여, 스텝 S6의 줌 업 처리에 대하여 설명한다.

스텝 S21에서, 수직 업 샘플링 처리가 실행된다.

여기서, 도 6의 플로우차트를 참조하여, 수직 업 샘플링 처리에 대하여 설명 한다.

스텝 S51에서, 수직 업 샘플링 처리부(11)는, 도 7에서 도시된 바와 같이 원화상 I_image 중 소정의 범위(N 화소)의 상행과 하행의 실재 화소와 버추얼 화소(실재하는 화소에 의해 가상적으로 생성되는 화소)를 추출하여, 폭 2N의 2개의 버퍼, up_line와 down_line에 저장한다. N의 값은 가변이라고 된다. 따라서, I_image 중의 상행의 중심 좌표는, (X+N/2, Y)로 되고, I_image 중의 하행의 중심 좌표는, (X+N/2, Y+1)로 된다. 즉, 상행과 하행에서의, 실재 화소와 버추얼 화소의 각각의 화소값은, 이하의 수학식 1 내지 수학식 4에 의해 표현되는 것으로 된다.

다음에 스텝 S52에서, 수직 업 샘플링 처리부(11)의 액티브 영역 검출부 (122)는, 대역 제한부(121)에 의해 대역 제한된 신호에 기초하여, 국소 에너지 E(N)를, 이하의 수학식 5에 의해 산출한다.

상기한 수학식 5의 계산은, I가 0으로부터 N-1까지의 범위에서, up_line의 개개의 실재 화소와 수직 아래쪽에 위치하는 down_line의 실재 화소와의 차분 절대값을 구하여, 각각에 대하여 웨이트(Coef(I))를 곱한 합을 구하고 있다.

도 8은, 국소 에너지 E(N)의 계산의 예를 표하고 있다. 도 8에 도시된 바와 같이, 상행 up_line의 실재 화소와, 하행 down_line의 실재 화소 중, 수직 방향에 상하로 위치하는 상부의 실재 화소와 하부의 실재 화소의 화소값과의 차분 절대값이 요청되어, 각 차분 절대값에 웨이트를 곱한 합이 국소 에너지 E(N)라고 된다. 도 8의 예에서는, 화소 Y0, 0의 값(0)부터, 화소 Y1, 0의 값(0)이 감산된다. 또한 화소 Y0, 1의 화소값(0)부터, 화소 Y1, 1의 화소값(0)이 감산된다. 이하마찬가지로, 화소 Y0, 2의 화소값(0)부터 화소 Y1, 2의 화소값(200)이 감산되어, 화소 Y0, 3의 화소값(0)부터 화소 Y1, 3의 화소값(200)이 감산되어, 화소 Y0, 4의 화소값(200)부터, 화소 Y1, 4의 화소값(200)이 감산된다. 그리고 각각의 차분 절대값에 웨이트가 곱해진 값의 합이 국소 에너지라고 된다.

스텝 S53에서, 액티브 영역 검출부(122)는, 국소 에너지 E(N)이 미리 설정되어 있는 소정의 임계값 T보다 큰지의 여부를 판정한다. 국소 에너지 E(N)가 임계값 T와 동일하거나, 그보다 작은 경우, 그 영역은, 엣지를 포함하지 않는 평탄한 저에너지의 영역이라고 보인다. 이 경우, 잠재적 엣지의 방향을 계산할 필요가 없다. 이 때문에, 처리는, 스텝 S54로 진행한다.

스텝 S54에서, 방향 판별부(123)가, 액티브 영역 검출부(122)의 판정 결과에 기초하여, 수직 방향 mid_dir(후술하는 도 18에서의 L4의 방향)을 나타내는 방향 정보를 방향 보간부(131), 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다. 또한, 신뢰도 레이팅부(124)는, 이 보간 화소에 대하여 신뢰도가 미확정인 것을 나타내는 2를 방향성 분포 생성부(125)에 출력한다.

한편, 스텝 S53에서, 국소 에너지 E(N)가 미리 설정되어 있는 소정의 임계값 T보다 크다고 판정된 경우, 스텝 S55에서, 수직 업 샘플링 처리부(11)의 방향 판별부(123)는, 대역 제한부(121)에 의해 대역 제한된 화상 신호와 원화상 신호에 기초하여, 엣지 방향을 시험적으로 계산하는 처리를 실행하여, 검출한 방향의 정보를 신뢰도 레이팅부(124), 방향성 분포 생성부(125)에 출력함과 함께, 검출한 화소의 정보를 방향 보간부(131)에 출력한다. 구체적으로는, 방향 판별부(123)는, 이하에 기재하는 수학식 6, 수학식 7로 나타내는 연산을 실행하여, 연산 결과를 출력한다.

또한, dir은, 각 방향에 할당되는 변수이며, 후술하는 도 18로 도시된 바와 같이, 주목 화소(도면 중 흑색 동그라미 표시)를 중심으로 대각 방향에 존재하는 화소간을 통하는 방향에 대하여 첨부되는 값이다. 따라서, 후술하는 도 18에서는, 방향 L0의 dir이 0이고, 방향 L1의 dir이 1이다. 또한, N은, 방향을 정의할 때 사용되는 실재 화소의 조수이며, 예를 들면 후술하는 도 18인 경우, 실재 화소(도면 중 흰 동그라미)는, 5조이다. 따라서, dir는, 실재 화소의 조수가 N인 경우, 실재 화소와 실재 화소에 의해 계산되는 버추얼 화소가 각 실재 화소 간에 존재하여, 마찬가지로 방향이 정의되는 것이라고 하면, 0≤dir≤(2 N-2)으로 된다. 결과적으로, 이하의 연산은, dir=0에서 dir을 1 인크리먼트하면서, dir이 2N-2 이하의 범위에서 반복하여 실행된다.

스텝 S55에서, 엣지 방향 판별 처리가 실행된다.

여기서, 도 9, 도 10을 참조하여, 방향 판별 처리에 대하여 설명한다.

스텝 S81에서, (max_dir) 방향 선택 처리가 실행된다. (max_dir) 방향은, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향이다. 즉, 주목 화소를 중심으로, 수직 방향에 대하여 우측과 좌측에, 상기한 수학식 6에서 계산된 에너지 E(dir)(dir=mid_dir-N/2…mid_dir+N/2)의 값 중, 가장 높은 2개의 화소가 대응하는 대각선의 방향이(max_dir) 방향이다.

여기서, 도 11을 참조하여, 국소적인 엣지의 방향에 직교한 방향인 (max_dir) 방향 선택 처리에 대하여 설명한다.

스텝 S121에서, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향인 (max_dir) 방향 선택 처리의 개시에 임하여, 방향 판별부(123)는, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)을 수직 방향 (mid_dir)에 초기화하여, 그 처리는, 스텝 S122로 진행한다. 즉, 방향 판별부(123)는, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)을 후술하는 도 18의 방향 L4에 대응하는 방향인 수직 방향(mid_dir)에 초기화한다.

스텝 S122에서, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향인 (max_dir) 방향 선택 처리의 개시에 임하여, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 수직 방향(mid_dir)에 대하여 좌측 상승 방향 중의 (mid_dir-N/2)에 위치하는 방향에 초기화하고, 그 처리는 스텝 S123으로 진행한다. 즉, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 후술하는 도 18의 방향 L0에 대응하는 방향에 초기화한다.

스텝 S123에서, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향인 (max_dir) 방향 선택 처리의 개시에 임하여, 방향 판별부(123)는, 상기한 수학식 6에서 계산된 에너지 E(dir)(dir=mid_dir-N/2…mid_dir+N/2)의 값 중, 가장 높은 에너지 E_max를 0(제로)에 초기화하여, 그 처리는, 스텝 S124로 진행한다.

스텝 S124에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)의 상기한 수학식 6에서 계산된 에너지 E(dir)가 가장 높은 에너지 E_max 이상인지의 여부를 판정한다. 스텝 S124에서, 에너지 E(dir)가 최대 에너지 E_max 이상이라고 판정된 경우, 그 처리는, 스텝 S125로 진행한다. 한편, 에너지 E(dir)가 최대 에너지 E_max 보다 작다고 판정된 경우, 그 처리는, 스텝 S128로 진행하여, 비교 대상 후보 방향(dir)부터 다음 우측으로 인접하는 비교 대상 후보 방향(dir+1)으로 변화하 게 한다(지금 현재의 비교 대상 후보 방향(dir)이, 좌측 상승 방향이면, 그 방향이 보다 수직 방향에 가까이 되는 방향에 인접하는 비교 대상 후보 방향으로 변화되게 하고, 지금 현재의 비교 대상 후보 방향(dir)이, 우측 상승의 방향이면, 그 방향이 보다 수평 방향에 가까이 되는 방향에 인접하는 비교 대상 후보 방향으로 변화한다). 즉, 예를 들면 비교 대상 후보 방향(dir)이, 후술하는 도 18의 방향 L0이던 경우, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 방향 L1로 변화하게 한다.

스텝 S125에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)의 상기한 수학식 6에서 계산된 에너지 E(dir)가 최고 에너지 E_max와 동일한지의 여부를 판정하여, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)을 판정한다. 스텝 S125에서, 에너지 E(dir)가 최고 에너지 E_max와 같다고 판정된 경우, 그 처리는, 스텝 S131로 진행한다. 한편, 스텝 S125에서, E(dir)가 E_max와 같지 않다고 판정된 경우, 그 2개의 화소가 대응하는 대각선의 방향이 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)이라고 보이고, 비교 대상 후보 방향(dir)이, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향으로서 선택되어, 그 처리는, 스텝 S126으로 진행한다.

스텝 S126에서, 방향 판별부(123)는, max_dir 방향으로서 현상의 변수 dir를 기억한다.

스텝 S127에서, 방향 판별부(123)는, 최고 에너지 E_max의 값을 비교 대상 후보 방향의 상기한 수학식 6에서 계산된 에너지 E(dir)가 값으로 치환한다.

스텝 S128에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)부터 다음 우 측으로 인접하는 비교 대상 후보 방향(dir+1)으로 변화하게 한다. 즉, 예를 들면 비교 대상 후보 방향(dir)이, 후술하는 도 18의 방향 L0이던 경우, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 방향 L1로 변화하게 한다.

또한, 이후의 설명에서, 예를 들면 소정의 방향(dir)을 나타내는 변수 dir이 1 인크리먼트된 방향(dir+1)은, 소정의 방향(dir)에 대하여 우측의 방향이라고 칭한다. 또한, 소정의 방향에 대하여, 변수 dir이 1 디크리먼트된 방향(dir-1)은, 소정의 방향(dir)에 대하여 좌측의 방향이라고 칭하는 것으로 한다. 즉, 예를 들면 후술하는 도 18에서의 방향 L0에 대하여, 변수 dir이 1 인크리먼트한 우측의 방향은 방향 L1이며, 반대로, 방향 L1에 대하여 변수 dir이 1 디크리먼트한 좌측의 방향은 방향 L0이(로) 된다. 즉, 도 18으로 도시된 바와 같이, 주목 화소를 중심으로 했을 때, 그 상하의 행의 화소간으로 연결되는 직선의 제1 상한 및 제2 상한에서의 위치 관계를 칭하는 경우와 마찬가지로 칭하는 것으로 한다.

스텝 S129에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)이 수직 방향(mid_dir)의 우측에 있는 방향 중 방향(mid_dir+N/2)인지의 여부를 판정한다. 즉, 비교 대상 후보 방향(dir)이 방향(mid_dir+N/2)보다 큰 경우, 모든 방향에 대하여 처리가 종료한 것이 되기 때문에, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향인 (max_dir) 방향 선택 처리가 종료된다. 한편, dir이 mid_dir+N/2 이하인 경우, 아직 미 처리의 방향이 존재하게 되기 때문에, 그 처리는, 스텝 S130으로 진행한다.

스텝 S130에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)이 수직 방향 (mid_dir)인지의 여부를 판정한다. 예를 들면, 비교 대상 후보 방향(dir)이 수직 방향(mid_dir)이라고 판정된 경우, 스텝 S128로 되돌아가, 방향 판별부(123)는, 변수 dir를 1 인크리먼트하고, 비교 대상 후보 방향(dir)부터 다음 우측으로 인접하는 비교 대상 후보 방향(dir+1)으로 변화하게 한다. 즉, 수직 방향은, 비교 대상 후보 방향으로서 취급하지 않는다.

한편, 스텝 S130에서, 비교 대상 후보 방향(dir)이 수직 방향(mid_dir)이라고 판정된 경우, 그 처리는, 스텝 S124로 되돌아간다.

스텝 S131에서, 방향 판별부(123)는, 수직 방향(mid_dir)이, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)보다도 크고, 또한 비교 대상 후보 방향(dir)보다 작은지의 여부를 판정한다. 예를 들면, 스텝 S131에서, 수직 방향(mid_dir)이 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)보다도 크고, 또한, 비교 대상 후보 방향(dir)보다 작다고 판정된 경우, 스텝 S132로 진행하여, 방향 판별부(123)는, 수직 방향(mid_dir)을 선택하여, 그 2개의 화소가 대응하는 대각선의 방향이 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)이라고 간주한다.

스텝 S133에서, 방향 판별부(123)는, 가장 높은 에너지 E_max의 값을 수직 방향(mid_dir)의 상기한 수학식 6에서 계산된 에너지 E(mid_dir)로 치환한다. 그리고 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)의 선택 처리를 종료한다.

수직 방향(mid_dir)이 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직 교한 방향(max_dir) 이하이거나, 또는 비교 대상 후보 방향(dir) 이상이라고 판정된 경우, 스텝 S126에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)으로서 선택하여, 그 2개의 화소가 대응하는 대각선의 방향이 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)이라고 간주한다.

스텝 S127에서, 방향 판별부(123)는, 가장 높은 에너지 E_max의 값을 비교 대상 후보 방향의 상기한 수학식 6에서 계산된 에너지 E(dir)로 치환함과 함께, 스텝 S128에서, 비교 대상 후보 방향(dir)을 다음 우측으로 인접하는 비교 대상 후보 방향(dir+1)으로 변화하게 한다.

이상의 처리에 의해, 최종적으로 방향(max_dir)에 남겨지는 방향이, 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)으로서 선택되는 것으로 된다.

여기서, 도 9의 플로우차트의 설명으로 되돌아간다.

스텝 S82에서, (left_dir) 방향 선택 처리가 실행된다. (left_dir) 방향은, 주목 화소를 중심으로 하여 대각선 상에 존재하는 2개의 화소를 결합한 직선의 기울기 중, 좌측 상승 또는 수직인 방향의 것을 가리킨다. 즉, 주목 화소를 중심으로 하여, 대각선 방향에 존재하는 2개의 화소를 결합한 직선의 방향이, 좌측 상승, 또는 수직인 방향 중, 상기한 수학식 6에서 계산된 가장 낮은 에너지 E(dir)(dir=mid_dir-1…0)의 값을 갖는 방향이(left_dir) 방향이다.

여기서, 도 12의 플로우차트를 참조하여, 주목 화소를 중심으로 한 좌측 상 승 국소적인 엣지의 방향인 (left_dir) 방향 선택 처리에 대하여 설명한다.

스텝 S151에서, 주목 화소를 중심으로 한 좌측 상승 국소적인 엣지의 방향 선택 처리 개시에 임하여, 방향 판별부(123)는, 주목 화소를 중심으로 한 수직 방향에 대하여 좌측 상승 국소적인 엣지의 방향(left_dir)을 수직 방향(mid_dir)에 초기화하여, 그 처리는, 스텝 S152로 진행한다.

스텝 S152에서, 주목 화소를 중심으로 한 좌측 상승 국소적인 엣지의 방향의 선택 처리 개시에 임하여, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 수직 방향(mid_dir)에 초기화하고, 그 처리는, 스텝 S153으로 진행한다.

스텝 S153에서, 주목 화소를 중심으로 한 좌측 상승 국소적인 엣지의 방향의 선택 처리 개시에 임하여, 방향 판별부(123)는, 상기한 수학식 6에서 계산된 에너지 E(dir)의 값 중, 최저 에너지 E_min을 상기한 수학식 6에서 계산된 수직 방향(mid_dir)의 에너지 E(mid_dir)에 초기화하고, 그 처리는 스텝 S154로 진행한다.

스텝 S154에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)의 상기한 수학식 6에서 계산된 에너지 E(dir)가, 최저 에너지 E_min 이하인지의 여부를 판정한다. 즉, 비교 대상 후보 방향(dir)의 상기한 수학식 6에서 계산된 에너지 E(dir)가, 가장 낮은 에너지 E_min 이하라고 하는 것은, 비교대조 후보 방향(dir)이, 최저 에너지 E_min으로 되기 때문에, 이 판정 결과에 기초하여, 비교 대상 후보 방향(dir)이 주목 화소를 중심으로 한 좌측 상승 국소적인 엣지의 방향(left_dir)인지의 여부를 판정한다.

스텝 S154에서, 에너지 E(dir)가 최저 에너지 E_min 이하인 경우, 스텝 S155 에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)의 2개의 화소가 대응하는 대각선의 방향을, 주목 화소를 중심으로 한 좌측의 국소적인 엣지의 방향(leftdir)으로서 선택한다.

스텝 S156에서, 방향 판별부(123)는, 가장 낮은 에너지 E_min의 값을 비교 대상 후보 방향의 상기한 수학식 6에서 계산된 에너지 E(dir)로 치환한다.

스텝 S157에서, 방향 판별부(123)는, 비교 완료한 비교 대상 후보 방향(dir)부터 다음 좌측으로 인접하는 비교 대상 후보 방향(dir-1)으로 변화하고, 그 처리는 스텝 S158로 진행한다.

한편, 스텝 S154에서, 에너지 E(dir)가 최저 에너지 E_min보다 큰 경우, 스텝 S157에서, 방향 판별부(123)는, 비교 완료한 비교 대상 후보 방향(dir)부터 다음 좌측으로 인접하는 비교 대상 후보 방향(dir-1)으로 변화하여(변수 dir를 1 디크리먼트시켜), 그 처리는 스텝 S158로 진행한다.

스텝 S158에서, 방향 판별부(123)는, 변수 dir이 0 이하인지의 여부, 즉 비교 대상 후보 방향(dir)이 수직 방향(mid_dir)의 좌측에 있는 방향 중 (0)에 위치하는 방향보다도 좌측인지의 여부를 판정한다. dir이 0(제로)보다 작은 경우, 즉 비교 대상 후보 방향(dir)이, 후술하는 도 18에서의 방향 L0보다도 좌측인 경우, 방향 판별부(123)는, 주목 화소를 중심으로 한 좌측이 국소적인 엣지의 방향(left_dir)의 선택 처리를 종료한다. 한편, 스텝 S158에서, 비교 대상 후보 방향(dir)이 0(제로) 이상인 경우, 즉 도 18에서의 방향 L0 내지 L4인 경우, 그 처리는, 스텝 S154로 되돌아간다. 즉, 비교 대상 후보 방향(dir)이 방향 L0으로부터 L4의 범위에서, 스텝 S154 내지 S158의 처리가 반복되어, 모든 처리가 종료한 그런데, 에너지 E_min에 설정되어 있는 에너지가 최저 에너지라고 되어, 그 때의 방향이 left_dir 방향으로서 선택되는 것으로 된다.

여기서, 도 9의 플로우차트의 설명에 되돌아간다.

스텝 S82에서, left_dir 방향 선택 처리가 종료하면, 스텝 S83에서, (right_dir) 방향 선택 처리가 실행된다. (right_dir) 방향이란, 주목 화소를 중심으로 하여 대각선 상에 존재하는 2개의 화소를 결합한 직선의 기울기 중, 좌측 상승 또는 수직인 방향의 것을 가리킨다. 즉, 주목 화소를 중심으로 하여, 대각선 방향에 존재하는 2개의 화소를 결합한 직선의 방향이, 좌측 상승, 또는 수직인 방향 중, 상기한 수학식 6에서 계산된 가장 낮은 에너지 E(dir)(dir=mid_dirH…2N-2)의 값을 갖는 방향이(right_dir) 방향이다.

여기서, 도 13을 참조하여, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향인 (right_dir) 방향 선택 처리에 대하여 설명한다.

스텝 S181에서, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향 선택 처리 개시에 임하여, 방향 판별부(123)는, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)을 수직 방향(mid_dir)에 초기화하여, 그 처리는, 스텝 S182로 진행한다.

스텝 S182에서, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향의 선택 처리 개시에 임하여, 방향 판별부(123)는, 비교 대상 후보 방향(dir)을 수직 방향(mid_dir)에 초기화하여, 그 처리는, 스텝 S183으로 진행한다.

스텝 S183에서, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향의 선택 처리 개시에 임하여, 방향 판별부(123)는, 상기한 수학식 6에서 계산된 에너지 E(dir)의 값 중, 가장 낮은 에너지 E_min을 상기한 수학식 6에서 계산된 수직 방향(mid_dir)의 에너지 E(mid_dir)에 초기화하여, 그 처리는, 스텝 S184로 진행한다.

스텝 S184에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)의 상기한 수학식 6에서 계산된 에너지 E(dir)가 최저 에너지 E_min 이하인지의 여부를 판정한다. 즉, 비교 대상 후보 방향(dir)의 상기한 수학식 6에서 계산된 에너지 E(dir)가 가장 작은 에너지 E_min 이하라고 하는 것은, 비교 대상 후보 방향(dir)이 최저 에너지 E_min으로 되기 때문에, 이 판정 결과에 기초하여, 비교 대상 후보 방향(dir)이 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)인지의 여부가 판정된다.

스텝 S184에서, 에너지 E(dir)가 최저 에너지 E_min 이하인 경우, 스텝 S185에서, 방향 판별부(123)는, 비교 대상 후보 방향(dir)의 2개의 화소가 대응하는 대각선의 방향을, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)으로서 선택한다.

스텝 S186에서, 방향 판별부(123)는, 가장 낮은 에너지 E_min의 값을 비교 대상 후보 방향의 상기한 수학식 6에서 계산된 에너지 E(dir)로 치환한다.

스텝187에서, 방향 판별부(123)는, 비교 완료한 비교 대상 후보 방향(dir)부터 다음 우측으로 인접하는 비교 대상 후보 방향(dir+1)으로 변화하여, 그 처리는, 스텝 S188로 진행한다.

한편, 스텝 S184에서, 에너지 E(dir)가 최저 에너지 E_min보다 큰 경우, 스텝 S187에서, 방향 판별부(123)는, 비교 완료한 비교 대상 후보 방향(dir)부터 다음 우측으로 인접하는 비교 대상 후보 방향(dir+1)으로 변화하고(변수 dir를 1 인크리먼트시켜 ), 그 처리는, 스텝 S188로 진행한다.

스텝 S188에서, 방향 판별부(123)는, 변수 dir이 0 이하인지의 여부, 즉 비교 대상 후보 방향(dir)과 수직 방향(mid_dir)의 우측에 있는 방향 중에 (2N-2)에 위치하는 방향보다도 우측인지의 여부를 판정한다. dir는 2N-2보다 큰 경우, 즉 비교 대상 후보 방향(dir)이, 후술하는 도 18에서의 방향 L8보다도 우측인 경우, 방향 판별부(123)는, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(ri9ht_dir)의 선택 처리를 종료한다. dir이 2N-2 이하인 경우, 즉 도 18에서의 방향 L4 내지 L8인 경우, 그 처리는, 스텝 S184로 되돌아간다. 즉, 비교 대상 후보 방향(dir)이 방향 L4로부터 L8의 범위에서, 스텝 S184 내지 S188의 처리가 반복되어, 모든 처리가 종료한 그런데, 에너지 E_min에 설정되어 있는 에너지가 최저 에너지로 되고, 그 때의 방향이 right_dir 방향으로서 선택되는 것으로 된다.

여기서, 도 9의 플로우차트의 설명으로 되돌아간다.

스텝 S84에서, 방향 판별부(123)는, 주목 화소를 중심으로, 우측이 국소적인 엣지의 방향(right_dir)과 국소적인 엣지의 방향에 직교한 방향(max_dir)의 각도의 절대값, |각도(max_dir, right_dir)|가, 좌측의 국소적인 엣지의 방향(left_dir)과 국소적인 엣지의 방향에 직교한 방향(max_dir)의 각도의 절대값 |각도(max_dir, left_dir)|보다도 큰지의 여부를 판정한다.

예를 들면, 스텝 S84에서, |각도(max_dir, left_dir)|이 |각도(max_dir, right_dir)|(이 각도는, 절대값이기 때문에 0° 내지 90°의 범위이다)보다 크다고 판정된 경우, 스텝 S85에서, 방향 판별부(123)는, 주목 화소를 중심으로 한 좌측이 국소적인 엣지의 방향(left_dir)의 2개의 화소가 대응하는 대각선의 방향을 국소적인 엣지의 방향이라고 간주, 선택 방향(sel_dir)을 방향(left_dir)으로서, 그 처리는, 스텝 S97(도 10)로 진행한다.

한편, 스텝 S84에서, |각도(max_dir, left_dir)|가 |각도(max_dir, right_dir)| 이하인 경우, 그 처리는, 스텝 S86으로 진행한다.

스텝 S86에서, 방향 판별부(123)는, 주목 화소를 중심으로, 우측이 국소적인 엣지의 방향(right_dir)과 국소적인 엣지의 방향에 직교한 방향(max_dir)의 각도의 절대값 |각도(max_dir, right_dir)|이 좌측의 국소적인 엣지의 방향(left_dir)과 국소적인 엣지의 방향에 직교한 방향(max_dir)의 각도의 절대값 |각도(max_dir, left_dir)|보다도 큰지의 여부를 판정한다.

스텝 S86에서, 예를 들면 |각도(max_dir, right_dir)|가 |각도(max_dir, left_dir)|보다 큰 경우, 스텝 S87에서, 방향 판별부(123)는, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)의 2개의 화소가 대응하는 대각선의 방향이 국소적인 엣지의 방향이라고 간주하여, 선택 방향(sel_dir)을 방향(right_dir)으로 하여, 그 처리는, 스텝 S97(도 10)로 진행한다.

즉, 방향(max_dir)은, 2화소간의 에너지가 가장 큰 방향에 대하여 수직의 방향이기 때문에, 방향(left_dir) 또는 방향(right_dir)과의 이루는 각이 큰, 즉 수 직 방향에 가까운 값쪽이 엣지인 가능성이 높다.

따라서, 방향 판별부(123)는, |각도(max_dir, left_dir)|와 |각도(max_dir, right_dir)|을 비교하여, max_dir와 이루는 각이 큰 방향을 엣지의 방향으로서 선택한다.

한편, 스텝 S86에서, |각도(max_dir, right_dir)|이 |각도(max_dir, left_dir)|보다 크지 않다고 판정된 경우, 즉 어느 것이나 동일하다고 판정된 경우, 그 처리는, 스텝 S88로 진행한다.

스텝 S88에서, 방향 판별부(123)는, 국소적인 엣지의 방향으로 직교한 방향(max_dir)과 수직 방향(mid_dir)과의 이루는 각도(max_dir, mid_dir)가, 0 이상인지의 여부, 즉 방향(max_dir)이, 도 18에서의 수직 방향 mid_dir 에 대하여 좌측으로 기울어져 있는지의 여부를 판정한다.

스텝 S88에서, 예를 들면 각도(max_dir, mid_dir)가 0보다 크다고 판정된 경우, 즉 방향(max_dir)이, 좌측으로 기울어진 경우, 스텝 S89에서, 방향 판별부(123)는, 주목 화소를 중심으로 한 좌측이 국소적인 엣지의 방향(left_dir)의 2개의 화소가 대응하는 대각선의 방향이 국소적인 엣지의 방향이라고 간주하여, 선택 방향(sel_dir)을 방향(left_dir)으로서, 그 처리는, 스텝 S97(도 10)로 진행한다.

한편, 스텝 S88에서, 각도(max_dir, mid」 ir)가 0보다 크지 않다고 판정된 경우, 스텝 S90에서, 방향 판별부(123)는, 국소적인 엣지의 방향에 직교한 방향(max_dir)과 수직 방향(mid_dir)과의 이루는 각도(max_dir, mid_dir)가, 0보다도 작은지의 여부를 판정한다.

스텝 S90에서, 예를 들면 각도(max_dir, mid_dir)가 0보다 작다고 판정된 경우, 스텝 S91에서, 방향 판별부(123)는, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)의 2개의 화소가 대응하는 대각선의 방향을 국소적인 엣지의 방향이라고 간주하여, 선택 방향(sel_dir)을 방향(right_dir)으로서, 그 처리는, 스텝 S97(도 10)로 진행한다.

한편, 스텝 S90에서, 각도(max_dir, mid_dir)가 0보다 작지 않다, 즉 0이라고 판정된 경우에는, 그 처리는, 스텝 S92로 진행한다.

스텝 S92에서, 방향 판별부(123)는, 우측이 국소적인 엣지의 방향(right_dir)의 상기한 수학식 6에서 계산된 에너지 E(right_dir)가 좌측이 국소적인 엣지의 방향(left_dir)의 상기한 수학식 6에서 계산된 에너지 E(left_dir)보다도 큰지의 여부를 판정한다.

스텝 S92에서, 예를 들면 에너지 E(right_dir)가 에너지 E(left_dir)보다 크다고 판정된 경우, 스텝 S93에서, 방향 판별부(123)는, 주목 화소를 중심으로 한 좌측이 국소적인 엣지의 방향(left_dir)의 2개의 화소가 대응하는 대각선의 방향이 국소적인 엣지의 방향(라)고 봐, 선택 방향(sel_dir)을 방향(left_dir)으로서, 그 처리는, 스텝 S97(도 10)로 진행한다.

한편, 스텝 S92에서, 에너지 E(right_dir)가 에너지 E(left_dir) 이하인 경우, 그 처리는, 스텝 S94로 진행한다.

스텝 S94에서, 방향 판별부(123)는, 좌측이 국소적인 엣지의 방향(left_dir)의 상기한 수학식 6에서 계산된 에너지 E(left_dir)가, 우측이 국소적인 엣지의 방 향(right_dir)의 상기한 수학식 6에서 계산된 에너지 E(right_dir)보다도 작은지의 여부를 판정한다.

스텝 S94에서, 예를 들면 에너지 E(left_dir)가 에너지 E(right_dir)보다 큰 경우, 스텝 S95에서, 방향 판별부(123)는, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)의 2개의 화소가 대응하는 대각선의 방향이 국소적인 엣지의 방향이라고 간주하여, 선택 방향(sel_dir)을 방향(right_dir)으로서, 그 처리는, 스텝 S97(도 10)로 진행한다.

스텝 S94에서, 에너지 E(left_dir)가 에너지 E(right_dir)보다 크지 않은, 즉 어느 것이나 동일하다고 판정된 경우, 스텝 S96에서, 방향 판별부(123)는, 선택 방향(sel_dir)을 수직 방향(mid_dir)으로 하여, 그 2개의 화소가 대응하는 수직선의 방향이 국소적인 엣지의 방향이라고 간주한다.

스텝 S97(도 10)에서, 방향 판별부(123)는, 전단에서 선택된 국소적인 엣지의 방향(sel_dir)이, 실재 화소에 의해 보간 생성된 화소값으로부터 계산된 방향, 즉 버추얼 방향(예를 들면, 후술하는 도 18의 방향 L1, L3, L5, L7)인지의 여부를 판정한다.

스텝 S97에서, 예를 들면 선택 방향 sel_dir의 변수 dir이 짝수인 경우, 즉 sel_dir=2 n인 경우(예를 들면, 후술하는 도 18의 방향 L0, L2, L4, L6, L8인 경우), 방향 판별부(123)는, sel_dir이 실재 방향이라고 판정하고, 방향 판별 처리를 종료하고, 국소적인 엣지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 방향 보간부(131), 신뢰도 레이팅부(124), 및 방향성 분 포 생성부(125)에 출력하고, 그 처리는, 도 6의 스텝 S56이 처리로 진행한다.

한편, 스텝 S97에서, 예를 들면 선택된 sel_dir의 변수 dir이 홀수인 경우, 즉 sel_dir=2 Kanoh1인 경우(예를 들면, 후술하는 도 18의 방향 L1, L3, L5, L7인 경우), 방향 판별부(123)는, sel_dir이 버추얼 방향이라고 판정하여, 그 처리는, 스텝 S98로 진행한다.

스텝 S98에서, 방향 판별부(123)는, 선택된 국소적인 엣지의 방향(sel_dir)의 우측으로 인접하는 실재 방향(sel_dir+1)의 상기한 수학식 6에서 계산된 에너지 E(sel_dir+1)가, 선택된 국소적인 엣지의 버추얼 방향(sel_dir)의 좌측으로 인접하는 것 실재 방향(sel_dir-1)의 상기한 수학식 6에서 계산된 에너지 E(sel_dir-1)보다도 작은지의 여부를 판정한다.

스텝 S98에서, 예를 들면 에너지 E(sel_dir+1)가 에너지 E(sel_dir-1)보다 작다고 판정된 경우, 그 처리는, 스텝 S99에 진행한다. 한편, 스텝 S98에서, 에너지 E(sel_dir+1)가 에너지 E(sel_dir-1) 이상이라고 판정된 경우, 그 처리는, 스텝 S102로 진행한다.

스텝 S99에서, 방향 판별부(123)는, 선택된 국소적인 엣지의 방향(seldir)의 우측으로 인접하는 실재 방향(sel_dir+1)의 상기한 수학식 7에서 계산된 에너지 diff(sel_dir+1)가, 선택된 국소적인 엣지의 버추얼 방향(sel_dir)의 좌측으로 인접하는 것 실재 방향(sel_dir-1)의 상기한 수학식 7에서 계산된 에너지 diff(sel_dir-1)보다 작은지의 여부를 판정한다.

스텝 S99에서, 에너지 diff(sel_dir+1)가 에너지 diff(sel_dir-1)보다 작다 고 판정된 경우, 그 처리는, 스텝 S100으로 진행한다.

한편, 스텝 S99에서, 에너지 diff(sel_dir+1)가 에너지 diff(sel_dir-1) 이상인 경우, 방향 판별부(123)는, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)은 불가능하다고 간주하여, 버추얼 방향을 선택 방향으로서, 방향 판별 처리를 종료하여, 도 6의 플로우차트에서의 스텝 S56으로 진행한다. 이 때, 방향 판별부(123)는, 국소적인 엣지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 방향 보간부(131), 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

스텝 S100에서, 방향 판별부(123)는, 선택된 국소적인 엣지의 버추얼 방향(sel_dir)이, 수직 방향의 좌측으로 인접하는 것 버추얼 방향(mid_dir-1)과 일치하지않은지의 여부를 판정한다.

스텝 S100에서, 예를 들면 sel_dir이 mid_dir-1에 일치한다고 판정된 경우, 방향 판별부(123)는, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)은 불가능하다고 간주하여, 버추얼 방향을 선택 방향으로서, 방향 판별 처리를 종료하여, 도 6의 플로우차트에서의 스텝 S56으로 진행한다. 이 때, 방향 판별부(123)는, 국소적인 엣지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 방향 보간부(131), 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

스텝 S100에서, sel_dir이 mid_dir-1에 일치하지 않는다고 판정된 경우, 스텝 S101에서, 방향 판별부(123)는, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)이 가능하다고 간주하여, 선택 방향(sel_dir)을, 버추얼 방향으로서 선택된 국소적인 엣지의 방향(sel_dir)의 우측으로 인접하는 실재 방향(sel_dir+1)으로 치환한다.

한편, 스텝 S102에서, 방향 판별부(123)는, 선택된 국소적인 엣지의 버추얼 방향(sel_dir)의 좌측으로 인접하는 것 실재 방향(sel_dir-1)의 상기한 수학식 6에서 계산된 에너지 E(sel_dir-1)가, 선택된 국소적인 엣지의 방향(sel_dir)의 우측으로 인접하는 실재 방향(sel_dir+1)의 상기한 수학식 6에서 계산된 에너지 E(sel_dir+1)보다 작은지의 여부를 판정한다.

스텝 S102에서, 예를 들면 에너지 E(sel_dir-1)가 에너지 E(sel_dir+1)보다 작다고 판정된 경우, 그 처리는, 스텝 S103으로 진행한다.

한편, 스텝 S102에서, 예를 들면 에너지 E(sel_dir-1)가 에너지 E(sel_dir+1) 이상인 경우, 방향 판별부(123)는, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)은 불가능하다고 간주하여, 버추얼 방향을 선택 방향으로서, 방향 판별 처리를 종료하여, 도 6의 플로우차트에서의 스텝 S56으로 진행한다. 이 때, 방향 판별부(123)는, 방향 보간부(131)에, 국소적인 엣지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

스텝 S103에서, 방향 판별부(123)는, 선택된 국소적인 엣지의 버추얼 방향(sel_dir)의 좌측으로 인접하는 것 실재 방향(sel_dir-1)의 상기한 수학식 7에서 계산된 에너지 diff(sel_dir-1)가, 선택된 국소적인 엣지의 방향(sel_dir)의 우측으로 인접하는 실재 방향(sel_dir+1)의 상기한 수학식 7에서 계산된 에너지 diff(sel_dir+1)보다도 작은지의 여부를 판정한다.

스텝 S103에서, 예를 들면 diff(sel_dir-1)가 diff(sel_dir+1)보다 작은 경우, 그 처리는, 스텝 S104로 진행한다.

한편, 스텝 S103에서, 예를 들면 diff(sel_dir-1)이 diff(sel_dir+1) 이하인 경우, 즉 동일한 경우, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)은 불가능하다고 간주하여, 버추얼 방향을 선택 방향으로서, 방향 판별 처리를 종료하여, 도 6의 플로우차트에서의 스텝 S56으로 진행한다. 이 때, 방향 판별부(123)는, 국소적인 엣지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 방향 보간부(131), 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

스텝 S104에서, 방향 판별부(123)는, 선택된 국소적인 엣지의 버추얼 방향의 선택 방향(sel_dir)과 수직 방향의 좌측으로 인접하는 것 버추얼 방향(mid_dir+1)허물 일치할지의 여부를 판정한다.

스텝 S104에서, 예를 들면 선택 방향 sel_dir이 mid_dir+1과 일치한다고 판정된 경우, 방향 판별부(123)는, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)은 불가능하다고 간주하여, 버추얼 방향을 선택 방향으로서, 방향 판별 처리를 종료하여, 도 6의 플로우차트에서의 스텝 S56으로 진행한다. 이 때, 방향 판별부(123)는, 방향 보간부(131)에, 국소적인 엣 지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

한편, 스텝 S104에서, sel_dir이 mid_dir+1에 일치하지 않는다고 판정된 경우, 스텝 S105에서, 방향 판별부(123)는, 버추얼 방향을 실재 방향에 대리하는 것(버추얼 방향을 실재 방향으로 치환하여 설정하는 것)은 가능하다고 간주하여, 선택된 국소적인 엣지의 버추얼 방향의 선택 방향(sel_dir)을 선택된 국소적인 엣지의 방향(sel_dir)의 좌측으로 인접하는 실재 방향(sel_dir-1)으로 치환하여, 방향 판별 처리를 종료하여, 도 6의 플로우차트에서의 스텝 S56으로 진행한다. 이 때, 방향 판별부(123)는, 방향 보간부(131)에, 국소적인 엣지의 방향 sel_dir(후술하는 도 18에서의 Lsel_dir의 방향)을 나타내는 방향 정보를 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

도 14는, 방향 판별 처리의 구체적인 예를 표하고 있다. 도 14의 예에서는, 실재 화소 Y0, 0의 화소값(0)과, 실재 화소 Y1, 4의 화소값(200)과의 차, 버추얼 화소 Y0, 레2의 화소값(0)과, 버추얼 화소 Y1, 7/2의 화소값(200)과의 차, 실재 화소 Y0, 1의 화소값(0)과, 실재 화소 Y1, 3의 화소값(200)과의 차, 버추얼 화소 Y0, 3/2의 화소값(0)과, 버추얼 화소 Y1, 5/2의 화소값(100)과의 차, 실재 화소 Y0, 2의 화소값(0)과, 실재 화소 Y1, 2의 화소값(200)과의 차, 버추얼 화소 Y0, 5/2의 화소값(0)과, 버추얼 화소 Y1, 3/2의 화소값(100)과의 차, 실재 화소 Y0, 3의 화소값(0)과, 실재 화소 Y1, 1의 화소값(0)과의 차, 버추얼 화소 Y0, 7/2의 화소값(100)과, 버추얼 화소 Y1, 1/2의 화소값(0)과의 차, 및 실재 화소 Y0, 4의 화소값 (200)과, 실재 화소 Y1, 0의 화소값(0)과의 차가, 각각 연산된다.

또한, 실재 화소 Y0, 0과 실재 화소 Y1, 4을 연결하는 방향을 방향 L0으로 하여, 버추얼 화소 Y0, 레2와 버추얼 화소 Y1, 7/2을 연결하는 방향을 L1로 하여, 실재 화소 Y0, 1과 실재 화소 Y1, 3을 연결하는 방향을 방향 L2로 하여, 버추얼 화소 Y0, 3/2와 버추얼 화소 Y1, 5/2을 연결하는 방향을 방향 L3로 하여, 실재 화소 Y0, 2와 실재 화소 Y1, 2를 연결하는 방향을 방향 L4로 하고, 버추얼 화소 Y0, 5/2와 버추얼 화소 Y1, 3, /2를 연결하는 방향을 방향 L5로 하여, 실재 화소 Y0, 3과 실재 화소 Y1, 1을 연결하는 방향을 방향 L6로 하여, 버추얼 화소 Y0, 7/2와 버추얼 화소 Y1, 레2를 연결하는 방향을 방향 L7로 하여, 실재 화소 Y0, 4와 실재 화소 Y1, 0를 연결하는 방향을 L8로 칭하는 것으로 하여, 이 후 마찬가지로 칭하는 것으로 한다.

또한, 도 14에서, 실선의 동그라미로 기록되어 있는 것이 실재 화소이며, 점선의 동그라미로 기록되어 있는 것이 실재 화소보다 보간 생성된 화소인 버추얼 화소를 나타내고 있다. 또한, 실재 화소 간을 연결하는 화살표는 실선이 표시되고 있고, 버추얼 화소 간을 연결하는 화살표는 점선으로 표시되어 있다.

스텝 S81에서의 max_dir 방향 선택 처리에 의해, 주목 화소를 중심으로, 우측과 좌측에, 상기한 수학식 6에서 계산된 에너지 E(dir)(dir=2, 3, 5, 6)의 값 중, 가장 높은 값(이 예의 경우, 화소 Y0, 1과 화소 Y1, 3을 연결하는 L2 방향)이 선택되고, 그 2개의 화소가 대응하는 대각선의 방향이 주목 화소를 중심으로 한 국소적인 엣지의 방향에 직교한 방향(max_dir)이 선택 방향으로서 선택된다.

또한, 스텝 S82에서의 left_dir 방향 선택 처리에 의해, 주목 화소를 중심으로, 좌측에, 상기한 수학식 6에서 계산된 에너지 E(dir)(dir=0, 1, 2, 3, 4)의 값 중, 가장 작은 값(이 예의 경우, 화소 Y0, 2와 화소 Y1, 2를 연결하는 L4 방향)이 주목 화소를 중심으로 한 좌측이 국소적인 엣지의 방향(left_dir)이 선택 방향으로서 선택된다.

또한, 스텝 S83에서의 right_dir 방향 선택 처리에 의해, 주목 화소를 중심으로, 우측에, 상기한 수학식 6에서 계산된 에너지 E(dir)(dir=4, 5, 6, 7, 8)의 값 중, 가장 작은 값(이 예의 경우, 화소 Y0, 3과 화소 Y1, 1을 연결하는 L6 방향)이 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향(right_dir)이 선택 방향으로서 선택된다.

스텝 S84에서, 주목 화소를 중심으로, 우측이 국소적인 엣지의 방향 L6(right_dir=6)과 국소적인 엣지의 방향에 직교한 방향 L2(max_dir=2)의 각도의 절대값 |각도(max_dir, right_dir)|가, 좌측의 국소적인 엣지의 방향 L4(left_dir=4)와 국소적인 엣지의 방향에 직교한 방향 L2(max_dir=2)의 각도의 절대값 |각도(max_dir, left_dir)|보다 작은지의 여부가 판정된다.

도 14의 경우, |각도(max_dir, right_dir)|=|max_dir-right_dir|=|2-6|=4로, 또한, |각도(max_dir, left_dir)|=|max_dir-left_dir|=|2-4|=2인 경우, |각도(max_dir, left_dir)|=2는, |각도(max_dir, right_dir)|=4보다 작기 때문에, 그 처리는, 스텝 S86으로 진행한다.

또한, 스텝 S86에서, 주목 화소를 중심으로, 우측이 국소적인 엣지의 방향 L6(right_dir=6)과 국소적인 엣지의 방향에 직교한 방향 L2(max_dir=2)의 각도의 절대값, |각도(max_dir, right_dir)|가, 좌측이 국소적인 엣지의 방향 L4(left_dir=4)과 국소적인 엣지의 방향에 직교한 방향 L4(max_dir=4)의 각도의 절대값, |각도(max_dir, left_dir)|보다도 큰지의 여부가 판정된다.

도 14의 경우, |각도(max_dir, right_dir)|=4는, |각도(max_dir, left_dir)|=2보다 크기 때문에, 그 처리는, 스텝 S87로 진행하여, 주목 화소를 중심으로 한 우측이 국소적인 엣지의 방향 L6(right_dir=6)이 선택되어, 그 2개의 화소가 대응하는 대각선의 방향 L6이 국소적인 엣지의 방향이라고 간주하게 되어, 그 처리는 스텝 S97로 진행한다.

스텝 S97에서, 전단에서 선택된 국소적인 엣지의 방향 L6(sel_dir)이 버추얼 방향인지의 여부가 판정된다.

도 14의 경우, 선택된 sel_dir=6이 짝수, 즉 sel_dir=2n이기 때문에 sel_dir이 실재 방향이라고 간주되어, 방향 선택 처리가 종료하게 된다.

결과적으로, 그 처리는, 도 6의 스텝 S56으로 진행하여, 방향 판별부(123)가, 국소적인 엣지의 방향 L6을 나타내는 방향 정보를 방향 보간부(131), 신뢰도 레이팅부(124), 및 방향성 분포 생성부(125)에 출력한다.

또한, 도 14는, 원화의 I_Image의 상행의 5 화소(실재 화소)와 하행의 5 화소(실재 화소)와의 차로부터 국소적인 엣지 방향이 추측되는 예를 나타내고 있다. 도 14의 예에서는, N의 값이 5라고 되어 있지만, 이 N의 값으로서 보다 큰 값을 이용함 으로써 보다 정확하게, 또한 보다 많은 방향의 엣지의 검출이 가능하게 된다.

여기서, 도 6의 플로우차트의 설명으로 되돌아간다.

스텝 S55의 엣지 방향 판별 처리에 의해, 엣지 방향이 판별되면, 스텝 S56에서, 방향 보간부(131)는, 그 판별된 엣지 방향의 화소를 이용하여, 보간 처리를 행한다(방향 보간 처리가 행해진다). 이 방향 보간 처리는, 엣지 방향에 대응하는 2개의 화소의 화소값에 기초하여, 그 동안에 위치하는 화소의 화소값을 보간하는 것을 의미한다. 예를 들면, 도 14의 예에서는, 화소 Y0, 3과 화소 Y1, 1의 화소값의 평균값(0)이, 양자간의 화소의 화소값으로 된다.

스텝 S57에서, 신뢰도 레이팅부(124)는, 구조 콜렉터 처리를 실행한다. 이 구조 콜렉터 처리는, 좌표(X+N/2, Y+0.5)에 보간된 화소 I_Image(X+N/2, Y+0.5)와, 그 수직의 근방 화소와 경사 방향의 근방 화소, 즉 좌표 up_line(N/2), up_line(N/2-1), up_line(N/2+1)와, 좌표 down-1 ine(N/2), down_line(N/2-1), down_line(N/2+1)와의 관계를 해석함으로써, 갱신된 국소 구조(스텝 S56의 방향 보간 처리로 생성된 화소와 그 상하·기울어진 화소)의 정합성을 체크하는 처리이다.

즉, 이 구조 콜렉터 처리에서는, 상행의 중심 화소로부터 갱신된 화소를 감산하는 처리가 행해지고, 또한 갱신된 화소로부터 하행의 중심 화소를 감산하는 처리가 행해진다. 또한, 이상과 같이 하여 얻어진 2개의 감산 결과를 승산함으로써, 수직 방향의 변화를 나타내는 값 V(N/2)이 계산된다. 즉, 스텝 S57에서는, 다음 수학식 8이 연산된다.

여기서, I_Image(X+N/2, Y+0.5)는, 보간 생성된 갱신되어 있는 화소의 화소값이다.

그리고, 이 구조 콜렉터 처리에서는, 상행의 중심 화소의 우측으로 인접하는 화소를 감산하는 처리가 행해지고, 또한 상행의 중심 화소의 좌측으로 인접하는 화소로부터 상행의 중심 화소를 감산하는 처리가 행해진다. 또한, 이상과 같이 하여 얻어진 2개의 감산 결과가 승산됨으로써, 상행의 수평 방향의 변화를 나타내는 값 H_up(N/2)이 계산된다. 즉, 스텝 S57에서는, 다음 수학식 9가 연산된다.

그리고, 이 구조 콜렉터 처리에서는, 하행의 중심 화소로부터 우측으로 인접하는 화소를 감산하는 처리가 행해지고, 또한, 하행의 중심 화소의 좌측으로 인접하는 화소로부터 하행의 중심 화소를 감산하는 처리가 행해진다. 또한, 이상과 같이 하여 얻어진 2개의 감산 결과를 승산함으로써, 하행의 수평 방향의 변화를 나타내는 값 H_down(N/2)이 계산된다. 즉, 스텝 S57에서는, 다음 수학식 10이 연산된다.

스텝 S58에서, 신뢰도 레이팅부(124)는, 스텝 S57에서의 연산 결과에 기초하여, 갱신된 국소 구조의 정합성이 있는지의 여부를 판정한다. 이 판정은, 상기 수학식 8, 내지 수학식 10으로 연산된 값 V(N/2), H_up(N/2), 및 H_down(N/2)이 플러스인지의 여부에 기초하여 행해진다.

값 V(N/2)이 마이너스이며, 또한 값 H_up(N/2)이 마이너스이며, 또한 값 H_down(N/2)이 마이너스이며, 또한 감산 up_line(N/2)-I_Image(X+N/2, Y+0.5)의 결과의 절대값이, 소정의 임계값을 초과하고, 또한 감산 I_Image(X+N/2, Y+0.5)-(1 own_line(N/2)의 결과의 절대값이 소정의 임계값을 초과하고, 또한 감산 up_line(N/2)_up_line(N/2+1)의 결과의 절대값이 소정의 임계값을 초과하고, 또한, 감산 up_line(N/2-1)_up_line(N/2)의 결과의 절대값이 소정의 임계값을 초과하고, 또한, 감산 down_line(N/2)_down_line(N/2+1)의 결과의 절대값이 소정의 임계값을 초과하고, 또한, 감산 down_line(N/2-1)_down_line(N/2)의 결과의 절대값이 소정의 임계값을 초과하는 경우, 정합성이 없다고 간주한다.

즉, 국소 방향의 식별이 잘못 내려, 스텝 S56에서 생성된 화소값은, 적절하지 않다고 판단된다. 이 경우, 신뢰도 레이팅부(124)는, 스텝 S59에서, 그 보간 화소의 신뢰도를 0으로서 방향성 분포 생성부(125)에 출력한다.

스텝 S59에서, 신뢰도 레이팅부(124)는, 그 보간 화소의 신뢰도를 0으로서 방향성 분포 생성부(125)에 출력한다.

이에 대하여, 스텝 S58에서, 신뢰도 레이팅부(124)는, 상기한 조건 중에 하나라도 만족되지 않는 조건이 있는 경우, 정합성이 있다고 간주하고, 스텝 S60에서, 그 보간 화소의 신뢰도를 1로서 방향성 분포 생성부(125)에 출력한다.

스텝 S61에서, 주목 화소에 대한 주목 영역의 모든 보간 화소가 보간되었는지의 여부가 판정되고, 주목 영역의 모든 보간 화소가 보간되어 있지 않다고 판정된 경우, 그 처리는, 스텝 S51로 되돌아가, 모든 보간 화소가 보간될 때까지, 스텝 S51 내지 S61의 처리가 반복되어, 스텝 S61에서, 모든 보간 화소가 보간되었다고 판정된 경우, 그 처리는, 스텝 S62로 진행한다. 여기서, 주목 화소에 대한 주목 영역은, 예를 들면 도 15로 나타내는 P(화소수)×M(라인)의 범위의 보간 화소이다. 또한, 도 15에서는, 흰 동그라미가 주목 화소(보간 화소)를, 흑색 동그라미가 보간 화소를, 사선으로 칠해진 동그라미를 원화상의 화소(원래 존재하는 화소)로서 나타내고 있다. 스텝 S51에서, 모든 보간 화소가 보간된다고 하는 것은, 도면 중의 흑색 동그라미로 나타내는 화소가 모두 보간된 것을 나타내어, 그 처리는, 스텝 S62로 진행한다.

스텝 S62에서, 기울기 선택 처리가 실행된다.

여기서, 도 16의 플로우차트를 참조하여, 기울기 선택 처리에 대하여 설명한다.

스텝 S211에서, 방향성 분포 생성부(125)는, 방향성 분포를 생성한다. 즉, 방향성 분포 생성부(125)는, 지금까지 입력된 엣지의 방향과, 그 신뢰도의 정보로 부터, 방향성 분포를 생성한다. 즉, 방향성 분포 생성부(125)에는, 도 17로 나타낸 바와 같이, 보간 화소의 배치에 대응하여, 각각의 보간 화소의 보간 방향과 대응하는 신뢰도의 정보가 입력되어 있는 것으로 된다.

또한, 도 15에서는, 도면 중 5 화소×3 라인의 보간 화소가 표시되어 있기 때문에, 도 17의 좌측부에는, 이것에 대응하는 15개의 보간 화소의 배치가 표시되어 있다. 또한, 도 17의 중앙부에는, 각 보간 화소의 보간 방향이 표시되어 있다. 이 보간 화소의 방향은, 도 18에 나타낸 바와 같이, 주목 화소에 대하여 점 대상으로 되 도록 설정된 방향에 대응하는 번호이며, 실재 방향 L0은, 상단 좌단의 실재 화소와 하단 우단의 실재 화소를 연결하는 방향이며, 버추얼 방향 L1은, 상단 좌단으로부터 2번째의 버추얼 화소와 하단 우단에서 2번째의 버추얼 화소를 연결하는 수직인 직선 상의 방향이며, 실재 방향 L2는, 상단 좌측으로부터 3번째의 실재 화소와 하단 우측으로부터 3번째의 실재 화소를 연결하는 직선 상의 방향이며, 버추얼 방향 L3은, 상단 좌측으로부터 4번째의 버추얼 화소와 하단 우측에서 4번째의 버추얼 화소를 연결하는 직선 상의 방향이며, 실재 방향 L4는, 바로 위의 실재 화소와 바로 아래의 실재 화소를 연결하는 직선 상의 방향이며, 버추얼 방향 L5는, 상단 우측에서 4번째의 버추얼 화소와 하단 좌측으로부터 4번째의 버추얼 화소를 연결하는 직선 상의 방향이며, 실재 방향 L6은, 상단 우측에서 3번째의 실재 화소와 하단 좌측으로부터 3번째의 실재 화소를 연결하는 직선 상의 방향이며, 버추얼 방향 L7은, 상단 우단에서 2번째의 버추얼 화소와 하단 좌단으로부터 2번째의 버추얼 화소를 연결하는 직선 상의 방향이며, 실재 방향 L8은, 상단 우단의 실재 화소 와 하단 좌단의 실재 화소를 연결하는 직선 상의 방향이다.

또한, 도 17의 우측부에는, 신뢰도의 분포가 표시되어 있고, 신뢰도로서 2가 보고된 화소는 △로, 신뢰도로서 1이 보고된 화소는 ○로, 신뢰도로서 0이 보고된 화소에는 ×가 표시되어 있다.

즉, 도 17에 따르면, 보간 화소의 보간 방향은, 상단의 좌측으로부터 4, 4, 8, 8, 8이며, 중단의 좌측으로부터 8, 7, 8, 7, 8이며, 하단의 좌측으로부터 8, 8, 8, 4, 4인 것이 표시되어 있다. 또한, 신뢰도는, 상단의 좌측으로부터 △, △, ○, ○, ○이며, 중단의 좌측으로부터, ○, ○, ×, ○, ○이며, 하단의 좌측으로부터 ○, ○, ○, △, △이다.

그 결과, 방향성 분포 생성부(125)는, 도 19에서 나타낸 바와 같이, 각 방향별로 붙여져 있는 ○의 수를 나타내는 히스토그램으로 이루어지는 방향성 분포를 생성함으로써, 방향별 LI(I=0, 1, …2 N-2)의 분포 Population_LI를 나타낼 수 있다. 즉, 도 17에서는, 실재 방향 L0은, 0(Population_L0)이 0개, ×가 0개, 버추얼 방향 L1은, 0(Population_L1)이 0개, ×가 0개, 실재 방향 L2은, 0(Population_L2)이 0개, ×가 0개, 버추얼 방향 L3은, 0(Population_L3)이 0개, ×가 2개, 실재 방향 L4는, 0(Population_L4)이 0개, △가 4개, ×가 0개, 버추얼 방향 L5는, 0(Population_L5)이 0개, ×가 0개, 실재 방향 L6은, 0(Population_L6)이 0개, ×가 0개, 버추얼 방향 L7은, 0(Population_L7)이 2개, ×가 0개, 실재 방향 L8은, 0(Population_L8)이 8개, ×가 1개로 된다.

스텝 S211에서, 방향성 분포가 생성되어, 생성된 방향성 분포의 정보가 기울 기 선택부(126)에 공급된다.

여기서, 도 16의 플로우차트의 설명으로 되돌아간다.

스텝 S212에서, 기울기 선택부(126)는, 이것들의 방향성 분포(보간 방향과, 대응하는 신뢰도의 분포)부터 이하의 Balance 함수를 설정한다.

즉, 우선, 기울기 선택부(126)는, 이하의 수학식 11에서 나타내는 주목 화소(X, Y)에 대응하는 Balance 함수를 설정한다.

Population_LI는 임의의 방향 LI에 대하여, 신뢰도로서 1이 보고된 화소의 수를 나타내는 값이다. Total_population은 각 방향 LI(I=0, …2 N-2)에 대하여, 신뢰도로서 1이 보고된 화소의 수를 더하여 정합한 총수를 나타내는 값이다.

전술한 Balance 함수의 식은, 주목 화소를 중심으로 방향성의 분포 정보를 해석한 하나의 기울기를 나타내는 함수의 실장의 예이며, 그 밖의 함수라도 된다.

스텝 S213에서, 기울기 선택부(126)는, Balance(X, Y)가 0(제로)인지의 여부를 판정하여, 예를 들면 0(제로)이라고 판정한 경우, 스텝 S217에서, 도 18에서 정의하는 방향 LI 중, 가장 신뢰도가 높은 방향으로서 I가, I=N-1(수직 방향)을 가장 신뢰도가 높은 방향으로서 선택한다.

한편, 스텝 S213에서, Balance(X, Y)가 0(제로)가 아니라고 판정된 경우, 스텝 S214에서, 기울기 선택부(126)는, Balance(X, Y)가 플러스의 값인지의 여부를 판정한다.

스텝 S214에서, 예를 들면 Balance(X, Y)가 플러스의 값이라고 판정된 경우, 스텝 S215에서, 기울기 선택부(126)는, 스텝 S211에서 생성된 방향성 분포로부터, 도 18에서 정의하는 방향 LI 중, 가장 신뢰도가 높은 기울기로서, I가, I=(N+1)부터 2N-2의 범위를 선택하여, 통계 경사 보간부(128)에 공급한다.

한편, 스텝 S214에서, 플러스의 값이 아니라고 판정된 경우, 스텝 S216에서, 기울기 선택부(126)는, 도 18으로 정의하는 방향 LI 중, 가장 신뢰도가 높은 기울기로서, I가, I=0으로부터 N-2의 범위를 선택하여, 통계 경사 보간부(128)에 공급한다.

즉, 수학식 11에서 정의되는 함수는, 수직 방향을 중심으로 하여, 방향을 나타내는 화살표의 상단의 위치를 방향 L4로 좌우로 나눈 경우, 좌우의 어느 쪽 측에 신뢰성의 경향이 있는지를 나타내는 것으로, 예를 들면 도 18에 정의하는 방향 L0, L1, L2과 L3의 그룹 전체의 신뢰성과, 방향 L5, L6, L7과 L8의 그룹 전체의 신뢰성의 각각의 합을 든 값의 차분이 스텝 S215의 처리에 의해 요청되고, 그 대소 비교로부터, 수직 방향에 대하여 좌우의 어느 쪽에 기울어져 있는지가 요청되어, 신뢰성의 경향을 나타내는 그룹 중에서, 기울기의 분포가 계산되도록 되어 있다.

도 19인 경우, 방향성 분포는, Population_L0가 0, Population_L1이 0, Population_L2가 0, Population_L3이 0, Population_L4가 0, Population_L5가 0, Population_L6이 0, Population_L7이 2, Population_L8이 8로 된다.

여기서, Balance=(Population_L8+Population_L7+Population_L6+Population_L5- Population_L0-Population_L1-Population_L2-Population_L3)=10이기 때문에, Balance 함수는, 플러스로 되기 때문에(스텝 S214의 처리), 방향 L5, L6, L7, L8의 그룹이 가장 신뢰성이 높은 기울기로서 선택되는 것으로 된다.

스텝 S218에서, 기울기 선택부(126)는, 계산된 기울기의 분포의 정보를 통계 경사 보간부(128)에 출력한다.

Balance(X, Y)가 0(제로)이라고 판정한 경우, 스텝 S217에서, 도 18로 정의하는 방향 LI 중, 가장 신뢰도가 높은 방향으로서 I가, I=N-1(수직 방향)을 가장 신뢰도가 높은 방향으로서 선택한다.

여기서, 도 6의 플로우차트의 설명으로 되돌아간다.

스텝 S63 및 스텝 S64에서, 기울기 선택부(126)로 생성된 방향성 분포의 정보에 기초하여, 신호에 존재하는 엣지와 텍스쳐의 분리 처리가 실시되어, 엣지 강도 정보 및 텍스쳐 강도 정보가 생성된다.

즉, 스텝 S63에서, 엣지 강도 정보 생성부(132)는, 이하의 수학식 12에서 나타낸 바와 같이, 주목 화소(X, Y)의 경사 방향과 수직 방향을 조합시킨 웨이트 weight_edge(X, Y)를 설정하여, 1차원 수직 이미지 리프레시(17)에 출력한다.

Population_LI는 임의의 방향 LI에 대하여, 신뢰도로서 1이 보고된 화소의 수를 나타내는 값이다. Vertical_population은 수직 방향 LI(I=N-1)에 대하여, 신뢰도로서 1이 보고된 화소의 수를 나타내는 값이다. Total_population은 각 방향 LI(I=0, …2 N-2)에 대하여, 신뢰도로서 1이 보고된 화소의 수를 더하여 정합한 총수를 나타내는 값이다.

즉, 경사 방향과 수직 방향을 조합시킨 웨이트는, 전체 신뢰도에 대한 Balance 함수의 절대값에 가산하는 Vertical_population의 비율로서 설정된다.

전술한 weight_edge 함수의 식은, 주목 화소를 중심으로 방향성의 분포 정보를 해석한 하나의 엣지 강도 정보를 나타내는 함수의 예이며, 그 밖의 함수를 설정하도록 하여도 된다. 예를 들면, 주목 화소에 대한 주목 영역이란, 예를 들면 도 15으로 나타내는 P(화소수)×M(라인)의 범위 중에 각 화소의 방향에 대하여, 인접하는 화소의 방향과의 비교를 행하여, 방향이 동일한 경우, 방향성이 다 같이 있기 때문에, 엣지 강도가 높다고 평가하여, 반대로 방향이 동일하지 않은 경우, 방향성이 다 같이 없기 때문에, 엣지 강도가 낮다고 평가하는 함수이어도 된다.

스텝 S64에서, 텍스쳐 강도 정보 생성부(133)는, 이하의 수학식 13에서 도시된 바와 같이, 주목 화소(X, Y)의 모든 방향을 조합시킨 웨이트 weight_texture(X, Y)를 설정하여, 1차원 수직 이미지 리프레시 처리부(17)에 출력한다.

Population_LI는 임의의 방향 LI에 대하여, 신뢰도로서 1이 보고된 화소의 수를 나타내는 값이다. Total_population은, 각 방향 LI(I=0, …2 N-2)에 대하여, 신뢰도로서 1이 보고된 화소의 수를 더하여 정합한 총수를 나타내는 값이다.

즉, 주목 화소(X, Y)의 모든 방향을 조합시킨 웨이트 weight-texture(X, Y)는, 주목 화소를 중심으로 방향성의 분포 정보를 해석하기 위해 사용한 전 화소에 대한 각 방향 LI(I=0, …2 N-2)의 신뢰도로서 1이 보고된 화소수의 비율로서 설정된다.

전술한 weight-texture 함수의 식은, 주목 화소를 중심으로 방향성의 분포 정보를 해석한 하나의 텍스쳐 강도 정보를 나타내는 함수의 예이며, 그 밖의 함수를 설정하도록 해도 된다. 예를 들면, 주목 화소에 대한 주목 영역이 도 15에서 나타내는 P(화소수)×M(라인)의 범위가인 경우, 그 중의 각 화소의 방향에 대하여, 인접하는 화소의 방향과의 비교를 행하여, 방향이 동일한 경우, 방향성이 다 같이 있기 때문에, 텍스쳐 강도가 낮다고 평가하여, 반대로, 방향이 다른 경우, 방향성이 다 같지 않기 때문에, 텍스쳐 강도가 높다고 평가하는 함수도 생각된다.

스텝 S66에서, 통계 경사 보간부(128)는, 기울기의 분포를 계산한다.

예를 들면, 스텝 S214에서, Balance(X, Y)가 플러스의 값이라고 판정된 경우, 통계 경사 보간부(128)는, L(N+1)부터 2N-2의 주 범위에서 기울기의 분포를 계산한다.

즉, 통계 경사 보간부(128)은, 스텝 S211에서 생성된 방향성 분포로부터, 도 18에서 정의하는 방향 LI 중, 가장 신뢰도가 높은 기울기로서, I가, I=(N+1)로부터 2N-2의 범위를 선택하여, 통계 경사 보간 화소를 이하의 수학식 14를 연산함으로써 구해진다.

이 때, 통계 경사 보간부(128)는, I=0으로부터 N-2의 범위에서 기울기의 분포를 계산한다.

한편, 스텝 S214에서, 플러스의 값이 아니라고 판정된 경우, 통계 경사 보간부(128)는, 도 18에서 정의하는 방향 LI 중, 가장 신뢰도가 높은 기울기로서, I가, I=0으로부터 N-2의 범위를 선택하여, 통계 경사 보간 화소를 이하의 수학식 15를 연산함으로써 구해진다.

즉, 도 18인 경우, 기울기 L5, L6, L7, L8이 선택되므로, 도 18과 같이 주목 화소가 존재하는 경우, 통계 경사 보간부(128)는, 버추얼 방향 L5는, 상단의 라인 상에 있는 우측에서 4번째의 버추얼 화소와 하단 좌측으로부터 4번째의 버추얼 화소를 연결하는 직선 상의 방향이며, 실재 방향 L6은, 상단 우측에서 3번째의 실재 화소와 하단 좌측으로부터 3번째의 실재 화소를 연결하는 직선 상의 방향이며, 버추얼 방향 L7은, 상단 우단에서 2번째의 버추얼 화소와 하단 좌단으로부터 2번째의 버추얼 화소를 연결하는 직선 상의 방향이며, 실재 방향 L8은, 상단 우단의 실재 화소와 하단 좌단의 실재 화소를 연결하는 직선 상의 방향이며, 각 방향 LI에 존재하는 화소간의 평균 화소값, 경사 평균 화소(LI)의 기울기 분포에 의한 웨이팅 평균 화소값(통계 경사 보간 화소)을 이하의 수학식 16 내지 수학식 20과 같이 계산한다.

스텝 S65에서, 선형 보간부(127)는, 주목 화소에 대하여 수직 방향의 상하에 존재하는 복수의 화소간의 필터 처리에 의한 화소값을 종래의 보간 화소인 선형 보간 화소로서 구하여 합성부(130)에 출력한다.

스텝 S66에서, 통계 경사 보간부(128)는, 기울기 선택부(126)에 의해 선택된 기울기를 포함하는 각 방향에 존재하는 화소간의 평균 화소값의 기울기 분포에 의한 웨이팅 평균 화소값을 통계 경사 보간 화소값으로서 합성부(130)에 출력한다.

스텝 S67에서, 경사 웨이팅부(129)는, 이하의 수학식 21에서 나타낸 바와 같이, 주목 화소(X, Y)의 경사 방향의 웨이트 weight_slant(X, Y)를 설정하고, 합성부(130)에 출력한다.

즉, 경사 방향의 웨이트는, 전신뢰도에 대한 Balance 함수의 절대값의 비율로서 설정된다.

스텝 S68에서, 합성부(130)는, 이하의 수학식 22의 연산에 의해, 선형 보간부(127)로부터 입력된 선형 보간 화소와 통계 경사 보간 화소를 가중하여 합성하여, 합성 보간 화소로서 출력한다.

즉, 선형 보간 화소에 관한 웨이트는, (1-weight_slant(X, Y))로 표현할 수 있기 때문에, 선형 보간으로 요청된 화소값에는, 선형 보간에 따른 웨이트로서(1-weight_slant(X, Y))를 곱하여, 경사 보간 화소에 관한 웨이트로서 weight_slant(X, Y)가 곱해지고, 선형합을 취한 합성 보간 화소를 최종적인 합성 보간 화소로 한다. 이에 의해, 수직 방향과 경사 방향의 보간이, 그 웨이트에 의해 밸런스 좋게 합성되기 때문에, 정확한 합성 보간 화소를 생성하는 것이 가능하게 된다.

I_Image의 개개의 수직 좌표(Y+0.5)에 위치하는 미지 행의 개개의 좌표(X+N/2, Y+0.5)에 위치하는 미지 화소 I_Image(X+N/2, Y+0.5)를 구하기 위해서, 마찬가지의 처리가 반복하여 실행된다.

또한, 이상의 예에서는, 주목 영역이 5 화소×3 라인인 경우에 대하여 설명하여 왔지만, 예를 들면 주목 영역은, 그 것 이외의 화소수로 이루어지는 영역로 되도록하여도 된다.

또한, 엣지 방향의 구하는 방법으로서는, 도 14에 도시된 바와 같이, 수학식 6에 의해, 주목 화소를 중심으로 하여, 대각 방향에 존재하는 1조의 쌍으로 되는 화소간의 화소값의 차분값 중, 가장 작아지는 쌍의 방향을 엣지의 방향으로 하여 왔지만, 방향마다 복수의 화소간의 차분을 사용하여 엣지의 방향을 구하도록 해도 되고, 예를 들면 도 20 내지 도 26에 도시된 바와 같이, 복수의 화소간의 차분값을 구하여, 이들의 합계를 사용하도록 해도 된다. 즉, 도 20에서는, 화소 Y0, 0과 화소 Y1, 3, 화소 Y0, 1과 화소 Y1, 4, 화소 Y0, 0과 화소 Y0, 1, 및 화소 Y1, 3과 화소 Y1, 4의 각각의 화소간 차분의 웨이팅 평균을 구하고, 도 21에서는, 화소 Y0, 0과 화소 Y1, 2의 화소간 차분, 화소 Y0, 1과 화소 Y1, 3의 화소간 차분과 화소 Y0, 2와 화소 Y1, 4의 화소간 차분의 평균을 구하고, 도 22에서는, 화소 Y0, 0과 화소 Y1, 1, 화소 Y0, 1과 화소 Y1, 2, 화소 Y0, 2와 화소 Y1, 3과 화소 Y0, 3과 화소 Y1, 4의 화소간 차분의 평균을 구하고, 도 23에서는, 화소 Y0, 0과 화소 Y1, 0, 화소 Y0, 1과 화소 Y1, 1, 화소 Y0, 2와 화소 Y1, 2, 화소 Y0, 3과 화소 Y1, 3, 화소 Y0, 4와 화소 Y1, 4, 및 화소 Y0, 1과 화소 Y0, 2, 화소 Y0, 3과 화소 Y0, 2, 화소 Y 0, 1과 화소 Y0, 3, 화소 Y1, 1과 화소 Y1, 2, 화소 Y1, 3과 화소 Y1, 2, 화소 Y1, 1과 화소 Y1, 3, 의 각각의 화소간 차분의 웨이팅 평균을 구하고, 도 24에서는, 화소 Y0, 1과 화소 Y1, 0, 화소 Y0, 2와 화소 Y1, 1, 화소 Y0, 3과 화소 Y1, 2와 화소 Y0, 4와 화소 Y1, 3의 화소간 차분의 평균을 구하고, 도 25에서는, 화소 Y0, 2와 화소 Y1, 0의 화소간 차분, 화소 Y0, 3과 화소 Y1, 1과 화소 Y0, 4와 화소 Y1, 2의 화소간 차분의 평균을 구하여, 또한, 도 26에서는, 화소 Y0, 3과 화소 Y1, 0의 화소간 차분과 화소 Y0, 4와 화소 Y1, 1의 화소간 차분의 평균을 구하여, 각각의 평균이 전술한 방향 판별 처리를 이용하여 선택된쌍의 조합이 존재하는 방향을 엣지의 방향이라고 판정하도록 해도 된다.

도 5의 플로우차트로 되돌아가, 이상과 같이 하여, 스텝 S21의 업 샘플링 처리가 행해진 후, 스텝 S22로 진행하여, 1차원 수직 이미지 리프레시 처리가 실행된다. 이 1차원 수직 이미지 리프레시 처리는, 1차원 수직 이미지 리프레시 처리부(17)에 의해 실행된다.

여기서, 도 27의 플로우차트를 참조하여, 1차원 수직 이미지 리프레시 처리부(17)에 의한 1차원 수직 이미지 리프레시 처리에 대하여 설명한다.

스텝 S241에서, 화상 입력부(1)로부터 입력된 화상 데이터 중, 처리하지 않은 화소가 있는지의 여부가 판정되어, 처리되어 있지 않은 화소가 있다고 판정된 경우, 그 처리는, 스텝 S242로 진행한다.

스텝 S242에서, 수직 최대값 최소값 검출부(192)는, 미처리 화소를 포함한 상하 5개의 화소의 화소값을 비교하여 최대값과 최소값을 구한다. 즉, 예를 들면 도 28에 도시한 바와 같이미 처리 화소가 화소 m인 경우, 그것을 포함시킨 상하의 화소 c, h, m, r, w(도 28 중 실선으로 둘러싸인 5 화소 에리어)의 각 화소값을 판독하고, 도 29에 도시한 바와 같이 그 중 최대값(c, h, m, r, w)과 최소값(c, h, m, r, w)을 구한다.

스텝 S243에서, 텍스쳐 필터 처리부(191)는, 도 29에 도시한 5 화소 에리어의 화소 c, h, m, r, w에, 도 29에 도시한 바와 같은 1차원 텍스쳐 필터 처리를 실시한다. 즉, 1차원 텍스쳐 필터는, (1/4-α_T/2, 0, α_T+1/2, 0, 1/4-α_T/2)(0.5<α_T)라고 한 것으로, 예를 들면 텍스쳐 필터가 전술한 타입 A인 경우, 이하의 수학식 23에 도시한 바와 같은 연산에 의해, 텍스쳐 필터 처리된 화소값 텍스쳐 화소가 요청된다.

여기서, 계수 α_T는, 텍스쳐 필터에 의한 텍스쳐의 강조의 정도를 조절하는 계수이다.

스텝 S244에서, 엣지 필터 처리부(193)는, 도 29에 도시한 5 화소 에리어의 화소 c, h, m, r, w에, 도 29에 도시한 것 같은 1차원 엣지 필터 처리를 실시한다. 즉, 1차원 엣지 필터는, (1/4-α_E/2, 1/4, α_E, 1/4, 1/4-α_E/2)(0.5<α_E)라고 한 것으로, 예를 들면 엣지 필터가 전술한 타입 A인 경우, 이하의 수학식 24에 도시한 바와 같은 연산에 의해, 엣지 필터 처리된 화소값 엣지 화소가 요청된다.

여기서, 계수 α_E는, 필터에 의한 엣지의 강조의 정도를 조절할 수 있다.

스텝 S245에서, 판별 비교부(194)는, 도 29에 도시한 바와 같이 엣지 필터 처리한 화소값 엣지 화소와 최대값(c, h, m, r, w)를 비교하여, 엣지 필터 처리한 화소값 엣지 화소가 최대값(c, h, m, r, w) 이상인지의 여부를 판정한다. 예를 들면, 스텝 S245에서, 엣지 필터 처리한 화소값 엣지 화소가 최대값(c, h, m, r, w) 이상이라고 판정된 경우, 스텝 S246에서, 판별 비교부(194)는, 화소값 엣지 화소를 최대값(c, h, m, r, w)로 치환하여, 스텝 S247로 진행한다.

스텝 S245에서, 엣지 필터 처리한 화소값 엣지 화소가 최대값(c, h, m, r, w) 이상이 아니라고 판정된 경우, 스텝 S250에서, 판별 비교부(194)는, 엣지 필터 처리한 화소값 엣지 화소와 최소값(c, h, m, r, w)를 비교하여, 엣지 필터 처리한 화소값 엣지 화소가 최소값(c, h, m, r, w) 이하인지의 여부를 판정하여, 필터 처리한 화소값 엣지 화소가 최소값(c, h, m, r, w) 이하라고 판정한 경우, 그 처리는, 스텝 S251로 진행한다.

스텝 S251에서, 판별 비교부(194)는, 화소값 엣지 화소를 최소값(c, h, m, r, w)으로 치환하여, 스텝 S247로 진행한다.

스텝 S250에서, 엣지 필터 처리한 화소값 엣지 화소가 최소값(c, h, m, r, w) 이하는 아니라고 판정된 경우, 그 처리는, 스텝 S247로 진행한다.

즉, 스텝 S244의 처리에서, 도 29에 도시한 바와 같이 스텝 S244의 처리로 요청된 최대값(c, h, m, r, w), 및 최소값(c, h, m, r, w)가, 화소 c, h, m, r, w가 국소적인 범위의 최대값과 최소값이라고 간주되고, 스텝 S244의 처리로 엣지 필터 처리하여 요청된 화소값이, 그 최소값과 최대값의 범위에 포함되었을 때, 그대로 보존되어, 최소값(c, h, m, r, w) 이하일 때, 화소값이 최소값에, 최대값(c, h, m, r, w) 이상일 때는 화소값이 최대값으로 치환된다(클립핑된다).

예를 들면, 도 30의 실례에 따르면, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)와 최대값(c, h, m, r, w)「A」를 비교하고, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)가 최대값(c, h, m, r, w)「A」 이상이라고 판정되고, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)를 최대값(c, h, m, r, w)「A」로 치환한다(도 30의 케이스 1).

한편, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최대값(c, h, m, r, w)「A」 이상이 아니라고 판정되고, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)와 최소값(c, h, m, r, w)「B」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최소값(c, h, m, r, w)「B」 이하라고 판정하고, 엣지 필터 처리한 화소값 엣지 화소 「B'」를 최소값(c, h, m, r, w)「B」로 치환한다(도 30의 케이스 1).

이상과 같은 처리에 의해, 국소적인 범위의 최대값(c, h, m, r, w)와 최소값(c, h, m, r, w)와의 비교가 행해지기 때문에, 도 30의 케이스 1에 도시된 바와 같이, 밝은 곳의 쓸데없는 곳의 상승(도 30의 케이스 2)을 억제하면서, 어두운 곳의 과도한 찌부러짐(도 30의 케이스 2)을 회피할 수 있다.

스텝 S245에서, 판별 비교부(194)는, 엣지 근변에 콘트라스트를 더욱 강조하기 위해, 엣지 필터 처리한 화소값 엣지 화소가 최대값(c, h, m, r, w) 이상인지의 여부를 판정하여, 최대값(c, h, m, r, w) 이상이라고 판정한 경우, 스텝 S246에서, 판별 비교부(194)는, 화소값 엣지 화소를 최대값(c, h, m, r, w)으로 치환하지만, 엣지 필터 처리한 화소값 엣지가 최대값(c, h, m, r, w) 이상이 아니라고 판정한 경우, 스텝 S250에서, 판별 비교부(194)는, 엣지 필터 처리한 화소값 엣지 화소와 최소값(c, h, m, r, w)를 비교하여, 엣지 필터 처리한 화소값 엣지 화소가 최소값(c, h, m, r, w) 이하인지의 여부를 판정한다.

스텝 S250에서, 엣지 필터 처리한 화소값 엣지 화소가 최소값(c, h, m, r, w) 이하라고 판정된 경우, 스텝 S251에서, 판별 비교부(194)는, 화소값 엣지 화소를 최소값(c, h, m, r, w)으로 치환하지는 않았지만, 스텝 S247로 진행한다. 이러한 처리에 의해, 한 쪽의 최대값(c, h, m, r, w)와의 비교밖에 행하지 않기 때문에, 도 30의 케이스 3에 도시된 바와 같이, 밝은 곳의 쓸데없는 상승을 억제하면서, 어두운 곳의 적절한 강조를 확보할 수 있다.

즉, 도 29에 도시한 바와 같이 스텝 S244의 처리로 요청된 최대값(c, h, m, r, w)이, 화소, c, h, m, r, w가 국소적인 범위의 최대값이라고 간주되고, 스텝 S244의 처리로 엣지 필터 처리하여 요청된 화소값이, 그 최대값 이하일 때에 그대로 보존되어, 최대값(c, h, m, r, w)보다 클 때는 화소값이 최대값으로 치환된다(한 쪽 클립핑된다).

예를 들면, 도 30의 실례에 따르면, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)와 최대값(c, h, m, r, w)「A」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)가 최대값(c, h, m, r, w)「A」 이상이라고 판정되어, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)를 최대값(c, h, m, r, w)「A」로 치환한다(도 30의 케이스 3).

한편, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최대값(c, h, m, r, w)「A」 이상이 아니라고 판정되고, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)와 최소값(c, h, m, r, w)「B」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최소값(c, h, m, r, w)「B」 이하라고 판정하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」를 최소값(c, h, m, r, w)「B」로 치환하지는 않는다(도 30의 케이스 3).

이상과 같은 처리에 의해, 국소적인 범위의 최대값(c, h, m, r, w)와의 비교밖에 행해지지 않기 때문에, 도 30의 케이스 3에 도시된 바와 같이, 밝은 곳의 쓸데없는 상승(도 30의 케이스 2)을 억제하면서, 어두운 곳의 적절한 강조를 확보할 수 있다(도 30의 케이스 3).

또한, 1차원 텍스쳐 필터와 엣지 필터는, 전술된 바와 같이 두 가지 존재하 여, 도 29에 도시한 A 타입과, 도 31에서 도시한 바와 같이 B 타입이 존재한다. 즉, A 타입에서는, 수학식 23, 수학식 24에서 나타낸 바와 같은 연산에 의해, 텍스쳐 필터와 엣지 필터 처리가 이루어지지만, B 타입에서는, 이하의 수학식 25, 수학식 26에 도시한 바와 같은 연산이 된다.

스텝 S247에서, 텍스쳐 적응 혼합 처리부(196)는, 이하의 수학식 27의 연산에 의해, 수직 업 샘플링 처리부(11)로부터 입력된 보간 화소와 텍스쳐 필터 처리부(191)로부터 입력된 화소값 텍스쳐 화소를 가중하여 합성하여, 텍스쳐 믹스 화소로서 출력한다.

즉, 보간 화소에 관한 웨이트는, (1-weight-texture)으로 표현할 수 있기 때문에, 보간으로 요청된 화소값에는, 보간 화소에 따른 웨이트로서(1-weight-texture)를 곱하고, 텍스쳐 화소에 관한 웨이트로서 weight--texture가 곱해지고, 선형합을 든 합성 보간 화소를 최종적인 텍스쳐 화소로 한다. 이에 의해, 보간과 텍스쳐 필터의 처리가, 그 웨이트에 의해 밸런스좋게 합성되기 때문에, 정확한 텍스쳐 믹스 화소를 생성하는 것이 가능하게 된다.

스텝 S248에서, 엣지 적응 혼합 처리부(197)는, 이하의 수학식 28의 연산에 의해, 텍스쳐 적응 혼합 처리부(196)로부터 입력된 텍스쳐 믹스 화소와 엣지 필터 처리부(194)로부터 입력된 화소값 엣지 화소를 가중하여 합성하여, 엣지 믹스 화소로서 출력한다.

즉, 텍스쳐 믹스 화소에 관한 웨이트는, (1-weight-edge)으로 표현할 수 있기 때문에, 텍스쳐 적응 혼합 처리로 요청된 화소값에는, 텍스쳐 믹스 화소에 따른 웨이트로서(1-weight-edge)를 타, 엣지 화소에 관한 웨이트로서 weight-edge가 타지고, 선형합을 든 합성 보간 화소를 최종적인 엣지 믹스 화소로 한다. 이에 의해, 텍스쳐 적응 혼합과 엣지 필터의 처리가, 그 웨이트에 의해 밸런스좋게 합성되기 때문에, 정확한 엣지 믹스 화소를 생성하는 것이 가능하게 된다.

스텝 S249에서, 판별 비교부(194)는, 최대값(c, h, m, r, w)으로 치환된 화소값을 화소 h의 화소값으로서 버퍼(17a)에 저장하고, 그 처리는 스텝 S241로 되돌아가, 모든 화소에 1차원 수직 엣지 강조 처리가 실시되었다고 판정될 때까지 마찬가지의 처리가 반복된다.

다음으로, 도 27의 플로우차트를 참조하여, 1차원 텍스쳐 필터와 엣지 필터 가, B 타입인 경우의 1차원 리프레시 처리에 대하여 설명한다. 또한, 전술한 A 타입과 동일한 처리에 대해서는, 적절하게 설명을 생략한다.

스텝 S242에서, 수직 최대값 최소값 검출부(192)는, 미 처리 화소를 포함한 상하3개의 화소의 화소값을 비교하여 최대값과 최소값을 구한다. 즉, 예를 들면 도 28에 도시한 바와 같이 미처리 화소가 화소 m이던 경우, 그것을 포함시킨 상하의 화소 h, m, r(도 28 중의 점선으로 둘러싸인 3 화소 에리어)의 각 화소값을 판독, 도 31에 도시한 바와 같이 그 중 최대값(h, m, r)과 최소값(h, m, r)을 구한다.

스텝 S243에서, 텍스쳐 필터 처리부(191)는, 도 31에 도시한 3 화소 에리어의 화소 h, m, r에, 도 31에 도시한 것 같은 1차원 텍스쳐 필터 처리를 실시한다. 즉, 1차원 텍스쳐 필터는, (1/4-α_T/2, α_T+1/2, 1/4-α_T/2)(0.5<α_T)라고 한 것으로, 예를 들면 텍스쳐 필터가 전술한 타입 B인 경우, 이하의 수학식 29에 도시한 바와 같은 연산에 의해, 텍스쳐 필터 처리된 화소값 텍스쳐 화소가 요청된다.

스텝 S244에서, 엣지 필터 처리부(193)는, 도 31에 도시한 3 화소 에리어의 화소 h, m, r에, 도 31에 도시한 것과 같은 1차원 엣지 필터 처리를 실시한다. 즉 , 1차원 엣지 필터는, (1/4-α_E/2, α_E+1/2, 1/4-α_E/2)(0.5<α_E)와 같은 것이며, 예를 들면 엣지 필터가 상술한 타입 B인 경우, 이하의 수학식 30에 나타낸 바와 같은 연산에 의해, 엣지 필터 처리된 화소값 엣지 화소가 구해진다.

여기서, 계수 α_E는, 엣지 필터에 의한 엣지의 강조의 정도를 조절하는 계수이다.

스텝 S245에서, 판별 비교부(194)는, 도 31에 도시한 바와 같이 엣지 필터 처리한 화소값 엣지 화소와 최대값(h, m, r)을 비교하여, 엣지 필터 처리한 화소값 엣지 화소가 최대값(h, m, r) 이상인지의 여부를 판정하여, 최대값(h, m, r) 이상이라고 판정한 경우, 스텝 S246에서, 판별 비교부(194)는, 화소값 엣지 화소를 최대값(h, m, r)으로 치환하여, 스텝 S247로 진행한다.

스텝 S245에서, 엣지 필터 처리한 화소값 엣지 화소가 최대값(h, m, r) 이상이 아니라고 판정한 경우, 스텝 S250에서, 판별 비교부(194)는, 엣지 필터 처리한 화소값 엣지 화소와 최소값(h, m, r)을 비교하여, 엣지 필터 처리한 화소값 엣지 화소가 최소값(h, m, r) 이하인지의 여부를 판정하여, 엣지 필터 처리한 화소값 엣지 화소가 최소값(h, m, r) 이하라고 판정한 경우, 스텝 S251에서, 판별 비교부(194)는, 화소값 엣지 화소를 최소값(h, m, r)으로 치환하여, 스텝 S247로 진행한다.

스텝 S250에서, 엣지 필터 처리한 화소값 엣지가 최소값(h, m, r) 이하에서는없다고 판정된 경우, 그 처리는, 스텝 S247로 진행한다.

즉, 스텝 S244의 처리로, 도 31에 도시한 바와 같이 스텝 S244의 처리로 요청된 최대값(h, m, r), 및 최소값(h, m, r)이, 화소 h, m, r이 국소적인 범위의 최대값과 최소값이라고 간주되고, 스텝 S244의 처리로 엣지 필터 처리하여 요청된 화소값이, 그 최소값과 최대값의 범위에 포함되었을 때는, 그대로 보존되어, 최소값(h, m, r) 이하일 때는 화소값이 최소값에, 최대값(h, m, r) 이상일 때는 화소값이 최대값으로 치환되는 (클립핑된다).

예를 들면, 도 30의 실례에 따르면, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)와 최대값(h, m, r)「A」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)가 최대값(h, m, r)「A」 이상이라고 판정되어, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)를 최대값(h, m, r)「A」로 치환한다(도 30의 케이스 1).

한편, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최대값(h, m, r)「A」 이상이 아니라고 판정되고, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)와 최소값(h, m, r)「B」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최소값(h, m, r)「B」 이하라고 판정하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」를 최소값(h, m, r)「B」로 치환한다(도 30의 케이스 1).

이상과 같은 처리에 의해, 국소적인 범위의 최대값(h, m, r)과 최소값(h, m, r)과의 비교가 행해지기 때문에, 도 30의 케이스 1에 도시된 바와 같이, 밝은 곳의 쓸데없는 상승(도 30의 케이스 2)을 억제하면서, 어두운 곳의 과도한 찌부러짐(도 30의 케이스 2)을 회피할 수 있다.

스텝 S245에서, 엣지 근변에 콘트라스트를 더욱 강조하기 위해, 엣지 필터 처리한 화소값 엣지 화소가 최대값(h, m, r) 이상인지의 여부를 판정하여, 최대값(h, m, r) 이상이라고 판정한 경우, 스텝 S246에서, 판별 비교부(194)는, 화소값 엣지 화소를 최대값(h, m, r)으로 치환하지만, 엣지 필터 처리한 화소값 엣지가 최대값(h, m, r) 이상이 아니라고 판정한 경우, 스텝 S250에서, 판별 비교부(194)는, 엣지 필터 처리한 화소값 엣지 화소와 최소값(h, m, r)을 비교하여, 엣지 필터 처리한 화소값 엣지 화소가 최소값(h, m, r) 이하인지의 여부를 판정하고, 엣지 필터 처리한 화소값 엣지 화소가 최소값(h, m, r) 이하라고 판정한 경우에서도, 그 처리는 스텝 S251에서, 판별 비교부(194)는, 화소값 엣지 화소를 최소값(h, m, r)으로 치환하지는 않고, 스텝 S247로 진행한다.

이상과 같은 처리에 의해, 한 쪽의 최대값(h, m, r)과의 비교밖에 행해지지 않기 때문에, 도 30의 케이스 3으로 도시된 바와 같이, 밝은 곳의 쓸데없는 상승을 억제하면서, 어두운 곳의 적절한 강조를 확보할 수 있다.

즉, 스텝 S244의 처리로, 도 31에 도시한 바와 같이 스텝 S244의 처리로 요청된 최대값(h, m, r)이, 화소 h, m, r이 국소적인 범위의 최대값이라고 간주되고, 스텝 S244의 처리로 엣지 필터 처리하여 요청된 화소값이, 그 최대값 이하일 때에 그대로 보존되어, 최대값(h, m, r) 이상일 때는 화소값이 최대값으로 치환된다(한 쪽 클립핑된다).

예를 들면, 도 30의 실례에 따르면, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)와 최대값(h, m, r)「A」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)가 최대값(h, m, r)「A」 이상이라고 판정되어, 엣지 필터 처리한 화소값 엣지 화소 「A'」(도 30의 케이스 2)를 최대값(h, m, r)「A」로 치환한다(도 30의 케이스 3).

한편, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최대값(h, m, r)「A」 이상이 아니라고 판정되고, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)와 최소값(h, m, r)「B」를 비교하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」(도 30의 케이스 2)가 최소값(h, m, r)「B」 이하라고 판정하여, 엣지 필터 처리한 화소값 엣지 화소 「B'」를 최소값(h, m, r)「B」로 치환하지는 않는다(도 30의 케이스 3).

이상과 같은 처리에 의해, 국소적인 범위의 최대값(h, m, r)과의 비교밖에 행해지지 않기 때문에, 도 30의 케이스 3에 도시된 바와 같이, 밝은 곳의 쓸데없는 상승(도 30의 케이스 2)을 억제하면서, 어두운 곳의 적절한 강조를 확보할 수 있다(도 30의 케이스 3).

여기서, 도 5의 처리의 설명으로 되돌아간다.

스텝 S22의 처리에서의, 1차원 수직 이미지 리프레시 처리가 실행되면, 계속해서 스텝 S23에서, 수평 업 샘플링 처리가 실행되어, 또한, 스텝 S24에서 1차원 수평 이미지 리프레시 처리가 실행된다. 또한, 스텝 S23에서의 수평 업 샘플링 처 리, 및 스텝 S24에서의 1차원 수평 이미지 리프레시 처리에 대해서는, 전술한 스텝 S21에서의 수직 업 샘플링 처리, 및 스텝 S22에서의 1차원 수직 이미지 리프레시 처리에서의 처리 방향이 수직방향으로부터 수평 방향에 변할 뿐 이고, 마찬가지의 처리가 실행되는 것으로 되기 때문에, 그 설명은 생략한다.

이상과 같이 하여, 화상의 해상도를 임의의 배율로 변경할 수 있다. 이 경우, 예를 들면 화상을 6배에 확대할 때, 업 샘플링 처리를 2회 반복하고, 4배의 화상을 얻은 후, 3/ 2배의 종래 확대 처리를 행할 수도 있고, 업 샘플링 처리를 3회 반복하고, 8배의 화상을 얻은 후, 3/ 4배의 종래 축소 처리를 행할 수도 있다.

또한, 도 27의 플로우차트를 참조하여 설명한 바와 같이, 1차원 이미지 리프레시 처리는, 엣지와 텍스쳐를 방향의 분포 정보의 해석 결과에 기초하여, 식별되어, 엣지에 대해서는, 필터 처리와 클립핑 혹은 한 쪽 클립핑 처리를 실시하여, 텍스쳐에 대해서는, 필터 처리만을 실시한다고 한 바와 같이 처리 내용을 나누고, 각각에 대응한 적절한 처리를 실시하는 것이 가능하게 된다. 또한, 한 쪽 클립핑 처리인 경우, 도 30의 실례로 도시된 바와 같이, 밝은 곳의 쓸데없는 상승을 억제하면서, 어두운 곳의 적절한 강조를 확보할 수 있기 때문에, 엣지의 근변에 콘트라스트가 적절한 개선이 가능하게 된다.

또한, 도 6의 플로우차트를 참조하여 설명한 바와 같이, 방향 보간에서의 방향을 방향성 분포와 방향 보간에서의 분포를 이용함으로써, 정확하게 판단하는 것이 가능하게 된다. 또한, 방향성 분포과, 그 방향성 분포에 기초하여 이루어진 경사 보간에 의해서 요청되는 화소값과, 선형 보간된 화소값을, 방향성 분포에 기초 하여 가중하여 선형합으로서 보간 화소를 합성하여, 생성함으로써, 정확하게 화소값을 보간하는 것이 가능하게 된다.

도 32는, 종래의 처리에 의해 생성된 화상이며, 도 33은, 본 발명을 적용하고 생성된 화상이다. 도면 중의 중앙에 수평 방향으로 동심원 형상의 모양의 중심부가 3개 배치되어 있다. 각각의 중심 위치를 통하여, 또한 도면 중 수평 방향 또는 수직 방향에 45°를 이루는 각으로 직선을 그었을 때의, 직선의 교점 부근의 화상에 주목하면, 본 발명을 적용한 화상에서는, 모양에 파탄이 발생하지 않고, 동심원 형상의 모양이 충실히 표현되어 있는 것을 안다. 즉, 본 발명을 적용하여 화상을 생성함으로써, 선명한 화상이 표현할 수 있는 것이 표시되어 있다고 할 수 있다.

결과적으로, 화상의 해상도를 변환함으로써 발생하는 화상 상의 에러를 억제할 수 있어, 선명한 변환 화상을 생성하는 것이 가능하게 된다.

또한, 이상의 예에서는, 수직 방향만의 확대하는 경우에 대해 설명해 왔지만, 수평 방향과 수직 방향 양쪽, 혹은 수평 방향, 및 수직 방향 어느 한 방향만을 확대하도록 하여도 된다. 이 때, 수직 방향에만 확대하는 처리는, 인터레이스 화상으로부터 프로그레시브 화상으로 변환하는, 소위 IP 변환과 마찬가지의 처리로 되기 때문에, 본 발명은, IP 변환에도 응용하는 것이 가능하다. 또한, 실제의 처리에 대해서는, 전술로 설명한 처리에서의 수평 방향, 또는 수직 방향 중 어느의 확대율을 1로 했을 때의 처리로서도 좋고, 또는 수평 방향, 또는 수직 방향 중 어느 한 쪽의 처리를 스킵함으로써 실현되므로, 그 설명은 생략한다.

또한, 수직 방향 업 샘플링 후 수평 업 샘플링을 행하는 흐름이 제안되었지만, 수평 업 샘플링 후 수직 방향 업 샘플링을 행하는 역의 순서로 확대하도록 하여도 된다.

또한, 전술된 바와 같이, 도 4, 또는, 도 5로 나타낸 바와 같이, 줌 처리, 또는, 줌 업 처리에서, 업 샘플링 처리를 행한 후에, 1차원 수직 이미지 리프레시 처리가 실행되어 있지만, 수직 업 샘플링 처리를 행하는 전에, 1차원 수직 이미지 리프레시 처리가 실행됨으로써, 1차원 수직 이미지 리프레시 처리는, 화소수가 확대되기 전의 원화상의 화소수에서의 처리를 실행하는 것만으로 완료되기 때문에, 그 만큼 계산 처리량을 저감시킬 수 있어, 처리를 경감하는 것이 가능하게 된다.

또한, 이상의 예에서는, 업 샘플링과 이미지 리프레시 처리의 조합에 대하여 설명하여 왔지만, 업 샘플링만, 혹은 이미지 리프레시만 어느 하나만을 이용하여도 된다. 예를 들면, HDTV(High Definition Television)의 신호의 화소수를 패널 사이즈에 맞추는 것이 필요하지 않은 경우, 업 샘플링 처리를 행하지 않고, 계산된 방향 분포 정보의 해석 결과를 이용한 엣지·텍스쳐 적응형 정밀감 개선 처리, 이미지 리프레시를 실시하는 것만으로 된다.

또한, 이상으로 예에서는, 종래의 보간 방법으로서 선형 보간을 이용한 예에 대하여 설명하여 왔지만, 종래의 보간 방법에 대해서는, 선형 보간에 한한 것은 아니고, 예를 들면 4 화소 이상의 복수의 화소를 이용한 Spline 보간 방법, Lanczos 보간 방법, 또는, 큐빅 보간 방법 등이어도 된다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어 에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되고 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능하다, 예를 들면 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.

도 34는, 도 1에 도시한 기능 블록을 갖는 화상 처리 장치(2)의 하드웨어의 구성 예를 나타내고 있다. CPU(Central Processing Unit)(311)는, ROM(Read Only Memory)(312)에 기억되어 있는 프로그램, 또는 기억부(318)로부터 RAM(Random Access Memory)(313)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(313)에는 또한, CPU(311)가 각종 처리를 실행하는 데에 있어 필요한 데이터 등도 적절하게 기억된다.

CPU(311), ROM(312), 및 RAM(313)은, 버스(314)를 통하여 서로 접속되어 있다. 이 버스(314)에는 또한, 입출력 인터페이스(315)도 접속되어 있다.

입출력 인터페이스(315)에는, 키보드, 마우스 등으로 이루어지는 입력부(316), CRT, LCD 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(317), 하드디스크 등으로 구성되는 기억부(318), 모뎀, TA등으로 구성되는 통신부(319)가 접속되어 있다. 통신부(319)는, 인터넷 등에 대표되는 네트워크를 통한 통신 처리를 행한다.

입출력 인터페이스(315)에는, 또한, 필요에 따라 드라이브(320)가 접속되어, 자기 디스크(331), 광 디스크(332), 광 자기 디스크(333), 혹은 반도체 메모리 (334) 등이 적절하게 장착되어, 이들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(318)에 인스톨된다.

이 기록 매체는, 도 34에 도시한 장치로는, 컴퓨터와는 별도로, 유저에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(331)(플렉시블 디스크를 포함함), 광 디스크(332)(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)을 포함함), 광 자기 디스크(333)(MD(Mini-Disc)를 포함함), 혹은 반도체 메모리(334) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 장치에 미리 조립된 상태에서 유저에게 제공되는, 프로그램이 기록되어 있는 ROM(312)이나, 기억부(318)에 포함되는 하드디스크 등으로 구성된다.

또한, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서을 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별적으로 실행되는 처리를 포함하는 것이다.

본 발명에 따르면, 보간하는 화소의 엣지의 방향을 정확하게 파악할 수가 있어, 보다 정확한 보간 화소를 생성하는 것이 가능하게 되는 것에 가하여, 엣지와 텍스쳐가 정밀한 분리를 행할 수도 있어, 보다 적절한 적응강조 처리를 실시하는 것이 가능하게 된다.

Claims

원화상의 공간 해상도를 수직 방향과 수평 방향 중 어느 한 쪽, 또는 그 양방향을 각각 Z배(Z는 실수)함으로써 변환하는 화상 처리 장치에서,

통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 경사 웨이팅 설정 수단과,

상기 경사 웨이팅 설정 수단에 의해 설정된 상기 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 상기 통계 경사 보간 화소를 합성하여 합성 보간 화소를 상기 주목 화소 위치의 화소로서 생성하는 합성 보간 수단과,

상기 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하는 엣지 강도 정보 생성 수단과,

상기 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성하는 텍스쳐 강도 정보 생성 수단과,

상기 텍스쳐 강도 정보 생성 수단에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 상기 주목 화소 위치의 합성 보간 화소와, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 상기 텍스쳐 화소를 합성하여 텍스쳐 믹스 화소를 생성하는 텍스쳐 적응 혼합 수단과,

상기 엣지 강도 정보 생성 수단에 의해 생성된 엣지의 강도 정보에 기초하여, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 텍스쳐 믹스 화소와, 상기 주목 화소에 필터링을 함에 의해 생성되는 엣지 화소를 합성하여 엣지 믹스 화소를 상기 주목 화소 위치의 화소로서 생성하는 엣지 적응 혼합 수단

을 포함하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 주목 화소 위치에 대응하는 복수의 화소의 기울기 방향성 분포과, 상기 신뢰도에 기초하여, 가장 신뢰도가 높은 상기 주목 화소 위치의 기울기를 선택하는 기울기 선택 수단과,

상기 기울기 선택 수단에 의해 선택된 기울기에 기초하여, 상기 주목 화소 위치의 통계 경사 보간 화소를 보간하여 생성하는 통계 경사 보간 수단을 더 구비하며,

상기 경사 웨이팅 설정 수단은, 상기 통계 경사 보간 수단에 의해 보간되어 생성된, 통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 그 밖의 보간은, 상기 주목 화소 위치의 상하, 또는, 좌우의 화소를 이용한 보간에 의해 상기 주목 화소 위치의 보간 화소를 보간하여 생성하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 엣지의 유무에 기초하여, 주목 화소 위치를 포함하는, 상기 주목 화소 위치에 대응하는 복수의 화소 위치의 엣지의 방향을 판별하는 방향 판별 수단과,

상기 방향 판별 수단에 의해 판별된 상기 주목 화소에 대응하는 복수의 화소 위치의 상기 엣지의 방향에 기초하여, 상기 주목 화소 위치에 대응하는 복수의 화소 위치의 엣지 방향 보간 화소를 보간하여 생성하는 엣지 방향 보간 수단을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 엣지 방향 보간 수단에 의해 보간되어 생성된 엣지 방향 보간 화소의 신뢰도를 레이팅하는 신뢰도 레이팅 수단을 더 구비하고,

상기 엣지 강도 정보 생성 수단은, 상기 신뢰도 레이팅 수단에 의해 레이팅된 신뢰도에 기초하여, 상기 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하고,

상기 텍스쳐 강도 정보 생성 수단은, 상기 신뢰도 레이팅 수단에 의해 레이팅된 신뢰도에 기초하여, 상기 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성하는 것을 특징으로 하는 화상 처리 장치.
제4항에 있어서,

상기 신뢰도 레이팅 수단은, 상기 엣지 방향 보간 수단에 의해 보간된 엣지 방향 보간 화소의 국소적 구조의 정합성을 판정하고, 상기 정합성의 판정 결과에 기초하여, 상기 엣지 방향 보간 수단에 의해 보간된 엣지 방향 보간 화소의 신뢰도를 레이팅하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서,

상기 합성 보간 수단은, 상기 경사 웨이팅 설정 수단에 의해 설정된 상기 웨이트에 대응하는 계수를 이용하여, 상기 그 밖의 보간에 의해 생성된 상기 보간 화소와 상기 기울기 통계 경사보 수단에 의해 생성된 상기 통계 경사 보간 화소의 선형합을 산출함에 의해 합성하여 합성 보간 화소를 상기 주목 화소로서 생성하는 것을 특징으로 하는 화상 처리 장치.
원화상의 공간 해상도를 수직 방향과 수평 방향 중 어느 한 쪽, 또는 그 양방향을 각각 Z배(Z는 실수)함으로써 변환하는 화상 처리 장치의 화상 처리 방법에서,

통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트를 설정하는 경사 웨이팅 설정 스텝과,

상기 경사 웨이팅 설정 스텝의 처리에 의해 설정된 상기 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 상기 통계 경사 보간 화소를 합성하여 합성 보간 화소를 상기 주목 화소 위치의 화소로 서 생성하는 합성 보간 스텝과,

상기 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보를 생성하는 엣지 강도 정보 생성 스텝과,

상기 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보를 생성하는 텍스쳐 강도 정보 생성 스텝과,

상기 텍스쳐 강도 정보 생성 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 상기 주목 화소 위치의 합성 보간 화소와, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 상기 텍스쳐 화소를 합성하여 텍스쳐 믹스 화소를 생성하는 텍스쳐 적응 혼합 스텝과,

상기 엣지 강도 정보 생성 스텝의 처리에 의해 생성된 엣지의 강도 정보에 기초하여, 상기 주목 화소에 텍스쳐 필터를 거는 것에 의해 생성되는 텍스쳐 믹스 화소와, 상기 주목 화소에 필터링을 함에 의해 생성되는 엣지 화소를 합성하여 엣지 믹스 화소를 상기 주목 화소 위치의 화소로서 생성하는 엣지 적응 혼합 스텝

을 포함하는 것을 특징으로 하는 화상 처리 방법.
원화상의 공간 해상도를 수직 방향과 수평 방향 중 어느 한 쪽, 또는 그 양방향을 각각 Z배(Z는 실수)함으로써 변환하는 화상 처리 장치를 제어하는 컴퓨터의 프로그램으로서,

통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트의 설정을 제어하는 경사 웨이팅 설정 제어 스텝과,

상기 경사 웨이팅 설정 제어 스텝의 처리에 의해 설정된 상기 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 상기 통계 경사 보간 화소를 합성하여 합성 보간 화소의 상기 주목 화소 위치의 화소로서의 생성을 제어하는 합성 보간 제어 스텝과,

상기 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 엣지 강도 정보 생성 제어 스텝과,

상기 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 텍스쳐 강도 정보 생성 제어 스텝과,

상기 텍스쳐 강도 정보 생성 제어 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 상기 주목 화소 위치의 합성 보간 화소와, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 상기 텍스쳐 화소와의 합성에 의한 텍스쳐 믹스 화소의 생성을 제어하는 텍스쳐 적응 혼합 제어 스텝과,

상기 엣지 강도 정보 생성 제어 스텝의 처리에 의해 생성된 엣지의 강도 정보에 기초하여, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 텍스쳐 믹스 화소와, 상기 주목 화소에 필터링을 함에 의해 생성되는 엣지 화소와의 합성에 의한 엣지 믹스 화소의 상기 주목 화소 위치의 화소로서의 생성을 제어하는 엣지 적응 혼합 제어 스텝

을 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램이 기록되어 있는 기록 매체.
원화상의 공간 해상도를 수직 방향과 수평 방향 중 어느 한 쪽, 또는 그 양방향을 각각 Z배(Z는 실수)함으로써 변환하는 화상 처리 장치를 제어하는 컴퓨터에 실행시키는 프로그램으로서,

통계적으로 주목 화소 위치의 가장 신뢰도가 높은 기울기에 기초하여, 보간 생성되는 통계 경사 보간 화소의 웨이트의 설정을 제어하는 경사 웨이팅 설정 제어 스텝과,

상기 경사 웨이팅 설정 제어 스텝의 처리에 의해 설정된 상기 통계 경사 보간 화소의 웨이트에 기초하여, 그 밖의 보간에 의해 생성된 그 밖의 보간 화소와 상기 통계 경사 보간 화소를 합성하여 합성 보간 화소의 상기 주목 화소 위치의 화소로서의 생성을 제어하는 합성 보간 제어 스텝과,

상기 주목 화소 위치의 엣지의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 엣지 강도 정보 생성 제어 스텝과,

상기 주목 화소 위치의 텍스쳐의 강도를 정량적으로 평가하는 정보의 생성을 제어하는 텍스쳐 강도 정보 생성 제어 스텝과,

상기 텍스쳐 강도 정보 생성 제어 스텝의 처리에 의해 생성된 텍스쳐의 강도 정보에 기초하여, 상기 주목 화소 위치의 합성 보간 화소와, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 상기 텍스쳐 화소와의 합성에 의한 텍스쳐 믹스 화소의 생성을 제어하는 텍스쳐 적응 혼합 제어 스텝과,

상기 엣지 강도 정보 생성 제어 스텝의 처리에 의해 생성된 엣지의 강도 정 보에 기초하여, 상기 주목 화소에 텍스쳐 필터링을 함에 의해 생성되는 텍스쳐 믹스 화소와, 상기 주목 화소에 필터링을 함에 의해 생성되는 엣지 화소와의 합성에 의한 엣지 믹스 화소의 상기 주목 화소 위치의 화소로서의 생성을 제어하는 엣지 적응 혼합 제어 스텝

을 포함하는 처리를 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램.