KR101091217B1 - 화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체 - Google Patents

화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR101091217B1
KR101091217B1 KR1020040103970A KR20040103970A KR101091217B1 KR 101091217 B1 KR101091217 B1 KR 101091217B1 KR 1020040103970 A KR1020040103970 A KR 1020040103970A KR 20040103970 A KR20040103970 A KR 20040103970A KR 101091217 B1 KR101091217 B1 KR 101091217B1
Authority
KR
South Korea
Prior art keywords
image
resolution
amount
decimation
image signal
Prior art date
Application number
KR1020040103970A
Other languages
English (en)
Other versions
KR20050056894A (ko
Inventor
고바야시세이지
오야이즈히데끼
히라사와야스따까
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2003412499A external-priority patent/JP4379100B2/ja
Priority claimed from JP2003412500A external-priority patent/JP4761102B2/ja
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20050056894A publication Critical patent/KR20050056894A/ko
Application granted granted Critical
Publication of KR101091217B1 publication Critical patent/KR101091217B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)

Abstract

촬상부 또는 화상 입력부는, 출력부가 프레임 레이트 F 및 (x×y) 화소의 해상도로 동작할 수 있을 때, 화상을 프레임 레이트 F 및 (ix×jy) 화소의 해상도를 가진 내부 데이터 형식의 촬상 프레임으로 변환한다. 화상 변환부는, 촬상부 또는 화상 입력부로부터 공급된 촬상 프레임의 해상도를 출력부가 표시할 수 있는 해상도로 변환하여, (x×y) 화소를 가진 출력 프레임을 생성한다. 이때, 화상 변환부는 소정의 크기를 각각 가진 블록들에 의한 화상의 이동 속도에 기초하여 소정의 해상도 변환을 수행한다. 따라서, 출력 프레임 화상의 관측자가 출력 프레임의 실제 해상도를 초과하는 해상도로 화상을 인식할 수 있는 시각 효과가 달성된다.
프레임 메모리, 공간 데시메이션 처리부, 촬상 소자

Description

화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체{IMAGE PROCESSING METHOD AND APPARATUS, AND COMPUTER READABLE RECORDING MEDIUM}
도 1은 블로크의 법칙(Bloch's law)을 설명하는 도면.
도 2a 내지 도 2c는 해상도 변환 처리의 원리를 설명하는 도면.
도 3은 샘플링 위치를 설명하는 도면.
도 4는 에일리어싱 성분을 설명하는 도면.
도 5는 에일리어싱 성분의 위상의 변화를 설명하는 도면.
도 6은 에일리어싱 성분의 위상의 변화를 설명하는 다른 도면.
도 7은 에일리어싱 성분의 위상의 변화를 설명하는 다른 도면.
도 8은 에일리어싱 성분의 위상의 변화를 설명하는 다른 도면.
도 9는 에일리어싱 성분의 위상의 변화를 설명하는 다른 도면.
도 10은 에일리어싱 성분의 위상의 회전 간격을 설명하는 도면.
도 11은 에일리어싱 성분의 위상의 회전 간격을 설명하는 다른 도면.
도 12는 에일리어싱 성분을 설명하는 다른 도면.
도 13은 에일리어싱 성분의 위상의 회전 간격을 설명하는 다른 도면.
도 14는 초해상도 효과를 얻기 위한 에일리어싱 성분의 위상을 설명하는 도면.
도 15는 초해상도 효과(super-resolution effect)를 얻을 수 없는 속도 범위를 도시하는 도면.
도 16은 초해상도 효과를 얻을 수 없는 속도 범위를 도시하는 다른 도면.
도 17은 초해상도 효과를 얻을 수 없는 속도 범위를 도시하는 다른 도면.
도 18은 본 발명을 적용한 촬상 장치의 구성예를 도시하는 블록도.
도 19는 도 18의 이동량 검출부 및 해상도 변환부의 구성예를 도시하는 블록도.
도 20은 도 18의 해상도 변환부의 동작을 설명하는 도면.
도 21은 초해상도 효과를 얻을 수 있는 경우의 화상의 이동 속도와 데시메이션량의 관계를 도시하는 도면.
도 22는 초해상도 효과를 얻을 수 있는 경우의 화상의 이동 속도와 데시메이션량의 관계를 도시하는 다른 도면.
도 23은 도 19의 화상 변환부의 동작을 설명하는 흐름도.
도 24a와 도 24b는 본 발명을 적용한 다른 촬상 장치의 구성예를 도시하는 블록도.
도 25는 퍼스널 컴퓨터의 구성예를 도시하는 블록도.
<도면의 주요 부분에 대한 부호의 설명>
1 : 촬상 장치
11 : 촬상부
12 : 화상 변환부
13 : 출력부
21 : 이동량 검출부
22 : 해상도 변환부
31, 33, 43 : 프레임 메모리
32 : 지연 회로
34 : 블록 매칭 회로
41 : 공간 필터 처리부
42 : 공간 데시메이션 처리부
44 : 제어부
51 : 촬상 소자
52 : 출력부
61 : 수광부
62 : 이동량 검출부
63 : 해상도 변환부
본 발명은, 촬상 장치 및 방법, 및 프로그램에 관한 것이다. 보다 구체적으로, 본 발명은 화상이 출력되기 이전에 이동량에 기초하여 화상의 해상도가 소정 사이즈의 각 블럭에서 변환되는 촬상 장치 및 방법, 및 프로그램에 관한 것이다.
최근의 디지털 비디오 카메라는, 주로 고정밀한 정지 화상을 촬영하는 것을 목적으로 하여, 동화상의 기록 해상도보다 높은 해상도의 촬상 소자가 탑재되어 있다. 이러한 디지털 비디오 카메라에서는, 동화상을 기록할 때 촬상 해상도로부터 기록 해상도로의 변환이, 즉 해상도의 저감이 필요해진다.
CCD(Charge Coupled Device) 촬상 소자나, CMOS(Complementary Metal Oxide Semiconductor) 촬상 소자 등의 고체 촬상 소자에서 해상도를 저감시키는 방법으로서는, 구동 방법을 제어함으로써 촬상 해상도를 데시메이션하여 판독하는 방법이나, 일본 특허 공개공보 평11-331706호 및 일본 특허 공개공보 2003-78919호 공보와 같이 복수의 화소의 신호를 가산하여 판독하는 방법이 알려져 있다.
또 CCD 촬상 소자나 CMOS 촬상 소자는, 고속 구동될 때 촬상을 높은 프레임 레이트로 할 수 있는 것이 알려져 있다.
디스플레이에 표시된 화상의 관측자가 화상의 실제 해상도를 초과하는 해상도로 화상을 인식할 수 있게 하는 방법으로서, 일본 특허 공개공보 평6-18836호에 개시된 제1 방법에 따르면, 복수의 액정 소자가 사용되고, 화상들은 하프 미러(half mirrors) 등을 이용하여 광학적으로 위치를 이동하면서 조합된다. 일본 특허 공개공보 평6-324320호에 개시된 제2 방법에 따르면, 소위 워블링(wobbling)이라는 것이 수행되어, 즉, 액정 소자들로부터 인입되는 광의 광축이 광학적으로 진동되어 화소 위치를 이동시킨다. 표시되는 화상의 실제 해상도를 초과하는 해상도로 관측자가 화상을 인식하는 것이 이하 초해상도 효과(super-resolution effect)로서 참조된다.
그러나 데시메이션에 의한 해상도 변환은, 샘플링 레이트의 저하를 초래하고, 이에 따른 에일리어싱을 초래하여, 동화상 화질이 저하하게 된다. 또한, 화소 가산에 의한 해상도 변환은, 출력 해상도에 의해 해상도를 제한한다.
전술된 제1 방법에서는, 고 해상도를 달성하기 위해, 복수의 표시 소자, 및 상기 복수의 표시 소자로부터 출력되는 광을 조합하기 위한 복수의 광 소자가 요구된다. 따라서, 장치의 비용이 높고, 구조가 복잡하며, 간편한 설계가 곤란하게 된다.
전술된 제2 방법에서는, 고 해상도를 달성하기 위해, 광축을 광학적으로 이동하기 위한 광 소자가 요구된다. 이러한 것은 워블링을 위한 광 소자로 인해 비용을 증가시키게 되고, 복잡한 구동 방법을 요구하게 된다.
본 발명은 이러한 상황을 감안하여 이루어진 것이다. 본 발명에 따르면, 동화상을 출력할 때에 적응적인 신호 처리를 행함으로써, 출력 화상의 관측자가, 해상도 저감에 의한 화질 열화를 인식하지 않도록, 입력 화상을 출력 화상으로 변환할 수 있다.
본 발명의 일 면에 따르면, 화상 처리 방법이 제공된다. 이러한 화상 처리 방법은, 제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 단계와; 화상 입력 단계에서 입력된 화상 신호를, 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 단계와; 제2 해상도를 갖는 화상 신호에 대응하는 화상을 소정의 프레임 레이트로 출력하는 출력 단계를 포함한다. 해상도 변환 단계는, 화상 입력 단계에서 입력된 화상 신호에 대응하는 화상 중 적어도 일부 영역의 이동량을 검출하고, 검출된 이동량에 기초하여 영역의 해상도 변환을 행한다.
본 발명의 다른 면에 따르면, 화상 처리 방법이 제공된다. 이러한 화상 처리 방법은, 제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 단계와; 화상 입력 단계에서 얻어진 화상 신호를, 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 단계와; 제2 해상도를 갖는 화상 신호에 대응하는 화상을 소정의 프레임 레이트로 출력하는 출력 단계를 포함한다. 해상도 변환 단계는, 화상 입력 단계에서 얻어진 화상 신호를 복수의 영역으로 분할하여 그 영역마다의 이동량을 검출하고, 검출된 이동량에 기초하여 각 영역의 공간 데시메이션량을 설정하며, 화상 입력 단계에서 얻어진 화상 신호의 각 영역에 대하여 공간 필터 처리를 실시한 후에, 설정된 공간 데시메이션량에 기초하여 각 영역마다 공간 데시메이션 처리를 행한다
본 발명의 다른 면에 따르면 화상 처리 장치가 제공된다. 이러한 화상 처리 장치는, 제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 수단과; 화상 입력 수단에 의해 얻어진 화상 신호를, 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 수단과; 제2 해상도를 갖는 화상 신호를 소정의 프레임 레이트로 출력하는 출력 수단을 포함한다. 해상도 변환 수단은, 화상 입력 수단에 의해 얻어진 화상 신호에 대응하는 화상의 적어도 일부 영역에서 이동량을 검출하는 이동량 검출부와; 검출된 이동량에 기초하여 영역의 해상도 변환을 행하는 해상도 변환부를 갖는다.
본 발명의 다른 면에 따르면, 화상 처리 장치가 제공된다. 이러한 화상 처리 장치는, 제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 수단과; 화상 입력 수단에 의해 얻어진 화상 신호를, 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 수단과; 제2 해상도를 갖는 화상 신호를 소정의 프레임 레이트로 출력하는 출력 수단을 포함한다. 해상도 변환 수단은, 화상 입력 수단에 의해 얻어진 화상 신호를 복수의 영역으로 분할하여 영역마다 이동량을 검출하는 이동량 검출부와; 검출된 이동량에 기초하여 각 영역에 대해 공간 데시메이션량을 설정함과 함께, 화상 입력 수단에 의해 얻어진 회상 신호의 각 영역에 대하여 공간 필터 처리를 실시한 후에, 각 영역에 대해 설정된 공간 데시메이션량에 기초하여 영역마다 공간 데시메이션 처리를 행하는 해상도 변환부를 포함한다.
본 발명의 다른 면에 따르면, 화상 프로그램이 제공된다. 이러한 화상 프로그램은, 제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 단계와; 화상 입력 단계에서 입력된 화상 신호를 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 단계와; 제2 해상도를 갖는 화상 신호에 대응하는 화상을 소정의 프레임 레이트로 출력하는 출력 단계를 포함한다. 해상도 변환 단계는, 화상 입력 단계에서 입력된 화상 신호에 대응하는 화상 중 적어도 일부 영역의 이동량을 검출하고, 검출된 이동량에 기초하여 영역의 해상도 변환을 행한다.
본 발명에 따르면, 재생된 출력 화상의 관측자가 출력 화상을 최대 출력 해상도를 초과하는 해상도로 인식하도록, 포착된 화상을 출력 화상으로 변환할 수 있다.
<실시예>
이제, 본 발명의 실시예가 설명될 것이다. 본 명세서에 기재된 본 발명 양상은 예를 들어 이하 설명되는 바와 같은 본 발명의 실시예와 대응한다.
이러한 설명은 본 명세서에 기재되어 있는 발명을 서포트하는 실시예가 본 명세서에 기재되어 있는 것을 확인하기 위한 것이다.
따라서, 발명의 실시예 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 본 명세서에는 기재되어 있지 않은 실시예가 있다고 해도, 그것은 그 실시예가, 그 발명에 대응하지 않는다는 것을 의미하는 것은 아니다.
반대로, 실시예가 발명에 대응하는 것으로서 여기에 기재되어 있다고 해도, 그것은 그 실시예가, 그 발명 이외의 발명에는 대응하지 않는다는 것을 의미하는 것은 아니다.
또한, 이 기재는, 본 명세서에 기재되어 있는 발명 모두를 의미하는 것은 아니다. 즉, 이 기재는, 본 명세서에 기재되어 있는 발명으로써, 이 출원에서는 청구되어 있지 않은 발명의 존재, 즉, 분할 출원되거나, 보정에 의해 나타나거나 추가되는 발명의 존재를 부정하는 것은 아니다.
본 발명의 실시예에 따른 촬상 소자에서, 촬상에 의해 포착된 동화상은 출력되기 이전에 출력 해상도를 갖는 화상으로 변환된다. 그때, 해상도는 특정 시각 특성에 기초하는 초해상도 효과를 이용하여 변환되어, 관측자는 해상도의 변환에 기인하는 화질 저하를 인식하지 못할 것이다.
본 발명의 실시예에 따른 화상 표시 소자에서, 입력 화상은 입력 화상의 해 상도보다 낮은 해상도를 갖는 표시 화상으로 변환되어 표시된다. 그 때, 해상도는 특정 시각 특성에 기초하여 변환되어, 관측자가 표시 화상의 해상도를 초과하는 해상도로 화상을 인식하게 되는 초해상도 효과가 달성된다.
먼저, 시각 특성 및 초해상도 효과가 설명될 것이다.
사람의 시각은, 받은 광의 자극의 총합이 임의의 임계값이 되었을 때 광을 인식하는 기능(이하, 시간적 적분 기능이라고 칭함)을 갖고 있다. 즉 광의 인식은, 광의 자극이 제시되는 기간에 광 자극의 분포 상태에 관계없이, 시간적으로 적분된 광의 총합에 기초한다. 또한 광을 인식할 수 있는 자극의 임계값은, 자극의 제시 시간이 길어짐에 따라서 작아지고, 제시 시간이 짧아짐에 따라 커진다.
이 관계는, 블로크의 법칙(Bloch's law)으로서 알려져, 이하의 식이 성립하며, I는 자극의 임계 강도이고, T는 자극의 제시 시간이고, k는 상수이다.
I ×T = k
또한 이 관계는, 횡축을 자극 제시 시간 T로 하고, 종축을 임계 강도 I로 하는, 도 1에 도시한 바와 같이 나타낼 수 있다. 도 1에 도시된 곡선은, 임계값 제시 시간 곡선으로서 알려져 있다.
도 1의 임계값 제시 시간 곡선에 따르면, 강도 Ia의 광 임펄스가 시간 Ta 동안 제시된 경우와, Ia의 1/n의 강도인 강도 Ib의 광이 Ta의 n 배인 시간 Tb 동안 연속하여 제시된 경우에는, 사람은 동일한 밝기로 느끼게 된다.
또, 자극의 제시 시간인 특정 시간(도 1의 예에서는 시간 TL)까지는, 블로크의 법칙이 성립하지만(시간 TL까지는 우측으로 내려가는 직선이 되지만), 시간 TL 이후에는, 임계값이 자극의 강도에만 의존하게 된다(임계값이 제시 시간에 따라 변화하지 않는다). 임계 제시 시간 곡선은 꺽인 선으로 표시된다.
블로크의 법칙이 성립하는 최대의 자극 제시 시간 TL은, 임계 제시 시간이라고 불리고 있다.
이 시간 TL은, 배경광의 강도 등의 자극 제시 조건에 의해서 변화하지만, 대개 25㎳ 내지 100㎳라고 하는 보고가 있다.
블로크의 법칙의 상세에 대해서는, 예를 들면 "시각 정보 처리 핸드북, 일본 시각 학회편, pp.219-220" 등에 기재되어 있다.
또한, 사람의 시각은 자극을 인식하면, 그 자극을, 그 자극의 제시가 종료한 후에도 임의의 시간 기억한다는 기능(이하, 감각 기억 기능이라고 칭함)을 갖고 있다. 이 시간에 대해서는, 10㎳ 내지 200㎳라는 보고가 다수되어 있다. 이 기능은, 아이코닉 메모리라든가 시각적 지속 등이라고도 하며, 예를 들면 "시각 정보 핸드북, 일본 시각 학계편, pp.229-230" 등에 기재되어 있다.
다음으로, 시각 특성에 기초하여 달성되는 초해상도 효과에 대하여 설명한다.
본 실시예에서, 초해상도 효과는, 관측자가, 임의의 시간 내에 복수의 화상이 가산된 것을 인식한다는 시각 특성을 이용하고 있다. 이것은 상기한 시간적 적분 기능 및 감각 기억 기능이 복잡하게 관계하여 야기되어 있다고 고려될 수 있다. 그러나, 이하의 설명에서는 시간적 적분 기능에 의한 것으로 고려한다.
예를 들면, 수평 방향으로 이동하는 피사체를, 소정의 프레임 레이트(이하, 입력 화상 프레임 레이트라고 칭함) 및 소정의 샘플링 레이트(이하, 입력 화상 샘플링 레이트라고 칭함)로 촬영하면, 도 2a에 도시한 바와 같이, 피사체상 Wa가, 속도 v(픽셀/프레임)로, 우측 방향(X축 방향)으로 이동하는 입력 프레임 Fa가 얻어진다. 도 2a에는, 연속하는 입력 프레임 Fa1 내지 Fa4가 도시되어 있다.
이와 같이 얻어진 입력 프레임 Fa를, X축 방향(피사체상 Wa의 이동 방향)으로, 입력 화상 샘플링 레이트의, 1/m의 샘플링 레이트(이하, 표시 화상 샘플링 레이트라고 칭함)로 샘플링된다. 즉, 입력 프레임 Fa가 데시메이션량 m으로 데시메이션 처리된다. 도 2a의 경우, 입력 프레임 Fa가 데시메이션량 4로 데시메이션 처리되고 있기 때문에, 도 2b에 도시한 바와 같이, X축 방향의 해상도가 1/4로 된(즉, X축 방향에 대해, 보다 거칠거나, 또는 화질이 열화됨) 표시 프레임 Fb가 얻어진다. 표시 프레임 Fb에는, 입력 프레임 Fa의 피사체상 Wa가 데시메이션량 4로 데시메이션 처리된 화상(이하, 표시 피사체상 Wb라고 칭함)이 포함되어 있다.
그리고 이와 같이 얻어진 표시 프레임 Fb를, 소정의 프레임 레이트(이하, 표시 화상 프레임 레이트)로 표시한다. 그 결과 관측자는, 상술한 시간적 적분 기능에서의 적분 시간 내에 표시된 복수의 표시 프레임 Fb의 적분 화상을 인식한다.
여기서 관측자의 시선은 표시 프레임 Fb에서 표시 피사체상 Wb를 추종하고 있는 것으로 가정한다. 이 경우 관측자의 시점은, 항상 표시 피사체상 Wb의 중심에 위치하기 때문에, 관측자의 망막 위의 표시 피사체상 Wb는 거의 정지하고 있다.
도 2b에서, 좌표축 Vx, Vy는, 망막 위의 좌표를 나타내고, 좌표축 X, Y는, 프레임 위의 좌표를 나타내고 있다. (이들은 모두, 도 2b에서 표시 프레임 Fb1 위에 나타내고 있지만, 표시 프레임 Fb2 내지 Fb4에 대해서는 그 도시는 생략되어 있다). 좌표축 Vx, Vy는, 망막에는 실상의 반전상이 결상하기 때문에, 좌표계의 방향은 좌표축 X, Y와 반대로 되어 있다.
또한, 표시 프레임 Fb는 도 3에 점선들로 표시된 바와 같이, 프레임들의 사전설정된 위치들, 본 예에서 4 화소 간격들로 샘플링된다. 따라서, 이동량이 샘플링 간격의 정수배가 아닌 경우, 샘플링되는 피사체상 Wa의 위치는 프레임마다 v씩 어긋나기 때문에, 표시 프레임 Fb의 각 표시 피사체상 Wb는 피사체상 Wa의 샘플링 위치의 편차에 따른 부분들로 형성된다.
예를 들면, 피사체상 Wa의 이동 속도 v가, 1 픽셀/프레임인 경우, 프레임 간의 이동량 즉, 1 픽셀이 샘플링 간격 즉, 4 픽셀의 배수가 아니고, 샘플링되는 피사체상 Wa의 위치가 1 화소씩 X축 방향으로 어긋난다. 따라서 이 경우, 표시 프레임 Fb의 각 표시 피사체상 Wb는 피사체상 Wa의 편차에 따른 부분들로 형성된다.
이와 같이 표시 피사체상 Wb가, 피사체상 Wa의, 샘플링 위치의 편차에 따른 부분들로 형성되어 있는 경우, 그 표시 피사체상 Wb가 시각계에서 복수 프레임에 걸쳐 적분됨으로써, 표시 피사체상 Wb보다 화소가 밀하게 된 화상 즉, 표시 피사체상 Wb의 해상도보다 고해상도(이하, 초해상도라고 칭함)의 화상이 지각된다.
예를 들면, 시각 특성에서의 적분 시간이, 도 2b에서의 4매분의 표시 프레임 Fb의 표시 시간에 상당하고, 표시 프레임 Fa1 내지 Fa4의 4개의 표시 피사체상 Wb가 적분되는 경우, 도 2c에 도시한 바와 같은, 표시 피사체상 Wb의 해상도의 약 4 배, 즉 피사체상 Wa와 동일한 정도의 해상도의 화상이 지각된다.
초해상도 효과는 이 원리에 의해서 실현된다. 그러나, 데시메이션 처리를 실시하면 에일리어싱 성분이 발생하고, 이는 에일리어싱 잡음으로 변환되어, 화질이 열화된다.
그래서 본 실시예에서는, 이하에 설명한 바와 같이 그 에일리어싱 성분을 제거하는 연구가 이루어지고 있다.
수학식 1은, 1차원의 원신호 f(x)를 간격 X에서 샘플링함으로써 구해진 신호 fs(x)를 나타내고 있다. 수학식 1 중, δ(x)는 델타 함수이다.
수학식 2는, 샘플링된 신호 fs(x)의 푸리에 변환 Fs(ω)를 나타내고 있다. 수학식 2에서, F(ω)는 원 신호 f(x)의 푸리에 변환이고, ωs는 샘플링 각 주파수를 나타내고 있다.
Figure 112004058182833-pat00001
Figure 112004058182833-pat00002
수학식 3은 원신호 f(x)를, 실제 공간에서 φ만큼 시프트시켜 간격 X로 샘플 링함으로써 구한 신호 fsφ(x)의 푸리에 변환 Fsφ(ω)를 나타내고 있다.
Figure 112004058182833-pat00003
수학식 3은, k=0의 기본파는 원신호에 대응하고, k=n의 n차 고조파는 2πnφ만큼 시프트됨을 나타낸다.
상술된 바와 같이, 피사체상 Wa가 임의의 이동 속도 v에서 평행 이동하고 있는 것으로 하여, 이동 방향으로 1/m씩 데시메이션 샘플링하는 경우를 가정하면, 원신호는 표시 프레임 Fb의 나이키스트 주파수의 m 배 만큼 큰 대역을 가지고 있다. 따라서, 1/m씩 데시메이션 샘플링된 샘플링 신호 fsφ(x)는 에일리어싱 성분을 갖고 있다. 따라서, 수학식 3에서, k=0는 원신호 성분으로 되고, k=1, 2, …, (m-1)은 에일리어싱 성분으로 된다.
도 4는, 데시메이션량 m=2로 했을 때의 푸리에 변환 Fsφ(ω)를 나타내고 있다. 이 때, 원 신호의 대역은 나이키스트 주파수의 2배로 되고, 1/m씩 데시메이션 샘플링된 샘플링 신호 fsφ(x)는 1차 고조파의 에일리어싱 성분을 갖는다. 도 4로부터 알 수 있듯이, 샘플링 신호 fsφ(x)는 원신호 f(x)의 푸리에 변환 성분 F(ω)을 그대로 갖고 있다. k=1에서의 1차 고조파 F(ω·ωs) 및 F(ω+ωs)은 각각 -2πφ 및 2πφ만큼 위상이 어긋나서 에일리어싱된다.
데시메이션 샘플링 간격이 1/m인 경우에는, 그 1/m 만큼씩 데시메이션된 샘플링 신호 fsφ(x)는 1 내지 (m-1)차의 에일리어싱 성분을 갖고, 에일리어싱 성분들의 위상은 2πkφ만큼 어긋나 있는 것으로 된다. 이 샘플링 신호 fsφ(x)는, φ만큼 어긋난 원신호 f(x)를 1/m씩 데시메이션 샘플링한 신호이기 때문에, 도 2b에서의 임의의 1표시 프레임 Fb에 상당한다고 고려된다.
여기서 도 2b에서의 시간적으로 서로 다른 각 표시 프레임 Fb의 신호들을 고려한다.
피사체(원신호 f(x))가 속도 v에서 평행 이동하고 있는 경우, 도 3에서 도시한 바와 같이 프레임마다 샘플점의 위상이 어긋난다. 여기에서, 수학식 3에서의 샘플링점의 편차량 φ는 시간 t의 함수이고, 속도 v(픽셀/프레임)와 데시메이션량 m(픽셀)에 의존하여 수학식 4와 같이 된다. 수학식 4에서, T는 시간 간격을 나타내고, 이것은 프레임 레이트의 역수이다.
Figure 112004058182833-pat00004
수학식 4로부터, t=0일 때에 편차량 φ0= 0으로 되어, 시간 t=T, 2T, 3T …로 변화함에 따라서 편차량이 v/m 씩 증가하는 것을 알 수 있다.
수학식 4를 수학식 3에 적용시키면, 각 시각에서의 에일리어싱 성분의 위상이 구해진다.
도 5는 시각 t=0, T, 2T, 3T, …에서의 1차 에일리어싱 성분들의 위상을 나타내고 있다. 마찬가지로, 도 6은 2차 에일리어싱 성분의 위상을, 도 7은 3차의 에일리어싱 성분의 위상을, 그리고 도 8은 시각 t=0, T, 2T, 3T, …에서의 4차의 에일리어싱 성분의 위상을 나타낸다.
이와 같이 k차의 에일리어싱 성분들은, 시간, 즉 프레임이 진행함에 따라서, 등간격(2πkφT 간격)으로 회전하고, 시간 t=(m/v)T일 때에 위상 0으로 되돌아간다. 또한 에일리어싱 성분의 차수가 올라감에 따라, 위상의 회전 간격이 배로 된다.
이와 같이, 데시메이션량 m에 의한 데시메이션 처리(다운샘플링)에 의해서 발생하는 k차(=1, 2, …, (m-1)) 에일리어싱 성분의 위상은 2πkφT 만큼 회전한다. 따라서, 위상의 방향 및 적분되는 화상의 수(즉, 합성되는 에일리어싱 성분의 수)에 따라, 에일리어싱 성분들이 서로 상쇄된다. 즉, φt는 이동 속도 v와 데시메이션량 m에 상호 의존하기 때문에, 이동 속도 v와 데시메이션량 m 및 적분되는 화상의 수에 의해서 에일리어싱 성분이 서로 상쇄된다.
예를 들면, v=1 및 m=4인 경우, 표시 프레임 Fb의 화상들은 도 9에 도시한 바와 같이, 0(=2π×1×[(1/4)×0/T]), π/2(=2π×1×[(1/4)×(T/T)], π(=2π×1×[(1/4)×2T/T], 3π/2(=2π×1×[(1/4)×3T/T]) 등과 같이 π/2 간격으로 위상이 변화하는 1차의 에일리어싱 성분이 존재한다.
또한, 도 9에서, 후술하는 도 10 및 도 11에서도, t=4T 이후의 에일리어싱 성분들은 도시되어 있지 않다.
또한, 표시 프레임 Fb의 화상들은 도 10에 도시한 바와 같이, 0(= 2π×2×[1/4×0/T]), π(= 2π×2×[1/4×T/T]), 2π(= 2π×2/[(1/4)×(2T/T)]), 3π(= 2π×2×[(1/4)×3T/T]) 등의 π 간격으로 위상이 변화하는 2차 에일리어싱 성분들을 갖는다. 또한, 표시 프레임 Fb의 화상들은 도 11에 도시한 바와 같이, 0(=2π×3×[(1/4)×(0/T)], 3π/2(=2π×3×[(1/4)/(T/T)], 3π(=2π×3×[(1/4)×(2T×T)]), 9π/2(=2π×3π[(1/4)×(3T/T)]) 등의 3π/2 간격으로 위상이 변화하는 3차의 에일리어싱 성분들을 갖는다.
이 경우, t=0, T, 2T, 3T에서의 1차 내지 3차의 에일리어싱 성분의 벡터들은, 도 9 내지 도 11에 도시한 바와 같이 서로 상쇄되도록 배향되어 있다. 따라서, 시각계에서 4매분의 표시 프레임 Fb가 적분되는 경우, 에일리어성 성분들은 전부 상쇄된다.
k차의 에일리어싱 성분들이 상쇄되는 조건을 수학식 5로 나타낼 수 있다. 수학식 5를 오일러의 공식에 의해 전개하면, 수학식 6 및 수학식 7과 같이 된다.
Figure 112004058182833-pat00005
Figure 112004058182833-pat00006
Figure 112004058182833-pat00007
즉, 본 실시에서는, 피사체상 Wa의 이동 속도 v에 따라서, 서로 상쇄되는 에일리어싱 성분들이 상쇄되도록 데시메이션량 m을 결정함으로써 에일리어싱 성분을 제거한다.
여기에서 샘플링 신호 fsφ(x)를 대역 제한형 디지털 필터에 의해 1/m로 축소된 경우를 고려하면, φ만큼 어긋난 원신호 f(x)는 에일리어싱이 발생하지 않도록 나이키스트 주파수에서 대역 제한된다. 예를 들면, m=2일 때, 푸리에 공간은 도 12에 도시한 바와 같이 되어, 1/m로 축소된 신호에 대응하는 각 프레임 화상은 에일리어싱 성분을 포함하지 않는 저해상도의 화상으로 된다.
이 경우에는 축소 신호의 기본파는 원신호와는 다른 신호로 되어 있고, 복수 프레임의 화상을 어떻게 가산 처리해도 나이키스트 주파수 이상의 주파수 성분을 표현할 수는 없어, 초해상도 효과를 얻을 수 없다.
따라서, 초해상 효과를 얻기 위해서는, 원신호의 대역을 제한하지 않는 것이 중요하며, 광대역의 공간 주파수 성분을 갖는 원화상을 데시메이션 샘플링하는 것이 최적이다.
또 이상에서는 간단하게 하기 위해서, 원신호가 1차원 신호의 경우를 예로서 설명했지만, 2차원 화상에도 마찬가지이다.
또한 도 2a 내지 도 2c를 참조하여 피사체 Wa의 X축 방향의 이동을 예로서 설명하였지만, Y축 방향의 이동에 대해서도 마찬가지이다.
다음으로 서로 상쇄될 에일리어싱 성분의 조건 즉, 초해상도 효과를 얻기 위한 조건에 대하여 설명한다.
초해상도 효과를 얻기 위한 조건은, 수학식 5가 성립되는, 즉 수학식 6 및 수학식 7이 만족되는 것이다. 이것은, 도 13에 도시한 바와 같이, 시각 t에서의 k차의 에일리어싱 성분을 벡터 Zk(t)로 하면, 시각계의 적분 범위에서의 벡터 Zk(t) 합이 제로로 되는 것이다.
이 조건의 만족 여부는, 적분 시간에 의존한다. 그러나, 이 적분 시간은 관찰 환경에 의해 변화하는 것이 알려져 있는 데다가, 그 적분 시간을 정확하게 계측하는 것이 곤란하기 때문에, 이 조건을 만족시키는 적분 시간의 범위를 결정하는 것은 어렵다.
프레임 레이트가 높은 즉 적분되는 화상수가 많으면, 데시메이션량 m이 커져도 초해상도 효과가 얻어지는 것을 알 수 있다. 한편, 예를 들면 소정의 이동 속도 v로 X축 방향 또는 Y축 방향으로 이동하는 피사체상 Wa를, 소정의 데시메이션량 m으로 샘플링하여 소정의 프레임 레이트로 표시하고, 표시된 표시 피사체상 Wb를 관측자가 실제로 보아 초해상도로 관찰할 수 있는지를 확인하는 실험에 의해 알 수 있다.
이 때 초해상도 효과가 얻어지는 조건은, 이동 속도 v에 의존하고 있어, 대개 수학식 8과 같은 관계에 있다고 고려된다.
2πn + α≤2πkΦT ≤2π(n + 1) - α
상술한 바와 같이, 각 에일리어싱 성분의 위상은 2πkφT 간격으로 회전한다. 수학식 8은 에일리어싱 성분들의 위상 회전 간격이 2π의 배수에 가까울 때에는 초해상도 효과가 얻어짐을 나타내고 있다.
도 14에 도시한 바와 같이, 위상 회전 간격이 2π의 배수에 가깝다면, 시각 t가 변화해도 에일리어싱 성분의 위상이 거의 변하지 않는 것을 의미하고 있고, 에일리어싱 성분은 상쇄되지 않고 남게 된다.
예를 들면, m=4일 때에 발생하는 1차 내지 3차의 에일리어싱 성분에 대하여, 수학식 8의 성립 조건을 검토하면, 도 15에서 해칭되어 있는 이동 속도 v (픽셀/프레임)의 범위에는, 수학식 8이 성립되지 않아 초해상도 효과를 얻을 수 없다.
이 1차의 에일리어싱 성분에 대해서는, 예를 들면 v=4일 때, 에일리어싱 성분의 위상 회전 간격=2π×1×(4/4)(2πkφT)로 되고, 에일리어싱 성분의 위상 회전 간격은 2π× 1이다. 따라서, 속도 v=4를 중심으로 하는 일정 범위(위상 회전 간격이 2π의 배수를 중심으로 하는 2α의 범위로 되는 속도의 범위)에서, 1차 에일리어싱 성분이 상쇄되지 않는다. 즉 v=4n(n=0, 1, 2, 3, …)일 때, 위상 회전 간격은 2π× n배로 되기 때문에, v=4n을 중심으로 하는 일정 범위에서는, 1차 에일리어싱 성분은 상쇄되지 않는다.
2차의 에일리어싱 성분에 대해서는, 예를 들면 v=2일 때 위상 회전 간격= 2π×2×(2/4)(2π× 1이고, v=4일 때 위상 회전 간격=2π×2×(4/4) 즉, 2π× 2이다. 따라서, 속도 v=2, 4를 중심으로 하는 일정 범위(위상 회전 간격이 2π의 배 수를 중심으로 하는 2α의 범위로 되는 속도의 범위)에서, 2차 에일리어싱 성분이 상쇄되지 않는다. 즉 v=2n일 때, 위상 회전 간격은 2π× n이기 때문에, v=2n을 중심으로 하는 일정 범위에서는 2차 에일리어싱 성분은 상쇄되지 않는다.
3차 에일리어싱 성분에 대해서는, 예를 들면 v=4/3일 때 위상 회전 간격= 2π×3×(4/3)/4 즉, 2π× 1이고, v=8/3일 때 위상 회전 간격= 2π×3×(8/3)/4 즉, 2π× 2이고, v=4일 때, 위상 회전 간격= 2π×3×4/4 즉, 2π× 3이다. 따라서, 속도 v=4/3, 8/3, 4를 중심으로 하는 일정 범위(위상 회전 간격이 2π의 배수를 중심으로 하는 2α의 범위로 되는 속도의 범위)에서, 3차 에일리어싱 성분이 상쇄되지 않게 된다. 즉, v=(4/3)n일 때, 위상 회전 간격은 2π× n이기 때문에, v=(4/3) n을 중심으로 하는 일정 범위에서는 3차 에일리어싱 성분은 상쇄되지 않는다.
또 속도 v=0일 때, 위상 회전 간격 2πkφT=0으로 되기 때문에, 1차 내지 3차의 에일리어싱 성분들은, v=0 부근의 일정 범위(0 내지 Vα1, 0 내지 Vα2, O 내지 Vα3)에서는 상쇄되지 않는다.
또한, m=3일 때에 존재하는 1차 및 2차의 에일리어싱 성분(도 16) 및 m=2일 때에 존재하는 1차의 에일리어싱 성분(도 17)에 대해서도, m=4를 예로서 상술한 바와 같이, 위상 회전 간격이 2π의 배수를 중심으로 하는 2α의 범위 내로 되는 속도 범위에서는 상쇄되지 않는다.
또한, 도 13에 도시한 바와 같이, 에일리어싱 성분의 차수가 올라감에 따라, 각 차수에서의 위상 회전 간격은 2배, 3배 그리고 그 이상으로 커진다.
위상 회전 간격을 θ로 하면, 피사체상 Wa의 이동 속도 v가 작고 위상 회전 간격 θ가 α보다 작을 때에는, 수학식 8이 성립되지 않아 초해상도 효과는 얻어지지 않는다. 피사체상 Wa의 이동 속도 v가 올라가고 위상 회전 간격 θ가 α에 도달하면, 초해상도가 얻어진다.
여기에서, α는 초해상도 효과를 얻는 임계점(위상 회전 간격)을 나타낸다. 이 α는 표시 화상 프레임 레이트에 의해서 변화하고, 표시 화상 프레임 레이트가 높으면 작아지는 경향이 있다.
임계점에서의 피사체상 Wa의 이동 속도를 vα로 하면, 수학식 9가 얻어지고, 이 수학식 9를 변형하면 수학식 10이 얻어진다.
Figure 112004058182833-pat00008
Figure 112004058182833-pat00009
따라서, 표시 화상 프레임 레이트가 높아져서 α가 작아지면, 속도 vα(도 15의 예의 경우, Vα1, Vα2, 또는 Vα3)가 작아지고, 그 결과 이동량이 작아도 초해상도 효과가 얻어진다.
또한, 수학식 10에서, 임계점에서의 vα는, 데시메이션량 m과 에일리어싱 성분의 차수 k에 의존한다. 데시메이션량 m이 커지면 임계점의 속도 vα도 커진다. 또한, 차수 k가 커지면 임계점에서의 속도 vα는 작아진다.
도 15의 예에서, vα2는 vα1보다 작고, vα3은 vα2보다 작다. 따라서, 고차의 에일리어싱 성분들에 의해 초해상도 효과가 얻어지지 않는 영역은 좁아지는 것을 알 수 있다.
이상을 종합하면, 시각계에서의 초해상도 효과에 대하여 이하와 같이 말할 수 있다.
·초해상도 효과가 얻어지는 임계점 α는 프레임 레이트가 증가함에 따라 작아진다.
·데시메이션량이 m일 때, 1차 내지 (m-1)차의 에일리어싱 성분이 수학식 8을 만족할 필요가 있다.
·데시메이션량 m이 작아지면, 임계점에서의 피사체상 Wa의 속도 vα는 작아진다. 즉, 데시메이션량 m이 작은 경우에는, 이동량이 작아도 초해상도 효과가 얻어진다.
이상으로, 피사체의 이동 속도(크기와 방향)에 따라서 데시메이션 처리를 행함으로써, 초해상도 효과를 실현할 수 있는 것을 알 수 있다.
이와 같이, 표시 화상 프레임 레이트를 높게 하는 것은 초해상도 효과를 얻 는 데 유리하고 또한, 움직임 흐림(motion blur)이나 저키니스(jerkiness) 등의 화질 열화를 억제하는 데도 유리해진다.
다음으로, 본 발명의 일 실시예에 따른 동화상 변환 장치(1A)의 구성 예를, 도 18의 (a)를 참조하여 설명한다. 이 동화상 변환 장치(1A)는, 상술한 초해상도 효과를 이용한 해상도 변환 처리를 행함으로써, 출력 해상도로의 변환에 의한 화질 열화를 관측자가 인식하지 않도록, 촬상 화상을, 출력 해상도를 갖는 화상으로 변환할 수 있다.
촬상부(11A)는, 출력부(13A)가 출력할 수 있는 화상의 해상도보다 높은 해상도에서의 촬상이 가능한 CCD 촬상 소자나 CMOS 촬상 소자 등의 고체 촬상 소자를 구비하고 있다.
촬상부(11A)는, 소정의 프레임 레이트 및 소정의 공간 샘플링 레이트(이하, 단순히 샘플링 레이트라고 칭함)에서 동화상을 캡처하고, 그 캡처된 화상을 내부 데이터 형식으로 변환한다. 예를 들면, 출력부(13A)가 출력할 수 있는 화상의 프레임 레이트가 F이고, 그 해상도가 x×y 화소일 때, 프레임 레이트 F 및 해상도 ix×jy 화소에서 촬상을 행하고, 캡처된 화상을 내부 데이터 형식의 촬상 프레임 Fa로 변환한다. i, j, x 및 y는 양의 수이다.
촬상부(11A)는, 촬상 프레임 Fa(ix×jy 화소)를 화상 변환부(12)에 공급한다.
또한, 촬상부(11A)는, 고체 촬상 소자로부터 출력되는 화상 신호가 아날로그 신호인 경우, 그 아날로그 신호를 도시하지 않은 아날로그 디지털 변환기에 의해 내부 데이터 형식에 따른 디지털 신호로 변환한다.
또한, 프레임 레이트가 높을수록 초해상도 효과가 쉽게 얻어지기 때문에, 촬상부(11A)는, 높은 프레임 레이트에서 동작할 수 있도록 이루어져 있다. 또한, 고체 촬상 소자에 대해서는, CMOS 촬상 소자가 고프레임 레이트서의 촬상에 더 적합하기 때문에, 본 실시예에서 촬상부(11A)는 CMOS 촬상 소자를 포함하고 있다.
화상 변환부(12)는, 촬상부(11A) 또는 화상 입력부(11B)로부터 공급된 촬상 프레임 Fa(ix×jy 화소)을, 출력부(13A)가 출력할 수 있는 해상도의 출력 프레임 Fb(x×y 화소)로 변환한다.
이 때, 화상 변환부(12)는, 소정 크기의 블록마다, 상술한 초해상도 효과를 이용한 해상도 변환 처리를 실행한다. 그에 의하여, 초해상도 효과, 즉 출력 프레임 Fb가 소정의 프레임 레이트로 표시되었을 때, 관측자가 출력 프레임 Fb의 해상도를 초과하는 초해상도로 지각한다는 시각적 효과가 실현된다.
화상 변환부(12)는 출력 프레임 Fb를 출력부(13A)에 공급한다.
출력부(13A)는 동화상 신호를 출력한다. 상술한 바와 같이, 프레임 레이트가 높을수록 초해상도 효과를 쉽게 얻을 수 있기 때문에, 출력부(13A)는 고프레임 레이트에서 화상을 출력할 수 있도록 이루어져 있다.
다음으로, 도 18의 (b)를 참조하여, 본 발명의 일 실시예에 따른 화상 표시 소자(1B)를 설명한다.
화상 입력부(11B)는 소정의 프레임 레이트 및 소정의 공간 샘플링 레이트(이하, 간단히 샘플링 레이트라고 함)를 갖는 화상의 입력을 수신하여, 그 화상을 내부 데이터 형식으로 변환한다. 예를 들어, 화상 표시 소자(13B)의 화상 소자의 프레임 레이트가 F이고, 표시 해상도가 x ×y 화소라고 하면, 프레임 레이트 F 및 해상도 ix ×jy 화소의 해상도를 갖는 화상이 입력되고, 그 화상은 내부 데이터 형식의 입력 프레임 Fa로 변환된다. i, j, x 및 y는 양의 수이다. 화상 입력부(11B)는 입력 프레임 Fa(ix ×jy 화소)를 화상 변환부(12)에 공급한다.
화상 입력부(11B)는, 아날로그 신호가 입력되면, 그 아날로그 신호를 내부의 아날로그 디지탈 변환기(도시되지 않음)에 의하여 내부 데이터 형식의 디지탈 신호로 변환한다.
또한, 화상 입력부(11B)는 SMPTE(Society of Motion Picture and Television Engineers)에 의해 표준화된 텔레비젼 신호, VESA(Video Electronics Standards Association)에 의해 표준화된 아날로그 비디오 신호, 또는 DDWG(Digital Display Working Group)에 의해 표준화된 DVI(Digital Visual Interface) 신호 등의 화상 신호를 수신할 수 있다.
또한, 전술한 바와 같이, 프레임 레이트가 높을수록 초해상도 효과를 쉽게 얻을 수 있기 때문에, 입력 프레임 Fa의 프레임 레이트가 높은 경우, 화상 입력부(11B)는 고프레임 레이트에서 동작할 수 있도록 되어 있다.
화상 변환부(12)는 동화상 변환 소자(1A) 내의 화상 변환부(12)와 동일하게 구성되며, 화상 표시부(13B)에 표시 프레임 Fb를 공급한다.
화상 표시부(13B)는 x ×y 화소를 갖는 표시 장치에 의해 구현된다. 화상 표시부(13B)는 소정의 프레임 레이트에서 화상 변환부(12)로부터 공급된 화상을 표시한다. 프레임 레이트가 높을수록 초해상도 효과를 쉽게 얻을 수 있기 때문에, 화상 표시부(13B)는 고프레임 레이트에서 화상을 표시할 수 있도록 되어 있다.
다음으로, 화상 변환부(12)의 구성을 설명한다.
화상 변환부(12)는 ix×jy 화소로 이루어진 내부 데이터 형식의 화상 신호 입력을 수신한다.
화상 변환부(12)의 이동량 검출부(21)는, 현재 촬상부(11) 또는 화상 입력부(11B)로부터 공급된 현재 촬상 프레임 Fa(ix×jy 화소)와, 1 프레임 시간 또는 수 프레임 시간 전에 입력된 전 촬상 프레임 Fa 간의 블록 매칭 처리를 행하여, 현 프레임 Fa의 블록 화상(ip×jq 화소)의 움직임 벡터를 검출한다. p 및 q는 둘다 양의 정수이다. 이 경우, 촬상 프레임 Fa의 총 블록수는 (x/p×y/q)로 된다.
이동량 검출부(21)는, 촬상 프레임 Fa를 블록 단위로, 검출한 움직임 벡터와 함께 해상도 변환부(22)에 공급한다.
해상도 변환부(22)는, 이동량 검출부(21)로부터 공급되는 촬상 프레임 Fa의 블록 화상(ip×jq 화소)에 대하여, 그 움직임 벡터로부터 얻어지는 X축 방향 및 Y축 방향의 프레임마다의 이동량 v(픽셀) 또는 이동 속도 v(픽셀/프레임)에 따른, X축 방향 및 Y축 방향의 필터링 또는 샘플링(즉, 데시메이션)을 실시한다.
해상도 변환부(22)는, 그 처리의 결과 얻어진 출력 프레임 Fb의 블록 화상(p×q 화소)의 수를 총 블록수(x/p×y/q)와 동일하게 모아서, 1매의 출력 프레임 Fb(x×y 화소)를 생성하고, 그 출력 프레임 Fb를 출력부(13A) 또는 화상 표시부(13B)에 출력한다.
다음으로, 도 19를 참조하여, 화상 변환부(12)의 이동량 검출부(21) 및 해상도 변환부(22)의 구성을 설명한다.
이동량 검출부(21)의 프레임 메모리(31)는, 촬상부(11A) 또는 화상 입력부(11B)로부터 공급된 촬상 프레임 Fa(현 촬상 프레임 Fa)를 기억한다.
지연 회로(32)는, 현 프레임 Fa보다 1 프레임 시간 또는 수 프레임 시간 전에 입력된 전 프레임 Fa를, 전 프레임의 위상이 현 프레임 Fa의 위상과 일치하도록 지연시킨다. 지연 회로(32)는, 지연시킨 전 프레임 Fa를 프레임 메모리(33)에 공급한다.
프레임 메모리(33)는 지연 회로(32)로부터의 전 프레임 Fa를 기억한다.
블록 매칭 회로(34)는, 프레임 메모리(31)에 기억되어 있는 현 프레임 Fa와 프레임 메모리(33)에 기억되어 있는 전 프레임 Fa 사이에서, ip ×jq 화소의 블록 단위마다 블록 매칭을 행함으로써, 현 프레임 Fa의 블록 화상(ip ×jq 화소)의 움직임 벡터를 검출한다. 블록 매칭 회로(34)는, 현 프레임 Fa의 블록 화상을, 해상도 변환부(22)의 공간 필터 처리부(41)에 공급하고, 블록 화상의 움직임 벡터를 해상도 변환부(22)의 제어부(44)에 공급한다.
전술한 이동량 검출부(21)의 구성은 일례일 뿐이며, 촬상 프레임 Fa의 각 블록의 움직임 벡터를 검출할 수 있으면, 다른 구성을 취하는 것으로 해도 된다.
해상도 변환부(22)의 공간 필터 처리부(41)에는, 이동량 검출부(21)의 블록 매칭 회로(34)로부터의 촬상 프레임 Fa의 블록 화상(ip×jq 화소)(도 20의 좌측 참조)이 입력된다. 공간 필터 처리부(41)는, 공간 해상도의 대역 제한을 행하는 디지털 필터이다. 공간 필터 처리부(41)는 에일리어싱 성분을 억제하여 제어부(44)에 의해 제공되는 원하는 해상도를 얻는다.
구체적으로는, 공간 필터 처리부(41)는, 제어부(44)에 의한 제어에 따라서, 촬상 프레임 Fa의 블록 화상(ip ×jq 화소)을, 후단의 공간 데시메이션 처리부(42)에서 데시메이션량 mx 및 my으로 데시메이션을 행함으로써 출력 프레임 Fb의 블록 화상(p ×q 화소)가 얻어지도록 공간 필터링하여, (mxp ×myp) 화소의 화상(도 20의 좌측 참조)을 얻는다.
공간 필터 처리부(41)는, mxp×myq 화소를 갖는 화상을 공간 데시메이션 처리부(42)에 공급한다. mx와 my는 둘다 양의 정수이다.
공간 데시메이션 처리부(42)는, 공간 해상도의 대역 제한은 행하지 않고, 원 화상을 데시메이션 샘플링하여 제어부(44)로부터 통지된 원하는 해상도를 갖는 화상으로 변환한다.
구체적으로는, 공간 필터 처리부(41)로부터 공급된 mxp×myq 화소(도 20의 우측 참조)의 화상은, 제어부(44)에 의해 제공되는 X축 방향의 데시메이션량 mx 및 Y축 방향의 데시메이션량 my에 따라서, X축 방향 및 Y축 방향에 대하여 데시메이션 처리되고, 그에 의하여 (p×q) 화소를 갖는 화상, 즉 출력 프레임 Fb의 블록 화상(도 20의 우측 참조)이 생성된다. 공간 데시메이션 처리부(42)는, p ×q 화소의 화상을 프레임 메모리(43)에 공급한다.
도 20의 예와 같이, mx < i, my < j인 경우, 데시메이션량은 제어부(44)로부터 통지된 mx 및 my로 된다. mx>i, my>j인 경우, 데시메이션량은 i 및 j가 된다.
도 19를 다시 참조하면, 프레임 메모리(43)는, 공간 데시메이션 처리부(42)에 의해 공급된 블록 화상(p ×q 화소)을 기억하고, 1매의 출력 프레임 Fb(x ×y 화소)를 생성한다.
제어부(44)에는, 이동량 검출부(21)로부터의 블록 화상의 움직임 벡터가 입력된다. 제어부(44)는 X축 방향 및 Y축 방향의 이동 속도 v에 기초하여, 에일리어싱 성분의 위상 회전 간격이 수학식 8을 만족하는 최대 데시메이션량 mx, my를 결정한다. 즉, 제어부(44)는 초해상도 효과가 얻어지는 조건을 만족하는 데시메이션량을 결정한다.
또한, 수학식 8의 α는, 상술한 바와 같이 시각계에서 적분 시간 내에 적분되는 화상의 수에 따라 변화하기 때문에, 그 값을 적절하게 결정하는 것은 곤란하다.
따라서, 본 실시예에서는, 예를 들면 소정의 이동 속도 v로 X축 방향 또는 Y축 방향으로 이동하는 피사체상 Wa가 소정의 데시메이션량 m으로 샘플링되고, 표시 피사체상 Wb가 관측자에 의해 실제로 초해상도로 지각될 수 있는지가 확인되는 실험을 미리 행한다. 그 실험에서 초해상도 효과가 있었을 때의 이동 속도 v와 데시메이션량 m의 관계에 기초하여 데시메이션량 m을 결정하는 것으로 한다.
도 21은, 수평 방향으로 이동하는 피사체상 Wa에 대하여 상기 실험을 행한 경우의 실험 결과를 나타내고 있다.
도 21에는, 데시메이션량 m=4에서는 속도 v=4/3, 2, 8/3, 4를 중심으로 하는 일정 범위 내의 이동 속도, 데시메이션량 m=3에서는 속도 v=3/2, 3을 중심으로 하는 일정 범위의 이동 속도, 그리고 데시메이션량 m=2에서는 속도 v=2, 4를 중심으로 하는 일정 범위의 이동 속도에서, 초해상도 효과가 얻어지지 않는 것이 도시되고 있다.
도 21에는, 이동 속도 v가 0을 시점으로 하는 소정의 범위 P0 내에 있는 경우(즉, 도 21에서 속도 v가 속도 v0 이하인 경우), m=2, 3, 4 중 어디에 있어도 초해상도 효과는 얻어지지 않는 것이 도시되고 있다.
이것은 도 15 내지 도 17을 참조하여 설명한, 수학식 8이 성립되지 않은 이동 속도 v의 범위에 대응하는 것이다.
예를 들면, 도 22는 도 21에서의 m=4의 부분을 도 15에 대응시켜 도시하고 있다. 1차의 에일리어싱 성분은 v=4n을 중심으로 하는 일정 범위에서 상쇄되지 않는다. 2차의 에일리어싱 성분은 v=2n을 중심으로 하는 일정 범위에서 상쇄되지 않는다. 3차의 에일리어싱 성분은 v=(4/3)n을 중심으로 하는 일정 범위에서 상쇄되지 않는다. v=0 부근의 일정 범위에도, 1차 내지 3차의 에일리어싱 성분이 상쇄되지 않는다.
즉, 1차 내지 3차의 에일리어싱 성분 중 어느 하나라도 상쇄되지 않는 경우, 그 이동 속도 v의 범위에서는, m=4에서의 데시메이션에 의해서는 초해상도 효과를 얻을 수 없다.
도 22에서는, 이와 같이 초해상도 효과가 얻어지지 않는 범위를 범위 U4a 내지 범위 U4d로 나타내고 있다. 또한, 도 22에서는, m=4의 경우에 초해상도 효과가 얻어지는 범위를 범위 P4a 내지 P4d로 나타내고 있다.
또한, 도 21에서도, m=4인 경우에 초해상도 효과가 얻어지는 범위를 범위 P4a 내지 P4d로 나타내고 있다. 마찬가지로, 도 21에서는, m=3의 경우에 초해상도 효과가 얻어지는 범위를 범위 P3a 내지 P3c로 나타내고, m=2의 경우에 초해상도 효 과가 얻어지는 범위를 범위 P2a, P2b로 나타내고 있다.
따라서, 이 예의 경우, 예를 들면 촬상 프레임 Fa의 블록 화상의 X축 방향의 이동 속도 v가, 예를 들면 0 내지 4/3의 범위인 도 21에서 va로 도시하는 속도인 경우, 데시메이션량은 초해상도 효과가 얻어지는 2 픽셀로 선택되고, 그 블록 화상은 X축 방향에 대한 데시메이션량 2로 데시메이션된다.
또 다른 예를 들면, 촬상 프레임 Fa의 블록 화상의 X축 방향의 이동 속도 v가, 예를 들면 0 내지 4/3의 범위의 va보다도 빠른 vb로 도시하는 속도인 경우, 데시메이션량은 초해상도 효과가 얻어지는 m=2, 3, 4 중의 최대인 4로 선택된다. 따라서, 블록 화상은 X축 방향에 대하여 데시메이션량 4로 데시메이션된다.
또, 촬상 프레임 Fa의 블록 화상의 X축 방향의 이동 속도 v가 범위 P0 내의것인 경우, 즉 속도 v로는 초해상도 효과가 얻어지지 않는 경우, 데시메이션량 m이 1로 되고, 해상도 변환은 모두 공간 필터 처리로 행하도록 한다.
즉, 본 실시예에서는, 피사체상 Wa의 이동 속도 v가 큰 영역에 대해서는, 에일리어싱 성분을 포함하도록 데시메이션 처리를 하여 초해상도 효과를 가능하게 한다. 반면에, 이동 속도 v가 작은(즉, 범위 PO 내인)(초해상도 효과가 얻어지지 않는 범위의) 영역에 대해서는, 에일리어싱이 발생하지 않도록 공간 필터 처리에 의해 대역 제한이 행해진다.
또한, 프레임 레이트가 높은 경우, 상술한 바와 같이 초해상도 효과가 얻어지지 않는 범위가 좁아지고, 즉 초해상도 효과가 얻어지는 속도의 범위가 커지고, 보다 큰 데시메이션량으로 데시메이션할 수 있게 된다.
그 데시메이션량의 선택을 통합하면, 도 21의 테이블이 얻어진다. 즉, 제어부(44)는 도 21에 도시된 테이블에 기초하여 X축 방향에 대한 데시메이션량을 결정하며, 동일한 테이블에 기초하여 Y축 방향에 대한 데시메이션량을 결정한다.
제어부(44)는, 예를 들면 도 21에 도시한 바와 같은 테이블을 기억부(44A)에 기억하고 있고, 그 테이블에서, 이동 속도 v에 대응하는 데시메이션량 m(mx, my)을 검출한다.
제어부(44)는 공간 필터 처리부(41)를 제어하여, 촬상 프레임 Fa의 블록 화상(ip×jq 화소)을, mxp×myq 화소를 갖는 화상으로 변환함으로써, 대역 제한이 행해지도록 공간 필터 처리에 의한 데시메이션을 행하게 한다. 또한, 제어부(44)는 공간 데시메이션 처리부(42)를 제어하여, 공간 필터 처리부(41)로부터 공급된 mxp×myq 화소의 화상에 대하여, 대역 제한없이 데시메이션량 mx, my에서의 데시메이션을 행하게 한다.
제어부(44)는, 이동 속도 v가 범위 P0 내에 있는 경우, m=2, 3, 4로는 초해상도 효과가 얻어지지 않기 때문에, 데시메이션량을 1로 하여, 화소 변환은 모두 공간 필터 처리부(41)에 의한 필터 처리로 행하도록 한다.
다음으로, 화상 변환부(12)의 동작을, 도 23의 흐름도를 참조하여 설명한다.
단계 S1에서, 화상 변환부(12)의 이동량 검출부(21)의 블록 매칭 회로(34)는, 블록 번호를 (예를 들면, 1로) 초기화한다. 단계 S2에서, 블록 매칭 회로(34)는 촬상 프레임 Fa의 전체 블록에 대하여 움직임 벡터를 검출했는지의 여부를 판정한다.
단계 S2에서, 전체 블록에 대하여 움직임 벡터의 검출이 이루어지지 않는다고 판정된 경우, 절차는 단계 S3으로 진행한다. 단계 S3에서, 이동량 검출부(21)의 블록 매칭 회로(34)는, 블록 번호로 표시되는 블록 화상에 대하여 블록 매칭 처리를 행함으로써, 그 블록 화상의 움직임 벡터를 검출한다.
또한, 총 블록수는 x/p ×y/q개이고, 촬상 프레임 Fa의 각 블록 화상은, 블록 번호 1 내지 번호 x/p ×y/q로 식별될 수 있다.
구체적으로는, 블록 매칭 회로(34)는, 현 프레임 Fa의 대상 블록 화상과 전 프레임 Fa의 탐색 영역 내의 임의의 블록 화상을 비교하여, 평균 2승 오차가 최소로 되는 블록을 검출하고, 현 프레임 Fa의 대상 블록을 검출된 전 프레임 Fa의 블록에 연결하는 벡터를 움직임 벡터로 결정한다. 블록 매칭 회로(34)는, 현 프레임 Fa의 블록 화상을 해상도 변환부(22)의 공간 필터 처리부(41)에 공급하고, 그 블록 화상의 움직임 벡터를 제어부(44)에 공급한다.
다음으로, 단계 S4에서, 해상도 변환부(22)의 제어부(44)는, 이동량 검출부(21)의 블록 매칭 회로(34)로부터 공급된 움직임 벡터에 기초하여, X축 방향의 이동 속도 v(이동량 v)를 구한다. 그리고, 제어부(44)는, 도 21에 도시된 이동 속도 v와 데시메이션량 m의 관계를 정의하는 테이블에 기초하여, 그 이동 속도 v(이동량 v)에 대응하는 데시메이션량 mx를 검출한다.
단계 S5에서, 제어부(44)는, 이동량 검출부(21)의 블록 매칭 회로(34)로부터 공급된 움직임 벡터에 기초하여, Y축 방향의 이동 속도 v(이동량 v)를 검출한다. 그리고, 제어부(44)는, Y축 방향의 이동 속도 v와 데시메이션량 m의 관계를 정의하 는 테이블에 기초하여, 그 이동 속도 v(이동량 v)에 대응하는 데시메이션량 my를 검출한다.
다음으로, 단계 S6에서, 해상도 변환부(22)의 제어부(44)는, 공간 필터 처리부(41)를 제어하여, 이동량 검출부(21)로부터 공급된 촬상 프레임 Fa의 블록 화상(ip ×jq 화소)을, mxp ×myq 화소의 해상도를 갖는 화상으로 변환하게 한다 (도 20의 좌측 참조). 즉, 공간 필터 처리부(41)는 블록 화상을 공간 필터 처리한다.
제어부(44)는, 예를 들면 데시메이션량 mx=4인 경우, 공간 필터 처리부(41)를 제어하여, 4p ×q 화소를 갖는 화상을 얻기 위한 공간 필터 처리를 행하게 한다. 또한, 제어부(44)는, 데시메이션량 mx=3인 경우, 공간 필터 처리부(41)를 제어하여, 3p ×q 화소의 화상을 얻기 위한 공간 필터 처리를 행하게 한다. 여기서는 X축 방향의 화소를 예로 들어 설명했지만, Y축 방향의 화소에 대해서도 마찬가지이다.
다음으로, 단계 S7에서, 제어부(44)는, 공간 데시메이션 처리부(42)를 제어하여, 단계 S4, S5에서 결정한 데시메이션량 mx, my에 따라, 공간 필터 처리부(41)로부터 공급된 mxp×myq 화소의 화상을 데시메이션 처리하게 한다. 이에 의해, 공간 데시메이션 처리부(42)는, 공간 필터 처리부(41)로부터 공급된 mxp×myq 화소의 블록 화상에 대하여, X축 방향에 대해서는 데시메이션량 mx에서의 데시메이션 처리, 및 Y축 방향에 대해서는 데시메이션량 my에서의 데시메이션 처리를 행한다. 그 결과, p ×q 화소를 갖는 블록 화상이 얻어진다(도 20의 우측 참조).
예를 들면, 데시메이션량 mx=4일 때, 공간 필터 처리부(41)에 의해 공급된 4p ×q의 화소에 대하여, X축 방향에 대하여 데시메이션량 4에서의 데시메이션 처리가 행해져, p ×q 화소의 블록 화상이 생성된다. 데시메이션량 mx=3일 때, 공간 필터 처리부(41)에 의해 공급된 3p ×q 화소는, X축 방향에 대하여 데시메이션량 3으로 데시메이션 처리되고, 그 결과 p ×q 화소를 갖는 블록 화상이 생성된다.
공간 데시메이션이 행해지면 에일리어싱 성분이 발생하지만, 데시메이션 양(mx, my)은 수학식 8을 만족하기 때문에, 그 에일리어싱 성분은 서로 상쇄된다.
공간 데시메이션 처리부(42)는 데시메이션 처리된 (p×q) 화소의 블록 화상을 프레임 메모리(43)에 공급한다. 프레임 메모리(43)는, 그 블록 화상을 소정의 위치에 기억시키고, 블록 화상을 1매의 출력 프레임 Fb로 합성한다.
단계 S8에서, 이동량 검출부(21)의 블록 매칭 회로(34)는, 블록 번호를 1만큼 증분한다.
그 후, 단계 S2로 되돌아가, 그 이후의 처리가 행해진다.
단계 S2에서, 전체 블록에 대하여 움직임 벡터 검출이 이루어졌다고 판정되었을 때, 처리는 종료한다.
이와 같이 1매의 촬상 프레임 Fa의 해상도가, 블록마다, 단계 S3 내지 단계 S7의 처리로 변환됨으로써, 1매의 출력 프레임 Fb가 생성되고, 출력 프레임들이 소정의 프레임 레이트로 출력부(13A)로부터 출력된다.
그 결과, 출력부(13A)로부터 출력된 화상이 표시되었을 때, 관측자는 움직임이 큰 부분에 대해서는, 실제의 해상도로 표현 가능한 해상도를 초과하는 해상도로, 즉 표시 피사체상 Wb의 해상도를 초과하는 해상도로 화상을 지각할 수 있다. 초해상도 효과에 의해 관측자가 지각하는 공간 해상도는 출력 프레임 Fb의 블록 화상((p×q) 화소)의 X축 방향이 mx배, Y축 방향이 my배로 된 (mxp×myq) 화소의 화상의 해상도에 상당한다.
이상과 같이, 화상의 블록마다 움직임을 검출하고, 공간 필터 처리부(41)와 공간 데시메이션 처리부(42)에 의해 적절한 공간 필터 처리와 공간 데시메이션 처리가 적절히 행해진다. 따라서, 움직임이 어느 정도 이상인 블록에 대해서는, 초해상도 효과가 얻어지고, 움직임이 작은 블록에 대해서는, 에일리어싱 잡음이 억제되어, 전체적으로 고화질의 화상을 지각하는 것이 가능해진다.
도 24a는 본 발명의 다른 실시예에 따른 촬상 장치를 나타내고 있다. 이 촬상 장치는 내부적으로 화상 변환 기능을 갖고 있다.
이 촬상 장치는, 촬상부(51A)와 출력부(52A)를 포함한다. 촬상부(51A)는 CMOS 소자로 실현되어 있다. CMOS 촬상 소자에서는 수광 소자와 연산 소자를 동시에 실장하는 것이 가능하게 되어 있다.
촬상부(51A)는, 수광부(61), 이동량 검출부(62), 및 해상도 변환부(63)를 포함한다.
수광부(61)는, 광을 받아서 전기 신호로 변환하는 2차원 수광 소자 어레이를 포함한다. 수광소자(61)는 광전 변환에 의해 얻은 아날로그 신호를 내부 데이타 형식의 디지털 신호로 변환한다.
이동량 검출부(16)는, 도 18의 (a)의 예에서의 이동량 검출부(21)와 유사하게 구성된 회로를 촬상부(51A) 상에 실장함으로써 구현된다.
해상도 변환부(63)는, 도 18의 (a)의 예에서의 해상도 변환부(22)와 유사하게 구성된 회로를 촬상부(51A) 상에 실장함으로써 구현된다.
본 실시예에 따른 촬상 장치는 고 프레임 레이트로 화상을 표시하는 데 이롭기 때문에, 수광부(61)의 촬상 소자는 고 프레임 레이트 촬상이 가능하다.
출력부(52A)는 도 18의 (a)의 예에서의 출력부(13A)와 마찬가지의 기능을 갖는다.
상술한 일련의 처리는, 하드웨어에 의해 실현시킬 수도 있지만, 소프트웨어에 의해 실현시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실현하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 설치되어, 그 프로그램이 컴퓨터로 실행됨으로써, 상술한 동화상 변환 장치(1A)의 기능이 실현된다.
도 24b는 본 발명의 일 실시예에 따른 화상 처리 장치(51B)의 구성을 나타낸다. 도 18의 (b)에 도시된 화상 표시 장치(1B)에 비해, 화상 처리 장치(51B)는 화상 표시부(13B) 대신에 화상 출력부(71)를 포함한다. 화상 처리 장치(51B)의 다른 부품들은 화상 표시 장치(1B)의 대응 부품들과 동일하여, 따라서 그에 대한 설명은 생략한다.
화상 처리 장치(51B)의 화상 변환부(12)는 도 18의 (b)에 도시된 예와 마찬가지로 화상 입력부(11B)에서 입력된 입력 프레임(Fa)을 표시부(52B)에 의해 표시될 수 있는 해상도를 가진 표시 프레임(Fb)으로 변환한다. 화상 변환부(12)는 표시 프레임(Fb)을 화상 출력부(71)로 출력한다.
화상 출력부(71)는 화상 변환부(12)에서 제공되는 표시 프레임(Fb)의 화상 신호를 표시부(52B)에 의해 받아들여질 수 있는 형식의 화상 신호로 변환하여, 이 화상 신호를 표시부(52B)로 출력한다. 표시부(52B)는 기본적으로 도 18의 (b)에 도시된 화상 표시부(13B)와 동일하게 구성되며, 화상 처리 장치(51B)의 화상 출력부(71)에서 공급된 화상 신호에 대응하는 화상을 표시한다.
전술한 바와 같이, 본 발명은 표시부를 포함하는 화상 처리 장치에 이용될 수 있다.
전술한 일련의 처리는 하드웨어 또는 소프트웨어에 의해 구현될 수 있다. 이러한 일련의 처리가 소프트웨어에서 구현될 때, 소프트웨어 프로그램은 컴퓨터에 설치되고, 컴퓨터에 의해 실행되어 전술한 동화상 변환 장치(1A)의 기능이 구현된다.
도 25는 컴퓨터(101)가 촬상 장치(1A), 촬상 장치(51A), 화상 표시부(1B) 또는 화상 표시부(51B)로서 기능하는 본 발명의 일 실시예를 나타내는 블록도이다.
CPU(Central Processing Unit)(111)에는 버스(115)를 통하여 입출력 인터페이스(116)가 접속되어 있다. CPU(111)는 키보드, 마우스 등으로 이루어지는 입력부(118)로부터 사용자에 의해 입력된 명령을 수신하면, 예를 들면 ROM(Read Only Memory)(112), 하드디스크(114), 또는 드라이브(120)에 장착되는 자기 디스크(131), 광 디스크(132), 광 자기 디스크(133), 또는 반도체 메모리(134) 등의 기록 매체에 저장되어 있는 프로그램을, RAM(Random Access Memory)(113)에 로드한다.
이에 의해, 상술한 각종 처리, 예를 들면, 도 23의 흐름도에 의해 도시되는 처리가 행해진다.
또한, CPU(111)는, 필요에 따라 그 처리 결과를, 예를 들면 입출력 인터페이 스(116)를 통하여, LCD(Liquid Crystal Display) 등으로 이루어지는 표시부(117)에 출력한다.
프로그램은 하드디스크(114)나 ROM(112)에 미리 기억해두고, 컴퓨터(101)와 일체적으로 사용자에게 제공되거나, 자기 디스크(131), 광 디스크(132), 광 자기 디스크(133), 반도체 메모리(134) 등의 패키지 매체로서 제공되거나, 위성으로부터 또는 네트워크를 통해 통신부(119)를 통하여 하드디스크(114)에 제공될 수 있다.
또, 본 명세서에서, 기록 매체에 의해 제공되는 프로그램을 정의하는 단계는 설명된 순서대로 실행될 필요는 없으며, 개별적으로 또는 병렬로 실행될 수 있다.
본 발명에 따르면, 동화상을 출력할 때에 적응적인 신호 처리를 행함으로써, 출력 화상의 관측자가, 해상도 저감에 의한 화질 열화를 인식하지 않도록, 입력 화상을 출력 화상으로 변환할 수 있다.

Claims (22)

  1. 화상 처리 방법으로서,
    제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 단계와,
    상기 화상 입력 단계에서 입력된 상기 화상 신호를, 상기 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 단계와,
    상기 제2 해상도를 갖는 상기 화상 신호에 대응하는 화상을 소정의 프레임 레이트로 출력하는 출력 단계
    를 포함하며,
    상기 해상도 변환 단계는, 상기 화상 입력 단계에서 입력된 상기 화상 신호에 대응하는 화상의 적어도 일부 영역의 이동량을 검출하고, 검출된 상기 이동량에 기초하여 상기 영역의 해상도를 변환하는 화상 처리 방법.
  2. 제1항에 있어서,
    상기 해상도 변환 단계는, 상기 출력 단계에서 출력된 화상 신호를 상기 소정의 프레임 레이트로 표시할 때 상기 제2 해상도를 초과하는 해상도를 나타내는 시각 효과를 제공하는 공간 데시메이션 처리를 포함하는 화상 처리 방법.
  3. 제2항에 있어서,
    상기 공간 데시메이션 처리에서의 공간 데시메이션 양은 상기 영역의 이동량에 기초하여 결정되는 화상 처리 방법.
  4. 제3항에 있어서,
    상기 데시메이션 처리에서, 가로 방향에 대한 상기 영역의 이동량에 기초하여 가로 방향에 대한 데시메이션 양이 결정되고, 상기 영역의 세로 방향의 이동량에 기초하여 세로 방향에 대한 데시메이션 양이 결정되는 화상 처리 방법.
  5. 제2항에 있어서,
    상기 프레임 레이트가 증가함에 따라 상기 공간 데시메이션 처리에서의 데시메이션 양이 증가하는 화상 처리 방법.
  6. 제2항에 있어서,
    각각의 프레임에 대한 상기 공간 데시메이션 처리에서, 해당 프레임에 시간적으로 전후하는 소정 수의 인접 프레임에서의 데시메이션 처리된 신호들의 모든 에일리어싱 성분들이 서로 상쇄되도록 상기 공간 데시메이션 양이 결정되는 화상 처리 방법.
  7. 제2항에 있어서,
    상기 해상도 변환 단계는, 상기 화상 입력 단계에서 얻어진 상기 화상 신호를 공간 필터 처리하여 얻어진 신호들에 상기 공간 데시메이션 처리를 행하는 화상 처리 방법.
  8. 제1항에 있어서,
    상기 해상도 변환 단계는, 상기 화상 입력 단계에서 얻어진 화상을 복수의 영역으로 분할하고, 각각의 영역에서의 이동량을 검출하는 화상 처리 방법.
  9. 화상 처리 방법으로서,
    제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 단계와,
    상기 화상 입력 단계에서 얻어진 상기 화상 신호를, 상기 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 단계와,
    상기 제2 해상도를 갖는 상기 화상 신호에 대응하는 화상을 소정의 프레임 레이트로 출력하는 출력 단계
    를 포함하며,
    상기 해상도 변환 단계는, 상기 화상 입력 단계에서 얻어진 화상 신호를 복수의 영역으로 분할하여, 각각의 영역에서의 이동량을 검출하고, 검출된 상기 이동량에 기초하여 각 영역의 공간 데시메이션 양을 설정하며, 상기 각각의 영역에 대해 설정된 공간 데시메이션 양에 기초하여 상기 각각의 영역에 공간 데시메이션을 적용하기 전에 상기 화상 입력 단계에서 얻어진 화상 신호들의 각각의 영역에 공간 필터링을 적용하는 화상 처리 방법.
  10. 제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 수단과,
    상기 화상 입력 수단에 의해 얻어진 상기 화상 신호를, 상기 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 수단과,
    상기 제2 해상도를 갖는 화상 신호를 소정의 프레임 레이트로 출력하는 출력 수단
    을 포함하며,
    상기 해상도 변환 수단은, 상기 화상 입력 수단에 의해 얻어지는 화상 신호에 대응하는 화상의 적어도 일부 영역의 이동량을 검출하는 이동량 검출부와, 검출된 상기 이동량에 기초하여 상기 영역의 해상도를 변환하는 해상도 변환부를 포함하는 화상 처리 장치.
  11. 제10항에 있어서,
    상기 해상도 변환 수단은, 상기 출력 수단에 의해 출력된 화상 신호를 상기 소정의 프레임 레이트로 표시할 때 상기 제2 해상도를 초과하는 해상도를 나타내는 시각 효과를 제공하는 공간 데시메이션 처리를 행하는 화상 처리 장치.
  12. 제11항에 있어서,
    상기 공간 데시메이션 처리에서의 데시메이션 양은 상기 영역의 이동량에 기초하여 결정되는 화상 처리 장치.
  13. 제12항에 있어서,
    상기 공간 데시메이션 처리에서, 가로 방향에 대한 상기 영역의 이동량에 기 초하여 가로 방향의 데시메이션 양이 결정되고, 상기 영역의 세로 방향의 이동량에 기초하여 세로 방향의 데시메이션 양이 결정되는 화상 처리 장치.
  14. 제11항에 있어서,
    상기 프레임 레이트가 증가함에 따라 상기 공간 데시메이션 처리에서의 데시메이션 양이 증가하는 화상 처리 장치.
  15. 제11항에 있어서,
    각각의 프레임에 대한 상기 공간 데시메이션 처리에서, 해당 프레임에 시간적으로 전후하는 소정 수의 인접 프레임에서의 데시메이션 처리된 신호들의 모든 에일리어싱 성분들이 서로 상쇄되도록 상기 공간 데시메이션 양이 결정되는 화상 처리 장치.
  16. 제11항에 있어서,
    상기 해상도 변환 수단은, 상기 이동량에 관련된 공간 데시메이션 양을 포함하는 테이블을 기억하기 위한 기억부를 더 포함하고, 상기 테이블을 참조함으로써 상기 공간 데시메이션 양이 결정되는 화상 처리 장치.
  17. 제11항에 있어서,
    상기 해상도 변환 수단은, 상기 화상 입력 수단에 의해 얻어진 상기 화상 신호를 공간 필터링하여 얻어지는 신호에 상기 공간 데시메이션 처리를 행하는 화상 처리 장치.
  18. 제10항에 있어서,
    상기 이동량 검출부는, 상기 화상 입력 수단에 의해 얻어진 화상을 복수의 영역으로 분할하고, 각각의 영역에서의 이동량을 검출하는 화상 처리 장치.
  19. 제10항에 있어서,
    상기 해상도 변환 수단은, 반도체 장치 상에 실장되어 있는 화상 처리 장치.
  20. 화상 처리 장치로서,
    제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 수단과,
    상기 화상 입력 수단에 의해 얻어지는 상기 화상 신호를, 상기 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 수단과,
    상기 제2 해상도를 갖는 화상 신호를 소정의 프레임 레이트로 출력하는 출력 수단
    을 포함하며,
    상기 해상도 변환 수단은, 상기 화상 입력 수단에 의해 얻어진 화상 신호를 복수의 영역으로 분할하여, 각각의 영역에서의 이동량을 검출하는 이동량 검출부와, 검출된 상기 이동량에 기초하여 각 영역의 공간 데시메이션 양을 설정하고, 상기 각각의 영역에 대해 설정된 공간 데시메이션 양에 기초하여 상기 각각의 영역에 공간 데시메이션을 적용하기 전에 상기 화상 입력 수단에 의해 얻어진 화상 신호들의 각각의 영역에 공간 필터링을 적용하는 해상도 변환부를 포함하는 화상 처리 장치.
  21. 제20항에 있어서,
    상기 해상도 변환 수단은 반도체 장치 상에 실장되어 있는 화상 처리 장치.
  22. 촬상 프로그램을 기록한 컴퓨터 판독가능 기록매체로서,
    제1 해상도를 갖는 화상 신호를 입력하는 화상 입력 단계와,
    상기 화상 입력 단계에서 입력된 상기 화상 신호를, 상기 제1 해상도보다 낮은 제2 해상도를 갖는 화상 신호로 변환하는 해상도 변환 단계와,
    상기 제2 해상도를 갖는 상기 화상 신호에 대응하는 화상을 소정의 프레임 레이트로 출력하는 출력 단계
    를 포함하며,
    상기 해상도 변환 단계는, 상기 화상 입력 단계에서 입력된 화상 신호에 대응하는 화상 중 적어도 일부 영역의 이동량을 검출하고, 검출된 상기 이동량에 기초하여 상기 영역의 해상도를 변환하는 촬상 프로그램을 기록한 컴퓨터 판독가능 기록매체.
KR1020040103970A 2003-12-10 2004-12-10 화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체 KR101091217B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003412499A JP4379100B2 (ja) 2003-12-10 2003-12-10 撮像装置および方法、並びにプログラム
JPJP-P-2003-00412500 2003-12-10
JP2003412500A JP4761102B2 (ja) 2003-12-10 2003-12-10 画像表示装置および方法、並びにプログラム
JPJP-P-2003-00412499 2003-12-10

Publications (2)

Publication Number Publication Date
KR20050056894A KR20050056894A (ko) 2005-06-16
KR101091217B1 true KR101091217B1 (ko) 2011-12-07

Family

ID=34525505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040103970A KR101091217B1 (ko) 2003-12-10 2004-12-10 화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체

Country Status (5)

Country Link
US (2) US7660487B2 (ko)
EP (3) EP1542161B1 (ko)
KR (1) KR101091217B1 (ko)
CN (1) CN100397886C (ko)
DE (1) DE602004001962T2 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7777790B2 (en) * 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
JP4687252B2 (ja) * 2005-06-02 2011-05-25 ソニー株式会社 画像処理装置、その方法、そのプログラムおよび記録媒体
JP4429241B2 (ja) 2005-09-05 2010-03-10 キヤノン株式会社 画像処理装置及び方法
JP4799225B2 (ja) * 2006-03-08 2011-10-26 株式会社東芝 画像処理装置および画像表示方法
JP4518043B2 (ja) * 2006-05-31 2010-08-04 株式会社日立製作所 画像信号処理装置、及び画像信号を高解像度化するための方法、及びそれを実行するためのプログラム
US8462989B2 (en) 2006-06-06 2013-06-11 Tp Vision Holding B.V. Scaling an image based on a motion vector
JP4775210B2 (ja) * 2006-09-26 2011-09-21 株式会社日立製作所 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
EP2012532A3 (en) * 2007-07-05 2012-02-15 Hitachi Ltd. Video displaying apparatus, video signal processing apparatus and video signal processing method
JP2009033582A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP2009033581A (ja) * 2007-07-30 2009-02-12 Hitachi Ltd 画像信号記録再生装置
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
KR101583078B1 (ko) * 2008-08-11 2016-01-07 엘지전자 주식회사 디스플레이 장치 및 그 방법
CN101345892B (zh) * 2008-08-19 2012-10-31 北京中星微电子有限公司 一种视频显示方法及其系统
CN102257558B (zh) 2008-12-19 2015-08-12 株式会社半导体能源研究所 用于驱动液晶显示装置的方法
KR102057881B1 (ko) 2009-02-06 2019-12-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
JP5448981B2 (ja) 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP2012137628A (ja) * 2010-12-27 2012-07-19 Panasonic Liquid Crystal Display Co Ltd 表示装置及び映像視聴システム
US8879858B1 (en) 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
CN104574343B (zh) * 2013-10-16 2017-11-17 华为技术有限公司 一种视频中提取图像的方法及设备
US8812320B1 (en) 2014-04-01 2014-08-19 Google Inc. Segment-based speaker verification using dynamically generated phrases
US20190028721A1 (en) * 2014-11-18 2019-01-24 Elwha Llc Imaging device system with edge processing
US9819937B1 (en) * 2015-04-14 2017-11-14 Teradici Corporation Resource-aware desktop image decimation method and apparatus
CN114827480B (zh) * 2022-06-29 2022-11-15 武汉中仪物联技术股份有限公司 管道内壁全景展开图采集方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521642A (en) 1992-10-07 1996-05-28 Daewoo Electronics Co., Ltd. Decoding system for compact high definition television receivers

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2189106B (en) * 1986-04-14 1990-02-14 Philips Electronic Associated Image display
US4750210A (en) * 1986-12-16 1988-06-07 Tektronix, Inc. Method and apparatus for finding objects within a visual display
GB8729878D0 (en) 1987-12-22 1988-02-03 Philips Electronic Associated Processing sub-sampled signals
JP2588925B2 (ja) 1988-03-11 1997-03-12 富士通株式会社 可変ビットレート画像符号化装置
US5159453A (en) * 1990-09-07 1992-10-27 New York Institute Of Technology Video processing method and apparatus
JPH0618836A (ja) 1992-07-02 1994-01-28 Olympus Optical Co Ltd 映像表示装置
JP3547015B2 (ja) 1993-01-07 2004-07-28 ソニー株式会社 画像表示装置および画像表示装置の解像度改善方法
US5502489A (en) * 1994-01-03 1996-03-26 Daewoo Electronics Co., Ltd. Method for the motion adaptive spatial filtering of video signals in an image coding apparatus
JP3778960B2 (ja) 1994-06-29 2006-05-24 株式会社東芝 動画像符号化方法及び装置
GB2301972B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Video compression
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US6288722B1 (en) * 1996-10-17 2001-09-11 International Business Machines Corporation Frame buffer reconfiguration during graphics processing based upon image attributes
WO1998043422A1 (en) * 1997-03-24 1998-10-01 Focus Enhancements, Inc. Bilinear decimator with error compensation
US5835104A (en) * 1997-04-23 1998-11-10 S3 Incorporated Variable band size compositing buffer method and apparatus
JPH114361A (ja) 1997-06-13 1999-01-06 Hitachi Ltd 画像情報処理方法とそれを利用したディジタル撮像装置
KR100240770B1 (ko) * 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
JPH11331706A (ja) 1998-05-15 1999-11-30 Sony Corp 固体撮像素子およびその駆動方法、並びにカメラシステム
US6340994B1 (en) * 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
GB2342519B (en) 1998-10-08 2000-11-01 Mitel Semiconductor Ltd Oscillators and a method of assembling oscillators
US6487249B2 (en) 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
JP2000148126A (ja) 1998-11-18 2000-05-26 Dream Technologies Kk 画像表示装置及び方法
US6781606B2 (en) * 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method
EP1383577A2 (en) * 2001-05-03 2004-01-28 Universite Catholique De Louvain Vision rehabilitation method and device
JP3950655B2 (ja) 2001-09-06 2007-08-01 富士フイルム株式会社 撮像装置
JP3968122B2 (ja) 2001-12-13 2007-08-29 イーストマン コダック カンパニー 撮像装置
DE10158990C1 (de) * 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
JP2003189103A (ja) 2001-12-20 2003-07-04 Fuji Xerox Co Ltd 画像形成装置
JP4142340B2 (ja) 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
SG140441A1 (en) * 2003-03-17 2008-03-28 St Microelectronics Asia Decoder and method of decoding using pseudo two pass decoding and one pass encoding
JP2004341356A (ja) 2003-05-16 2004-12-02 Nec Plasma Display Corp 信号処理方法、画像表示方法、及び画像表示装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521642A (en) 1992-10-07 1996-05-28 Daewoo Electronics Co., Ltd. Decoding system for compact high definition television receivers

Also Published As

Publication number Publication date
EP1643442A1 (en) 2006-04-05
EP1542161B1 (en) 2006-08-16
EP2293237A1 (en) 2011-03-09
US8009934B2 (en) 2011-08-30
KR20050056894A (ko) 2005-06-16
DE602004001962D1 (de) 2006-09-28
CN100397886C (zh) 2008-06-25
US20050128307A1 (en) 2005-06-16
EP1542161A1 (en) 2005-06-15
DE602004001962T2 (de) 2007-03-29
CN1627814A (zh) 2005-06-15
US20100098352A1 (en) 2010-04-22
US7660487B2 (en) 2010-02-09
EP1643442B1 (en) 2011-06-29
EP2293237B1 (en) 2014-10-01

Similar Documents

Publication Publication Date Title
KR101091217B1 (ko) 화상 처리 방법 및 장치, 및 컴퓨터 판독가능 기록매체
KR101371577B1 (ko) 움직임 보상 픽처 레이트 컨버터 시스템 및 방법
EP2141910B1 (en) Image processing device and method, and image display device and method
EP2091248B1 (en) Image display device and image display method, and image processing device and image processing method
KR20010098955A (ko) 화상처리장치 및 감시시스템
JP4153480B2 (ja) ノイズ減衰装置及び順次走査変換装置
CN109076144B (zh) 图像处理装置、图像处理方法以及存储介质
JP5133038B2 (ja) 画像復元方法および画像復元装置
JPWO2009031287A1 (ja) 多色画像処理装置及び信号処理装置
CN113039778A (zh) 图像捕获装置、图像处理方法和程序
JPH07303241A (ja) インターレースされた映像信号のための適応フィールド／フレームフィルタ
EP1874039A1 (en) Image processing device and image processing program
KR100232113B1 (ko) 동벡터검출장치
EP1460846B1 (en) Image signal processing apparatus and processing method
EP1820341B1 (en) Method and apparatus for generating motion compensated pictures
JP4379100B2 (ja) 撮像装置および方法、並びにプログラム
US7268828B2 (en) Television receiver and control method thereof for displaying video signals based on different television modes
US8368809B2 (en) Frame rate conversion with motion estimation in a plurality of resolution levels
JP4431973B2 (ja) 動画像処理装置および方法
JPH1198395A (ja) 画像処理装置
JP2011082899A (ja) 画像処理装置及びその制御方法
KR20060084849A (ko) 비디오 신호들의 견고한 디인터레이싱

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 7