KR101456305B1 - 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법 - Google Patents

화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법 Download PDF

Info

Publication number
KR101456305B1
KR101456305B1 KR1020087025266A KR20087025266A KR101456305B1 KR 101456305 B1 KR101456305 B1 KR 101456305B1 KR 1020087025266 A KR1020087025266 A KR 1020087025266A KR 20087025266 A KR20087025266 A KR 20087025266A KR 101456305 B1 KR101456305 B1 KR 101456305B1
Authority
KR
South Korea
Prior art keywords
processing
video signal
unit
motion vector
imaging blur
Prior art date
Application number
KR1020087025266A
Other languages
English (en)
Other versions
KR20090113752A (ko
Inventor
신이치로 미야자키
이치로 무라카미
토루 니시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20090113752A publication Critical patent/KR20090113752A/ko
Application granted granted Critical
Publication of KR101456305B1 publication Critical patent/KR101456305B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/024—Scrolling of light from the illumination source over the display in combination with the scanning of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/06—Details of flat display driving waveforms
    • G09G2310/061—Details of flat display driving waveforms for resetting or blanking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0606—Manual adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Liquid Crystal (AREA)
  • Picture Signal Circuits (AREA)

Abstract

소정의 화질 개선용의 영상 신호 처리를 행할 때에, 움직임 터의 검출 정밀도에 기인한 화질 열화를 억제하는 것이 가능한 화상 표시 장치를 제공한다. 움직임 벡터 검출부(44)에 의한 움직임 벡터(mv)의 검출할 때의 신뢰도(Reliability)를 고려하여, 보간부(45), 촬상 흐림 억제 처리부(13) 및 오버드라이브 처리부(10)에서의 영상 신호 처리를 행한다. 구체적으로는, 신뢰도(Reliability)가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 신뢰도(Reliability)가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정한다. 영상 신호 처리를 움직임 벡터를 이용하여 행하는 경우에 있어서, 움직임 벡터의 탐색 범위(블록 매칭을 행하는 범위)를 초과하여 버린 때 등에 있어서도, 움직임 벡터의 검출 정밀도에 응한 영상 신호 처리가 가능해진다.
Figure R1020087025266
화상 표시, 영상 신호 처리

Description

화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법{IMAGE DISPLAY DEVICE, VIDEO SIGNAL PROCESSING DEVICE, AND VIDEO SIGNAL PROCESSING METHOD}
본 발명은, 움직임 보상을 이용하여 소정의 영상 신호 처리를 행하는 영상 신호 처리 장치 및 영상 신호 처리 방법, 및 그와 같은 영상 신호 처리 장치를 구비한 화상 표시 장치에 관한 것이다.
텔레비전 수신기나 DVD 플레이어 등에 있어서의 화질 향상을 위한 영상 신호 처리의 하나로, 움직임 보상을 이용한 프레임 레이트 변환이 존재한다.
이 프레임 레이트 변환의 원리를, 텔레비전 방송용의 카메라로 촬영된 영상 신호(이하, 카메라 신호라고 부른다)와, 필름으로부터 텔레비전 방식으로 텔레시네 변환된 영상 신호(이하, 필름 신호 또는 시네마 신호라고 부른다)에 관해, 도 1 내지 도 3을 이용하여 설명한다.
도 1(a)는, NTSC 방식의 카메라 신호의 오리지널 프레임(A, B, C, D)을 도시하고 있다. 이 카메라 신호의 프레임 레이트를 120Hz로 변환하는 경우에는, 도 1(b)에 도시하는 바와 같이, 이웃하는 오리지널 프레임(프레임(A)과 프레임(B)이나, 프레임(B)과 프레임(C)이나, 프레임(C)과 프레임(D)) 사이에, 1/120sec의 타이 밍에서 하나씩 보간 프레임이 추가된다.
도 2(a)는, PAL 방식으로 텔레시네 변환(2:2 풀다운)된 필름 신호의 오리지널 프레임(A, B, C, D)을 도시하고 있다. 각 오리지널 프레임은 2회씩 반복되고 있다. 이 2:2 풀다운 필름 신호의 프레임 레이트를 100Hz로 변환하는 경우에는, 도 2(b)에 도시하는 바와 같이, 25Hz 주기로 이웃하는 오리지널 프레임(프레임(A)과 프레임(B)이나, 프레임(B)과 프레임(C)이나, 프레임(C)과 프레임(D)) 사이에, 1/100sec 간격으로 3개씩 보간 프레임이 추가된다.
도 3(a)는, NTSC 방식으로 텔레시네 변환(3:2 풀다운)된 필름 신호의 오리지널 프레임(A, B, C)을 도시하고 있다. 홀수번째의 오리지널 프레임(A, C)은 3회 반복되고, 짝수번째의 오리지널 프레임(B)은 2회 반복되고 있다. 이 3:2 풀다운 필름 신호의 프레임 레이트를 120Hz로 변환하는 경우에는, 도 3(b)에 도시하는 바와 같이, 24Hz 주기로 이웃하는 오리지널 프레임(프레임(A)과 프레임(B)이나, 프레임(B)과 프레임(C)) 사이에, 1/120sec 간격으로 4개씩 보간 프레임이 추가된다.
각 보간 프레임은, 전후의 오리지널 프레임의 영상을 보간함에 의해 작성된다. 이 보간은, 각 보간 프레임에서의 영상의 보간 위치의 파라미터와, 전후의 오리지널 프레임 사이의 움직임 벡터에 의거하여, 보간 프레임의 화소치를 계산하기 위해 이용하는 전후의 오리지널 프레임의 화소의 어드레스를 계산한 후, 그들의 어드레스의 화소치를, 보간 위치에 따라 무게 부여한다는 방법으로 행하여진다.
이러한 프레임 레이트 변환에는, 카메라 신호에서의 움직임 흐림을 해소하는 효과나, 필름 신호에서의 지더(영상의 움직임의 흔들림)를 삭감하는 효과가 있다.
도 1 내지 도 3에는, 종래의 프레임 레이트 변환에서의, 각 보간 프레임에서의 영상의 보간 위치도 나타내고 있다. 도 1(b)에 도시하는 바와 같이, NTSC 방식의 카메라 신호의 프레임 레이트를 120Hz로 변환할 때의 보간 프레임에서의 영상의 보간 위치는, 종래, 전후의 오리지널 프레임 사이의 영상의 움직임의 크기(움직임 벡터 검출에 의해 구한 크기)를 균등하게 2분할한 위치, 즉 이 움직임의 크기에 대해 50%의 위치로 되어 있다.
도 2(b)에 도시하는 바와 같이, 2:2 풀다운 필름 신호의 프레임 레이트를 100Hz로 변환할 때의 3개의 보간 프레임에서의 영상의 보간 위치는, 종래, 전후의 오리지널 프레임 사이의 영상의 움직임의 크기를 균등하게 4분할한 위치, 즉 이 움직임의 크기에 대해 각각 25%, 50%, 75%의 위치로 되어 있다
도 3(b)에 도시하는 바와 같이, 3:2 풀다운 필름 신호의 프레임 레이트를 120Hz로 변환할 때의 4개의 보간 프레임에서의 영상의 보간 위치는, 종래, 전후의 오리지널 프레임 사이의 영상의 움직임의 크기를 균등하게 5분할한 위치, 즉 이 움직임의 크기에 대해 각각 20%, 40%, 60%, 80%의 위치로 되어 있다.
도 4는, 종래의 보간 위치에서 프레임 레이트 변환한 3:2 풀다운 필름 신호의 영상을 예시하는 도면이다. 이웃하는 오리지널 프레임(A와 B) 사이에서 비행기의 영상이 움직이고 있고, 4개의 보간 프레임에서, 이 움직임의 크기를 균등하게 5분할한 위치에 비행기의 영상이 보간되어 있다.
또한, 이와 같은 프레임 레이트 변환에 관한 기술로서는, 예를 들면 특허 문헌 1에서 제안된 것을 들 수 있다.
특허 문헌 1: 특개2003-189257호 공보
상기한 바와 같이, 움직임 보상을 이용한 프레임 레이트 변환에서는, 종래, 각 보간 프레임에서의 영상의 보간 위치를, 전후의 오리지널 프레임 사이에서의 영상의 움직임의 크기를 균등하게 분할한 위치로 설정하고 있다.
그런데, 필름 신호인 경우에, 도 4에 예시한 바와 같이 오리지널 프레임 사이의 영상의 움직임의 크기를 균등하게 분할한 보간 위치에서 보간을 행하면, 지더가 대폭적으로 삭감되어 영상의 움직임이 매우 스무스하게 된다. 그 결과, 필름 신호의 지더에 익숙해져 있는 사람에서는, 오히려 필름 신호답지 않다는 인상을 받아 버리는 경우가 있다.
또한, 움직임 보상을 이용한 프레임 레이트 변환에서는, 이웃하는 오리지널 프레임 사이의 영상의 움직임이 매우 빨라진 경우, 움직임 벡터의 탐색 범위(블록 매칭을 행하는 범위)를 초과하여 버리기 때문에, 큰 지더가 발생한다. 그러한 경우, 움직임이 매우 스무스한 영상을 보고 있는 도중에 돌연 큰 지더가 발생하기 때문에, 위화감을 느껴 버린다는 문제가 있다.
또한, 종래, 필름 신호(시네마 신호)를 프레임 레이트 변환한 때의 영상의 움직임을 보다 스무스하게 하기 위해, 프레임 레이트 변환 후의 필드의 화소 위치를 움직임 벡터의 방향으로 시프트시키는 기술은 제안되어 있다(특허 문헌 1 참조). 그러나, 필름 신호를 프레임 레이트 변환한 때에, 지더를 삭감하면서, 그 삭감의 정도를 약하게 하기 위한 기술은 제안되어 있지 않다.
그런데, 이와 같이 프레임 레이트 변환 등의 화질 개선용의 영상 신호 처리를 움직임 벡터를 이용하여 행하는 경우에 있어서, 상기한 바와 같이 움직임 벡터의 탐색 범위(블록 매칭을 행하는 범위)를 초과하여 버린 때 등은, 움직임 벡터의 검출이 능숙하게 될 수 없는 경우가 있다. 이와 같은 경우, 그 움직임 벡터를 그대로 이용하면, 영상 신호 처리도 능숙하게 되지 않고, 오히려 화질 열화가 생겨 버리는 경우가 있다는 다른 문제도 있다.
또한, 이와 같이 영상 신호 처리가 이루어진 후의 영상 신호를, 액정 표시 장치 등의 고정 화소(홀드)형의 표시 장치에 표시한 경우, 그 구조에 기인하여 이른바 홀드 흐림이 생겨 버린다는 또다른 문제도 있고, 이 홀드 흐림을 가능한 한 개선하는 것이 요망되고 있다. 단, 이와 같은 홀드 흐림은, 상황에 따라 미관이 변화하기 때문에, 상황에 따른 개선방법이 바람직한다.
본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 그 제 1의 목적은, 움직임 보상을 이용하여 필름 신호(시네마 신호)의 프레임 레이트 변환을 행한 때에, 지더를 삭감하면서, 그 삭감의 정도를 약하게 하는 것이 가능한 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법을 제공하는데 있다.
또한, 본 발명의 제 2의 목적은, 소정의 화질 개선용의 영상 신호 처리를 행할 때에, 움직임 벡터의 검출 정밀도에 기인한 화질 열화를 억제하는 것이 가능한 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법을 제공하는데 있다.
또한, 본 발명의 제 3의 목적은, 상황에 따라 홀드 흐림을 개선시키는 것이 가능한 화상 표시 장치를 제공하는데 있다.
본 발명의 화상 표시 장치는, 시간축에 따른 복수의 오리지널의 프레임에 있어서, 움직임 벡터를 검출하는 움직임 벡터 검출 수단과, 검출된 움직임 벡터를 이용하여, 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리를 행하는 영상 신호 처리 수단과, 영상 신호 처리가 이루어진 후의 영상 신호에 의거하여 영상 표시를 행하는 표시 수단을 구비한 것이다. 또한, 상기 영상 신호 처리 수단은, 움직임 벡터 검출 수단에 의한 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정하도록 되어 있다.
본 발명의 영상 신호 처리 장치는, 시간축에 따른 복수의 오리지널의 프레임에 있어서, 움직임 벡터를 검출하는 움직임 벡터 검출 수단과, 검출된 움직임 벡터를 이용하여, 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리를 행하는 영상 신호 처리 수단을 구비한 것이다. 또한, 상기 영상 신호 처리 수단은, 움직임 벡터 검출 수단에 의한 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정하도록 되어 있다.
본 발명의 영상 신호 처리 방법은, 시간축에 따른 복수의 오리지널의 프레임에서 움직임 벡터를 검출하고, 검출된 움직임 벡터를 이용하여 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리를 행함과 함께, 상기 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정하도록 한 것이다.
본 발명의 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법에서는, 시간축에 따른 복수의 오리지널의 프레임에서 움직임 벡터가 검출되고, 이 검출된 움직임 벡터를 이용하여, 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리가 이루어진다. 그리고 이와 같은 영상 신호 처리할 때에, 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여 영상 신호 처리할 때의 처리량이 커지도록 설정되는 한편, 상기 신뢰도가 작아짐에 응하여 영상 신호 처리할 때의 처리량이 작아지도록 설정된다. 이로써, 예를 들면 움직임 벡터의 탐색 범위(부로츠쿠마칭을 행하는 범위)를 초과하여 버린 때 등에 있어서도, 움직임 벡터의 검출 정밀도에 따르는 영상 신호 처리가 가능해진다.
본 발명의 화상 표시 장치, 영상 신호 처리 장치 또는 영상 신호 처리 방법에 의하면, 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정하도록 하였기 때문에, 소정의 화질 개선용의 영상 신호 처리를 움직임 벡터를 이용하여 행하는 경우에 있어서, 움직임 벡터의 검출 정밀도에 따르는 영상 신호 처리를 행할 수가 있다. 따라서, 소정의 화질 개선용의 영상 신호 처리를 행할 때에, 움직임 벡터의 검출 정밀도에 기인한 화질 열화를 억제하는 것이 가능해진다.
도 1은 카메라 신호의 프레임 레이트 변환의 원리 및 종래의 보간 위치를 도시하는 도면.
도 2는 필름 신호의 프레임 레이트 변환의 원리 및 종래의 보간 위치를 도시하는 도면.
도 3은 필름 신호의 프레임 레이트 변환의 원리 및 종래의 보간 위치를 도시하는 도면.
도 4는 종래의 보간 위치에서 프레임 레이트 변환을 행한 필름 신호의 영상을 예시하는 도면.
도 5는 본 발명의 제 1의 실시의 형태에 관한 영상 신호 처리 장치의 회로 구성예를 도시하는 블록도.
도 6은 인터폴레이터에서의 어드레스 계산의 원리를 도시하는 도면.
도 7은 CPU가 공급하는 보간 위치 파라미터를 도시하는 도면.
도 8은 3:2 풀다운 필름 신호인 경우의 보간 위치 파라미터의 값을 도시하는 도면.
도 9는 2:2 풀다운 필름 신호인 경우의 보간 위치 파라미터의 값을 도시하는 도면.
도 10은 도 5의 장치에서 프레임 레이트 변환을 행하는 필름 신호의 영상을 예시하는 도면.
도 11은 제 1의 실시의 형태의 변형예에 관한 영상 신호 처리 장치의 회로 구성예를 도시하는 블록도.
도 12는 카메라 신호의 240Hz에의 프레임 레이트 변환을 도시하는 도면.
도 13은 본 발명의 제 2의 실시의 형태에 관한 영상 신호 처리 장치의 구성의 한 예를 도시하는 블록도.
도 14는 인간의 망막상에서 형성되는 상의 흐림의 주파수 특성의 한 예를 도시하는 도면.
도 15는 도 13의 영상 신호 처리 장치가 실행하는 화상 처리의 한 예를 설명하는 플로우 차트.
도 16은 이동 벡터(이동 속도, 움직임 벡터)에 따른 촬상 흐림의 주파수 특성의 한 예를 도시하는 도면.
도 17은 도 13의 영상 신호 처리 장치중의 촬상 흐림 억제 처리부의 기능적 구성의 한 예를 도시하는 블록도.
도 18은 도 17의 촬상 흐림 억제 처리부중의 고역 성분 제거부의 기능적 구성의 한 예를 도시하는 블록도.
도 19는 도 18의 고역 성분 제거부중의 고역 리미터부의 특성의 한 예를 도시하는 도면.
도 20은 도 17의 촬상 흐림 억제 처리부중의 필터부의 기능적 구성의 한 예를 도시하는 블록도.
도 21은 도 20의 필터부중의 게인 제어부의 기능적 구성의 한 예를 도시하는 블록도.
도 22는 도 21의 게인 제어부중의 조정량 결정부의 특성의 한 예를 도시하는 도면.
도 23은 도 17의 촬상 흐림 억제 처리부중의 촬상 흐림 보상부의 기능적 구성의 한 예를 도시하는 블록도.
도 24는 도 23의 촬상 흐림 보상부중의 ALTI부의 기능적 구성의 한 예를 도시하는 블록도.
도 25는 도 24의 ALTI부의 처리 대상의 한 예를 도시하는 도면으로서, 주목 화소에서 보아 오른쪽 방향으로 연속하여 나열하는 화소군의 화소치의 평균을 연산하는 경우에 있어서의 화소치의 보정 방법을 설명하는 도면.
도 26은 주목 화소에서 보아 오른쪽 방향으로 연속하여 나열하는 화소군의 화소치의 평균을 연산하는 경우에 있어서의 화소치의 보정 방법의 보충 설명을 하는 도면.
도 27은 도 24의 ALTI부의 처리의 한 예를 설명하는 플로우 차트.
도 28은 도 24의 ALTI부중의 조정량 산출부의 특성의 한 예를 도시하는 도면.
도 29는 도 23의 촬상 흐림 보상부중의 ALTI부의 기능적 구성의 도 12와는 다른 타예를 도시하는 블록도.
도 30은 도 23의 촬상 흐림 보상부중의 게인 제어부의 기능적 구성예를 도시하는 블록도.
도 31은 도 30의 게인 조정부중의 조정량 결정부의 특성의 한 예를 도시하는 도면.
도 32는 도 13의 영상 신호 처리 장치중의 촬상 흐림 억제 처리부의 기능적 구성의 도 17과는 다른 예를 도시하는 블록도.
도 33은 도 13의 영상 신호 처리 장치중의 촬상 흐림 억제 처리부의 기능적 구성의 도 17과 도 32와는 다른 예를 도시하는 블록도.
도 34는 카메라의 셔터 속도와, 촬상 흐림의 특성을 설명하는 도면.
도 35는 제 2의 실시의 형태에 관한 영상 신호 처리 장치의 일부분의 구성의 도 13과는 다른 예를 도시하는 블록도.
도 36은 제 2의 실시의 형태에 관한 영상 신호 처리 장치의 일부분의 구성의 도 13과 도 35와는 다른 예를 도시하는 블록도.
도 37은 제 2의 실시의 형태에 관한 영상 신호 처리 장치의 일부분의 구성의 도 13, 도 35, 및 도 36과는 다른 예를 도시하는 블록도.
도 38은 제 2의 실시의 형태에 관한 영상 신호 처리 장치의 일부분의 구성의 도 13, 도 35, 도 36, 및 도 37과는 다른 예를 도시하는 블록도.
도 39는 도 13의 영상 신호 처리 장치중의 촬상 흐림 억제 처리부의 기능적 구성의, 도 17, 도 32, 및 도 33과는 다른 예를 도시하는 블록도.
도 40은 도 13의 영상 신호 처리 장치중의 촬상 흐림 억제 처리부의 기능적 구성의, 도 17, 도 32, 도 33, 및 도 39와는 다른 예를 도시하는 블록도.
도 41은 도 13의 영상 신호 처리 장치중의 촬상 흐림 억제 처리부의 기능적 구성의, 도 17, 도 32, 도 33, 도 39, 및 도 40과는 다른 예를 도시하는 블록도.
도 42는 제 2의 실시의 형태의 변형예에 관한 영상 신호 처리 장치의 구성을 도시하는 블록도.
도 43은 본 발명의 제 3의 실시의 형태의 변형예에 관한 영상 신호 처리 장치의 구성의 한 예를 도시하는 블록도.
도 44는 움직임 벡터의 검출의 유무와 신뢰도와의 관계의 한 예를 도시하는 도면.
도 45는 움직임 벡터의 검출의 유무와 신뢰도와의 관계의 한 예를 도시하는 타이밍 파형도.
도 46은 신뢰도의 크기에 따른 움직임 벡터에 곱하는 게인 변화의 한 예를 도시하는 타이밍도.
도 47은 신뢰도의 크기에 따른 움직임 벡터에 곱하는 게인 변화의 다른 예를 도시하는 타이밍도.
도 48은 본 발명의 제 4의 실시의 형태에 관한 화상 표시 장치의 구성의 한 예를 도시하는 블록도.
도 49는 도 48에 도시한 백라이트 구동부에 의한 프레임 단위의 흑삽입 처리(블링킹 처리)의 한 예를 도시하는 타이밍도.
도 50은 도 48에 도시한 백라이트 구동부에 의한 흑삽입 라인 단위의 흑삽입 처리(블링킹 처리)의 한 예를 도시하는 타이밍도.
도 51은 도 48에 도시한 백라이트 구동부에 의한 흑삽입 라인 단위와 프레임 단위를 조합시킨 흑삽입 처리(블링킹 처리)의 한 예를 도시하는 타이밍도.
도 52는 프레임 단위의 흑삽입 처리에서의 흑삽입률의 한 예를 도시하는 타이밍도.
도 53은 프레임 단위의 흑삽입 처리에서의 흑삽입률의 다른 예를 도시하는 타이밍도.
도 54는 흑삽입 라인 단위와 프레임 단위를 조합시킨 흑삽입 처리에서의 흑삽입률의 한 예를 도시하는 타이밍도.
도 55는 흑삽입 라인 단위와 프레임 단위를 조합시킨 흑삽입 처리에서의 흑삽입률의 다른 예를 도시하는 타이밍도.
도 56은 화면 전체의 휘도 히스토그램 분포의 한 예를 도시하는 특성도.
도 57은 제 4의 실시의 형태의 변형예에 관한 화상 표시 장치의 구성의 한 예를 도시하는 블록도.
도 58은 본 발명이 적용되는 영상 신호 처리 장치의 전부 또는 일부분의 하드웨어 구성의 한 예를 도시하는 블록도.
이하, 본 발명의 실시의 형태에 관해, 도면을 참조하여 상세히 설명한다.
[제 1의 실시의 형태]
도 5는, 본 발명의 제 1의 실시의 형태에 관한 영상 신호 처리 장치(영상 신호 처리 장치(4))의 회로 구성예를 도시하는 블록도이다. 이 영상 신호 처리 장치(4)는, 텔레비전 수신기에 내장되어 있는 것이고, 도시하지 않은 튜너, 디코더 등에서의 선국, 디코드 등의 처리를 경유한 디지털 컴포넌트 신호(YUV)가 이 영상 신호 처리 장치(4)에 공급된다.
이 영상 신호 처리 장치(4)에 공급된 디지털 컴포넌트 신호(YUV)는, 전처리부(41)에 입력함과 함께, 메모리 컨트롤러(42)를 통하여 메모리(43)에 순차로 기록된다.
전처리부(41)에서는, 디지털 컴포넌트 신호(YUV)로부터 휘도 신호(Y)를 분리하는 처리가 행하여진다. 전처리부(41)에서 분리된 휘도 신호(Y)도, 메모리 컨트롤러(42)를 통하여 메모리(43)에 순차로 기록된다.
메모리(43)에 기록된 휘도 신호(Y)는, 메모리 컨트롤러(42)에 의해 순차로 판독되고(도 2, 도 3에 도시한 바와 같이 같은 오리지널 프레임이 2회 또는 3회 반복되는 필름 신호인 경우에는, 같은 오리지널 프레임은 1회만 판독되고), 움직임 벡터 검출부(44)에 보내진다. 움직임 벡터 검출부(44)에서는, 현재의 프레임의 휘도 신호(Y)와 그 전후의 프레임의 휘도 신호(Y)를 이용하여, 블록 매칭에 의한 움직임 벡터 검출 처리가 행하여진다.
움직임 벡터 검출부(44)에서 검출된 각 프레임의 움직임 벡터(mv)는, 메모리 컨트롤러(42)를 통하여 메모리(43)에 기록된 후, 메모리(43)로부터 판독되어, 다음 프레임의 움직임 벡터 검출에서의 참조용으로 재차 움직임 벡터 검출부(44)에 보내진다.
또한, 메모리 컨트롤러(42)는, 메모리(43)에 기록한 디지털 컴포넌트 신호(YUV)를, 2배속으로, 서로 1프레임분씩 비켜놓고 2계통분 판독한다(도 2, 도 3에 도시한 바와 같이 같은 오리지널 프레임이 2회 또는 3회 반복되는 필름 신호인 경 우에는, 같은 오리지널 프레임은 1회만 판독한다). 또한, 메모리 컨트롤러(42)는, 이 2개의 프레임의 사이의 움직임을 나타내는 움직임 벡터(mv)를, 2배속으로 판독한다. 이렇게 판독된 2계통의 디지털 컴포넌트 신호(2YUV)와 움직임 벡터(mv)와는, 보간부(45)에 보내진다.
보간부(45)에는, 2계통의 서치 레인지 메모리(451, 452)와, 인터폴레이터(453)가 마련되어 있다. 메모리 컨트롤러(42)로부터의 2계통의 디지털 컴포넌트 신호(2YUV)는, 서치 레인지 메모리(451, 452)에 1계통씩 기록된다. 메모리 컨트롤러(42)로부터의 움직임 벡터(mv)는, 인터폴레이터(453)에 입력한다.
또한, 텔레비전 수신기 내의 CPU(46)로부터는, 보간 프레임에서의 영상의 보간 위치를 나타내는 보간 위치 파라미터(Relpos)가, 시리얼 버스인 I2C 버스(40)와, 시리얼 신호를 패럴렐 변환하는 디코더(47)를 통하여, 보간부(45)에 공급된다(보간 위치 파라미터(Relpos)의 상세에 관해서는 후술한다). 이 보간 위치 파라미터(Relpos)도, 인터폴레이터(453)에 입력한다.
인터폴레이터(453)는, 움직임 벡터(mv)와 보간 위치 파라미터(Relpos)에 의거하여, 보간 프레임의 화소치를 계산하기 위해 이용하는 서치 레인지 메모리(451, 452) 내의 오리지널 프레임의 화소의 어드레스를 계산한다.
도 6은, 이 어드레스 계산의 원리를 개념적으로 도시하는 도면이다. n-1은, 서치 레인지 메모리(451, 452) 내에 기록된 1프레임분 어긋난 2개의 오리지널 프레임중 시간적으로 빠른 쪽의 오리지널 프레임의 각 화소의 어드레스(화면상에서의 x 방향 및 y방향의 위치)를 종축 방향으로 나타내고 있다. n은, 이 2개의 오리지널 프레임중 시간적으로 느린 쪽의 오리지널 프레임의 각 화소의 어드레스를 종축 방향으로 나타내고 있다.
i는, 보간 프레임의 각 화소의 어드레스를 종축 방향으로 나타내고 있다. 횡축은 시간이고, 오리지널 프레임(n-1, n) 사이에서의 보간 프레임(i)의 타이밍(여기서는, 한 예로서, 도 2(b)에서의 3개의 보간 프레임중의 중앙의 보간 프레임에 상당하는 타이밍)을 나타내고 있다. Relpos는, 보간 프레임(i)의 작성을 위해 공급된 보간 위치 파라미터이다.
mv(x,y)int는, 보간 프레임(i)중 각 화소중, 현재 작성하려고 하는 화소(기준 화소라고 부른다)의 어드레스(x, y)에 관한 오리지널 프레임(n-1, n) 사이의 움직임 벡터(mv)이다. zeroPelPrev(x,y)는, 오리지널 프레임(n-1)에서의 기준 어드레스(x, y)의 화소의 값이다. zeroPelSucc(x,y)는, 오리지널 프레임(n)에서의 기준 어드레스(x, y)의 화소의 값이다.
인터폴레이터(453)는, 이 기준 어드레스(x, y)와, 움직임 벡터(mv(x,y)int)의 x방향 성분 mvX와, 움직임 벡터(mv(x,y)int)의 y방향 성분(mvY)과, 보간 위치 파라미터(Relpos)에 의거하여, 하기한 계산식(1)에 의해, 기준 어드레스(x, y)의 화소치를 계산하기 위해 이용하는 오리지널 프레임(n-1, n)의 화소의 어드레스를 구한다.
[수식 1]
오리지널 프레임(n-1)의 화소의 어드레스
=(x+mvX·Relpos, y+mvY·Relpos)
오지널 프레임(n)의 화소의 어드레스
=(x-mvX·(1-Relos), y-mvY·(1-Relpos)) … (1)
인터폴레이터(453)는, 이렇게 구한 어드레스를 서치 레인지 메모리(451, 452)에 보내고, 이들의 어드레스의 화소치(prev, succ)를 판독한다. 그리고, 이들의 화소치(prev, succ)와 보간 위치 파라미터(Relpos)를 이용하여, 하기한 계산식(2)에 의해 보간 프레임(i)의 기준 어드레스(x, y)의 화소치(Out)의 계산을 행한다.
[수식 2]
Out=prev·(1-Relpos)+succ·Relpos … (2)
이러한 계산을, 보간 프레임(i)의 각 화소에 대해 순차로 행함에(기준 어드레스의 값(x, y)을 순차로 갱신하여 행함) 의해, 보간 프레임(i)이 작성된다.
다음에, CPU(46)가 보간부(45)에 공급하는 보간 위치 파라미터(Relpos)에 관해 설명한다. 도 7은, CPU(46)가 공급하는 보간 위치 파라미터(Relpos)를 도시하는 도면이다. 도 5의 영상 신호 처리 장치(4)에 디지털 컴포넌트 신호(YUV)로서 2:2 풀다운 필름 신호(도 2(a) 참조)가 공급되는 경우에는, CPU(46)는, Relpos_22_0, Relpos_22_1, Relpos_22_2, Relpos_22_3이라는 4상(相)의 파라미터를 1/100sec마다(즉 1/25sec 주기로) 공급한다. 각 상의 파라미터는, 각각 6비트이다(도면중의 [5:0]은 6비트를 나타내고 있다).
Relpos_22_0은, 서치 레인지 메모리(451, 452) 내의 1프레임분 어긋난 2개의 오리지널 프레임중의 시간적으로 빠른 쪽의 오리지널 프레임을 그대로 인터폴레이터(453)로부터 출력시키기 위한 파라미터이다. Relpos_22_1 내지 Relpos_22_3은, 이 2개의 오리지널 프레임 사이에 도 2(b)에 도시한 바와 같이 1/100sec 간격으로 3개의 보간 프레임을 작성하기 위한 파라미터이다.
2:2 풀다운 필름 신호가 공급되는 경우에는, 서치 레인지 메모리(451, 452)(도 5)에는, 같은 오리지널 프레임이 1/25sec의 동안 보존된다. 그리고, 이 1/25sec의 동안에, Relpos_22_0, Relpos_22_1, Relpos_22_2, Relpos_22_3이라는 각 상의 파라미터마다, 인터폴레이터(453)가 앞에서 나온 식(1) 및 식(2)에 의해 보간 프레임의 계산을 행한다. 이러한 처리가 1/25sec 주기로 반복됨에 의해, 2:2 풀다운 필름 신호가 프레임 레이트 변환된다.
다른 한편, 도 5의 영상 신호 처리 장치(4)에 디지털 컴포넌트 신호(YUV)로서 3:2 풀다운 필름 신호(도 3(a) 참조)가 공급되는 경우에는, CPU(46)는, Relpos_32_0, Relpos_32_1, Relpos_32_2, Relpos_32_3, Relpos_32_4라는 5상의 보간 위치 파라미터를 1/120sec마다(즉 1/24sec 주기로) 공급한다.
Relpos_32_0은, 서치 레인지 메모리(451, 452) 내의 1프레임분 어긋난 2개의 오리지널 프레임중의 시간적으로 빠른 쪽의 오리지널 프레임을 그대로 인터폴레이터(453)로부터 출력시키기 위한 파라미터이다. Relpos_32_1 내지 Relpos_32_4는, 이 2개의 오리지널 프레임 사이에 도 3(b)에 도시한 바와 같이 1/120sec 간격으로 4개의 보간 프레임을 작성하기 위한 파라미터이다.
3:2 풀다운 필름 신호가 공급되는 경우에는, 서치 레인지 메모리(451, 452) 에는, 같은 오리지널 프레임이 1/24sec의 동안 보존된다. 그리고, 이 1/24sec의 동안에, Relpos_32_0, Relpos_32_1, Relpos_32_2, Relpos_32_3, Relpos_32_4라는 각 상의 파라미터마다, 인터폴레이터(453)가 앞에서 나온 식(1) 및 식(2)에 의해 보간 프레임의 계산을 행한다. 이러한 처리가 1/24sec 주기로 반복됨에 의해, 3:2 풀다운 필름 신호가 프레임 레이트 변환된다.
보간 위치 파라미터(Relpos)의 값은, 유저가 선택하도록 되어 있다. 즉, 도 5에 도시하는 바와 같이, 텔레비전 수신기에 부속한 리모트 컨트롤러(400)에는, 보간 위치 파라미터(Relpos)의 값을 「강·중·약」의 3단계로 전환하여 선택하기 위한 보간 위치 조정 버튼(401)이 마련되어 있다.
이 보간 위치 조정 버튼(401)에서의 선택 결과를 나타내는 신호가, 리모트 컨트롤러(400)로부터 텔레비전 수신기 내의 적외선 수광 유닛(48)에서 수광되고, I2C 버스(40)를 통하여 TCPU(46)에 보내지면, CPU(46)는, 그 선택 결과에 따른 보간 위치 파라미터(Relpos)의 값을 설정한다.
도 8은, 3:2 풀다운 필름 신호가 공급되는 경우에, 보간 위치 조정 버튼(401)에서의 선택 결과에 대응하여 CPU(46)가 설정하는 보간 위치 파라미터(Relpos)의 값을 도시하는 도면이다. 보간 위치 조정 버튼(401)으로 「강」이 선택된 경우에는, Relpos_32_0, Relpos_32_1, Relpos_32_2, Relpos_32_3, Relpos_32_4의 값은 각각 0, 0.2, 0.4, 0.6, 0.8로 설정된다.
1상째의 파라미터(Relpos_32_0)의 값은 0이므로, 앞에서 나온 식(1) 및 식(2)로부터, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임중 시간적으로 빠른 쪽의 오리지널 프레임이 그대로 인터폴레이터(453)로부터 출력된다.
또한, 2상째, 3상째, 4상째, 5상째의 파라미터(Relpos_32_1, Relpos_32_2, Relpos_32-3, Relpos_32_4)의 값은 0.2, 0.4, 0.6, 0.8이라는 바와 같이 0.2씩 균등하게 변화하고 있기 때문에, 앞에서 나온 식(1) 및 식(2)로부터, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임 사이에 작성되는 4개의 보간 프레임에서의 영상의 보간 위치는, 도 3(b)에 도시한 종래의 보간 위치와 같이, 이 2개의 오리지널 프레임 사이의 영상의 움직임의 크기를 균등하게 5분할한 위치, 즉 이 움직임의 크기에 대해 각각 20%, 40%, 60%, 80%의 위치가 된다.
보간 위치 조정 버튼(401)으로 「중」이 선택된 경우에는, Relpos_32_0, Relpos_32_1, Relpos_32_2, Relpos_32_3, Relpos_32_4의 값은 각각 0, 0.15, 0.3, 0.7, 0.85로 설정된다. 1상째의 파라미터(Relpos_32_0)의 값은 0이므로, 「강」인 경우와 같이, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임중 시간적으로 빠른 쪽의 오리지널 프레임이 그대로 인터폴레이터(453)로부터 출력된다.
이에 대해, 2상째, 3상째의 파라미터(Relpos_32_1, Relpos_32_2)(이것은, 도 3(b)에도 도시되어 있는 바와 같이, 이웃하는 오리지널 프레임 사이의 4개의 보간 프레임중, 전방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터이다)의 값 0.15, 0.3은, 「강」인 경우의 값 0.2, 0.4보다도 작게 되어 있다.
또한, 4상째, 5상째의 파라미터(Relpos_32_3, Relpos_32_4)(이것은, 도 3(b) 에도 도시되어 있는 바와 같이, 이웃하는 오리지널 프레임 사이의 4개의 보간 프레임중, 후방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터이다)의 값 0.7, 0.85는, 「강」인 경우의 값 0.6, 0.8보다도 크게 되어 있다.
이러한 파라미터(Relpos_32_1 내지 Relpos_32_4)의 값에 의해, 「중」인 경우에는, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임 사이에 작성되는 4개의 보간 프레임에서의 영상의 보간 위치는, 이 2개의 오리지널 프레임 사이의 영상의 움직임의 크기에 대해 각각 15%, 30%, 70%, 85%의 위치가 된다. 즉, 4개의 보간 프레임에서의 영상의 보간 위치는, 「강」인 경우와 같이 이 2개의 오리지널 프레임 사이에서의 영상의 움직임의 크기를 균등하게 분할한 위치(종래와 같은 보간 위치)가 아니라, 이 균등하게 분할한 위치보다도 각각의 보간 프레임에 가까운 쪽의 오리지널 프레임의 영상 근처의 위치가 된다.
보간 위치 조정 버튼(401)으로 「약」이 선택된 경우에는, Relpos_32_0, Relpos_32_1, Relpos_32_2, Relpos_32_3, Relpos_32_4의 값은 각각 0, 0.1, 0.2, 0.8, 0.9로 설정된다. 2상째, 3상째의 파라미터(이웃하는 오리지널 프레임 사이의 4개의 보간 프레임중 전방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터)의 값 0.1, 0.2는, 「중」인 경우의 값 0.15, 0.3보다도 더욱 작게 되어 있다.
또한, 4상째, 5상째의 파라미터(이웃하는 오리지널 프레임 사이의 4개의 보간 프레임중, 후방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터)의 값 0.8, 0.9는, 「중」인 경우의 값 0.7, 0.85보다도 더욱 크게 되어 있다.
이러한 파라미터(Relpos_32_1 내지 Relpos_32_4)의 값에 의해, 「약」인 경우에는, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임 사이에 작성되는 4개의 보간 프레임에서의 영상의 보간 위치는, 이 2개의 오리지널 프레임 사이의 영상의 움직임의 크기에 대해 각각 10%, 20%, 80%, 90%의 위치가 된다. 즉, 4개의 보간 프레임에서의 영상의 보간 위치는, 「중」인 경우보다도 한층, 각각의 보간 프레임에 가까운 쪽의 오리지널 프레임의 영상 근처의 위치가 된다.
도 9는, 2:2 풀다운 필름 신호가 공급되는 경우에, 보간 위치 조정 버튼(401)에서의 선택 결과에 대응하여 CPU(46)가 설정하는 보간 위치 파라미터(Relpos)의 값을 도시하는 도면이다. 보간 위치 조정 버튼(401)으로 「강」이 선택된 경우에는, Relpos_22_0, Relpos_22_1, Relpos_22_2, Relpos_22_3의 값은 각각 0, 0.25, 0.5, 0.75로 설정된다.
1상째의 파라미터(Relpos_22_0)의 값은 0이므로, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임중 시간적으로 빠른 쪽의 오리지널 프레임이 그대로 인터폴레이터(453)로부터 출력된다.
또한, 2상째, 3상째, 4상째의 파라미터(Relpos_22_1, Relpos_22_2, Relpos_22_3)의 값은 0.25, 0.5, 0.75라는 바와 같이 0.25씩 균등하게 변화하고 있기 때문에, 앞에서 나온 식(1) 및 식(2)로부터, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임 사이에 작성되는 3개의 보간 프레임에서의 영상의 보간 위치는, 도 2(b)에 도시한 종래의 보간 위치와 같이, 이 2개의 오리지널 프레임 사 이의 영상의 움직임의 크기를 균등하게 4분할한 위치, 즉 이 움직임의 크기에 대해 각각 25%, 50%, 75%의 위치가 된다.
보간 위치 조정 버튼(401)으로 「중」이 선택된 경우에는, Relpos_22_0, Relpos_22_1, Relpos_22_2, Relpos_22_3의 값은 각각 0, 0.15, 0.3, 0.85로 설정된다. 1상째의 파라미터(Relpos_22_0)의 값은 0이므로, 「강」인 경우와 같이, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임중 시간적으로 빠른 쪽의 오리지널 프레임이 그대로 인터폴레이터(453)로부터 출력된다.
이에 대해, 2상째의 파라미터(Relpos_22_1)(이것은, 도 2(b)에도 도시되어 있는 바와 같이, 이웃하는 오리지널 프레임 사이의 3개의 보간 프레임중, 전방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터이다)의 값 0.15는, 「강」인 경우의 값 0.25보다도 작게 되어 있다.
또한, 3상째의 파라미터(Relpos_22_2)는, 도 2(b)에도 도시되어 있는 바와 같이, 이웃하는 오리지널 프레임 사이의 3개의 보간 프레임중, 전방의 오리지널 프레임과 후방의 오리지널 프레임의 정확히 중간의 보간 프레임을 작성하기 위한 파라미터이다. 여기서는, 이 중간의 보간 프레임도, 전방의 오리지널 프레임에 가까운 쪽의 보간 프레임으로 분류함에 의해, 파라미터(Relpos_22_2)의 값도, 「강」인 경우의 값 0.5보다도 작은 값 0.3이 되어 있다.
또한, 4상째의 파라미터(Relpos_22_3)(여기서는, 도 2(b)에도 도시되어 있는 바와 같이, 이웃하는 오리지널 프레임 사이의 3개의 보간 프레임중, 후방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터이다)의 값 0.85 는, 「강」인 경우의 값 0.75보다도 크게 되어 있다.
이러한 파라미터(Relpos_22_1 내지 Relpos_22_3)의 값에 의해, 「중」인 경우에는, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임 사이에 작성되는 3개의 보간 프레임에서의 영상의 보간 위치는, 이 2개의 오리지널 프레임 사이의 영상의 움직임의 크기에 대해 각각 15%, 30%, 85%의 위치가 된다. 즉, 3개의 보간 프레임에서의 영상의 보간 위치는, 「강」인 경우와 같이 이 2개의 오리지널 프레임 사이에서의 영상의 움직임의 크기를 균등하게 분할한 위치(종래와 같은 보간 위치)가 아니라, 이 균등하게 분할한 위치보다도 각각의 보간 프레임에 가까운 쪽의 오리지널 프레임의 영상 근처의 위치가 된다.
보간 위치 조정 버튼(401)으로 「약」이 선택된 경우에는, Relpos_22_0, Relpos_22_1, Relpos_22_2, Relpos_22_3의 값은 각각 0, 0.1, 0.2, 0.9로 설정된다. 2상째, 3상째의 파라미터(이웃하는 오리지널 프레임 사이의 3개의 보간 프레임중 전방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터)의 값 0.1, 0.2는, 「중」인 경우의 값 0.15, 0.3보다도 더욱 작게 되어 있다.
또한, 4상째의 파라미터(이웃하는 오리지널 프레임 사이의 3개의 보간 프레임중, 후방의 오리지널 프레임에 가까운 쪽의 보간 프레임을 작성하기 위한 파라미터)의 값 0.9는, 「중」인 경우의 값 0.85보다도 더욱 크게 되어 있다.
이러한 파라미터(Relpos_22_1 내지 Relpos_22_3)의 값에 의해, 「약」인 경우에는, 서치 레인지 메모리(451, 452) 내의 2개의 오리지널 프레임 사이에 작성되는 3개의 보간 프레임에서의 영상의 보간 위치는, 2개의 오리지널 프레임 사이의 영상의 움직임의 크기에 대해 각각 10%, 20%, 90%의 위치가 된다. 즉, 3개의 보간 프레임에서의 영상의 보간 위치는, 「중」인 경우보다도 한층, 각각의 보간 프레임에 가까운 쪽의 오리지널 프레임의 영상 근처의 위치가 된다.
도 10은, 도 4와 같은 오리지널 프레임의 영상을 예로 들어, 도 5의 영상 신호 처리 장치(4)에 3:2 풀다운 필름 신호가 공급되어 보간 위치 조정 버튼(401)으로 「약」이 선택된 경우의 프레임 레이트 변환 후의 영상(도 10(b))를, 종래의 보간 위치에서의 영상(도 10(a))과 대비시켜서 도시하는 도면이다.
도 10(b)에 도시되어 있는 바와 같이, 4개의 보간 프레임중, 전방의 오리지널 프레임(A)의 쪽에 가까운 2개의 보간 프레임에서는, 종래의 경우보다도 비행기의 영상이 오리지널 프레임(A) 근처에 위치하고 있다. 다른 한편, 후방의 오리지널 프레임(B)의 쪽에 가까운 2개의 보간 프레임에서는, 종래의 경우보다도 비행기의 영상이 오리지널 프레임(B) 근처에 위치하고 있다. 따라서 2번째의 보간 프레임과 3번째의 보간 프레임 사이에서는, 비행기의 영상의 위치의 간격이 종래보다도 크게 되어 있다.
이와 같이, 이 영상 신호 처리 장치(4)에서는, 보간 위치 조정 버튼(401)으로 「약」이나 「중」을 선택한 경우, 전후의 오리지널 프레임중의 전방의 오리지널 프레임에 가까운 보간 프레임에서는 보간 위치가 전방의 오리지널 프레임의 영상 근처로 치우치고, 후방의 오리지널 프레임에 가까운 보간 프레임에서는 보간 위치가 후방의 오리지널 프레임의 영상 근처로 치우친다.
그 때문에, 도 10에도 도시되어 있는 바와 같이, 전방의 오리지널 프레임에 가까운 보간 프레임과, 후방의 오리지널 프레임에 가까운 보간 프레임 사이에서는, 종래보다도, 보간된 영상의 위치의 간격이 커진다.
이와 같이, 종래보다도 영상의 보간 위치의 간격이 큰 보간 프레임이 존재하게 되기 때문에, 그들의 보간 프레임 사이에서의 영상의 움직임의 흔들림이 종래보다도 커진다. 따라서 필름 신호의 프레임 레이트 변환을 행한 때에, 프레임 레이트 변환에 의해 지더를 삭감하면서, 그 삭감의 정도를 종래보다도 약하게 할 수 있다.
그리고, 유저가 텔레비전 수신기로 필름 신호의 영상을 보는 경우에, 지더를 대폭적으로 삭감하여 영상의 움직임을 스무스하게 한 쪽이 좋다고 느끼는지, 그렇지 않으면 지더를 어느 정도 남겨 둔 쪽이 필름 신호인 것 같아서 좋다고 느끼는지는, 개개의 유저에 의해 기호가 나누어지는 것이다. 그래서, 영상의 움직임이 스무스하게 되는 쪽이 좋다고 느끼는 유저는 보간 위치 조정 버튼(401)으로 「강」을 선택하고, 지더를 어느 정도 남겨 둔 쪽이 좋다고 느끼는 유저는 보간 위치 조정 버튼(401)으로 「약」이나 「중」을 선택함에 의해, 개개의 유저의 기호에 따라 지더의 삭감의 정도를 선택할 수 있다.
또한, 배경 기술의 난에 기재한 바와 같이, 움직임 보상을 이용한 프레임 레이트 변환에서는, 이웃하는 오리지널 프레임 사이의 영상의 움직임이 매우 빨라진 경우, 움직임 벡터의 탐색 범위를 초과하여 버리기 때문에, 큰 지더가 발생한다. 그러한 경우에도, 보간 위치 조정 버튼(401)으로 「약」이나 「중」을 선택하여 지더의 삭감의 정도를 약하게 하여 두면, 원래 어느 정도 지더가 존재하는 영상을 보고 있는 도중에 큰 지더가 발생하기 때문에, 종래와 같이 움직임이 매우 스무스한 영상을 보고 있는 도중에 돌연 큰 지더가 발생한 경우보다도, 위화감을 느끼는 것이 적어진다.
또한, 움직임 보상을 이용한 프레임 레이트 변환에서는, 부작용으로서, 움직임이 있는 인물 등의 영상의 윤곽에 아지랑이와 같은 노이즈가 보이는 현상(Halo라고 부르고 있다)이 생기는 것이 알려져 있는데, 이 Halo는, 보간된 영상의 위치가 오리지널 프레임의 영상의 위치로부터 떨어질수록 현저해진다. 이에 대해, 보간 위치 조정 버튼(401)으로 「약」이나 「중」을 선택하면, 보간된 영상의 위치가 오리지널 프레임의 영상 근처의 위치가 되기 때문에, 이 Halo도 억제할 수 있게 된다.
또한, 도 5의 예에서는, 리모트 컨트롤러(400)에, 보간 위치 파라미터(Relpos)의 값을 「강·중·약」의 3단계로 전환하여 선택하기 위한 보간 위치 조정 버튼(401)을 마련하고 있다. 그러나, 다른 예로서, 보간 위치 파라미터(Relpos)의 값을 도 8이나 도 9의 「강」부터 「약」까지의 범위 내에서 연속적(무단계)으로 변화시켜서 선택하기 위한 볼륨 스위치 등의 조작 수단을, 리모트 컨트롤러(400) 또는 텔레비전 수신기 본체에 마련하도록 하여도 좋다. 또한, 그 경우에, 보간 위치 파라미터(Relpos)의 값의 최소 변화량을 한층 작게 하기 위해, CPU(46)가 공급하는 보간 위치 파라미터(Relpos)의 비트 수를 6비트보다도 크게(예를 들면 8비트 정도로) 하여도 좋다.
다음에, 도 11은, 본 실시의 형태의 변형예에 관한 영상 신호 처리 장치(영상 신호 처리 장치(4a))의 회로 구성예를 도시하는 블록도이다. 또한, 도 5에 도시한 영상 신호 처리 장치(4)와 동일 구성의 부분에는 동일 부호를 붙이고 있고, 그 들의 중복 설명은 생략한다.
이 영상 신호 처리 장치(4a)에서는, 영상 신호 처리 장치(4a)에 공급되는 디지털 컴포넌트 신호(YUV)의 S/N 레벨이, S/N 레벨 검출부(49)에서 검출된다. 그리고, 그 검출 결과를 나타내는 신호가, I2C 버스(40)를 통하여 TCPU(46)에 보내진다.
움직임 보상을 이용한 프레임 레이트 변환에서는, 전술한 바와 같이, 움직임이 있는 인물 등의 영상의 윤곽에 아지랑이와 같은 노이즈가 보이는 현상(Halo)이 생긴다. 이 Halo는, 영상의 보간 위치가 오리지널 프레임의 영상의 위치로부터 떨어질수록 현저해지는 외에, 영상 신호의 S/N 레벨이 낮아질(노이즈 레벨이 높아질)수록 생기기 쉬워진다.
CPU(46) 내의 메모리에는, Halo가 생기기 쉬워지는지 여부의 경계로서 미리 설정한 소정의 값의 S/N 레벨을 나타내는 정보가 미리 기억되어 있다. CPU(46)는, S/N 레벨 검출부(49)에서의 검출 결과가 이 소정 레벨보다도 높은 경우에는, 보간부(45)에 공급하는 보간 위치 파라미터(Relpos)를, 도 8이나 도 9의 「강」의 값으로 설정한다. 다른 한편, S/N 레벨 검출부(49)에서의 검출 결과가 이 소정 레벨 이하인 경우에는, CPU(46)는, 보간부(45)에 공급하는 보간 위치 파라미터(Relpos)를, 도 8이나 도 9의 「약」(또는 「중」이라도 좋다)의 값으로 설정한다.
이로써, 공급되는 디지털 컴포넌트 신호(YUV)의 S/N 레벨이 높은 경우(Halo가 생기기 어려운 경우)에는, 영상의 움직임을 스무스하게 할 수 있고, 이 S/N 레벨이 낮은 경우(Halo가 생기기 쉬운 경우)에는, 영상의 보간 위치를 오리지널 프레 임의 영상 근처의 위치로 하여 Halo를 억제할 수 있다.
또한, 본 실시의 형태에서는, 필름 신호를 프레임 레이트 변환하는 예를 설명하였다. 그러나, 카메라 신호에서도, 예를 들면 도 12에 도시하는 바와 같이, NTSC 방식의 카메라 신호의 프레임 레이트를 240Hz로 변환하는 경우에는, 이웃하는 오리지널 프레임(프레임(A)과 프레임(B)이나, 프레임(B)과 프레임(C)이나, 프레임(C)과 프레임(D)) 사이에, 1/240sec 간격으로 3개씩 보간 프레임이 추가된다. 또한, 도시는 생략하지만, PAL 방식의 카메라 신호의 프레임 레이트를 200Hz로 변환하는 경우에는, 이웃하는 오리지널 프레임 사이에, 1/200sec 간격으로 3개씩 보간 프레임이 추가된다. 본 발명은, 카메라 신호를 이와 같이 하이 프레임 레이트로 변환하는 경우에도 적용하면 좋다.
또한, 본 실시의 형태에서는, 유저의 선택 조작에 의해 보간 위치 파라미터(Relpos)의 값을 설정하는 예나, 영상 신호의 S/N 레벨에 따른 보간 위치 파라미터(Relpos)의 값을 설정하는 예를 설명하였다. 그러나, 보간 위치 파라미터(Relpos)의 값의 또다른 설정 방법으로서, 예를 들면 현재 수신하고 있는 텔레비전 방송프로그램의 장르의 정보를 EPG(전자 방송프로그램 가이드)로부터 취득하고, 그 장르에 의해 보간 위치 파라미터(Relpos)의 값을 설정하도록(예를 들면, 영상의 움직임이 느린 장르에서는 도 8이나 도 9의 「강」의 값으로 설정하고, 영상의 움직임이 빠른 장르에서는 도 8이나 도 9의 「약」 또는 「중」의 값으로 설정하도록) 하여도 좋다.
또한, 보간 위치 파라미터(Relpos)의 값을, 팩트 리셋으로 도 8이나 도 9의 「약」 또는 「중」의 값으로 설정하도록 하여도 좋다.
또한, 도 8이나 도 9에 도시한 「약」이나 「중」의 값은 어디까지나 한 예이고, 그 밖의 값으로서 각 보간 프레임에서의 영상의 보간 위치가 각각의 보간 프레임에 가까운 쪽의 오리지널 프레임의 영상 근처의 위치가 되는 값으로 설정하여도 좋음은 물론이다.
또한, 본 실시의 형태에서는, 텔레비전 수신기 내의 영상 신호 처리 장치에 본 발명을 적용한 예를 설명하였다. 그러나, 본 발명은, 그 밖에도, 예를 들면 DVD 플레이어 내의 영상 신호 처리 장치 등, 움직임 보상을 이용하여 영상 신호의 프레임 레이트 변환을 행하는 모든 영상 신호 처리 장치에 적용할 수 있다.
[제 2의 실시의 형태]
다음에, 본 발명의 제 2의 실시의 형태에 관해 설명한다.
도 13은, 본 실시의 형태에 관한 영상 신호 처리 장치(영상 신호 처리 장치(4B))의 구성의 한 예를 도시하고 있다. 또한, 상기 실시의 형태에서의 구성 요소와 동일한 것에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
이 영상 신호 처리 장치(4B)는, 동화상 데이터에 대한 각종 화상 처리를 액세스 유닛 단위로 실행한다. 액세스 유닛이란, 프레임이나 필드라는 동화상의 단위를 가리키고, 구체적으로는 예를 들면, 동화상을 구성하는 각 코마 전체 또는 그 일부분을 가리킨다. 또한, 여기서 말하는 코마란, 1장의 정지화상을 말하고, 따라서 코마 전체가 프레임에 해당하는 것으로 된다. 단, 이하, 설명의 간략상, 영상 신호 처리 장치(4B)는, 동화상 데이터에 대한 각종 화상 처리를 프레임 단위로 실 행한다고 한다.
이 영상 신호 처리 장치(4B)는, 도 13에 도시되는 바와 같이, 제 1의 실시의 형태에서 설명한 영상 신호 처리 장치(4a)(보간부(45)(고(高)프레임 레이트 변환부)를 포함한다)에 있어서, 촬상 흐림 특성 검출부(12) 및 촬상 흐림 억제 처리부(13)를 또한 마련하도록 한 것이다.
보간부(45)에는, 제 1의 실시의 형태에서 설명한 바와 같이, 예를 들면 텔레비전 방송 신호 등의 동화상 신호가, 프레임 단위의 동화상 데이터로서 입력된다.
또한, 이하, 동화상과, 그에 대응하는 동화상 데이터를 개개로 구별할 필요가 없는 경우, 이들을 정리하여 동화상이라고 단순히 칭한다. 마찬가지로, 프레임과, 그에 대응하는 프레임 데이터를 개개로 구별할 필요가 없는 경우, 이들을 정리하여 프레임이라고 단순히 칭한다.
보간부(45)는, 제 1의 프레임 레이트의 동화상이 입력된 경우, 그 동화상에 대해 고프레임 레이트 변환 처리를 시행하고, 그 결과 얻어지는, 제 1의 프레임 레이트보다도 높은 제 2의 프레임 레이트의 동화상을 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)에 공급한다.
고프레임 레이트 변환 처리란, 입력시의 제 1의 프레임 레이트가 출력(표시)시의 제 2의 프레임 레이트보다도 낮은 경우에 실행되는 처리로서, 입력시의 동화상을 구성하는 각 프레임의 각각 사이에, 새로운 프레임을 창조하여 각각 삽입함으로써, 제 1의 프레임 레이트를 그것보다도 높은 제 2의 프레임 레이트로 변환하는 처리를 가리킨다.
또한, 제 1의 프레임 레이트란, 보간부(45)에 입력된 시점의 동화상의 프레임 레이트를 가리킨다. 따라서, 제 1의 프레임 레이트는, 임의의 프레임 레이트가 될 수 있지만, 여기서는 예를 들면, 도시하지 않은 촬영 장치에 의해 동화상이 촬영된 때의 프레임 레이트, 즉, 촬상 프레임 레이트인 것으로 한다.
또한, 본 실시의 형태에서는, 이와 같은 고프레임 레이트 변환 처리를 행하는 고프레임 레이트 변환부의 한 예로서, 제 1의 실시의 형태에서 설명한 보간부(45)(오리지널 프레임 사이에 N개씩의 보간 프레임을 추가하는 경우에, 이들의 보간 프레임에서의 영상의 보간 위치를, 전후의 오리지널 프레임 사이에서의 영상의 움직임의 크기를 균등하게 분할한 위치가 아니라, 이 균등하게 분할한 위치보다도 각각의 보간 프레임에 가까운 쪽의 오리지널 프레임의 영상 근처의 위치로 설정하는 것)를 들어서 설명하지만, 이와 같은 보간부(45) 대신에, 통상의 고프레임 레이트 변환부(보간 프레임에서의 영상의 보간 위치를, 전후의 오리지널 프레임 사이에서의 영상의 움직임의 크기를 균등하게 분할한 위치로 설정하는 것)를 마련하도록 하여도 좋다.
촬상 흐림 특성 검출부(12)는, 보간부(45)로부터 공급된 동화상을 구성하는 각 프레임의 각각에 대해, 촬상 흐림의 특성을 나타내는 파라미터의 값을 검출한다. 촬상 흐림 특성 검출부(12)의 검출 결과, 즉, 촬상 흐림의 특성을 나타내는 파라미터의 값은, 촬상 흐림 억제 처리부(13)에 공급된다.
또한, 촬상 흐림의 특성을 나타내는 파라미터는, 특히 한정되지 않고 다양한 파라미터의 채용이 가능하다. 이와 같은 촬상 흐림의 특성을 나타내는 파라미터의 구체예에 관해서는 후술하지만, 예를 들면 촬상 흐림의 특성을 나타내는 파라미터로서 이동 벡터(움직임 벡터)의 절대치를 이용하는 경우, 촬상 흐림 특성 검출부(12)를, 제 1의 실시의 형태에서 설명한 움직임 벡터 검출부(44)에 의해 구성하여도 좋다.
또한, 하나의 프레임 내에서의, 촬상 흐림의 특성을 나타내는 파라미터의 값의 검출 개수도 특히 한정되지 않는다. 예를 들면, 하나의 프레임에 대해, 촬상 흐림의 특성을 나타내는 파라미터의 값이 하나만 검출되어도 좋고, 그 프레임을 구성하는 각 화소마다, 촬상 흐림의 특성을 나타내는 파라미터의 값이 하나씩 개별적으로 검출되어도 좋다. 또는, 그 하나의 프레임이 몇개의 블록으로 분할되고, 분할된 각 블록마다, 촬상 흐림의 특성을 나타내는 파라미터의 값이 하나씩 개별적으로 검출되어도 좋다.
촬상 흐림 억제 처리부(13)는, 보간부(45)로부터 공급된 동화상을 구성하는 각 프레임의 각각에 대해, 촬상 흐림 특성 검출부(12)에 의해 검출된 파라미터의 값중 처리 대상의 프레임에 대응하는 값에 의거하여, 처리 대상의 프레임을 구성하는 각 화소치를 보정한다. 즉, 촬상 흐림 억제 처리부(13)는, 처리 대상의 프레임에 관한 촬상 흐림의 특성(파라미터의 값)에 따라, 처리 대상의 프레임의 각 화소치를, 그 촬상 흐림이 억제되도록 보정한다. 즉, 검출된 파라미터의 값을 이용함에 의해, 보간부(45)로부터 공급된 각 프레임에 포함되는 촬상 흐림에 기인한 화질 열화를 억제하는 촬상 흐림 억제 처리를 행하도록 되어 있다.
이로써, 각 프레임의 각 화소치가 보정됨으로써 촬상 흐림이 억제된 동화상 으로서, 입력시의 제 1의 프레임 레이트보다도 높은 제 2의 프레임 레이트로 변환된 동화상이, 촬상 흐림 억제 처리부(13)로부터 영상 신호 처리 장치(4B)의 외부로 출력된다.
또한, 도 13의 예에서는, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조(組)는, 보간부(45)와 조합시켜서 이용되고 있지만, 당연하지만, 그 조 단체(單體)로 이용하는 것도 가능하고, 또한, 도시하지 않은 다른 기능 블록(소정의 화상 처리를 시행하는 다른 영상 신호 처리부)과 조합시켜서 이용하는 것도 가능하다.
즉, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)라는 조만으로, 촬상 흐림을 억제한다는 효과를 이루는 것이 가능해진다. 단, 이 효과를 보다 현저하게 하기 위해서는, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조에 대해, 상술한 바와 같이, 보간부(45)를 조합시키면 알맞다. 이하, 이 이유에 관해 설명하여 간다.
도시하지 않은 표시 장치에 표시되는 동화상이 인간의 망막상에 상(像)으로서 형성될 때에 그 인간에게 인식된 흐림은, 그 인간이 동화상에 포함되는 동물체를 추종하여 봄에 의한 홀드 흐림과, 그 동화상의 촬상시에 가하여지는 상술한 촬상 흐림을 조합시킨 것이다.
여기서 말하는 촬상 흐림의 특성은, 도 16 등을 참조하여 후술하는 바와 같이, 로우패스 필터로서 표현된다. 즉, 촬상 흐림 후의 화상 신호란, 촬상 흐림 전의 화상 신호(이상적인 화상 신호)에 대해 이 로우패스 필터가 걸린 신호와 등가인 신호이다. 따라서, 촬상 흐림 후의 화상 신호는, 촬상 흐림 전의 화상 신호와 비교하여, 그 주파수 특성이 떨어져 버린다. 즉, 촬상 흐림 후의 화상 신호에서는, 촬상 흐림 전의 화상 신호와 비교하여, 고주파수가 되면 될수록 게인이 일반적으로 떨어져 버린다.
여기서 말하는 홀드 흐림의 특성도 또한, 촬상 흐림의 특성과 마찬가지로 로우패스 필터로서 표현된다. 즉, 홀드 흐림 후의 화상 신호란, 홀드 흐림 전의 화상 신호(촬상 흐림 후의 화상 신호)에 대해 이 로우패스 필터가 걸린 신호와 등가인 신호이다. 따라서, 홀드 흐림 후의 화상 신호는, 홀드 흐림 전의 화상 신호와 비교하여, 그 주파수 특성이 떨어져 버린다. 즉, 홀드 흐림 후의 화상 신호에서는, 홀드 흐림 전의 화상 신호와 비교하여, 고주파수가 되면 될수록 게인이 일반적으로 떨어져 버린다. 단, 홀드 흐림은, 표시 장치가 고정 화소(홀드) 표시 장치일 때에만 발생한다.
따라서 주파수 특성이 촬상 흐림 때문에 이미 떨어져 있는 촬상 흐림 후의 화상 신호에 대해, 고프레임 레이트 변환 처리를 시행함으로써, 홀드 흐림을 억제하는 것 자체는 가능하다. 그러나, 이와 같은 고프레임 레이트 변환 처리를 시행하였다고 하여도, 촬상 흐림의 열화는 변하지 않고, 최종적으로 인간의 망막상에서의 흐림을 억제시킨다는 효과는 반감하여 버린다. 이것을, 도 14를 참조하여 설명한다.
도 14는, 촬영 장치(이하, 카메라라고 칭한다)의 촬영 범위 내에서 이동 속도 4[화소/프레임]으로 이동하고 있는 실물체를 촬영한 때에 있어서의, 인간의 망 막상에서 형성되는 상의 흐림의 주파수 특성을 도시하고 있다. 도 14에서, 횡축은 주파수를, 종축은 게인의 각각을 나타내고 있다. 단, 횡축의 각 값은, 나이키스트 주파수가 1이 된 경우의 상대치를 나타내고 있다.
도 14에서, 동 도면중 1점쇄선으로 도시되는 곡선(h0)은, 흐림(촬상 흐림도 홀드 흐림도 포함한다)을 개선하기 위한 처리가 특히 행하여지지 않은 경우에 있어서, 인간의 망막상에서 형성되는 상의 흐림의 주파수 특성을 나타내고 있다. 즉, 도 13의 예에서는 영상 신호 처리 장치(4B)에 입력되는 동화상이, 가령 영상 신호 처리 장치(4B)에 입력되는 일 없이(처리되는 일 없이) 그대로 표시 장치에 공급되어 표시된 경우에, 인간이 그 동화상을 본 때에 망막상에서 형성되는 상의 흐림의 주파수 특성이, 곡선(h0)이다.
이에 대해, 예를 들면 고프레임 레이트 변환 처리에 의해 표시 속도가 배(倍)가 되면, 홀드 흐림만은 개선되고, 그 결과, 인간의 망막상에서 형성되는 상의 흐림의 주파수 특성은, 동도 중점선으로 도시되는 곡선(h1)이 된다. 즉, 도 13의 영상 신호 처리 장치(4B)에 입력된 동화상이, 보간부(45)에 의해 고프레임 레이트 변환 처리가 시행되고, 그 후, 가령 촬상 흐림 억제 처리부(13)에 입력되는 일 없이(촬상 흐림이 개선되는 일 없이) 표시 장치에 공급되어 표시된 경우, 인간이 그 동화상을 본 때에 망막상에서 형성되는 상의 흐림의 주파수 특성이, 곡선(h1)이다.
또한, 예를 들면 본 발명이 적용되어, 고프레임 레이트 변환 처리에 의해 표시 속도가 배가 되고(홀드 흐림이 개선되고), 또한 촬상 흐림의 정도가 반분으로 개선되면, 인간의 망막상에서 형성되는 상의 흐림의 주파수 특성은, 동 도면중 실 선으로 도시되는 곡선(h2)이 된다. 즉, 도 13의 영상 신호 처리 장치(4B)에 입력된 동화상이, 보간부(45)에 의해 고프레임 레이트 변환 처리가 시행되고, 또한, 촬상 흐림 억제 처리부(13)에 의해 촬상 흐림이 억제되고 나서 표시 장치에 공급되어 표시된 경우, 인간이 그 동화상을 본 때에 망막상에서 형성되는 상의 흐림의 주파수 특성이, 곡선(h2)이다.
곡선(h1)과 곡선(h2)을 비교하면, 고프레임 레이트 변환 처리에 의해 홀드 흐림만이 개선된 것만으로는, 인간의 망막상에서 흐림의 특성의 개선은 불충분하고, 또한 촬상 흐림의 개선도 필요한 것을 알 수 있다. 그러나, 상술한 바와 같이, 종래의 수법에서는, 촬상 흐림의 개선이 필요한 것은 특히 고려되지 않고, 고프레임 레이트 변환 처리가 단지 행하여져 있다.
그래서, 도 13의 실시예 외에, 후술하는 도 35나 도 36 등의 실시예로 나타나는 본 발명의 영상 신호 처리 장치에서는, 보간부(45) 외에 또한, 촬상 흐림의 개선을 목적으로 하여, 즉, 인간의 망막상에 있어서의 흐림의 특성을 도 14의 곡선(h0)으로부터 곡선(h2)과 같이 개선하는 것을 목적으로 하여, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)가 마련되어 있는 것이다. 단, 후술하는 도 37과 도 38의 실시예에서 도시되는 바와 같이, 촬상 흐림 특성 검출부(12)는, 본 발명의 영상 신호 처리 장치에 있어서 필수적인 구성 요소는 아니다
즉, 촬상 흐림 억제 처리부(13)는, 각 프레임의 각각에 대해, 촬상 흐림 특성 검출부(12)에 의해 검출된 촬상 흐림의 특성을 나타내는 파라미터의 값중의 처리 대상의 프레임에 대응하는 값에 의거하여, 처리 대상의 프레임의 각 화소치를 보정함으로써, 고프레임 레이트 변환 후의 프레임에 대한 촬상 흐림에 기인한 화상 열화를 억제하고 있는 것이다. 즉, 영상 신호 처리 장치(4B) 등, 본 발명의 영상 신호 처리 장치로부터 출력된 화상 신호를 도시하지 않은 표시 장치에 공급함으로써, 표시 장치는, 그 화상 신호에 대응하는 영상으로서, 화상 열화(흐림 화상)가 억제된 선명한 영상을 표시하는 것이 가능하게 되는 것이다.
이와 같이, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 조는, 보간부(45)와 조합되면 알맞다.
다음에, 도 15의 플로우 차트를 참조하여, 이러한 도 13의 기능적 구성을 갖는 영상 신호 처리 장치(4B)의 화상 처리에 관해 설명한다.
스텝 S1에서, 보간부(45)는, 제 1의 프레임 레이트의 동화상을 입력한다.
스텝 S2에서, 보간부(45)는, 동화상의 프레임 레이트를, 제 1의 프레임 레이트보다도 높은 제 2의 프레임 레이트로 변환한다.
제 1의 프레임 레이트로부터 제 2의 프레임 레이트로 변환된 동화상이, 보간부(45)로부터 촬상 흐림 검출부(2)와 촬상 흐림 억제 처리부(13)에 공급되면, 처리는 스텝 S3으로 진행한다.
스텝 S3에서, 촬상 흐림 특성 검출부(12)는, 동화상을 구성하는 각 프레임의 각각중에서, 촬상 흐림의 특성을 나타내는 파라미터의 값을 1 이상 검출한다.
동화상을 구성하는 각 프레임의 각각에 대한 촬상 흐림의 특성을 나타내는 파라미터의 1 이상의 값이, 촬상 흐림 특성 검출부(12)로부터 촬상 흐림 억제 처리부(13)에 공급되면, 처리는 스텝 S4로 진행한다.
스텝 S4에서, 촬상 흐림 억제 처리부(13)는, 보간부(45)로부터 공급된 동화상을 구성하는 각 프레임의 각각에 대해, 촬상 흐림 검출부(2)에 의해 검출된 파라미터의 값중의 처리 대상의 프레임에 대응하는 1 이상의 값에 의거하여, 처리 대상의 프레임의 각 화소치를 보정한다.
스텝 S5에서, 촬상 흐림 억제 처리부(13)는, 각 프레임의 화소치가 보정되고, 또한, 제 1의 프레임 레이트로부터 제 2의 프레임 레이트로 변경된 동화상을 출력한다.
이로써, 도 15의 화상 처리는 종료가 된다.
또한, 상술한 설명에서는, 설명의 간략상, 스텝 S1 내지 S5의 각 스텝의 처리는, 동화상이 처리 단위가 되었다. 단, 실제로는, 프레임이 처리 단위가 되는 경우가 많이 있다.
도 15의 화상 처리에서, 각 스텝의 처리 단위가 동화상이라는 것은, 스텝 S1 내지 S5중의 처리 대상의 스텝부터 다음 스텝으로의 이행 조건이, 처리 대상의 스텝의 처리가 동화상 전체에 대해 시행된다는 조건이 되는 것과 등가이다.
이에 대해, 도 15의 화상 처리에서, 각 스텝의 처리 단위가 프레임이라는 것은, 스텝 S1 내지 S5중의 처리 대상의 스텝부터 다음 스텝으로의 이행 조건이, 처리 대상의 스텝의 처리가 하나의 프레임 전체에 대해 행하여진다는 조건이 되는 것과 등가이다. 환언하면, 각 스텝의 처리 단위가 프레임이라는 것은, 각 프레임의 각각에 대한 스텝 S1 내지 S5의 연속 처리가, 다른 프레임과는 독립하여(병행하여) 실행되는 것과 등가이다. 이 경우, 예를 들면, 제 1의 프레임에 대한 스텝 S3의 처 리가 실행되고 있을 때에, 그것과는 다른 제 2의 프레임에 대한 스텝 S2의 처리가 병행하여 실행되고 있는 일이 일어날 수 있다.
또한, 실제로는, 처리 대상의 프레임을 구성하는 각 화소의 각각이, 처리의 대상으로서 주목하여야 할 화소(이하, 주목 화소라고 칭한다)에 순차로 설정되고, 그 주목 화소에 대해, 적어도 스텝 S3과 S4의 처리가 순차로 개별로 시행되어 가는 일이 많이 있다. 즉, 스텝 S3과 S4의 처리 단위는 화소인 것이 많이 있다.
그래서, 이하의 설명에서도, 스텝 S3과 S4의 처리는 화소 단위인 것으로 하여 설명하여 간다. 즉, 스텝 S3의 처리란 촬상 흐림 특성 검출부(12)의 처리이고, 스텝 S4의 처리란 촬상 흐림 억제 처리부(13)의 처리이다. 따라서, 이하의 설명에서는, 촬상 흐림 특성 검출부(12)와 촬상 흐림 억제 처리부(13)의 처리 단위는 화소인 것으로 하여 설명하여 간다.
다음에, 도 13의 영상 신호 처리 장치(4B)중의, 촬상 흐림 억제 처리부(13)의 상세에 관해 설명하여 간다. 구체적으로는 예를 들면, 촬상 흐림의 특성을 나타내는 파라미터로서, 이동 벡터(움직임 벡터)의 절대치를 이용하는 경우의 촬상 흐림 억제 처리부(13)의 실시 형태에 관해 설명하여 간다.
또한, 이하, 이동 벡터(움직임 벡터)의 절대치를 이동 속도라고 칭하고, 또한, 이동 벡터(움직임 벡터)의 방향을 이동 방향이라고 칭한다. 이동 방향은, 2차원 평면상의 어느 방향으로도 될 수 있고, 도 13의 영상 신호 처리 장치(4B)는, 당연하지만, 2차원 평면상의 어느 방향이 이동 방향이 된 경우에도, 후술하는 각종 처리를 완전히 마찬가지로 실행하는 것이 가능하다. 단, 이하에서는, 설명의 간략 상, 이동 방향은 횡방향인 것으로 한다.
촬상 흐림의 특성을 나타내는 파라미터로서 이동 속도가 이용되는 경우, 촬상 흐림 특성 검출부(12)는, 예를 들면, 동화상을 구성하는 각 프레임의 각각에 대해, 처리 대상의 프레임을 구성하는 각 화소의 각각을 주목 화소로서 순차로 설정하고, 주목 화소에서의 이동 벡터를 순차로 검출하고, 그것을, 주목 화소에서의 촬상 흐림의 특성을 나타내는 파라미터의 값으로서 촬상 흐림 억제 처리부(13)에 순차로 공급하여 가게 된다.
따라서 촬상 흐림 억제 처리부(13)는, 예를 들면, 동화상을 구성하는 각 프레임의 각각에 대해, 처리 대상의 프레임을 구성하는 각 화소의 각각을 주목 화소로서 순차로 설정하고, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도에 의거하여, 주목 화소의 화소치를 순차로 보정하여 가게 된다.
여기서, 이동 속도가, 촬상 흐림의 특성을 나타내는 파라미터로서 채용 가능한 이유에 관해 설명한다.
촬상 흐림의 특성은, 일반적으로 피사체의 이동 속도에 의존한 형태로 나타내는 것이 가능하다.
또한, 피사체의 이동 속도란, 실공간에서 피사체 자체가 이동하고 카메라가 고정되어 있는 경우에, 그 피사체가 카메라로 촬영된 때의, 프레임 내에서의 피사체(화상)의 이동 속도를 당연하지만 포함한다. 또한, 여기서 말하는 피사체의 이동 속도란, 실공간에서 피사체가 고정되고 카메라가 손떨림 등에 의해 이동한 경우, 또는, 실공간에서 피사체와 카메라가 함께 이동한 경우에, 그 피사체가 카메라로 촬영된 때의, 프레임 내에서의 피사체(화상)의 상대적인 이동 속도도 포함한다.
따라서 촬상 흐림의 특성은, 피사체의 화상을 구성하는 각 화소에서의 이동 속도에 의존한 형태로 나타낼 수 있다.
화소에서의 이동 속도란, 처리 대상의 프레임 내의 화소와, 그보다도 전의 프레임 내의 대응하는 화소(대응점) 사이의 공간적인 거리를 가리킨다. 예를 들면, 처리 대상의 프레임 내의 화소와, 그 직전(시간적으로 하나 전)의 프레임 내의 대응하는 화소(대응점) 사이의 공간적인 거리가, v(v은, 0 이상의 임의의 정수치)화소분인 경우, 그 화소에서의 이동 속도란, v[화소/프레임]이 된다.
이 경우, 피사체의 화상을 구성하는 각 화소중의 소정의 하나가 주목 화소로 설정되어 있다고 하면, 주목 화소에서의 촬상 흐림의 특성은, 주목 화소에서의 이동 속도(v)[화소/프레임]의 대소에 의존한 형태로 나타낼 수 있다.
보다 구체적으로는 예를 들면, 주목 화소의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 주목 화소에서의 촬상 흐림의 주파수 특성의 각각은, 도 16의 곡선(H2 내지 H4)의 각각으로 도시할 수 있다.
즉, 도 16은, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우에 관한, 주목 화소에서의 촬상 흐림의 주파수 특성의 각각을 도시하고 있다. 도 16에서, 횡축은 주파수를, 종축은 게인의 각각을 나타내고 있다. 단, 횡축의 각 값은, 나이키스트 주파수가 1이 된 경우의 상대치를 나타내고 있다.
이상의 내용이, 이동 속도가, 촬상 흐림의 특성을 나타내는 파라미터로서 채용 가능한 이유이다.
그런데, 도 16의 주파수 특성(H2 내지 H4)의 형태로 부터 알 수 있는 바와 같이, 주목 화소에서의 촬상 흐림의 특성은 공간 영역에서 표현하면, 이동평균 필터(로우패스 필터)로 나타내는 것이 가능하다.
즉, 이 이동평균 필터(로우패스 필터)를 나타내는 전달 함수(이하, 촬상 흐림의 전달 함수라고 칭한다)를 H로 기술하고, 촬상 흐림이 가령 발생하지 않은 경우의 이상적인 화상 신호(이하, 촬상 흐림 전의 신호라고 칭한다)를 주파수 영역에서 F로 기술하고, 또한, 카메라로부터 출력되는 실제의 화상 신호, 즉, 촬상 흐림이 발생한 화상 신호(이하, 촬상 흐림 후의 신호라고 칭한다)를 주파수 영역에서 H로 기술하면, 촬상 흐림 후의 신호(G)는, 다음 식(3)과 같이 표시된다.
G=H×F … (3)
본 발명에서는 촬상 흐림을 제거하는(억제하는) 것이 목적으로 되어 있기 때문에, 이 본 발명의 목적을 달성하기 위해서는, 이미 알고 있는 촬상 흐림 후의 신호(G)와, 이미 알고 있는 촬상 흐림의 전달 함수(H)로부터, 촬상 흐림 전의 신호(F)를 예측 연산하면 좋다. 즉, 다음 식(4)의 예측 연산이 실행되면 좋다.
F=inv(H)×G … (4)
식(4)에서, inv(H)는, 촬상 흐림의 전달 함수(H)의 역함수를 나타내고 있다. 상술한 바와 같이 촬상 흐림의 전달 함수(H)가 로우패스 필터의 특성을 갖기 때문에, 그 역함수(inv(H))도, 당연하지만 하이패스 필터의 특성을 갖는다.
또한, 상술한 바와 같이, 촬상 흐림의 전달 함수(H)는, 이동 속도에 따라 그 특성이 변화한다. 구체적으로는 예를 들면, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 주목 화소에서의 촬상 흐림의 전달 함수(H)의 주파수 특성은, 도 16의 곡선(H2), 곡선(H3), 곡선(H4)의 각각에 도시되는 바와 같은 상이한 특성이 된다.
따라서 촬상 흐림 억제 처리부(13)는, 이동 속도에 따라 촬상 흐림의 전달 함수(H)의 특성을 변경하여, 특성이 변경된 전달 함수(H)의 역함수(inv(H))를 구하고, 그 역함수(inv(H))를 이용하여 상술한 식(4)의 연산 처리를 실행하면, 본 발명의 목적, 즉, 촬상 흐림을 제거한다(억제한다)는 목적을 달성하는 것이 가능해진다.
또는, 상술한 식(4)의 연산은 주파수 영역의 연산이기 때문에, 본 발명의 목적을 달성하기 위해, 촬상 흐림 억제 처리부(13)는, 상술한 식(4)의 연산 처리와 등가의 공간 영역에서의 처리를 실행하여도 좋다. 구체적으로는 예를 들면, 촬상 흐림 억제 처리부(13)는, 다음과 같은 제 1 내지 제 3의 처리를 실행하여도 좋다.
제 1의 처리란, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도에 따라, 주목 화소에서의 촬상 흐림을 나타내는 이동평균 필터(로우패스 필터)의 특성을 변환한` 처리이다. 구체적으로는 예를 들면, 복수의 이동 속도마다 이동평균 필터를 하나씩 미리 준비하여 두고, 복수의 이동평균 필터중에서, 주목 화소에서의 이동 속도에 대응하는 하나를 선택하는 처리가, 제 1의 처리의 한 예이다.
제 2의 처리란, 다음 제 2-1 내지 제 2-3의 처리로 이루어지는 처리이다.
제 2-1의 처리란, 제 1의 처리에 의해 특성이 변환된 이동평균 필터에 대해 푸리에 변환을 시행함에 의해, 그 이동평균 필터를 주파수 표시하는 처리이다. 구체적으로는 예를 들면, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 도 16의 곡선(H2), 곡선(H3), 곡선(H4)의 각각을 얻는 처리가 제 2-1의 처리이다. 즉, 주파수 영역에서 생각하면, 주목 화소에서의 촬상 흐림의 전달 함수(H)를 구하는 처리가 제 2-1의 처리이다.
제 2-2의 처리란, 제 2-1의 처리에 의해 주파수 표시된 이동평균 필터의 역수를 산출하는 처리이다. 즉, 주파수 영역에서 생각하면, 상술한 식(4)에 나타나는, 촬상 흐림의 전달 함수(H)의 역함수(inv(H))를 생성하는 처리가, 제 2-2의 처리이다.
제 2-3의 처리란, 제 2-2의 처리에 의해 산출된, 주파수 표시된 이동평균 필터의 역수에 대해 역푸리에 변환을 시행하는 처리이다. 즉, 역함수(inv(H))에 대응하는 하이패스 필터(위너 필터 등)를 생성하는 처리가 제 2-3의 처리이다. 환언하면, 이동평균 필터의 역필터를 생성하는 처리가 제 2-3의 처리이다. 또한, 이하, 제 2-3의 처리에 의해 생성된 하이패스 필터를, 역이동평균 필터라고 칭한다.
제 3의 처리란, 촬상 흐림 후의 주파수 영역이 상술한 식(4)의 신호(G)에 대응하는 공간 영역의 화상 신호(g)를 입력 화상으로서 입력하고, 그 화상 신호(g)에 대해, 제 2-3의 처리에 의해 생성된 역이동평균 필터를 거는 처리이다. 이 제 3의 처리에 의해, 촬상 흐림 전의 주파수 영역의 상술한 식(4)의 신호(F)에 대응하는 공간 영역의 화상 신호(f)가 복원(예측 연산)되게 된다. 구체적으로는 예를 들면, 처리 대상의 프레임중의 주목 화소를 포함하는 소정의 블록에 대해 역이동평균 필 터를 걸음으로써, 주목 화소의 화소치를 보정하는 처리가, 제 3의 처리이다.
이러한 제 1 내지 제 3의 처리를 실행 가능한 촬상 흐림 억제 처리부(13)의 기능적 구성의 한 실시예에 관해서는, 본 발명인에 의해 이미 발명되어, 특원2004-234051호의 원서와 함께 제출된 도면의 도 17에 개시되어 있다.
그러나, 촬상 흐림 억제 처리부(13)가, 특원2004-234051호의 원서와 함께 제출된 도면의 도 17의 구성을 갖는 경우, 다음과 같은 제 1의 과제가 새롭게 발생하여 버린다. 즉, 도 16의 주파수 특성(H2 내지 H4)에도 나타나는 바와 같이, 촬상 흐림을 나타내는 이동평균 필터(그 주파수 특성)에는, 게인이 0이 되는 주파수가 포함되어 있다. 이 때문에, 촬상 흐림 억제 처리부(13)는, 그 이동평균 필터의 완전한 역필터(완전한 역이동평균 필터)를 생성하는 것은 곤란하고, 그 결과, 노이즈를 조장시켜 버린다는 제 1의 과제가 새롭게 발생하여 버린다.
또한, 제 3의 처리와 같은, 화상 신호에 대해 하이패스 필터(역이동평균 필터)를 거는 처리란, 에지를 가파르게 하는 처리라고도 할 수 있다. 「에지를 가파르게 한다」는 의미에서의 그림 만들기의 기술로서, 종래, LTI이나 sharpness라고 칭하여지는 기술이 존재한다. 따라서, 이와 같은 종래의 기술을 촬상 흐림 억제 처리부(13)에 적용시키는 것도 당연하지만 가능하다.
그러나, 이와 같은 종래의 기술을 촬상 흐림 억제 처리부(13)에 적용시킨 경우에는, 다음 제 2의 과제 내지 제 5의 과제가 새롭게 발생하여 버린다.
즉, LTI란, 특개2000-324364호 공보 등에 개시되어 있는 종래의 기술이다. 특개2000-324364호 공보에 의하면, 주목 화소의 휘도(화소치)를 그 근처 화소의 휘 도(화소치)에 하드 스위치로 치환함으로써, 주목 화소의 휘도를 보정하고, 그 결과로서 에지를 가파르게 시키는 기술이 LTI이다. 따라서, 이 LTI에는, 그 특징상, 노이즈에 대해 내구성이 약하고, 노이즈에 휘둘려 처리 화상이 파탄하여 버릴 우려가 있다는 제 2의 과제가 있다. 또한, LTI를 행하기 전의 화상 데이터에 의존하지 않고, 모든 에지를 가파르게 하여 버린다는 제 3의 과제도 있다.
또한, 종래의 기술(LTI, sharpness)은 그림 만들기에서 사용되고 있는 기술이어서, 촬상 흐림이 생기지 않는 정지 화상에 대해서도 완전히 마찬가지로 처리를 시행하여 버린다는 제 4의 과제와, 촬상 흐림이 생기고 있는 양에 관계없이 일양하게 처리를 하여 버린다는 제 5의 과제가 있다.
그래서, 본 발명인은, [발명이 해결하고자 하는 과제]에서 상술한 과제 외에, 이들의 제 1의 과제 내지 제 5의 과제도 동시에 해결하기 위해, 예를 들면 본원의 도 17에 도시되는 기능적 구성을 갖는 촬상 흐림 억제 처리부(13)를 발명하였다. 즉, 도 17은, 본 발명이 적용되는 촬상 흐림 억제 처리부(13)의 기능적 구성의 한 예를 도시하고 있다.
도 17의 예에서는, 촬상 흐림 억제 처리부(13)는, 고역 성분 제거부(21), 필터부(22) 및 촬상 흐림 보상부(23)에 의해 구성되어 있다.
또한, 이하, 적어도 촬상 흐림 억제 처리부(13)의 설명을 하고 있는 동안에는, 촬상 흐림 억제 처리부(13)를 구성하는 각 기능 블록(가산부 등의 연산부도 포함한다)에 입력되는 신호를, 즉, 동화상, 동화상을 구성하는 각 프레임 및 각 프레임을 구성하는 각 화소의 화소치라는 입력 단위에 의하지 않고, 일괄하여 입력 신 호라고 적절히 칭한다. 마찬가지로, 각 기능 블록으로부터 출력되는 신호를, 그 출력 단위에 의하지 않고, 일괄하여 출력 신호라고 적절히 칭한다. 환언하면, 입력 단위나 출력 단위의 구별이 필요한 경우, 그 단위(주로 화소치)를 이용하여 설명을 행하고, 그 이외의 경우, 단지 입력 신호 또는 출력 신호를 이용하여 설명을 행한다.
도 17에 도시되는 바와 같이, 보간부(45)의 출력 신호는, 촬상 흐림 억제 처리부(13)에 있어서의 입력 신호로서, 고역 성분 제거부(21)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는, 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다. 고역 성분 제거부(21)의 출력 신호는 필터부(22)에 공급된다. 필터부(22)의 출력 신호는 촬상 흐림 보상부(23)에 공급된다. 촬상 흐림 보상부(23)의 출력 신호가, 촬상 흐림 억제 처리부(13)의 최종적인 처리 결과를 나타내는 출력 신호로서 외부로 출력된다.
이하, 고역 성분분 제거부(21), 필터부(22) 및 촬상 흐림 보상부(23)의 각각의 상세에 관해, 그 순번대로 개별로 설명하여 간다.
처음에, 도 18과 도 19를 참조하여, 고역 성분 제거부(21)의 상세에 관해 설명한다.
도 18은, 고역 성분 제거부(21)의 상세한 기능적 구성예를 도시하고 있다. 도 19는, 도 18의 고역 성분 제거부(21)중의 후술하는 고역 리미터부(32)의 특성을 도시하고 있다.
도 18의 예에서는, 고역 성분 제거부(21)는, 하이패스 필터부(31), 고역 리 미터부(32) 및 감산부(33)에 의해 구성되어 있다.
도 18에 도시되는 바와 같이, 보간부(45)의 출력 신호는, 고역 성분 제거부(21)에 있어서의 입력 신호로서, 하이패스 필터부(31)와 감산부(33)의 각각에 공급된다.
하이패스 필터부(31)는, HPF(하이패스 필터)의 기능을 갖고 있다. 따라서, 하이패스 필터부(31)는, 고역 성분 제거부(21)의 입력 신호로부터 고역 성분을 추출하고, 고역 리미터부(32)에 공급한다.
고역 리미터부(32)는, 도 19의 곡선(P1)으로 나타나는 함수를 보존하고 있고, 하이패스 필터부(31)로부터 공급된 고역 성분을 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 19의 출력)을 감산부(33)에 공급한다. 즉, 도 19의 곡선(P1)의 형상으로부터 용이하게 알 수 있는 것이지만, 고역 리미터부(32)는, 하이패스 필터부(31)로부터 공급되어 오는 고역 성분(입력)의·값이 어느 일정 이상인 경우 또는 어느 일정 이하인 경우에 리미터를 걸 수 있다. 환언하면, 고역 리미터부(32)는, 도 19의 곡선(P1)으로 도시되는 특성을 갖고 있다.
도 18로 되돌아와, 감산부(33)는, 고역 성분 제거부(21)의 입력 신호와, 고역 리미터부(32)에 의해 리미터가 걸린 고역 성분과의 차분을 연산하고, 그 결과 얻어지는 차분 신호를, 고역 성분 제거부(21)의 출력 신호로서 필터부(22)에 공급한다.
이와 같이 하여, 고역 성분 제거부(21)에서, 그 입력 신호로부터 노이즈 등의 고역 성분이 제거되고, 그 결과 얻어지는 신호가 출력 신호로서 필터부(22)에 공급된다.
다음에, 도 20 내지 도 22를 참조하여, 필터부(22)의 상세에 관해 설명한다.
도 20은, 필터부(22)의 상세한 기능적 구성예를 도시하고 있다. 도 21은, 도 20의 필터부(22)중의 후술하는 게인 제어부(53)의 상세한 기능적 구성예를 도시하고 있다. 도 22는, 도 21의 게인 제어부(53)중의 후술하는 조정량 결정부(64)의 특성을 도시하고 있다.
도 20의 예에서는, 필터부(52)는, 이동평균 필터부(51) 내지 가산부(54)에 의해 구성되어 있다.
도 20에 도시되는 바와 같이, 고역 성분 제거부(21)의 출력 신호는, 필터부(22)에 있어서의 입력 신호로서, 이동평균 필터부(51), 감산부(52) 및 가산부(54)의 각각에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는, 이동평균 필터부(51)와 게인 제어부(53)의 각각에 공급된다.
이동평균 필터부(51)는, 필터부(22)의 입력 신호에 대해 이동평균 필터를 걸 수 있다. 보다 상세하게는, 이동평균 필터부(51)는, 필터부(22)의 입력 신호중의, 처리 대상의 프레임 내의 주목 화소를 포함하는 소정의 블록의 각 화소치에 대해 이동평균 필터를 걸음으로써, 주목 화소의 화소치를 보정한다. 그 때, 이동평균 필터부(51)는, 촬상 흐림 특성 검출부(12)의 출력 신호중의 주목 화소에서의 이동 속도에 따라, 이동평균 필터의 특성을 변환한다. 구체적으로는 예를 들면, 주목 화소에서의 이동 속도가 2, 3, 4[화소/프레임]인 각각의 경우, 주파수 영역에서 생각하면, 이동평균 필터부(51)는, 이동평균 필터의 특성을, 상술한 도 16의 곡선(H2, H3, H4)의 각각으로 나타나는 특성으로 변환한다. 이동평균 필터부(51)에 의해 보정된 주목 화소의 화소치는, 감산부(52)에 공급된다.
그 때, 이동평균 필터부(51)는, 촬상 흐림 특성 검출부(12)의 출력 신호중의 주목 화소에서의 이동 속도에 따라, 주목 화소에 대해 이동평균 필터를 거는 경우에 이용하는 탭(주목 화소와 그 주변의 소정의 화소)의 개수를 변경할 수도 있다. 구체적으로는 예를 들면, 이동평균 필터부(51)는, 이동 속도가 커짐에 따라 탭의 개수도 많아지도록(즉, 평균하는 폭을 넓히도록) 가변하여 가면 좋다. 이와 같이 이동 속도에 응한 개수의 탭을 이용한 이동평균 필터의 결과를, 촬상 흐림 보상부(23)가 이용함으로써, 보다 더한층 정밀도가 높은 보정, 즉, 보다 더한층 촬상 흐림을 억제하는 것이 가능한 보정을 행하는 것이 가능해진다.
감산부(52)는, 필터부(22)의 입력 신호중의 주목 화소의 보정 전의 화소치와, 이동평균 필터부(51)에 의해 보정된 주목 화소의 화소치와의 차분을 구하고, 그 차분치를 게인 제어부(53)에 공급한다. 또한, 이하, 감산부(52)의 출력 신호를, 이동평균 필터 전후의 차분이라고 칭한다.
게인 제어부(53)는, 이동평균 필터 전후의 차분의 값을 조정하고, 조정 후의 이동평균 필터 전후의 차분을 출력 신호로서 가산부(54)에 공급한다. 또한, 게인 제어부(53)의 상세에 관해서는 도 21을 참조하여 후술한다.
가산부(54)는, 필터부(22)의 입력 신호와, 게인 제어부(53)의 출력 신호를 가산하고, 그 가산 신호를 출력 신호로서 촬상 흐림 보상부(23)에 공급한다. 상세하게는, 주목 화소에 주목하면, 가산부(54)는, 주목 화소의 보정 전의 화소치에 대 해, 주목 화소에 대한 이동평균 필터 전후의 차분의 조정치를 보정량으로서 가산하고, 그 가산치를, 주목 화소의 보정 후의 화소치로서 외부의 촬상 흐림 보상부(23)에 공급한다.
이상 설명한 바와 같은 필터부(22)의 공간 영역에서의 처리는, 주파수 영역에서 생각한다면 다음과 같이 된다.
즉, 감산부(52)의 출력 신호인 이동평균 필터 전후의 차분을 주파수 영역에서 생각한 경우, 소정의 주파수에 주목하면, 감산부(52)의 출력 신호의 게인이란, 다음과 같은 게인이 된다. 즉, 주목된 주파수에 있어서, 필터부(22)의 입력 신호의 게인과, 이동평균 필터가 걸린 후의 입력 신호의 게인과의 차분 게인이, 감산부(52)의 출력 신호의 게인이 된다. 이하, 감산부(52)의 출력 신호의 게인을, 이동평균 필터 전후의 차분 게인이라고 칭한다.
또한, 이 이동평균 필터 전후의 차분 게인은, 게인 제어부(53)에 의해 게인 조정된다. 이 게인 조정에 관해서는 후술한다.
따라서 도 20의 예의 필터부(22)(가산부(54))의 출력 신호를 주파수 영역에서 생각한 경우, 소정의 주파수에 주목하면, 출력 신호의 게인은, 그 입력 신호의 게인과, 게인 조정 후의 이동평균 필터 전후의 차분 게인이 가산된 가산 게인으로 되어 있다. 즉, 각 주파수의 각각에 있어서, 출력 신호의 게인은, 입력 신호의 게인에 비교하여, 게인 조정 후의 이동평균 필터 전후의 차분 게인분만큼 들어올려저 있다.
환언하면, 필터부(22) 전체에서는, 하이패스 필터를 거는 처리와 기본적으로 등가의 처리를 실행하고 있는 것이 된다.
여기서, 도 21을 참조하여, 게인 조정부(53)의 상세에 관해 설명한다.
도 21의 예에서는, 게인 제어부(53)는, 지연부(61-1 내지 61-n)(이하, 도 21의 기재에 맞추어서 DL부(61-1 내지 61-n)라고 칭한다), MAX/MIN 산출부(62), 감산부(63), 조정량 결정부(64) 및 승산부(65)에 의해 구성되어 있다.
도 21에 도시되는 바와 같이, 감산부(52)의 출력 신호인 이동평균 필터 전후의 차분은, 게인 제어부(53)에 있어서의 입력 신호로서, DL부(61-1)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는, MAX/MIN 산출부(62)에 공급된다.
게인 조정부(53)는, 이와 같은 구성을 갖음으로써, 신호의 레벨이 높은 장소에서 발생한` 링깅을 억제할 수 있다.
이하, 게인 제어부(53)의 상세한 기능적 구성(각 기능 블록의 접속 형태)와 그 동작에 관해 아울러서 설명한다.
DL부(61-1 내지 61-n)는, 그 순번으로 접속되어 있고, 전단(前段)의 출력 신호가 자기자신의 입력 신호로서 공급되면, 그 입력 신호를 소정의 지연 시간만큼 지연시켜서, 출력 신호로서 후단에 공급한다. DL부(61-1 내지 61-n)의 각각의 출력 신호는 또한, MAX/MIN 산출부(62)에 공급된다. 또한, DL부(61-(n/2))의 출력은 승산부(65)에도 공급된다.
게인 제어부(53)의 입력 신호인 이동평균 필터 전후의 차분중의, 주목 화소를 중심으로 하여 이동 방향(여기서는 횡방향)으로 연속하여 나열하는 n개의 화소의 각각에 대응하는 값(이하, 화소의 전후 차분치라고 칭한다)이, 오른쪽부터 왼쪽 을 향하여 화소의 배치 순번으로 DL부(61-1)에 순차로 입력되어 간다. 따라서, 그 후, 지연 시간의 n배의 시간이 거의 경과하면, DL부(61-1 내지 61-n)의 각각으로부터는, 주목 화소를 중심으로 하여 횡방향으로 연속하여 나열하는 n개의 화소의 각 전후 차분치의 각각이 하나씩 출력되고, MAX/MIN 산출부(62)에 공급되게 된다. 또한, 주목 화소의 전후 차분치는, DL부(61-(n/2))로부터 출력되고, 상술한 바와 같이 MAX/MIN 산출부(62)에 공급되는 외에, 승산부(65)에도 공급된다.
또한, DL부(61-1 내지 61-n)의 개수(n)는, 특히 한정되지 않지만, 여기서는, 이동 속도의 최고치[화소/프레임]인 것으로 한다. 또한, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도는, v[화소/프레임]인 것으로 한다. 단, v는, 0 이상의 임의의 정수치인 것으로 한다.
MAX/MIN 산출부(62)는, 주목 화소를 중심으로 하여 포함하는, 그 이동 속도분의 개수(v)의 화소의 각 전후 차분치를 포함하는 범위를 산출 범위로서 결정한다. 그리고, MAX/MIN 산출부(62)는, DL부(61-1 내지 61-n)로부터 공급되는 n개의 전후 차분치중의, 산출 범위에 포함되는 v개의 전후 차분치중에서 최대치(MAX)와 최소치(MIN)를 구하고, 각각 감산부(63)에 공급한다.
또한, 주목 화소를 중심으로 하여 포함하는, 그 이동 속도분의 개수(v)의 화소의 각 전후 차분치를 포함하는 범위가 산출 범위가 되는 것은, 다음 이유에서 이다. 즉, 링깅은, 하이패스 필터의 탭 수분만큼, 환언하면, 이동 속도분만큼 영향을 미치기 때문이다.
감산부(63)는, MAX/MIN 산출부(62)로부터 각각 공급된 최대치(MAX)와 최소 치(MIN)와의 차분을 취하고, 그 차분치(=MAX-MIN)를 조정량 결정부(64)에 공급한다.
이 차분치(=MAX-MIN)가 커질수록, 주목 화소 부근의 링깅도 또한 커지는 것을 알고 있다. 즉, 이 차분(=MAX-MIN)은, 주목 화소 부근의 링깅의 크기의 지표가 되는 값이다.
그래서, 조정량 결정부(64)는, 감산부(63)로부터 공급된 차분치(=MAX-MIN)에 의거하여, 주목 화소의 전후 차분치에 관한 조정량을 결정하고, 승산부(65)에 공급한다.
상세하게는 예를 들면, 조정량 결정부(64)는, 도 22의 곡선(P2)으로 나타나는 함수를 보존하고 있고, 감산부(63)로부터 공급된 차분치(=MAX-MIN)를 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 22의 출력)을, 주목 화소의 전후 차분치에 관한 조정량으로서 승산부(65)에 공급한다. 즉, 도 22의 곡선(P2)의 형상으로부터 용이하게 알 수 있지만, 감산부(63)로부터 공급된 차분치(=MAX-MIN)가 어느 일정치를 초과하면, 그 이후, 링깅의 발생을 억제시키기 위해, 조정량(출력)이 작아저 간다. 환언하면, 조정량 결정부(64)는, 도 22의 곡선(P2)으로 도시되는 특성을 갖고 있다.
도 21로 되돌아와, 승산부(65)는, DL부(61-(n/2))로부터 공급된 주목 화소의 전후 차분치에 대해, 조정량 결정부(64)로부터 공급된 조정량(도 22의 예에서는 0 내지 1의 범위 내의 값)을 승산하고, 그 승산치를, 주목 화소의 조정 후의 전후 차분치로서 가산부(54)에 공급한다. 즉, 각 화소의 조정 후의 전후 차분치의 각각이, 게인 제어부(53)의 출력 신호로서, 가산부(54)에 순차로 공급되어 간다.
이상 설명한 바와 같이, 감산부(63)의 출력 신호인 차분치(=MAX-MIN)가 어느 일정치를 초과하면, 그 차분치(=MAX-MIN)가 커질수록, 조정량(출력)도 1 내지 0을 향한 방향으로 점차 작아저 간다. 따라서, 감산부(63)의 출력 신호인 차분치(=MAX-MIN)가 어느 일정치 이상인 경우, 1 미만의 조정량이, 주목 화소의 전후 차분치에 대해 승산되기 때문에, 주목 화소의 전후 차분은 작아지도록 조정되게 된다. 이로써, 주목 화소 부근의 링깅이 억제되게 된다.
이상 설명한 바와 같은 게인 제어부(53)의 공간 영역에서의 처리는, 주파수 영역에서 생각하면, 결국, 링깅의 억제를 목적으로 하여, 이동평균 필터 전후의 차분 게인을 게인 조정하는 처리라고 말할 수 있다.
다음에, 도 23 내지 도 31을 참조하여, 촬상 흐림 보상부(23)의 상세에 관해 설명한다.
도 23은, 촬상 흐림 보상부(23)의 상세한 기능적 구성예를 도시하고 있다.
도 23의 예에서는, 촬상 흐림 보상부(23)는, ALTI부(81), 감산부(82), 게인 제어부(83) 및 가산부(84)에 의해 구성되어 있다.
도 23에 도시되는 바와 같이, 필터부(22)의 출력 신호는, 촬상 흐림 보상부(23)에 있어서의 입력 신호로서, ALTI부(81), 감산부(82), 및 가산부(84)의 각각에 입력된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는, ALTI부(81)와 게인 제어부(83)의 각각에 공급된다.
이하, 촬상 흐림 보상부(23)의 입력 신호중의 주목 화소의 화소치에 주목하 여, ALTI부(81) 내지 가산부(84)의 각각의 설명을 개별로 행하여 간다.
또한, 상술한 바와 같이, 촬상 흐림 보상부(23)에 공급된 단계의 주목 화소의 화소치는, 도 17의 촬상 흐림 억제 처리부(13)에 입력된 단계와 비교하여, 고역 성분 제거부(21)이나 필터부(22)에 의해 이미 보정이 행하여져서 다른 값으로 되어 있는 것이 많다. 또한, 후술하는 바와 같이, 촬상 흐림 보상부(23) 내에서도, 주목 화소의 화소치는 적절히 보정된다. 그래서, 혼란을 피하기 위해, 촬상 흐림 보상부(23)의 설명을 행하고 있는 동안에는, 각 기능 블록에 입력되는 단계의 각 화소치를, 입력 화소치라고 칭하고, 각 기능 블록으로부터 출력되는 단계의 화소치를, 출력 화소치라고 칭한다. 또한, 기능 블록중에는, 동일 화소에 관해, 복수의 전단(前段)의 기능 블록의 각각으로부터 복수의 다른 화소치가 입력되는 경우도 있다. 이와 같은 경우, 오리지널에 가까운 쪽의 화소치(주로 보정 전의 화소치)를 입력 화소치라고 칭하고, 그 이외의 화소치를, 후단의 기능 블록의 출력 화소치라고 칭한다. 예를 들면, 상세에 관해서는 후술하지만, 감산부(82)에는, ALTI부(81)와 외부의 필터부(22)의 각각으로부터 주목 화소의 화소치로서 다른 값이 공급된다. 그래서, 외부의 필터부(22)로부터 공급되는 쪽을, 입력 화소치라고 칭하고, ALTI부(81)로부터 공급되는 쪽을, ALTI부(81)의 출력 화소치라고 칭한다.
ALTI부(81)는, 촬상 흐림 특성 검출부(12)에 의해 공급된 주목 화소에서의 이동 속도에 따라 보정량을 결정하고, 주목 화소의 입력 화소치에 대해 보정량을 가산하고, 그 가산치를, 주목 화소의 출력 화소치로서 감산부(82)에 공급한다. 또한, ALTI부(81)의 더한층의 상세에 관해서는, 도 24를 참조하여 후술한다.
감산부(82)는, ALTI부(81)의 주목 화소의 출력 화소치와, 주목 화소의 입력 화소치와의 차분을 연산하고, 그 차분치(이하, 주목 화소 차분치라고 칭한다)를 게인 제어부(83)에 공급한다.
게인 제어부(83)는, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도에 따라, 감산부(82)로부터 공급된 주목 화소 차분치의 값을 조정하고, 조정 후의 주목 화소 차분치를, 주목 화소에 대한 최종적인 보정량으로서 가산부(84)에 공급한다.
가산부(84)는, 주목 화소의 입력 화소치에 대해, 게인 제어부(83)로부터의 최종적인 보정량을 가산하고, 그 가산치를, 주목 화소의 출력 화소치로서 외부로 출력한다. 즉, 가산부(84)의 주목 화소의 출력 화소치가, 촬상 흐림 억제 보상부(23)에 의해 최종적으로 보정된 주목 화소의 화소치로서 외부로 출력된다.
이하, 촬상 흐림 보상부(23)중의 ALTI부(81)와 게인 제어부(83)의 각각의 상세에 관해, 그 순번대로 개별로 설명하여 간다.
처음에, 도 24 내지 도 29를 참조하여, ALTI부(81)의 상세에 관해 설명한다.
도 24는, ALTI부(81)의 상세한 기능적 구성예를 도시하고 있다.
도 24의 예에서는, ALTI부(81)는, 지연부(91-1 내지 91-n)(이하, 도 24의 기재에 맞추어서 DL부(91-1 내지 91-n)라고 칭한다), 평균치 산출부(92 내지 94), 보정량 결정부(95), 및 가산부(96)에 의해 구성되어 있다.
이하, ALTI부(81)의 상세한 기능적 구성(각 기능 블록의 접속 형태)와 그 동작에 관해 아울러서 설명한다.
DL부(91-1 내지 91-n)는, 그 순번으로 접속되어 있고, 전단으로부터 출력되어 오는 각 화소치의 각각을, 소정의 지연 시간만큼 지연시켜서 후단에 출력한다. DL부(91-1 내지 91-(n/2-1))의 각각으로부터 출력되는 화소치는 또한, 평균치 산출부(93)에 공급된다. DL부(91-(n/2-1)), DL부(91-(n/2)) 및 DL부(91-(n/2+1))의 각각으로부터 출력된 화소치는 또한, 평균치 산출부(92)에 공급된다. DL부(91-(n/2+1) 내지 91-n7) 각각으로부터 출력된 화소치는 또한, 평균치 산출부(94)에 공급된다. DL부(91-(n/2))로부터 출력되는 화소치는 또한, 보정량 결정부(95)와 가산부(96)에도 공급된다.
필터부(22)로부터는, 주목 화소를 중심으로 하여 이동 방향(여기서는 횡방향)으로 연속하여 나열하는 n개의 화소의 각 화소치가, 오른쪽으로부터 왼쪽을 향하는 방향으로 화소의 배치 순번으로, DL부(91-1)에 순차로 입력되어 간다. 따라서, 그 후, 지연 시간의 n배의 시간이 거의 경과하면, DL부(91-1 내지 91-n)의 각각으로부터는, 주목 화소를 중심으로 하여 횡방향으로 연속하여 나열하는 n개의 화소의 각 화소치의 각각이 하나씩 출력되게 된다.
또한, 이하, DL부(91-1 내지 91-n)의 각각으로부터 출력된 단계의 각 화소치를, ALTI부(81)에서의 입력 화소치인 것으로 하여 설명한다.
구체적으로는, DL부(91-(n/2))로부터는, 주목 화소의 입력 화소치(N)가 출력된다. 또한, 주목 화소에서 보아 좌측으로 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소치는, DL부(91-1 내지 91-(n/2-1))의 각각으로부터 하나씩 출력된다. 한편, 주목 화소에서 보아 우측으로 연속하여 배치되는 n/2-1개의 화소의 각 입력 화 소치는, DL부(91-(n/2+1) 내지 91-n)의 각각으로부터 하나씩 출력된다.
또한, DL부(91-1 내지 91-n)의 개수(n)는, 특히 한정되지 않지만, 여기서는, 이동 속도의 최고치[화소/프레임]인 것으로 한다. 또한, 촬상 흐림 특성 검출부(12)로부터 공급되는 주목 화소에서의 이동 속도는, 상술한 예와 마찬가지로 v[화소/프레임]인 것으로 한다.
따라서 평균치 산출부(92)에는, 주목 화소의 입력 화소치(N), 주목 화소의 왼편 화소의 입력 화소치 및 주목 화소의 오른편 화소의 입력 화소치가 입력된다. 그래서, 평균치 산출부(92)는, 주목 화소의 입력 화소치(N), 주목 화소의 왼편 화소의 입력 화소치 및 주목 화소의 오른편 화소의 입력 화소치의 평균치(Na)(이하, 주목 화소의 평균 화소치(Na)라고 칭한다)를 산출하고, 보정량 결정부(95)에 공급한다.
또한, 상세에 관해서는 후술하지만, 보정량 결정부(95)에 의해 결정되는 주목 화소의 보정량(ADD)은, 소정의 조정량(c)에 의해 조정된다. 이 조정량(c)는`, 고정치가 아니라, 소정의 처리(이하, 조정량 결정 처리라고 칭한다)에 의해 결정된 가변치이다. 본 실시의 형태에서는, 이 조정량 결정 처리에서, 주목 화소의 평균 화소치(Na)가 이용된다. 왜냐하면, 이 조정량 결정 처리에서, 주목 화소의 입력 화소치(N) 그 자체를 이용하는 것도 가능하지만, 이 경우, 주목 화소에 노이즈가 포함되어 있으면, 처리 화상이 파탄하는 일이 있기 때문이다. 즉, 처리 화상의 파탄을 방지하기 위해서다.
평균치 산출부(93)에는, 주목 화소에서 보아 좌측으로 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소치가 공급된다. 그래서, 평균치 산출부(93)는, 주목 화소의 왼편 화소로부터 왼쪽 방향으로 순번대로, 이동 속도의 거의 반분의 개수(k)(k는, 약 v/2)의 화소를 선택하고, 선택한 k개의 화소의 각 입력 화소치를 포함하는 범위를 산출 범위로서 결정한다. 그리고, 평균치 산출부(93)는, 공급된 n/2-1개의 입력 화소치중의, 산출 범위에 포함되는 k개의 입력 화소치의 평균치(La)(이하, 좌방(左方)화소의 평균 화소치(La)라고 칭한다)를 산출하고, 보정량 결정부(95)에 공급한다.
한편, 평균치 산출부(94)에는, 주목 화소에서 보아 우측으로 연속하여 배치되는 n/2-1개의 화소의 각 입력 화소치가 공급된다. 그래서, 평균치 산출부(94)는, 주목 화소의 오른편 화소로부터 오른쪽 방향으로 순번대로 k개의 화소를 선택하고, 선택한 k개의 화소의 각 입력 화소치를 포함하는 범위를 산출 범위로서 결정한다. 그리고, 평균치 산출부(94)는, 공급된 n/2-1개의 입력 화소치중의, 산출 범위에 포함되는 k개의 입력 화소치의 평균치(Ra)(이하, 우방(右方)화소의 평균 화소치(Ra)라고 칭한다)를 산출하고, 보정량 결정부(95)에 공급한다.
상세에 관해서는 후술하지만, 좌방화소의 평균 화소치(La)와 우방화소의 평균 화소치(Ra)는 어느것이나, 조정량 결정 처리나, 보정량의 후보를 결정하기 위한 처리(이하, 후보 결정 처리라고 칭한다)에 이용된다.
즉, 상술한 특개2000-324364호 공보 등에 개시되어 있는 종래의 LTI에서는, 주목 화소로부터 왼쪽 방향으로 소정의 거리만큼 이간한 하나의 화소(이하, 좌방화소라고 칭한다)의 입력 화소치와, 주목 화소의 입력 화소치와의 차분치가, 보정량 의 제 1의 후보로 결정되어 있다. 또한, 주목 화소로부터 오른쪽 방향으로 소정의 거리만큼 이간한 하나의 화소(이하, 우방화소라고 칭한다)의 입력 화소치와, 주목 화소의 입력 화소치와의 차분치가, 보정량의 제 2의 후보로 결정되어 있다. 그리고, 제 1의 후보와 제 2의 후보중의 어느 한쪽이, 특히 조정되지 않고 그대로 보정량으로서 결정되어 있다. 이 때문에, 종래의 LTI에서는, 좌방화소이나 우방화소의 입력 화소치에 노이즈가 포함되어 있으면, 보정량(그 2개의 후보)를 적절하게 결정할 수가 없다는 과제가 있다.
그래서, 이 과제를 해결하기 위해, 즉, 보정량의 후보를 적절하게 결정할 수 있도록, 본 실시의 형태의 후보 결정 처리에서는, 좌방화소이나 우방화소라는 하나의 화소의 입력 화소치가 단지 이용되는 것은 아니라, 좌방화소의 평균 화소치(La)와 우방화소의 평균 화소치(Ra)가 이용되는 것이다.
단, 산출 범위에 포함되는 각 입력 화소치의 변화 방향이 일정하지 않은 경우, 즉, 증가 후 감소하거나, 역으로, 감소 후 증가하고 있는 경우가 있다. 환언하면, 횡방향의 화소 위치가 횡축이 되고, 화소치가 종축이 되는 평면(예를 들면, 후술하는 도 25의 평면)상에서, 산출 범위에 포함된 각 입력 화소치를 나타내는 점(후술하는 도 25의 점(131 내지 134) 등)을 이은 선의 기울기의 극성이 반전하여 버리는 경우가 있다. 이와 같은 경우, 산출 범위에 포함되는 각 입력 화소치의 단순한 평균치를, 좌방화소의 평균 화소치(La) 또는 우방화소의 평균 화소치(Ra)로서 채용하여도, 보정량(후보)을 적절하게 결정할 수가 없을 우려가 생긴다는 새로운 과제가 발생하여 버린다.
그래서, 이 새로운 과제를 해결하기 위해, 본 실시의 형태에서는 또한, 평균치 산출부(93)와 평균치 산출부(94)는 어느 것이나, 산출 범위에 포함되는 각 입력 화소치중의 극성 반전 후의 제 1의 점이 나타내는 입력 화소치(β)를, 극성 반전 전의 제 2의 점이 나타내는 입력 화소치(α)를 이용하는 다음 식(5)의 우변을 연산함으로써, 화소치(ν)로 갱신하고, 제 1의 점이 나타내는 화소의 입력 화소치는 갱신 후의 화소치(ν)라고 간주하여, 좌방화소의 평균 화소치(La) 또는 우방화소의 평균 화소치(Ra)를 산출하는 것이다.
ν=α-H×f(H) … (5)
식(5)에서, H는, 도 25에 도시되는 바와 같이, 극성 반전 전의 제 2의 점(동 도면중 점(133))의 화소치(α)와 극성 반전 후의 제 1의 점(동 도면중 점(134))의 화소치(β)와의 차분치(=α-β)를 나타내고 있다.
즉, 도 25는, 주목 화소(131)를 포함하는 수평 방향으로 연속하여 나열하는 12개의 화소의 화소치의 한 예를 도시하고 있다. 도 25에서, 횡축은 「횡방향의 화소 위치」가 되고, 종축은 「화소치」로 되어 있다. 도 25의 예에서는, 평균치 산출부(94)의 산출 범위, 즉, 우방화소의 평균 화소치(Ra)의 산출 범위는, 주목 화소를 나타내는 점(131)의 오른쪽 방향의 3개의 점(132 내지 133)이 나타내는 화소치(α, α, β)를 포함하는 범위(D)로 되어 있다.
도 25의 예에서는, 점(133)부터 점(134)에 걸처서 기울기의 극성을 판정하고 있는 것을 알 수 있다. 즉, 점(134)이 극성 반전 후의 제 1의 점이고, 점(133)이 극성 판정 전의 제 2의 점이다. 따라서, 도 25의 예에서는, 평균치 산출부(94)는, 점(133)이 나타내는 입력 화소치(α) 및 그 입력 화소치(α)와 점(134)이 나타내는 입력 화소치(β)와의 차분치(H)(=α-β)를, 식(5)의 우변에 대입하여 연산함으로써, 점(134)이 나타내는 입력 화소치를 화소치(β)로부터 화소치(ν)로 변경한다. 그리고, 평균치 산출부(94)는, 산출 범위(D)중의, 점(134)이 나타내는 화소의 입력 화소치로서는 갱신 후의 화소치(ν)를 이용하고, 그 밖의 점(132)과 점(133)의 각 입력 화소치로서는 원래의 화소치(α)를 그대로 이용하여, 우방화소의 평균 화소치(Ra)를 산출하게 된다. 즉, Ra=(α+α+ν)/3가 연산되게 된다.
본 실시의 형태에서는, 이와 같은 식(5)의 우변의 연산에 있어서, 함수(f(H))로서, 도 26의 선(141)과 같은 특성을 갖는 함수가 이용된다.
도 26에 도시되는 바와 같이, 극성 반전 전의 화소치(α)와 극성 반전 후의 화소치(β)와의 차분치(H)가 값(H2) 이상인 경우에는, 함수(f(H))의 출력은 0이 된다. 또한, 차분치(H)가 큰 것은, 극성 반전 후의 기울기가 가파른 것을 의미하고 있다. 따라서, 극성 반전 후의 기울기가 일정 이상 가파른 경우, 즉, 차분치(H)가 값(H2) 이상인 경우에는, 식(5)으로부터 갱신 후의 화소치(ν)는, 화소치(α)가 된다. 즉, 도 25에 도시되는 바와 같이, 극성 반전 후의 기울기가 일정 이상 가파른 경우에는, 극성 반전 후의 점(134)이 나타내는 화소의 입력 화소치로서는 화소치(β) 대신에 화소치(α)가 이용되어, 산출 범위(D)에서의 우방화소의 평균 화소치(Ra)가 산출되는 것이다. 즉, Ra=(α+α+α)/3=α가 연산되고, 우방화소의 평균 화소치(Ra)는 화소치(α)라고 결정되게 된다.
이에 대해, 도 26에 도시되는 바와 같이, 극성 반전 전의 화소치(α)와 극성 반전 후의 화소치(β)와의 차분치(H)가 값(H1) 이하인 때에는, 함수(f(H))의 출력은 1이 된다. 또한, 차분치(H)가 작다는 것은, 극성 반전 후의 기울기가 완만한 것을 의미하고 있다. 따라서, 극성 반전 후의 기울기가 일정 이상 완만한 경우, 즉, 차분치(H)가 값(H1) 이하인 경우에는, 식(5)로부터 갱신 후의 화소치(ν)는, 화소치(β) 그대로가 된다. 즉, 극성 반전 후의 기울기가 일정 이상 완만한 경우에는, 도시는 하지 않지만, 극성 반전 후의 점(134)이 나타내는 입력 화소치로서는 화소치(β)가 그대로 이용되어, 산출 범위(D)에서의 우방화소의 평균 화소치(Ra)가 산출되는 것이다. 즉, Ra=(α+α+β)/3가 연산되고, 우방화소의 평균 화소치(Ra)는 화소치{(a+a+β)/3}라고 결정되게 된다.
또한, 극성 반전 후의 기울기가 일정 이상 완만한 때에는, 극성 반전 후의 점(134)이 나타내는 화소치는 갱신되지 않고 원래의 화소치(β)가 그대로 이용되는 것은, 다음 이유에서 이다. 즉, 극성 반전 후의 기울기가 일정 이상 완만한 경우란, 노이즈 때문에 극성 반전이 일어난 가능성이 크다고 말할 수 있고, 이와 경우에는, 각 입력 화소치를 갱신하고 나서 평균을 취하는 것 보다, 그대로 평균을 취하는 쪽이, 노이즈가 제거된 적절한 우방화소의 평균 화소치(Ra)를 얻을 수 있게되는 이유이다.
이상, 도 25의 구체예를 이용하여 우방화소의 평균 화소치(Ra)를 산출하는 경우에 관해 설명하였지만, 그 밖의 경우, 예를 들면 좌방화소의 평균 화소치(La)를 산출하는 경우에도, 극성 반전 후의 점이 나타내는 화소의 입력 화소치는, 위의 식(5)에 따라 완전히 마찬가지로, 화소치(β)로부터 화소치(ν)로 갱신되게 된다.
도 24로 되돌아와, 이상 설명한 평균치 산출부(92 내지 94)의 각각에서, 평균치를 구하는 경우에 이용하는 탭의 개수(화소치의 수)는, 상술한 예에서는 고정되어 있지만, 그 밖에 예를 들면, 촬상 흐림 특성 검출부(12)의 출력 신호중의 주목 화소에서의 이동 속도에 따라 가변하여도 좋다. 구체적으로는 예를 들면, 이동 속도가 커짐에 따라 탭의 개수도 많아지도록(즉, 평균한 폭을 넓히도록) 가변하여도 좋다. 이와 같이 이동 속도에 응한 개수의 탭을 이용한 평균치 산출부(92 내지 94)의 각각의 결과가, 후술하는 보정량 결정부(95)에 의해 이용됨으로써, 보다 더한층 정밀도가 높은 보정, 즉, 보다 더한층 촬상 흐림을 억제하는 것이 가능한 보정을 행하기 위한 보정량을 결정하는 것이 가능해진다.
보정량 결정부(95)는, DL부(91-(n/2))로부터의 주목 화소의 입력 화소치(N), 평균치 산출부(92)로부터의 주목 화소의 평균 화소치(Na), 평균치 산출부(93)로부터의 좌방화소의 평균 화소치(La) 및 평균치 산출부(94)로부터의 우방화소의 평균 화소치(Ra)를 이용하여, 보정량(ADD)을 결정하여 가산부(96)에 공급한다.
가산부(96)는, DL부(91-(n/2))로부터의 주목 화소의 입력 화소치(N)에 대해, 보정량 결정부(95)로부터의 보정량(ADD)을 가산하고, 그 가산 결과를 주목 화소의 출력 화소치로서, 즉, 주목 화소의 보정 후의 화소치로서, ALTI부(82)의 외부의 가산부(82)에 공급한다.
여기서, 보정량 결정부(95)의 상세한 기능적 구성예를 설명하기 전에, 도 27의 후로치야토를 참조하여, ALTI부(81)의 처리에 관해 설명한다.
스텝 S21에서, ALTI부(81)는, 주목 화소를 설정한다.
스텝 S22에서, ALTI부(81)의 DL부(91-1 내지 91-n)는, 주목 화소의 입력 화소치(N)를 중심으로, 그 전후의 입력 화소치를 n개 취득한다.
스텝 S23에서, ALTI부(81)의 평균치 산출부(92)는, 상술한 바와 같이, 주목 화소의 평균 화소치(Na)를 산출하여, 보정량 결정부(95)에 공급한다.
스텝 S24에서, ALTI부(82)의 평균치 산출부(93)는, 상술한 바와 같이, 좌방화소의 평균 화소치(La)를 산출하여, 보정량 결정부(95)에 공급한다.
스텝 S25에서, ALTI부(82)의 평균치 산출부(94)는, 상술한 바와 같이, 우방화소의 평균 화소치(Ra)를 산출하여, 보정량 결정부(95)에 공급한다.
또한, 도 24로부터 분명한 바와 같이, 평균치 산출부(92 내지 94)의 각각은, 다른 것과는 독립하여 처리를 실행하다. 따라서, 스텝 S23 내지 S25의 처리의 순번은, 도 27의 예로 한정되지 않고 임의의 순번이라도 좋다. 즉, 실제로는, 스텝 S23 내지 S25의 각각의 처리는, 다른 것과는 독립하여 병행하여 실행된다.
스텝 S26에서, ALTI부(82)의 보정량 결정부(95)는, DL부(91-(n/2))로부터의 주목 화소의 입력 화소치(N), 평균치 산출부(93)로부터의 좌방화소의 평균 화소치(La) 및 평균치 산출부(94)로부터의 우방화소의 평균 화소치(Ra)를 이용하여, 보정량의 2개의 후보(ADDL, ADDR)를 결정한다. 즉, 스텝 S26의 처리란, 상술한 후보 결정 처리를 말한다. 보정량의 후보(ADDL, ADDR)란, 후술하는 감산부(101)와 감산부(102)의 각각의 출력 신호를 말한다. 또한, 스텝 S26의 후보 결정 처리나, 보정량의 후보(ADDL, ADDR)의 상세한 설명에 관해서는 후술한다.
스텝 S27에서, 보정량 결정부(95)는, 평균치 산출부(92)로부터의 주목 화소 의 평균 화소치(Na), 평균치 산출부(93)로부터의 좌방화소의 평균 화소치(La) 및 평균치 산출부(94)로부터의 우방화소의 평균 화소치(Ra)를 이용하여, 조정량(c)을 결정한다. 즉, 스텝 S27의 처리란, 상술한 조정량 결정 처리를 말한다. 조정량(c)이란, 후술하는 조정량 산출부(109)의 출력 신호를 말한다. 또한, 스텝 S27의 조정량 결정 처리나 조정량(c)의 상세한 설명에 관해서는 후술한다.
또한, 상세에 관해서는 후술하지만, 실제로는, 스텝 S26과 S27의 각각의 처리는, 다른 것과는 독립하여 병행하여 실행된다. 즉, 스텝 S26과 S27의 처리의 순번은, 도 27의 예로 한정되지 않고 임의의 순번이라도 좋다.
스텝 S28에서, 보정량 결정부(95)는, 조정량(c)을 이용하여 후보(ADDL, ADDR)의 각각의 값을 조정한다. 이하, 이러한 스텝 S28의 처리를 조정 처리라고 칭한다. 조정 처리의 상세에 관해서는 후술한다.
스텝 S29에서, 보정량 결정부(95)는, 조정량(c)에 의해 값이 조정된 후보(ADDL, ADDR)와, 0 중에서 소정의 하나를, 소정의 판별 조건에 따라 보정량(ADD)으로서 결정하고(선발하고), 가산부(96)에 공급한다. 이하, 이러한 스텝 S29의 처리를 보정량 선발 처리라고 칭한다. 보정량 선발 처리의 상세(판별 조건 등 포함한다)에 관해서는 후술한다.
스텝 S30에서, ALTI부(81)의 가산부(96)는, 주목 화소의 입력 화소치(N)에 대해 보정량(ADD)을 가산하고, 그 가산치를, 주목 화소의 출력 화소치로서 외부의 가산부(82)에 출력한다.
스텝 S31에서, ALTI부(81)는, 모든 화소에 관해 처리가 종료되었는지의 여부 를 판정한다.
스텝 S31에서, 모든 화소에 대해 처리가 아직 종료하고 있지 않다고 판정된 경우, 처리는 스텝 S21로 되돌아와, 그 이후의 처리가 반복된다. 즉, 이번에는, 다른 화소가 주목 화소로 설정되고, 그 주목 화소의 입력 화소치(N)에 대해 보정량(ADD)이 가산되고, 그 가산치가, 주목 화소의 출력 화소치로서 외부의 가산부(82)에 출력된다. 또한, 당연하지만, 화소치(N)와 보정량(ADD)의 각각은, 각 화소마다 다른 값으로 되는 일이 많다.
이와 같이 하여, 모든 화소가 주목 화소로 설정되고, 그때마다, 상술한 스텝 S21 내지 S31의 루프 처리가 반복하여 실행되면, 스텝 S31에서, 모든 화소에 대해 처리가 종료되었다고 판정되고, ALTI부(81)의 처리는 종료가 된다.
또한, ALTI부(81)는, 도 13의 촬상 흐림 억제 처리부(13)의 한 구성 요소이기 때문에, 상술한 도 27의 ALTI부(81)의 처리는, 상술한 도 15의 스텝 S4의 처리의 일부로서 실행되게 된다.
이상 설명한 바와 같이, 보정량 결정부(95)는, 스텝 S26 내지 S29의 처리를 실행한다. 그래서, 이하, 도 24로 되돌아와, 보정량 결정부(95)의 상세한 기능적 구성예를 설명하면서, 스텝 S26 내지 S29의 처리의 상세에 관해서도 아울러서 설명하여 간다.
도 24에 도시되는 바와 같이, 보정량 결정부(95)에는, 가산부(101)와 가산부(102)가, 상술한 도 27의 스텝 S26의 후보 결정 처리를 실행하기 위해 마련되어 있다. 환언하면, 감산부(101)와 감산부(102)로 구성된 후보 결정부(21)가, 스텝 S26의 후보 결정 처리를 실행한다.
감산부(101)는, 평균치 산출부(93)로부터의 좌방화소의 평균 화소치(La)와, DL부(91-(n/2))로부터의 주목 화소의 입력 화소치(N)와의 차분치(=La-N)를 산출하고, 그 차분치를 보정량의 후보(ADDL)로서, 승산부(110)에 공급한다.
또한, 후술하는 바와 같이, 이 보정량의 후보(ADDL)가 조정되지 않고(조정량(c)=1이 승산되어) 그대로 보정량(ADD)으로서 결정된 경우에는, 가산부(96)에서, 주목 화소의 입력 화소치(N)에 대해 이 보정량(ADD)(=La-N)이 가산되고, 그 가산치(=La)가 외부로 출력되게 된다. 즉, 이 보정량의 후보(ADDL)(=La-N)가 그대로 보정량(ADD)으로서 이용된 경우에는, 주목 화소의 화소치는, 원래의 화소치(N)로부터, 좌방화소의 평균 화소치(La)로 보정되게(치환되게) 된다.
감산부(102)는, 평균치 산출부(94)로부터의 우방화소의 평균 화소치(Ra)와, DL부(91-(n/2))로부터의 주목 화소의 입력 화소치(N)의 차분치(=Ra-N)를 산출하고, 그 차분치를 보정량의 후보(ADDR)로서, 승산부(111)에 공급한다.
또한, 후술하는 바와 같이, 이 보정량의 후보(ADDR)가 조정되지 않고(조정량(c)=1이 승산되고) 그대로 보정량(ADD)으로서 결정된 경우에는, 가산부(96)에서, 주목 화소의 입력 화소치(N)에 대해 이 보정량(ADD)(=Ra-N)이 가산되고, 그 가산치(=Ra)가 외부로 출력되게 된다. 즉, 이 보정량의 후보(ADDR)(=Ra-N)가 그대로 보정량(ADD)으로서 이용되는 경우에는, 주목 화소의 화소치는, 원래의 화소치(N)로부터, 우방화소의 평균 화소치(Ra)로 보정되게(치환되게) 된다.
또한, 도 24에 도시되는 바와 같이, 보정량 결정부(95)에는, 감산부(103) 내 지 조정량 산출부(109)가, 상술한 도 27의 스텝 S27의 조정량 결정 처리를 실행하기 위해 마련되어 있다. 환언하면, 감산부(103) 내지 조정량 결정부(109)로 구성된 조정량 결정부(22)가, 스텝 S27의 조정량 결정 처리를 실행한다.
감산부(103)는, 평균치 산출부(92)로부터의 주목 화소의 평균 화소치(Na)와, 평균치 산출부(93)로부터의 좌방화소의 평균 화소치(La)와의 차분치(=Na-La)를 산출하고, 그 차분치를 가산부(105)에 공급한다.
감산부(104)는, 평균치 산출부(92)로부터의 주목 화소의 평균 화소치(Na)와, 평균치 산출부(94)로부터의 우방화소의 평균 화소치(Ra)와의 차분치(=Na-Ra)를 산출하고, 그 차분치를 가산부(105)에 공급한다.
가산부(105)는, 감산부(103)와 감산부(104)의 각각의 출력 신호의 합을 산출하고, 그 산출 결과를 ABS부(106)에 출력한다.
ABS부(106)는, 가산부(105)의 출력 신호의 절대치(b)를 산출하고, 그 절대치(b)를 제산부(108)에 공급한다.
환언하면, 화소치가 종축이 되고 횡방향의 화소 위치가 횡축이 되는 평면상에 있어서, 좌방화소의 평균 화소치(La)를 나타내는 제 1의 점, 주목 화소의 평균 화소치(Na)를 나타내는 제 2의 점, 및 우방화소의 평균 화소치(Ra)를 나타내는 제 3의 점을 그 순번으로 이은 선의 제 2의 점에 있어서의 2차미분치가, 감산부(103), 감산부(104), 및 가산부(105)에 의해 연산된다. 그리고, 그 2차미분치의 절대치(b)가 ABS부(106)에 의해 연산되고, 제산부(108)에 공급된다. 따라서, 이하, ABS부(106)로부터 출력되는 절대치(b)를, 2차미분 절대치(b)라고 칭한다.
2차미분 절대치(b)는, 앞서의 평면에 있어서, 좌방화소의 평균 화소치(La)를 나타내는 제 1의 점과 우방화소의 평균 화소치(Ra)를 나타내는 제 3의 점을 잇는 직선을 경계선으로 한 경우에, 주목 화소의 평균 화소치(Na)를 나타내는 제 2의 점은 경계선으로부터 종축 방향으로 어느 정도 이간하고 있는지를 나타내는 값이다.
그래서, 보정량 결정부(95)가, 2차미분 절대치(b)의 크기에 응하여, 보정량의 후보(ADDL, ADDR)의 값을 각각 조정하고, 조정 후의 후보(ADDL, ADDR)중의 어느 한쪽을 보정량(ADD)으로서 결정하도록 하면, 즉, 가산부(96)가, 주목 화소의 입력 화소치(N)와, 2차미분 절대치(b)의 크기에 응하여 조정된 보정량(ADD)과의 가산치를 주목 화소의 출력 화소치로서 출력하도록 하면, 그 가산부(96)의 출력 신호(처리 대상의 프레임)중의 에지 부분을 소프트로 세우는 것이 가능해진다.
단, 2차미분 절대치(b)가 동일한 크기였다고 하여도, 좌방화소의 평균 화소치(La)와 우방화소의 평균 화소치(Ra)와의 차분의 절대치(h), 즉, 앞서의 평면에 있어서 종축 방향의 제 1의 점과 제 3의 점 사이의 거리(h)(이하, 높이(h)라고 칭한다)가 다르면, 2차미분 절대치(b)의 크기의 사정도 자연히 변하여 온다. 즉, 2차미분 절대치(b)가 동일한 크기라도, 그 크기가 높이(h)에 비교하여 훨씬 작은 경우에는, 환언하면, 2차미분치(b)를 높이(h)로 제산한 제산치(=b/h)가 작은 경우에는, 주목 화소 부근에서 노이즈가 발생하고 있을 가능성이 높다고 판단할 수 있다. 이에 대해, 2차미분 절대치(b)가 동일한 크기라도, 그 크기가 높이(h)에 비교하여 그다지 작지 않은 경우에는, 환언하면, 상술한 제산치(=b/h)가 어느 정도의 크기 이상인 경우에는, 주목 화소 부근에서 노이즈가 발생하고 있을 가능성은 낮다고 판단 할 수 있다.
따라서 2차미분 절대치(b)의 단순한 크기에 응하여, 후보치(ADDL, ADDR)의 값이 조정되어 버리면, 주목 화소의 입력 화소치(N)의 보정량(ADD)은, 노이즈가 발생하고 있는 경우에도 발생하지 않는 경우에도 동일한 값이 되어 버려서, 주목 화소의 입력 화소치(N)D 적절한 보정을 할 수 없게 된다는 새로운 과제가 생겨 버린다.
그래서, 이 새로운 과제를 해결하기 위해, 본 실시의 형태의 보정량 결정부(95)의 조정량 결정부(22)에는, 상술한 감산부(103) 내지 ABS부(106)에 더하여 또한, 차분 절대치 산출부(107), 제산부(b/h 연산부)(108) 및 조정량 산출부(109)가 마련되어 있는 것이다.
차분 절대치 산출부(107)는, 평균치 산출부(93)로부터의 좌방화소의 평균 화소치(La)와, 평균치 산출부(94)로부터의 우방화소의 평균 화소치(Ra)와의 차분치를 산출하고, 또한, 그 차분치의 절대치(h)(h=|La-Na|), 즉 상술한 높이(h)를 산출하고, 그 높이(h)를 제산부(108)에 공급한다.
제산부(108)는, ABS부(106)로부터의 2차미분 절대치(b)를, 차분 절대치 산출부(107)로부터의 높이(h)로 제산하고, 그 제산치(=b/h)를 조정량 산출부(109)에 제공한다. 즉, 이 제산치(=b/h)란, 2차미분 절대치(b)가 높이(h)에 의해 정규화된 값이라고 말할 수 있다. 따라서, 이하, 이 제산치(=b/h)를, 2차미분 정규화치(=b/h)라고 칭한다.
조정량 산출부(109)는, 제산부(108)로부터의 2차미분 정규화치(=b/h)에 의거 하여, 후보(ADDL, ADDR)에 관한 조정량(c)을 산출하고, 승산부(110)와 승산부(111)에 공급한다.
상세하게는 예를 들면, 조정량 산출부(109)는, 도 28의 곡선(151)으로 도시되는 특성의 함수를 보존하고 있고, 제산부(108)로부터의 2차미분 정규화치(=b/h)를 입력 파라미터로서 그 함수에 대입하여, 그 함수의 출력(도 28의 출력)을 조정량(c)으로서 승산부(110)와 승산부(111)에 공급한다.
즉, 도 28의 곡선(151)의 형상으로부터 용이하게 알 수 있는 것이지만, 2차미분 정규화치(=b/h)가 어느 일정치(b1)보다도 작은 경우에는, 노이즈의 가능성이 큰다고 하여, 조정량(c)(출력)은 0이 된다. 이 경우, 후술하는 바와 같이, 후보(ADDL, ADDR)는, 조정량(c)으로서 0이 각각 승산되고 조정되게 되기 때문에, 조정 후의 후보(ADDL, ADDR)는 어느 것이나 0이 된다. 따라서, 보정량(ADD)도 0이 되고, 주목 화소의 입력 화소치(N)는 보정되지 않게 된다.
또한, 2차미분 정규화치(=b/h)가 그 일정치(b1)를 초과하여 커져 가면, 조정량(c)(출력)도 서서히 커져 간다. 이 경우, 후술하는 바와 같이, 후보(ADDL, ADDR)의 각각은, 1 미만의 조정량(c)이 각각 승산되고 조정되게 되기 때문에, 조정 후의 후보(ADDL, ADDR)는 어느 것이나 원래의 값보다 작아진다. 따라서, 보정량(ADD)은, 원래의 값보다 작아진 후보(ADDL, ADDR)중의 어느 한쪽이 되고, 주목 화소의 보정 후의 화소치는, 좌방화소의 평균 화소치(La)보다도 커지던가, 또는, 우방화소의 평균 화소치(Ra)보다도 작아진다.
또한, 2차미분 정규화치(=b/h)가 어느 일정치(b2) 이상이 되면, 그 이후, 조 정량(c)(출력)은 1이 된다. 이 경우, 후술하는 바와 같이, 후보(ADDL, ADDR)의 각각은, 조정량(c)으로서 1이 각각 승산되어 조정되게 되기 때문에, 조정 후의 후보(ADDL, ADDR)는 어느 것이나 원래의 값 그대로 된다(즉, 조정되지 않는다). 따라서 보정량(ADD)은, 원래의 값인 채의 후보(ADDL, ADDR)중의 어느 한쪽이 되고, 상술한 바와 같이, 주목 화소의 보정 후의 화소치는, 좌방화소의 평균 화소치(La)가 되던지, 또는, 우방화소의 평균 화소치(Ra)가 된다.
이와 같이, 본 실시의 형태에서는, 2차미분 정규화치(=b/h)를 파라미터로서 입력하는, 도 28의 선(151)으로 도시되는 특성의 함수를 이용하여 조정량(c)이 결정되기 때문에, 그 조정량(c)을 이용하여 보정량(ADD)을 조정함으로써(정확하게는, 보정량의 후보(ADDL, ADDR)를 조정함으로써), 가산부(96)의 출력 신호(처리 대상의 프레임)중의 에지 부분을 소프트로 세우는 것이 가능해진다. 즉, 종래의 LTI에서는, 하드 스위치로의 전환(화소치의 단순한 치환)에 의해 주목 화소의 화소치가 보정되고 있기 때문에, 그 출력 신호중의 에지 부분을 소프트로 세울 수가 없다는 과제가 있지만, 본 실시의 형태의 ALTI부(81)를 채용함으로써, 이 과제를 해결하는 것이 가능해진다.
도 24로 되돌아와, 보정량 결정부(95)의 상세한 설명을 계속해서 행한다. 즉, 보정량 결정부(95)에는, 승산부(110)와 승산부(111)가, 상술한 도 27의 스텝 S28의 조정 처리를 실행하기 위해 마련되어 있다. 환언하면, 승산부(101)와 승산부(111)로 구성되는 조정부(23)가, 스텝 S28의 조정 처리를 실행한다.
승산부(110)는, 감산부(101)로부터의 후보(ADDL)에 대해, 조정량 산출 부(109)로부터의 보정량(c)을 승산하고, 그 승산치를, 조정 후의 후보(ADDL)로서 판별부(113)에 공급한다.
승산부(111)는, 감산부(102)로부터의 후보(ADDR)에 대해, 조정량 산출부(109)로부터의 보정량(c)을 승산하고, 그 승산치를, 조정 후의 후보(ADDR)로서 판별부(113)에 공급한다.
또한, 보정량 결정부(95)에는, 고정치 발생부(112)와 판별부(113)가, 상술한 도 27의 스텝 S29의 보정량 선발 처리를 실행하기 위해 마련되어 있다. 환언하면, 고정치 발생부(112)와 판별부(113)로 구성되는 보정량 선발부(24)가, 스텝 S29의 보정량 선발 처리를 실행한다.
본 실시의 형태에서는, 고정치 발생부(112)는, 도 24에 도시되는 바와 같이 「0」을 항상 발생하여, 판별부(113)에 공급한다.
판별부(113)에는, 감산부(103), 감산부(104), 가산부(105), 승산부(110), 승산부(111), 및 고정치 발생부(112)의 각 출력 신호가 공급된다. 그래서, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호를 이용하는 소정의 선발 조건에 의거하여, 고정치 발생부(112)로부터의 「0」, 승산부(110)로부터의 보정 후의 후보(ADDL) 및 승산부(111)로부터의 보정 후의 후보(ADDR)중의 소정의 하나를, 보정량(ADD)으로서 선발하고(결정하고), 가산부(96)에 공급한다.
구체적으로는 예를 들면, 화소치가 종축이 되고 횡방향의 화소 위치가 횡축이 되는 상술한 평면상에 있어서, 좌방화소의 평균 화소치(La)를 나타내는 제 1의 점과 우방화소의 평균 화소치(Ra)를 나타내는 제 3의 점을 잇는 직선이 경계선이 되고, 그 경계선의 변화 방향이 상향이고, 주목 화소의 평균 화소치(Na)를 나타내는 제 2의 점이 경계선보다도 상측에 배치되어 있는 경우, 보정 후의 후보(ADDR)를 보정량(ADD)으로서 선발하는 것이, 본 실시의 형태의 선발 조건으로서 규정되어 있다고 한다. 이것에 대해, 경계선의 변화 방향이 상향이고, 제 2의 점이 경계선보다도 하측에 배치되어 있는 경우, 보정 후의 후보(ADDL)를 보정량(ADD)으로서 선발하는 것이, 본 실시의 형태의 선발 조건으로서 규정되어 있다고 한다.
이 경우, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호에 의거하여, 경계선의 변화 방향이나, 경계선과 제 2의 점과의 위치 관계를 인식할 수 있다.
그래서 예를 들면, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호에 의거하여, 경계선의 변화 방향이 상향이고, 제 2의 점이 경계선보다도 상측에 배치되어 있다고 인식한 경우에는, 승산부(111)로부터의 보정 후의 후보(ADDR)를, 보정량(ADD)으로서 선발하고(결정하고), 가산부(96)에 공급한다.
이에 대해 예를 들면, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호에 의거하여, 경계선의 변화 방향이 상향이고, 제 2의 점이 경계선보다도 하측에 배치되어 있다고 인식한 경우에는, 승산부(110)로부터의 보정 후의 후보(ADDL)를, 보정량(ADD)으로서 선발하고(결정하고), 가산부(96)에 공급한다.
또한 예를 들면, 주목 화소가 에지 부분 이외의 장소에 위치하고 있는 경우, 0을 보정량(ADD)으로서 선발하는 것이, 본 실시의 형태의 선발 조건으로서 규정되어 있다고 한다. 이 경우, 판별부(113)는, 예를 들면, 판별부(113)는, 감산부(103), 감산부(104), 및 가산부(105)의 출력 신호의 어느것이나가 약 0인 것을 인식한 때, 즉, 좌방화소의 평균 화소치(La), 주목 화소의 입력 화소치(N) 및 우방화소의 평균 화소치(Rc)가 거의 동일치일 때 등, 주목 화소가 에지 부분 이외의 장소에 위치한다고 인식하고, 고정치 발생부(112)로부터의 「0」을, 보정량(ADD)으로서 선발하고(결정하고), 가산부(96)에 공급한다.
이상, ALTI부(81)의 실시의 형태로서, 도 24의 기능적 구성의 ALTI부(81)에 관해 설명하였지만, ALTI부(81)의 기능적 구성은, 상술한 일련의 처리와 등가의 처리를 실행 가능하면, 어느 기능적 구성이라도 좋다. 구체적으로는 예를 들면, ALTI부(81)는, 도 29에 도시되는 기능적 구성을 갖도록 하여도 좋다. 즉, 도 29는, ALTI부(81)의 도 24와는 다른 상세한 기능적 구성예를 도시하고 있다.
도 29의 예에서는, ALTI부(81)는, 마스킹 신호 생성부(161), LTI 처리부(162) 및 평균화부(163)에 의해 구성되어 있다.
마스킹 신호 생성부(161)는, 필터부(22)의 출력 신호를, 자기자신의 입력 신호로 하여, 그 입력 신호중의 처리 대상의 프레임을 구성하는 각 화소의 각각을 주목 화소로서 순차로 설정한다. 마스킹 신호 생성부(161)는, 주목 화소로부터 이동 속도의 반분에 상당하는 화소 수분을 주목 화소의 좌우에 서치시키고, 이동 속도에 상당하는 화소 수분의 화소치를 나타내는 각 신호에 대해 마스킹 처리를 시행한다. 또한, 주목 화소에서의 이동 속도는, 상술한 바와 같이, 촬상 흐림 특성 검출 부(12)로부터 공급된다. 마스킹된 각 신호는, 마스킹 신호 생성부(161)로부터 LTI 처리부(162)에 공급된다.
LTI 처리부(162)는, 마스킹된 각 신호에 대해 LTI 처리를 시행하고, 그 결과 얻어지는 신호를 출력 신호로서 평균화부(163)에 공급한다.
평균화부(163)는, LTI 처리부(162)의 출력 신호중의, 마스킹 신호 생성부(161)에 의한 서치 회수와 동일 수분의 신호의 평균을 취하고, 그 결과 얻어지는 신호를 ALTI부(81)의 출력 신호로서, 외부의 가산부(82)에 공급한다.
이상, 도 24 내지 도 29를 참조하여, 도 23의 촬상 흐림 보상부(23)중의 ALTI부(81)의 상세에 관해 설명하였다.
다음에, 도 30와 도 31을 참조하여, 도 23의 촬상 흐림 보상부(23)중의 게인 제어부(83)의 상세에 관해 설명한다.
도 30은, 게인 제어부(83)의 상세한 기능적 구성예를 도시하고 있다. 도 31은, 도 30의 게인 제어부(83)중의 후술하는 조정량 결정부(171)의 특성을 도시하고 있다.
도 30의 예에서는, 게인 제어부(83)는, 조정량 결정부(171) 및 승산부(172)에 의해 구성되어 있다.
조정량 결정부(171)는, 도 31의 곡선(181)으로 도시되는 함수를 보존하고 있고, 촬상 흐림 특성 검출부(12)로부터 공급된 주목 화소에서의 이동 속도를 입력 파라미터로서 그 함수에 대입하고, 그 함수의 출력(도 31의 출력)을 조정량으로서 승산부(172)에 공급한다. 환언하면, 조정량 결정부(171)는, 도 31의 곡선(181)으로 도시되는 특성을 갖고 있다.
승산부(172)에는, 조정량 결정부(171)로부터의 조정량 외에, 가산부(82)의 출력 신호도 공급된다. 가산부(82)의 출력 신호는, 상술한 도 23의 기능적 구성으로부터 분명한 바와 같이, 가산부(84)에서, 촬상 흐림 보상부(23)에 있어서의 주목 화소의 입력 화소치에 대해 가산되는 최종적인 보정량의 후보이다. 즉, 승산부(172)는, 이 최종적인 보정량의 후보에 대해, 조정량 결정부(171)로부터의 조정량을 승산하고, 그 승산치를, 최종적인 조정량으로서 가산부(84)에 공급한다.
즉, 도 31의 선(181)의 형상과 촬상 흐림 보상부(23)의 도 23의 기능적 구성으로부터 용이하게 알 수 있지만, 게인 제어부(83)는, 이동 속도가 작은 때에 ALTI부(81)의 처리 결과(이하, ALTI라고 칭한다)가 주목 화소의 화소치의 최종적인 보정량에 그다지 영향을 미치지 않도록 컨트롤하고 있다. 이동 속도가 작은 때에는 촬상 흐림에 의한 게인의 열화가 적고, 감쇠한 게인을 도 17이나 도 20의 필터부(22)로 들어올리는 것만으로도 좋기 때문이다. 즉, 필터부(22)의 출력 신호를, 그것에 대해 그다지 보정을 가하지 않고 그대로, 촬상 흐림 보상부(23)의 최종적인 출력 신호로서 출력되면 좋기 때문이다.
이상, 도 17 내지 도 31을 참조하여, 도 13의 영상 신호 처리 장치(4B)중의 촬상 흐림 억제 처리부(13)의 한 예에 관해 설명하였다.
단, 촬상 흐림 억제 처리부(13)의 기능적 구성은, 상술한 도 17의 예로 한정되지 않고, 다양한 실시의 형태를 취하는 것이 가능하다. 구체적으로는 예를 들면, 도 32와 도 33은, 본 발명이 적용되는 촬상 흐림 억제 처리부(13)의 기능적 구성예 가고, 도 17의 예와는 다른 2개의 예의 각각을 도시하고 있다.
도 32의 예에서는, 촬상 흐림 억제 처리부(13)는, 도 17의 예와 마찬가지로, 고역 성분분 제거부(21), 필터부(22) 및 촬상 흐림 보상부(23)에 의해 구성되어 있다.
도 32의 예에서도, 도 17의 예와 마찬가지로, 보간부(45)의 출력 신호는, 촬상 흐림 억제 처리부(13)에 있어서의 입력 신호로서, 고역 성분 제거부(21)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는, 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다.
단, 도 32의 예에서는, 고역 성분 제거부(21)의 출력 신호는 촬상 흐림 보상부(23)에 공급된다. 촬상 흐림 보상부(23)의 출력 신호는 필터부(22)에 공급된다. 필터부(22)의 출력 신호가, 촬상 흐림 억제 처리부(13)의 최종적인 처리 결과를 나타내는 출력 신호로서 외부로 출력된다.
환언하면, 도 32의 예에서는, 필터부(22)와 촬상 흐림 보상부(23)의 배치 위치가, 도 17의 예의 배치 위치와 반대로 되어 있다. 즉, 필터부(22)와 촬상 흐림 보상부(23)의 배치 위치의 순번(처리의 순번)은, 특히 한정되지 않고, 어느 쪽이 먼저가 되어도 좋다.
또한, 도 33의 예에서는, 도 17이나 도 32의 예와 마찬가지로, 촬상 흐림 억제 처리부(13)에는, 고역 성분분 제거부(21), 필터부(22) 및 촬상 흐림 보상부(23)가 마련되어 있고, 또한 그들의 기능 블록에 더하여, 가산부(24)도 마련되어 있다.
도 33의 예에서도, 도 17이나 도 32의 예와 마찬가지로, 보간부(45)의 출력 신호는, 촬상 흐림 억제 처리부(13)에 있어서의 입력 신호로서, 고역 성분 제거부(21)에 공급된다. 또한, 촬상 흐림 특성 검출부(12)의 출력 신호는, 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다.
단, 도 33의 예에서는, 고역 성분 제거부(21)의 출력 신호는, 필터부(22)와 촬상 흐림 보상부(23)의 각각에 공급된다. 필터부(22)와 촬상 흐림 보상부(23)의 각각의 출력 신호는 가산부(24)에 공급된다. 가산부(24)는, 필터부(22)의 출력 신호와 촬상 흐림 보상부(23)의 출력 신호의 가산을 취하고, 그 결과 얻어지는 가산 신호를, 촬상 흐림 억제 처리부(13)의 최종적인 처리 결과를 나타내는 출력 신호로서 외부로 출력한다.
환언하면, 필터부(22)와 촬상 흐림 보상부(23)의 배치 위치는, 도 17이나 도 32의 예에서는 직렬 배치로 되어 있지만 도 33의 예에서는 병렬 배치로 되어 있다. 즉, 필터부(22)와 촬상 흐림 보상부(23)의 배치는, 직렬 배치라도 좋고 병렬 배치라도 좋다. 단, 필터부(22)와 촬상 흐림 보상부(23)의 양자가 가령 라인 메모리를 사용하는 경우에는, 도 33의 예와 같이 필터부(22)와 촬상 흐림 보상부(23)를 병렬 배치로 함으로써, 라인 메모리를 공유할 수 있게 되고, 그 결과, 회로 규모(라인 메모리 부분)를 삭감할 수 있다는 효과를 이루는 것이 가능해진다.
이상 설명한 바와 같이, 촬상시에 있어서 동물체의 흐림(촬상 흐림)를 화상 처리에 의해 개선할 때에, 종래 기술에서는 정지 상태나 흐림량의 정도에 관계없이 일양하게 처리를 하고 있다. 이에 대해, 본 발명에서는, 예를 들면 상술한 촬상 흐림 억제 처리부(13)를 이용함으로써, 이동 벡터(이동 속도)를 산출하고 동화상의 상태에 응하여 인핸스량을 바꾸기 때문에, 링깅을 발생시키지 않고서, 흐림을 개선할 수 있다. 또한, 종래의 LTI에서는 하드 스위치로 신호를 전환하고 있기 때문에 처리 화상의 파탄이 많았지만, 상술한 촬상 흐림 억제 처리부(13)는, ALTI부(81)를 그 구성 요소로서 갖고 있기 때문에, 소프트로 신호를 전환할 수 있고, 그 결과, 처리 화상의 파탄을 억제할 수 있다.
또한, 상술한 예에서는, 설명의 간략상, 이동 벡터의 방향(이동 방향)이 횡방향으로 되었지만, 이동 방향이 그 밖의 방향이라도, 촬상 흐림 억제 처리부(13)는, 상술한 일련의 처리와 기본적으로 같은 처리를 행할 수가 있다. 즉, 촬상 흐림 억제 처리부(13)는, 이동 방향이 어느 경우라도, 촬상 흐림을 억제하도록, 주목 화소의 화소치를 마찬가지로 보정할 수 있다. 구체적으로는 예를 들면, 도 24의 기능적 구성의 ALTI부(81)에 관해서는, 주목 화소를 중심으로 하여, 이동 방향(예를 들면 종방향)으로 연속하여 나열하는 n개의 화소의 각 화소치를, 그 배치 순번으로 순차로 DL부(91-1)에 입력시켜 가는 것만으로 좋다. 그 밖의 기능 블록에 관해서도 마찬가지이다.
그런데, 촬상 흐림 억제 처리부(13)는, 각 화소치의 보정을 행할 때, 상술한 예에서는, 이동 속도(이동 벡터의 절대치)를 파라미터로서 사용하였지만, 이 이동 속도 외에, 촬상 흐림의 특성을 나타내는 파라미터라면 임의의 파라미터를 사용할 수 있다.
구체적으로는 예를 들면, 촬상 흐림 억제 처리부(13)는, 촬상 흐림의 특성을 나타내는 파라미터로서, 처리 대상의 동화상을 촬영한 시점의 카메라의 셔터 속도 를 이용할 수 있다. 왜냐하면, 예를 들면 도 34에 도시되는 바와 같이, 셔터 속도가 다르면 동 도면중의 시간(Ts)분만큼 촬상 흐림의 정도도 다르기 때문이다.
즉, 도 34에서, 상측의 도면은, 셔터 속도가 프레임 속도와 동일한 1/30초인 경우의 도면을 도시하고 있고, 하측의 도면은, 셔터 속도가 프레임 속도보다도 빠른 (1/30-Ts)초인 경우의 도면을 도시하고 있다. 도 34의 양도면 모두, 횡축은 시간축을 나타내고 있고, 종축은 셔터 개구 시간의 비율을 나타내고 있다. 셔터 개구 시간의 비율이란, 예를 들면, 셔터 속도를 Va[초](Va는, 0 이상의 임의의 값)로 하고, 셔터가 개구된 제 1의 시각의 비율을 0%로 하고, 제 1의 시각부터 V[초]가 경과하여 셔터가 닫히는 제 2의 시각의 비율을 100%로 하고, 또한, 제 1의 시각로부터 현 시각까지의 시간(Ta)[초](Ta은, 0 이상 V 이하의 임의의 정치(正値))로 한 경우에, (Ts/Vs)×100[%]로 나타나는 비율이다. 이 경우, 도 23의 양도면의 종축에 있어서, 시간축과 접하는 값이 100[%]가 되고, 최대치(각 직선의 최상위의 값)가 0[%]가 된다. 즉, 도 34의 양도면의 종축에서는, 하방으로 갈수록, 셔터 개구 시간의 비율은 커져 가는 것이다.
예를 들면 지금, 카메라의 하나의 검출 소자가, 프레임 내의 하나의 화소에 대응하여 있다고 한다. 이 경우, 도 34의 상측의 도면에 도시되는 바와 같이, 셔터 속도가 1/30초인 때에는, 카메라의 하나의 검출 소자로부터는, 셔터가 개구하고 있는 1/30초간에 입사된 광의 적분치가, 대응하는 화소의 화소치로서 출력된다. 이에 대해, 셔터 속도가 (1/30-Ts)초인 경우에는, 카메라의 하나의 검출 소자로부터는, 셔터가 개구하고 있는 (1/30-Ts)초간에 입사된 광의 적분치가, 대응하는 화소의 화 소치로서 출력된다.
즉, 셔터 속도는, 검출 소자에 있어서의 광의 축적 시간(노광 시간)에 대응하고 있다. 따라서, 예를 들면, 실공간에서 소정의 검출 소자의 앞을 가로질러서 이동하는 오브젝트가 존재하는 경우, 셔터 속도가 (1/30-Ts)초일 때보다도 1/30초일 때의 쪽이, 그 검출 소자에는, 오브젝트에 대응하는 광과는 다른 광, 예를 들면, 배경의 광이 시간(Ts)[초]분만큼 많이 입사되어 버리게 된다. 이로써, 셔터 속도가 (1/30-Ts)초일 때보다도 1/30초일 때의 쪽이, 하나의 검출 소자로부터 출력된 화소치중에, 오브젝트와는 다른 배경 등의 광의 축적치가 혼합된 비율이 많아저 버린다. 그 결과, 촬상 흐림의 정도가 커저 버린다.
이상의 내용을 정리하면, 셔터 속도가 늦어지면 늦어질수록, 촬상 흐림의 정도가 커진다. 즉, 셔터 속도는, 촬상 흐림의 한 특성을 나타내고 있다고 말할 수 있다. 따라서, 셔터 속도도, 이동 속도와 마찬가지로, 촬상 흐림의 특성을 나타내는 파라미터로서 이용하는 것이 가능하다.
또한, 이와 같은 셔터 속도가, 촬상 흐림의 특성을 나타내는 파라미터로서 이용되는 경우에는, 도 13의 촬상 흐림 특성 검출부(12)는, 예를 들면, 보간부(45)로부터 공급된 동화상(데이터)에 부가되어 있는 헤더 정보 등을 해석함으로써, 각 프레임의 셔터 속도를 검출하고, 그들을 촬상 흐림의 특성을 나타내는 파라미터로서, 촬상 흐림 억제 처리부(13)에 공급할 수 있다. 촬상 흐림 억제 처리부(13)는, 예를 들면, 이동 속도 대신에 이 셔터 속도를 이용하여 상술한 일련의 처리를 실행함으로써, 각 화소치를 적절하게 보정할 수 있다. 이 셔터 속도를 이용하는 경우의 촬상 흐림 억제 처리부(13)의 기능적 구성은, 이동 속도를 이용하는 경우의 그것과 기본적으로 마찬가지로 할 수가 있다. 즉, 상술한 도 17 내지 도 31에서 설명한 촬상 흐림 억제 처리부(13)라면, 셔터 속도를 파라미터값으로서 이용하여 상술한 일련의 처리를 실행함으로써, 각 화소치를 적절하게 보정할 수 있다.
이상, 본 실시의 형태의 영상 신호 처리 장치의 한 예로서, 도 13에 도시되는 구성을 갖는 영상 신호 처리 장치(4B)에 관해 설명하였지만, 본 실시의 형태의 영상 신호 처리 장치는, 도 13의 예로 한정되지 않고, 그 밖에 다양한 구성으로 하는 것이 가능하다.
구체적으로는 예를 들면, 도 35 내지 도 38의 각각에는, 본 실시의 형태의 변형예에 관한 영상 신호 처리 장치의 일부분에 관한 블록도가 도시되어 있다.
예를 들면, 도 35의 영상 신호 처리 장치는, 도 13의 영상 신호 처리 장치(4B)와 마찬가지로, 보간부(45), 촬상 흐림 특성 검출부(12) 및 촬상 흐림 억제 처리부(13)로 구성된다.
단, 도 35의 영상 신호 처리 장치에서는, 촬상 흐림 억제 처리부(13)의 보정 처리의 대상은, 이 영상 신호 처리 장치의 입력 동화상, 즉, 보간부(45)에 의해 고프레임 레이트 변환 처리가 시행되기 전의 동화상이다. 이 때문에, 촬상 흐림 특성 검출부(12)도, 보간부(45)에 의해 고프레임 레이트 변환 처리가 시행되기 전의 동화상중에서, 촬상 흐림의 특성을 나타내는 파라미터의 값을 검출하고, 그 검출 결과를 촬상 흐림 억제 처리부(13)에 공급하고 있다.
따라서 도 35의 영상 신호 처리 장치의 화상 처리는, 도 15의 화상 처리중 의, 스텝 S1, S3, S4, S2, 및 S5의 각각의 처리가 그 순번으로 실행되는 처리가 된다.
또한, 예를 들면, 도 36의 영상 신호 처리 장치는, 도 13의 영상 신호 처리 장치(4B)나 도 35의 영상 신호 처리 장치와 마찬가지로, 보간부(45), 촬상 흐림 특성 검출부(12) 및 촬상 흐림 억제 처리부(13)로 구성된다.
이 도 36의 영상 신호 처리 장치에서는, 촬상 흐림 억제 처리부(13)의 보정 처리의 대상은, 도 13의 영상 신호 처리 장치(4B)와 마찬가지로, 입력 동화상에 대해 고프레임 레이트 변환 처리가 보간부(45)에 의해 행하여진 결과 얻어지는 동화상이다. 즉, 촬상 흐림 억제 처리부(13)는, 고프레임 레이트 변환 처리가 시행된 후의 동화상에 대해 보정 처리를 시행한다.
단, 도 36의 영상 신호 처리 장치의 촬상 흐림 특성 검출부(12)는, 입력 동화상중에서, 즉, 보간부(45)에 의해 고프레임 레이트 변환 처리가 시행되기 전의 동화상중에서, 촬상 흐림의 특성을 나타내는 파라미터를 검출하고, 그 검출 결과를 촬상 흐림 억제 처리부(13)에 공급하고 있다. 즉, 도 36의 영상 신호 처리 장치의 촬상 흐림 억제 처리부(13)는, 고프레임 레이트 변환 처리가 시행되기 전의 동화상중에서 검출된 파라미터의 값을 이용하여, 각 화소치를 보정하고 있다.
이상으로써, 도 36의 영상 신호 처리 장치의 화상 처리도, 도 15의 화상 처리와 같은 흐름으로 실행되는 처리, 즉, 스텝 S1, S2, S3, S4, 및 S5의 각각의 처리가 그 순번으로 실행되는 처리가 된다. 단, 스텝 S3의 처리는, 「고프레임 레이트 변환 처리가 시행되기 전의 동화상, 즉, 스텝 S1의 처리에서 입력된 동화상을 구성하는 각 프레임의 각각중에서, 촬상 흐림의 특성을 나타내는 파라미터의 값을 검출한다」는 처리가 된다.
이와 같은 도 35의 영상 신호 처리 장치와 도 36의 영상 신호 처리 장치에 대해, 도 37의 영상 신호 처리 장치와 도 38의 영상 신호 처리 장치는, 보간부(45)와 촬상 흐림 억제 처리부(13)로 구성되고, 촬상 흐림 특성 검출부(12)는 그 구성 요소에 포함되어 있지 않다.
즉, 도 37과 도 38에 도시되는 바와 같이, 촬상 흐림 특성 검출부(12)는, 다른 영상 신호 처리 장치(211)(이하, 도면의 기재에 맞추어서, 화상 신호 생성 장치(211)라고 칭한다) 내에 중첩부(221)와 함께 마련되어 있다. 이 화상 신호 생성 장치(211)에 입력된 동화상은, 촬상 흐림 특성 검출부(12)와 중첩부(221)에 공급된다. 촬상 흐림 특성 검출부(12)는, 이 동화상중에서, 촬상 흐림의 특성을 나타내는 파라미터의 값을 검출하고, 중첩부(221)에 공급한다. 중첩부(221)는, 이 동화상에 대해, 촬상 흐림의 특성을 나타내는 파라미터의 값을 중첩하고, 그 결과 얻어지는 신호를 출력한다.
따라서 도 37의 영상 신호 처리 장치와 도 38의 영상 신호 처리 장치에는, 촬상 흐림의 특성을 나타내는 파라미터의 값이 중첩된 동화상(신호)이 화상 신호 생성 장치(211)로부터 공급되어 온다.
그래서, 예를 들면, 도 37의 영상 신호 처리 장치에서는, 촬상 흐림 억제 처리부(13)가, 촬상 흐림의 특성을 나타내는 파라미터의 값과 동화상을 분리하고, 분리된 동화상을 구성하는 각 프레임의 각각에 대해, 분리된 촬상 흐림의 특성을 나 타내는 파라미터의 값에 의거하여 각 화소치를 보정한다.
다음에, 보간부(45)가, 촬상 흐림 억제 처리부(13)에 의해 보정된 동화상에 대해 고프레임 레이트 변환 처리를 시행하고, 그 결과 얻어지는 동화상, 즉, 고프레임 레이트로 변환되고, 또한 보정이 이루어진 동화상을 출력한다.
이상으로써, 도 37의 영상 신호 처리 장치의 화상 처리는, 도 15의 화상 처리중의, 스텝 S1, S4, S2, 및 S5의 각각의 처리가 그 순번으로 실행되는 처리가 된다.
이에 대해, 예를 들면, 도 38의 영상 신호 처리 장치에서는, 보간부(45)가, 촬상 흐림의 특성을 나타내는 파라미터의 값과 동화상을 분리하고, 분리된 동화상에 대해 고프레임 레이트 변환 처리를 시행하고, 그 결과 얻어지는 동화상, 즉, 고프레임 레이트로 변환된 동화상을 촬상 흐림 억제 처리부(13)에 공급한다. 이 때, 보간부(45)에 의해 분리된 촬상 흐림의 특성을 나타내는 파라미터의 값도, 촬상 흐림 억제 처리부(13)에 공급된다.
다음에, 촬상 흐림 억제 처리부(13)가, 고프레임 레이트로 변환된 동화상을 구성하는 각 프레임의 각각에 대해, 촬상 흐림의 특성을 나타내는 파라미터의 값에 의거하여 각 화소치를 보정하고, 그 결과 얻어지는 동화상, 즉, 보정이 이루어지고, 또한 고프레임 레이트로 변환된 동화상을 출력한다.
그런데, 상술한 촬상 흐림 억제 처리부(13)에 관한 설명을 행할 때, 설명의 간략상, 이동 방향(이동 벡터의 방향)은 횡방향인 것으로 하고, 그래서, 주목 화소에 대해 필터나 보정 등이 상술한 각종 처리를 시행하는 경우에 이용하는 화소도 또한, 주목 화소의 횡방향으로 인접하는 화소가 이용된다. 또한, 주목 화소의 소정의 방향으로 인접한 화소가 이용되는 처리를, 그 소정의 방향의 처리라고 칭한다. 즉, 상술한 예에서는, 횡방향의 처리가 대상으로 되었다.
그러나, 상술한 바와 같이, 이동 방향은, 2차원 평면상의 어느 방향으로도 될 수 있고, 촬상 흐림 억제 처리부(13)는, 당연하지만, 2차원 평면상의 어느 방향이 이동 방향으로 된 경우에도, 예를 들면 수직 방향으로 된 경우에도, 상술한 각종 처리를 완전히 마찬가지로 실행하는 것이 가능하다. 단, 이동 방향이 수직 방향인 경우의 처리(또는, 이동 방향이 경사 방향인 경우의 처리로서, 수직 방향의 처리와 수평 방향의 처리의 조합 처리)를 행하기 위해서는, 촬상 흐림 억제 처리부(13)로서, 상술한 도 17의 구성 대신에 예를 들면 도 39의 구성을, 상술한 도 32의 구성 대신에 예를 들면 도 40의 구성을, 상술한 도 33의 구성 대신에 예를 들면 도 41의 구성을, 각각 채용할 필요가 있다.
즉, 도 39 내지 도 41은, 본 발명이 적용되는 촬상 흐림 억제 처리부(13)의 기능적 구성예로서, 상술한 각 예와는 또다른 3개의 예의 각각을 도시하고 있다.
도 39, 도 40, 및 도 41의 각각에 있어서, 도 17, 도 32, 및 도 33의 각각과 대응하는 부분(블록)에는 대응하는 부호를 붙이고 있고, 그들의 설명에 관해서는 같은 설명이 되기 때문에, 여기서는 생략한다.
도 39의 예의 촬상 흐림 억제 처리부(13)에서는, 도 17 예의 구성에 대해, 수직 방향의 처리를 가능하게 하기 위해 또한, 필터부(22)의 전단에 라인 메모리(261-1)가 마련되고, 또한, 촬상 흐림 보상부(23)의 전단에 라인 메모리(261-2) 가 마련되어 있다.
마찬가지로, 도 40의 예의 촬상 흐림 억제 처리부(13)에서는, 도 32 예의 구성에 대해, 수직 방향의 처리를 가능하게 하기 위해 또한, 촬상 흐림 보상부(23)의 전단에 라인 메모리(261-1)가 마련되고, 또한, 필터부(22)의 전단에 라인 메모리(261-2)가 마련되어 있다.
한편, 도 41의 예의 촬상 흐림 억제 처리부(13)에서는, 도 33 예의 구성에 대해, 수직 방향의 처리를 가능하게 하기 위해 또한, 촬상 흐림 보상부(23)와 필터부(22)라는 전단에, 공통의 라인 메모리(261)가 하나만 마련되어 있다.
이와 같이, 도 41의 예의 촬상 흐림 억제 처리부(13)를 채용함으로써, 도 39이나 도 40의 구성예의 것을 채용한 경우에 비교하여, 그 촬상 흐림 억제라는 효과를 떨어뜨리는 일 없이, 라인 메모리 수를 삭감하는 것이 가능해진다. 즉, 촬상 흐림 억제 처리부(13)의 구성으로서, 도 41의 예의 구성을 채용함으로써, 도 39나 도 40의 예의 구성을 채용한 경우에 비교하여, 그 회로 규모의 삭감을 도모하는 것이 가능해지고, 나아가서는 도 13의 영상 신호 처리 장치(4B)의 회로 규모의 삭감을 도모하는 것이 가능해진다.
또한, 본 실시의 형태에서는, 예를 들면 도 42에 도시한 영상 신호 처리 장치(4C)와 같이, 디코더(47)로부터 출력되는 보간 위치 파라미터(Relpos)를, 인터폴레이터(453)에 더하여 촬상 흐림 억제 처리부(13)에도 공급하도록 하여도 좋다. 이와 같이 구성한 경우, 촬상 흐림 억제 처리부(13)가, 보간부(45)에 의한, 각 보간 프레임에서 가까운 쪽의 오리지널 프레임의 영상 근처의 위치에 보간 위치가 설정 된 정도에 응하여, 촬상 흐림 억제 처리할 때의 처리량을 변화시키는 것이 가능해진다. 따라서 보간 프레임의 배치의 불균등성(지더의 강도)에 응하여 촬상 흐림의 개선도를 변화시킬 수 있고, 표시 영상에 있어서의 홀드 흐림의 억제도(抑制度)와 촬상 흐림의 억제도의 미조정을 행함에 의해, 예를 들면 영화 등을 시청할 때의 화질을 보다 향상시키는 것이 가능해진다.
또한, 상술한 각종 실시의 형태에서 실행되는 고프레임 레이트 변환 처리에서, 입력 영상 신호의 제 1의 프레임 레이트(프레임 주파수)와, 출력 영상 신호의 제 2의 프레임 레이트(프레임 주파수)의 조합은, 특히 한정되지 않고 임의의 조합이라도 좋다. 구체적으로는 예를 들면, 입력 영상 신호의 제 1의 프레임 레이트로서 60(또는 30)[Hz]를 채용하고, 또한, 출력 영상 신호의 제 2의 프레임 레이트로서 120[Hz]를 채용할 수 있다. 예를 들면, 입력 영상 신호의 제 1의 프레임 레이트로서 60(또는 30)[Hz]를 채용하고, 또한, 출력 영상 신호의 제 2의 프레임 레이트로서 240[Hz]를 채용할 수 있다. 예를 들면, 입력 영상 신호의 제 1의 프레임 레이트로서, PAL(Phase Alternation by Line) 방식에 대응하는 50[Hz]를 채용하고, 또한, 출력 영상 신호의 제 2의 프레임 레이트로서 100[Hz]나 200[Hz]를 채용할 수 있다. 예를 들면, 입력 영상 신호의 제 1의 프레임 레이트로서, 텔레시네에 대응하는 48[Hz]를 채용하고, 또한, 출력 영상 신호의 제 2의 프레임 레이트로서 그 이상의 소정의 주파수를 채용할 수 있다.
또한, 이와 같은 기존의 텔레비전 방식 등에 유래하는 입력 영상 신호에 대해, 상술한 각종 실시의 형태에서의 고프레임 레이트 변환 처리를 시행함으로써, 기존의 내용을 고품위로 표시하는 것이 가능해진다.
[제 3의 실시의 형태]
다음에, 본 발명의 제 3의 실시의 형태에 관해 설명한다.
도 43은, 본 실시의 형태에 관한 영상 신호 처리 장치(영상 신호 처리 장치(4D))의 구성의 한 예를 도시하고 있다. 또한, 상기 실시의 형태에서의 구성 요소와 동일한 것에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
이 영상 신호 처리 장치(4D)는, 제 2의 실시의 형태에서 설명한 영상 신호 처리 장치(4B)에 있어서, 오버드라이브 처리부(10)를 또한 마련함과 함께, 움직임 벡터 검출부(44)에 의한 움직임 벡터(mv)의 검출할 때의 신뢰도(신뢰도(Reliability))를 고려하여, 보간부(45), 촬상 흐림 억제 처리부(13) 및 오버드라이브 처리부(10)에 있어서의 영상 신호 처리를 행하도록 한 것이다. 또한, 촬상 흐림 특성 검출부(12)에서도 움직임 벡터를 검출하는 경우에는, 그 움직임 벡터를 검출할 때의 신뢰도를 고려하도록 하여도 좋다. 이하, 본 실시의 형태에서는, 촬상 흐림 억제 처리부(13) 및 오버드라이브 처리부(10)가, 움직임 벡터 검출부(44)에 의해 검출된 움직임 벡터(mv)를 이용하여 영상 신호 처리를 행하는 경우에 관해 설명한다.
오버드라이브 처리부(10)는, 움직임 벡터 검출부(44)에 있어서 검출된 움직임 벡터(mv)를 이용함에 의해, 촬상 흐림 억제 처리부(13)로부터 공급되는 영상 신호에 대해 오버드라이브 처리를 행하는 것이다. 구체적으로는, 움직임 벡터(mv)가 커짐에 응하여 오버드라이브 처리할 때의 처리량이 커지도록 함과 함께, 움직임 벡 터(mv)가 작아짐에 응하여 오버드라이브 처리할 때의 처리량이 작아지도록 하고 있다. 이와 같은 오버드라이브 처리에 의해, 표시 영상에서 움직임 흐림이나 홀드 흐림을 억제하는 것이 가능하게 되어 있다.
여기서, 도 45 및 도 46을 참조하여, 움직임 벡터(mv)의 검출할 때의 신뢰도(Reliability)에 대해 상세히 설명한다. 도 44 및 도 45는, 움직임 벡터(mv)의 검출의 유무(MC ON/OFF 신호)와 신뢰도(Reliability)와의 관계의 한 예를 도시한 것이다.
도 44에 의해, MC ON/OFF 신호의 값이 「0」(ON ; 움직임 벡터를 검출할 수 있었던 경우)인 채로 변화하지 않는 경우 및 「1」(OFF ; 움직임 벡터의 탐색 범위(블록 매칭을 행하는 범위)를 초과하여 버린 때 등, 움직임 벡터를 검출할 수가 없었던 경우)로부터 「0」으로 변화하는 경우에는, 신뢰도(Reliability)의 값이 「P(종전의 값)+Y(변화량)」로 증가하는 한편, MC ON/OFF 신호의 값이 「0」으로부터 「1」로 변화하는 경우 및 「1」인 채로 변화하지 않는 경우에는, 신뢰도(Reliability)의 값이 「P-Y」로 감소하도록 되어 있다.
이로써, 예를 들면 도 45에 도시한 바와 같이, MC ON/OFF 신호의 값이 「0」인 기간에는, 서서히 신뢰도(Reliability)가 0%로부터 100%로 증가하여 가는 한편, MC ON/OFF 신호의 값이 「1」인 기간에는, 서서히 신뢰도(Reliability)가 100%로부터 0%로 감소하여 가는 것을 알 수 있다.
이와 같은 움직임 벡터(mv)의 검출할 때의 신뢰도(Reliability)를 고려함에 의해, 보간부(45), 촬상 흐림 억제 처리부(13) 및 오버드라이브 처리부(10)에서는, 신뢰도(Reliability)가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 신뢰도(Reliability)가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정하게 되어 있다.
구체적으로는, 오버드라이브 처리부(10)는, 신뢰도(Reliability)가 커짐에 응하여, 오버드라이브 처리할 때의 처리량이 커지도록 설정하는 한편, 신뢰도(Reliability)가 작아짐에 응하여, 오버드라이브 처리할 때의 처리량이 작아지도록 설정하게 되어 있다. 또한, 보간부(45)에 의해각 보간 프레임에서 가까운 쪽의 오리지널 프레임의 영상 근처의 위치에 보간 위치가 설정된 정도에 응하여, 오버드라이브 처리할 때의 처리량을 변화시킴과(보간 프레임의 위치의 불균등성(지더의 강도)에 응하여, 움직임 흐림이나 홀드 흐림의 개선도를 가변으로 함과) 함께, 이와 같은 신뢰도(Reliability)도 고려하여 오버드라이브 처리를 행하도록 하여도 좋다.
또한, 촬상 흐림 억제 처리부(13)는, 신뢰도(Reliability)가 커짐에 응하여, 촬상 흐림 억제 처리할 때의 처리량이 커지도록 설정하는 한편, 신뢰도(Reliability)가 작아짐에 응하여, 촬상 흐림 억제 처리할 때의 처리량이 작아지도록 설정하게 되어 있다. 또한, 예를 들면 제 2의 실시의 형태에서의 도 42에 도시한 영상 신호 처리 장치(4C)와 같이, 보간부(45)에 의해 각 보간 프레임에 있어서 가까운 쪽의 오리지널 프레임의 영상 근처의 위치에 보간 위치가 설정된 정도에 응하여, 촬상 흐림 억제 처리할 때의 처리량을 변화시킴과(보간 프레임의 위치의 불균등성(지더의 강도)에 응하여, 촬상 흐림의 개선도를 가변으로 함과) 함께, 이 와 같은 신뢰도(Reliability)도 고려하여 촬상 흐림 억제 처리를 행하도록 하여도 좋다.
또한, 보간부(45)는, 각 보간 프레임에 있어서 가까운 쪽의 오리지널 프레임의 영상 근처의 위치에 보간 위치를 설정하는 정도를, 움직임 벡터(mv)를 검출할 때의 신뢰도(Reliability)를 고려하여 변화시키게 되어 있다. 이로써, 움직임 벡터(mv)를 검출할 때의 신뢰도(Reliability)를 고려하여, 보간 프레임의 위치의 불균등성(지더의 강도)을 변화시키는 것이 가능해진다.
또한, 이와 같은 보간부(45) 대신에, 시간축에 따라 서로 이웃하는 오리지널 프레임 사이에, 움직임 보상을 이용하여, 오리지널 프레임의 영상을 보간한 M개(M은 1 이상의 정수)씩의 보간 프레임을 추가함에 의해, 영상 신호의 프레임 레이트 변환을 행하는 경우에는, 예를 들면 도 46(3:2 풀다운 신호인 경우) 및 도 47(24Hz의 필름 소스 신호인 경우)에 도시한 바와 같이 하여, 신뢰도를 고려한 프레임 레이트 변환 처리를 행하도록 하여도 좋다.
구체적으로는, 신뢰도(Reliability)가 커짐에 응하여, 프레임 레이트 변환시에 움직임 벡터(MV1 내지 MV3)에 곱하는 게인이 커지도록 설정하는 한편, 신뢰도(Reliability)가 작아짐에 응하여, 프레임 레이트 변환시에 움직임 벡터(MV1 내지 MV3)에 곱하는 게인이 작아지도록 설정하도록 하여도 좋다.
이와 같이 하여 본 실시의 형태에서는, 움직임 벡터 검출부(44)에 의한 움직임 벡터(mv)를 검출할 때의 신뢰도(Reliability)를 고려하여, 보간부(45), 촬상 흐림 억제 처리부(13) 및 오버드라이브 처리부(10)에 있어서의 영상 신호 처리를 행 하도록 하고, 신뢰도(Reliability)가 커짐에 응하여 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 신뢰도(Reliability)가 작아짐에 응하여 영상 신호 처리할 때의 처리량이 작아지도록 설정하도록 하였기 때문에, 영상 신호 처리를 움직임 벡터를 이용하여 행하는 경우에 있어서, 움직임 벡터의 탐색 범위(블록 매칭을 행하는 범위)를 초과하여 버린 때 등에 있어서도, 움직임 벡터의 검출 정밀도에 응한 영상 신호 처리를 행할 수가 있다. 따라서, 소정의 영상 신호 처리를 행할 때에, 움직임 벡터의 검출 정밀도에 기인한 화질 열화를 억제하는 것이 가능해진다.
[제 4의 실시의 형태]
다음에, 본 발명의 제 4의 실시의 형태에 관해 설명한다.
도 48은, 본 실시의 형태에 관한 화상 표시 장치(액정 표시 장치(7))의 구성의 한 예를 도시하고 있다. 또한, 상기 실시의 형태에서의 구성 요소와 동일한 것에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
이 액정 표시 장치(7)는, 제 1 내지 제 3의 실시의 형태에서 설명한 영상 신호 처리 장치(4)(또는 영상 신호 처리 장치(4A 내지 4D)중의 하나)에 의해 영상 신호 처리가 이루어진 후의 영상 신호에 의거하여 영상 표시를 행하는 것이고, 홀드형의 표시 장치이다. 구체적으로는, 액정 표시 장치(7)는, 영상 신호 처리 장치(4)(4A 내지 4D)와, 액정 표시 패널(70)과, 백라이트 구동부(71)와, 백라이트(72)와, 타이밍 컨트롤러(73)와, 게이트 드라이버(74)와, 데이터 드라이버(75)를 구비하고 있다.
백라이트(72)는, 액정 표시 패널(70)에 대해 광을 조사한 광원이고, 예를 들 면 CCFL(Cold Cathode Fluorescent Lamp)이나 발광 다이오드(LED Light Emitting Diode)를 포함하여 구성되어 있다.
액정 표시 패널(70)은, 백라이트(72)로부터의 조사광을 영상 신호에 의거하여 변조하는 것이고, 투과형의 액정층(도시 생략)과, 이 액정층을 끼우는 한 쌍의 기판(TFT 기판 및 대향 전극 기판 ; 도시 생략)과, 이들 TFT 기판 및 대향 전극 기판에 있어서의 액정층과 반대측에 각각 적층된 편광판(도시 생략)을 포함하여 구성되어 있다.
데이터 드라이버(75)는, 액정 표시 패널(2) 내의 각 화소 전극에 영상 신호에 의거한 구동 전압을 공급하는 것이다. 게이트 드라이버(74)는, 액정 표시 패널(2) 내의 각 화소 전극을 도시하지 않은 수평 주사선에 따라 선 순차 구동하는 것이다. 타이밍 컨트롤러(73)는, 영상 신호 처리 장치(4)(4A 내지 4D)로부터 공급되는 영상 신호에 의거하여, 데이터 드라이버(75) 및 게이트 드라이버(74)를 제어하는 것이다. 백라이트 구동부(71)는, 영상 신호 처리 장치(4)(4A 내지 4D)에 공급되는 영상 신호에 의거하여, 백라이트(72)의 점등 및 소등의 동작을 제어하는(백라이트(72)의 점등 구동을 행하는) 것이다.
본 실시의 형태의 액정 표시 장치(7)에서는, 오리지널 프레임에서의 영상 신호의 내용 및 유저의 시청 환경의 밝기의 적어도 한쪽에 응하여, 액정 표시 패널(2)에서의 표시 화면상에 흑표시 영역이 삽입되는 흑삽입 처리가 이루어지도록 구성되어 있다. 구체적으로는, 예를 들면, 오리지널 프레임에서의 영상 신호가 시네마 신호(필름 신호)인 때에, 액정 표시 패널(2)에서의 표시 화면상에 흑표시 영 역이 삽입되는 흑삽입 처리가 이루어지도록 구성되어 있다. 보다 구체적으로는, 백라이트 구동부(71)가, 액정 표시 패널(2)에서의 표시 화면상에 있어서 흑삽입 처리가 이루어지도록, 백라이트(72)의 점등 및 소등의 전환 구동을 행하도록 되어 있다. 또한, 이 백라이트 구동부(71)는, 예를 들면, EPG(전자 방송프로그램 가이드)에 포함되는 오리지널 프레임의 내용 정보를 이용하거나, 오리지널 프레임의 프레임 레이트에 의거하거나 하여, 그 오리지널 프레임에서의 영상 신호가 시네마 신호인지의 여부를 판단하도록 되어 있다.
이와 같은 흑삽입의 방법으로서는, 예를 들면 도 49(A), (B)에 도시한 바와 같이, 흑삽입 처리가 프레임 단위로 이루어지도록 하거나, 예를 들면 도 50(A), (B)에 도시한 바와 같이, 흑삽입 처리가, 오리지널 프레임에 있어서의 소정 수의 수평 주사 라인에 의한 흑삽입 라인 단위로 이루어지도록 하거나, 예를 들면 도 51(A), (B)에 도시한 바와 같이, 흑삽입 라인 단위와 프레임 단위의 조합에 의해 이루어지도록 하거나 하는 것을 들 수 있다. 또한, 도 49 내지 도 51(및 후술하는 도 52 내지 도 55)에서, (A)는 액정 표시 패널(2)(LCD)에서의 표시 영상의 내용(오리지널 프레임(A 내지 C) 및 보간 프레임(A' 내지 C'))를 도시하고 있고, (B)는 백라이트(72)의 점등 상태를 도시하고 있고, 도면중의 횡축은 시간을 나타내고 있다.
도 49에 도시한 프레임 단위로의 흑삽입 처리인 경우, 프레임 전체가 점등 또는 소등하기 때문에, 홀드 개선 효과가 높아진다. 또한, 도 50에 도시한 흑삽입 라인 단위로의 흑삽입 처리인 경우, 후술하는 흑삽입률의 설정에 의해 표시 휘도의 조정이 가능해짐과 함께, 의사적으로 프레임 레이트가 높아지기 때문에, 프레임 단 위의 경우에 비하여 플리커가 보이기 어렵게 된다. 또한, 도 51에 도시한 프레임 단위와 흑삽입 라인 단위의 조합인 경우, 가장 동화 응답성이 높아진다.
또한, 도 50 및 도 51에 도시한 바와 같이 흑삽입 라인 단위의 흑삽입 처리를 포함하는 경우, 흑삽입 처리가, 서로 분리한 복수의 흑삽입 라인에 의해 이루어지도록 하여도 좋다. 이와 같이 구성한 경우, 이하 설명하는 흑삽입률이나 표시 휘도의 조정이 하기 쉬워진다.
또한, 예를 들면 도 52 내지 도 55에 도시한 바와 같이, 백라이트 구동부(71)는, 흑삽입 처리를 행할 때에, 흑삽입 라인의 두께(흑삽입 라인을 구성하는 수평 주사 라인 수)를 변화시킴에 의해, 표시 화면 전체에 차지하는 흑표시 영역의 면적 비율(=흑삽입률)이 가변이 되도록 전환 구동을 행하도록 하여도 좋다. 이와 같이 구성한 경우, 홀드 흐림의 개선 효과 및 표시 휘도의 조정이 가능해진다.
또한, 백라이트 구동부(71)는, 흑삽입 처리를 행할 때에, 흑표시 영역의 휘도가 가변이 되도록, 전환 구동을 행하도록 하여도 좋다. 이와 같이 구성한 경우, 홀드 흐림을 개선하면서, 표시 휘도의 조정이 가능해진다. 또한, 이들 흑삽입률 및 흑표시 영역의 휘도의 양쪽이 가변이 되도록 하여도 좋다.
또한, 이와 같이 흑삽입률 및 흑표시 영역의 휘도중의 적어도 한쪽을 가변으로 하는 경우, 흑삽입률이나 흑표시 영역의 휘도가, 다단계로 변화하도록 하여도 좋고, 연속적으로 변화하도록 하여도 좋다. 이와 같이 변화하도록 한 경우, 홀드 흐림의 개선 및 표시 휘도의 조정이 하기 쉬워진다.
이와 같이 하여 본 실시의 형태에서는, 오리지널 프레임에서의 영상 신호의 내용 및 유저의 시청 환경의 밝기의 적어도 한쪽에 응하여, 액정 표시 패널(2)에서의 표시 화면상에 흑표시 영역이 삽입되는 흑삽입 처리가 이루어지도록 하였기 때문에, 상황에 따라 홀드 흐림을 개선시키는 것이 가능해진다.
또한, 예를 들면 도 56에 도시한 바와 같이, 오리지널 프레임에서의 휘도 히스토그램 분포에 응하여, 흑삽입 처리를 행하는지의 여부를 판단하거나, 흑삽입률이나 흑표시 영역의 휘도를 변화시키도록 하여도 좋다. 이와 같이 구성한 경우, 예를 들면 어두운 영상일 때 등에는 표시 휘도의 저하가 걱정이 되지 않는 일도 있기 때문에, 그와 같은 때에는 흑삽입 처리를 행한다고 판단하거나, 또한, 흑삽입률을 높게 하거나 흑표시 영역의 휘도를 저하시키는 등을 함에 의해, 홀드 흐림의 개선 효과를 우선시키는 등의 조정이 가능해진다.
또한, 움직임 벡터 검출부(44) 등에서 검출한 오리지널 프레임에서의 움직임 벡터의 크기에 응하여, 흑삽입률이나 흑표시 영역의 휘도가 변화하도록 하여도 좋다. 이와 같이 구성한 경우, 예를 들면 영상의 움직임이 큰 경우 등에는 흑삽입률을 높게 하거나 흑표시 영역의 휘도를 저하시키는 등에 의해, 지더가 보이기 어려워지도록 하는 등의 조정이 가능해진다.
또한, 예를 들면 도 57에 도시한 액정 표시 장치(7A)와 같이, 유저의 시청 환경의 밝기를 검출하는 밝기 검출부(76)(예를 들면, 조도 센서 등에 의해 구성되어 있다)를 마련하는 등으로, 이 검출된 유저의 시청 환경의 밝기에 응하여, 전술한 바와 같이 흑삽입 처리를 행하는지의 여부를 판단하거나, 흑삽입률이나 흑표시 영역의 휘도를 변화시키도록 하여도 좋다. 이와 같이 구성한 경우, 시청 환경의 밝 기에 의해서는 표시 휘도의 저하가 걱정이 되지 않는 일도 있기(예를 들면, 시청 환경이 어두운 상태인 경우) 때문에, 그와 같은 때에는 흑삽입 처리를 행한다고 판단하거나, 또한, 흑삽입률을 높게 하거나 흑표시 영역의 휘도를 저하시키는 등을 함에 의해, 홀드 흐림의 개선 효과를 우선시키는 등의 조정이 가능해진다.
또한, 이와 같은 밝기 검출부(76)를 마련하도록 한 경우, 검출된 유저의 시청 환경의 밝기에 응하여, 예를 들면, 촬상 흐림 억제 처리부(13)에 의한 촬상 흐림 억제 처리할 때의 처리량이나, 보간부(45)에 의한, 각 보간 프레임에 있어서 가까운 쪽의 오리지널 프레임의 영상 근처의 위치에 보간 위치를 설정하는 정도 등을, 각각 변화시키도록 하여도 좋다. 촬상 흐림 억제 처리부(13)에 의한 촬상 흐림 억제 처리할 때의 처리량을 변화시킨 경우, 시청 환경의 밝기에 의해서는 촬상 흐림이 기분이 되지 않는 일도 있기(예를 들면, 시청 환경이 어두운 상태의 경우) 때문에, 그와 같은 때에는 촬상 흐림 억제 처리할 때의 처리량을 저하시키는 등의 조정이 가능해진다. 또한, 보간부(45)에 의한 가까운 쪽의 오리지널 프레임의 영상 근처의 위치에 보간 위치를 설정하는 정도를 변화시킨 경우, 시청 환경의 밝기에 의해 지더가 걱정이 되지 않는 때(예를 들면, 시청 환경이 어두운 상태인 경우)에는, 보간 위치를 보다 오리지널 프레임 근처로 설정함에 의해 지더 느낌을 남겨 둠에 의해, 예를 들면 영화 고유의 현장감을 발생시킨다는 조정이 가능해진다.
또한, 본 실시의 형태에서는, 홀드형의 화상 표시 장치가 액정 표시 장치임과 함께, 백라이트 구동부(71)에 의한 전환 구동에 의해 흑삽입 처리(블링킹 처리)를 행하도록 한 경우로 설명하였지만, 예를 들면 액정 표시 장치 이외의 자발광형 의 표시 장치(예를 들면, 유기 EL 표시 장치)인 경우 등은, 예를 들면 영상 신호 처리 장치 내에, 오리지널 프레임의 영상 신호에 대해 흑삽입 처리를 행하는 흑삽입 처리부(도시 생략)를 마련함과 함께, 이 흑삽입 처리부에 의해 영상 신호 처리를 행함에 의해, 흑삽입 처리를 행하도록 하여도 좋다.
또한, 본 실시의 형태에서, 흑삽입 처리의 실행의 가부나, 흑삽입률의 변경, 흑표시 영역의 휘도의 변경 등은, 예를 들면 소정의 조작 수단(설정 수단)을 마련함에 의해, 유저에 의한 조작에 의해 설정 가능하게 되어 있도록 하여도 좋다.
또한, 본 실시의 형태에서의 영상 신호 처리 장치는, 제 1 내지 제 3의 실시의 형태에서 설명한 영상 신호 처리 장치(4)(또는 영상 신호 처리 장치(4A 내지 4D)중의 1개)로는 한정되지 않고, 시간축에 따른 복수의 오리지널 프레임에 대해 소정의 영상 신호 처리를 행하는 것이면, 다른 영상 신호 처리 장치라도 좋다.
또한, 상기 제 1 내지 제 4의 실시의 형태에서 설명한 일련의 처리(또는 그중의 일부분의 처리)는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다.
이 경우, 상기 제 1 내지 제 4의 실시의 형태에서 설명한 영상 신호 처리 장치(4, 4A 내지 4D), 백라이트 구동부(71) 및 타이밍 컨트롤러(73)의 전체 또는 그 일부분(예를 들면, 촬상 흐림 억제 처리부(13) 등)은, 예를 들면, 도 58에 도시되는 바와 같은 컴퓨터로 구성할 수 있다.
도 58에서, CPU(Central Processing Unit)(301)는, ROM(Read Only Memory)(302)에 기록되어 있는 프로그램, 또는 기억부(308)로부터 RAM(Random Access Memory)(303)에 로드된 프로그램에 따라 각종의 처리를 실행한다. RAM(303)에는 또한, CPU(301)가 각종의 처리를 실행하는데 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(301), ROM(302), 및 RAM(303)은, 버스(304)를 통하여 서로 접속되어 있다. 이 버스(304)에는 또한, 입출력 인터페이스(305)도 접속되어 있다.
입출력 인터페이스(305)에는, 키보드, 마우스 등으로 이루어지는 입력부(306), 디스플레이 등으로 이루어지는 출력부(307), 하드 디스크 등으로 구성된 기억부(308) 및 모뎀, 터미널 어댑터 등으로 구성된 통신부(309)가 접속되어 있다. 통신부(309)는, 인터넷을 포함하는 네트워크를 통하여 다른 장치와의 통신 처리를 행한다.
입출력 인터페이스(305)에는 또한, 필요에 응하여 드라이브(310)가 접속되고, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는 리무버블 기록 매체(311)가 적절히 장착되고, 그것들으로부터 판독된 컴퓨터 프로그램이, 필요에 응하여 기억부(308)에 인스톨된다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.
이와 같은 프로그램을 포함하는 기록 매체는, 도 58에 도시되는 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 제공하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크(플로피 디스크를 포함한다), 광디스크(CD-ROM(Compact Disk-Read Only Memory, DVD(Digital Versatile Disk)를 포함한다), 광자기 디스크(MD(Mini-Disk)를 포함한다), 또는 반도체 메모리 등으로 이루어지는 리무버블 기록 매체(패키지 미디어)(211)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 제공되는, 프로그램이 기록되어 있는 ROM(302)이나, 기억부(308)에 포함되는 하드 디스크 등으로 구성된다.
또한, 본 명세서에 있어서, 기록 매체에 기록된 프로그램을 기술하는 스텝은, 그 순서에 따라 시계열적으로 행하여지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별로 실행되는 처리도 포함하는 것이다.
또한, 상술한 바와 같이, 본 명세서에 있어서, 시스템이란, 복수의 처리 장치나 처리부에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 상기 실시의 형태 및 변형예에서 설명하는 구성 등은, 지금까지 설명한 것 외에, 임의의 조합으로 하는 것이 가능하다.
본 발명의 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법에서는, 시간축에 따른 복수의 오리지널의 프레임에서 움직임 벡터가 검출되고, 이 검출된 움직임 벡터를 이용하여, 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리가 이루어진다. 그리고 이와 같은 영상 신호 처리할 때에, 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여 영상 신호 처리할 때의 처리량이 커지도록 설정되는 한편, 상기 신뢰도가 작아짐에 응하여 영상 신호 처리할 때 의 처리량이 작아지도록 설정된다. 이로써, 예를 들면 움직임 벡터의 탐색 범위(부로츠쿠마칭을 행하는 범위)를 초과하여 버린 때 등에 있어서도, 움직임 벡터의 검출 정밀도에 따르는 영상 신호 처리가 가능해진다.
본 발명의 화상 표시 장치, 영상 신호 처리 장치 또는 영상 신호 처리 방법에 의하면, 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 영상 신호 처리할 때의 처리량이 작아지도록 설정하도록 하였기 때문에, 소정의 화질 개선용의 영상 신호 처리를 움직임 벡터를 이용하여 행하는 경우에 있어서, 움직임 벡터의 검출 정밀도에 따르는 영상 신호 처리를 행할 수가 있다. 따라서, 소정의 화질 개선용의 영상 신호 처리를 행할 때에, 움직임 벡터의 검출 정밀도에 기인한 화질 열화를 억제하는 것이 가능해진다.

Claims (10)

  1. 시간축에 따른 복수의 오리지널의 프레임에 있어서, 움직임 벡터를 검출하는 움직임 벡터 검출 수단과,
    검출된 움직임 벡터를 이용하여, 상기 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리를 행하는 영상 신호 처리 수단과,
    상기 영상 신호 처리가 이루어진 후의 영상 신호에 의거하여 영상 표시를 행하는 표시 수단을 구비하고,
    상기 영상 신호 처리 수단은, 상기 움직임 벡터 검출 수단에 의한 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 상기 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 영상 신호 처리할 때의 처리량이 작아지도록 설정하고,
    상기 영상 신호 처리 수단은, 검출된 움직임 벡터를 이용함에 의해 상기 오리지널의 프레임의 영상 신호에 대해 오버드라이브 처리를 행하는 오버드라이브 처리 수단을 포함하고,
    상기 오버드라이브 처리 수단은, 상기 신뢰도가 커짐에 응하여, 상기 오버드라이브 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 오버드라이브 처리할 때의 처리량이 작아지도록 설정하는 것을 특징으로 하는 화상 표시 장치.
  2. 제 1항에 있어서,
    상기 영상 신호 처리 수단은, 검출된 움직임 벡터를 이용함에 의해 상기 오리지널의 프레임에 포함되는 촬상 흐림에 기인한 화질 열화를 억제하는 촬상 흐림 억제 처리를 행하는 촬상 흐림 억제 처리 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
  3. 제 2항에 있어서,
    상기 촬상 흐림 억제 처리 수단은, 상기 신뢰도가 커짐에 응하여, 상기 촬상 흐림 억제 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 촬상 흐림 억제 처리할 때의 처리량이 작아지도록 설정하는 것을 특징으로 하는 화상 표시 장치.
  4. 제 1항에 있어서,
    상기 영상 신호 처리 수단은, 시간축에 따라 서로 이웃하는 오리지널의 프레임 사이에, 움직임 보상을 이용하여, 오리지널의 프레임의 영상을 보간한 M개(M은 1 이상의 정수)씩의 보간 프레임을 추가함에 의해, 영상 신호의 프레임 레이트 변환을 행하는 프레임 레이트 변환 수단을 포함하는 것을 특징으로 하는 화상 표시 장치.
  5. 제 4항에 있어서,
    상기 프레임 레이트 변환 수단은, 상기 신뢰도가 커짐에 응하여, 상기 프레임 레이트 변환할 때에 상기 움직임 벡터에 곱하는 게인이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 프레임 레이트 변환할 때에 상기 움직임 벡터에 곱하는 게인이 작아지도록 설정하는 것을 특징으로 하는 화상 표시 장치.
  6. 제 1항 내지 제 5항중 어느 한 항에 있어서,
    상기 신뢰도는, 상기 움직임 벡터의 검출이 이루어지는 기간에는, 그 값이 서서히증가하는 한편, 상기 움직임 벡터의 검출이 이루어지지 않는 기간에는, 그 값이 서서히 감소하도록 설정되어 있는 것을 특징으로 하는 화상 표시 장치.
  7. 시간축에 따른 복수의 오리지널의 프레임에 있어서, 움직임 벡터를 검출한 움직임 벡터 검출 수단과,
    검출된 움직임 벡터를 이용하여, 상기 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리를 행하는 영상 신호 처리 수단을 구비하고,
    상기 영상 신호 처리 수단은, 상기 움직임 벡터 검출 수단에 의한 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 상기 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 영상 신호 처리할 때의 처리량이 작아지도록 설정하게 구비하고,
    상기 영상 신호 처리 수단은, 검출된 움직임 벡터를 이용함에 의해 상기 오리지널의 프레임의 영상 신호에 대해 오버드라이브 처리를 행하는 오버드라이브 처리 수단을 포함하고,
    상기 오버드라이브 처리 수단은, 상기 신뢰도가 커짐에 응하여, 상기 오버드라이브 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 오버드라이브 처리할 때의 처리량이 작아지도록 설정하는 것을 특징으로 하는 영상 신호 처리 장치.
  8. 시간축에 따른 복수의 오리지널의 프레임에서 움직임 벡터를 검출하고,
    검출된 움직임 벡터를 이용하여, 상기 복수의 오리지널의 프레임에 대해 소정의 화질 개선용의 영상 신호 처리를 행함과 함께,
    상기 움직임 벡터를 검출할 때의 신뢰도가 커짐에 응하여, 상기 영상 신호 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 영상 신호 처리할 때의 처리량이 작아지도록 설정하고,
    상기 영상 신호 처리에 있어서, 검출된 움직임 벡터를 이용함에 의해 상기 오리지널의 프레임의 영상 신호에 대해 오버드라이브 처리를 행함과 함께, 상기 신뢰도가 커짐에 응하여, 상기 오버드라이브 처리할 때의 처리량이 커지도록 설정하는 한편, 상기 신뢰도가 작아짐에 응하여, 상기 오버드라이브 처리할 때의 처리량이 작아지도록 설정하는 것을 특징으로 하는 영상 신호 처리 방법.
  9. 삭제
  10. 삭제
KR1020087025266A 2007-02-20 2008-02-20 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법 KR101456305B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007039559 2007-02-20
JPJP-P-2007-039559 2007-02-20
PCT/JP2008/052902 WO2008102827A1 (ja) 2007-02-20 2008-02-20 画像表示装置、映像信号処理装置および映像信号処理方法

Publications (2)

Publication Number Publication Date
KR20090113752A KR20090113752A (ko) 2009-11-02
KR101456305B1 true KR101456305B1 (ko) 2014-11-03

Family

ID=39710100

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020087024843A KR101522736B1 (ko) 2007-02-20 2008-02-20 화상 표시 장치
KR1020087025266A KR101456305B1 (ko) 2007-02-20 2008-02-20 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법
KR20087025265A KR100988652B1 (ko) 2007-02-20 2008-02-20 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020087024843A KR101522736B1 (ko) 2007-02-20 2008-02-20 화상 표시 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR20087025265A KR100988652B1 (ko) 2007-02-20 2008-02-20 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법

Country Status (6)

Country Link
US (3) US8917767B2 (ko)
EP (3) EP2018052B1 (ko)
JP (3) JP5212742B2 (ko)
KR (3) KR101522736B1 (ko)
CN (3) CN101543064B (ko)
WO (3) WO2008102827A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221192A1 (ko) * 2020-04-28 2021-11-04 엘지전자 주식회사 디스플레이 장치, 및 이를 구비하는 영상표시장치

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
JP5141871B2 (ja) * 2007-05-14 2013-02-13 株式会社リコー 画像処理方法及び画像表示装置
US8300958B2 (en) * 2007-07-11 2012-10-30 Samsung Electronics Co., Ltd. System and method for detecting scrolling text in mixed mode film and video
CN101601279B (zh) * 2007-08-03 2011-11-16 松下电器产业株式会社 摄像装置以及摄像方法
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
JP4506875B2 (ja) * 2008-05-19 2010-07-21 ソニー株式会社 画像処理装置および画像処理方法
JP5015089B2 (ja) * 2008-08-06 2012-08-29 シャープ株式会社 フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
EA201100347A1 (ru) * 2008-08-12 2011-10-31 Килесс Системз Лтд. Система ввода данных
JP4626779B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 映像信号処理装置、画像表示装置および映像信号処理方法
EP2166531A3 (en) * 2008-09-23 2011-03-09 Sharp Kabushiki Kaisha Backlight luminance control apparatus and video display apparatus
JP5262546B2 (ja) * 2008-10-08 2013-08-14 ソニー株式会社 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法
US8488057B2 (en) * 2008-12-01 2013-07-16 Ati Technologies Ulc Method and apparatus for dejuddering image data
WO2010067519A1 (ja) * 2008-12-10 2010-06-17 パナソニック株式会社 映像処理装置及び映像処理方法
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
JP5219771B2 (ja) * 2008-12-15 2013-06-26 キヤノン株式会社 映像処理装置および映像処理装置の制御方法
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
EP2400482A4 (en) * 2009-02-19 2012-08-01 Panasonic Corp IMAGE DISPLAY DEVICE AND IMAGE DISPLAY PROCESS
EP2234402B1 (en) * 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
JP2012138646A (ja) * 2009-04-23 2012-07-19 Panasonic Corp 映像処理装置及び映像処理方法
JP2011035776A (ja) * 2009-08-04 2011-02-17 Sanyo Electric Co Ltd 映像情報処理装置およびプログラム
JP4656546B2 (ja) * 2009-08-28 2011-03-23 日本ビクター株式会社 映像信号処理装置
JP5631565B2 (ja) * 2009-08-31 2014-11-26 京セラディスプレイ株式会社 表示装置
JP2011091533A (ja) * 2009-10-21 2011-05-06 Sony Corp 画像処理装置および方法、並びに、プログラム
JP5324391B2 (ja) * 2009-10-22 2013-10-23 キヤノン株式会社 画像処理装置およびその制御方法
US9019317B2 (en) * 2009-10-23 2015-04-28 Lg Display Co., Ltd. Liquid crystal display and method for driving the same
JP2011102876A (ja) * 2009-11-10 2011-05-26 Hitachi Displays Ltd 液晶表示装置
EP2509306A4 (en) * 2009-12-01 2013-05-15 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
EP2509307A4 (en) * 2009-12-01 2012-12-26 Panasonic Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
JP2013077862A (ja) * 2010-02-08 2013-04-25 Panasonic Corp 映像信号処理装置および映像信号処理方法
US8922474B2 (en) * 2010-02-10 2014-12-30 Sharp Laboratories Of America, Inc. Method of performing off axis halo reduction by generating an off-axis image and detecting halo artifacts therein
US9659353B2 (en) 2010-03-01 2017-05-23 Stmicroelectronics, Inc. Object speed weighted motion compensated interpolation
JP2011227153A (ja) * 2010-04-15 2011-11-10 Canon Inc 画像表示装置、画像表示方法
JP5634245B2 (ja) * 2010-12-15 2014-12-03 キヤノン株式会社 動きベクトル検出装置及びその制御方法、プログラム
KR101745418B1 (ko) * 2010-12-30 2017-06-12 엘지디스플레이 주식회사 전원 공급부 및 이를 포함하는 액정표시장치
CN102214450B (zh) 2011-06-02 2013-01-09 深圳市华星光电技术有限公司 液晶显示器及其驱动方法
JP2013015585A (ja) * 2011-06-30 2013-01-24 Toshiba Corp 表示装置及び表示方法
US8692933B1 (en) 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US9653026B2 (en) * 2012-03-07 2017-05-16 Canon Kabushiki Kaisha Backlight controlling apparatus, backlight controlling method and program
JP2013201607A (ja) * 2012-03-26 2013-10-03 Jvc Kenwood Corp 動きベクトル補正装置及び方法、並びに、映像信号処理装置及び方法
JP5178933B1 (ja) * 2012-05-21 2013-04-10 正浩 小林 画像処理装置
JP6041535B2 (ja) * 2012-05-29 2016-12-07 株式会社トプコン 画像取得方法及び撮影装置
JP5202749B1 (ja) * 2012-09-03 2013-06-05 正浩 小林 画像処理方法
JP5939108B2 (ja) * 2012-09-25 2016-06-22 三菱電機株式会社 画像表示装置および画像表示方法
US10154177B2 (en) 2012-10-04 2018-12-11 Cognex Corporation Symbology reader with multi-core processor
JP6369929B2 (ja) 2013-07-11 2018-08-08 Eizo株式会社 表示装置及びバックライトの駆動方法
US10002573B2 (en) * 2013-12-13 2018-06-19 Sharp Kabushiki Kaisha Field sequential display device and drive method therefor
CN109089014B (zh) * 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
KR102107472B1 (ko) 2014-03-24 2020-05-08 엘지디스플레이 주식회사 백색 유기 발광 소자
KR102145759B1 (ko) 2014-03-27 2020-08-20 엘지디스플레이 주식회사 유기 발광 소자
MX2016016839A (es) * 2014-07-30 2017-04-27 Halliburton Energy Services Inc Deflector desplegable.
JP2018022932A (ja) * 2014-12-08 2018-02-08 株式会社ジャパンディスプレイ 表示システム及び表示装置
EP3300381B1 (en) * 2015-05-19 2021-03-10 Sony Corporation Image processing device, image processing method, reception device and transmission device
CN105141969B (zh) * 2015-09-21 2017-12-26 电子科技大学 一种视频帧间篡改被动认证方法
KR102538879B1 (ko) * 2016-08-11 2023-06-02 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
JP6362116B2 (ja) * 2016-11-30 2018-07-25 キヤノン株式会社 表示装置及びその制御方法、プログラム、記憶媒体
US10957047B2 (en) * 2017-02-15 2021-03-23 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
WO2019040068A1 (en) * 2017-08-24 2019-02-28 Sony Mobile Communications Inc. EFFECTIVE SPEED FLOW DETECTION IMAGE PROCESSING DEVICES AND METHODS OF OPERATING THE SAME
CN107424571B (zh) * 2017-08-31 2021-03-09 北京集创北方科技股份有限公司 有机发光二极管显示装置及其驱动方法
JPWO2020039956A1 (ja) * 2018-08-22 2021-08-10 ソニーグループ株式会社 表示装置、信号処理装置、及び信号処理方法
JP7147038B2 (ja) 2019-02-20 2022-10-04 富士フイルム株式会社 表示制御装置、撮像装置、表示制御方法、及び表示制御プログラム
KR102549786B1 (ko) 2019-03-29 2023-06-30 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN110933496B (zh) * 2019-12-10 2021-07-23 Oppo广东移动通信有限公司 图像数据插帧处理方法、装置、电子设备及存储介质
CN110992902B (zh) * 2019-12-24 2022-06-14 苏州佳世达电通有限公司 显示系统及其背光控制方法
CN111586321B (zh) * 2020-05-08 2023-05-12 Oppo广东移动通信有限公司 视频生成方法、装置、电子设备和计算机可读存储介质
CN111641828B (zh) * 2020-05-16 2022-03-18 Oppo广东移动通信有限公司 视频处理方法及装置、存储介质和电子设备
CN111641829B (zh) * 2020-05-16 2022-07-22 Oppo广东移动通信有限公司 视频处理方法及装置、系统、存储介质和电子设备
CN112164374A (zh) * 2020-11-05 2021-01-01 北京集创北方科技股份有限公司 亮度调节方法、亮度调节装置、显示面板和显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929929A (en) * 1996-12-06 1999-07-27 Samsung Electronics Co., Ltd. Method for removing background noise during reception of weak electric field signals
KR100391192B1 (ko) * 1995-04-11 2003-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력필드처리방법및장치및텔레비전신호수신기
JP2005160015A (ja) * 2003-11-07 2005-06-16 Sony Corp 画像処理装置および方法、並びにプログラム
JP2006081150A (ja) * 2004-08-11 2006-03-23 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9214218D0 (en) 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
US5748231A (en) 1992-10-13 1998-05-05 Samsung Electronics Co., Ltd. Adaptive motion vector decision method and device for digital image stabilizer system
US5642170A (en) * 1993-10-11 1997-06-24 Thomson Consumer Electronics, S.A. Method and apparatus for motion compensated interpolation of intermediate fields or frames
US5519446A (en) * 1993-11-13 1996-05-21 Goldstar Co., Ltd. Apparatus and method for converting an HDTV signal to a non-HDTV signal
US5929919A (en) * 1994-04-05 1999-07-27 U.S. Philips Corporation Motion-compensated field rate conversion
KR100371039B1 (ko) 1994-04-05 2003-05-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 비월-순차주사변환
JP2891129B2 (ja) * 1995-01-27 1999-05-17 日本電気株式会社 動き補償予測画像作成装置
GB2305569B (en) * 1995-09-21 1999-07-21 Innovision Res Ltd Motion compensated interpolation
GB2311184A (en) 1996-03-13 1997-09-17 Innovision Plc Motion vector field error estimation
EP0898427A4 (en) * 1997-02-13 2004-04-28 Mitsubishi Electric Corp ANIMATED IMAGE ESTIMATION SYSTEM
JP4083265B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 画像信号の方式変換方法および装置
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods
JP2000217108A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像符号化方法及び記憶媒体
JP2000324364A (ja) 1999-05-07 2000-11-24 Sony Corp 映像信号の輪郭補正回路
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
US7106350B2 (en) * 2000-07-07 2006-09-12 Kabushiki Kaisha Toshiba Display method for liquid crystal display device
JP2002158941A (ja) 2000-11-16 2002-05-31 Sharp Corp 画質制御装置
US6956617B2 (en) 2000-11-17 2005-10-18 Texas Instruments Incorporated Image scaling and sample rate conversion by interpolation with non-linear positioning vector
JP2003036056A (ja) * 2001-07-23 2003-02-07 Hitachi Ltd 液晶表示装置
KR100549156B1 (ko) 2001-07-23 2006-02-06 가부시키가이샤 히타치세이사쿠쇼 표시 장치
US7554535B2 (en) * 2001-10-05 2009-06-30 Nec Corporation Display apparatus, image display system, and terminal using the same
JP3855761B2 (ja) 2001-10-09 2006-12-13 ソニー株式会社 画像信号処理装置及び方法
US20030123738A1 (en) * 2001-11-30 2003-07-03 Per Frojdh Global motion compensation for video pictures
WO2003063121A1 (fr) * 2002-01-21 2003-07-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'affichage et procede de commande d'un dispositif d'affichage
JP2003244659A (ja) 2002-02-14 2003-08-29 Toshiba Corp フレーム補間方法
KR101108661B1 (ko) * 2002-03-15 2012-01-25 노키아 코포레이션 비디오 시퀀스에서의 움직임 부호화 방법
US20040090554A1 (en) * 2002-10-23 2004-05-13 Takahiro Nishi Picture coding method
JP4540605B2 (ja) 2002-12-06 2010-09-08 シャープ株式会社 液晶表示装置
JP2004234051A (ja) 2003-01-28 2004-08-19 Fuji Xerox Co Ltd 文章分類装置およびその方法
JP4239892B2 (ja) * 2003-07-14 2009-03-18 セイコーエプソン株式会社 電気光学装置とその駆動方法ならびに投射型表示装置、電子機器
JP4367100B2 (ja) 2003-11-18 2009-11-18 日本ビクター株式会社 画像表示装置
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
JP2005338262A (ja) * 2004-05-25 2005-12-08 Sharp Corp 表示装置およびその駆動方法
US7657118B2 (en) * 2004-06-09 2010-02-02 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames using image data converted from a different color space
CN1860779B (zh) * 2004-08-11 2010-05-12 索尼株式会社 图像处理设备和方法
JP4359223B2 (ja) * 2004-10-29 2009-11-04 株式会社 日立ディスプレイズ 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置
JP4396496B2 (ja) * 2004-12-02 2010-01-13 株式会社日立製作所 フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法
US7728877B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Laboratories, Inc. Method and system for synthesizing multiview videos
JP2006189658A (ja) * 2005-01-06 2006-07-20 Toshiba Corp 画像表示装置及びその画像表示方法
JP2006189661A (ja) 2005-01-06 2006-07-20 Toshiba Corp 画像表示装置及びその方法
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
JP2008033209A (ja) * 2005-09-28 2008-02-14 Toshiba Matsushita Display Technology Co Ltd 液晶表示装置
KR20070055212A (ko) * 2005-11-25 2007-05-30 삼성전자주식회사 프레임 보간장치, 프레임 보간방법 및 움직임 신뢰성평가장치
US20070132709A1 (en) * 2005-12-12 2007-06-14 Toshiba Matsushita Display Technology Co., Ltd Liquid crystal display device and method for driving the same
KR101225058B1 (ko) * 2006-02-14 2013-01-23 삼성전자주식회사 콘트라스트 조절 방법 및 장치
JP5076355B2 (ja) * 2006-04-25 2012-11-21 ソニー株式会社 画像表示装置、画像表示方法
JP4863767B2 (ja) * 2006-05-22 2012-01-25 ソニー株式会社 映像信号処理装置及び画像表示装置
KR101359139B1 (ko) 2006-05-23 2014-02-05 파나소닉 주식회사 화상 표시 장치, 화상 표시 방법, 플라즈마 디스플레이 패널 장치, 프로그램, 집적 회로, 및 기록 매체
MY149409A (en) * 2006-10-20 2013-08-30 Nokia Corp Virtual decoded reference picture marking and reference picture list
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100391192B1 (ko) * 1995-04-11 2003-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력필드처리방법및장치및텔레비전신호수신기
US5929929A (en) * 1996-12-06 1999-07-27 Samsung Electronics Co., Ltd. Method for removing background noise during reception of weak electric field signals
JP2005160015A (ja) * 2003-11-07 2005-06-16 Sony Corp 画像処理装置および方法、並びにプログラム
JP2006081150A (ja) * 2004-08-11 2006-03-23 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221192A1 (ko) * 2020-04-28 2021-11-04 엘지전자 주식회사 디스플레이 장치, 및 이를 구비하는 영상표시장치
US11948521B2 (en) 2020-04-28 2024-04-02 Lg Electronics, Inc Display device and image display device comprising same

Also Published As

Publication number Publication date
CN101543043A (zh) 2009-09-23
EP2059023A1 (en) 2009-05-13
EP2059023B1 (en) 2015-11-04
EP2018052A4 (en) 2010-03-10
US8213504B2 (en) 2012-07-03
EP2018052A1 (en) 2009-01-21
EP2018052B1 (en) 2014-12-10
KR101522736B1 (ko) 2015-05-26
JPWO2008102826A1 (ja) 2010-05-27
CN101543043B (zh) 2011-05-18
JPWO2008102828A1 (ja) 2010-05-27
JPWO2008102827A1 (ja) 2010-05-27
EP2059037B1 (en) 2012-06-20
US8917767B2 (en) 2014-12-23
KR100988652B1 (ko) 2010-10-18
EP2059023A4 (en) 2011-10-12
JP5294036B2 (ja) 2013-09-18
EP2059037A1 (en) 2009-05-13
WO2008102827A1 (ja) 2008-08-28
KR20090113751A (ko) 2009-11-02
JP5187531B2 (ja) 2013-04-24
US20100034272A1 (en) 2010-02-11
CN101543064B (zh) 2013-07-03
US20100013991A1 (en) 2010-01-21
JP5212742B2 (ja) 2013-06-19
WO2008102826A1 (ja) 2008-08-28
US8441468B2 (en) 2013-05-14
KR20090113752A (ko) 2009-11-02
US20090184916A1 (en) 2009-07-23
CN101543064A (zh) 2009-09-23
EP2059037A4 (en) 2010-12-01
KR20090115653A (ko) 2009-11-05
CN101543065A (zh) 2009-09-23
WO2008102828A1 (ja) 2008-08-28
CN101543065B (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
KR101456305B1 (ko) 화상 표시 장치, 영상 신호 처리 장치 및 영상 신호 처리 방법
KR101200231B1 (ko) 화상 처리 장치 및 방법, 및 기록 매체
JP4139430B1 (ja) 画像処理装置及び方法、画像表示装置及び方法
US20030201968A1 (en) Image display device and image display method
RU2475867C2 (ru) Устройство и способ обработки сигнала изображения, устройство воспроизведения изображения, телевизионный приемник, электронное устройство
KR101258473B1 (ko) 프레임 레이트 변환 장치 및 프레임 레이트 변환 방법
KR20090127690A (ko) 디스플레이장치 및 그 제어방법
JP2010014879A (ja) 係数生成装置および方法、画像生成装置および方法、並びにプログラム
US20090002559A1 (en) Phase Shift Insertion Method For Reducing Motion Artifacts On Hold-Type Displays
CN100407766C (zh) 用于处理图像的方法和设备
JP4674528B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
Xia et al. Motion adaptive deblurring filter for LCD

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170919

Year of fee payment: 4