KR100666290B1 - 촬상 장치 및 촬상 방법 - Google Patents

촬상 장치 및 촬상 방법 Download PDF

Info

Publication number
KR100666290B1
KR100666290B1 KR1020000053740A KR20000053740A KR100666290B1 KR 100666290 B1 KR100666290 B1 KR 100666290B1 KR 1020000053740 A KR1020000053740 A KR 1020000053740A KR 20000053740 A KR20000053740 A KR 20000053740A KR 100666290 B1 KR100666290 B1 KR 100666290B1
Authority
KR
South Korea
Prior art keywords
image
pixels
pixel
signal
output
Prior art date
Application number
KR1020000053740A
Other languages
English (en)
Other versions
KR20010039880A (ko
Inventor
미야시타사토시
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20010039880A publication Critical patent/KR20010039880A/ko
Application granted granted Critical
Publication of KR100666290B1 publication Critical patent/KR100666290B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 비디오 카메라 장치 등의 촬상 장치에 있어서의 출력 화상 장지의 고주파에서의 특성을 개선하여 해상도를 향상시킨다.
CCD 이미지 센서(14)는 출력 화상보다도 충분히 많은 화소수를 가진다. CCD 이미지 센서(14)로부터의 촬상 신호는, 화소수 변환 블록에 의해 축소 화소수변환되고, 단자(43)를 개재시켜 모니터 출력 또는 동화상 기록 신호로서 출력된다. 다화소의 화상 신호를 축소 화상 변환하는 것에 의해, 선명도가 양호한 출력 화상을 얻을 수 있다.
촬상 장치, CCD 이미지 센서

Description

촬상 장치 및 촬상 방법{image pick up device and image pick up method}
도 1은 본 발명에 따른 실시예가 되는 비디오 카메라 장치의 구성을 도시하는 블록도.
도 2는 CCD 이미지 센서상의 보색 모자이크 컬러 코딩 필터의 일 예를 도시하는 도면.
도 3은 CCD 이미지 센서의 전방에 배치되는 광학 로우패스 필터의 주파수 특성을 도시하는 도면.
도 4는 각 모드에서의 촬상 신호의 화소수나 출력 화상의 화소수 등의 화소수 등을 도시하는 도면.
도 5는 NTSC 방식 및/PAL 방식에서의 CCD 판독 클록의 주파수를 설명하기 위한 도면.
도 6은 동화상 모드시의 동작 설명 타이밍도.
도 7은 정지 화상 모드시의 동작 설명 타이밍도.
도 8은 프레임 메모리로부터의 판독시의 2 라인 가산 동작을 설명하기 위한 도면.
도 9는 디지털 필터의 기본 구성을 도시하는 도면.
도 10은 대역 제한 로우패스 필터를 구성하는 경우의 디지털 필터의 각 계수의 예를 도시하는 도면.
도 11은 화소간 보간 로우패스 필터를 구성하는 경우의 디지털 필터의 각 계수의 예를 도시하는 도면.
도 12는 화소간 보간 필터의 구체적인 구성예를 도시하는 블록도.
도 13은 축소율을 1/2로 하였을 때의 주파수 특성 및 표시 화상 범위를 도시하는 도면.
도 14는 축소율을 3/5으로 하였을 때의 주파수 특성 및 표시 화상 범위를 도시하는 도면.
도 15는 축소율을 3/4으로 하였을 때의 주파수 특성 및 표시 화상 범위를 도시하는 도면.
도 16은 축소율을 1(등배)로 하였을 때의 주파수 특성 및 표시 화상 범위를 도시하는 도면.
도 17은 출력 화상의 화소수와 동일한 화소수의 CCD 이미지 센서를 사용하는 경우의 광학 로우패스 필터 특성 및 출력 화상의 주파수 특성을 도시하는 도면.
도 18은 출력 화상의 화소수보다도 많은 화소수의 CCD 이미지 센서를 사용하는 경우의 광학 로우패스 필터 특성, 화소간 보간 로우패스 필터 특성 및 출력 화상의 주파수 특성을 도시하는 도면.
도 19는 CCD 이미지 센서의 화상을 모니터하는 경우의 라인 솎아냄 동작의 예를 설명하기 위한 도면.
도 20은 CCD 이미지 센서의 화상을 모니터하는 경우의 라인 솎아냄 동작에 의한 영향을 설명하기 위한 도면.
도 21은 CCD 이미지 센서의 화상의 2 라인 혼합 판독 동작을 설명하기 위한 도면.
도 22는 보색 모자이크 컬러 코딩 CCD 이미지 센서의 화상의 전화소 판독 동작을 설명하기 위한 도면.
도 23은 3원색 모자이크 컬러 코딩 CCD 이미지 센서의 화상의 전화소 판독 동작을 설명하기 위한 도면.
도 24는 A/D 변환기의 전단계의 GCA(이득제어 앰프)의 동작을 설명하기 위한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
13: 광학 로우패스 필터 14: CCD 이미지 센서
15: S/H(샘플 호울드) 회로 16: GCA(이득 제어 앰프)
17: A/D 변환 회로 19: 카메라 신호 처리 회로
21: 프레임 메모리 22, 36: 메모리 컨트롤러
23: 정지 화상 기록용 전처리 회로 25: 타이밍 발생기
26: 동기 신호 발생기 27; PLL 회로
28: 출력계 동기 신호 발생기 30: 화소수 변환 블록
31: 대역 제한 로우패스 필터 32: 화소 솎아냄 회로
33: 축소시 화소간 보간 로우패스 필터 35: 화상 메모리
37: 확대시 화소간 보간 로우패스 필터 42: 클록 교체용 라인 메모리
46: 정지 화상 캡처용 버퍼 메모리 50: 시스템 제어 마이크로컴퓨터
본 발명은 촬상 장치에 관하며, 특히, 동화상 모드와 정지 화상 모드를 가지는 비디오 카메라 장치에 적용 가능한 촬상 장치에 관한 것이다.
동화상 촬영용의 소위 비디오 카메라에 있어서 사용되는 CCD 이미지 센서 등의 고체 촬상 소자는 주로 출력 신호의 포맷인 NTSC/PAL의 방송 방식에 맞춘 화소수 배열인 것이 되어 있으며, 예를 들면, 일반 가정용 디지털 VTR 규격의 하나인 소위 DV 포맷의 비디오 카메라에서는, 실효 화소가 34 내지 42만 화소 정도인 것이 일반적이다.
또, CCD 이미지 센서 등의 고체 촬상 소자에서의 촬상은 공간적인 샘플링을 행하는 것에 상당하기 때문에, 화소 피치 그 자체에 의한 샘플링 캐리어나, 화면 상에 형성된 색 필터의 엘리어싱에 의해 발생하는 샘플링 캐리어에 의해 발생하는 화상의 에지 부분의 눈금이나 고주파 부분에서의 가짜 색 등의 엘리어싱 성분에 의한 화소 열화를 억제하기 위해, 광학적인 로우패스 필터를 촬상 광학계에 삽입하는 것이 일반적이다.
그런데, 상기 광학적인 로우패스 필터는 고역까지 평탄한 주파수 특성을 실 현하는 것이 어려워, 화상의 고주파 성분이 감쇠하여 해상도 저하를 초래한다.
특히, 단판 CCD를 사용한 컬러 카메라 시스템에서는, 1장의 CCD 이미지 센서로 휘도도 색도 생성하기 때문에, 화소마다 다른 색의 필터가 형성되어 있다. 이 색 코딩에 의해 발생하는 샘플링 캐리어에 의한 엘리어싱 성분에 의한 화질 열화를 억제하기 위해, 색 코딩을 갖지 않는 카메라 시스템에 비해, 낮은 공간 주파수에 대역 제한해야만 하고, 더욱이 해상도가 저하한다. 예를 들면, Ye, Cy, Ye, Cy 등 2엘리어싱의 색 코딩에서는, 흑백 촬상이나 프리즘에 의해 R, G, B로 광을 나누는 3CCD의 카메라 시스템의 반 주파수까지 대역 제한할 필요가 있다.
또, 출력 신호 포맷의 NTSC/PAL의 방송 방식에 맞춘 화소수 배열의 CCD 이미지 센서의 경우에는, 화소 형태가 직방형인 것이 대부분이다. 이것은 예를 들면 NTSC 방식의 경우, 유효 표시 화면 내에서의 수평 방향의 해상도(샘플수)와 직교 방향의 라인수와의 유효한 조합으로 하여, 수평 720화소×수직 480라인이 되는 것이 많지만, 이것을 표준 텔레비젼 수상기의 수평:수직 비가 4:3인 스크린에 도시하기 때문에, CCD 이미지 센서의 1화소 형으로서는, 수평:수직 비가 8:9의 세로 길이의 직방형이 된다. 이 1화소를 그대로 1화소로서 취급하여, 화소가 정방 격자의 취급인 PC(퍼스널 컴퓨터)의 디스플레이에 표시하면, 화상의 종횡비(어스팩트비)가 어긋나게 표시되어버리기 때문에, 정확한 종횡비로 표시하기 위해 화소수 변환을 행해야만 한다.
또, 비디오 카메라에 있어서 사용되는 CCD 이미지 센서는 NTSC/PAL의 각 포맷의 주사선수의 차이에 따라서, 수직 방향의 화소수가 다른 것을 사용하는 것이 일반적으로, 코스트 다운에 불리하다.
더욱이, CCD 이미지 센서에 의해 촬상된 화상을 전자적으로 확대, 소위 전자 줌잉(zooming)을 행하면, 확대율에 반비례하여 해상도가 열화하여, 광학 렌즈에 의한 줌잉에 비해 화질이 나쁘다는 결점이 있다.
본 발명은 상술한 문제점을 감안하여 이루어진 것으로, 출력 화상의 고주파에서의 특성을 개선하여 해상도를 향상시킬 수 있으며, 화소가 정방 격자의 화상 출력을 용이하게 행할 수 있으며, NTSC/PAL의 각 방식에 CCD 이미지 센서를 겸용할 수 있고, 또 전자적인 줌잉도 화질 열화를 억제하면서 행할 수 있는 촬상 장치를 제공하는 것을 목적으로 한다.
상술한 문제를 해결하기 위해, 본 발명에 따른 촬상 장치는 출력 화상의 화소수보다도 많은 화소수를 가지는 촬상 소자와, 상기 촬상 소자로부터의 촬상 신호에 근거하여 얻어진 출력 화소의 화소수보다도 많은 화소수를 가지는 중간 화소 신호를 축소 화소수 변환하여 상기 출력 화상의 화상 신호로 변환하는 화소 변환 수단을 가지는 것을 특징으로 하고 있다.
여기서, 상기 촬상 장치는 동화상 모드와 정지 화상 모드를 가지며, 동화상 모드 시에는 상기 촬상 소자의 화소수보다도 적고 상기 출력 화소의 화소수보다도 많은 상기 중간 화상 신호를 상기 촬상 소자의 촬상 영역으로부터 꺼내어, 정지 화상 모드 시에는 상기 촬상 소자의 촬상 영역 모두를 판독하여 상기 중간 화상 신호로 하는 것을 들 수 있다.
또, 상기 촬상 소자에는 화소가 정방 격자의 CCD 이미지 센서를 사용하는 것을 들 수 있다.
또, 상기 화소수 변환 수단은 상기 중간 화상 신호의 변환 비율을 변화시킴으로써 줌잉을 행하게 하는 것을 들 수 있다.
이하, 본 발명에 따른 촬상 장치의 실시예에 대해서, 도면을 참조하면서 설명한다.
도 1은 본 발명에 따른 촬상 장치의 실시예가 되는 비디오 카메라 장치 시스템 구성의 일례를 도시하는 블록도이다. 이 도 1의 비디오 카메라 장치는 동화상 촬상과 정지 화상 촬상 2개의 모드를 가지며, 동화상 출력은 일반 가정용 디지털 VTR 규격인 소위 DV 포맷에 따라서, 출력 화상의 화소수는 수평 720화소× 수직 480라인으로 되어 있다. 촬상 소자인 CCD 이미지 센서(14)의 화소수는 출력 화상의 화소수보다도 충분히 많으며, 예를 들면 소위 메가 픽셀(100만 화소) 오더가 되어 있으며, 구체적으로는, 수평 1152화소×수직 864라인인 것을 사용하고 있다.
도 1에 있어서, 카메라부의 광학 렌즈를 개재시켜 얻어진 렌즈로부터의 광(11)은 기계적인 메커니컬 셔터 등의 셔터(12)를 개재시켜 광학 로우패스 필터(13)를 개재시켜, 촬상 소자인 CCD 이미지 센서(14)로 보내져 촬상된다. 셔터(12)는 정지 화상 촬상 동작 시에 있어서, 노광 시간을 억제함과 동시에, CCD로부터의 신호 판도 중의 차광 상태를 지속하기 위한 것으로, 이 실시예에서는, 동화상 촬상 시에 밝기를 다이나믹하게 조정하는 아이리스(조리개)로서도 겸용하고 있다. 광학 로우패스 필터(13)는 CCD 이미지 센서(14)에서의 촬상 시의 공간적 샘 플링에 의해 발생하는 화질 열화를 억제하기 위한 것으로, 화소 피치 그 자체에 의한 샘플링 캐리어나, 화소 상에 형성된 색 필터의 엘리어싱에 의해 발생하는 샘플링 캐리어에 의해 발생하는 화상 에지 부분의 눈금이나 고주파 부분에서의 가짜 색 등의 엘리어싱 성분에 의한 화질 열화를 억제하는 것이다. CCD 이미지 센서(14)에서 광전 변환된 화상 신호는 동화상 모드, 정지 화상 모니터링 모드, 정지 화상 기록 모드의 3종류 모드에 대응하는 전하 전송 동작으로 판독되어, 신호 처리계로 보내진다.
신호 처리계의 샘플 호울드(S/H) 회로(15)는 CCD에서 광전 변환되어 축적된 각 화소마다의 전하를 검출하기 위한 소위 상관 이중 샘플링(CDS)을 행하는 것으로, 이 샘플 호울드 회로(15)로부터의 신호는 이득 제어 증폭기(GCA)(16)를 개재시켜 A/D 변환 회로(17)로 보내져, 아날로그/디지털 변환된다. A/D 변환 회로(17)로부터의 출력은 동화상/정지 화상의 전환 스위치(18)의 동화상용 피선택 단자(a)와, 정지 화상용 프레임 메모리(21)로 보내진다. 프레임 메모리(21)는 메모리 컨트롤러(22)로부터의 제어 신호에 의해 기록/판독 제어되며, 프레임 메모리(21)로부터 판독된 신호는 정지 화상 기록용 전처리 회로(23)를 개재시켜 전환 스위치(18)의 정지 화상용 피선택 단자(b)로 보내진다. 전환 스위치(18)로부터의 출력 신호는 카메라 신호 처리 회로(19)로 보내지며, 소위 Y(휘도) 프로세스나 C(크로마) 프로세스 등의 신호 처리가 실시되어, 화소수 변환 블록(30)으로 보내진다.
카메라 신호 처리 회로(19)로부터의 출력 신호는 화소수 변환 블록(30)으로 보내지고, 대역 제한 로우패스 필터(31), 화소 솎아냄 회로(32), 축소 시 화소간 보간 로우패스 필터(33)를 개재시켜 전환 스위치(34)의 피선택 단자(a)에 공급되며, 전환 스위치(34)의 피선택 단자(b)에는 카메라 신호 처리 회로(19)로부터의 출력 신호가 그대로 공급된다. 전환 스위치(34)로부터의 출력 신호는 메모리 컨트롤러(26)에 의해 제어되는 화상 메모리(35)로 보내지며, 이 화상 메모리(35)로부터 판독된 화상 신호는 확대 시 화소간 보간 로우패스 필터(37)와, 전환 스위치(38)의 피선택 단자(a)로 보내진다. 확대 시 화소간 보간 로우패스 필터(37)로부터의 출력 신호는 전환 스위치(38)의 피선택 단자(b)로 보내진다. 이상이 화소수 변환 블록(30)의 내부 구성예이다.
화소수 변환 블록(30)의 전환 스위치(38)로부터의 출력 신호는 전환 스위치(41)의 피선택 단자(a)와, 클록 교체용 라인 메모리(42)로 보내진다. 클록 교체용 라인 메모리(42)로부터의 출력 신호는 모니터 출력으로서 출력 단자(43)로부터 추출되며, 모니터 표시계나 동작 기록계로 보내진다. 전환 스위치(41)의 피선택 단자(b)에는, 상기 카메라 신호 처리 회로(19)로부터의 출력 신호가 공급되며, 이 전환 스위치(41)로부터의 출력 신호는 정지 화상 캡처용 버퍼 메모리(46)에 일단 저장된 후, 출력 단자(47)를 개재시켜 정지 화상 기록을 위한 화상 신호로서 추출되어, 정지 화상 기록 시스템으로 보내진다.
타이밍 발생기(25)는 수정 발진기 등에 의해 얻어지는 기준 클록에 근거하여 각종 클록을 발생하는 것으로, CCD 구동용 클록이 드라이버(24)를 개재시켜 CCD 이미지 센서(14)에 보내지고, 샘플 호울드 펄스가 샘플 호울드 회로(15)로 보내지며, A/D 변환용 클록이 A/D 변환 회로(17)로 보내지며, 동기 신호 발생용 클록이 동기 신호 발생기(26)로 보내지며, 시스템 클록이 PLL(위상 록 루프) 회로(27)로 보내진다. 동기 신호 발생기(26)로부터의 동기 신호는 메모리 컨트롤러(22), 타이밍 발생기(25), 출력계 동기 신호 발생기(28) 및 시스템 제어 마이크로 컴퓨터(50)로 보내지며, PLL 회로(27)로부터의 출력 신호가 출력계 동기 신호 발생기(28) 및 클록 교체용 라인 메모리(42)로 보내지며, 출력계 동기 신호 발생기(28)로부터의 출력 신호가 클록 교체용 라인 메모리(42)로 보내진다.
시스템 제어 마이크로 컴퓨터(50)는 동작 모드 선택 등에 따라서 시스템 전체를 제어하기 위한 것으로, 단자(51)를 개재시켜 모드 전환 선택 신호가 입력된다. 시스템 제어 마이크로 컴퓨터(50)로부터는, 셔터 제어 신호가 드라이버(53)를 개재시켜 셔터(12)로 보내지며, 게인 제어 신호가 이득 제어 증폭기(GCA)(16)로 보내지며, 신호 처리 제어 파라미터가 카메라 신호 처리 회로(19)로 보내지며, 모드 전환이나 손 흔들림 보정 등에 따른 제어 신호가 타이밍 발생기(25)로 보내진다. 또, 수직 방향용 각 속도 센서(56V)로부터의 검출 신호가 증폭기(57V), A/D 변환기(58V)를 개재시켜 시스템 제어 마이크로 컴퓨터(50)로 보내지며, 수평 방향용 각 속도 센서(56H)로부터의 검출 신호가 증폭기(57H), A/D 변환기(58H)를 개재시켜 시스템 제어 마이크로 컴퓨터(50)로 보내진다.
여기서, 도 2는 CCD 이미지 센서(14)의 표면에 배치되는 색 필터의 색 코딩의 일례를 도시하고 있으며, 이것은 단판 CCD 컬러 카메라 시스템에서는, 1개의 CCD에서 휘도 성분도 색 성분도 생성하기 때문에, 화소마다 다른 색의 필터를 CCD 표면에 형성한 것이다. 이 도 2에서는, 수평 2화소를 주기로 하는 보색 모자이크 컬러 코딩 예를 도시하고 있다. 이 경우, 화소 피치에 의한 샘플링 간격(P1)에 대해, 2화소 엘리어싱 색 코딩에 의한 샘플링 간격(P2)은 2배(P2=2P1)가 되며, 화소 피치 그 자체에 의한 샘플링 캐리어 주파수(표본화 주파수)(Fs)에 대해, 2화소 엘리어싱 색 코딩에 의한 샘플링 캐리어 주파수(표본화 주파수)는 Fs/2가 된다.
도 3은 상기 광학 로우패스 필터(13)의 주파수 특성 예를 도시하고 있으며, 곡선(a)이 상기 2화소 엘리어싱 색 코딩을 가지는 CCD 이미지 센서(14)용 광학 로우패스 필터의 주파수 특성을 도시한다. 이에 대해 곡선(b)은 상기 2화소 엘리어싱 색 코딩을 갖지 않는, 예를 들면 흑백 화상이나, 색 분해 프리즘에 의해 R, G, B로 광을 나누어 촬상하는 3CCD 카메라 시스템의 경우의 광학 로우패스 필터의 주파수 특성을 나타낸다. 이들 곡선(a, b)으로부터 분명한 바와 같이, 상기 2화소 엘리어싱 색 코딩을 가지는 CCD 이미지 센서의 경우에는, 색 코딩을 갖지 않는 경우의 반이 낮은 공간 주파수에 대역 제한해야만 하기 때문에, 그만큼 해상도가 저하하게 된다. 이 경우, 광학 로우패스 필터는 고역까지 평탄한 주파수 특성을 실현하는 것이 어려워, 화상의 고주파 성분이 화살표(c)로 나타나는 바와 같이 감쇠하여, 해상도 저하를 초래하게 된다.
그래서, 본 발명의 실시예에 있어서는, 출력 화상보다도 많은 화소수의 CCD 이미지 센서를 사용하여 촬상된 신호에 근거하는 출력 화상보다도 많은 화소수의 화상 신호를 축소 화소수 변환함으로써, 출력 화상의 고주파 특성을 개선하고 있다.
다음으로 도 4는 본 실시예의 시스템에서 사용되는 CCD 이미지 센서의 화소수와 상기 3개의 제공 모드에서의 화소수의 사용 방법을 도시한다. 이 예에서는 CCD 이미지 센서의 유효 화소수는 수직 864, 수평 1152로 정방 격자이다.
도 4a에 도시하는 동화상 모드에서는, 손 흔들림 보정 에어리어를 확보하기 위해, 수직, 수평 각각 20%를 잉여 에어리어로서 취급하여, 추출된 수직 80%, 수평 80% 영역의 화상 신호를 축소 화소수 변환함으로써, NTSC 방식의 경우에서 수평 720화소×수직 240라인(PAL 방식의 경우는 수평 720화소×수직 288라인)의 출력화 신호를 얻고 있다.
이에 대해, 도 4b, 도 4c에 도시하는 정지 화상용 모드에서는, CCD 이미지 센서의 유효 화소수의 모든 화소가 화상 출력 대상이 된다. 수평, 수직 모두 출력 화소보다도 많은 화소를 필드 단위로 모두 CCD로부터 출력할 필요가 있으므로, 출력측의 필드 주기, 수평 동기, 시스템 클록에 대하여, 필드 주기는 동일하며, 수평 주기의 주파수와, 수평 전송 클록의 주파수를 보다 높은 주파수로 동작시킨다.
상기 실시예의 경우, NTSC 방식에서는 도 5a에 도시된 바와 같이, 1 필드 당 수직 동기 1/60초 동안에 385 수평 동기, 1 수평 동기 기간에 l430 클록, 클록 주파수 33MHz에서 동작시키고, 또한 PAL 방식에서는 도 5b에 도시된 바와 같이, 수직 동기 1/50초 동안에 375 수평 동기, 1 수평 동기 기간에 1440 클록, 클록 주파수 27MHz에서 동작시키고 있다. 이들의 전환은 도 1내의 타이밍 발생기(25)에서 행한다.
여기서, 도 4a의 동화상 모드에서는 필드 화상 신호를 출력하고 있고, CCD 이미지 센서로부터의 판독 시에는 CCD 이미지 센서의 내부에서 2 라인을 혼합하여 출력하도록 하는 소위 2 라인 혼합 판독을 행하고 있다. 또한, CCD 이미지 센서의 일부를 꺼내어 판독하고, 나머지의 에리어를 작성하여 상기 꺼내어진 에리어를 촬영자의 손 흔들림에 따라서 다이나믹하게 움직여 줌으로써 손 진동을 보정하는 기능에 대응하고 있고, 손 흔들림 량은 수직, 수평각 방향의 각 속도 센서의 출력을 마이크로컴퓨터로 적분하여 검출한다. 손 흔들림 보정에 의해 추출된 화상 신호는 상기 출력 화상의 화소수보다도 많은 수평 960 화소 × 수직 360 라인으로 되어 있고, 이것을 수평 720 화소× 수직 240 라인(NTSC 방식) 또는 수평 720 화소 × 수직 288 라인(PAL 방식)의 출력 화소 신호에 축소 화상 변환하고 있다.
도 6은 동화상 촬상 모드시의 각부 신호를 도시하는 타이밍도이고, 도 6a는 수직 동기 신호(VD)를, 도 6b는 상기 CCD 이미지 센서(14)에서 촬상된 화상 신호를 도시하고 있다. 상기 도 6에서는 시각(t1, t4, t7)이 수직 동기 신호(VD)의 기준 타이밍이지만, 상술한 손 흔들림 보정을 위해, 도 6c에 도시된 바와 같이, 수직 방향의 80%가 유효 화상 기간(t2 내지 t3, t5, t6)으로서 판독되고, 신호 처리 시스템으로 이송되어, 도 6d에 도시한 상기 화소수 변환이 행하여진다.
도 1의 화소수 변환 블록(30)에 있어서, 축소시 즉 화소수가 감소하는 경우에는 대역 제한 로우패스 필터(31)에 의해 변환 후의 엘리어싱 잡음을 방지하기 위해서 출력의 표본화 주파수에 맞춰서 대역 제한한다. 이것을 화상의 수직, 수평 양방향에 대하여 행한다. 이 후, 화소 솎아냄 회로(32)에서 출력 화소수에 맞도록 화소를 솎아낸 후, 출력 화소의 중심을 얻기 위해서 화소간 보간 로우패스 필터(33)를 통과시킨다. 이것도 화상의 수직, 수평 양방향에 대하여 행한다. 이것에 의해 화소의 공간 위치가 갖취진다. 즉, 화소 솎아냄 회로(32)와 화소간 보간 로우패스 필터(33)에서, 보간되는 위치에서의 화소치를 구할 수 있다. 여기서 아직 시간적으로 화소 신호가 불연속이기 때문에, 화소 메모리(35)에 일단 입력하고, 라인마다 클록환승용 라인 메모리(42)에 보내어, 출력 화상의 클록(13.5MKz)에서 연속하여 판독함으로써, 최종적인 화상이 된다. 도 6에서는 상기 화상 메모리(35)와 라인 메모리(42)를 정리하여 메모리로서 나타내고, 상기 메모리에 대하여 기록은 고속이며 또한 간헐적으로 행하고, 다음 필드에서 일정 클록(13.5MHz)에서 연속하여 판독하여, 상기 단자(43)로부터 모니터 출력으로서 추출하도록 나타내고 있다.
또한, 화상의 확대 시에는 대역 제한할 필요가 없기 때문에, 전환 스위치(34)의 피선택 단자(b)를 거쳐 카메라 신호 처리 회로(19)로부터의 출력 신호가 그대로 직접 화상 메모리(35)에 기록된다. 상기 화상 메모리(35)로부터 판독된 출력은 확대시 화소간 보간 로우패스 필터(37)에 보내여지고, 화소수가 증가되어, 전환 스위치(38)의 피선택 단자(b)를 거쳐 클록 환승용 라인 메모리(42)에 보내여지고 일정 클록(13.5MHz)에서 연속하여 판독되어 출력된다.
또한, 상기 손 흔들림 보정을 위한 수직 방향의 꺼냄은 CCD의 수직 전송으로, 수평 방향의 꺼냄은 화소수 변환 블록의 메모리에의 기록 시점에서 행한다. 여기서는 수평·수직 모두 20%를 손 흔들림 보정용 잉여 에어리어로 하고 있다. 이들을 매필드 행한다.
또한, 후술하는 바와 같이, 화소수 변환 블록(30)에서의 축소율을 미세하게 변화시킴으로써(원활하게 변화시킴), 광학 렌즈에 의한 줌잉에 가까운 전자적인 줌잉을 행할 수 있다.
다음에 정지 화상 모드시의 조작에 관해서 설명한다. 상기 정지 화상 모드에서는 상기 도 4b에 도시한 정지 화상 모니터링 모드시의 정지 화상 모니터 동작과, 상기 도 4c에 도시한 정지 화상 기록 모드시의 정지 화상 기록 동작이 있고, 동작 설명을 위한 타이밍도를 도 7에 도시한다. 도 7의 a가 정지 화상 모니터 동작 기간, b가 정지 화상 기록 동작 기간을 각각 도시하고 있다.
정지 화상 모니터링이란, 정지 화상을 촬상하기 전의 주로 테두리 설정, 초점이나 밝기 확인을 위한 기록되지 않은 모니터 모드이고, 가능한 한 많은 화소를 유효 화소로서 사용할 목적으로 동화상 모드와 같은 꺼냄을 수반하는 손흔들림 보정은 행하지 않는다. 즉, 도 4b에 도시된 바와 같이, 상기 CCD 이미지 센서(14)의 유효 화소수인 수평 1152 화소 × 수직 864 라인을 모두 판독하지만, 수직방향에서는 2 라인을 혼합함으로써, 432 라인으로서 판독한다. 상기 수평 1152 화소 × 수직 432 라인의 화상 신호를 축소 화상 변환하여, 수평 720 화소 × 수직 240 라인(NTSC 방식) 또는 수평 720 화소 × 수직 288 라인(PAL 방식)의 화상 신호로서 출력한다.
이것을 도 7의 정지 화상 모니터 동작 기간(a)에 대해서 보면, 수직 동기 신호(VD)의 2 수직 기간(2V: 2 필드)을 주기로하여 고속 전자 셔터 기간(c)과 노광 기간(d)이 설정되고, 고속 전자 셔터 기간(c) 동안은 CCD 에서의 축적 전하가 버려지고, 노광 기간(d) 동안에 노광된 화상 신호가 다음 수직 기간 이후에서 2 라인 혼합 판독된다. 여기서, 상기 도 5와 함께 설명한 바와 같이, CCD 판독 클록의 1 필드 사이에서의 판독 라인수는 NTSC에서 385 라인, PAL에서 375 라인이고, 도 4b에 도시된 바와 같이 CCD에서 2 라인 혼합 판독되는 라인수(432)의 모두를 1 필드 이내로 판독할 수 없다. 그래서, 도 7에 도시된 바와 같이, 1 필드를 초과하는 기간(e)에서 2 라인 혼합 판독을 행하고 있다. 상기 2 라인 혼합 판독된 화상 신호를, 상술한 바와 같이 카메라 신호 처리하고, 화소수 변환한 후, 화상 메모리에 기록, 소정의 동화상 포맷(예를 들면 DV 포맷)에 따른 동화상 신호로서 판독된다. 이들의 카메라 신호 처리, 화소수 변환, 화상 메모리에의 기록/판독의 각 동작은 변환원의 화소수가 수평 1152 화소 × 수직 432 라인인 것을 제외하면, 상술한 동화상 모드의 경우와 동기이기 때문에, 설명을 생략한다.
다음에, 정지 화상 기록 모드란, 상기 정지 화상 모니터링에서 테두리, 밝기 초점 위치를 정한 후 정지 화상을 기록하기 위한 조작 모드이다. 상기 모드에서는 CCD에서의 판독 시, 2 라인 혼합하지 않고, 목표 시간 노광 후, 메카니컬 셔터를 닫고, 짝수 라인, 홀수 라인을 따로따로, 별도의 시간으로 판독한다. 또한, 짝수 라인, 홀수 라인을 별도의 시간으로 판독하도록 한 것은, CCD의 모든 화소를 1번에 판독하기 위해서는 CCD 내의 수직 레지스터의 수가 2 배 필요하게 되고, CCD의 전극 형성이 곤란하며, 성능적으로 유리하다고 하는 어려운 점과, 동화상 모드도 선택 가능한 동화상/정지 화상 겸용 촬상 장치인 경우에, 매 필드 반드시 1장의 화상을 판독할 필요가 있는 동화상 모드와의 적합성을 고려한 것이다. 이와 같이, 2 라인혼합하지 않고 판독하는 경우에는 상기 동화상 모드시나 정지 화상 모니터 모드시 와 같은 2 라인 혼합 판독인 경우에 비교하여, CCD 출력 레벨이 반감하는 것을 고려하여, 도 1의 GCA(이득 제어 증폭기)(16)에서 상기 동화상 모드시나 정지 화상 모니터 모드시의 거의 2 배로 증폭하여, A/D 변환 회로(17)에 보내도록 하고 있다.
도 4c는 상기 정지 화상 기록 모드에서의 화소수를 도시한 것이며, CCD 이미지 센서의 수평 1152 화소 × 수직 864 라인을, 수직 432 라인씩 짝수 라인, 홀수 라인의 2 회로 나눠 판독한 후, 도 1의 프레임 메모리(21)에 기록, 판독했을 때에 짝수 라인, 홀수 라인을 교대로 판독하는 소위 프로그래시브화함으로써, 수평 1152 화소 × 수직 864 라인의 정지 화상을 얻는다. 상기 수평 1152 화소 × 수직 864 라인의 정지 화상을, 도 1의 정지 화상 기록용 전처리 회로(23)에서, 동화상 시의 카메라 신호 처리와 동일 처리가 가능한 신호 형태로 변환한다. 구체적으로는 CCD에서의 판독 시에 행하지 않는 2 라인 혼합 대신에, 도 8에 도시한 바와 같은 2 라인 가산에 의해 행한다. 상기 2 라인 가산에서는 동화상시나 정지 화상 모니터링 시와는 달리, 도 8에 도시된 바와 같이, 짝수 라인+홀수 라인, 홀수 라인 + 짝수 라인, 짝수 라인 + 홀수 라인, 홀수 라인 + 짝수 라인, ···과 같은 순서로 가산하여 출력함으로써, CCD의 유효 라인수와 동일 라인수의 정지 화상을 얻는다. 상기 정지 화상을, 동화상 모드시와 동일하게 카메라 신호 처리를 실시한 후, 필요에 따라서 소위 VGA 사이즈(640 × 480)의 화상으로 축소 변환하거나 또는 그대로 소위 메가픽셀 사이즈(1152 × 864)의 화상으로서, 도 1의 출력 단자(47)를 통해 정지 화상 기록 시스템으로 출력한다.
이상과 같은 정지 화상 기록 동작을 도 7의 정지 화상 기록 동작 기간(b)을 참조하면서 설명하면, 우선, 상기 정지 화상 모니터 동작 기간(a)의 셔터 버튼 검출 기간(f)에서 셔터 버튼 조작이 검출되고, 그 직후의 수직 기간에서의 고속 전자 셔터 기간(g)과, 도 1의 메카니컬 셔터(12)의 클로즈 기간(j) 동안의 노광 시간(h)에서 노광이 행하여진다. 상기 노광 시간(h)은 메카니컬 셔터(12)의 클로즈 개시 시점에 대한 고속 전자 셔터 기간(g)의 종단의 타이밍에 의해 결정되고, 구체적으로는 고속 전자 셔터 기간(g)의 종단의 타이밍이 조정됨으로써 노광 시간, 소위 셔터 스피드가 결정된다. 상기 노광 시간(h)에서 노광되어 촬상된 화상은 상술한 바와 같이, 홀수 라인 판독 기간(m)과, 짝수 라인 판독 기간(n)으로 나누어져 판독되고, 도 1의 프레임 메모리(21)에 각각 기록된다. 이들의 기록이 종료한 후의 기간(p)에서, 상술한 바와 같은 라인 순서에 따라 프로그래시브화된 판독과, 정지 화상용 앞처리(2 라인 가산 처리)가 실시되고, 동화상 모드시와 동일한 카메라 신호 처리가 실시되고, 필요에 따라서 화소수 변환 처리가 실시된 후, 도 1의 정지 화상 캡쳐용 버퍼 메모리(46)에 기록한다. 상기 정지 화상 캡쳐용 버퍼 메모리(46)에 기록된 정지 화상은 정지 화상 기록 시스템의 요구에 따른 타이밍이나 데이터율로 판독되고, 출력 단자(47)를 통해 정지 화상 기록 시스템에 이송되어 기록된다.
다음에, 도 9는 상기 도 1의 대역 제한 로우패스 필터(31), 축소시 화소간 보간 로우패스 필터(33), 확대시 화소간 보간 로우패스 필터(37)로서 사용되는 필터의 기본 구성예를 도시하고, 상기 도 9의 필터의 각 계수(K1 내지 K17)의 예를 도 10, 도 11에 도시하고 있다.
도 9는 소위 17 탭의 FIR(유한 임펄스 응답) 디지털 필터의 기본 구성을 도시하고, 하드웨어적으로는 16개의 지연 소자와, 17개의 계수 ROM과, 17개의 승산기와, 1개의 총합 가산기로 이루어져 있다. 단지, 필요한 연산 속도를 만족하는 범위에서, 1개의 계수 RQM에서 17개의 계수를 판독하도록하거나, 필터의 일부 또는 전체를 소프트웨어로 실현하도록 하여도 된다. 상기 지연 소자로서는 화상 수직 방향의 필터에서는 라인 메모리나 딜레이 라인 등의 1H(1 라인) 지연 소자, 수평방향의 필터에서는 D 플립플롭 등의 1 화소 지연 소자가 사용된다.
도 10은 대역 제한 로우패스 필터를 구성하는 경우의 각 계수(K1 내지 K17)를 도시하고, 도 10a는 1 배 이상으로 화소수 변환하는 경우의 대역 제한 로우패스 필터에 있어서의 필터 계수의 예를, 도 10b는 3/4 배로 축소 화소수 변환하는 경우의 필터 계수의 예를, 도 10c는 2/3 배로 축소 화소수 변환하는 경우의 필터 계수의 예를, 각각 도시하고 있다. 상기 예에서는 가능한 한 주파수 특성을 열화시키지 않고 대역 제한을 행하기 때문에, 탭수를 17로 많게 하고 있고, 각 탭의 계수(필터 계수)는 sinX/X, 즉 sinc 함수라고 하는 곡선을 디지털치화한 것을 사용하고 있다. 도 10의 예에서는 상기 sinc 함수에 창 함수를 곱하여 팁수를 제한하여 17로 하고 있다.
도 11은 화소간 보간 로우패스 필터를 구성하는 경우의 각 계수(K1 내지 K17)를 도시하고, 보간 후의 화소 중심이 상기 sinc 함수 중심의 피크 위치가 되도록 각 계수(K1 내지 K17)를 선택함으로써, 도면 중의 화소 중심의 위치의 화소치를 얻을 수 있다.
다음에, 도 12는 화소간 보간 필터의 구체적인 구성예를 도시하고, 예를 들면 도 1의 축소시 화소간 보간 로우패스 필터(33)로서 사용되는 것이다.
상기 도 12에 있어서, 입력 단자(101)에는 예를 들면 도 1의 화소 솎아냄 회로(32)로부터 출력 신호가 입력되고, 수평 화소간 보간 필터(102)에 공급된다. 상기 수평 화소간 보간 필터(102)는 상기 도 9와 동기인 구성을 갖고, 이 경우, 도 9의 각 지연 소자는 D 플립플롭 등의 1 화소 지연 소자이다. 상기 수평 화소간 보간 필터(102)에 의해 수평 방향의 화소간 보간이 행하여진 신호는 라인 메모리 회로(103)를 통해 수직 화소간 보간 회로(104)에 보내여진다. 이들의 라인 메모리회로(103)와 수직 화소간 보간 회로(104)에서, 상기 도 9의 지연 소자를 라인 지연 소자로 한 수직 방향의 화소간 보간 필터가 구성되고, 그의 출력이, 예를 들면, 도 1의 화상 메모리(35)에 상당하는 화상 메모리(105)에 보내여진다. 메모리 컨트롤러(109)는 예를 들면, 도 1의 메모리 컨트롤러(36)에 상당하는 것으로, 수평화소간 보간 필터(102)나 수직 화소간 보간 회로(104)로부터의 기록 금지 신호 등의 제어 신호가 보내여지고 라인 메모리(103)의 기록/판독을 제한하거나, 화상 메모리(105)의 기록/판독을 제어하기도 한다. 이 때, 상기 필터 계수를 미세하게, 거의 연속적으로 변화시킴으로써, 축소율을 원활하게 변화시켜, 소위 줌잉을 행할 수 있다.
여기서, 도 13 내지 도 16은 축소율을 변화시켰을 때의 주파수 특성 및 표시 화상 범위의 예를 도시하고 있다. 이들의 도 13 내지 도 16의 예에서는 도시 및 설명을 간략화하기 위해서, 소위 DV 포맷의 출력 촬상(수평 720 화소 × 수직 480 라인)에 대하여, CCD에 의해 촬상되어 얻어지는 입력 화상을, 수평, 수직 모두 2 배의, 수평 1440 화소 × 수직 980 라인으로 하고 있다.
소위 DV 포맷의 기본 수단(SD 수단)의 규격에 있어서는 표본화 주파수가 13.5MHz이기 때문에, 그의 절반인 6.75MHz까지가 신호의 표본화 주파수가 된다. 이러한 출력 화상의 화소수에 대하여 충분히 많은 화소를 가지는 CCD 이미지 센서, 예를 들면, 수평 1440 화소× 수직 980 라인, 또는 상술한 실시예와 같은 수평 1152 화소 × 수직 864 라인의 CCD 이미지 센서를 사용하면, 광학적으로는 높은 주파수 대역까지의 촬상이 가능하며, 축소 방향에 화소수 변환하여 출력하고 있는 동안은, 출력 화상의 주파수 특성의 열화는 적다.
도 13은 상기 수평 1440 화소 × 수직 980 라인의 CCD 이미지 센서에서 촬상되어 입력된 화상의 모든 영역을 사용하여, 1/2 배로 축소 화소수 변환하여 출력하는 경우를 도시하고, 도 13a는 주파수 특성을 도시하고, 도 13b는 출력 화상에 사용되는 영역을 사선부로 도시하고 있다. 도 14는, CCD 이미지 센서의 상기 유효 촬상 영역인 수평 1440 화소 × 수직 980 라인 내의 수평 1200 화소× 수직 800 라인의 영역을 꺼내어 3/5 배로 축소 화소수 변환하여 출력하는 경우를 도시하고, 도 14a는 주파수 특성을, 도 14b는 입력 화상 중의 사용 영역(도면 중의 사선부)을 각각 도시한다. 마찬가지로, 도 15는 수평 1440 화소 × 수직 980 라인 내의 수평 960 화소 × 수직 640 라인의 영역을 꺼내어 3/4 배로 축소하여 출력하는 경우를 도시하고, 도 15a는 주파수 특성을, 도 15b 사용 영역(사선부)을 각각 도시한다. 또한, 도 16은 등배 절취의 예를 도시하고, 입력 화상의 수평 1440 화소 × 수직 980 라인 내에서, 도 16b의 사선부에 도시한 출력 화상과 동일 사이즈의 수평 720화소 × 수직 480 라인을 절취하여, 등배로(축소하지 않고) 출력하는 경우의 주파수 특성을 도 16a에 도시하고 있다.
이들의 도 13 내지 도 16에 있어서, 도 16의 등배 꺼냈을 때의 예에서는 종래와 같은 정도의 주파수 특성에 상당하고, 축소 방향의 화소수 변환을 행하는 도 13 내지 도 15의 예에서는 각 도면의 a의 주파수 특성으로부터 분명히 알 수 있는 바와 같이, 출력 화상 대역(0 내지 6.75 MHz)내에서는 고주파 성분에서의 신호 레벨이 크게 얻어지고 있다. 이 경우, 변환의 비율을 바꾸어도 해상도의 열화는 적기 때문에, 전자적으로 화소 변환을 축소율을 미세하게 변화시킴으로써 광학 렌즈에 의한 줌잉에 가까운 줌잉이 가능하게 된다. 이것에 의해 단집점 렌즈를 사용한 전자 카메라에 있어서도 화질 열화가 적은 줌잉이 가능해지며, 또한, 광학의 줌 렌즈를 사용한 전자 카메라일지라도 줌 배율의 확장이 더욱 가능하게 된다.
그런데, 상기 도 1과 함께 설명한 바와 같은 본 발명의 실시예로 이루어진 촬상 장치는 출력 화상의 화소수에 대하여 충분히 많은 화소수를 가지는 CCD 이미지 센서를 사용하여 광학 로우패스 필터의 눌 점(Null)이 되는 주파수를 높은 주파수에 올리고, 고주파수까지로 가능한 한 평탄한 특성의 보간 로우패스 필터를 포함하는 화소수 변환 처리를 통과시킴으로써, 출력 화상에서의 고주파 특성, 해상도를 개선하고 있다.
상기 해상도 개선의 원리를, 도 17 및 도 18을 참조하면서 설명한다. 여기서, 출력 신호의 포맷의 NTSC/PAL의 방송 방식에 맞는 화소수 배열의 CCD를 사용하는 경우, CCD에서의 공간 표본화 주파수와 DV 포맷에서의 출력의 표본화 주파수가 그대로 대응한다. DV 포맷의 기본 수단(SD 수단)의 표본화 주파수는 13.5MHz이며, 그것에 대하여 CCD에의 입력으로부터, 화상으로서의 출력까지의 주파수 특성을 도 17 및 도 18에 도시하고 있다.
도 17은 종래의 출력 화상의 화소수와 같은 정도의 화소수의 CCD 이미지 센서를 사용하는 경우를 도시하고 있고, 이러한 CCD 이미지 센서에 대응하는 광학 로우패스 필터의 주파수 특성은 도 17a와 같이 되고, 한계 해상도 주변(6.75MHz 근방)의 광학적인 이득이 남지 않는다. 따라서, 출력 화상의 휘도 신호의 주파수 특성도 도 17b에 도시된 바와 같이, 한계 해상도 부근의 레벨이 대단히 작게 되어, 해상도가 열화한 것으로 된다.
이에 반해 도 18은 본 시시예와 같이, 출력 화상의 화소수에 대하여 충분히 많은 화소수를 가지는 CCD 이미지 센서를 사용한 경우를 도시하고 있고, 광학 로우패스 필터의 주파수 특성은 도 18a에 도시된 바와 같이, 한계 해상도 부근(6.75 MHz 근방)의 광학적인 이득이 남아 있다. 도 18b는 상기 화소수 변환 처리에 있어서의 화소간 보간 로우패스 필터의 주파수 특성의 일예를 도시하고, 상술한 바와 같이, 필터의 탭수를 많게 함으로써 급준한 컷 오프 특성을 얻을 수 있고, 화소수 변환한 후의 주파수 특성도, 도 18c에 도시된 바와 같이, 한계 해상도 부근의 신호 레벨이 비교적 크게 남아 있고, 선명도가 높은 고화질의 출력 화상을 얻을 수 있다.
또한, 상술한 본 발명의 실시예의 촬상 장치에 있어서는, 정지 화상 기록전에 카메라 화상을 모니터하는 정지 화상 모니터 모드일 때, CCD 이미지 센서로부터의 판독 화소를 솎아내지 않고 출력하며, 축소 화소수 변환을 행하여 비디오 출력 화상 신호를 만드는 것으로, 해상도가 양호한 모니터용 화상을 얻고 있다.
여기서, 출력 화상의 화소수보다도 많은 화소수의 CCD 이미지 센서를 가지는 카메라 시스템으로 화상을 모니터할 때, 화소의 일부를 솎아내어 판독하는 경우가 있다. 구체적으로는, 수직 방향에 대한 라인의 일부를 솎아내는 라인 솎아냄 판독을 들 수 있고, 예를 들면, 도 19a는, 상기 도 2에 도시한 바와 같은 보색 모자이크 컬러 코딩 필터를 사용한 CCD 이미지 센서의 경우의 라인 솎아냄 판독의 예를 도시하고 있다. 상기 도 19a에서는, 3 라인당 1 라인을 판독하는 3 라인 주기의 솎아냄을 행하는 것으로, 수직 방향의 판독 화소의 색의 배열이, 전 화소를 판독한 경우와 동일한 순(예를 들면, Ye, G, Ye, Mg, ···의 순)으로 얻어지고 있다. 또한, 3원색 모자이크 컬러 코딩 필터를 사용하는 경우도, 도 19b에 도시하는 바와 같이, 3 라인당 1 라인을 판독하도록 하는 3 라인 주기의 솎아냄을 행하는 것으로, 수직방향의 판독 화소의 색의 배열이, 전화소를 판독한 경우와 같은 순(예를 들면 R, G, R, B,···의 순)으로 얻어지고 있다.
그런데, 이와 같이 CCD 이미지 센서로부터 솎아냄을 행하면서 판독하는 경우에는, 샘플링 엘리어싱 성분에 의한 악영향이 있어 바람직하지 못하다. 즉, 도 20은, 라인 솎아냄에 의한 악영향을 설명하기 위한 도면이고, 도 20a는 CCD의 앞에 설치되는 광학 로우패스 필터의 주파수 특성을, 도 20b는 CCD로부터 전화소를 판독하는 경우의 주파수 특성을, 또한 도 20c는 상술한 바와 같은 3 라인에 1 라인만 판독하는 경우의 주파수 특성을 각각 도시하고 있다. 도 20에 있어서, Fs는 화소 피치에 의한 샘플링 주파수를 도시하고, So는 CCD에 입력되는 원신호를 도시하며, 도면중의 사선부는 샘플링에 의한 엘리어싱 성분을 도시하고 있다.
CCD 이미지 센서로부터 전화소를 판독하는 경우에는, 도 20b에 도시하는 바와 같이, 출력 신호 대역의 고주파 부분에서의 엘리어싱 성분의 혼입량은 적지만, 상술한 바와 같이 3 라인에 1 라인만 판독하는 경우에는, Fs/3의 주파수로 샘플링 되는 것에 등가로 되고, 도 20a에 도시하는 광학 로우패스 필터에 의한 대역 제한을 하더라도, 출력 신호 대역내에, Fs/3의 샘플링에 의한 측대파 성분이 대량으로 엘리어싱하여 혼입하게 된다. 이것이 휘도, 색에 대하여 큰 폐해를 미치게 하여, 현저하게 화질을 손상하게 된다.
그래서, 본 발명의 실시예에 있어서는, 정지 화상 모니터 모드시에는, 도 21에 도시하는 바와 같은 2 라인 혼합 판독을 행하고, 또한, 정지 화상 기록 모드시에는, 도 22에 도시하는 바와 같이, 홀수 라인과 짝수 라인을 나누어 별도로 판독하는 것으로 전화소를 독립적으로 판독하도록 하고 있다. 즉 도 21의 2 라인 혼합 판독에서는 CCD 이미지 센서로부터의 판독 시에 2 라인을 혼합하여 판독하고, 또한, 도 22의 전화소 독립 판독에서는, 도 22a와 같은 1 라인 배치의 제 1 필드의 판독과, 도 22b와 같은 나머지의 라인의 제 2 필드의 판독을, 다른 시간에 행하며, 프레임 메모리로 라인순으로 배열하여 출력하는 것으로, CCD 이미지 센서의 전화소를 판독하고 있다. 또, 도 22는, 보색 모자이크 컬러 코딩 필터를 사용한 CCD 이미지 센서의 경우의 예를 도시하고 있지만, 도 23에 도시하는 바와 같이, 3원색 모자이크 컬러 코딩 필터를 사용한 CCD 이미지 센서의 경우도 마찬가지로 전화소 판독을 행할 수 있다.
다음에, 상기 정지 화상 기록 모드시에는, 상술한 바와 같이, 도 1의 A/D 변환 회로(17)의 전단의 GCA(이득 제어 앰프; 16)에서, CCD 이미지 센서(14)내에서 2 라인 혼합하지 않고 출력된 촬상 신호를 동화상 시의 거의 2배 정도로 증폭하고 있으며, 이로써 모니터링 시와 동일한 레벨로 촬상 신호를 A/D 변환 회로(17)에 공급할 수 있기 때문에, A/D 변환에 의한 양자화 오차를 저감할 수 있다. 이 때의 동작에 대하여, 도 24를 참조하여 설명한다.
즉, 도 24a는, 2 라인 혼합 판독 시에 있어서의, A/D 변환 회로(17)의 입력 레인지(Ra)에 대한 입력 신호(GCA(16)로부터의 출력신호) 레벨(La)을 도시하고, 도 24b는, 전화소 독립 판독 시의 A/D 변환 회로(17)의 입력 레인지(Rb)에 대한 입력신호 레벨(Lb)를 도시한다. 여기서, 도 24c에 도시하는 바와 같이, 2 라인 혼합 판독 시의 신호 레벨(La)에 대하여 적절하게 A/D 변환을 행할 수 있도록, A/D 변환 회로(17)의 입력 레인지(Rb)와 입력 신호 레벨(Lb)이 조정되어 있는 경우에, 전화소 독립 판독시의 신호 레벨(Lb)은, 2 라인 혼합 판독 시의 신호 레벨(La)의 거의 반으로 되기 때문에, 양자화 정밀도가 약 반으로 저하하게 된다. 그래서, 도 24c에 도시하는 바와 같이, 상기 전화소 독립 판독 시의 신호 레벨(Lb)을, 도 1의 GCA(16)에서 2배로 증폭하여 2Lb로 하는 것으로, A/D 변환 회로(17)의 입력 레벨을 2 라인 혼합 판독 시와 같은 정도로 하고, 양자화 정밀도도 상기 2 라인 혼합 판독 시와 같은 정도로 향상시키고 있다.
이 때, A/D 변환 후의 신호를, 도 1의 정지 화상 기록용 전처리 회로(23)에서, 상술한 바와 같이 2 라인 가산하여 모니터 시와 같은 신호로 하고 카메라 신호 처리 회로(19)에 건네 주지만, 단지 가산하였다면 이 레벨이 모니터 시의 약 2배가 되고, 신호처리측의 다이나믹 레인지에 대하여 커져 버리기 때문에, 단어 길이를 유지한 채로 1/2로 감쇠하며, 카메라 신호 처리 회로(19)에 건네주기 전에 그 입력어 길이에 맞추어서 최하위 비트를 뭉치는 처리를 행하게 하고 있다.
또한, 본 발명의 실시예에 있어서는, 상기 다화소 CCD 이미지 센서(14)의 화소를 정방 격자인 것을 사용하고 있다. 이로써, PC(퍼스널 컴퓨터)의 디스플레이등으로 표시하는 용도의 정지 화상을 기록하는 경우에 있어서는, 종횡비를 유지하기 위한 화소수 변환을 필요로 하지 않아도 충분하다. 또한, 화상 기록전에 화소수를 변환한다고 하여도 수직, 수평 모두 같은 비율로 변환하게 되기 때문에, 수직, 수평의 화상의 주파수 특성이 치우치지 않고서 충분하다. 즉, 비디오 신호 출력에 대해서는 충분히 많은 화소수의 CCD 인 것으로 축소방향의 화소수 변환에 의해서 고주파까지 대역이 신장된 화상이 얻어지고, PC 디스플레이로 표시할 목적의 화상에 대해서는 화소수 변환을 하지 않아도 충분하기 때문에 카메라의 특성을 그대로 표시할 수 있거나, 또는 수직, 수평의 주파수 특성의 밸런스가 얻어진 화상을 표시할 수 있다. 또한, NTSC, PAL 양 방식의 출력 화상에 대하여 충분히 많은 화소수를 가지는 CCD 이미지 센서를 사용하며, 화소수 변환의 비율을 바꾸는 것으로 양쪽의 동화상 출력에 대응할 수 있다. 상기의 경우, MTSC/PAL의 각 방식에 대하여, 화소수 변환의 비율을 바꾸는 것으로 양자에 동일한 CCD 이미지 센서를 사용하는 것이 가능하게 되고, 시스템상의 전환이 용이하게 되며, 비용면에서 유리하게 된다.
이로써, 정지 화상 모니터링 시도, 정지 화상 기록시도, 고화질의 출력 화상을 얻을 수 있다.
또한 본 발명은 상술한 실시예에만 한정되는 것은 아니며, 예를 들면 상기실시예에서는 CCD 이미지 센서의 화소수를 수평 1152화소×수직 864 라인으로 하였지만, 출력 화상의 화소수보다도 많은 화소수이면 좋고, 2메가 픽셀 CCD나 그 이상의 화소수의 CCD 등도 사용 가능하다. 또한, 보색 모자이크 컬러 코딩의 화소 배열은, 상기 실시예에 한정되지 않으며, 다른 배열이더라도 좋고, 또한, 3원색의 컬러 코딩 필터를 사용하는 경우에도 본 발명을 적용할 수 있다. 그 밖에, 본 발명의 요지를 일탈하지 않는 범위에 있어서 여러가지의 변경이 가능한 것은 물론이다.
본 발명에 따른 촬상 장치에 의하면, 출력 화상의 화소수보다도 많은 화소수를 가지는 촬상 소자와, 상기 촬상소자로부터의 촬상 신호에 의거하여 얻어진 출력화상의 화소수보다도 많은 화소수를 가지는 중간 화상의 신호를 축소 화소수 변환하여 상기 출력 화상의 화상 신호로 변환하는 화소수 변환수단을 가지고 있기 때문에, 화상의 고주파에서의 특성이 올라가고, 해상도 또는 선명도를 올리는 것이 가능하게 된다.
또한, 동화상 모드와 정지 화상 모드를 가지고, 동화상 모드시에는 상기 촬상소자의 화소수보다도 적게 상기 출력화상의 화소수보다도 많은 상기 중간화상의 신호를 상기 촬상 소자의 촬상영역으로부터 꺼내고, 정지 화상 모드시에는 상기 촬상 소자의 촬상 영역의 전부를 판독하여 상기 중간 화상의 신호로 하는 것에 의해, 동화상 모드시에는 손 흔들림 보정을 행하면서 판독한 화상의 해상도 또는 선명도가 향상하고, 정지 화상 모드시에는 촬상 소자의 해상도의 최대한의 능력을 발휘한 출력 화상이 얻어진다.
또한, 상기 촬상 소자에는, 화소가 정방 격자의 CCD 이미지 센서를 사용하는 것에 의해, PC(퍼스널 컴퓨터) 등에서의 화상표시의 용도에 대해서도, 올바른 종횡비로의 표시가 용이하게 가능해진다.
또한, NTSC/PAL 방식과 같이, 서로 다른 출력화상의 포맷에 대해서도, 상기 화소수 변환의 비율을 바꾸는 것으로, 양자에 공통의 CCD 이미지 센서를 사용하는 것이 가능하게 되며, 시스템상의 전환이 용이하게 되고, 비용면에서 유리하게 된다.
더욱이, 상기 화소수 변환수단의 변환비율을 변화시키는 것에 의해 줌잉을 행할 수 있고, 예를 들면 초점 렌즈를 사용한 전자 카메라에 있어서도 화질 열화가 적은 줌잉이 가능해지며, 광학 줌 렌즈를 사용한 전자 카메라도 줌의 배율을 확대하는 것이 가능해진다.

Claims (14)

  1. 출력 화상의 화소수보다도 많은 화소수를 갖는 촬상 소자와,
    상기 촬상 소자로부터의 촬상 신호에 근거하여 얻어진 출력 화상의 화소수보다도 많은 화소수를 갖는 중간 화상 신호를 축소 화소수 변환하여 상기 출력 화상의 화상 신호로 변환하는 화소 변환 수단을 갖는 것을 특징으로 하는, 촬상 장치.
  2. 제 1 항에 있어서,
    동화상 모드와 정지 화상 모드를 가지고, 동화상 모드 시에는 상기 촬상 소자의 화소수보다도 적고 상기 출력 화상의 화소수보다도 많은 상기 중간 화상 신호를 상기 촬상 소자의 촬상 영역으로부터 꺼내고, 정지 화상 모드 시에는 상기 촬상 소자의 촬상 영역 모두를 판독하여 상기 중간 화상 신호로 하는 것을 특징으로 하는, 촬상 장치.
  3. 제 2 항에 있어서,
    상기 동화상 모드 시에는, 상기 촬상 소자의 촬상 영역으로부터 손 흔들림 보정을 수반하여 상기 중간 화상을 꺼내는 것을 특징으로 하는, 촬상 장치.
  4. 제 2 항에 있어서,
    상기 정지 화상 모드는 정지 화상 모니터 모드와 정지 화상 기록 모드를 가지고, 상기 정지 화상 모니터 모드 시에는, 상기 촬상 소자의 촬상 영역을 2라인 혼합 판독하여 상기 중간 화상 신호로 하며, 상기 정지 화상 기록 모드 시에는, 상기 촬상 소자의 촬상 영역의 모든 화소를 독립적으로 판독하여 상기 중간 화상 신호로 하는 것을 특징으로 하는, 촬상 장치.
  5. 제 1 항에 있어서,
    상기 촬상 소자에는 화소가 정방 격자의 CCD 이미지 센서를 사용하는 것을 특징으로 하는, 촬상 장치.
  6. 제 1 항에 있어서,
    상기 화소수 변환 수단은 상기 중간 화상 신호의 축소율을 전환함으로써, 서로 다른 방식의 출력 화상으로 변환하는 것을 특징으로 하는, 촬상 장치.
  7. 제 1 항에 있어서,
    상기 화소 변환 수단은 상기 중간 화소 신호의 변환 비율을 변화시킴으로써 줌잉을 행하게 하는 것을 특징으로 하는, 촬상 장치.
  8. 출력 화소의 화소수보다도 많은 화소수를 갖는 촬상 소자를 구비하는 장치의 촬상 방법에 있어서,
    상기 촬상 소자로부터의 촬상 신호를 출력 화소수보다도 많은 화소수를 갖는 중간 화상 신호로 변환하는 단계와,
    상기 중간 화상을 축소 화소수 변환하여 상기 출력 화상의 화소 신호로 변환하는 단계로 이루어지는 것을 특징으로 하는, 촬상 방법.
  9. 제 8 항에 있어서,
    상기 촬상 장치는 동화상 모드와 정지 화상 모드를 가지고,
    동화상 모드에서는 상기 촬상 소자의 화소수보다도 적고 상기 출력 화상의 화소수보다도 많은 상기 중간 화상 신호를 상기 촬상 소자의 촬상 영역으로부터 꺼내는 단계를 가지며,
    정지 화상 모드에서는, 상기 촬상 소자의 촬상 영역 모두를 판독하여 상기 중간 화상 신호로 하는 단계를 갖는 것을 특징으로 하는, 촬상 방법.
  10. 제 9 항에 있어서,
    상기 동화상 모드 시에는, 상기 촬상 소자의 촬상 영역으로부터 손 흔들림 보정을 수반하여 상기 중간 화상을 꺼내는 단계를 갖는 것을 특징으로 하는, 촬상 방법.
  11. 제 9 항에 있어서,
    상기 정지 화상 모드는 정지 화상 모드와 정지 화상 기록 모드를 가지고,
    상기 정지 화상 모드 시에는, 상기 촬상 소자의 촬상 영역을 2라인 혼합 판독하여 상기 중간 화상 신호를 얻는 단계를 가지며,
    상기 정지 화상 기록 모드 시에는, 상기 촬상 소자의 촬상 영역의 모든 화소를 독립적으로 판독하여 상기 중간 화상 신호를 얻는 단계를 갖는 것을 특징으로 하는, 촬상 방법.
  12. 제 8 항에 있어서,
    상기 촬상 소자에는 화소가 정방 격자의 CCD 이미지 센서를 사용하는 것을 특징으로 하는, 촬상 방법.
  13. 제 8 항에 있어서,
    상기 축소 화소수 변환 수단은 상기 중간 화상으로부터의 신호 축소율을 전환함으로써, 서로 다른 방식의 출력 화상으로 변환하는 단계를 갖는 것을 특징으로 하는, 촬상 방법.
  14. 제 8 항에 있어서,
    상기 축소 화소수 변환 수단은 상기 중간 화상으로부터의 신호의 변환 비율을 변화시킴으로써, 줌잉을 행하는 단계를 갖는 것을 특징으로 하는, 촬상 방법.
KR1020000053740A 1999-09-10 2000-09-09 촬상 장치 및 촬상 방법 KR100666290B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP99-258098 1999-09-10
JP25809899A JP4378804B2 (ja) 1999-09-10 1999-09-10 撮像装置

Publications (2)

Publication Number Publication Date
KR20010039880A KR20010039880A (ko) 2001-05-15
KR100666290B1 true KR100666290B1 (ko) 2007-01-11

Family

ID=17315490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020000053740A KR100666290B1 (ko) 1999-09-10 2000-09-09 촬상 장치 및 촬상 방법

Country Status (4)

Country Link
US (1) US6801250B1 (ko)
EP (3) EP1729510A3 (ko)
JP (1) JP4378804B2 (ko)
KR (1) KR100666290B1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4593820B2 (ja) * 2000-06-15 2010-12-08 キヤノン株式会社 撮像装置、画像処理装置及び画像処理方法
JP2002158893A (ja) * 2000-11-22 2002-05-31 Minolta Co Ltd 画像補正装置、画像補正方法および記録媒体
JP4028694B2 (ja) 2001-04-27 2007-12-26 松下電器産業株式会社 カメラ装置および当該カメラ装置を具備する電子装置
JP2003008536A (ja) * 2001-06-21 2003-01-10 Matsushita Graphic Communication Systems Inc ゲインコントロール装置及びそれを備えたモデム装置
JP2003009044A (ja) * 2001-06-26 2003-01-10 Canon Inc 記録装置、再生装置及びその方法
EP1308888A1 (en) * 2001-11-06 2003-05-07 STMicroelectronics S.r.l. A method of processing digital images
JP3900282B2 (ja) * 2002-03-14 2007-04-04 ソニー株式会社 撮像装置及びズームレンズ
JP2003274372A (ja) * 2002-03-14 2003-09-26 Fujitsu Ltd ラインメモリの容量を小さくした画像フォーマット変換装置
JP3904111B2 (ja) * 2002-06-04 2007-04-11 ソニー株式会社 固体撮像装置及びその信号処理方法
US7379105B1 (en) * 2002-06-18 2008-05-27 Pixim, Inc. Multi-standard video image capture device using a single CMOS image sensor
JP3902525B2 (ja) * 2002-09-05 2007-04-11 三洋電機株式会社 画像信号処理装置
JP4262017B2 (ja) * 2002-09-26 2009-05-13 キヤノン株式会社 画像生成装置及びその方法
JP4105967B2 (ja) 2003-03-18 2008-06-25 株式会社リコー デジタルスチルカメラ
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
JP2006311051A (ja) * 2005-04-27 2006-11-09 Matsushita Electric Ind Co Ltd 固体撮像素子用の信号処理回路および固体撮像装置
US7705883B2 (en) * 2005-10-28 2010-04-27 Hewlett-Packard Development Company, L.P. Systems and methods of anti-aliasing with image stabilizing subsystems for cameras
US7755678B2 (en) * 2005-10-28 2010-07-13 Hewlett-Packard Development Company, L.P. Programmable anti-aliasing systems and methods for cameras
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
JP4655991B2 (ja) * 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
ATE497218T1 (de) 2006-06-12 2011-02-15 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam- techniken aus grauskalen- zu farbbildern
US7830565B2 (en) * 2006-06-27 2010-11-09 Motorola, Inc. Image capture device with rolling band shutter
EP2050043A2 (en) 2006-08-02 2009-04-22 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4775210B2 (ja) * 2006-09-26 2011-09-21 株式会社日立製作所 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
JP5342747B2 (ja) 2007-01-05 2013-11-13 株式会社ジャパンディスプレイ 平面表示装置及びその信号駆動方法
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
DE602008001607D1 (de) * 2007-02-28 2010-08-05 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
WO2008109622A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
JP4970557B2 (ja) 2007-03-05 2012-07-11 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド デジタル画像取込装置における顔検索及び検出
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5354946B2 (ja) * 2007-05-28 2013-11-27 キヤノン株式会社 撮像装置およびレンズ装置
JP4854620B2 (ja) * 2007-07-19 2012-01-18 三洋電機株式会社 電子ズーム装置およびプログラム
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
US8750578B2 (en) * 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN106919911A (zh) 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
KR101608347B1 (ko) * 2009-11-02 2016-04-01 삼성전자주식회사 디지털 영상 신호 처리 장치 및 방법
JP5510105B2 (ja) * 2010-06-21 2014-06-04 株式会社ニコン ディジタルカメラ
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
JP6203515B2 (ja) * 2013-03-29 2017-09-27 株式会社メガチップス 画像処理装置
KR102238151B1 (ko) * 2015-03-25 2021-04-08 한화테크윈 주식회사 영상 신호 변환 장치 및 방법
CN108052883B (zh) * 2017-11-30 2021-04-09 Oppo广东移动通信有限公司 用户拍照方法、装置及设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602289A (en) 1982-05-31 1986-07-22 Tokyo Shibaura Denki Kabushiki Kaisha Solid state image pick-up device
EP0282993B1 (en) * 1987-03-20 1994-02-02 Canon Kabushiki Kaisha Imaging apparatus
JP2848396B2 (ja) * 1987-09-26 1999-01-20 三菱電機株式会社 電子スチルカメラ
JP2611269B2 (ja) * 1987-10-23 1997-05-21 ソニー株式会社 固体撮像装置の信号処理装置
JP2551629B2 (ja) * 1988-06-21 1996-11-06 株式会社日立製作所 撮像装置
US5060074A (en) * 1989-10-18 1991-10-22 Hitachi, Ltd. Video imaging apparatus
US5990942A (en) * 1991-05-01 1999-11-23 Canon Kabushiki Kaisha Photographing apparatus using image information for blurring correction
JP3227173B2 (ja) * 1991-06-24 2001-11-12 キヤノン株式会社 撮像装置及びその方法
KR950008698B1 (ko) * 1992-06-09 1995-08-04 현대전자산업 주식회사 반도체소자의 필드산화막 형성방법
JPH06133206A (ja) * 1992-10-19 1994-05-13 Canon Inc 撮像装置のオートフォーカス方式
JPH06197257A (ja) * 1992-12-24 1994-07-15 Hitachi Ltd ビデオカメラ装置
DE69426314T2 (de) * 1993-02-12 2001-04-12 Sony Corp., Tokio/Tokyo Elektronische Zoomkontrolle und Bildstabilisierung
JP3372289B2 (ja) 1993-04-28 2003-01-27 富士写真フイルム株式会社 ディジタルカメラ
US5712474A (en) * 1993-09-29 1998-01-27 Canon Kabushiki Kaisha Image processing apparatus for correcting blurring of an image photographed by a video camera
US5650819A (en) * 1993-09-30 1997-07-22 Canon Kabushiki Kaisha Image pickup apparatus
US5889553A (en) * 1993-11-17 1999-03-30 Canon Kabushiki Kaisha Image pickup apparatus capable of high resolution imaging
JP3164481B2 (ja) * 1994-12-20 2001-05-08 シャープ株式会社 撮像装置
JP3533756B2 (ja) * 1995-06-01 2004-05-31 ミノルタ株式会社 画像入力装置
JP3758205B2 (ja) 1995-06-07 2006-03-22 ソニー株式会社 固体撮像装置及びこれを用いたビデオカメラ、並びにｘ‐ｙアドレス型固体撮像装置の駆動方法
GB2307129B (en) 1995-11-09 2000-01-26 Sony Uk Ltd Video down-conversion
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
JP3745067B2 (ja) * 1996-02-20 2006-02-15 キヤノン株式会社 撮像装置及びその制御方法
AU2448297A (en) 1996-04-23 1997-11-12 Silicon Vision, Inc. A digital video camera system
US5963261A (en) * 1996-04-29 1999-10-05 Philips Electronics North America Corporation Low cost scan converter for television receiver

Also Published As

Publication number Publication date
KR20010039880A (ko) 2001-05-15
JP4378804B2 (ja) 2009-12-09
EP1083742B1 (en) 2013-02-27
EP1739959A3 (en) 2008-09-17
JP2001086391A (ja) 2001-03-30
EP1083742A2 (en) 2001-03-14
EP1083742A3 (en) 2003-01-08
EP1739959A2 (en) 2007-01-03
EP1729510A3 (en) 2009-08-12
EP1729510A2 (en) 2006-12-06
US6801250B1 (en) 2004-10-05
EP1739959B1 (en) 2013-11-06

Similar Documents

Publication Publication Date Title
KR100666290B1 (ko) 촬상 장치 및 촬상 방법
JP2936760B2 (ja) カラーテレビジョンカメラ装置
JP2003264844A (ja) 固体撮像装置およびその信号読出し方法
JPH07135592A (ja) 撮像装置
EP1091572A2 (en) Image pickup apparatus with function of adjusting incident light quality
JP2007027845A (ja) 撮像装置
JP4616429B2 (ja) 画像処理装置
KR920010512B1 (ko) 촬상장치
KR920003656B1 (ko) 전자적으로 화상을 확대하여 촬영이 가능한 촬상 장치
US20040046880A1 (en) Image signal processing apparatus
JP2001086394A (ja) 撮像装置
JP2000106678A (ja) 撮像装置
US7365776B2 (en) Image pickup device
JP2797393B2 (ja) 記録再生装置
US6020922A (en) Vertical line multiplication method for high-resolution camera and circuit therefor
JPH048992B2 (ko)
JP2000299810A (ja) 撮像装置
JPH08154212A (ja) ビデオカメラにおける静止画像データの作成方法
JPH06339146A (ja) テレビジョンカメラ
EP0926888B1 (en) Imaging apparatus
JPH11298783A (ja) 撮像装置、及び撮像方法
JPH05276452A (ja) 撮像装置
JP3710189B2 (ja) 撮像装置
JP3193557B2 (ja) 映像信号記録再生装置
JP3783284B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141229

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee