KR100765880B1 - 고프레임 레이트 고선명 이미징 시스템 및 방법 - Google Patents

고프레임 레이트 고선명 이미징 시스템 및 방법 Download PDF

Info

Publication number
KR100765880B1
KR100765880B1 KR1020057016696A KR20057016696A KR100765880B1 KR 100765880 B1 KR100765880 B1 KR 100765880B1 KR 1020057016696 A KR1020057016696 A KR 1020057016696A KR 20057016696 A KR20057016696 A KR 20057016696A KR 100765880 B1 KR100765880 B1 KR 100765880B1
Authority
KR
South Korea
Prior art keywords
imager
data
video
timing
clock
Prior art date
Application number
KR1020057016696A
Other languages
English (en)
Other versions
KR20050109538A (ko
Inventor
웨인 에이. 업톤
Original Assignee
아이코닉스 비디오 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이코닉스 비디오 인크 filed Critical 아이코닉스 비디오 인크
Publication of KR20050109538A publication Critical patent/KR20050109538A/ko
Application granted granted Critical
Publication of KR100765880B1 publication Critical patent/KR100765880B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

고프레임 레이트 고선명 이미징 시스템 및 방법이 공개된다. 이미저(104)는 원하는 출력 비디오 클럭(114)에 비동기적으로 클럭킹된다. 프레임 사이클 동안, 이미저 내의 픽셀 어레이의 제 1 부분에 저장된 데이터는 이미저 클럭 신호(102)를 사용하여 이미저(104)로부터 클럭킹되고, 픽셀 어레이의 제 2 부분에 저장된 데이터는 바이패스된다. 이미저 데이터는 이어서 고비디오 클럭 레이트로 변환되고, 원하는 비디오 데이터로서 출력된다.
픽셀 어레이, 고프레임 레이트, 고선명 이미징 시스템, CCD, SMPTE HDTV

Description

고프레임 레이트 고선명 이미징 시스템 및 방법{High frame rate high definition imaging system and method}
이 특허 출원은 2003년 3월 7일에 출원된 미국 임시 특허 출원 번호 제 60/452,646호의 35 USC §119(e)의 우선일에 따른 이익을 주장하고, 이의 전체 컨텐트는 여기서 설명적으로 참조에 의해 통합된다.
본 발명은 일반적으로 이미징 시스템들 및 방법들에 관한 것이다. 더 구체적으로, 본 발명은 고선명 이미징 시스템들 및 방법들에 관한 것이다.
전하 결합 소자들(CCDs: charge coupled devices)과 같은 전자 이미지 센서들은 잘 알려져 있다. CCD 이미저에서, 픽셀 어레이 내의 각각의 픽셀과 관련된 이미지 정보는 이미지 데이터로서 이미저로부터의 판독되는 전기 전하로서 축적된다. 결과로서, CCD들 및 다른 전자 이미징 디바이스들은 이미지 센서로부터 순차적으로 이미지 데이터를 판독하기 위하여 일련의 정확한 타이밍 펄스들을 필요로 한다. 이들 정확한 타이밍 펄스들은 특정 클럭 주파수에서 전자 이미지 센서에 제공된다. 이 판독 클럭 레이트(read out clock rate)은 단위 시간 당 이미저로부터 판독될 수 있는 이미지 데이터 양(픽셀들의 수)을 결정할 것이다. 따라서, 이 클럭 레이트는 주어진 프레임 레이트에 대한 이미지 해상도를 제한한다.
고해상도, 고프레임 레이트 이미징 시스템들은 HDTV 카메라들, 메디컬 이미징 및 고품질 이미지들이 필요로 되는 기타 애플리케이션들과 같은 다수의 애플리케이션들에 대하여 중요해지고 있다. 그러한 고프레임 레이트 및 고선명 이미징에 있어서, 매우 높은 판독 클럭 레이트들이 필요로 된다. 사실, 허용된 시간 내에 이미저의 모든 픽셀들로부터 전하를 전송하기 위하여 필요로 되는 클럭 주파수들은 전하가 종래의 CCD 이미저 설계들 내에서 효과적으로 전송될 수 있는 속도 제한 부근 또는 이상인 경향이 있다. 유사한 제약들이 CMOS 이미지 센서들과 같은 기타 전자 이미저에 대하여 존재한다. 또한, 고해상도를 갖는 이미지 센서들을 제조할 때, 제조사들은 특히 판독 동안 초래될 수 있는 잡음 및 왜곡을 방지하기 위하여 주의해야 한다. 결과로서, 고해상도 고프레임 레이트 전자 이미저들은 일반적으로 저클럭 레이트들에서 구동하도록 적응된 이미저들에 비교하여 매우 비쌀 수 있는 특별한 설계들을 필요로 한다. 특정 예로서, Sony ICX204AL과 같은, 머신 비전 애플리케이션을 위하여 적응되고, 표준 프로그레시브 판독 모드에서 초 당 단지 15 프레임들에 대하여 레이팅되는(rated) 일반적 고선명(HD) CCD 센서는 표준 프레임 레이트(초 당 50 또는 60 프레임들)에 대하여 적응된 클럭 레이트에서 구동될 수 있는 고선명(HD) CCD 센서의 비용의 일부이다.
따라서, 고프레임 레이트들에서 고선명 이미지들을 제공할 수 있는 저비용 이미저에 대한 필요가 존재한다.
제 1 특징에서, 본 발명은 이미저 클럭 레이트를 갖는 이미저 클럭 신호 및 상기 이미저 클럭 레이트보다 큰 비디오 클럭 레이트를 갖는 비디오 클럭 신호를 제공하는 타이밍 발생기를 포함하는 이미징 시스템을 제공한다. 이미징 시스템은 이미저 클럭 신호를 수신하는 이미저 클럭 입력 및 데이터 출력을 갖는 이미저를 더 포함한다. 이미징 시스템은 레이트 변환기를 더 포함하고, 상기 레이트 변환기는 이미저의 데이터 출력 및 타이밍 발생기에 연결되고, 비디오 클럭 신호 및 이미저 클럭 신호에 동기적인 신호를 수신한다. 레이트 변환기는 이미저 클럭 레이트와 동기적인 레이트에서 이미저 데이터를 수신하고, 비디오 클럭 레이트에서 비디오 데이터를 출력한다.
이미징 시스템의 바람직한 실시예에서, 이미저는 이미저에 의해 캡처링된 이미지를 나타내는 피셀 데이터를 저장하는 픽셀 어레이를 포함한다. 픽셀 어레이는 제 1 부분 및 제 2 부분을 갖고, 타이밍 발생기는 픽셀 어레이의 제 2 부분을 스키핑하고, 이미저로부터 레이트 변환기까지 픽셀 어레이의 제 1 부분을 클럭킹하도록 이미저를 제어하기 위하여 타이밍 시퀀스의 신호들을 발생한다. 타이밍 발생기는 수평 타이밍 펄스 및 수직 타이밍 펄스를 발생할 수 있고, 수평 타이밍 펄스들은 이미저 클럭 레이트에 대응할 것이다. 이미저 클럭 신호 및 비디오 클럭 신호는 서로에 동기한다. 픽셀 어레이의 제 1 부분은 원하는 활성 픽셀들을 포함하고, 픽셀 어레이의 제 2 부분은 비활성 옵티컬 블랙 레퍼런스(inactive optical black reference) 및 더미 픽셀들을 포함한다. 보다 구체적으로, 픽셀 어레이의 제 2 부분은 원하지 않은 활성 픽셀들 및 비활성 픽셀들의 조합을 포함할 수 있고, 제 1 부분은 픽셀 어레이의 원하는 활성 픽셀들을 포함할 수 있다. 이미저는 전기 전하가 픽셀 어레이의 픽셀들에 대하여 이미저에 의해 축적되는 타입의 CCD 센서일 수 있다. 픽셀 어레이의 제 2 부분과 관련된 전기 전하는 복수의 행들의 그룹들에 대해 동시에 이미저로부터 시프트될 수 있다. 예를 들어, 하나 이상의 수평 및 수직 타이밍 펄스들은 이미저의 전송 부분에서 전기 전하의 축적을 제어할 수 있고, 수평 전송 클럭은 이미저로부터의 복수의 픽셀 데이터의 행에 대응하는 전하의 전송을 동시에 제어한다.
바람직한 실시예에서, 타이밍 발생기는 이미저 클럭을 출력하는 이미저 클럭 발생기 회로 블럭, 비디오 클럭을 출력하는 비디오 클럭 발생기 회로 블럭, 마스터 동기 회로 블럭, 및 이미저 클럭 발생기 및 마스터 동기 회로 블럭들에 연결되고, 이미저 클럭 레이트에서 이미저 클럭 신호를 출력하는, 이미저 타이밍 논리 블럭을 포함할 수 있다. 마스터 동기 회로 블럭은 바람직하게 비디오 클럭 발생기 회로 블럭에 연결되고, 비디오 클럭을 수신한다. 레이트 변환기는 바람직하게 이미저로부터의 이미지 데이터를 수신하고 임시로 저장하는 메모리 및 레이트 변환기 제어 논리를 포함한다. 레이트 변환기 제어 논리는 바람직하게 메모리에 데이터를 기록하고 메모리로부터 데이터를 판독하는 메모리 제어 회로를 포함한다. 메모리 제어 회로는 타이밍 발생기에 연결되고, 비디오 클럭 신호 및 이미저 클럭 신호에 동기적인 신호를 수신한다. 레이트 변환기 제어 논리는 바람직하게 메모리 컨트롤 회로 및 타이밍 발생기에 연결되고 비디오 클럭 신호를 수신하는 비디오 타이밍 논리를 더 포함한다. 비디오 타이밍 논리는 출력 비디오 데이터의 블랭킹 간격 동안 메모리로부터의 데이터로부터의 판독을 인터럽트하기 위하여 메모리 제어 회로를 제어한다. 레이트 변환기 제어 논리는 바람직하게 메모리 및 비디오 타이밍 논리에 연결된 비디오 출력 발생기를 더 포함한다. 비디오 출력 발생기는 메모리로부터 출력 데이터를 수신하고 메모리로부터의 판독이 중지되는 블랭킹 간격들 동안 블랭킹 데이터를 삽입하고, 비디오 클럭 레이트로 실제의 픽셀 데이터 및 블랭킹 데이터를 출력한다. 출력 비디오 데이터는, 예를 들어, VESA 표준 타이밍 또는 SMPTE HDTV 표준 타이밍에서 제공될 수 있다.
다른 특징에 따르면, 본 발명은 비활성 레퍼런스 및 더미 픽셀들을 포함하는 픽셀들의 어레이를 갖는 이미지 센서, 이미지 데이터를 제공하는 출력 및 판독 타이밍 제어 신호들을 수신하는 하나 이상의 제어 입력을 포함하는 증가된 프레임 레이트 이미징 시스템을 제공한다. 증가된 프레임 레이트 이미징 시스템은, 픽셀 어레이의 비활성 픽셀들 중 적어도 일부를 스키핑하고, 픽셀 어레이의 원하는 부분으로부터의 이미지 데이터를 클럭킹 아웃하도록(clock out) 이미지 센서로부터의 판독을 제어하기 위하여, 이미지 센서의 제어 입력들에 타이밍 펄스들을 제공하는 타이밍 발생기를 더 포함해서, 이미지 센서의 프레임 레이트를 효율적으로 증가시킨다.
증가된 프레임 레이트 이미징 시스템의 바람직한 실시예에서, 타이밍 펄스들은 더미 및/또는 레퍼런스의 복수의 행들 및/또는 픽셀 어레이의 원하지 않는 활성 픽셀들을 스키핑하기 위하여 일련의 연속적인 수직 전송 펄스들을 포함하는 수직 및 수평 타이밍 펄스들을 포함한다. 타이밍 펄스들은 또한 라인의 말단에 복수의 더미 및/또는 레퍼런스, 및/또는 픽셀 어레이의 원하지 않는 활성 픽셀들을 스키핑하기 위하여 픽셀 어레이의 원하는 부분의 라인 말단에 앞서 수직 전송 펄스를 포함할 수 있다. 이미지 센서는 픽셀 어레이와 관련된 축적 영역 및 전송 영역을 포함하는 유형의 CCD 이미저일 수 있다. 타이밍 펄스들은 축적 영역으로부터 전송 영역으로, 이어서, 사용되지 않는 픽셀 데이터의 복수의 행들이 수직 타이밍 펄스들을 사용하여 수평 전송 영역에 전송되고, 수평 타이밍 펄스들을 사용하여 함께 클럭킹 아웃되는 이미저로부터 이미지 데이터를 전송하기 위하여 수직 및 수평 타이밍 펄스들을 포함할 수 있다.
다른 특징에 따르면, 본 발명은 저클럭 레이트에서의 이미저 동작을 사용하여 고선명 비디오 데이터 제공 방법을 제공한다. 방법은 이미저 클럭 레이트 이미저 클럭 신호를 사용하여 이미저로부터 이미지 데이터를 클럭킹하는 단계를 포함한다. 방법은 이미저 클럭 레이트보다 큰 비디오 클럭 레이트로 이미저 데이터를 비디오 데이터로 변환하는 단계를 더 포함한다.
본 발명의 바람직한 실시예에서, 이미저 데이터를 비디오 데이터로 변환하는 단계는 메모리 내에서 이미지 데이터를 버퍼링하는 단계를 포함한다. 이미저 데이터는 이미저 클럭 레이트로 또는 이미저 클럭 레이트와 동기하는 레이트로 메모리에 기록되고, 데이터는 이미저 클럭 레이트와 비동기적인 상이한 클럭 레이트로 메모리로부터 판독된다. 이미저 데이터를 비디오 데이터로 변환하는 단계는 바람직하게 비디오 데이터의 블랭킹 간격에 대응하여 블랭킹 데이터를 이미저 데이터에 삽입하는 단계를 더 포함한다. 이미저 데이터를 비디오 데이터로 변환하는 단계는 바람직하게 상기 블랭킹 데이터의 삽입 동안 메모리로부터 데이터로부터의 판독을 중지하는 단계를 더포함한다. 이미저 클럭 신호는 비디오 데이터에 비동기적이다. 비디오 데이터는 예를 들어, VESA 표준 타이밍 또는 SMPTE HDTV 표준 타이밍에서의 출력일 수 있다.
다른 특징에 있어서, 본 발명은 제 1 및 제 2 부분들을 갖는 픽셀 어레이를 갖는 이미저의 프레임 레이트를 증가시키는 방법을 제공한다. 그 방법은 픽셀 어레이의 제 2 부분을 스키핑하는 단계 및 이미저 제어 타이밍 신호들을 사용하여 이미저로부터 픽셀 어레이의 제 1 부분에 저장된 이미지 데이터를 클럭킹하는 단계를 포함한다.
본 방법의 바람직한 실시예에서, 픽셀 어레이의 제 2 부분을 스키핑하는 단계는 제 2 부분에서 이미지 데이터의 복수의 행들을 스키핑하기 위하여 일련의 연속적인 수직 전송 펄스들을 이미저에 제공하는 단계를 포함한다. 픽셀 어레이의 제 2 부분을 스키핑하는 또한 단계는 라인의 말단에서 픽셀들을 스키핑하기 위하여 픽셀 어레이의 라인의 말단에 앞서 수직 전송 펄스를 제공하는 단계를 포함할 수 있다. 픽셀 어레이의 제 1 부분은 어레이의 원하는 활성 및 원하는 비활성 픽셀들을 포함할 수 있고, 픽셀 어레이의 제 2 부분은 비활성 픽셀들 및 임의의 원하지 않는 활성 픽셀들을 포함할 수 있다. 비활성 픽셀은 일반적으로 표준 비디오 타이밍 기법의 블랭킹 간격들에 대응한다. 예를 들어, 표준 비디오 타이밍 기법은 VESA 표준 타이밍, 또는 SMPTE HDTV 표준 타이밍일 수 있다. 이미저는 CCD 이미저일 수 있고, 방법은 픽셀 어레이의 제 2 부분에 대응하는 전하를 클럭킹 아웃하는 단계를 더 포함할 수 있다.
본 발명의 이들 및 다른 특징들과 특성들은 다음의 상세화된 설명으로부터 이해될 수 있다.
도 1은 본 발명에 따른 고프레임 레이트 고선명 이미징 시스템의 블럭도.
도 2는 본 발명에 따른 고프레임 레이트 고선명 이미지를 제공하는 방법의 실시예의 흐름도.
도 3은 예시적인 이미저에서 활성 및 비활성 픽셀들을 도시하는 다이아그램형 도면.
도 4는 본 발명에 따른 이미저 판독 타이밍 시퀀스의 예를 도시한 타이밍 다이어그램.
도 5는 수평 타이밍 펄스들을 도시하는 이미저 판독 타이밍 시퀀스의 확장된 표현을 도시하는 타이밍 다이어그램.
도 6은 (ΦSUB 펄스를 갖는) 수평 타이밍 펄스들을 도시하는 타이밍 시퀀스의 다른 확장된 표현을 도시하는 타이밍 다이어그램.
도 7은 도 1의 이미징 시스템에서 사용되는 타이밍 발생기의 바람직한 실시예의 블럭도.
도 8은 도 1의 이미징 시스템에서 사용되는 레이트 변환기의 바람직한 실시예의 블럭도.
도 9는 본 발명에 따른 고선명 카메라 시스템의 구현예의 블럭도.
도 1을 참조하면, 본 발명에 따른 이미징 시스템의 실시예는 블럭 개략적 도면에 도시된다. 본 발명은 바람직하게 상대적으로 낮은 공칭 클럭 레이트를 갖는 저비용 고해상도 이미저(104)를 사용한다. 예를 들어, 머신 시각 애플리케이션들에 적응된 고해상도이지만 상대적으로 낮은 클럭 레이트 CCD 이미지 센서들은 상대적으로 저비용으로 상용화되어 있고, 이미저(104)에 사용될 수 있다. 그러나, CMOS 이미저들과 같은 기타 저비용 전자 이미저들 또한 사용될 수 있다. 본 발명은 상대적으로 낮은 클럭 레이트에서의 이미저 데이터를 고비디오 클럭 레이트로 변환하고, 비디오 출력 디바이스(118)에서 고클럭 레이트 비디오 데이터를 출력한다. 그 결과로, 본 발명은 저비용 고프레임 레이트 고선명 이미징 시스템을 제공한다.
보다 구체적으로, 도 1에 도시된 바와 같이, 타이밍 발생기(100)는 이미저 클럭 레이트(이미저 클럭)에서 제 1 세트의 타이밍 신호들(102)을 이미저(104)에 제공한다. 제 1 세트의 타이밍 신호들은 이미저(104) 동작에 동기하고, 이미저(104)로부터 이미저 데이터(106)를 레이트 변환기(108)에 클럭킹한다. 타이밍 발생기(100)는 또한 비디오 클럭 레이트(비디오 클럭)에서 제 2 세트의 타이밍 신호들(114)을 제공한다. 이하에 상세하게 논의되는 것처럼, 제 1 및 제 2 세트의 타이밍 신호들은 일반적으로 동기적이지 않다. 이는 이미저(104)로부터의 판독이 비디오 출력 디바이스(118)의 클럭킹 기법에 제한되지 않고, 최적화되는 것을 허용한다. 이것은 비디오 클럭킹 기법에 관련된 이미저 판독에 있어서 상당한 비효율성을 방지할 수 있다. 이는 저비용 낮은 클럭 레이트 이미저(104)의 사용을 허용하여, 이미저 클럭(102)의 클럭 레이트가 비디오 클럭(114)의 클럭 레이트보다 작도록 허용한다. 레이트 변환기(108)는 일반적으로 클럭 레이트를 증가시키고, 이미저 데이터를 비디오 디바이스 클럭킹 기법에 동기시킨다. 레이트 변환기(108)는 이미저 클럭(102)에 연결된 제 1 클럭 입력(120) 및 비디오 클럭(114)에 연결된 제 2 클럭 입력(122)을 포함한다. 이미저 데이터(106)는 이미저 클럭 레이트에 동기적인 레이트에서 레이트 변환기(108)에 입력된다. 이 레이트는 실제의 이미저 클럭 레이트, 또는 이미저 클럭 레이트에 동기적인(종종 정수의 배수) 레이트일 수 있고, CCD 프리즘 시스템들에서 하프-픽셀 오프셋 데이터의 타임 보정을 위한 "더블 샘플링(double sampling)"과 같은 신호 처리 기술들로 인하여 필수적으로 다를 수 있다. 레이트 변환기(108) 내의 제어 논리 및 이미지 데이터 버퍼 메모리는 이 이미저 도메인 클럭킹 기법으로부터 비디오 도메인 클럭킹 기법으로 이미저 데이터(106)를 임시로 저장 및 변환한다. 변환된 데이터는 그후 비디오 데이터(116)로서 레이트 변환기(108)로부터 출력된다. 일단 이미저 데이터(106)이 비디오 데이터(116)로 변환되면, 비디오 데이터(116)는 표준 비디오 클럭 레이트 및 애플리케이션에 대한 타이밍 기법으로 비디오 출력 디바이스(118)에 전송된다. 예를 들어, 비디오 출력 디바이스는 디스플레이, 비디오 리코더, 또는 기타 고선명 비디오 디바이스일 수 있다. 비디오 출력 디바이스(118)는 일반적으로, 컴퓨터 모니터 타입 디스플레이에 대한 VESA(비디오 전자 표준 협회(Video Electronics Standards Association)) 또는 고선명 TV 품질 디스플레이에 대한 SMPTE(동화상 및 텔레비전 엔지니어 회(Society of Motion Picture and Television Engineers)) 표준에 의해 정의된 바와 같이 고선명 고프레임 레이트 타이밍 표준에서 동작할 것이다.
도 1 및 3을 참조하면, 이미저 클럭(102)을 사용하는 이미저(104) 판독의 제어는 바람직한 실시예에 관련하여 더 구체적으로 기술될 것이다. 이미저(104)는 이미저에 의해 캡처링된 이미지를 나타내는 픽셀 데이터를 캡처링하는 픽셀 어레이를 갖는다. 일반적 이미저를 위한 이미저 픽셀 어레이는 애플리케이션을 위한 원하는 이미지 데이터를 포함하는 제 1 부분 및 필요로 되지 않는 제 2 부분을 포함한다. 예를 들어, 픽셀 이미저에 대한 픽셀 어레이는 활성 픽셀들 및 비활성 픽셀들을 포함한다. 비활성 픽셀들은 일반적으로 비디오 클럭과 동기적으로 판독되도록 적응되는 광 블랙 레퍼런스 픽셀들 및 더미 픽셀을 포함한다. 더 구체적으로, 비디오 애플리케이션에 대한 CCD와 같은 이미저를 판독하기 위한 표준 방법은 (비디오 출력 디바이스에 의해 지시되는) 비디오 픽셀 클럭 및 수평/수직 sync와 동기적인 수평 및 수직 전송 펄스들을 포함한다. 비활성 광 블랙 레퍼런스 픽셀들과 라인들 및 더미 비트들과 라인들은 광 블랙 신호 레퍼런스를 허용하기 위하여 이미저 내에 제공되고, 이미저 출력을 모두 블랭킹 간격들과 관련되는 아이들 타임(idle time), 또는 데드 타임을 갖는 표준 비디오 클럭킹 기법들로 동기시키는 것을 돕는다. 이는 이미저 내에 만들어진 불필요하고, 반복적이거나, 사용되지 않는 광 블랙 레퍼런스 픽셀들 및 더미 픽셀들을 클럭킹 아웃하는 데 있어서 시간의 비효율성을 초래한다. 본 발명의 비동기적인 클럭킹 기법에서, 이들 더미 라인들, 더미 픽셀들, 및 많은 레퍼런스 픽셀들과 라인들은 불필요하다.
활성 및 비활성 픽셀들을 갖는 이미저 픽셀 어레이와 같은 특정 예가 도 3에 도시된다. 도 3은 일반적인 CCD의 활성 픽셀들(304) 및 광 블랙 및 더미 픽셀 부분들(302)의 오리엔테이션 및 크기, 및 데이터가 이미저로부터 시프트되는 방향 V(수직) 및 H(수평)를 도 3의 하부에 위치된 이미저의 상부 라인과 함께 도시한다. 활성 영역(304) 주위에 여분의 데이터(302)는 일반적으로 클럭킹 아웃된다. 이 여분의 데이터(302)는 일반적으로 광 블랙 레퍼런스와 더미 수직 픽셀들의 상부 행들(308), 블랙 레퍼런스와 더미 수직 픽셀들의 하부 행들(306), (원하는 라인에 대하여 항상 클럭킹 아웃되어야 하는) 블랙 레퍼런스와 더미 수평 픽셀들의 리딩 열들(leading columns)(312), 및 블랙 레퍼런스와 더미 수평 픽셀의 트레일링 열들(trailing columns)(310)를 포함한다. 여분의 데이터(306, 308, 310, 및 312)는 각각의 프레임 기간 동안 일어나는 비활성, 원하지 않는, 불필요하거나, 사용되지 않는 "데이터(data)" 전송 시간을 나타낼 수 있다.
본 발명에서, 단지 픽셀 어레이의 제 1 원하는 부분은 클럭킹 아웃될 수 있다. 제 1 부분은 원하는 활성 픽셀들(304), 그들 라인들에의 관련에 의해 클럭킹 아웃되어야만 하는 (312)의 부분, 및 선택적으로 어떤 여분의 비활성 레퍼런스 픽셀들을 포함한다. 제 2 부분은 임의의 원하지 않는 활성 픽셀들(예를 들어, 비디오 출력의 상이한 특징 비율로 인해 필요로 되지 않는 픽셀들)과 잔류 비활성 픽셀들(302)의 일부 또는 전체와의 조합을 포함한다. 제 1 세트의 타이밍 신호들(102)는, 픽셀 어레이의 제 2 부분의 대부분을 바이패싱하는 동안 픽셀 어레이의 제 1 부분을 클럭킹 아웃하기 위해 이미저(104)의 논리를 제어한다. 제 1 세트의 타이밍 신호들은 이미저(104)로부터 고속 판독을 위해 최적화되고, 일반적으로 비디오 클럭 신호들에 동기하지 않기 때문에, 수평 및 수직 전송 펄스들의 비표준 시퀀스는 제 2 부분에 대응하여 원하지 않는 픽셀들을 점핑하기 위하여 사용될 수 있다. 상용화된 CCD 이미저의 최적화 판독을 위하여 적응된 타이밍 신호들의 특정 예는 도 4-5에 관계하여 아래에 기술된다. 따라서, 픽셀 어레이 데이터의 제 1 부분은 이미저(104)의 공칭 프레임 레이트보다 실질적으로 높은 프레임 레이트에서 이미저 데이터(106)로서 출력된다. 또한, 수평 또는 수직 레지스터 전송을 위한 이미저 제조사에 의해 특정된 공칭 타이밍은 예를 들어, 필요 이상 길게 펄스폭들을 가정하여, 가장 효과적이지 않을 수 있고, 프레임 레이트의 더한 증가에서 조차도 필요로 되면, 이 레이트는 공칭 값 이상 높은 레이트까지 증가될 수 있다.
레이트 변환기(108)의 다음 동작은 기술될 것이다. 비디오 출력 디바이스(118)는 특정 애플리케이션에 대하여 특정 비디오 타이밍 포맷을 갖을 것이다. 모든 그러한 수용된 비디오 타이밍 포맷들은 블랭킹 간격들에 대응하여 상당한 아이들 타임을 갖는다. 위에 주지된 바와 같이, 비디오 애플리케이션에 대한 CCD 또는 CMOS 이미저에 대한 표준 방법은 비디오 픽셀 클럭 및 수평/수직 sync에 동기되는 수평 및 수직 전송 펄스들을 포함하고, 통상적으로, 비디오 클럭 신호들이 사용된다. 본 발명에 따르면, 이미저(104)는 이 출력 비디오 클럭킹 기법에 동기적으로 동작하지 않는다. 그러나, 비디오 출력 데이터(116)는 비디오 출력 디바이스(118)을 위해 사용되기 위하여, 비디오 클럭킹 기법에 동기되어야 한다. 이는 레이트 변환기(108)가 이미지 데이터를 원하는 비디오 클럭킹 기법에 동기되는 것을 필요로한다. 레이트 변환기 내의 제어 논리 및 버퍼 메모리는 이미저 도메인 클럭 레이트를 비디오 도메인 클럭 레이트로 변환하고, 비디오 블랭킹 간격들에 대하여 블랭킹 데이터를 삽입한다. 따라서, (비동기적인) 비디오 도메인에서의 클럭 레이트는 이미저 도메인에서의 클럭 레이트보다 높은 표준 비디오 클럭 레이트일 것이다. 이 표준 비디오 클럭 레이트 및 클럭킹 기법에서 레이트 변환기(108)로부터 클럭킹된 비디오 데이터(116)는 (또한 비디오 클럭(114)에 의해 클럭킹될 수 있는) 비디오 출력 디바이스(118)에 제공된다. 이미저 도메인 클럭킹 기법은 차례로, 독립적으로 연속적으로 즉, 비디오 디스플레이 클럭킹 기법의 아이들 블랭킹 간격들 (비디오 도메인 클럭) 동안에서 조차 주어진 이미저 클럭 레이트에 대한 이미저로부터의 이미지 데이터의 전송 레이트를 최대화하여 동작한다.
분할된 이미저 및 비디오 클럭킹 기법들을 허용하도록 레이트 변환기(108)를 사용하는 장점들은 표준 비디오 클럭킹 기법들의 2개의 특정 예들에 의해 최선으로 이해될 수 있다. 제 1 예로서, 1280x720p HDTV 표준을 고려한다. 720p HDTV를 위한클럭킹 기법은 공개된 명세서, SMPTE 296M에 나와있고, 이의 공개는 여기서 참조에 의해 통합된다. 이 표준(SMPTE 296M의 테이블 1의 시스템 1)에서 하나의 허용된 기법에 따르면, 프레임 당 총 750 라인들 및 라인 당 총 1650 74.25MHz 수평 픽셀 클럭들이 있다. 이는 또한 단지 활성 비디오 (또는 화상 정보)를 포함하는 720라인들이 있고, 이들 720 라인들 각각에서 단지 1280 클럭 기간들이 활성 픽셀들을 포함한다는 것을 특정한다. 이로부터, 화상 정보를 포함하지 않는 비디오 신호의 30 라인들(750 빼기 720)이 있다는 것을 계산할 수 있다. (예를 들어, 라인들(1-25 및 746-750)은 블랭크이다). 부가적으로, 활성 픽셀들을 포함하는 모든 라인에 대하여, 370(1650 빼기 1280) 클럭 간격들은 sync 또는 블랭크 타임이다(SMPTE 296M 공개 참조). 따라서, 1280x720=921600 화상-기부 클럭 기간들 및 (750x1650)-(1280x720)=315900 비화상 클럭 기간들이 있다. 이는 단지 74.47%의 활성 화상 효율을 산출한다. 비디오 신호의 나머지 부분은 블랭킹 및 sync 정보를 다룬다. 활성 화상 출력은 이들 시간들 동안 "아이들(idle)"이다.
분할된 이미저 클럭킹 기법 및 레이트 변환기를 사용하여, 이 비효율성을 감소시키는 이익이 도시하기 위하여, 모두 활성인 정확히 1280x720 픽셀들을 포함하는 어떤 "더미(dummy)" 또는 비활성 정보가 없는 가상의 "이상적인(ideal)" 이미저를 고려한다. 이 이미저는 비디오 신호 내의 블랭킹 타임에 대응하여 드라이브 클럭 내에 타이밍 갭을 가지며 여전히 74.25MHz에서 클럭킹될 수 있고, 따라서, 비디오 신호와 동기적으로 구동될 수 있다. 이 "이상적인" 이미저가 상대적으로 저비용 저클럭 레이트 이미저인 경우를 취하고, 본질적인 물리적 성질들로 인하여, 예를 들어, 60MHz 이상 74.25MHz에서 클럭킹될 때, 심각한 성능저하를 갖고, 사용 가능한 화상을 전혀 생산하지 못할 수 있다. 초 당 60프레임(fps:frames per second)에서 이들 픽셀들 전부를 클럭킹 아웃하기 위한 이론적인 최소 주파수는 1280x720x60 또는 55.296MHz이다(이는 활성 화상 효율성 곱하기 비디오 클럭 레이트와 동일함). 이 주파수는 적합하게 60MHz 이하이고, 이미저가 여전히 60 fps 비디오 품질에 대하여 사용되는 것을 허용한다. 그러나, 이 클럭은 비디오 신호의 74.25MHz 클럭에 비동기적이다. 이미저 데이터가 비디오 데이터로서 사용되는 것을 허용하기 위하여, 레이트 변환기(108) 내에 구현된 메모리 저장 및 데이터 흐름 관리는 이미저의 데이터를 출력 비디오 신호와 재동기시키고, 필요한 블랭킹 또는 "아이들" 타임에 부가한다. 따라서, 단순히 이미저를 비효율적인 비디오 클럭킹 기법에 동기적으로 동작하는 필요를 제거함으로써, 본 발명은 저비용 저클럭 레이트 이미저의 사용을 허용한다.
다른 예는 표준 컴퓨터 모니터 타이밍 시퀀스들에 대한 VESA 명세서들이다. 표준 컴퓨터 모니터 타이밍에 대한 VESA 명세서들은 발행된 문서이고, 이 문서의 공개는 여기서 참조에 의해 통합된다. 하나의 그러한 표준 VESA 모니터 타이밍은 통상의 60Hz에서의 1024x768 또는 "XGA" 모니터 해상도이다. XGA 표준에 대한 프레임당 전체 클럭수는 1344x806=1083264이다. 그러나, 단지 이들의 1024x764=786432가 활성 픽셀 데이터이다. 이는 72.60%의 활성 화상 타임 효율로 귀결된다. 위의 기술된 방법이 "이상적인" XGA 센서에 적용되면, 60fps 픽셀 클럭은 65.00MHz의 특정 비디오 신호 클럭 레이트로부터 감소될 수 있다. 결과 클럭 주파수는 1024x768x60=47.186MHz (또는 0.7260 곱하기 65.00MHz)일 수 있다. 필요로 되는 이미저 클럭 속도에 있어서 상당한 감소가 아주 저비용 이미저가 사용되는 것을 허용하여 또 한번 제공되었다.
이들 예들이 "이상적인 이미저(ideal imager)"를 가정하였지만, 실제에서는, 이미저들은 기타 전송 최소 타이밍 요청들을 갖는 것뿐만 아니라 어떤 여분의 레퍼런스 및 더미 정보가 필요하다. 이는 비효율성을 "이상적인" 상황에 부가한다. 그러나, 이들은 조정될 수 있고 최소화될 수 있으며, 증가된 활성 화상 효율성의 일반적 결과는 여전히 존재하고, 실용 이미저들에 있어서 중요하다. 이를 고려하여, 이미저(104)로부터의 판독의 앞선 논의는 "이상"과는 거리가 먼 이미저로부터의 판독을 조정하고, 이상적인 이미저에 훨씬 가깝게 만들기 위하여 비활성 픽셀 판독과 관련된 비효율성을 제거하는 특정 방법을 기술했다. 이상에 가까운(덜 비효율적인) 이미저를 가지고, 더 쉬운 이미저 클럭킹 기법이 사용될 수 있고, 중요한 이점들이 여전히 얻어질 것이다.
도 2는 본 발명에 따라 고프레임 레이트 고선명 이미지 데이터를 제공하는 조합된 방법을 개략적으로 도시한다. 보다 구체적으로, (200)에서, 이미저 데이터의 프레임으로부터의 판독은 이미저 클럭(102)에 의해 개시된다. (202)에서, 이미저 픽셀 어레이의 제 2 부분에 저장된 데이터는 적절한 타이밍 펄스들에 의해 (클럭킹되지 않고)스키핑된다. 이는 수직 전송 펄스들을 사용하여 픽셀 데이터의 초기의 원하지 않는 행들을 스키핑하는 단계를 포함할 수 있다. (204)에서, 이미저 픽셀 어레이의 제 1 부분에 저장된 원하는 이미지 데이터는 이미저 클럭 레이트와 동기적인 레이트에서 이미저로부터 레이트 변환기까지 클럭킹된다. (202 및 204)는 제 1 부분이 판독됨에 따라, 원하지 않는 픽셀들을 스키핑하여 반복된다. (206)에서, 레이트 변환기는 이미저 도메임 클럭킹 기법으로부터 비디오 클럭 레이트 및 비디오 도메인 클럭킹 기법으로 이미지 데이터를 변환한다. (208)에서, 레이트 변환기는 애플리케이션에 적응된 비디오 출력 데이터로서 비디오 클럭 레이트에서 비디오 도메인 데이터를 클럭킹 아웃한다. (206 및 208)은 이미저 판독 (202, 204)로서 동시에 계속될 것이다. 비디오 프레임 레이트는 이미저 프레임 레이트보다 빠를 수 있지만, 이미저 프레임 레이트와 동일할 수 있다. 또한, (202 및 204)의 이미저 판독 방법이 공칭 값으로부터 이미저의 프레임 레이트를 증가시킬 것이지만, 더 이상적인 이미저에 대하여 위에 기술된 바와 같이, 그러한 판독 방법(202, 204)는 사용될 필요가 없고 이미저 데이터 모두 또는 실질적으로 모두는 204에서 클럭킹 아웃될 수 있다.
다음으로, 도 3-5참조하면, 이미저 판독 클럭킹 기법의 특정 실시예는 VESA 1024x768 표준 이미저인 소니 ICX204AL CCD에 기초하여 기술될 것이다. 이 이미저는 상당히 비효율적이고 바람직하게 위의 (202, 204)(도 2)와 같은 판독 방법을 사용할 것이다. 이 특정 이미저에 있어서, (다이아그램의 하부에 위치된 이미지의 상부 라인을 갖는) 도 3에서의 여분의 데이터(302)는 하나의 (1) 리딩 더미 행과 7개의 (7) 레퍼런스 픽셀들의 리딩 행들(308), 2개의 (2) 레퍼런스 픽셀들의 트레일링 행들(306), 픽셀들의 29개의 (29) 리딩 더미와 3개의 (3) 리딩 레퍼런스 열들(312)(원하는 라인에 대하여 항상 클럭킹 아웃되어야 함), 및 40개의 (40) 레퍼런스 픽셀들의 트레일링 열들(310)을 포함한다. (ICX204AL CCD 이미저의 명세서들은 공개적으로 사용 가능하고 여기서 참조에 의해 통합됨.) 따라서, 명세서에서 추천된 타이밍을 사용하는 ICX204AL CCD 시스템의 효율성은 비활성 이미지 데이터 때문에 약 72.60%이다. 본 발명은 가능한 광 블랙 영역를 작게 클럭킹 아웃하는 것과 연계하여 단지 활성 데이터를 클럭킹 아웃하기 위하여 전체 프레임 기간을 사용한다. 이는 타임 효율성을 100%에 접근하도록 증가시키고, 최소 수평 전송 클럭 주파수에서 최대 프레임 레이트를 허용한다.
구체적으로, 도 4는 프레임의 시작에서 픽셀 데이터의 원하지 않는 행들을 스키핑하기 위한 일반적인 타이밍 시퀀스를 자세하게 도시한다. (V1, V2A/B, 및 V3)는 수직 레지스터 전송 클럭들을 나타내고, (H1 및 H2)는 수평 레지스터 전송 클럭을 나타내며, RG는 리셋 게이트 클럭을 나타낸다. 이들은 ICX204AL 이미저에 대한 클럭킹 신호 입력 핀들에 대응한다. 클럭킹 기법은 추천된 펄스 폭에서 XSG(프레임 전송 펄스)에서 시작한다. 수평 전송 클럭킹 없이, 연속적인 VΦ전송 펄스 시퀀스들이 즉시 뒤따른다. 이들은 더미 비트들 및 광 블랙 라인들(308)을 지나쳐 가고, 비디오의 제 1 라인을 CCD의 수평 시프트 레지시터에 놓을 것이다. XSG 및 V Φ전송 펄스의 펄스 폭은 특정 CCD에 대하여 특정될 수 있거나, 가장 빠른 구현을 찾기위하여 실험적으로 결정된 최소값으로 짧아질 수 있다. 이 관점으로부터, 제 1 활성 비디오 라인에서 필요로 되는 픽셀들은 클럭킹 아웃되고, 수직 전송 펄스들은 즉시 보내지며, 다음 라인이 즉시 시작된다.
후속 라인들에 대한 부가적인 일반적인 타이밍은 도 5에 도시되며, SUB는 기판 클럭을 나타낸다. 수평 클럭들(H1 및 H2)이 클럭들(V1, V2 및 V3)의 단일 수직 전송 펄스 시퀀스의 타이밍 동안, 수평 클럭들(H1 및 H2)가 중지되는 것을 강조하기 위하여 도 5에서 펄스 폭들이 도시됨을 주의한다. 이는 최종 활성 라인의 최종 필수 활성 픽셀이 클럭킹 아웃될 때까지 반복되고, XSG가 즉시 보내질 때, 지연 없이 사이클을 다시 시작한다.
본 발명의 다른 특징은 픽셀 어레이와 연관된 잔류 전하들의 취급을 포함한다. 이미저(104)의 노출 기간 동안, 제 2 픽셀 어레이의 원하지 않은 부분은 이미저로부터 제거될 필요가 있는 전하들을 만들거나, 결과 이미지는 손상될 것이다. 일반적으로, 노출이 노출 기간의 말단에서 완성될 때, 포토 다이오드들의 어레이(수집 영역)로부터 전하는 아날로그 저장 위치들의 병렬 어레이(전송 영역)에 전송된다. 전송 영역은 단으로부터 단으로 최종적으로 레지스터 밖으로 전하를 시프트하기 위하여 타이밍 및 전송 펄스들을 수신하는 시프트 레지스터 회로를 사용한다. 전하로부터의 보통의 시프트는 위에 기술된 바와 같이 픽셀 어레이의 제 2 부분에 대하여 바이패싱한다. 본 발명은 전송 영역 내의 픽셀 어레이의 제 2 부분과 관련된 복수의 행들 또는 픽셀들의 그룹들을 조합하고, 이미저(104)로부터 그들을 함께 시프트하여 시간을 절약함으로써 잠재적인 전하의 문제를 극복한다. 보다 구체적으로, 잔류 전하로부터의 이 전송은 수직 전송 펄스들의 시퀀스 이후에 도 4 및 5에서 도시된 수평 전송 펄스들의 개시 시퀀스에 대응할 것이다. 일단 각각의 프레임 동안, 이들 수직 전송 펄스들은 모든 픽셀 데이터의 원하지 않는 행들을 전하를 제거하기 위하여 수직 전송 펄스들(H1 및 H2)의 하나 이상의 시퀀스들에 의해 동시에 클럭킹 아웃되는 CCD의 전송 섹션으로 전송할 것이다. 또한, 이전 프레임의 원하지 않는 최종 행들과 현재의 프레임들의 초기의 행들 모두 조합 및 함께 클럭킹 아웃될 수 있다. 유사하게, 원하는 픽셀 데이터의 라인의 말단에서 원하지 않는 픽셀들 모두 CCD의 전송 섹션에 모두 함께 시프트될 수 있고, 도 5에 도시된 바와 같이 다음 라인의 시작에서 일련의 수평 전송 펄스들에 의해 클럭킹 아웃된다. 이 잔류 전하 전송의 다양한 기타 구현들은 상이한 특정 CCD 이미저 설계들이 제공될 수 있다.
본 발명의 다른 특징은 ΦSUB 또는 "전자 셔터(electronic shutter)" 펄스의 취급을 포함하고, 이는 축적 또는 노출 시간을 감소시키기 위하여 CCD 또는 이미저의 축적 영역 내의 전하를 제거하고, 이것은 높은 광 세기의 경우에서 유용하고, 충만된 출력을 야기할 수 있다. 도 6을 참조하면, 바람직한 방법은 VΦ시퀀스에 동기적인 ΦSUB를 분출할 것이다. 도 6에서 도시된 바와 같이, (공칭 2 마이크로세컨드 폭의) ΦSUB 펄스가 VΦ시퀀스의 시간을 초과하도록 소망되면, 수평 펄스들은 ΦSUB가 출력 데이터를 손상하는 것을 방지하기 위해 시간 내에서 연기될 수 있다. 다른 가능한 방법은 단지 VΦ시퀀스 동안이 아니라, 원하는 정확한 노출 시간을 제 공하는 이미저 출력 스트림 내 어디든지 ΦSUB 펄스를 위치시키기 위하여 수평 전송 펄스들을 정지시키는 것일 수 있다.
도 7 다음을 참조하여, 타이밍 발생기(100)의 바람직한 실시예는 블럭 개요 형태로 도시된다. 타이밍 발생기(100)는 라인(716) 상에 비디오 클럭 신호를 제공하는 원하는 비디오 표준(예를 들어, SMPTE 또는 VESA 표준)에 동기되는 비디오 클럭(700)을 포함한다. 이미저 클럭(702)은 라인(710) 상에 분리된 이미저 클럭 신호를 제공한다. 이미저 클럭 신호는 이미저 타이밍 논리(706)에 제공된다. 이미저 타이밍 논리(706)는 이미저(104)(도 1참조)를 판독하기 위해 사용되는 타이밍 신호의 시퀀스를 발생시키고, 이들 타이밍 신호들은 제 1 세트의 타이밍 신호들(102)로서 제공된다. 예를 들어, 이미저 타이밍 논리(706)는 기술된 바와 같은 소니 ICX204AL CCD 이미저에 대한 도 4-5에서 도시된 타이밍 시퀀스의 신호들을 발생할 수 있다. 이미저 클럭이 일반적으로 비디오 클럭에 동기적이지 않지만, 이미저 데이터로 하여금 레이트 변환기(108)에 의해 비디오에 동기되도록 허용하기 위해서, 언더라잉 레퍼런스 클럭을 갖는 것이 바람직하다. 이는 마스터 동기 회로 블럭(704)에 의해 제공된다. 이 회로 블럭은 바람직하게 대부분의 애플리케이션들에 비디오 클럭일 수 있는 최고 사용 가능한 클럭 레이트를 사용할 것이다. 따라서, 도시된 바와 같이, 마스터 동기 회로 블럭은 라인(708)을 따라 비디오 클럭을 수신하고 라인(712 및 714)을 따라 동기 신호를 제공한다. 라인(712)을 따르는 신호는 바람직하게 프레임 당 한번 "프레임 동기화(frame synchronization)"로서 구현되는 동기화 신호/비디오 클럭과 선택된 이미저 클럭 신호 에지들(edges)을 동조하기 위하여 이미저 타이밍 논리(706)에 의해 사용된다. 라인(714)를 따르는 동기화 신호는 위에 기술된 제 2 세트의 클럭 신호들로서 라인(716)을 따르는 비디오 클럭 신호와 함께 출력된다.
도 8에 따르면, 레이트 변환기(108)의 바람직한 실시예는 도시된다. 도시된 바와 같이, 레이트 변환기는 메모리(800)를 포함하고, 메모리는 이미저 데이터(106)를 수신하고, 비디오 클럭킹 기법으로의 이미저 데이터의 동기화를 허용하도록 이미저 데이터(106)을 임시로 버퍼링하며, 레이트 변환기 제어 논리는 특정 도시된 실시예에서 회로 블럭들(802, 804 및 806)을 포함한다. 메모리(800)은 분리된 RAM과 같은 임의의 적합한 메모리일 수 있거나, 비디오 출력 디바이스에서 사용 가능한 저장 장치를 포함할 수 있다. 또한, 메모리(800)는, 고른 비디오 출력이 레이트 변환기(108)에 의해 제공될 수 있는 한, 비디오 데이터의 전체 프레임과 동등하거나 비디오 데이터의 프레임보다 적은 용량을 가질 수 있다. 메모리(800)에의 데이터 내의 판독 및 메모리(800)로부터의 데이터로부터 판독은 메모리 제어 회로 블럭(802)에 의해 제어된다. 이 회로 블럭은 이미저 클럭(102) 및 비디오 클럭(114) 모두를 수신하고, 데이터는 이미저 레이트와 동기하는 레이트에서 메모리(800) 내로 클럭킹되고, 비동기적인 비디오 레이트에서 클럭킹 아웃된다. 비디오 출력 발생기(804) 및 비디오 타이밍 논리(806)는 특정 비디오 타이밍 포맷과 관련된 블랭킹 타임을 채우기 위하여 적정한 블랭킹 데이터를 삽입함으로써, 메모리(800)로부터 비디오 포맷으로 데이터 출력을 변환한다. 그러한 블랭킹 기간들 동안, 비디오 타이밍 논리(806)는 메모리(800)로부터 실제의 픽셀 데이터로부터의 판독을 인터럽트하기 위하여 제어 신호(808)를 회로 블럭(802)에 제공한다. 결과는 비디오 데이터(116)가 이미저 데이터(106)보다 높은 클럭 레이트에서 출력될 수 있다는 것이다. 또한, 비디오 데이터(116)는 블랭킹 데이터의 블랭킹 간격들을 포함하는 원하는 비디오 출력 클럭킹 기법에 동기될 것인 반면에, 이미저 데이터(106)는 이 기법에 동기 적이지 않을 것이고 레이트 변환기(108) 내로 클럭킹되기 위하여 더미 또는 레퍼런스 픽셀 데이터를 포함하지 않을 것이다.
도 9는 고선명 카메라로서 도 1의 시스템의 구현 예의 블럭도이다. 시스템 동기화는 타이밍 발생기(100)에서 시작한다. 타이밍 발생기(100)는 수직 클럭, 수평 클럭, 및 RG 클럭들과 같은 CCD(104) 타이밍 기능들을 동기시키기 위하여 제 1 세트의 타이밍 신호들(102)(CCD 클럭 신호)을 CCD(104)에 제공한다. 그 후, CCD(104)는 레퍼런스 전압 및 데이터 전압을 포함하는 인코딩된 비디오 이미지 신호(106)를 출력한다. 이들 전압들은 CCD(104)로부터 출력된 모든 수평 클럭 펄스에 존재한다. 신호(906)는 연관된 더블-샘플러(908)에 제공되고, 신호(906)의 레퍼런스 및 데이터 전압들을 포함함으로써 이미지 신호(910)를 계산한다. 선택적인 아날로그 프로세서(912)는 신호(910)를 수신한다. 아날로그 프로세서(912)는 증폭, 백색 밸런스, 여과(filtration) 등과 같은 일반적인 아날로그 신호 처리 기능을 수행한다. 그 후, 아날로그 프로세서(912)의 출력은 아날로그-디지털 변환기(916)에 제공되고, 디지털 이미지 데이터(918)로서 출력을 위한 원하는 주파수에서 신호(914)를 샘플링한다. 이미지 데이터(918)는 선택적인 디지털 신호 프로세서(920)에 출력되고, 일반적으로 디지털 카메라에서 구현되는 인헨스먼트, 여과, 변환 등과 같은 임의의 일반적인 디지털 신호 처리 기능을 수행할 수 있다. 디지털 신호 프로세서(920)는 타이밍 발생기(100)의 CCD 클럭 신호에 동기되는 레이트에서 레이트 변환기 제어 논리(924) 및 메모리(926)를 포함하는 레이트 변환기에 처리된 이미지 데이터(922)를 출력한다. 메모리(926)는 제어 논리(924)에 의해 논리적으로 제어되고, 데이터 버스(928)를 통하여 제어 논리(924)에 연결되는 RAM 블럭을 포함할 수 있다. RAM 블럭(926)은 논리(924)가 CCD 클럭 레이트에서 수신된 이미지 데이터(922)를 비디오 클럭 레이트(114)에 동기되는 비디오 출력 데이터(923)로 변환되는 동안 데이터 버퍼로서 동작한다. RAM 블럭(926) 및 제어 논리(924)는 따라서, 앞서 더 구체적으로 기술된 레이트 변환기(108)와 동일한 방식으로 동작한다.
그 후, 출력 데이터(923)는 디지털 신호 프로세서(932)에 의해 부가적, 선택적 처리를 수행할 수 있다. 이 시점에서, 프로세서(932)로부터의 비디오 데이터(934)는 디지털 또는 아날로그 카메라에서 사용되는 지에 따라서 2개의 데이터 라인들 중 하나에 출력될 수 있다. 디지털 출력에 있어서, 데이터(934)는 디지털 구동기들(936)로 흐르고, 여기서 증폭되고, 디지털 출력(938)에 연결된다. 아날로그 출력에 있어서, 데이터(934)는 먼저 디지털-아날로그 변환기(940)에 흐른다. 변환 이후, 비디오 데이터는 아날로그 구동기(942)에 의해 증폭되고, 아날로그 출력(944)에 연결된다.
따라서, 도 9의 구현은 HDTV 또는 기타 고선명 애플리케이션에서 사용될 수 있는 저비용 고프레임 레이트 고선명 카메라를 제공한다.
위의 가르침에서, 본 발명이, 필요시, 초당 60프레임 표준까지, 제조사에 의해 특정된 프레임 레이트보다 훨씬 더 빠른 프레임 레이트에서 비디오를 발생하기 위하여 저비용 이미저를 사용하는 이미징 시스템 및 방법을 제공하는 것이 인지될 것이다. 본 발명은 또한, 유효 데이터를 클럭킹 아웃하여, 프레임 레이트를 증가시키는 가장 효율적인 방법을 사용하는 전자 이미저를 제공한다. 본 발명은 또한 이미저 클럭 레이트가 비디오 출력 표준에 동기적일 때, 데이터를 동기시키기 위한 시스템 및 방법을 제공한다. 본 발명은 또한 표준 HD CCD 또는 다른 이미저를 취하는 시스템 및 방법을 제공하고, 아이들 타임을 제거하는 방식으로 클럭킹하고, 사용되지 않는 라인들 및 픽셀들의 불필요한 클럭킹을 바이패싱하며, 유효 데이터를 클럭킹 아웃하는 가장 효율적인 방법들을 사용한다. 본 발명은 또한 바이패싱되고, 이미저로부터 전송되지 않는 데이터의 잔류 전하를 제거하는 시스템 및 방법을 제공한다. 또한, 본 발명은 특히, 의료, 산업, 예능, 감시 및 방송 애플리케이션들에서의 사용에 적합한 저비용, 고품질, 고선명 비디오 카메라를 제공한다. 본 발명의 다른 특징들 및 특성들은 당업자에게 이해될 것이다.
본 발명의 다양한 실시예가 기술되었지만, 본 발명의 범위 내에 있는 많은 다른 실시예들 및 구현들이 가능하다는 것은 당업자들에게 명백하다. 도시되고 기술된 특정 구조에서의 변경들은 본 발명의 의도를 벗어나지 않고 청구범위 내에서 만들어질 수 있다는 것이 이해된다. 또한, 장치 및 방법이 기능적 설명을 갖는 문법적 유동성을 위하여 기술되었고, 기술될 것이지만, 특별히 공식화된 용어 "수단(means for)"를 사용하지 않으면, 청구범위는 35 USC 112 마지막 단락 하의 "수단(means)" 또는 "단계들(steps)" 제한들의 구성에 의해 임의의 방식으로 필요하게 제한되는 것처럼 이해될 수 없을 것이라는 것이 특별히 이해되어야 한다. 또한, 여 기서 어떠한 것도 청구범위의 의미의 전체 범위를 제한 또는 포기하거나 등가물들의 법칙 하에 청구범위의 등가물들의 범위를 어떤 방식으로도 제한하도록 의도되지 않는다.

Claims (40)

  1. 이미징 시스템에 있어서:
    이미저 클럭 레이트를 갖는 이미저 클럭 신호 및 상기 이미저 클럭 레이트보다 큰 비디오 클럭 레이트를 갖는 비디오 클럭 신호를 제공하는 타이밍 발생기;
    상기 이미저 클럭 신호를 수신하는 이미저 클럭 입력 및 데이터 출력을 갖는 이미저;
    상기 이미저의 상기 데이터 출력 및 상기 타이밍 발생기에 연결되어, 상기 이미저 클럭 신호 및 상기 비디오 클럭 신호를 수신하는 레이트 변환기(rate converter)로서, 상기 레이트 변환기는 상기 이미저 클럭 레이트와 동기하는 레이트에서 이미저 데이터를 수신하고, 상기 비디오 클럭 레이트에서 비디오 데이터의 전체 프레임들을 출력하는, 상기 레이트 변환기를 포함하는, 이미징 시스템.
  2. 제 1 항에 있어서, 상기 이미저는 상기 이미저에 의해 캡처링된 이미지를 나타내는 픽셀 데이터를 유지하는 픽셀 어레이를 포함하고, 상기 픽셀 어레이는 제 1 부분 및 제 2 부분을 갖는, 이미징 시스템.
  3. 제 2 항에 있어서, 상기 타이밍 발생기는 상기 픽셀 어레이의 상기 제 2 부분을 스키핑(skip over)하고 상기 이미저로부터 상기 레이트 변환기까지 상기 픽셀 어레이의 상기 제 1 부분을 클럭킹(clock)하도록 상기 이미저를 제어하기 위하여 타이밍 신호들의 시퀀스를 발생시키는, 이미징 시스템.
  4. 제 3 항에 있어서, 상기 타이밍 발생기는 수평 타이밍 펄스들 및 수직 타이밍 펄스들을 발생시키고, 상기 수평 타이밍 펄스들은 상기 이미저 클럭 레이트에 대응하는, 이미징 시스템.
  5. 제 1 항에 있어서, 상기 이미저 클럭 신호 및 비디오 클럭 신호는 서로 비동기적인, 이미징 시스템.
  6. 제 3 항에 있어서, 상기 픽셀 어레이의 상기 제 1 부분은 원하는 활성 픽셀들을 포함하는, 이미징 시스템.
  7. 제 6 항에 있어서, 상기 픽셀 어레이의 상기 제 2 부분은 비활성(inactive) 또는 더미(dummy) 픽셀들을 포함하는, 이미징 시스템.
  8. 제 3 항에 있어서, 상기 픽셀 어레이의 상기 제 2 부분은 원하지 않는 활성 픽셀들과 비활성 픽셀들의 조합을 포함하고, 상기 제 1 부분은 상기 픽셀 어레이의 원하는 활성 픽셀들을 포함하는, 이미징 시스템.
  9. 제 3 항에 있어서, 상기 이미저는 CCD 센서이고, 전기 전하는 상기 픽셀 어레이의 상기 픽셀들에 대하여 상기 이미저에 의해 축적되고, 상기 픽셀 어레이의 상기 제 2 부분에 관련된 상기 전기 전하는 복수의 행들의 그룹들에 대하여 동시에 상기 이미저로부터 시프트되는, 이미징 시스템.
  10. 제 9 항에 있어서, 하나 이상의 수평 및 수직 타이밍 펄스들은 상기 이미저의 전송 부분 내의 상기 전기 전하의 축적을 제어하고, 상기 수평 전송 클럭은 동시에 상기 이미저로부터 픽셀 데이터의 복수의 행들에 대응하는 상기 전하의 전송을 제어하는, 이미징 시스템.
  11. 제 1 항에 있어서, 상기 타이밍 발생기는:
    이미저 클럭을 출력하는 이미저 클럭 발생기 회로 블럭;
    비디오 클럭을 출력하는 비디오 클럭 발생기 회로 블럭;
    마스터 동기 회로 블럭; 및
    상기 이미저 클럭 발생기 및 마스터 동기 회로 블럭들에 연결되어, 상기 이미저 클럭 레이트에서 상기 이미저 클럭 신호를 출력하는 이미저 타이밍 논리 블럭을 포함하는, 이미징 시스템.
  12. 제 11 항에 있어서, 상기 마스터 동기 회로 블럭은 상기 비디오 클럭 발생기 회로 블럭에 연결되고, 상기 비디오 클럭을 수신하는, 이미징 시스템.
  13. 제 1 항에 있어서, 상기 레이트 변환기는 상기 이미저 및 레이트 변환기 제어 논리로부터 이미지 데이터를 수신하고 임시로 저장하는 메모리를 포함하는, 이미징 시스템.
  14. 제 13 항에 있어서, 상기 레이트 변환기 제어 논리는 데이터의 상기 메모리에의 기록 및 상기 메모리로부터의 판독을 제어하는 메모리 제어 회로를 포함하는, 이미징 시스템.
  15. 제 14 항에 있어서, 상기 메모리 제어 회로는 상기 타이밍 발생기에 연결되어, 상기 이미저 클럭 신호 및 상기 비디오 클럭 신호에 동기적인 신호를 수신하는, 이미징 시스템.
  16. 제 15 항에 있어서, 상기 레이트 변환기 제어 논리는, 상기 메모리 제어 회로 및 상기 타이밍 발생기에 연결되어 상기 비디오 클럭 신호를 수신하는 비디오 타이밍 논리를 더 포함하고, 상기 비디오 타이밍 논리는 상기 출력 비디오 데이터의 블랭킹 간격들 동안 상기 메모리로부터의 데이터로부터 판독을 인터럽트하기 위하여 상기 메모리 제어 회로를 제어하는, 이미징 시스템.
  17. 제 16 항에 있어서, 상기 레이트 변환기 제어 논리는 상기 메모리 및 상기 비디오 타이밍 논리에 연결된 비디오 출력 발생기를 더 포함하고, 상기 비디오 출력 발생기는 상기 메모리로부터 출력 비디오 데이터를 수신하고, 상기 메모리로부터의 판독이 중지되는 블랭킹 간격들 동안 블랭킹 데이터를 삽입하고, 실제의 픽셀 데이터 및 블랭킹 데이터를 갖는 비디오 데이터를 상기 비디오 클럭 레이트에서 출력하는, 이미징 시스템.
  18. 제 17 항에 있어서, 상기 출력 비디오 데이터는 VESA 표준 타이밍에서 제공되는, 이미징 시스템.
  19. 제 17 항에 있어서, 상기 출력 비디오 데이터는 SMPTE HDTV 표준 타이밍에서 제공되는, 이미징 시스템.
  20. 증가된 프레임 레이트 이미징 시스템에 있어서:
    비활성 픽셀들을 포함하는 픽셀들의 어레이, 이미지 데이터를 제공하는 출력, 및 판독 타이밍 제어 신호들(read out timing control signals)을 수신하는 하나 이상의 제어 입력들을 갖는 이미지 센서; 및
    상기 픽셀 어레이의 상기 비활성 픽셀들 중 적어도 일부를 스키핑하고, 상기 픽셀 어레이의 원하는 부분으로부터 이미지 데이터를 클럭킹 아웃(clock out)하도록 상기 이미지 센서로부터의 상기 판독을 제어하기 위하여 상기 이미지 센서의 상기 제어 입력들에 타이밍 펄스들을 제공하여, 상기 이미지 센서의 상기 프레임 레이트를 효율적으로 증가시키는 타이밍 발생기를 포함하는, 증가된 프레임 레이트 이미징 시스템.
  21. 제 20 항에 있어서, 상기 타이밍 펄스들은 상기 픽셀 어레이의 더미 및/또는 레퍼런스 및/또는 원하지 않는 활성 픽셀들의 복수의 행들을 스키핑하기 위하여 일련의 연속적인 수직 전송 펄스들을 포함하는 수직 전송 펄스를 포함하는 수직 및 수평 타이밍 펄스들을 포함하는, 증가된 프레임 레이트 이미징 시스템.
  22. 제 20 항에 있어서, 상기 타이밍 펄스들은 상기 픽셀 어레이의 원하는 부분의 라인의 말단에서 상기 픽셀 어레이의 더미 및/또는 레퍼런스 및/또는 원하지 않는 활성 픽셀들을 스키핑하기 위하여 상기 픽셀 어레이의 원하는 부분의 라인의 말단에 앞서서 수직 전송 펄스를 포함하는 수직 및 수평 타이밍 펄스들을 포함하는, 증가된 프레임 레이트 이미징 시스템.
  23. 제 20 항에 있어서, 상기 이미지 센서는 CCD 이미저이고, 상기 픽셀 어레이와 관련된 축적 영역 및 전송 영역을 포함하는, 증가된 프레임 레이트 이미징 시스템.
  24. 제 23 항에 있어서, 상기 타이밍 펄스들은 상기 축적 영역으로부터 상기 전송 영역으로 그리고 이어서 이미저 외부로부터 상기 이미지 데이터를 전송하기 위해 수평 및 수직 펄스들을 포함하고, 사용되지 않은 픽셀 데이터의 복수의 행들은 상기 수직 타이밍 펄스들을 사용하여 수평 전송 영역으로 전송되고, 상기 수평 타이밍 펄스들을 사용하여 함께 클럭킹 아웃되는(cloked out together), 증가된 프레임 레이트 이미징 시스템.
  25. 저클럭 레이트에서 동작하는 이미저를 사용하여 고선명 비디오 데이터를 제공하는 방법에 있어서:
    이미저 클럭 레이트에서 이미저 클럭 신호를 사용하여 상기 이미저로부터 이미지 데이터를 클럭킹하는 단계;
    상기 이미저 클럭 레이트보다 큰 비디오 클럭 레이트에서 상기 이미저 데이터를 비디오 데이터의 전체 프레임들로 변환하는 단계를 포함하는, 고선명 비디오 데이터 제공 방법.
  26. 제 25 항에 있어서, 상기 이미저 데이터를 비디오 데이터로 변환하는 단계는 메모리 내에서 상기 이미지 데이터를 버퍼링하는 단계를 포함하는, 고선명 비디오 데이터 제공 방법.
  27. 제 26 항에 있어서, 상기 이미저 데이터를 비디오 데이터로 변환하는 단계는 상기 이미저 클럭 레이트와 동기하는 레이트에서 이미저 데이터를 상기 메모리 내에 기록하는 단계, 및 상이한 클럭 레이트에서 상기 메모리로부터 데이터를 판독하는 단계를 더 포함하는, 고선명 비디오 데이터 제공 방법.
  28. 제 27 항에 있어서, 상기 이미저 데이터를 비디오 데이터로 변환하는 단계는 상기 비디오 데이터의 블랭킹 간격들에 대응하는 블랭킹 데이터를 상기 이미저 데이터에 삽입하는 단계를 더 포함하는, 고선명 비디오 데이터 제공 방법.
  29. 제 28 항에 있어서, 상기 이미저 데이터를 비디오 데이터로 변환하는 단계는 상기 블랭킹 픽셀 데이터의 삽입 동안 상기 메모리로부터의 데이터로부터의 판독을 중지하는 단계를 더 포함하는, 고선명 비디오 데이터 제공 방법.
  30. 제 25 항에 있어서, 상기 이미저 클럭 신호는 상기 비디오 데이터와 동기하는, 고선명 비디오 데이터 제공 방법.
  31. 제 30 항에 있어서, 상기 비디오 데이터는 VESA 표준 타이밍에서 출력되는, 고선명 비디오 데이터 제공 방법.
  32. 제 30 항에 있어서, 상기 비디오 데이터는 SMPTE HDTV 표준 타이밍에서 출력되는, 고선명 비디오 데이터 제공 방법.
  33. 제 1 및 제 2 부분들을 갖는 픽셀 어레이를 갖는 이미저의 상기 프레임 레이트를 증가시키는 방법에 있어서,
    상기 픽셀 어레이의 상기 제 2 부분을 스키핑하는 단계; 및
    이미지 제어 타이밍 신호들을 사용하여 상기 이미저로부터 상기 픽셀 어레이의 상기 제 1 부분 내에 저장되는 이미지 데이터를 클럭킹하는 단계를 포함하는, 이미저의 프레임 레이트 증가 방법.
  34. 제 33 항에 있어서, 상기 픽셀 어레이의 상기 제 2 부분을 스키핑하는 단계는 상기 제 2 부분에서 이미지 데이터의 복수의 행들을 스키핑하기 위하여 상기 이미저에 일련의 연속적인 수직 전송 펄스들을 제공하는 단계를 포함하는, 이미저의 프레임 레이트 증가 방법.
  35. 제 33 항에 있어서, 상기 픽셀 어레이의 상기 제 2 부분을 스키핑하는 단계는 상기 픽셀 어레이의 라인의 말단에서 픽셀들을 스키핑하기 위하여 상기 픽셀 어레이의 라인의 말단에 앞서 수직 전송 펄스를 제공하는 단계를 포함하는, 이미저의 프레임 레이트 증가 방법.
  36. 제 33 항에 있어서, 상기 픽셀 어레이의 상기 제 1 부분은 상기 원하는 활성 및 원하는 비활성 픽셀들을 포함하고, 상기 픽셀 어레이의 상기 제 2 부분은 비활성 픽셀들 및 임의의 원하지 않은 활성 픽셀들을 포함하는, 이미저의 프레임 레이트 증가 방법.
  37. 제 36 항에 있어서, 상기 비활성 픽셀들은 일반적으로 표준 비디오 타이밍 기법의 블랭킹 간격들과 대응하는, 이미저의 프레임 레이트 증가 방법.
  38. 제 37 항에 있어서, 상기 표준 비디오 타이밍 기법은 VESA 표준 타이밍인, 이미저의 프레임 레이트 증가 방법.
  39. 제 37 항에 있어서, 상기 표준 비디오 타이밍 기법은 SMPTE HDTV 표준 타이밍인, 이미저의 프레임 레이트 증가 방법.
  40. 제 33 항에 있어서, 상기 이미저는 CCD 이미저이고, 상기 방법은 상기 픽셀 어레이의 상기 제 2 부분에 대응하는 전하를 클럭킹 아웃하는 단계를 더 포함하는, 이미저의 프레임 레이트 증가 방법.
KR1020057016696A 2003-03-07 2004-03-05 고프레임 레이트 고선명 이미징 시스템 및 방법 KR100765880B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US45264603P 2003-03-07 2003-03-07
US60/452,646 2003-03-07
US10/793,562 2004-03-04
US10/793,562 US8218052B2 (en) 2003-03-07 2004-03-04 High frame rate high definition imaging system and method

Publications (2)

Publication Number Publication Date
KR20050109538A KR20050109538A (ko) 2005-11-21
KR100765880B1 true KR100765880B1 (ko) 2007-10-17

Family

ID=32930732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057016696A KR100765880B1 (ko) 2003-03-07 2004-03-05 고프레임 레이트 고선명 이미징 시스템 및 방법

Country Status (7)

Country Link
US (1) US8218052B2 (ko)
EP (1) EP1602226A4 (ko)
JP (1) JP2006519521A (ko)
KR (1) KR100765880B1 (ko)
AU (1) AU2004219236B8 (ko)
CA (1) CA2516503C (ko)
WO (1) WO2004081866A2 (ko)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7586526B2 (en) * 2001-03-29 2009-09-08 Canon Kabushiki Kaisha Image sensing apparatus with at least two transfer speeds and its control method
US7683940B2 (en) * 2003-09-12 2010-03-23 Canon Kabushiki Kaisha Streaming non-continuous video data
JP4140518B2 (ja) * 2003-12-15 2008-08-27 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4687155B2 (ja) * 2005-03-09 2011-05-25 ソニー株式会社 固体撮像装置およびその駆動方法
JP4664118B2 (ja) * 2005-05-16 2011-04-06 富士フイルム株式会社 固体撮像装置
WO2007135157A1 (en) * 2006-05-22 2007-11-29 Thomson Licensing Image sensor and method for reading out pixels of the image sensor
US20080054320A1 (en) * 2006-08-31 2008-03-06 Micron Technology, Inc. Method, apparatus and system providing suppression of noise in a digital imager
CN101146217A (zh) * 2006-09-14 2008-03-19 鸿富锦精密工业（深圳）有限公司 摄像监控系统以及该系统的控制装置和控制方法
TW200826640A (en) * 2006-12-08 2008-06-16 Altek Corp Method of accelerating image capturing process and the related digital image capturing device
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101588877B1 (ko) 2008-05-20 2016-01-26 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP5367459B2 (ja) * 2009-05-28 2013-12-11 株式会社東芝 半導体撮像装置
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5513872B2 (ja) * 2009-12-18 2014-06-04 株式会社東芝 固体撮像装置
EP2569935B1 (en) 2010-05-12 2016-12-28 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
KR20140045458A (ko) 2011-06-28 2014-04-16 펠리칸 이매징 코포레이션 어레이 카메라와 함께 사용하는 광학 장치
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CA2881131A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9955142B2 (en) 2013-07-05 2018-04-24 Mediatek Inc. On-line stereo camera calibration device and method for generating stereo camera parameters
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9426361B2 (en) 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6999381B2 (ja) * 2017-11-28 2022-01-18 シャープ株式会社 固体撮像装置
US11176386B2 (en) * 2019-07-08 2021-11-16 Nxp Usa, Inc. System and method for continuous operation of vision/radar systems in presence of bit errors
DE112020004391B4 (de) 2019-09-17 2024-08-14 Intrinsic Innovation Llc Systeme und Verfahren zur Oberflächenmodellierung unter Verwendung von Polarisationsmerkmalen
CN114746717A (zh) 2019-10-07 2022-07-12 波士顿偏振测定公司 利用偏振进行表面法线感测的系统和方法
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
KR20220168742A (ko) 2021-06-17 2022-12-26 삼성전자주식회사 인터럽트 제어를 수행하는 이미지 신호 프로세서 및 이미지 처리 시스템
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0671306B2 (ja) * 1983-03-30 1994-09-07 キヤノン株式会社 画像読み取り装置
DE3887547T2 (de) * 1987-03-20 1994-08-25 Canon Kk Abbildungsgerät.
US5452004A (en) * 1993-06-17 1995-09-19 Litton Systems, Inc. Focal plane array imaging device with random access architecture
US5668597A (en) * 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
JP3808928B2 (ja) 1996-02-14 2006-08-16 オリンパス株式会社 固体撮像装置
US5841471A (en) * 1996-09-12 1998-11-24 Eastman Kodak Company Timing control for a digitally interfaced camera using variable line readout intervals
KR100247936B1 (ko) * 1997-11-11 2000-03-15 윤종용 동화상 카메라 시스템에서 리드아웃 방법 및 그 장치
JPH11150703A (ja) 1997-11-14 1999-06-02 Matsushita Electric Ind Co Ltd 画像記録装置
WO1999029829A1 (en) * 1997-12-10 1999-06-17 Kao Corporation Detergent particles and method for producing the same
JP3515352B2 (ja) 1998-01-13 2004-04-05 三洋電機株式会社 ディジタルカメラ
JP3914691B2 (ja) 2000-06-21 2007-05-16 松下電器産業株式会社 Ｖｔｒ一体型撮像装置
KR100873763B1 (ko) * 2000-11-07 2008-12-15 파나소닉 주식회사 영상 신호 작성 시스템, 그 시스템의 영상 신호 기록 장치 및 영상 신호 재생 장치
EP1356665A4 (en) * 2000-11-27 2006-10-04 Vision Sciences Inc CMOS IMAGE SENSOR WITH PROGRAMMABLE RESOLUTION
JP4679750B2 (ja) 2001-04-05 2011-04-27 旭化成エレクトロニクス株式会社 デジタル・ビデオフレームを構成する装置
US6982763B2 (en) * 2001-08-01 2006-01-03 Ge Medical Systems Global Technology Company, Llc Video standards converter
JP2003069871A (ja) * 2001-08-22 2003-03-07 Toshiba Corp カメラモジュール及び情報処理システム
US20040155977A1 (en) 2003-02-07 2004-08-12 Clark Airell R. Digital camera that enters a sub-sampling mode for at least one auto function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor

Also Published As

Publication number Publication date
AU2004219236A1 (en) 2004-09-23
US20040174439A1 (en) 2004-09-09
JP2006519521A (ja) 2006-08-24
AU2004219236B2 (en) 2007-11-08
EP1602226A4 (en) 2009-09-16
CA2516503C (en) 2012-07-31
WO2004081866A2 (en) 2004-09-23
US8218052B2 (en) 2012-07-10
EP1602226A2 (en) 2005-12-07
KR20050109538A (ko) 2005-11-21
AU2004219236B8 (en) 2008-07-17
WO2004081866A3 (en) 2005-01-06
CA2516503A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
KR100765880B1 (ko) 고프레임 레이트 고선명 이미징 시스템 및 방법
US5990952A (en) Driving method of solid-state image pickup device
US20080024659A1 (en) Video signal processing apparatus and video signal processing method
US8072643B2 (en) Image processing apparatus
JP3239087B2 (ja) 撮像装置
US6118481A (en) Solid state image pick-up device and image pick-up apparatus
JP2004336608A (ja) 画像データの変換方法および変換回路と、電子カメラ
CN101277384B (zh) 摄像装置和摄像方法
KR20000017456A (ko) 비디오 신호 처리 회로 및 그를 사용한 영상 픽업 장치
CN100556086C (zh) 高帧速率高分辨率成像系统和方法
JPH0423577A (ja) 固体撮像装置
JPH09233394A (ja) 撮像装置
KR100213946B1 (ko) 고체 촬상 장치
JP2008306616A (ja) 撮像装置
JP2008028608A (ja) 固体撮像装置
KR101435877B1 (ko) 디지털 촬영장치 및 촬상소자 구동방법
JP2002027332A (ja) 撮像装置
JP4549040B2 (ja) 撮像装置
JPH0564082A (ja) 固体撮像装置
JPH05252522A (ja) デジタルビデオカメラ
JP2001057654A (ja) 高感度撮像装置
JP4704525B2 (ja) 画像信号処理装置
JP2003116058A (ja) 高解像度画像発生装置及び画像データ伝送方法
JPH0738799A (ja) 手振れ補正装置
JPH07162874A (ja) 単板式高感度カラーカメラ装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110809

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee