KR101110009B1 - 촬상 장치 및 화상 생성 방법 - Google Patents

촬상 장치 및 화상 생성 방법 Download PDF

Info

Publication number
KR101110009B1
KR101110009B1 KR1020050016015A KR20050016015A KR101110009B1 KR 101110009 B1 KR101110009 B1 KR 101110009B1 KR 1020050016015 A KR1020050016015 A KR 1020050016015A KR 20050016015 A KR20050016015 A KR 20050016015A KR 101110009 B1 KR101110009 B1 KR 101110009B1
Authority
KR
South Korea
Prior art keywords
image
compressed
data
imaging device
compressed image
Prior art date
Application number
KR1020050016015A
Other languages
English (en)
Other versions
KR20060042387A (ko
Inventor
세이지 요시카와
료이치 사와다
Original Assignee
교세라 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004053833A external-priority patent/JP2005244762A/ja
Priority claimed from JP2004053832A external-priority patent/JP4336827B2/ja
Priority claimed from JP2004053831A external-priority patent/JP4268891B2/ja
Priority claimed from JP2004218205A external-priority patent/JP2006041862A/ja
Priority claimed from JP2004218204A external-priority patent/JP4387264B2/ja
Application filed by 교세라 가부시키가이샤 filed Critical 교세라 가부시키가이샤
Publication of KR20060042387A publication Critical patent/KR20060042387A/ko
Application granted granted Critical
Publication of KR101110009B1 publication Critical patent/KR101110009B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Abstract

본 발명은, 통상적이지 않으며 전적으로 새로운 촬상 방법을 갖는 촬상 장치 및 촬상 장치의 화상 생성 방법에 관한 것으로서, 촬상 장치는 단일 동화상 데이터를 캡쳐(capture)할 때에, 인트라-프레임 압축에 의해 고 화상 데이터를 압축한 제 1 압축 화상을 생성하고, 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서 인터-프레임 압축에 의해 저 화상 데이터를 압축한 제 2 압축 화상을 하나의 스트림으로서 생성하는 화상 처리부를 가지며, 촬상 장치는 제 2 압축 화상의 하나의 스크린이 지정될 때 제 1 압축 화상을 포함하는 다른 압축 화상 및 제 2 압축 화상에 의해서, 압축 해제 및 디코딩에 의해 지정된 하나의 스크린을 표시하는 고 해상도 정지 화상 데이터를 생성한다.

Description

촬상 장치 및 화상 생성 방법{IMAGING DEVICE AND IMAGE GENERATION METHOD OF IMAGING DEVICE}
도 1은 본 발명에 따른 촬상 장치의 실시예 1을 도시하는 블럭도,
도 2는 본 발명의 실시예에서 스트림 데이터 변경 모드 시의 조작을 설명하는 도면,
도 3은 롤링 셔터의 사용 시에 촬상 소자(이미지 센서)의 예를 도시하는 도면,
도 4(a) 내지 (f)는 도 3에 도시된 바와 같이 LA로부터 LF까지의 라인이 소자 내에 존재하는 것으로 가정할 때 화상의 제어 파형의 예를 도시하는 도면,
도 5는 글로벌 셔터의 사용 시에 도 3에 도시된 바와 같이 LA로부터 LF까지의 라인이 소자 내에 존재하는 것으로 가정할 때 화상의 제어 파형의 예를 도시하는 도면,
도 6은 이미지 센서의 개념도,
도 7은 본 발명에 따른 보정 처리의 개념을 도시하는 도면,
도 8은 동화상(저 화소) 및 정지 화상(고 화소)의 혼합 스트림의 블럭도,
도 9는 본 발명에 따른 촬상 장치의 실시예 2를 도시하는 블럭도,
도 10은 본 발명의 실시예 2에서 이미지 센서의 개념도 및 화소 제어 방법을 설명하는 도면,
도 11은 본 발명의 실시예 2에 따른 판독 회로의 구성의 예를 도시하는 블럭도,
도 12는 본 발명에 따른 촬상 장치의 실시예 3을 도시하는 도면,
도 13은 본 발명의 실시예 3에 따른 판독 회로의 구성의 예를 도시하는 블럭도.
도면의 주요 부분에 대한 부호의 설명
1 : 촬상 장치
10 : 렌즈 광학 시스템
11 : 이미지 센서
12 : 상관 더블 샘플링(CDS) 회로
13 : 아날로그/디지털(A/D) 변환기
14 : 화상 처리부(IMGPRC)
15 : 메모리
16 : 제어부
17 : 타이밍 발생기
18 : 디지털/아날로그(D/A) 변환기
19 : 디스플레이부
20 : 조작 입력부(OPINPT)
21 : 판독 회로
101 : 광학 렌즈
본 발명은 디지털 카메라와 같은 촬상 장치 및 촬상 방법에 관한 것으로서, 보다 상세하게는, 주로 동화상(비교적 적은 수의 화소)으로서 취출된 화상 및 정지 화상(비교적 많은 수의 화소)으로서 취급될 수 있는 화상을 동일한 스트림 상에서 취급하는 촬상 장치 및 촬상 장치의 화상 생성 방법에 관한 것이다.
촬상 소자를 사용함으로써 캡쳐된 화상 신호에 근거하여 이산 코사인 변환(DCT) 또는 웨이블렛(wavelet) 변환 및 가변 길이 코드에 의해 디지털 비디오 신호를 압축하고, 자기 테이프, 자기 디스크, 광학 디스크와 같은 기록 매체에 기록하는 디지털 카메라가 제안되어 왔다.
이러한 디지털 카메라는 동화상 기록 모드 및 정지 화상 기록 모드를 갖고, 동화상 기록 모드에서 동화상에 대한 압축 기록을 수행함으로써 기록 매체에 기록하며, 정지 화상 기록 모드에서 정지 화상에 대한 압축 기록을 수행함으로써 기록 매체에 기록한다.
동화상을 캡쳐할 때, 고 해상도 정지 화상을 캡쳐할 수 있는 촬상 장치는, 이후에 제 1 촬상 장치 내지 제 17 촬상 장치로서 도시된 바와 같이 다양하게 제안 되어 왔다.
제 1 촬상 장치는 동화상의 프레임 사이클 횟수의 매 적분 사이클마다 자동적으로 1 프레임의 고 해상도 정지 화상을 캡쳐하는 촬상 장치로서, 동화상을 캡쳐할 때 씨닝(thinning)에 의해 화소 신호를 판독(read out)하고, 정지 화상을 캡쳐할 때 2 필드로 분할함으로써 모든 화소 신호를 판독한다(미심사 일본 특허 공개 제 2002-44531 호 참조).
제 2 촬상 장치는 동화상을 캡쳐할 때에 사전 결정된 주기에서 정지 화상을 슈팅(shooting)한다(미심사 일본 특허 공개 평성 07-245722 호 참조).
제 3 촬상 장치는 조작자(operator)의 조작에 의해 또는 일정한 간격으로 자동적으로, 고 해상도 정지 화상을 캡쳐하는 장치로서, 정지 화상은 정지 화상 데이터로서 기록되고, 동화상은 동화상 데이터로서 기록되며, 동화상을 재생할 때에는 정지 화상의 기록의 유무를 표시하는 표시기가 디스플레이되고, 이 디스플레이는 조작자의 조작에 의해 정지 화상으로 전환된다(미심사 일본 특허 공개 평성 09-51498 호 참조).
제 4 촬상 장치는 사전 결정된 주기로 동화상을 캡쳐하는 조작자의 셔터 버튼 조작에 의해 정지 화상을 캡쳐하는 화상 기록 장치로서, 캡쳐된 정지 화상은 정지 화상의 전방 및/또는 후방의 동화상을 사용함으로써 보정된다.
제 5 촬상 장치는 동화상을 캡쳐함에 있어 셔터 버튼을 조작할 때 매우 미세한 정지 화상을 캡쳐하는 캠코더와 같은 동화상 기록 장치로서, 셔터 버튼을 조작할 때의 매우 미세한 정지 화상은 인트라 코딩된(intra-coded) 화상(I 화상)으로서 강제적으로 인코딩된다(미심사 일본 특허 공개 평성 07-284058 호 참조).
제 6 촬상 장치는 동화상을 캡쳐할 때 정지 화상을 캡쳐할 수 있는 장치로서, 원하는 정지 화상이 존재하지 않을 때, 원하는 동화상에 대응하는 고 해상도 화상은, 원하는 동화상 및 그와 연관된 정지 화상과 동기화된다(미심사 일본 특허 공개 제 2002-51252 호 참조).
제 7 촬상 장치는 동화상을 기록할 때에 셔터 버튼을 절반만 눌러 동화상을 기록 개시하고, 셔터 버튼을 완전히 눌러 정지 화상을 캡쳐하는 디지털 카메라로서, 동화상을 캡쳐할 때 캡쳐된 정지 화상 데이터는, 동화상과 연관되어 기록된다(미심사 일본 특허 공개 제 2002-84442 호 참조).
제 8 촬상 장치는 동화상을 캡쳐할 때 조작자의 셔터 버튼 조작에 의해 정지 화상을 캡쳐하는 화상 기록 장치로서, 캡쳐된 정지 화상은 정지 화상의 전방 및/또는 후방의 동화상을 사용함으로써 보정된다(미심사 일본 특허 공개 평성 07-143439 호 참조).
제 9 촬상 장치는 동화상 및 정지 화상의 데이터를 일련의 화일로서 기록하는 장치로서, 동화상은 메인 레벨에서의 메인 프로화일(Main Profile at Main Level : MP@ML)에 의해 기록되고 정지 화상은 하이 레벨에서의 메인 프로화일에 의해 기록된다(미심사 일본 특허 공개 평성 11-234623 호 참조).
제 10 촬상 장치는 일련의 연속적인 캡쳐 화상을 일시적으로 저장하고 조작자에 의해 선택된 화상만을 메모리 카드에 기록한다(미심사 일본 특허 공개 제 2001-78136 호 참조).
제 11 촬상 장치는 컬러 감산, 해상도의 절단 또는 저감과 같은 처리를 수행함으로써 기록된 화상을 재기록한다(미심사 일본 특허 공개 제 2002-10209 호 참조).
제 12 촬상 장치는 동화상을 캡쳐할 때 CCD의 수직 방향으로 전하의 혼합을 수행하고, CCD의 화소 혼합을 수행하지 않고 레벨 제어기에 의해 이득을, 예를 들어 6㏈만큼 높인다(미심사 일본 특허 공개 제 2003-125278 호 참조).
제 13 촬상 장치는 4 화소의 신호가 평균화되는(이득이 4배 상승되는) 1/2 화소의 스크린 및 정규 화소의 스크린을 생성하는 것이 가능하다(미심사 일본 특허 공개 평성 04-17087 호 참조).
제 14 촬상 장치는 피사체의 휘도에 따라 화소에 가산될 라인의 수를 결정한다(미심사 일본 특허 공개 평성 04-172073 호 참조).
제 15 촬상 장치는 피사체의 휘도에 따라 화소에 가산되지 않을 모드 및 화소에 가산될 모드를 결정한다(미심사 일본 특허 공개 평성 10-150601 호 참조).
제 16 촬상 장치는 초기 세팅 시에 화상 가산을 수행하고 사용자에 의해 세팅을 변경함으로써 화상 비가산을 수행한다(미심사 일본 특허 공개 제 2001-359038 호 참조).
제 17 촬상 장치는 피사체의 휘도가 낮을 때에 가산 출력 모드에서 세팅되고 피사체의 휘도가 낮지 않을 때에 비가산 출력 모드에서 세팅된다(미심사 일본 특허 공개 제 2003-319407 호 참조).
한편, 상술한 각각의 촬상 장치에서, 동화상 레벨의 화상을 캡쳐할 때에, 롤 링 셔터(rolling shutter)를 반복적으로 노출시키고 데이터를 전송하는 것이 순차적으로 수행된다. 또한, 정지 화상의 연속적인 캡쳐를 수행할 때에, 롤링 셔터는 상기와 유사한 것이 반복적으로 사용되거나, 또는 기계적인 셔터가 사용된다.
여기서, 롤링 셔터에 의해서만 화상을 캡쳐할 때에는, 화상의 상부 및 하부에 화상의 왜곡이 생긴다. 그러나, 이는 동화상이기 때문에 허용될 수 있다.
그러나, 정지 화상을 캡쳐할 때에, 화상의 왜곡은 허용되지 않을 수 있다. 따라서, 기계적 셔터 및 글로벌 셔터(global shutter)가 필요해지나, 기계적 셔터 드라이브는 무제한으로 높은 속도로 연속적인 캡쳐를 수행하는 데에 한계를 갖는다.
또한, 디지털 카메라 등에서 원하는 고 해상도 화상을 획득하기 위해서, 조작자는 화상 피사체를 관측하고 조작자가 목표로 하는 타이밍에서 릴리스 버튼(release button)을 조작할 필요가 있다.
그러나, 조작자가 목표로 하는 타이밍에서 조작한다 하더라도, 원하는 화상이 항상 획득될 수는 없으므로, 이를 해결하는 연속적인 캡쳐 기능이 사용되어 왔다.
그러나, 예를 들어, 10초 동안 초 당 몇 개의 장면으로, 고 해상도 화상을 캡쳐할 때에, 기록된 화상 데이터는 커지므로, 이는 메모리 카드 등의 용량을 고려할 때에 실용성이 거의 없다.
또한, 연속적인 캡쳐 기능을 갖는 이러한 디지털 카메라에서, 몇 백만의 화 소를 갖는 고 해상도 정지 화상을 연속적으로 캡쳐할 때에는, 상한은 CCD 등의 판독 처리 능력에 의존하므로, 초 당 몇 개의 장면이 상한으로 되며, 원하는 화상이 고속 움직임을 갖는 피사체의 화상인 경우, 예를 들어 연속적인 캡쳐를 이용해도, 원하는 화상을 획득하는 것이 곤란하게 된다.
또한, 동화상 및 동화상과 상이한 해상도를 갖는 정지 화상을 하나의 스트림으로서 기록한 제 1 모드와, 동화상만의 캡쳐를 수행하는 제 2 모드를 갖는 디지털 카메라에서, 제 1 모드에서 캡쳐된 데이터는, 몇 개의 간격으로 고 해상도 정지 화상을 가지므로, 저장된 화일 사이즈는 간단한 동화상을 캡쳐하는 경우보다 커지게 된다. 따라서, 기록 메모리의 용량이 커지며 실용적인 기록 용량을 보장하기 어렵다는 단점이 있다.
따라서, 연속적인 캡쳐의 속도에 관계없이 원하는 고 해상도 정지 화상을 획득하게 하여, 조작자의 셔터 타이밍에 관계없이 기록 용량을 억제하는 촬상 장치가 새롭게 개발되었다.
본 발명은 이러한 개발로부터 전적으로 새로운 것이며, 고 해상도 정지 화상을 획득하는 것과 같은 상술한 문제가 본 발명의 배경은 아니다. 본 발명의 목적은 종래에 없던 전적으로 새로운 촬상 방법을 갖는 촬상 장치 및 촬상 장치의 화상 생성 방법을 제공하는 것이다.
본 발명의 제 1 특징에 따르면, 피사체의 광학적 화상이 형성되는 촬상 소자 와, 촬상 소자로부터 고 해상도 고 화상 데이터 또는 저 해상도 저 화상 데이터를 판독하고, 판독 화상 데이터에 대해 사전 결정된 화상 처리를 수행하는 신호 처리 시스템을 가지며, 이 신호 처리 시스템은, 하나의 동화상 데이터를 캡쳐할 때에 인트라-프레임(intra-frame) 압축에 의해 고 화상 데이터를 압축한 제 1 압축 화상과, 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서 인터-프레임(inter-frame) 압축에 의해 저 화상 데이터를 압축한 제 2 압축 화상을 하나의 스트림으로서 생성하는 화상 처리부를 포함하는 촬상 장치가 제공된다.
바람직하게, 고 화상 데이터는, 씨닝에 의하지 않고 촬상 소자로부터 판독된 화상 데이터, 또는 화상 처리 시스템에 의해서, 씨닝의 소정의 양만큼 씨닝에 의해 판독된 화상 데이터를 포함하며, 저 화상 데이터는 화상 처리 시스템에 의해서, 고 화상 데이터보다 낮은 해상도가 되도록 씨닝의 소정의 양만큼 씨닝에 의해 촬상 소자로부터 판독된 화상 데이터를 포함한다.
바람직하게, 촬상 장치는 셔터 기능으로서 글로벌 셔터 기능 및 롤링 셔터 기능을 가지며, 화상 처리부는 글로벌 셔터에 의해 캡쳐된 화상 데이터에 의해 제 1 압축 화상을 생성하고 롤링 셔터에 의해 캡쳐된 화상 데이터에 의해 제 2 압축 화상을 생성한다.
바람직하게, 화상 처리부는 제 1 압축 화상의 화상 레벨 및 제 2 압축 화상의 화상 레벨이 대략 동등한 레벨이 되도록 보정한다.
바람직하게, 제 2 압축 화상의 한 스크린이 지정될 때, 화상 처리부는 제 2 압축 화상의 전방 및/또는 후방에서 제 1 압축 화상 데이터를 포함하는 다른 화상 에 의해 제 2 압축 화상의 스크린을 압축 해제하고 디코딩함으로써 하나의 지정된 스크린을 표시하는 고 해상도 정지 화상 데이터를 생성한다.
바람직하게, 촬상 장치는 고 해상도 제 1 압축 화상 및 저 해상도 제 2 압축 화상을 사용함으로써 저 해상도 및 연속적인 비디오 스트림을 출력하는 스트림 출력 유닛과, 제 1 압축 화상이 고 해상도 또는 저 해상도인지 여부를 판별하는 판별 유닛과, 판별 유닛에 의해 제 1 압축 화상이 고 해상도 또는 저 해상도인지 여부를 표시하는 신호를 출력하는 판별 신호 출력 유닛을 더 갖는다.
바람직하게, 촬상 장치는 제 1 압축 화상 및 제 2 압축 화상의 일련의 스트림 데이터를 저장하는 저장 유닛을 가지며, 하나의 스트림 데이터 상에서 제 1 압축 화상의 하나의 스크린이 지정될 때, 화상 처리부는 제 1 압축 화상의 해상도를 제 2 압축 화상과 동등한 정도로 저감시키고, 스트림 데이터 내의 제 1 압축 화상을 해상도가 저감된 제 1 압축 화상으로 대체하여, 이를 저장 유닛에 다시 저장한다.
바람직하게, 촬상 장치는 제 1 압축 화상 및 제 2 압축 화상의 일련의 스트림 데이터를 저장하는 저장 유닛을 가지며, 화상 처리부는 하나의 스트림 데이터 상에서 복수의 제 1 압축 화상 모두의 해상도를 제 2 압축 화상과 동등한 정도로 저감시키고, 스트림 데이터 내의 제 1 압축 화상을 해상도가 저감된 제 1 압축 화상으로 대체하여, 이를 저장 유닛에 다시 저장한다.
바람직하게, 씨닝에 의해 촬상 소자로부터 화상 데이터를 판독할 때, 신호 처리 시스템은 같은 색에 근접한 화소를 적분 처리함으로써 씨닝 데이터를 생성한다.
바람직하게, 화상 처리부는 제 2 압축 화상의 판독된 적분 처리를 수행한 R 레벨에 근거하여 제 1 압축 화상의 화상 레벨을 보정함으로써 제 1 압축 화상의 화상 레벨 및 제 2 압축 화상의 화상 레벨을 대략 동등한 레벨이 되도록 보정한다.
바람직하게, 화상 처리부는 제 1 압축 화상의 화상 레벨을 유지하고, 적분 처리의 적분량을 분할하여 제 2 압축 화상의 화상 레벨을 보정함으로써 제 1 압축 화상의 화상 레벨 및 제 2 압축 화상의 화상 레벨이 대략 동등한 레벨이 되도록 보정한다.
바람직하게, 신호 처리 시스템은 촬상 소자로부터의 복수의 화소 데이터를 평균화하고 판독할 수 있는 화소 평균화 판독 회로와, 촬상 소자로부터의 복수의 화소 데이터를 가산하고 판독할 수 있는 화소 가산 판독 회로와, 피사체의 휘도를 검출하는 휘도 검출기와, 휘도 검출기의 검출 출력에 의해 화소 평균화 판독 회로 및 화소 가산 판독 회로의 출력 중 어느 하나를 선택하는 선택기를 포함한다.
바람직하게, 신호 처리 시스템은 휘도 검출기의 출력에 근거하여 화소 가산 판독 회로에서의 가산된 화소의 수를 변경하는 가산 화소 변경 회로와, 선택기에 의해 선택된 화소 가산 판독 회로 또는 화소 평균화 판독 회로의 출력 데이터를 아날로그 데이터로부터 디지털 데이터로 변환하는 변환기와, 휘도 검출기의 출력 또는 화소 가산 판독 회로의 출력에 근거하여 변환기의 기준 전압값을 변경하는 기준 전압 변경 회로를 포함한다.
본 발명의 제 2 특징에 따르면, 촬상 소자 상에 형성할 피사체의 광학적 화상을 이루기 위해 촬상 소자로부터 고 해상도 고 화상 데이터 또는 저 해상도 저 화상 데이터를 판독하고, 단일 동화상 데이터를 캡쳐할 때에 인트라-프레임 압축에 의해 고 화상 데이터를 압축함으로써 제 1 압축 화상을 생성하며, 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서 인터-프레임 압축에 의해 저 화상 데이터를 압축함으로써 제 2 압축 화상을 생성하고, 인트라-프레임 압축에 의해 고 화상 데이터를 압축한 제 1 압축 화상, 및 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서 인터-프레임 압축에 의해 저 화상 데이터를 압축한 제 2 압축 화상을 하나의 스트림으로서 생성하는 단계를 갖는, 촬상 소자로부터 판독된 화상 데이터에 대해 사전 결정된 화상 처리를 수행하는 촬상 장치의 화상 생성 방법이 제공된다.
본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명할 것이다.
(실시예 1)
도 1은 본 실시예에 따른 촬상 장치의 실시예 1을 나타내는 블럭도이다. 본 촬상 장치(1)는 일반적으로 광학 시스템, 신호 처리 시스템, 기록 시스템, 디스플레이 시스템 및 제어 시스템으로 분류되는 구성요소를 갖는다.
본 실시예에 따른 촬상 장치(1)는, 동화상 캡쳐 시에 신호 처리 시스템에서 인트라-프레임 압축으로 고 화소 화상 데이터를 압축하여 제 1 압축 화상을 생성하고, 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서 인터-프레임 압축으로 저 화소 화상 데이터를 압축하여 제 2 압축 화상을 생성한다. 또한, 제 2 압축 화상의 스크린이 지정되면, 촬상 장치(1)는, 제 2 압축 화상과, 제 2 압축 화상의 전방 및/또는 후방에서 제 1 압축 화상을 포함하는 다른 압축 화상에 의해 압축 해제 및 디코딩함으로써, 지정된 스크린을 나타내는 고 해상도 정지 화상 데이터를 생성한다.
다음에, 본 실시예에 따른 촬상 장치(1)는 동화상의 데이터 캡쳐 시에 글로벌 셔터 기능과 결합하여 롤링 셔터 기능을 이용한다.
또한, 본 발명에 따른 촬상 장치(1)는, 고 해상도의 제 1 압축 화상과 저 해상도의 제 2 압축 화상의 화상 레벨을 대략 동등한 레벨이 되도록 보정하고, 예컨대 제 1 및 제 2 압축 화상의 출력 레벨이 일정해지도록 제어한다.
또한, 본 발명에 따른 촬상 장치(1)는 3개의 모드, 즉, 재생 모드(playback mode), 정지 화상 재현 모드(still image reproduction mode) 및 스트림 데이터 변경 모드(stream data changing mode)를 갖는다.
이하에서 각 부분의 구성 및 기능을 설명할 것이다.
광학 시스템은 렌즈 광학 시스템(10), 및 CMOS 센서와 같은 이미지 센서(IMGSNS)(11)를 포함하고 있다.
렌즈 광학 시스템(10)은 피사체와 대향하는 쪽에 광학 렌즈와, 도시하지 않은 광학적 로우 패스 필터 등을 포함한다. 렌즈 광학 시스템(10)에 있어서, 피사체의 광학적 화상은 광학 렌즈(101)에 의해 집광되어, 당해 피사체의 이미지가 이미지 센서(11) 상에 형성된다.
촬상 소자와 같은 이미지 센서(11)는, 예컨대 컬러 필터가 마련된 CMOS 이미지 센서를 가지며, 렌즈 광학 시스템(10)에 의해 형성된 피사체의 화상을 광전 변환(photoelectric-convert)한다.
이미지 센서(11)는 글로벌 셔터 기능과 롤링 셔터 기능을 포함하는 셔터 기능을 갖고 있다.
글로벌 셔터 기능과 롤링 셔터 기능은 제어 시스템의 제어에 따라 선택적으로 사용되고 있으며, 셔터 기능은, 글로벌 셔터가 화상을 캡쳐하도록 제어하는 반면에, 롤링 셔터가 화소를 캡쳐하도록 제어한다. 즉, 롤링 셔터 기능 및 글로벌 셔터 기능은 하나의 동화상의 데이터를 캡쳐하는데 모두 이용되고 있다.
신호 처리 시스템은 이미지 센서(11)로부터 출력되는 전기 신호를 샘플링하여 노이즈를 재거하기 위한 상관 더블 샘플링(CDS) 회로(12)와, CDS(12)에 의해 출력되는 아날로그 신호를 디지털 신호로 변환하는 아날로그/디지털(A/D) 변환기(13)와, A/D 변환기(13)에 의해 출력되는 디지털 신호에 대해 후술하는 소정의 화상 처리를 실행하는 화상 처리부(IMGPRC)(14)를 갖고 있다.
본 실시예에 따른 화상 처리부(14)는 글로벌 셔터에 의해 캡쳐된 화소의 데이터를 인트라-프레임 압축으로 압축하여 제 1 압축 화상을 생성하고, 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서 롤링 셔터에 의해 캡쳐된 화소 데이터를 인터-프레임 압축으로 압축하여 제 2 압축 화상을 생성한다.
상세히 후술하는 바와 같이, 화상 처리부(14)는 이미지 센서로부터 화상 데이터를 판독하여 씨닝(thinning)에 의하지 않고 제 1 압축 화상을 생성하고, 이미지 센서로부터 화상 데이터를 판독하여 씨닝에 의해 제 2 압축 화상을 생성한다.
화상 처리부(14)는 제 1 압축 화상의 생성 시에 인트라-프레임 압축으로 고 화소 화상 데이터를 압축하고, 제 2 압축 화상의 생성 시에 인터-프레임 압축으로 저 화소 화상 데이터를 압축한다.
또한, 씨닝 데이터로 이미지 센서로부터 판독되어 제 2 압축 데이터를 생성할 때에, 화상 처리부(14)는 같은 색 부근 화소의 적분 처리를 실행하여 씨닝으로 판독한다.
화상 처리부(14)는 제 1 압축 화상의 화상 레벨 및 제 2 압축 화상의 화상 레벨을 대략 동등한 레벨로 되도록 보정하는 기능을 갖고 있다.
화상 처리부(14)는, 상세히 후술하는 바와 같이, 제 2 압축 화상이 판독되는 R 레벨에 근거하여 제 1 압축 화상의 화상 레벨을 보정하는 적분 처리를 실행함으로써, 제 1 압축 화상의 화상 레벨과 제 2 압축 화상의 화상 레벨을 대략 동등한 레벨로 보정하는 기능을 갖는다.
또한, 화상 처리부(14)는 제 1 압축 화상의 화상 레벨을 유지하고, 적분 처리의 적분량을 분할하여 제 2 압축 화상의 화상 레벨을 보정함으로써 제 1 압축 화상의 화상 레벨 및 제 2 압축 화상의 화상 레벨을 대략 동등한 레벨로 하는 기능을 갖고 있다.
제 2 압축 화상의 스크린이 지정되면, 화상 처리부(14)는 이 지정된 스크린을 나타내는 고 해상도의 정지 화상 데이터를, 제 2 압축 화상과 제 2 압축 화상의 전방 및/또는 후방의 제 1 압축 화상을 포함하는 다른 압축 화상에 의한 압축 해제 및 디코딩 처리에 의해 생성하는 기능을 갖고 있다.
하나의 스트림 데이터에 대한 제 1 압축 화상의 스크린이 지정되면, 화상 처리부(14)는 제 1 압축 화상의 해상도를 제 2 압축 화상과 동등한 정도로 저감하고, 하나의 스트림 데이터의 제 1 압축 화상을 해상도가 저감된 제 1 화상 데이터로 대체하여, 이것을 다시 메모리(15)에 재기록한다.
화상 처리부(14)는 하나의 스트림 데이터의 복수의 제 1 압축 화상의 해상도를 제 2 압축 화상과 동등한 정도로 일괄하여 저감하고, 하나의 스트림 데이터의 제 1 압축 화상을 해상도가 저감된 제 1 압축 화상으로 대체하여, 이것을 다시 메모리(15)에 재기록한다.
상술한 기능을 갖는 화상 처리부(14)는 상술한 3개의 모드, 즉 재생 모드, 정지 화상 재현 모드 및 스트림 데이터 변경 모드로 이하의 처리를 실행한다.
화상 처리부(14)는 고 해상도의 제 1 압축 화상과 저 해상도의 제 2 압축 화상에 대해 저 해상도의 연속하는 비디오 스트림을 생성하고, 이것을 재생 모드에서 디스플레이한다.
정지 화상 재현 모드에서는, 고 해상도의 제 1 압축 화상과 저 해상도의 제 2 압축 화상을 이용하여 저 해상도의 연속하는 비디오 스트림의 재생 시에, 특정 화상이 조작자에 의해 지정된다.
정지 화상 재현 모드에서는, 조작자가 지정한 화상이 제 1 압축 화상인 경우, 화상 처리부(14)는 제 1 압축 화상의 매우 정확한 정지 화상을 출력하고, 그것을 디스플레이한다. 또, 지정된 화상이 제 2 압축 화상인 경우에는, 화상 처리부(14)는 당해 화상, 제 2 압축 화상의 전방 및/또는 후방의 제 1 압축 화상과 제 2 압축 화상 중 적어도 하나 이상의 스크린으로부터 지정된 화상에 대응하는 고 해상도의 화상을 생성하여 출력하고, 그것을 디스플레이한다.
정지 화상 재현 모드에서는, 고 해상도의 제 1 압축 화상과 저 해상도의 제 2 압축 화상에 대해 섬네일(thumbnails)과 같은 저 해상도의 연속하는 화상을 디스플레이하고, 조작자가 키 조작(key operation) 등에 의한 화상의 지정을 실행하면, 화상 처리부(14)는 유사한 처리를 실행한다.
스트림 데이터 변경 모드에서는, 화상 처리부(14)는 조작자가 키 조작 등에 의해 하나의 지정된 스트림 데이터 내의 모든 고 해상도의 제 1 압축 화상을 저 해상도의 제 1 압축 레벨로 대체하는 처리를 실행한다.
이러한 스트림 데이터 변경 모드의 처리에 의해 화일 사이즈를 감소시킬 수 있다. 이러한 처리에 대해 더 상세히 설명할 것이다.
동화상 화일을 그 재생 시에 특정의 화상에서 중지시키더라도, 동화상의 해상도가 낮기 때문에, 이것을 정지 화상으로서 세이브되거나 프린트로 출력하더라도 저화질로 된다.
이것을 해결하기 위해서, 도 2에 도시된 바와 같이, 촬상 장치(1)는 1초당 복수의 프레임(예컨대 30프레임)의 화상(예컨대 VGA 사이즈)을 캡쳐하여, 화일을 동화상으로서 형성하고, 동화상 화일에서 1초당 몇 프레임(예컨대 5프레임)은 동화상보다 높은 해상도를 갖는 정지 화상(예컨대 SXGA) 사이즈로서 캡쳐해서, 하나의 스트림으로서 기록하는 기능을 갖는다.
이것은, 간단한 동화상 화일 내에 몇 개의 고 해상도의 정지 화상을 삽입하여 어디에서 정지하더라도 VGA 사이즈의 화상과 일정 간격으로 캡쳐된 고 해상도의 정지 화상을 보상함으로써 고화질의 정지 화상으로서 저장 및 프린트하는 것이 가능하다.
그러나, 아무것도 하지 않는 경우, 동화상 화일 내에 고 해상도의 정지 화상이 존재하기 때문에 화일 사이즈가 커지게 되어, 용량 제한이 있는 기록 메모리(15)의 남은 용량이 모두 사용될 수도 있다.
따라서, 본 발명에 따른 촬상 장치(1)의 화상 처리부(14)에서는, 정지 화상과 동화상을 혼합하는 모드에서 캡쳐된 화상을 프린트 출력할 필요가 없다고 판단하는 경우, 도 2에 나타낸 바와 같이, 데이터 화일로부터 고 해상도의 정지 화상(SXGA 사이즈)을 저 해상도의 화상(VGA 사이즈)으로 변환하여 간단한 동화상 화일을 형성함으로써 화일 사이즈를 감소시킬 수 있다.
이러한 처리는 조작자의 키 조작 등에 의해 실행될 수 있어, 메모리의 남은 용량을 절약할 수 있다. 게다가, 정지 화상의 고 해상도 정보만을 제거할 수 있기 때문에, 동화상으로서의 재생 시에 화질의 열화와 같은 문제점이 없다.
또한, 화상 처리부(14)는 비디오 스트림을 출력하는 스트림 출력 기능에 부가하여, 판별 기능을 갖고 있다. 이 판별 기능이란, 상술한 3가지 모드에서, 고 해상도의 제 1 압축 화상과 저 해상도의 제 2 압축 화상에 의해 저 해상도의 연속하는 비디오 스트림을 출력할 때, 동시에 출력 중인 제 1 압축 화상이 고 해상도 화상인지 또는 저 해상도 화상인지를 판별하여, 제 1 압축 화상이 고 해상도 화상 또는 저 해상도 화상인지를 나타내는 신호를 출력하는 기능이다.
구체적으로는, N개로 분할된 멀티 디스플레이 스크린 상에 제 1 압축 화상이 존재하는 경우, 당해 제 1 압축 화상의 스크린 근방에 제 1 압축 화상에 고 해상도 화상 또는 저 해상도 화상인지를 판별할 수 있는 마크를 디스플레이한다. 또한, 동화상의 디스플레이 모드에서는, 고 해상도의 화상을 나타내는 마크를 중첩되도록 디스플레이한다.
또한, 추가 모드로서, 화상 데이터가 각각의 제 1 압축 화상보다 높거나 낮은 해상도인지를 나타내는 플래그 신호를 부가하여 다른 기기 및 메모리 카드와 같은 기록 매체로의 화상 데이터 전송 시에 함께 전송한다.
또한, 비디오 스트림을 나타내는 제 1 화일 리스트 디스플레이 스크린에 있어서, 하나의 스트림의 데이터에 고 해상도의 제 1 압축 화상이 존재하는지 여부, 존재하는 경우에 얼마나 많은 스크린이 존재하는지, 존재하는 스트림 데이터 상의 위치 데이터(시간 정보)를 나타내는 데이터를 함께 전송한다.
기록 시스템은 제어부에 의해 실행되는 프로그램과 화상 처리부(14)에 의해 생성되는 압축 화상의 압축 데이터를 저장하는 메모리(15)를 포함하고 있다.
저장 유닛으로서의 메모리(15)에는, 화상 처리부(14)에 의해 제 1 및 제 2 압축 화상의 일련의 스트림 데이터가 저장된다.
디스플레이 시스템은, 내장된 화상 메모리에 저장하는 화상 데이터를 아날로그 데이터로 변환하는 디지털/아날로그(D/A) 변환기(18)와, 입력되는 화상을 디스플레이함으로써 파인더(finder)로서 기능하는 LCD(Liquid Crystal Display) 등을 포함하는 디스플레이부(19)를 갖고 있다.
제어 시스템은, 이미지 센서(11), CDS(12), A/D 변환기(13)의 동작 타이밍을 제어하는 타이밍 발생기(17), 사용자(조작자)에 의한 셔터 조작 및 다른 커맨드를 입력하기 위한 조작 입력부(OPINPT)(20), 화상 처리부(14), 메모리(15)에 저장되어 있는 제어 프로그램 등을 판독하여, 판독한 제어 프로그램과 조작 입력부(20)로부터 입력된 사용자로부터의 커맨드에 근거하여 촬상 장치(1) 전체를 제어하는 CPU(Central Processing Unit)을 포함하는 제어부(16)를 갖고 있다.
하나의 스트림 상에서 다른 화소수를 갖는 화상 데이터를 캡쳐했을 때, 제어부(CTL)(16)는 동화상의 경우에 롤링 셔터 기능을 이용하고 정지 화상의 경우에는 글로벌 셔터를 이용하도록 제어한다.
여기서, 하나의 스트림 상에서 다른 화소수를 갖는 화상 데이터를 캡쳐했을 때, 동화상의 경우는 롤링 셔터를 이용하고, 정지 화상의 경우는 롤링 셔터 또는 글로벌 셔터를 이용할지 여부를 카메라의 상태에 따라 판단한다.
즉, 일련의 동작 중에 촬상 소자로부터 제어부(16)가 다른 화소수를 취출하는 시스템에 있어서, 동화상으로서 취출된 화상(비교적 작은 화소수)과, 정지 화상으로서 취급된 화상(비교적 많은 화소수)을 동일 스트림 상에서 취급하는 경우, 본 실시예에 따른 촬상 장치(1)는 낮은 화소를 캡쳐할 때에 글로벌 셔터를 이용하지 않고, 높은 화소를 캡쳐할 때에만 글로벌 셔터(또는 기계적 셔터(mechanical shutter))를 이용하는지 여부를 판단한다.
통상적으로는, 동화상 레벨의 화상을 캡쳐하는 경우, 롤링 셔터의 반복 노광과 데이터 전송은 순차적으로 실행된다. 또한, 정지 화상의 연속 캡쳐를 실행하는 경우에는, 상술한 바와 같은 유사한 방법으로 연속적으로 롤링 셔터를 이용하거나, 기계적 셔터를 이용하거나, 글로벌 셔터를 이용하여 제어한다.
여기서, 롤링 셔터만을 이용하면, 화상 캡쳐 시에 화상의 상하부에서 화상의 왜곡이 발생한다. 그러나, 동화상이기 때문에 이것이 허용될 수 있다.
그러나, 정지 화상을 캡쳐할 때, 화상의 왜곡은 허용되지 않는다. 따라서, 기계적 셔터와 글로벌 셔터가 필요해진다. 제한없이 고속으로 연속 캡쳐링을 실행하는데는 기계적 셔터 구동에 한계가 있기 때문에, 글로벌 셔터가 필요 불가결해진다.
여기서, 하나의 스트림 상에서 다른 화소수를 갖는 화상을 캡쳐할 때, 동화상에 대해서는 롤링 셔터를 이용하고, 정지 화상에 대해서는, 롤링 셔터 또는 글로벌 셔터를 이용할지를 카메라의 상태에 따라 판단한다.
도 3은 롤링 셔터의 이용 시의 촬상 소자(이미지 센서)의 일례를 나타내는 도면이다.
도 3에 도시한 바와 같이, LA~LF의 라인이 소자 내에 존재한다고 가정하면, 화상의 제어는 도 4(a)~도 4(f)에 나타내는 바와 같이 된다.
통상적으로, 이러한 롤링 셔터를 이용하는 경우는, LA~LF에서 노광 시간의 어긋남이 발생하기 때문에, 화상의 왜곡이 발생한다.
도 5는 도 3에 나타내는 바와 같이 소자 내에 LA~LF의 라인이 존재한다고 가정할 때의 화상의 제어 파형의 일례를 나타내는 도면이다.
이 경우, 글로벌 셔터 사용 시에 노광 시간의 차이가 발생하지 않기 때문에, 화상의 왜곡이 발생하지 않는다. 그러나, 노광 종료가 동시에 일어나, 모든 소자에 대한 노광을 동시에 개시할 필요가 있다. 또한, 화상 전송이 동시에 개시되기 때문에, 롤링 셔터보다 긴 시간이 필요하다.
따라서, 롤링 셔터는 캡쳐 속도가 글로벌 셔터와 기계적 셔터보다 고속인 장점을 갖고 있다. 화상의 왜곡이 라인 사이에서 발생하는 단점이 있다.
이에 비하여, 글로벌 셔터(또는 기계적 셔터)는 화상의 왜곡을 발생시키지 않는 데이터를 얻을 수 있는 장점을 가진다. 반면에, 캡쳐 속도가 롤링 셔터보다 늦다.
이들 장점 및 단점을 카메라 시스템으로서 미리 평가하면, 화상의 왜곡이 허용되고 속도가 필요한 경우는, 임의의 화소수의 화상이라도 캡쳐가 롤링 셔터에 의해 실행되고, 화질이 우선하는 경우에는, 카메라 상태에 따라 화상 데이터에 대해 글로벌 셔터를 이용한다.
일련의 조작 시에 다른 화소수를 촬상 소자로부터 취출한 시스템에만 적용하지 않고, 동일한 화소수를 취급하는 경우도 마찬가지인 것을 주의해야 한다.
촬상 장치(1)에 있어서, 피사체의 광학적 화상은 렌즈 광학 시스템(10)을 경유하여 이미지 센서(11)에 입사되어, 이미지 센서(11)에 의해 광전 변환되어 전기 신호로 된다. 얻어진 전기 신호는 CDS(12)에 의해 노이즈 성분이 제거되고 A/D 변환기(13)에 의해 디지털화된 후, 디지털 신호는 화상 처리부(14)에 의해, 내장된 화상 메모리 내에 일시적으로 저장된다.
통상 상태에서는, 화상 처리부(14) 내에 내장하는 화상 메모리에는, 타이밍 발생기(17)에 의한 신호 처리 시스템에 대한 제어에 의해, 일정한 프레임 레이트로 항상 화상 신호가 오버라이트된다. 화상 처리부(14) 내에 내장하는 화상 메모리의 화상 신호는 D/A 변환기(18)에 의해 아날로그 신호로 변환되어, 대응하는 화상이 디스플레이부(19)에 디스플레이된다.
디스플레이부(19)는 촬상 장치(1)의 파인더의 역할을 담당하고 있다. 사용자가 조작 입력부(20)에 포함되는 셔터 버튼을 누른(조작한) 후, 제어부(16)는 타이밍 발성기(17)에 대해 셔터 버튼이 눌려진 직후의 화상 신호를 유지하도록, 즉, 화상 처리부(14)의 화상 메모리에 화상 신호가 오버라이트되지 않도록 신호 처리 시스템을 제어한다. 그 후, 화상 처리부(14)의 화상 메모리에 유지된 화상 데이터는 소정의 방법으로 압축되어 메모리(15)에 기록된다.
다음에 화상 처리부(14)에서 실행되는 특징적인 처리에 대해 설명할 것이다.
<다른 화소수를 갖는 화상의 캡쳐 시의 이득 변경 전력 또는 평균 제어>
일련의 동작 시에 다른 화소수를 촬상 소자로부터 검색한 시스템에 있어서, 동화상으로서 취출된 화상(비교적 적은 화소수)과 정지 화상으로서 취급 가능한 화상(비교적 많은 화소수)을 동일한 스트림 상에서 취급하는 경우, 적은 화소수가 캡쳐링되면, 출력 화소는 적어도 하나 이상의 화소의 동일 색 화소의 적분된 화소 데이터를 포함하고 있다. 많은 화소수를 캡쳐링하는 경우에는, 적은 화소수를 캡쳐링하는 경우의 적분된 화소수 이하의 화소수로 된다.
출력 화소의 하나의 화소의 출력은 본래의 적분된 화소수의 차이로 인해 상이하다. 각 화소의 상이한 출력이 동일하다고 판단하면, 특히 화상 처리에서 상이한 휘도를 갖는 화상이 연속적으로 생성되기 때문에, 이상한 화상이 생성된다.
이것을 해결하기 위해서, 화상 처리부(14)에는, 화소수에 따라 디지털 이득( 또는 아날로그 이득)의 회로 또는 화소수가 평균화된 회로가 마련되고, 각 화소의 화상 출력의 차이의 발생을 보정하는 회로가, 화소가 출력되는 부분에 마련된다.
도 6은 이미지 센서의 개념도이다. 도 6에서의 R, G, B는 3원색인 적색, 녹색, 청색을 나타내고 있다.
도 6에 나타내는 바와 같은 센서의 도면에서, 정지 화상(고 화소)의 캡쳐 시, 거의 모든 화소에 대응하는 화소가 캡쳐된다. 이에 반하여, 동화상(저 화소)의 경우에는, 적은 수의 화소가 캡쳐되는 것을 허용하기 때문에, 모든 화소의 캡쳐가 불필요하여, 필요 최소한의 화소의 캡쳐를 실행한다.
그러나, 통상적으로 불필요한 화소가 단순한 씨닝에 의해 제거되지만, 동화상과 같은 동화상 화질이 요구되면, 도 6에서 (R)로 나타낸 바와 같이, 주변의 R이 적분되어 취출된다.
그 때에 출력되는 화소 데이터는, 정지 화상(고 화소)의 경우와 동화상(저 화소)의 경우에 상이하여, 출력 레벨의 차이가 발생한다.
출력 레벨의 차이를 보정하기 위해서, 고 화소와 저 화소 시에는, 적분된 화소의 비에 따른 계수를 출력 데이터에 곱하거나, 적분된 화소 데이터를 적분된 화소수에 따른 계수에 의해 평균화함으로써 정지 화상과 동화상의 출력 레벨을 보정한다.
도 7은 본 실시예에 따른 보정 처리의 개념도이다. 도 7에 있어서, 상술한 처리를 보정 회로(CRCT)(141)에서 실행한다.
<고 화소 시의 S/N 정보 제어>
일련의 동작 시에 상이한 화소수를 촬상 소자로부터 취출한 시스템에 있어서, 동화상(비교적 적은 화소수)으로서 취출되는 화상과 정지 화상(비교적 많은 화소수)으로서 취급 가능한 화상을 동일 스트림 상에서 취급할 때에, 저 화소 캡쳐의 경우, 출력되는 화소는 적어도 하나 이상의 화소의 동일 색 화소의 적분된 화소 데이터를 포함한다. 고 화소 캡쳐의 경우에는, 적은 화소수의 캡쳐 시의 적분된 화소수 이하의 화소수로 된다.
저 화소 캡쳐의 경우는, 하나의 화소의 데이터가 복수의 화소의 적분으로 생성된다. 고 화소 캡쳐 시의 데이터와 비교하면, 출력이 적분수만큼 커진다. 또한, S/N으로서는, 일반적으로 S/N의 관점에서 고 화소의 S/N과 비교하면 우수한 정보이다.
본 실시예에서는, 적분된 데이터(비교적 노이즈가 많다고 규정되는 동화상의 정보의 S/N 정보를 이용하는 고 화상 데이터(정지 화상의 정보))의 화질 향상을 달성한다.
출력되는 화소의 하나의 화소의 출력은 본래의 적분된 화소수의 차이로 인해 상이하다. 각 화소의 상이한 출력이 동일하다고 판단되면, 특히 상이한 휘도를 갖는 화상이 화상 처리 시에 연속적으로 생성되기 때문에, 이상한 화상이 생성된다.
이것을 해결하기 위하여, 상술한 바와 같이, 화소수에 따른 디지털 이득(아날로그 이득)의 회로, 또는 화소수에 의해 평균화하는 회로를 마련하고, 각 화소의 화상 출력의 차이의 발생을 보정하는 회로를 화소가 출력되는 부분에 마련하고 있다.
도 6을 참조하면, 도 6은 4개의 화소를 적분하는 도면을 나타낸다.
단일 화소(single pixel)와 비교하면, 이것으로부터 출력되는 (R) 정보는 약 4배의 출력을 갖는 화상 출력으로 된다. 이것은 ISO 감도의 관점에서 약 2단만큼 유리하게 동작한다. 저 화소 출력 시에는 이 (R) 정보를 항상 이용하고 있다.
고 화소 출력 시에는, 저 화소 출력과 비교하면, 단일 화소 출력 정보 r1~r4를 이용한다.
이미지 센서(11)로부터 출력되는 신호의 레벨을 조정하기 위해서, 동일 스트림 상에서는, 이 단일 화소 정보 r1~r4가 아날로그 또는 디지털 데이터로 인해 이득 증대로 의해서 보정된다. 이 이득 증대는 S/N에 대해 중요한 열화를 초래한다.
(R) 정보는 본래 r1~r4의 적분 정보이기 때문에, 거의 노이즈 없이 (R) 정보로부터 아날로그될 수 있다.
반면에, 단일 화소 rn은 최종적으로 이득 증대된 Rn으로 된다.
즉, 각각 이득 증대된 데이터의 합 (R1+R2+R3+R4)은 논리적으로 본래의 (r1+r2+r3+r4)의 합인 (R)과 동등해야 한다. 그러나, 이득 증대와 같은 노이즈 증가로 인해 일반적으로 다음 관계가 성립한다.
r1+r2+r3+r4 >> (R)
따라서, 동화상 정보 (R)와 단일 화소의 어드레스와 일치하는 성분 (R1+R2+R3+R4)이 존재하는 경우, 각 데이터에 적용된 이득으로 거꾸로 계산하여, 본래 성분인 (r1+r2+r3+r4)으로 되돌아간 내용과 그 적분으로 구성되어 있을 (R)을 비교하여,
r1+r2+r3+r4 >> (R)
의 관계가 성립하는 경우, 그 초과하는 양은 노이즈로서 판단하고, 각각의 Rn에서
(r1-n1)+(r2-n2)+(r3-n3)+(r4-n4)
의 n1~n4에 상당하는 N1~N4를 빼는 보정을 실행한다.
이 경우, n1~n4는 상수일 수 있으며, r1~r4의 출력비일 수도, 그 혼합일 수도 있다. 이것은 카메라 시스템에서의 노이즈 성분에 있어서 어떠한 노이즈가 우세한지에 따른다.
또한, 연산(양자화 오차 등)상 오차 마진을 포함할 수도 있기 때문에, 상기 식의 우변은 (R)로 고정되지 않아, (R)±x이다.
이 때의 x는 라운드-오프 오차(round-off error)와 같은 오차로부터 발생하는 오차 보정수이다.
<동화상 타이밍시의 재생에서도 정지 화상 화질을 생성하는 방법>
일련의 동작 중에 촬상 소자로부터 상이한 화소수를 취출하는 시스템에 있어서, 본 방법은 동화상으로서 취출된 화상(비교적 적은 화소수)과, 정지 화상으로서 취급 가능한 화상(비교적 많은 화소수)을 동일 스트림 상에서 취급 및 제어하는 방법으로, 상기 재생 시에 동화상 화질만을 얻을 수 있는 타이밍이라도 주위의 정지 화상 정보로부터 예측된 정보에 의해 동화상 화질을 정지 화상로서 다시 저장한다.
동화상(저 화소)과 정지 화상(고 화소)이 혼합된 스트림은 도 8에 도시된 바와 같이 된다.
여기서, 고 화소(정지 화상)의 화상 데이터 In과 저 화소의 화상 데이터(동화상) bn 간에는, 1 화소에 대응하는 출력 화상 정보에 있어서, In은 하나의 화소의 정보를 갖고, bn은 적분되는 화소의 정보를 갖는다.
또한, In은 디지털적으로 적분되기 때문에, 실질적으로 In의 정보는 정지 화상 정보와 동화상 정보를 갖고 있다.
여기서, In으로부터 예측되는 정보를 포함하는 동화상 정보 bn으로부터, 적분된 정보를 하나의 블록으로 하는 피사체 이동 정보가 연산된다.
또한, 각 적분된 단일 화소의 함유비 정보는 In으로부터 얻어진다.
따라서, 동화상의 화소수의 정보만을 갖는 예컨대 b5의 정지 화상의 생성을 위해서는, In 정보의 변동으로부터 예측되는 각 적분된 단일 화소의 구성 비율을 곱하면, 화소 성분이 복원된다. 이산적인 단일 화소 정보로부터 화성을 생성함으로써, 정지 화상의 화질을 갖는 화상을 생성할 수 있다. 또한, 상술한 이유로 인하여, b와 b 사이의 화상을 bn의 피사체 이동 정보와 In의 함유비 정보로부터 생성할 수 있다.
전술한 바와 같이, 본 실시예 1에서의 촬상 장치(1)에 있어서, 신호 처리 시스템에서 동화상을 캡쳐할 때, 인트라-프레임 압축에 의해 고 화소의 화상 데이터를 압축하여 제 1 압축 화상을 생성하고, 제 1 압축 화상을 생성하는 주기의 전방 주기 및/또는 후방 주기에서, 인터-프레임 압축에 의해 저 화소의 화상 데이터를 압축하여 제 2 압축 화상을 생성하며, 제 2 압축 화상의 하나의 스크린이 지정되는 경우, 촬상 장치(1)는, 제 2 압축 화상, 및 제 2 압축 화상의 전방 및/또는 후방의 제 1 압축 화상을 포함하는 다른 화상에 의해 압축 해제 및 디코딩을 실행하여, 하나의 지정된 스크린을 나타내는 고 해상도의 정지 화상 데이터를 생성한다.
또한, 본 실시예에 따른 촬상 장치(1)는, 롤링 셔터 기능과 글로벌 셔터 기능을 모두 사용하기 때문에, 화상의 왜곡의 발생을 방지하여 고속으로 연속적인 캡쳐링을 실행할 수 있다는 장점을 갖고 있다.
또한, 본 실시예에 따른 촬상 장치(1)는, 제 1 압축 화상의 화상 레벨과 제 2 압축 화상의 화상 레벨을 대략 동등한 레벨로 보정하여 휘도가 다른 화상을 연속하여 생성하는 것을 방지할 수 있다는 장점을 갖고 있다.
또한, 본 실시예에 따른 촬상 장치(1)는, 조작자가 정지 화상과 동화상의 혼재 모드에서 캡쳐된 화상의 프린트 출력 등이 필요없다고 판단한 경우, 조작자의 키 조작 등에 의해 데이터 화일로부터 고 해상도의 정지 화상을 저 해상도의 화상으로 변환하여, 간단한 동화상 화일을 형성해서 화일 사이즈를 감소시킬 수 있고, 메모리의 남아있는 용량의 여유분을 가질 수 있다. 게다가, 정지 화상의 고 해상도 정보만을 제거하기 때문에, 동화상으로서 재생 시에 화질이 열화된다는 문제가 없다는 장점이 있다.
(실시예 2)
도 9는 본 발명의 실시예 2에 따른 포인트 촬상 장치를 나타내는 블럭도이다.
실시예 2의 촬상 장치(1A)와 상술한 실시예 1의 촬상 장치(1)의 차이점은, 촬상 장치(1A)가 이미지 센서(11)와 CDS(12) 사이에 판독 회로(RO)를 마련하고, 화소의 평균화/총합 적분의 화상 판독 제어 방법을 채용한 점이다.
판독 회로(12)는 타이밍 발성기(17)에 의해 타이밍 제어된다. 다른 구성요소는 기본적으로 실시예 1과 동일하기 때문에, 이하에서는 판독 회로(21)의 구성 및 기능에 대해서 주로 설명할 것이다.
전술한 바와 같이, 본 실시예 2에서는, 판독 회로(21)가 마련되고, 화소의 평균화/총합 적분의 화상 판독 제어 방법이 채용된다.
일반적으로, 촬상 소자보다 적은 화소수를 캡쳐하는 경우, 화소의 씨닝 또는 합 적분 처리가 실행된 데이터가 출력된다. 단순한 씨닝의 경우는, 구조가 간단하더라도, 화상으로부터 화소를 빼기 때문에, 화상의 왜곡이 나타날 우려가 있다.
반면에, 총합 적분 방법에서는, 단순한 씨닝보다 구조적으로 더 복잡하더라도, 소위 라운드-오프 정보라고 불리는 추가 화소가 추가된 데이터에 포함되어 있어, 단순한 씨닝에 비하여 화질의 열화가 발생하기 어렵다는 장점이 있다.
또한, 화소가 추가되기 때문에, 형상의 감도가 향상되어, 어둡더라도 많은 정보를 입력할 수 있다는 장점을 갖고 있다.
이하에서는, 본 실시예 2에서 채용된, 상술한 특징을 갖는 화소 제어 방법에 대해 설명할 것이다.
도 10은 이미지 센서의 개념도이다. 도 10의 RGB는 3원색의 적색, 녹색, 청색을 나타내는 것을 유념해야 한다.
도 10에 나타내는 바와 같이 센서의 도면에서, R 컬러에 집중한다.
통상적으로, 4개의 화소의 합을 생각하면, (R)=R1+R2+R3+R4로서의 (R)이 화상 출력으로 사용된다.
통상, 이 (R)은 이후 단에서 A/D 변환기(13)에 의해 디지털 신호로 변환된다.
A/D 변환기(13)는 A/D 변환 시에 참조되는 기준 전압을 Vref 전압으로서 공급한다. 소정의 비트수에 의해 나눠지는 Vref 전압은 A/D의 해상도로 된다.
통상, 기준 전압 Vref는 단일 화소의 포화 레벨 부근이 상한으로서 규정되어 있다.
(R)은 복수의 화소의 총합 레벨의 신호이기 때문에, 밝은 피사체(고휘도를 갖는 피사체)를 촬영하는 경우에 포화된다.
그러나, 반대로, 어두운 피사체(저휘도를 갖는 피사체)의 경우에는, 통상 단일 화소에서는 노이즈에 묻혀버리는 레벨의 출력 신호이더라도, 가산하여 캡쳐하기 때문에, 소정의 신호 레벨을 보증할 수 있다.
픽셀 평균화를 생각하면, R1, R2, R3 및 R4는 아날로그 레벨로 평균화된다.
도 10은 전술한 바에 근거하여 구성된 판독 회로(21)의 예를 나타내는 회로 블럭도이다.
판독 회로(21)는, 휘도 검출부(221), 이미지 센서(11)로부터의 복수의 화소 데이터를 평균화하고 판독할 수 있는 화소 평균화 판독 회로로서의 평균화 판독 회로(222), 이미지 센서(11)로부터의 복수의 화소 데이터를 가산하여 판독할 수 있는 화소 가산 판독 회로로서의 가산 판독 회로(223), 휘도 검출 회로(221)의 검출 출력에 의해 평균화 판독 회로(222)와 가산 판독 회로(223)의 출력 중 어느 하나를 선택하는 선택 회로(224)를 갖고 있다.
가산 판독 회로(223)는 제산 회로(2231~2234)와 가산 회로(2235)를 갖고 있다.
이 가산 판독 회로(223)는 제산 회로(2231~2234)에서 각 입력 신호 R1~R4를 프리셋 가산 수로 제산한 후, 가산 회로(2235)에서 가산한다.
도 11의 회로에 의한 평균 화소의 정보 출력은 가산 픽셀의 정보에 비하면 단일 픽셀의 출력과 거의 동일하기 때문에, 어두운 장소에서는 출력 레벨이 낮지만, 주위 픽셀의 정보를 포함하고 있기 때문에, 화질 열화의 레벨이 낮고, 노이즈 레벨이 단일 픽셀에 비하여 낮다. 또한, 어느 한쪽이 밝을 때에는 포화의 문제점이 없다.
상술한 설명에 근거하여, 선택부(224)는 휘도 검출부(221)에 의한 밝기 정보(휘도 정보, S221)를 수신하여, 픽셀 평균화를 실행할지 또는 픽셀 가산을 실행할지를 판단하기 위한 프리셋 임계값 N과 비교한다.
휘도 정보가 임계값 N보다 큰 경우(S221>N), 선택 회로(224)는 밝은 피사체로서 간주하여, 평균화 판독 회로(222)를 선택하는 선택 신호(S224)를 출력한다.
반면에, 휘도 정보가 임계값 N 이하인 경우(S221≤N)에는, 선택 회로(224)는 어두운 피사체로서 간주하여, 가산 판독 회로(223)를 선택하도록 선택 신호(S224)를 출력한다.
전술한 바와 같이, 본 실시예 2에서의 촬상 장치(1A)는 이미지 센서(11)의 복수의 촬상 소자로부터 출력되는 복수의 화소 데이터를 평균화하고 판독하는 기능과, 이미지 센서(11)의 복수의 촬상 소자로부터 출력되는 복수의 화소 데이터를 가산하고 판독하는 기능을 포함하고, 피사체의 휘도에 따라 평균화된 데이터를 판독/출력할지를 선택하거나 또는 가산된 데이터를 판독 출력할지를 선택하여, 선택된 데이터를 출력하는 판독 회로(21)를 갖고 있으므로, 촬상 장치(1A)는, 전술한 실시예 1의 장점에 부가하여, 밝은 피사체에서 출력이 포화되지 않고, 어두운 피사체에서 화질의 열화 정도를 억제할 수 있는 장점이 있다.
(실시예 3)
도 12는 본 발명의 실시예 3에 따른 촬상 장치를 나타내는 블럭도이다. 도 13은 실시예 3에 따른 판독 회로의 구성예를 나타내는 블럭도이다.
본 실시예 3의 촬상 장치(1B)와 전술한 실시예 2의 촬상 장치의 차이점은, 휘도에 따라, 판독 회로(21A)가, 평균(고휘도 대 통상 휘도), 제 1 소정량(약간 낮은 휘도)의 가산, 제 2 소정량(중간 저휘도)의 가산 및 제 3 소정량(매우 저휘도)의 가산을 선택하고, 가산 정도에 따라 A/D 변환기(13A)의 기준 전압 Vref를 변경하여, 레벨의 변동을 억제하는 점이다.
구체적으로는, 기준 전압 공급 회로(RVSP)(22)는, 선택 회로(224A)가 평균화 판독 처리를 선택하는 경우, 기준 전압 Vref1을 A/D 변환기(13A)에 공급하고, 제 1 소정량의 가산을 선택하는 경우는, 기준 전압 Vref2를 A/D 변환기(13A)에 공급하고, 제 2 소정량의 가산을 선택하는 경우는, 기준 전압 Vref3을 A/D 변환기(13A)에 공급하며, 제 3 소정량의 가산을 선택하는 경우에는, 기준 전압 Vref4를 A/D 변환 기(13A)에 공급하도록 지시된다.
이 경우, 선택 회로(224A)는 가산 화소수 변경 회로로서 기능하며, 선택 회로(224A) 및 기준 전압 공급 회로(22)는 기준 전압 변경 회로로서 기능한다.
그 외의 구성은 실시예 2와 동일하다.
본 실시예 3은 휘도 변경에 의한 레벨 변동을 적절하게 억제할 수 있는 장점이 있다.
본 발명은 설명을 위해 선택된 특정 실시예를 참조하여 설명하였지만, 본 발명의 당업자가 이를 다양하게 변형할 수 있는 것은 본 발명의 기본 개념 및 범위를 벗어나지 않는 것은 자명하다.
이상 설명한 바와 같이, 본 발명에 의하면, 연속적인 캡쳐의 속도에 관계없이 원하는 고 해상도 정지 화상을 획득하게 하여, 조작자의 셔터 타이밍에 관계없이 기록 용량을 억제하는 촬상 장치를 얻을 수 있다.

Claims (14)

  1. 촬상 장치에 있어서,
    피사체의 광학적 화상이 형성되는 촬상 소자와,
    상기 촬상 소자로부터 고 해상도의 고 화상 데이터 또는 저 해상도의 저 화상 데이터를 판독하고, 판독한 화상 데이터에 대해 사전 결정된 화상 처리를 실행하는 신호 처리 시스템
    을 구비하되,
    상기 신호 처리 시스템은, 하나의 동화상 데이터를 캡쳐할 때에 인트라-프레임(intra-frame) 압축에 의해 고 화상 데이터를 압축한 제 1 압축 화상과, 제 1 압축 화상을 생성하는 주기의 전방 주기와 후방 주기 중 적어도 한쪽에서, 인터-프레임(inter-frame) 압축에 의해 저 화상 데이터를 압축한 제 2 압축 화상을 하나의 스트림으로서 생성하는 화상 처리부를 포함하는
    촬상 장치.
  2. 제 1 항에 있어서,
    상기 고 화상 데이터는, 상기 화상 처리 시스템에 의해서, 씨닝(thinning)에 의하지 않고 상기 촬상 소자로부터 판독된 화상 데이터, 또는 씨닝의 소정량만큼 씨닝에 의해 판독된 화상 데이터를 포함하며,
    상기 저 화상 데이터는, 상기 화상 처리 시스템에 의해서, 씨닝의 소정량만큼 씨닝에 의해 상기 촬상 소자로부터 판독되어 상기 고 화상 데이터보다 해상도가 낮은 화상 데이터를 포함하는
    촬상 장치.
  3. 제 1 항에 있어서,
    셔터 기능으로서 글로벌 셔터 기능 및 롤링 셔터 기능을 구비하며,
    상기 화상 처리부는, 상기 글로벌 셔터에 의해 캡쳐된 화상 데이터에 의해 제 1 압축 화상을 생성하고, 상기 롤링 셔터에 의해 캡쳐된 화상 데이터에 의해 제 2 압축 화상을 생성하는
    촬상 장치.
  4. 제 2 항에 있어서,
    상기 화상 처리부는 상기 제 1 압축 화상의 화상 레벨과 상기 제 2 압축 화상의 화상 레벨이 동등한 레벨로 되도록 보정하는 촬상 장치.
  5. 제 1 항에 있어서,
    상기 제 2 압축 화상의 한 스크린이 지정될 때, 상기 화상 처리부는, 상기 제 2 압축 화상의 전방과 후방 중 적어도 한쪽에서, 상기 제 1 압축 화상을 포함하는 다른 화상에 의해 상기 제 2 압축 화상의 스크린을 압축 해제 및 디코딩함으로써 하나의 지정된 스크린을 나타내는 고 해상도의 정지 화상 데이터를 생성하는 촬상 장치.
  6. 제 1 항에 있어서,
    상기 고 해상도의 제 1 압축 화상 및 상기 저 해상도의 제 2 압축 화상을 이용하여, 저 해상도 및 연속적인 비디오 스트림을 출력하는 스트림 출력 유닛과,
    상기 제 1 압축 화상이 고 해상도 또는 저 해상도인지 여부를 판별하는 판별 유닛과,
    상기 판별 유닛에 의해 상기 제 1 압축 화상이 고 해상도 또는 저 해상도인지 여부를 나타내는 신호를 출력하는 판별 신호 출력 유닛
    을 더 구비하는 촬상 장치.
  7. 제 1 항에 있어서,
    상기 제 1 압축 화상 및 상기 제 2 압축 화상의 일련의 스트림 데이터를 저장하는 저장 유닛을 구비하며,
    하나의 스트림 데이터 상에서 상기 제 1 압축 화상의 하나의 스크린이 지정되는 경우, 상기 화상 처리부는 상기 제 1 압축 화상의 해상도를 상기 제 2 압축 화상과 동등한 정도로 저감시키고, 상기 스트림 데이터 내의 상기 제 1 압축 화상을 해상도가 저감된 제 1 압축 화상으로 대체하여, 이를 상기 저장 유닛에 다시 저장하는
    촬상 장치.
  8. 제 1 항에 있어서,
    상기 제 1 압축 화상 및 상기 제 2 압축 화상의 일련의 스트림 데이터를 저장하는 저장 유닛을 구비하며,
    상기 화상 처리부는, 하나의 스트림 상에서 복수의 상기 제 1 압축 화상 모두의 해상도를 상기 제 2 압축 화상과 동등한 정도로 저감시키고, 상기 스트림 데이터 내의 상기 제 1 압축 화상을 해상도가 저감된 제 1 압축 화상으로 대체하여, 이를 상기 저장 유닛에 다시 저장하는
    촬상 장치.
  9. 제 4 항에 있어서,
    씨닝에 의해 상기 촬상 소자로부터 화상 데이터를 판독하는 경우, 씨닝에 의해 판독하는 화소의 주변에서 씨닝에 의해 배제되는 화소 중, 씨닝에 의해 판독하는 화소와 같은 색의 화소를 적분하여 판독하는 촬상 장치.
  10. 제 4 항에 있어서,
    상기 화상 처리부는, 상기 제 1 압축 화상의 판독된 적분 처리를 수행한 소정 영역 내에서의 적색 화소의 적분값에 근거하여 상기 제 1 압축 화상의 화상 레벨을 보정함으로써, 상기 제 1 압축 화상의 화상 레벨과 상기 제 2 압축 화상 레벨을, 동등한 레벨로 되도록 보정하는 촬상 장치.
  11. 제 9 항에 있어서,
    상기 화상 처리부는, 상기 제 1 압축 화상의 화상 레벨을 유지하고, 상기 적분 처리의 적분량을 분할하여 상기 제 2 압축 화상의 화상 레벨을 보정함으로써, 상기 제 1 압축 화상의 화상 레벨 및 제 2 압축 화상의 화상 레벨이 동등한 레벨로 되도록 보정하는 촬상 장치.
  12. 제 1 항에 있어서,
    상기 신호 처리 시스템은,
    상기 촬상 소자로부터의 복수의 화소 데이터를 평균화하고 판독할 수 있는 화소 평균화 판독 회로와,
    상기 촬상 소자로부터의 복수의 화소 데이터를 가산하고 판독할 수 있는 화 소 가산 판독 회로와,
    피사체의 휘도를 검출하는 휘도 검출기와,
    상기 휘도 검출기의 검출 출력에 의해 상기 화소 평균화 판독 회로 및 상기 화소 가산 판독 회로의 출력 중 하나를 선택하는 선택기를 구비하는
    촬상 장치.
  13. 제 12 항에 있어서,
    상기 신호 처리 시스템은,
    상기 휘도 검출기의 출력에 근거하여 상기 화소 가산 판독 회로에서의 가산된 화소수를 변경하는 가산 화소 변경 회로와,
    상기 선택기에 의해 선택된 상기 화소 가산 판독 회로 또는 상기 화소 평균화 판독 회로의 출력 데이터를, 아날로그 데이터로부터 디지털 데이터로 변환하는 변환기와,
    상기 휘도 검출기의 출력 또는 상기 화소 가산 판독 회로의 출력에 근거하여 상기 변환기의 기준 전압값을 변경하는 기준 전압 변경 회로를 구비하는
    촬상 장치.
  14. 촬상 소자로부터 판독된 화상 데이터에 대해 사전 결정된 화상 처리를 실행하는 촬상 장치의 화상 생성 방법에 있어서,
    상기 촬상 소자 상에 형성되는 피사체의 광학적 화상을 만들기 위해 상기 촬상 소자로부터 고 해상도의 고 화상 데이터 또는 저 해상도의 저 화상 데이터를 판독하는 단계와,
    단일 동화상 데이터를 캡쳐할 때에 인트라-프레임 압축에 의해 상기 고 화상 데이터를 압축하여 제 1 압축 화상을 생성하는 단계와,
    상기 제 1 압축 화상을 생성하는 주기의 전방 주기와 후방 주기 중 적어도 한쪽에서, 인터-프레임 압축에 의해 저 화상 데이터를 압축하여 제 2 압축 화상을 생성하는 단계와,
    인트라-프레임 압축에 의해 고 화상 데이터를 압축한 제 1 압축 화상, 및 상기 제 1 압축 화상을 생성하는 주기의 전방 주기와 후방 주기 중 적어도 한쪽에서 인터-프레임 압축에 의해 저 화상 데이터를 압축한 제 2 압축 화상을 하나의 스트림으로서 생성하는 단계
    를 포함하는 촬상 장치의 화상 생성 방법.
KR1020050016015A 2004-02-27 2005-02-25 촬상 장치 및 화상 생성 방법 KR101110009B1 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2004053833A JP2005244762A (ja) 2004-02-27 2004-02-27 撮像装置およびその画像生成方法
JPJP-P-2004-00053831 2004-02-27
JPJP-P-2004-00053832 2004-02-27
JPJP-P-2004-00053833 2004-02-27
JP2004053832A JP4336827B2 (ja) 2004-02-27 2004-02-27 撮像装置およびその画像生成方法
JP2004053831A JP4268891B2 (ja) 2004-02-27 2004-02-27 撮像装置およびその画像生成方法
JPJP-P-2004-00218204 2004-07-27
JPJP-P-2004-00218205 2004-07-27
JP2004218205A JP2006041862A (ja) 2004-07-27 2004-07-27 撮像装置およびその画像読出方法
JP2004218204A JP4387264B2 (ja) 2004-07-27 2004-07-27 撮像装置およびその画像生成方法

Publications (2)

Publication Number Publication Date
KR20060042387A KR20060042387A (ko) 2006-05-12
KR101110009B1 true KR101110009B1 (ko) 2012-02-06

Family

ID=34891374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050016015A KR101110009B1 (ko) 2004-02-27 2005-02-25 촬상 장치 및 화상 생성 방법

Country Status (3)

Country Link
US (1) US20050190274A1 (ko)
KR (1) KR101110009B1 (ko)
CN (1) CN100542214C (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148228B2 (ja) * 2005-02-10 2008-09-10 ソニー株式会社 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
US20070154202A1 (en) * 2006-01-04 2007-07-05 Lee King F Method and apparatus to facilitate correcting rolling shutter images
JP3956991B2 (ja) * 2006-01-20 2007-08-08 ソニー株式会社 撮像装置
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
JP4743007B2 (ja) * 2006-06-16 2011-08-10 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
KR101332299B1 (ko) * 2006-07-03 2013-11-22 삼성전자주식회사 영상기록장치 및 방법
JP4946313B2 (ja) * 2006-09-27 2012-06-06 株式会社ニコン 撮像装置
US8120675B2 (en) * 2006-10-17 2012-02-21 Panasonic Corporation Moving image recording/playback device
US8396321B1 (en) * 2007-04-25 2013-03-12 Marvell International Ltd. Method and apparatus for processing image data from a primary sensor and a secondary sensor
US7974489B2 (en) * 2007-05-30 2011-07-05 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Buffer management for an adaptive buffer value using accumulation and averaging
JP5118466B2 (ja) * 2007-12-14 2013-01-16 三星電子株式会社 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
US8264565B2 (en) * 2008-02-06 2012-09-11 Panasonic Corporation Image processing device and image processing method
JP5025557B2 (ja) * 2008-05-02 2012-09-12 キヤノン株式会社 画像撮影装置及びその制御方法、プログラム
JP5258885B2 (ja) * 2008-07-04 2013-08-07 パナソニック株式会社 符号化ストリーム再生装置及び符号化ストリーム再生方法
KR101571334B1 (ko) * 2009-02-12 2015-11-24 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP5422745B2 (ja) 2010-09-14 2014-02-19 富士フイルム株式会社 撮像装置及び撮像方法
JP5405695B1 (ja) 2012-05-24 2014-02-05 パナソニック株式会社 情報通信方法および情報通信装置
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
SG11201400469SA (en) 2012-12-27 2014-06-27 Panasonic Corp Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
WO2014103333A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 表示方法
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
EP2940889B1 (en) 2012-12-27 2019-07-31 Panasonic Intellectual Property Corporation of America Visible-light-communication-signal display method and display device
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US8913144B2 (en) 2012-12-27 2014-12-16 Panasonic Intellectual Property Corporation Of America Information communication method
JP6294235B2 (ja) 2012-12-27 2018-03-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ プログラム、制御方法および情報通信装置
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
SG11201400251XA (en) 2012-12-27 2014-08-28 Panasonic Corp Video display method
US10796617B2 (en) 2013-06-12 2020-10-06 Infineon Technologies Ag Device, method and system for processing an image data stream
RU2016105521A (ru) * 2013-07-23 2017-08-29 Филипс Лайтинг Холдинг Б.В. Модуляция составляющих закодированного света
US9344626B2 (en) * 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
JP6461372B2 (ja) * 2015-11-25 2019-01-30 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 撮影方法、撮影装置、及び端末
JP2021103875A (ja) * 2019-12-25 2021-07-15 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284058A (ja) * 1994-04-06 1995-10-27 Sanyo Electric Co Ltd 記録方法
JP2001359038A (ja) 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2003319407A (ja) 2002-04-24 2003-11-07 Minolta Co Ltd 撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009236A (en) * 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
US6947089B1 (en) * 1999-05-14 2005-09-20 Canon Kabushiki Kaisha Image pickup apparatus
US7450157B2 (en) * 2001-12-21 2008-11-11 Hewlett-Packard Development Company, L.P. Remote high resolution photography and video recording using a streaming video as a view-finder
US7110028B1 (en) * 2002-08-13 2006-09-19 Foveon, Inc. Electronic shutter using buried layers and active pixel sensor and array employing same
JP3897684B2 (ja) * 2002-11-22 2007-03-28 キヤノン株式会社 画像記録方式

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284058A (ja) * 1994-04-06 1995-10-27 Sanyo Electric Co Ltd 記録方法
JP2001359038A (ja) 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2003319407A (ja) 2002-04-24 2003-11-07 Minolta Co Ltd 撮像装置

Also Published As

Publication number Publication date
CN100542214C (zh) 2009-09-16
KR20060042387A (ko) 2006-05-12
CN1662038A (zh) 2005-08-31
US20050190274A1 (en) 2005-09-01

Similar Documents

Publication Publication Date Title
KR101110009B1 (ko) 촬상 장치 및 화상 생성 방법
JP4919160B2 (ja) 撮像装置及びそのプログラム
JP5385448B2 (ja) 撮影装置
US20040061797A1 (en) Digital camera
WO2006123828A1 (en) Digital camera comprising smear removal function
US5990949A (en) Digital still camera which displays a gamma-corrected high-quality still image upon depression of a shutter release button but without displaying an unwanted image
JP2009038649A (ja) 信号処理回路、及び撮影装置
US20100141823A1 (en) Image Processing Apparatus And Electronic Appliance
WO2007089005A1 (en) Moving image playback device with camera-shake correction function
US7995104B2 (en) Image pick-up apparatus, image data processing apparatus, and recording medium
US20020140827A1 (en) Image processing apparatus and image reproducing apparatus
US8068144B2 (en) Image recording and reproducing apparatus
US7671896B2 (en) Image sensing apparatus
JP6351212B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP2006211426A (ja) 撮像装置およびその画像生成方法
JP3734069B2 (ja) デジタルカメラ及びそのシステム
JP2007067708A (ja) 撮像装置およびその画像生成方法
JP4268891B2 (ja) 撮像装置およびその画像生成方法
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
JP4387264B2 (ja) 撮像装置およびその画像生成方法
JP6602425B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP6594485B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP4336827B2 (ja) 撮像装置およびその画像生成方法
JP2013016905A (ja) 撮像装置
JP2006041862A (ja) 撮像装置およびその画像読出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee