KR101148334B1 - 촬상 장치와 촬상 결과의 처리 방법 - Google Patents

촬상 장치와 촬상 결과의 처리 방법 Download PDF

Info

Publication number
KR101148334B1
KR101148334B1 KR1020067026454A KR20067026454A KR101148334B1 KR 101148334 B1 KR101148334 B1 KR 101148334B1 KR 1020067026454 A KR1020067026454 A KR 1020067026454A KR 20067026454 A KR20067026454 A KR 20067026454A KR 101148334 B1 KR101148334 B1 KR 101148334B1
Authority
KR
South Korea
Prior art keywords
imaging
result
data compression
data
image
Prior art date
Application number
KR1020067026454A
Other languages
English (en)
Other versions
KR20070030218A (ko
Inventor
타카히로 후쿠하라
타다쿠니 나라부
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20070030218A publication Critical patent/KR20070030218A/ko
Application granted granted Critical
Publication of KR101148334B1 publication Critical patent/KR101148334B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은, 예를 들면 동화에 의한 촬상 결과를 기록하는 비디오 카메라, 전자 스틸 카메라, 감시 장치 등에 적용하고, 촬상 수단(3)의 촬상면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단(3)과 화상 압축 수단(5)을 접속하여 일체화하도록 하여, 촬상 수단(3)으로부터 화상 압축 처리에 관한 처리 단위에 의해 순차로 촬상 결과(S1)을 출력한다. 또한 사전에, 유효 화상 영역의 일부 영역에서 데이터 압축 처리에 의한 발생 부호량을 검출하고, 이 발생 부호량에 의해 데이터 압축률을 가변하여 촬상 결과를 데이터 압축 처리한다.
Figure R1020067026454
촬상 장치, 촬상 소자, 집적회로, 촬상 결과

Description

촬상 장치와 촬상 결과의 처리 방법{IMAGING DEVICE AND IMAGING RESULT PROCESSING METHOD}
본 발명은, 촬상 장치, 촬상 소자의 집적회로 및 촬상 결과의 처리 방법에 관한 것으로서, 예를 들면 동화에 의한 촬상 결과를 기록하는 비디오 카메라, 전자 스틸 카메라, 감시 장치 등에 적용할 수 있다. 본 발명은, 촬상 수단의 촬상면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 촬상 수단으로부터 화상 압축 처리에 관한 처리 단위에 의해 순차로 촬상 결과를 출력함에 의해, CMOS 고체 촬상 소자 등의 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있도록 한다. 또한 사전에, 유효 화상 영역의 일부 영역에서 데이터 압축 처리에 의한 발생 부호량을 검출하고, 이 발생 부호량에 의해 데이터 압축률을 가변하여 촬상 결과를 데이터 압축 처리함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있도록 한다.
종래, 비디오 카메라에서는, CCD(Charge Coupled Device) 고체 촬상 소자로 부터 출력되는 촬상 결과를 프레임 메모리에 버퍼링하여 MPEG(Moving Picture Experts Group)의 수법에 의해 블록 단위로 데이터 압축한다. 또한 전자 스틸 카메라에서는, 마찬가지로, CCD 고체 촬상 소자로부터 출력되는 촬상 결과를 프레임 메모리에 버퍼링하고, JPEG(Joint Photographic Coding Experts Group)의 수법에 의해 블록 단위로 데이터 압축한다.
이에 대해 근래, CMOS 고체 촬상 소자가 실용에 제공되고 있다. 여기서 CCD 고체 촬상 소자와의 대비에 의해 도 1에 도시하는 바와 같이, CMOS 고체 촬상 소자는, 여러가지의 특징을 가지며, 예를 들면 CCD 고체 촬상 소자에서는, 전하의 축적 시작, 종료 시간이 전(全) 화소에서 동일한 것에 대해, CMOS 고체 촬상 소자는, 전하의 축적 시작, 종료 시간이 칼럼 또는 화소 단위로 별개 시각이라는 특징이 있다.
특히, 도 2에 도시하는 바와 같이, CCD 고체 촬상 소자가 시리얼 전송에 의해 각 화소의 촬상 결과를 판독하는데 대해, CMOS 고체 촬상 소자는, 도 3에 도시하는 바와 같이, X-Y 어드레스 제어에 의해 각 화소의 촬상 결과를 판독할 수 있고, 이로써 CCD 고체 촬상 소자에 비하여, 촬상 결과의 판독에 관해 높은 자유도를 갖는 특징이 있다. 그리고 도 2는 CCD 고체 촬상 소자로부터의 촬상 결과의 출력을 도시하는 모식도이고, CCD 고체 촬상 소자에서는, 각 화소에 보존된 축적 전하를 수직 전송 레지스터에 전송하고, 이 수직 전송 레지스터에 전송한 축적 전하를 수평 전송 레지스터에 순차로 전송하면서 수평 전송 레지스터에 의해 순차로 전송하여 출력한다. 이에 대해 도 3은, CMOS 고체 촬상 소자로부터의 촬상 결과의 출력을 도시하는 모식도이고, 칼럼선(線) 단위로 순차로 각 화소에 의한 촬상 결과를 출력하는 경우이고, 이 경우, 칼럼선의 수만큼 동시 병렬적으로 촬상 결과를 출력할 수 있다.
구체적으로, CMOS 고체 촬상 소자는, 수평 방향으로 연장하는 수평 어드레스선(線)과 수직 방향으로 연장한 수직 어드레스선에 의해, 각 화소에 마련된 MOSFET를 선택적으로 온 동작시킴에 의해, 이 수평 어드레스선 및 수직 어드레스선에 의해 선택되는 화소로부터 신호선에 촬상 결과가 출력된다. 이로써 이 도 3에 도시하는 예에서는, 수직 방향으로 연속하는 복수의 화소로, 하나의 칼럼선에 의한 신호선을 공통으로 사용하고 있음에 의해, 하나의 칼럼선에 접속된 복수의 화소에 관한 수평 어드레스선의 설정을 순차로 전환하여, 이들 복수의 화소에 마련된 MOSFET를 순차로 온 동작시킴에 의해, 이 하나의 칼럼선을 시분할에 의해 수직 방향으로 연속하는 각 화소에 할당하고, 이들 각 화소의 촬상 결과를 출력한다. 또한 이로써 수평 방향에 관해 본 경우에는, 수평 방향으로 연속하는 화소로 수평 어드레스선이 공통됨에 의해, 이와 같은 칼럼선에의 수직 방향으로 연속하는 각 화소의 시분할의 할당이, 수평 방향으로 연속하는 화소에서 동시 병렬적으로 실행되고, 이로써 라인 단위로 촬상 결과를 출력한다.
이와 같은 CMOS 고체 촬상 소자에 관해서는, 예를 들면 일본 특개2004-31785호 공보 등에, 주변회로와 일체화하는 구성이 제안되어 있다.
이에 대해 이와 같은 화상 데이터의 처리에 관한 부호화 방식으로서, 근래, 웨이블릿 변환 처리를 이용한 부호화 방법이 여러가지에 제안되어 있다. 여기서 웨 이블릿 변환 처리는, 수평 방향 및 수직 방향에 관해, 각각 주파수가 높은 성분과 주파수가 낮은 성분으로 화상 데이터를 대역 분할하여 각각 다운 샘플링함에 의해, 화상 데이터를 4개의 서브밴드로 분할하여 처리하는 방법이고, 예를 들면 도 4의 (A)에 도시하는 바와 같이, 이와 같은 분할 처리를 1회만 실행해 4개의 서브밴드(HH, HL, LH, LL)에 의해 화상 데이터를 처리하는 경우, 나아가서는 도 4의 (B)에 도시하는 바와 같이, 이들의 대역 분할의 처리를 반복하여 화상 데이터를 처리하는 경우 등이 있다. 또한 이 도 4의 (B)는, 대역 분할의 처리를 3회 반복한 경우이고, 서브밴드(HH, HL, LH, LL)중 수평 방향 및 수직 방향으로 주파수가 낮은 서브밴드(LL)에 관해, 다시 대역 분할의 처리를 실행하여 4개의 서브밴드(LLHH, LLHL, LLLH, LLLL)를 생성하고, 이 4개의 서브밴드(LLHH, LLHL, LLLH, LLLL)중 수평 방향 및 수직 방향으로 주파수가 낮은 서브밴드(LLLL)에 관해, 다시 대역 분할의 처리를 실행하여 4개의 서브밴드(LLLLHH, LLLLHL, LLLLLH, LLLLLL)로 한 예이다.
이와 같은 웨이블릿 변환 처리에 의한 부호화 처리는, 화상 데이터를 라인 단위로 처리하는 이른바 라인 베이스형 웨이블릿 변환과, 1화면을 분할하고 설정되는 직사각형 블록인 타일 단위로 화상 데이터를 처리하는 이른바 타일 베이스형 웨이블릿 변환이 제안되어 있다.
그런데 CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용할 수 있으면, 촬상 장치의 전체 구성을 한층더 간략화할 수 있다고 생각된다. 또한 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어 할 수 있다고 생각된다. 그와 관련하여, 화상에서는, 각 부분에서 부호화의 곤란도가 상위함에 의해, 종래의 MPEG의 수법에 의해 부호화 처리하는 경우에는, 예를 들면 TM5(Test Mode 5) 등의 수법에 의해 세밀하게 레이트 제어하고 있다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있는 촬상 장치, 촬상 소자의 집적회로 및 촬상 결과의 처리 방법을 제안하고자 하는 것이다. 또한 CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있는 촬상 장치, 촬상 소자의 집적회로 및 촬상 결과의 처리 방법을 제안하고자 하는 것이다.
이러한 과제를 해결하기 위해 본 발명은, 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전변환부와 접속되고, 촬상 수단과 일체로 지지된 주변회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변회로에 의해 처리하여 출력하는 촬상 장치에 적용하고, 주변회로는, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단을 가지며, 촬상 수단은, 주변회로에서의 촬상 결과의 처리 단위마다, 복수의 광전변환부에 의한 촬상 결과를 순차로 출력한다.
본 발명의 구성에 관한, 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전변환부와 접속되고, 촬상 수단과 일체로 지지된 주변회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변회로에 의해 처리하여 출력하는 촬상 장치에서는, 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단의 광전변환부와 주변회로가 접속되어 있음에 의해, 배선층을 수광면측에 마련한 경우의 여러가지의 불편함을 유효하게 회피하여, 높은 자유도에 의해 광전변환부와 주변회로를 접속할 수 있고, 이로써 촬상 결과의 판독에 관한 촬상 수단이 높은 자유도를 손상시키는 일 없이, 여러가지의 형태에 의해 촬상 수단의 촬상 결과를 주변회로에 공급할 수 있다. 이 구성을 전제로, 본 발명의 구성에 의해, 주변회로는, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단을 가지며, 촬상 수단은, 주변회로에서의 촬상 결과의 처리 단위마다, 복수의 광전변환부에 의한 촬상 결과를 순차로 출력하면, 촬상 수단에 의한 촬상 결과를 순차로 처리하여 데이터 압축할 수 있고, 이로써 촬상 결과의 판독에 관한 촬상 수단이 높은 자유도를 유효하게 이용하여, 데이터 압축 처리에 관한 메모리의 용량을 적게 할 수 있고, 그 만큼, 전체 구성을 간략화할 수 있다.
또한 본 발명은, 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전변환부와 접속되고, 촬상 수단과 일체로 지지된 주변회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변회로에 의해 처리하여 출력하는 촬상 장치에 적용하고, 주변회로는, 촬상 결과를 데이터 압축하여 출력하는 화상 압축 수단을 적어도 가지며, 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하고, 상기 검출한 부호량에 의거한 데이터 압축률에 의해, 촬상 결과를 데이터 압축한다.
본 발명의 구성에 관한, 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전변환부와 접속되고, 촬상 수단과 일체로 지지된 주변회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변회로에 의해 처리하여 출력하는 촬상 장치에서는, 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단의 광전변환부와 주변회로가 접속되어 있음에 의해, 배선층을 수광면측에 마련한 경우의 여러가지의 불편함을 유효하게 회피하여, 높은 자유도에 의해 광전변환부와 주변회로를 접속할 수 있고, 이로써 촬상 결과의 판독에 관한 촬상 수단이 높은 자유도를 손상시키는 일 없이, 여러가지의 형태에 의해 촬상 수단의 촬상 결과를 주변회로에 공급할 수 있다. 이 구성을 전제로, 본 발명의 구성에 의해, 주변회로는, 촬상 결과를 데이터 압축하여 출력하는 화상 압축 수단을 적어도 가지며, 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하고, 상기 검출한 부호량에 의거한 데이터 압축률에 의해, 촬상 결과를 데이터 압축하면, 사전의 처리에 관한 부호량에 의해 높은 정밀도로 레이트 제어할 수 있다. 이로써 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있다.
또한 본 발명은, 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전변환부와 접속되고, 촬상 수단과 일체로 지지된 주변회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변회로에 의해 처리하여 출력하는 촬상 소자의 집적회로에 적용하고, 주변회로는, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단을 가지며, 촬상 수단은, 주변회로에서의 촬상 결과의 처리 단위마다, 복수의 광전변환부에 의한 촬상 결과를 순차로 출력한다.
이로써 본 발명의 구성에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있는 촬상 소자의 집적회로를 제공할 수 있다.
또한 본 발명은, 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전변환부와 접속되고, 촬상 수단과 일체로 지지된 주변회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변회로에 의해 처리하여 출력하는 촬상 소자의 집적회로에 적용하고, 주변회로는, 촬상 결과를 데이터 압축하여 출력하는 화상 압축 수단을 적어도 가지며, 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하고, 상기 검출한 부호량에 의거한 데이터 압축률에 의해, 촬상 결과를 데이터 압축한다.
이로써 본 발명의 구성에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있는 촬상 소자의 집적회로를 제공할 수 있다.
또한 본 발명은, 복수의 광전변환부를 매트릭스형상으로 배치한 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성한 배선층에 의해 광전변환부와 접속하는 주변회로를 일체로 지지한 촬상 장치에서의 촬상 결과의 처리 방법에 적용하고, 촬상 수단으로부터 XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 결과의 출력 스텝과, 주변회로에 의해 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 데이터 압축의 스텝을 가지며, 촬상 결과의 출력 스텝은, 주변회로에서의 촬상 결과의 처리 단위마다, 복수의 광전변환부에 의한 촬상 결과를 촬상 수단으로부터 순차로 출력한다.
이로써 본 발명의 구성에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
또한 본 발명은, 복수의 광전변환부를 매트릭스형상으로 배치한 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성한 배선층에 의해 광전변환부와 접속하는 주변회로를 일체로 지지한 촬상 장치에서의 촬상 결과의 처리 방법에 적용하고, 촬상 수단으로부터 XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 결과의 출력 스텝과, 적어도 주변회로에 의해 촬상 결과를 데이터 압축하여 출력하는 데이터 압축의 스텝과, 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 상기 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하는 부호량의 검출 스텝을 가지며, 데이터 압축의 스텝은, 부호량의 검출 스텝에서 검출한 부호량에 의거한 데이터 압축률에 의해, 촬상 결과를 데이터 압축한다.
이로써 본 발명의 구성에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
또한 본 발명은, 복수의 광전변환부를 매트릭스형상으로 배치한 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성한 배선층에 의해 광전변환부와 접속하는 주변회로를 일체로 지지한 촬상 소자의 집적회로에서의 촬상 결과의 처리 방법에 적용하고, 촬상 수단으로부터 XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 결과의 출력 스텝과, 주변회로에 의해 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 데이터 압축의 스텝을 가지며, 촬상 결과의 출력 스텝은, 주변회로에서의 촬상 결과의 처리 단위마다, 복수의 광전변환부에 의한 촬상 결과를 촬상 수단으로부터 순차로 출력한다.
이로써 본 발명의 구성에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
또한 본 발명은, 복수의 광전변환부를 매트릭스형상으로 배치한 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성한 배선층에 의해 광전변환부와 접속하는 주변회로를 일체로 지지한 촬상 소자의 집적회로에서의 촬상 결과의 처리 방법에 적용하고, 촬상 수단으로부터 XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 결과의 출력 스텝과, 적어도 주변회로에 의해 촬상 결과를 데이터 압축하여 출력하는 데이터 압축의 스텝과, 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하는 부호량의 검출 스텝을 가지며, 데이터 압축의 스텝은, 부호량의 검출 스텝에서 검출한 부호량에 의거한 데이터 압축률에 의해, 촬상 결과를 데이터 압축한다.
이로써 본 발명의 구성에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
본 발명에 의하면, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있다. 또한 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있다.
도 1은 촬상 소자의 비교를 도시하는 도표.
도 2는 CCD 고체 촬상 소자에 의한 출력을 도시하는 모식도.
도 3은 CMOS 고체 촬상 소자에 의한 출력을 도시하는 모식도.
도 4는 웨이블릿 변환 처리의 설명에 제공하는 약선도.
도 5는 본 발명의 실시예 1에 관한 촬상 장치를 도시하는 블록도.
도 6은 도 5의 촬상 장치에서의 웨이블릿 변환부의 설명에 제공하는 약선도.
도 7은 도 5의 촬상 장치에서의 웨이블릿 변환부에서의 대역 분할의 설명에 제공하는 약선도.
도 8은 도 5의 촬상 장치에서의 웨이블릿 변환부에서의 처리에 의한 라인 버퍼용의 계수의 설명에 제공하는 약선도.
도 9는 도 5의 촬상 장치에 적용되는 집적회로를 도시하는 단면도.
도 10은 본 발명의 실시예 2에 관한 촬상 장치에서의 웨이블릿 변환부의 설명에 제공하는 약선도.
도 11은 본 발명의 실시예 3에 관한 촬상 장치에 적용되는 집적회로의 일부를 도시하는 사시도.
도 12의 (A), 도 12의 (B), 도 12의 (C) 및 도 12의 (D)는 도 11의 집적회로에 의한 촬상 결과의 출력의 설명에 제공하는 약선도.
도 13의 (A), 도 13의 (B) 및 도 13의 (C)는 도 11의 집적회로에 의한 촬상 결과의 출력 순서의 설명에 제공하는 약선도.
도 14는 본 발명의 실시예 4에 관한 촬상 장치를 도시하는 블록도.
도 15는 도 14의 촬상 장치에서의 데이터 압축 처리의 설명에 제공하는 평면도.
이하, 적절히 도면을 참조하면서 본 발명의 실시예를 상세히 기술한다.
(1) 실시예 1의 구성
도 5는, 본 발명의 실시예 1에 관한 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(1)는, 소망하는 피사체의 촬상 결과를 데이터 압축하여 기록 매체에 기록하고, 또한 소망하는 전송 대상에 송출한다.
여기서 이 촬상 장치(1)에서, 렌즈(2)는, 유저에 의한 조작에 응동하여 줌 배율, 조리개를 가변하여 촬상 소자(3)의 촬상면에 입사광을 집광한다. 광학 로우패스 필터(A1)는, 이 렌즈(2)의 출사광보다 공간 주파수가 높은 성분을 억압하고, 계속되는 색보정 필터(A2)는, 광학 로우패스 필터(A1)로부터 출사되는 출사광의 색 온도를 보정하여 출사한다.
촬상 소자(3)는, 예를 들면 CMOS 고체 촬상 소자에 의해 형성되고, 도시하지 않은 구동부로부터 출력되는 각종 타이밍 신호에 의해 동작하여, 촬상면에 형성된 광학상을 각 화소에 의해 광전 변환하여 촬상 신호(S1)를 출력한다. 이 처리에 있어서, 촬상 소자(3)는, 도시하지 않은 구동 회로에 의한 XY 어드레스 제어에 의해, 후단의 데이터 압축 수단에서의 부호화 처리의 순서에 대응하는 순서에 의해, 각 화소의 촬상 결과를 출력한다. 구체적으로, 이 실시예에서는, 화상 압축부(5)에서 라인 베이스형 웨이블릿 변환 처리에 의해 라인 단위로 부호화 처리함에 의해, 촬상 소자(3)는, 전(全) 화소 라인 순차에 의해 라인 단위로 촬상 결과를 출력한다. 이로써 이 실시예에서는, 후단의 처리 회로에서의 촬상 결과의 처리 단위마다 촬상 결과를 출력하여, 후술하는 바와 같이, 이 촬상 신호(S1)의 처리에 제공하는 메모 리 회로의 구성을 간략화한다.
아날로그 디지털 변환 회로(AD)(4)는, 이 촬상 신호(S1)를 아날로그 디지털 변환 처리하여 화상 데이터(D1)를 출력한다. 이 촬상 장치(1)는, 도시하지 않은 신호 처리 회로에 의해 이 화상 데이터(D1)를 화소 보간 처리, 색공간 변환 처리, 에지 강조 처리, 노이즈 제거 처리 등을 한 후, 화상 압축부(5)에 입력한다.
화상 압축부(5)는, 이 화상 데이터(D1)를 데이터 압축하여 부호화 처리하고, 그 처리 결과에 의한 부호화 데이터(D2)를 기록계, 전송계에 출력하고, 이로써 이 촬상 장치(1)에서는, 이 기록계에 의해 소정의 기록 매체에 부호화 데이터(D2)를 기록하고, 또한 이 전송계에 의해 부호화 데이터(D2)를 외부 기기에 전송한다. 화상 압축부(5)는, 웨이블릿 변환의 수법을 적용하여 이 데이터 압축의 처리를 실행한다.
즉 이 화상 압축부(5)에서, 웨이블릿 변환부(6)는, 순차로 입력되는 화상 데이터(D1)를 웨이블릿 변환 처리하고, 그 처리 결과에 의한 변환 계수 데이터(D3)를 출력한다. 여기서 웨이블릿 변환부(6)는, 이른바 라인 베이스형 웨이블릿 변환 처리에 의해 라인 단위로 웨이블릿 변환의 처리를 실행한다.
여기서 1단계의 대역 분할 처리를 도 6에 도시하는 바와 같이, 웨이블릿 변환부(6)는, 수직 방향으로 소정 탭 수를 갖는 로우패스 필터(6A) 및 하이패스 필터(6B)에 의해 화상 데이터(D1)를 2개의 대역 성분(VL, VH)으로 대역 제한한 후, 각 대역 성분(VL, VH)을 수평 방향으로 소정 탭 수를 갖는 로우패스 필터(6C) 및 하이패스 필터(6D), 로우패스 필터(6E) 및 하이패스 필터(6F)에 의해 대역 성분하여 서브밴드(LL 내지 HH)를 생성한다. 이로써 웨이블릿 변환부(6)는, 각 대역 분할 처리에 관한 입력단(入力段)의 로우패스 필터(6A) 및 하이패스 필터(6B)의 탭 수만큼, 라인 버퍼(7)에 의해 대역 분할 처리에 제공하는 입력 화상 데이터(D1)를 일시 보존하여 출력한다.
웨이블릿 변환부(6)는, 도 7에 도시하는 바와 같이, 이와 같은 대역 분할의 처리를 3단계에 의해 실행하고, 이로써 각 대역 분할 처리에 의해 웨이블릿 변환 계수(HH 내지 LLLLLL)를 계속되는 후단의 처리 회로에 의해 처리하도록 하여, 이들 각 대역 분할 처리의 입력단에 각각 대응하는 라인 버퍼(7A 내지 7C)가 마련되고, 선두단의 라인 버퍼(7A)에 아날로그 디지털 변환 회로(4)로부터 출력된 화상 데이터가 직접 입력된다.
또한 이들의 처리에 의해, 이들 라인 버퍼(7A 내지 7C)에는, 도 8에 도시하는 바와 같이 웨이블릿 변환 계수의 데이터가 축적되게 되고, 화상 데이터(D1)에 관한 1장의 프레임의 처리를 시작한 후, 이들 라인 버퍼(7A 내지 7C)에 데이터가 축적되면, 각각 대응하는 계수 데이터를 출력한다.
즉 도 7에서, 1프레임의 처리를 시작하여 라인 순차에 의해 선두단의 라인 버퍼(7A)에 화상 데이터(D1)를 입력하고, 이 라인 버퍼(7A)에 계속되는 수직 필터의 탭 수에 관한 화상 데이터(D1)가 축적되면, 이 라인 버퍼(7A)로부터 수직 필터의 탭 수에 의한 화상 데이터(D1)의 동시 병렬적인 출력이 라인 순차에 의해 시작되고, 이로써 계속되는 수직 필터(6AA, 6BA)로 수직 방향에 관한 대역 제한의 처리, 다운 샘플링의 처리가 라인 순차에 의해 시작된다. 이로써 웨이블릿 변환부(6) 에서는, 수직 필터(6AA, 6BA)로부터 라인 수를 약 1/2로 저감한 라인 순차에 의해 수직 방향의 대역 제한에 관한 변환 계수 데이터가 출력되고, 이 변환 계수 데이터가 수평 방향의 로우패스 필터 및 하이패스 필터에 입력된다.
여기서 웨이블릿 변환부(6)는, 이 수평 방향의 로우패스 필터 및 하이패스 필터에 있어서, 각 라인에서, 이들 필터의 탭 수만큼, 계수 변환 데이터가 각 필터에 입력되면, 올바른 변환 계수 데이터에 의한 수평 방향으로의 대역 제한의 처리, 다운 샘플링의 처리가 시작되고, 이 올바른 변환 계수 데이터에 의한 대역 제한의 처리가 이 라인의 말미측(末尾側), 필터의 탭 수에 관한 샘플링 수까지 계속된다. 이로써 이 1단째의 대역 제한의 처리는, 라인을 단위로 하여 순차로 실행된다.
또한 이와 같이 하여 얻어지는 1단째의 대역 제한 처리에 의한 변환 계수 데이터중, 수평 방향 및 수직 방향으로 주파수가 낮은 측의 변환 계수 데이터(LL)가 2단째의 대역 제한 처리에 관한 라인 버퍼(7B)에 입력되고, 여기서도 이 라인 버퍼(7B)에 계속되는 수직 필터의 탭 수에 관한 변환 계수 데이터가 축적되면, 이 라인 버퍼(7B)로부터의 동시 병렬적인 변환 계수 데이터의 출력에 의해, 계속되는 수직 필터(6AB, 6BB)에서 올바른 변환 계수 데이터에 관한 대역 제한의 처리, 다운 샘플링의 처리가 라인 순차에 의해 시작되고, 또한 라인 수를 약 1/2로 저감한 라인 순차에 의해 수직 방향의 대역 제한에 관한 변환 계수 데이터가 출력되고, 이 변환 계수 데이터가 수평 방향의 로우패스 필터 및 하이패스 필터에 입력된다. 이 2단째의 수평 방향의 로우패스 필터 및 하이패스 필터에서도, 각 라인에서, 이들 필터의 탭 수만큼, 계수 변환 데이터가 각 필터에 입력되면, 올바른 변환 계수 데 이터에 의한 수평 방향으로의 대역 제한의 처리, 다운 샘플링의 처리가 시작되고, 이로써 이 2단째의 대역 제한의 처리에서도 라인을 단위로 하여 순차로 실행된다.
또한 이 2단째의 대역 제한 처리에 의한 변환 계수 데이터중, 수평 방향 및 수직 방향으로 주파수가 낮은 측의 변환 계수 데이터(LLLL)가 3단째의 대역 제한 처리에 관한 라인 버퍼(7C)에 입력되고, 계속되는 수직 필터의 탭 수에 관한 변환 계수 데이터가 축적되면, 이 라인 버퍼(7C)로부터의 동시 병렬적인 변환 계수 데이터의 출력에 의해, 계속되는 수직 필터(6AC, 6BC)에서 올바른 변환 계수 데이터에 관한 대역 제한의 처리, 다운 샘플링의 처리가 라인 순차에 의해 시작되고, 또한 라인 수를 약 1/2로 저감한 라인 순차에 의해 수직 방향의 대역 제한에 관한 변환 계수 데이터가 출력되고, 이 변환 계수 데이터가 수평 방향의 로우패스 필터 및 하이패스 필터에 입력된다. 이 2단째의 수평 방향의 로우패스 필터 및 하이패스 필터에서도, 각 라인에서, 이들 필터의 탭 수만큼, 계수 변환 데이터가 각 필터에 입력되면, 올바른 변환 계수 데이터에 의한 수평 방향으로의 대역 제한의 처리, 다운 샘플링의 처리가 시작되고, 이로써 이 3단째의 대역 제한의 처리에서도 라인을 단위로 하여 순차로 실행된다.
이들에 의해 이 실시예에 있어서, 웨이블릿 변환부(6)는, 라인 단위에 의해 화상 데이터를 처리하여, 각 분할 처리의 입력측에 마련하는 메모리 회로인 라인 버퍼의 용량을 소형화하여 전체 구성을 간략화한다.
양자화부(8)는, 이와 같이 하여 웨이블릿 변환부(6)로부터 출력되는 변환 계수 데이터(D3)를 순차로 양자화 처리하여 출력하고, 엔트로피 부호화부(9)는, 이 양자화부(8)의 출력 데이터를 순차로 엔트로피 부호화 처리하여 출력한다. 레이트 제어부(10)는, 이 엔트로피 부호화부(9)의 출력 데이터를 레이트 제어하여 부호화 데이터(D2)를 출력한다. 이들의 처리에 있어서, 양자화부(8), 엔트로피 부호화부(9)는, 상술한 바와 같이 하여 웨이블릿 변환부(6)의 라인 버퍼(7A 내지 7C)로 변환 계수 데이터가 축적되어 대응하는 계수 데이터가 출력되는 타이밍에서, 웨이블릿 변환부(6)로부터 출력되는 계수 데이터(D3)를 순차로 처리하고, 이로써 이 실시예에서는, 양자화부(8), 엔트로피 부호화부(9)에서도, 라인 단위에 의해 처리를 실행하여, 양자화부(8), 엔트로피 부호화부(9)의 구성을 간략화한다.
그리하여 이들에 의해 화상 압축부(5)는, 전체로서 라인 단위로 화상 데이터(D1)를 데이터 압축 처리하고, 촬상 소자(3)는, 이와 같은 화상 압축부(8)의 라인 단위의 처리에 대응하여 라인 단위에 의해 촬상 결과를 출력하도록, 나아가서는 각 라인에서는, 화상 압축부(5)의 처리 순서에 의해 촬상 결과를 출력하도록 하여, 직접, 아날로그 디지털 변환 회로(4)로부터 출력되는 화상 데이터(D1)를 화상 압축부(5)에 입력하고, 이것에 의해서도 전체 구성을 간략화한다.
도 9는, 이 촬상 장치(1)에 적용되는 집적회로의 일부를 도시하는 단면도이다. 여기서 이 집적회로(51)는, 촬상 소자(3)와 주변회로를 일체화하여 형성되고, 이 실시예에서는, 이 일체화에 관한 주변회로에, 촬상 소자(3)의 구동 회로, 아날로그 디지털 변환 회로(4), 화상 압축부(5)가 적용된다. 이로써 이 실시예에 관한 촬상 장치는, 전체 구성을 간략화한다.
집적회로(51)는, 화소부를 매트릭스형상으로 배치하여 촬상 소자부가 형성되 고, 이 촬상 소자부에 의해 촬상 소자(3)가 형성된다. 또한 이 촬상 소자부의 주위에 주변회로부가 형성된다. 이로써 도 9는, 이 촬상 소자부와 주변회로부의 일부를 도시하는 단면도이다.
집적회로(51)는, 10 내지 20[㎛] 정도의 두께의 실리콘(Si)층에 의해 소자층(52)이 형성되고, 화소부에서는, 이 소자층(52)에, 화소 단위의 광전 변환 처리에 관한 포토다이오드(53)가 형성되고, 주변회로부에서는, 이 소자층(52)의 하층측에, 주변회로를 구성하는 MOSFET 등의 각 회로 소자가 형성된다.
집적회로(51)는, 이 소자층(52)의 상층에, 순차로, 실리콘 산화(SiO2)막(54), 차광막(55), 실리콘 질화막(SiN)(56), 색 필터(A27), 마이크로 렌즈(58)가 적층된다. 또한 이 소자층(52)의 하층에, 포토다이오드(53), 주변회로의 회로 소자를 배선하는 배선층(59)이 형성되고, 이 배선층(59)의 하층측에, 전체를 지지하는 기판 지지재(60)가 마련된다. 이로써 집적회로(51)는, 수광면과는 반대측에 배선층(59)이 마련되어, 배선층을 수광면측에 마련한 경우의 여러가지의 부적합함을 단번에 해결하여 배선의 자유도를 현격하게 향상한다. 또한 이와 같이 배선층을 수광면측에 마련하는 부적합함으로서는, 배선층을 형성하는 배선에 의한 각 화소에의 입사광량의 감소, 인접 화소에의 크로스토크 등이 있다.
또한 집적회로(51)는, 이와 같이 수광면과는 반대측에 배선층(59)이 형성됨에 의해, 두께가 얇은 반도체 기판을 배선층(59)측에서 처리하여 포토다이오드(53), 주변회로의 회로 소자를 형성한 후, 이 반도체 기판에 배선층(59), 기판 지지재(60)를 순차로 형성하고, 그 후, 이 반도체 기판을 뒤집어서 CMP에 의해 연마하여 소자층(52)이 완성되고, 차광막(55), 실리콘 질화막(SiN)(56), 색 필터(A27), 마이크로 렌즈(58)를 순차로 형성하여 작성된다.
이들에 의해 이 촬상 장치(1)는, 촬상 소자(3)와 주변회로를 일체로 집적회로화하는 것을 전제로, 이와 같이 수광면과는 반대측에 배선층(59)을 형성하여, 배선의 자유도가 현격적으로 향상하는 점을 유효하게 이용하여, 데이터 압축 처리에 대응하는 처리 단위인 라인 단위로, 나아가서는 이 데이터 압축 처리에 대응하는 순서에 의해 촬상 소자(3)로부터 촬상 결과를 출력하여 처리할 수 있도록 배선하고, 전체 구성을 간략화한다.
(2) 실시예 1의 동작
이상의 구성에 있어서, 이 촬상 장치(1)에서는, 렌즈(2)에 의해 촬상 소자(3)의 촬상면에 피사체의 화상이 형성되고, 이 화상의 촬상 결과가 촬상 소자(3)로부터 출력되어 아날로그 디지털 변환 회로(4)에 의해 화상 데이터(D1)로 변환된다. 이 화상 데이터(D1)는, 에지 강조 등의 처리가 실행된 후, 화상 압축부(5)에 의해 데이터 압축되어 부호화 데이터(D2)로 변환되고, 이 부호화 데이터(D2)가 기록 매체에 기록되고, 나아가서는 외부 기기에 전송된다. 이로써 촬상 장치(1)에서는, 촬상 결과를 데이터 압축하고 기록하고, 또한 전송한다.
이들 일련의 처리에 있어서, 화상 데이터(D1)는, 화상 압축부(5)에서 웨이블릿 변환 처리에 의해 웨이블릿 변환 계수 데이터(D3)로 변환 처리된 후, 이 웨이블릿 변환 계수 데이터(D3)가 양자화 처리, 엔트로피 부호화 처리, 레이트 제어되어 부호화 데이터(D2)로서 출력된다. 이 때 촬상 소자(3)로부터 출력되는 촬상 결과인 촬상 신호(S1)가, 이와 같은 화상 압축부(5)에서의 처리 단위마다, 순차로 출력되고, 이로써 아날로그 디지털 변환 회로(4)로부터 출력되는 화상 데이터(D1)에서는, 직접, 화상 압축부(5)에 입력하여 데이터 압축 처리할 수가 있고, 이로써 전체 구성을 간략화할 수 있다.
그리하여 CMOS 고체 촬상 소자에 의한 촬상 소자(3)에서는, XY 어드레스 제어에 의해 촬상 결과를 출력함에 의해, 촬상 결과의 판독에 높은 자유도를 가지며, 이로써 라인을 단위로 한 라인 순차에 의한 촬상 결과의 출력뿐만 아니라, 예를 들면 칼럼선을 단위로 한 촬상 결과의 출력, 소정 블록을 단위로 한 촬상 결과의 출력 등, 여러가지의 형태에 의해 촬상 수단의 촬상 결과를 출력할 수 있다. 이로써 이 실시예에서는, 이 촬상 결과의 출력을 화상 압축부(5)에서의 처리 단위마다에 의해 실행하도록 하여, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화한다.
보다 구체적으로, 이 촬상 장치(1)에서는, 화상 압축부(5)에서의 처리 단위가 라인 단위로 설정되어, 이른바 라인 베이스형 웨이블릿 변환 처리에 의해 라인 단위로 웨이블릿 변환되어 화상 데이터가 데이터 압축 처리되고, 또한 이로써 촬상 소자(3)로부터 라인 단위에 의해 촬상 결과를 출력하고, 이로써 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화한다.
촬상 장치(1)에서는, 이와 같이 하여 촬상 결과를 출력하는 촬상 소자(3)와, 이 촬상 소자(3)에 의한 촬상 결과를 처리하는 주변회로인 화상 압축부(5)를, 아날 로그 디지털 변환 회로(4)와 함께 집적회로에 의해 일체화하여 구성되고, 이로써 전체 구성을 소형화하고, 나아가서는 구성을 간략화한다.
그러나 단지 CMOS 프로세스에 의해 촬상 소자와 주변회로를 일체화한 것으로는, 촬상 소자, 주변회로에 관한 배선 패턴에 의해, 여러가지의 부적합함이 발생하고, 이로써 촬상 결과의 판독에 관한 높은 자유도를 충분히 발휘할 수가 없게 된다. 이 때문에 이 실시예에서는, 촬상 수단의 수광면과는 반대측의 면에 배선층이 형성되고, 이 배선층에 의해 촬상 수단을 구성하는 광전변환부와 주변회로가 접속되어 일체로 지지되고, 이로써 촬상 결과의 판독에 관한 높은 자유도를 충분히 확보할 수 있도록 집적회로를 구성하여, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여 전체 구성을 간략화한다.
(3) 실시예 1의 효과
이상의 구성에 의하면, 촬상 수단의 촬상면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 촬상 수단으로부터 화상 압축 처리에 관한 처리 단위에 의해 순차로 촬상 결과를 출력함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있다.
또한 이 화상 압축 처리가, 웨이블릿 변환 처리에 의해, 라인 단위로 촬상 결과를 데이터 압축하는 처리인 것에 대해, 라인 순차에 의해 복수의 광전변환부에 의한 촬상 결과를 촬상 소자로부터 출력함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있다.
(4) 실시예 2
이 실시예에서는, 실시예 1에 관해 상술한 촬상 장치(1)에 있어서, 라인 베이스형 웨이블릿 변환 처리에 대신하여, 타일 베이스형 웨이블릿 변환 처리에 의해 데이터 압축한다. 이로써 이 실시예에 관한 촬상 장치에서는, 이 웨이블릿 변환부(6), 웨이블릿 변환부(6)에 관련되는 구성이 다른 점을 제외하고, 실시예 1에 관한 촬상 장치(1)와 동일하게 구성된다. 이로써 이하의 설명에서는, 도 5를 유용하여 실시예를 설명하고, 또한 이 설명에 있어서, 실시예 1에 관한 촬상 장치(1)와 동일한 구성에 관해서는, 중복된 설명을 생략한다.
즉 이 촬상 장치에 있어서, 웨이블릿 변환부(6)는, 도 10에 도시하는 바와 같이, 촬상 결과에 의한 화상을 수평 방향 및 수직 방향으로 각각 소정의 분할수에 의해 분할한 블록인 타일(T0, T1, T2, …)을 처리 단위로 설정하여, 순차로, 래스터 주사의 순서에 의해 타일(T0, T1, T2, …) 단위로 화상 데이터(D1)를 입력하여 웨이블릿 변환 처리하고, 양자화부(8)는, 이 웨이블릿 변환부(6)로부터 타일 단위로 순차로 출력되는 변환 계수 데이터를 순차로 양자화 처리한다. 또한 계속되는 엔트로피 부호화부(9)는, 마찬가지의 타일 단위에 의해 순차로 출력되는 양자화부(8)의 출력 데이터를 엔트로피 부호화 처리하고, 레이트 제어부(10)는, 이 엔트로피 부호화부(9)의 출력 데이터를 레이트 제어하여 출력한다.
또한 이 타일을 단위로 한 웨이블릿 변환 처리는, 2차원의 필터에 의해 대역 제한, 다운 샘플링함에 의해, 실행된다. 이로써 타일 베이스형 웨이블릿 변환 처리 는, 라인 베이스형 웨이블릿 변환 처리에 비하여, 각 분할 처리의 입력단에 마련하는 버퍼 메모리의 용량을 작게 할 수 있다.
이로써 이 촬상 장치에 있어서, 화상 압축부(5)는, 타일을 처리 단위로 하여 데이터 압축의 처리를 실행하고, 이것에 대응하여 촬상 소자(3)는, 도시하지 않은 구동 회로에 의한 XY 어드레스 제어에 의해, 타일 단위에 의해 순차로 각 광전변환부에 의한 촬상 결과를 출력한다.
이 실시예 2의 구성에 의하면, 촬상 수단의 촬상면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 촬상 수단으로부터 화상 압축 처리에 관한 처리 단위에 의해 순차로 촬상 결과를 출력하도록 하고, 화상 압축 수단에 의한 데이터 압축 처리를 타일 단위에 의한 웨이블릿 변환 처리에 적용하여, 촬상 소자로부터 타일 단위로 촬상 결과를 출력함에 의해, 타일 단위에 의해 화상 데이터를 처리한 경우에 있어서도, CMOS 고체 촬상 소자 등의 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층더 간략화할 수 있다.
(5) 실시예 3
도 11은, 본 발명의 실시예 3에 관한 촬상 장치에 적용되는 집적회로의 일부를 도시하는 사시도이다. 이 실시예에서는, 이 집적회로에 의해 실시예 1, 2에 관한 촬상 장치를 구성한다. 또한 이 집적회로(61)에 있어서, 실시예 1에 관해 상술한 집적회로(51)와 동일한 구성은, 대응하는 부호를 붙여서 나타내고, 중복된 설명은 생략한다.
여기서 이 집적회로(61)는, 촬상 소자(3)와 주변회로를 일체화하여 형성되고, 이 주변회로가 실시예 1, 2에 관한 주변회로와 동일하게 형성되고, 이로써 이 실시예에 관한 촬상 장치에서는, 전체 구성을 간략화한다.
이 집적회로(61)는, 주변회로부에 촬상 소자부를 적층하여 형성되고, 주변회로부는, 소정의 반도체 프로세스에 의해, 반도체 기판(62)상에 주변회로를 구성한 반도체 소자를 형성한 후, 이들 반도체 소자의 상층에 배선층(63)를 형성하여 이들 반도체 소자를 접속함에 의해 형성된다. 주변회로부는, 이 배선층(63)의 표층에 촬상 소자부와의 접속용의 전극 등이 형성된다.
촬상 소자부는, 실시예 1에 관해 상술한 바와 마찬가지로, 광전변환부(화소부)를 매트릭스형상으로 배치하여 형성되고, 10 내지 20[㎛] 정도의 두께의 실리콘(Si)층에 의해 소자층(52)이 형성된다. 촬상 소자부는, 이 소자층(52)에, 화소 단위의 광전 변환 처리에 관한 포토다이오드가 형성된다.
촬상 소자부는, 이 소자층(52)의 상층에, 순차로, 실리콘 산화막, 차광막, 실리콘 질화막, 색 필터(A27), 마이크로 렌즈(58)가 적층되어 촬상면이 형성되는 것에 대해, 소자층(52)의 하층에, 배선층(59)이 형성된다. 촬상 소자부는, 이 배선층(59)의 하층측에 주변회로부가 마련되고, 주변회로부의 배선층(63)과 배선층(59)이 접속되어 촬상 소자와 주변회로가 일체로 집적회로화된다.
이로써 집적회로(61)는, 수광면과는 반대측에 배선층(59)이 마련되어, 배선층(59)을 수광면측에 마련하는 경우의 여러가지의 부적합함을 단번에 해결하여 배선의 자유도를 현격적으로 향상한다. 또한 이와 같이 수광면과는 반대측에 형성된 배선층(59)을 통하여 주변회로를 형성한 주변회로부와 일체화됨에 의해, 촬상 소자부와 주변회로부를 다른 웨이퍼 프로세스에 의해 작성하여 일체화할 수 있어서, 그 만큼, 촬상 소자부와 주변회로부를 각각에 적합한 웨이퍼 프로세스에 의해 작성하여, 전체로서 각종의 성능을 향상할 수 있다.
구체적으로, 주변회로를 형성한 주변회로부는, 각 반도체 소자, 배선 패턴 폭을 작게 하여 고밀도로 형성함에 의해, 칩 사이즈를 소형화하여 소비 전력을 삭감할 수 있다. 그러나 촬상 소자부는, 화소 사이즈를 작게 하면, 그 만큼, 감도가 저하되고, 또한 화소수에 응하여 칩 면적도 커진다. 이로써 이 실시예와 같이 촬상 소자부와 주변회로부를 다른 웨이퍼 프로세스에 의해 작성하여 일체화하는 경우에 있어서는, 촬상 소자부, 주변회로부의 각각에 적합한 웨이퍼 프로세스에 의해 작성할 수가 있고, 그 만큼, 전체로서의 성능을 향상할 수 있다.
또한 이와 같이 수광면과는 반대측에 형성된 배선층(59)을 통하여 주변회로를 형성한 주변회로부와 일체화됨에 의해, 이 집적회로(61)는, 실시예 1에 관해 상술한 바와 마찬가지로 하여, 두께가 얇은 반도체 기판을 배선층(59)측에서 처리하여 포토다이오드를 형성한 후, 이 반도체 기판에 배선층(59)을 형성하고, 별도 공정에 의해 작성된 주변회로부가 적층된다. 그 후, 집적회로(61)는, 이 반도체 기판을 뒤집어서 CMP에 의해 연마하여 소자층(52)이 완성되고, 차광막, 색 필터(A27), 마이크로 렌즈(58) 등을 순차로 형성하고 작성된다.
이와 같은 다른 웨이퍼 프로세스에 의한 반도체 기판의 적층에 의한 집적회로(61)는, 도 12의 (A)에 도시하는 바와 같이, 각 화소 출력을 동시 병렬적으로 주 변회로에 출력하여 아날로그 디지털 변환 처리하도록, 촬상 소자부와 주변회로와의 접속을 구성할 수 있다. 또한 이에 대신하여, 도 12의 (B)에 도시하는 바와 같이, 칼럼선을 단위로 하여 동시 병렬적으로 촬상 결과를 출력하여 주변회로에서 처리할 수도 있, 또한 도 12의 (C)에 도시하는 바와 같이, 라인을 단위로 하여 동시 병렬적으로 촬상 결과를 출력하여 주변회로에서 처리할 수도 있고, 이들에 의해 현격적으로 촬상 소자 출력의 자유도를 한층더 향상할 수 있다.
또한 도 12의 (A)의 예인 경우, 각 화소에 각각 신호선이 마련되어 있음에 의해, 예를 들면 전 화소에 마련된 MOSFET를 동시에 온 동작시켜서 모든 화소에 의한 촬상 결과를 동시 병렬적으로 출력하는 경우, 도 3에 관해 상술한 바와 같이 수평 어드레스선의 제어에 의해 라인 단위로 촬상 결과를 출력하는 경우, 도 12의 (C)에 관해 후술하는 바와 같이, 이 수평 어드레스선에 의한 선택에 대신하여 수직 어드레스선에 의한 선택에 의해 수직 방향으로 연속하는 화소에 의한 촬상 결과를 동시 병렬적으로 출력하는 경우 등, 여러가지의 X-Y 어드레스 제어에 의해 촬상 결과를 출력할 수 있다. 또한 도 12의 (C)의 경우에는, 도 3에 관해 상술한 수평 어드레스선의 제어에 대신하여, 수직 어드레스선의 제어에 의해, 하나의 신호선을 시분할에 의해 수평 방향으로 연속하는 화소에 순차로 할당하여, 수직 방향으로 연속하는 화소에 의한 촬상 결과를 동시 병렬적으로 출력할 수가 있다. 이에 대해 도 12의 (D)의 예인 경우, 하나의 신호선에 공통으로 접속된 하나의 블록의 복수 화소를, 수직 어드레스선 및 수평 어드레스선의 제어에 의해 순차로 선택함에 의해, 이 하나의 신호선에 의한 하나의 블록으로, 래스터 스캔, 지그재그 스캔 등, 여러가지 의 순서에 의해 촬상 결과를 출력할 수 있다. 또한 수평 어드레스선 및 수직 어드레스선이 수평 방향 및 수직 방향으로 연속하는 화소로 각각 공통으로 마련됨에 의해, 이들 화소의 스캔 순서는, 복수의 블록에서 동일하게 된다.
이로써 도 13의 (A)에 도시하는 바와 같이, 집적회로(61)는, 라인 단위에 의한 출력인 라인 순차에 의해, 또한 도 13의 (B)에 도시하는 바와 같이, 칼럼선을 단위로 한 순서에 의해 촬상 결과를 출력하도록, 촬상 소자부와 주변회로부를 접속할 수 있고, 또한 도 13의 (C)에 도시하는 바와 같이, 블록을 단위로 하여 촬상 결과를 출력하도록, 촬상 소자부와 주변회로부를 접속할 수 있다.
그리하여 이 실시예에 관한 촬상 장치에 있어서, 실시예 1에 관해 상술한 라인 단위에 의한 처리에 의한 촬상 장치는, 도 12의 (A) 내지 도 12의 (D)의 접속중의 대응하는 접속에 의해 촬상 결과를 주변회로에 입력한다.
또한 이 실시예에 있어서, 집적회로(61)는, 이와 같은 접속에 의해 촬상 결과를 동시 병렬적으로 복수 계통에 의해 주변회로에 출력하고, 주변회로에서는, 데이터 압축 처리에 관한 화상 압축부(8)가 3계통의 처리 회로(C1 내지 C3)(도 11)에 의해 형성되고, 이들 3계통의 처리 회로(C1 내지 C3)에 의해 복수 계통에 의한 화상 데이터를 동시 병렬적으로 처리한다.
이 실시예에서는, 주변회로를, 촬상 수단과는 다른 웨이퍼 생성 프로세스에 의해 형성함에 의해, 촬상 소자부와 주변회로부를 각각에 적합한 웨이퍼 프로세스에 의해 작성하여, 여러가지의 성능을 향상할 수 있다.
(6) 실시예 4
도 14는, 도 5와의 대비에 의해 본 발명의 실시예 4에 관한 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(71)에 있어서, 도 5에 관해 상술한 촬상 장치(1)와 동일한 구성은, 대응하는 부호를 붙이고 중복된 설명은 생략한다. 이 촬상 장치(71)는, 실시예 1 또는 실시예 3에 관해 상술한 것과 마찬가지의 집적회로화에 의해, 촬상 소자(73)가, 이 촬상 소자(73)의 구동 회로, 아날로그 디지털 변환 회로(4), 화상 압축부(75)에 의한 주변회로와 함께 일체화되어 집적회로에 의해 구성되고, 이로써 여러가지 형태에 의해 촬상 결과를 주변회로에 출력할 수 있도록 구성하여, 전체 구성을 간략화, 소형화한다.
그래서 촬상 소자(73)는, CMOS 고체 촬상 소자에 의해 구성되고, 도시하지 않은 구동 회로에 의한 구동에 의해, 도 15에 도시하는 바와 같이 유효 화상 영역(AR)에 의한 촬상 결과를 화상 압축부(75)의 처리 단위에 의해 순차로 출력하고, 이로써 촬상 신호(S1)를 출력한다. 이 처리에서, 촬상 소자(73)는, 도시하지 않은 구동 회로에 의한 XY 어드레스 제어에 의해, 각 프레임 사이에서, 이 유효 화상 영역(AR)의 일부 영역(ARA 내지 ARE)의 촬상 결과를 사전에 출력한다. 이 실시예에 있어서, 이 일부 영역(ARA 내지 ARE)은, 직사각형의 영역에 의해 복수개 설정되고, 또한 이들 복수개의 영역이 유효 화상 영역(ARA)의 중앙의 영역(ARC), 4모퉁이의 영역(ARA, ARB, ARD, ARE)에 설정되고, 이로써 이들 유효 화상 영역(AR)에 설정된 일부 영역(ARA 내지 ARE)에 의해, 유효 화상 영역(AR) 전체의 데이터 압축에 필요로 하는 처리를 대략적으로 파악할 수 있도록 구성되어 있다.
화상 압축부(75)는, 이와 같이 하여 얻어지는 일부 영역(ARA 내지 ARE)의 촬 상 결과를 데이터 압축하여 부호량을 검출하고, 이 검출한 부호량에 의거한 데이터 압축률에 의해, 촬상 소자(73)의 촬상 결과를 데이터 압축한다. 즉 이 화상 압축부(75)에 있어서, 특정 영역 화상 압축부(76)는, 일부 영역(ARA 내지 ARE)에 관한 화상 데이터(D1)를 데이터 압축하고, 그 발생 부호량을 부호량 할당 제어부(77)에 통지하고, 부호량 할당 제어부(77)는, 이 발생 부호량에 의거하여, 유효 화상 영역(AR) 전체에서 발생하는 부호량을 예측하고, 이 예측 결과에 의해 데이터 압축률을 결정한다. 또한 이 실시예에 있어서, 특정 영역 화상 압축부(76)는, 이 일부 영역(ARA 내지 ARE)을 타일에 상당하는 처리 단위로 설정한 웨이블릿 변환 처리에 의해, 또는 이 일부 영역(ARA 내지 ARE)을 하나 또는 복수의 매크로 블록으로 설정한 MPEG2에 의해 데이터 압축하는 것이지만, 이 데이터 압축 수법에는, 여러가지의 수법을 널리 적용할 수 있다.
화상 압축부(78)는, 이 부호량 할당 제어부(77)에 의한 데이터 압축률에 응하여 양자화 스케일을 가변하여, 유효 화상 영역(AR)에 의한 화상 데이터(D1)를 데이터 압축하여 출력하고, 레이트 제어부(79)는, 이 화상 압축부(78)에 더미 데이터를 개삽(介揷)하는 등에 의해 레이트 제어의 처리를 실행하여 부호화 데이터(D2)를 출력한다. 또한 여기서 이 실시예에 있어서, 화상 압축부(78)는, 특정 영역 화상 압축부(76)와 동일한 데이터 압축 수법에 의해 데이터 압축의 처리를 실행하는 것이지만, 실용상 충분히 레이트 제어할 수 있는 경우에서는, 특정 영역 화상 압축부(76)와 다른 데이터 압축 수법에 의해 화상 데이터를 데이터 압축하도록 하여도 좋다.
이들에 의해 이 실시예에서는, CMOS 고체 촬상 소자 등의 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 사전에, 유효 화상 영역의 일부 영역에서 데이터 압축 처리에 의한 발생 부호량을 검출하고, 이 발생 부호량에 의해 데이터 압축률을 가변하여 전체의 촬상 결과를 데이터 압축 처리하고, 이들에 의해 적절하게 데이터 압축률을 설정하여 종래에 비해 보다 적절하게 레이트 제어한다.
즉 이 일부 영역에 의한 발생 부호량을 TS라고 하여 두고, 화상 전체의 목표 부호량을 TALL이라고 하여 두면, 나머지 영역에 할당 가능한 부호량(TE)은, TALL-TS에 의해 표시할 수 있다. 이로써 나머지 영역을 데이터 압축하여 발생하는 부호량을 TR이라고 하여 두면, 여분의 부호량(TExta)을 (TR＋TS)-TALL에 의해 표시할 수 있고, 이 여분의 부호량(TExta)을 전체에 분배하도록 데이터 압축률을 설정하면, 목표 부호량에 의해 데이터 압축 처리할 수 있고, 나머지 영역을 데이터 압축하여 발생하는 부호량(TR)을 사전의 데이터 압축에 의해 발생하는 부호량(TS)에 의해 예측하여 적절하게 데이터 압축 처리할 수 있다.
부호량 할당 제어부(77), 레이트 제어부(79)는, 이와 같은 사전의 부호화 처리에 의한 발생 부호량에 의해 화상 압축부(78)의 데이터 압축률을 가변하여 레이트 제어의 처리를 실행한다.
이들에 의해 이 실시예에서는, 사전에, 유효 화상 영역의 일부 영역에서 데이터 압축 처리에 의한 발생 부호량을 검출하고, 이 발생 부호량에 의해 데이터 압축률을 가변하여 촬상 결과를 데이터 압축 처리함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 종래에 비하여 간이한 처리에 의해, 보다 적절하게 레이트 제어할 수 있다.
또한 이 사전에 검출한 부호량에 의거한 데이터 압축률에 의한 촬상 결과의 데이터 압축을, 유효 화상 영역에 의한 촬상 결과의 데이터 압축에 적용함에 의해, 실용상 충분히 레이트 제어할 수 있는 경우에는, 사전의 처리에 관한 데이터 압축 수법과는 다른 데이터 압축 수법에 의해 화상 데이터를 데이터 압축할 수 있고, 이로써 여러가지의 데이터 압축 수법에 의해 데이터 압축하는 경우에 널리 적용할 수 있다.
구체적으로, 데이터 압축률에 대응하는 양자화 스케일에 의해 계수 데이터를 양자화 처리하는 경우에 적용하여, 간이한 처리에 의해 레이트 제어할 수 있다.
또한 이와 같은 사전의 처리에 관한 데이터 압축과는 별도로 다시 유효 화소 영역에 관해 데이터 압축함에 의해, 실용상 충분히 레이트 제어할 수 있는 경우에는, 사전의 처리에 관한 데이터 압축 수법과는 다른 데이터 압축 수법에 의해 화상 데이터를 데이터 압축할 수 있고, 이로써 여러가지의 데이터 압축 수법에 의해 데이터 압축하는 경우에 널리 적용할 수 있다.
또한 이와 같은 사전의 처리에 관한 데이터 압축 수단과, 이 사전의 처리에 의한 데이터 압축률에 의한 데이터 압축 수단을 별도 계통에 의해 가짐에 의해서도, 사전의 처리에 관한 데이터 압축 수법과는 다른 데이터 압축 수법에 의해 화상 데이터를 데이터 압축할 수 있고, 이로써 여러가지의 데이터 압축 수법에 의해 데이터 압축하는 경우에 널리 적용할 수 있다.
그래서 이들의 구성에 있어서, 촬상 수단에 의한 수광면과는 반대측의 면에 형성된 배선층에 의해 이 배선층의 하층에 배치된 주변회로와 접속함에 의해, 사전에 촬상 수단으로부터 일부 촬상 결과를 취득하여 발생 부호량을 검출하여 다시 부호화 처리하는 경우에도, 이들 일련의 처리에 적합하도록 촬상 수단으로부터 주변회로에 촬상 결과를 출력할 수 있다.
또한 이와 같이 하여, 주변회로를, 촬상 수단과는 다른 웨이퍼 생성 프로세스에 의해 형성함에 의해, 촬상 소자부와 주변회로부를 각각에 적합한 웨이퍼 프로세스에 의해 작성하여, 전체로서 각종의 성능을 향상할 수 있다.
(7) 실시예 5
이 실시예에서는, 실시예 4의 구성에 있어서, 사전의 데이터 압축 처리에 의해 검출한 발생 부호량에 의해, 나머지 영역에 관한 발생 부호량을 제어하여 레이트 제어의 처리를 실행한다. 이로써 촬상 소자(73)는, 사전의 데이터 압축 처리에 계속해서, 일부 영역(ARA 내지 ARE)을 제외한 유효 화소 영역(AR)의 촬상 결과를 출력하고, 부호량 할당 제어부(77)에서는, 이 일부 영역(ARA 내지 ARE)을 제외한 유효 화소 영역(AR)의 촬상 결과에 관해, 화상 압축부(78)의 데이터 압축 처리에 관한 양자화 스케일을 제어한다. 또한 촬상 장치는, 사전의 데이터 압축 처리에 의한 부호화 데이터를, 이 화상 압축부(78)의 데이터 압축 처리에 의한 부호화 데이터와 함께 출력한다.
또한 이와 같은 이 일부 영역(ARA 내지 ARE)을 제외한 유효 화소 영역(AR)의 촬상 결과에 관한 데이터 압축 처리에 의한 발생 부호량에 의해, 계속되는 사전의 처리에 관한 특정 영역 화상 압축부(76)에서의 양자화 스케일을 제어한다. 또한 이들에 의해 이 실시예에 있어서, 특정 영역 화상 압축부(76)와 화상 압축부(78)는 동일한 수법에 의해 화상 데이터(D1)를 데이터 압축한다.
이 실시예에서는, 이들 화상 데이터(D1)의 처리에 관한 구성이 다른 점을 제외하고, 실시예 4에 관한 촬상 장치와 동일하게 구성된다.
이 실시예에 의하면, 사전에, 유효 화상 영역의 일부 영역에서 데이터 압축 처리에 의한 발생 부호량을 검출하고, 이 발생 부호량에 의해 데이터 압축률을 가변하여 촬상 결과를 데이터 압축 처리하도록 하여, 이 검출한 부호량에 의거한 데이터 압축률에 의한 촬상 결과의 데이터 압축을, 사전의 처리에 관한 일부 영역을 제외한 영역에 의한 촬상 결과의 데이터 압축에 적용하도록 하여도, 실시예 4와 같은 효과를 얻을 수 있다.
(8) 실시예 6
이 실시예에서는, 실시예 4 또는 실시예 5의 구성에 있어서, 유저에 의해 선택되는 촬영 모드에 응하여, 사전의 처리에 관한 일부 영역을 변경한다. 또한 이 실시예에서는, 이 사전의 처리에 관한 일부 영역에 관한 처리가 다른 점을 제외하고, 실시예 4 또는 실시예 5의 촬상 장치와 동일하게 구성된다.
여기서 이 실시예에서는, 이 유저에 의해 선택되는 촬영 모드에 있어서, 가장 중요시되는 개소가, 사전의 발생 부호량을 검출하는 영역에 설정된다. 또한 가장 중요시되는 개소를 기준으로 하여 각 부분에 적절하게 부호량을 배분하도록, 이 사전에 검출된 발생 부호량에 의한 유효 화소 영역의 데이터 압축에 관한 데이터 압축률이, 촬영 모드에 응하여 전환된다.
즉 예를 들면 유저에 의해 선택된 촬영 모드가 인물 촬영 모드인 경우, 인물에 관한 촬상 결과가 중요하고, 이 경우 유효 촬상 영역의 중앙에 인물이 위치하는 경우가 많은 것에 의해, 이 경우, 사전의 발생 부호량을 검출하는 영역을 화면 중앙에 설정한다. 또한 이 경우, 이 인물의 배경, 근경(近景)에서는, 인물만큼 중요하지 않음에 의해, 유효 촬상 영역의 주변에 비하여 중앙측에서 부호량이 많아지도록, 사전에 검출된 발생 부호량에 의해 유효 화소 영역의 데이터 압축에 관한 데이터 압축률을 설정한다.
이에 대해 예를 들면 유저에 의해 선택된 촬영 모드가 풍경 모드인 경우, 유효 촬상 영역의 거의 전부가 중요함에 의해, 사전의 발생 부호량을 검출하는 영역을, 도 15에 관해 상술한 바와 같이, 유효 촬상 영역의 중앙 및 주변의 복수 개소에 설정한다. 또한 이 경우, 유효 촬상 영역의 전면(全面)에서 개략 동등한 데이터 압축률이 되도록, 사전에 검출된 발생 부호량에 의해 유효 화소 영역의 데이터 압축에 관한 데이터 압축률을 설정한다.
또한 이 실시예에서는, 전체의 동작을 제어하는 연산 처리 수단인 시스템 컨트롤러에 의해, 유저에 의한 촬영 모드의 선택에 응하여, 촬상 소자(3)로부터 출력되는 촬상 결과, 화상 압축 수단의 동작을 제어하여 이들 일련의 처리가 실행된다.
이 실시예와 같이, 사전에 검출한 발생 부호량에 의한 데이터 압축률의 설정을 촬영 모드에 의해 전환함에 의해, 나아가서는 촬영 모드에 의해 사전에 발생 부호량을 검출하는 영역을 전환함에 의해, 한층더 적절하게 레이트 제어할 수가 있 다.
(9) 실시예 7
이 실시예에서는, 실시예 6에 관한 촬영 모드에 응하여 가장 중요시되는 일부 영역이, 촬영 모드에 응하여, 촬상 결과의 색 분포에 의해 자동적으로 설정된다. 또한 이 실시예에서는, 이 일부 영역의 자동 설정에 관한 처리가 다른 점을 제외하고, 실시예 6에 관해 상술한 촬상 장치와 동일하게 구성된다.
즉 이 실시예에 있어서, 유저에 의해 인물 촬영 모드가 선택되면, 1프레임 전의 촬상 결과에 의해 살색의 부분이 검출되고, 이 살색의 부분을 포함하도록, 또는 이 살색의 부분의 내측에, 사전의 데이터 압축 처리에 관한 일부 영역을 설정한다.
이에 대해 유저에 의해 접사 모드가 선택되면, 이 경우, 마찬가지의 1프레임 전의 촬상 결과로부터 화면 중앙, 따뜻한 색의 색상에 관한 영역을 검출하고, 이 영역을 포함하도록, 또는 이 영역의 내측에, 사전의 데이터 압축 처리에 관한 일부 영역을 설정한다.
이 실시예와 같이, 촬상 결과의 색 분포에 의해 사전의 발생 부호량의 검출에 제공하는 영역을 설정하면, 한층더 적절하게 레이트 제어의 처리를 실행할 수 있다.
또한 이 영역의 설정을 촬영 모드에 응하여 전환함에 의해서도, 한층더 적절하게 레이트 제어할 수 있다.
(10) 다른 실시예
또한 상술한 실시예 4 내지 7에서는, 사전의 데이터 압축 처리를 별도 계통에 의해 실행하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 본래의 데이터 압축 처리의 계통에 의해 실행하도록 하여도 좋다.
또한 상술한 실시예에서는, 촬상 수단에 CMOS 고체 촬상 소자를 적용하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, XY 어드레스 제어에 의한 여러가지의 촬상 소자를 널리 적용할 수 있다.
본 발명은, 동화에 의한 촬상 결과를 기록하는 비디오 카메라, 전자 스틸 카메라, 감시 장치 등에 적용할 수 있다.

Claims (21)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 복수의 광전변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과,
    상기 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광전변환부와 접속되고, 상기 촬상 수단과 일체로 지지된 주변회로를 가지며,
    상기 촬상 수단에 의한 촬상 결과를 상기 주변회로에 의해 처리하여 출력하는 촬상 장치로서,
    상기 주변회로는,
    상기 촬상 결과를 데이터 압축하여 출력하는 화상 압축 수단을 적어도 가지며,
    상기 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 상기 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하고,
    해당 검출한 부호량에 의거한 데이터 압축률에 의해, 상기 촬상 결과를 데이터 압축하는 것을 특징으로 하는 촬상 장치.
  6. 제 5항에 있어서,
    상기 검출한 부호량에 의거한 데이터 압축률에 의한 상기 촬상 결과의 데이터 압축이, 상기 일부 영역을 제외한 영역에 의한 촬상 결과의 데이터 압축이고,
    상기 주변회로는,
    상기 사전의 데이터 압축에 의한 처리 결과와, 상기 데이터 압축률에 의한 상기 촬상 결과의 데이터 압축에 의한 처리 결과를 출력하는 것을 특징으로 하는 촬상 장치.
  7. 제 5항에 있어서,
    상기 검출한 부호량에 의거한 데이터 압축률에 의한 상기 촬상 결과의 데이터 압축이, 상기 유효 화상 영역에 의한 촬상 결과의 데이터 압축인 것을 특징으로 하는 촬상 장치.
  8. 제 5항에 있어서,
    상기 화상 압축 수단은,
    상기 촬상 결과를 계수 데이터로 변환 처리한 후, 양자화 수단에 의해 상기 계수 데이터를 양자화 처리하여 상기 촬상 결과를 데이터 압축하고,
    상기 양자화 수단은,
    상기 데이터 압축률에 대응하는 양자화 스케일에 의해 상기 계수 데이터를 양자화 처리하는 것을 특징으로 하는 촬상 장치.
  9. 제 5항에 있어서,
    상기 사전의 데이터 압축에 관한 데이터 압축 수단과,
    상기 데이터 압축률에 의한 상기 촬상 결과의 데이터 압축에 관한 데이터 압축 수단을 별도 계통에 의해 가지는 것을 특징으로 하는 촬상 장치.
  10. 제 5항에 있어서,
    상기 주변회로가,
    상기 배선층의 하층에 배치된 것을 특징으로 하는 촬상 장치.
  11. 제 10항에 있어서,
    상기 주변회로가, 상기 촬상 수단과는 다른 웨이퍼 생성 프로세스에 의해 형성된 것을 특징으로 하는 촬상 장치.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 복수의 광전변환부를 매트릭스형상으로 배치한 촬상 수단과, 상기 촬상 수단의 수광면과는 반대측의 면에 형성한 배선층에 의해 상기 광전변환부와 접속하는 주변회로를 일체로 지지한 촬상 장치에서의 촬상 결과의 처리 방법으로서,
    상기 촬상 수단으로부터 XY 어드레스 제어에 의해 상기 촬상 결과를 출력하는 촬상 결과의 출력 스텝과,
    적어도 상기 주변회로에 의해 상기 촬상 결과를 데이터 압축하여 출력하는 데이터 압축의 스텝과,
    상기 촬상 수단으로부터, 사전에, 유효 화상 영역의 일부 영역으로부터 상기 촬상 결과를 취득함과 함께, 상기 취득한 촬상 결과를 데이터 압축하여 부호량을 검출하는 부호량의 검출 스텝을 가지며,
    상기 데이터 압축의 스텝은,
    상기 부호량의 검출 스텝에서 검출한 상기 부호량에 의거한 데이터 압축률에 의해, 상기 촬상 결과를 데이터 압축하는 것을 특징으로 하는 촬상 결과의 처리 방법.
  20. 삭제
  21. 삭제
KR1020067026454A 2004-07-09 2005-06-22 촬상 장치와 촬상 결과의 처리 방법 KR101148334B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004202575A JP4599917B2 (ja) 2004-07-09 2004-07-09 撮像装置
JPJP-P-2004-00202575 2004-07-09
PCT/JP2005/011883 WO2006006396A1 (ja) 2004-07-09 2005-06-22 撮像装置、撮像素子の集積回路及び撮像結果の処理方法

Publications (2)

Publication Number Publication Date
KR20070030218A KR20070030218A (ko) 2007-03-15
KR101148334B1 true KR101148334B1 (ko) 2012-05-21

Family

ID=35783740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067026454A KR101148334B1 (ko) 2004-07-09 2005-06-22 촬상 장치와 촬상 결과의 처리 방법

Country Status (12)

Country Link
US (1) US8174587B2 (ko)
EP (1) EP1768391A4 (ko)
JP (1) JP4599917B2 (ko)
KR (1) KR101148334B1 (ko)
CN (1) CN1985509B (ko)
AU (1) AU2005261104B2 (ko)
BR (1) BRPI0513008A (ko)
CA (1) CA2572806A1 (ko)
MX (1) MXPA06015142A (ko)
RU (1) RU2367107C2 (ko)
TW (1) TW200614805A (ko)
WO (1) WO2006006396A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4403396B2 (ja) * 2004-07-13 2010-01-27 ソニー株式会社 撮像装置及び撮像素子の集積回路
JP5256725B2 (ja) 2007-12-25 2013-08-07 株式会社ニコン 撮像装置
JP2015050446A (ja) * 2013-09-05 2015-03-16 ソニー株式会社 撮像素子および撮像装置
WO2016121172A1 (ja) * 2015-01-28 2016-08-04 ソニー株式会社 撮像装置、および、撮像装置の制御方法
JP6700798B2 (ja) * 2016-01-13 2020-05-27 キヤノン株式会社 撮像装置及びその制御方法
CN109643456A (zh) 2016-06-17 2019-04-16 因默希弗机器人私人有限公司 图像压缩方法与设备
CN110494193A (zh) 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 向多人游戏场地中的用户显示内容
US11153604B2 (en) * 2017-11-21 2021-10-19 Immersive Robotics Pty Ltd Image compression for digital reality
AU2018373495B2 (en) 2017-11-21 2023-01-05 Immersive Robotics Pty Ltd Frequency component selection for image compression
US10863088B2 (en) 2018-06-25 2020-12-08 Canon Kabushiki Kaisha Image capturing apparatus and control method for capturing still images without interrupting video recordings
US11558574B2 (en) * 2020-12-14 2023-01-17 Bae Systems Information And Electronic Systems Integration Inc. Interleaved simultaneous binning mode

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308703B1 (ko) * 1995-09-12 2001-11-30 모리시타 요이찌 부호화방법,부호화장치,웨이블릿변환장치및웨이블릿역변환장치
JP2003031785A (ja) * 2001-07-11 2003-01-31 Sony Corp Ｘ−ｙアドレス型固体撮像素子およびその製造方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170174A (ja) 1990-11-02 1992-06-17 Canon Inc 撮像装置及び撮像方式
JPH06303533A (ja) 1993-04-09 1994-10-28 Sony Corp イメージセンサおよび電子式スチルカメラ
JP3457407B2 (ja) 1994-12-28 2003-10-20 シャープ株式会社 画像圧縮機能を有する撮像装置
JPH10224696A (ja) * 1997-01-31 1998-08-21 Toshiba Corp 固体撮像素子及びこの固体撮像素子を用いる画像システム
JP3668604B2 (ja) * 1997-12-16 2005-07-06 株式会社東芝 固体撮像素子およびこれを用いた画像システム
JP3728107B2 (ja) * 1998-07-07 2005-12-21 キヤノン株式会社 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP4164161B2 (ja) * 1998-07-06 2008-10-08 キヤノン株式会社 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体
JP2000050293A (ja) * 1998-07-30 2000-02-18 Canon Inc 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記録媒体
JP2000184204A (ja) * 1998-12-11 2000-06-30 Canon Inc 画像処理装置及び方法及び記憶媒体
JP3434740B2 (ja) * 1999-06-30 2003-08-11 Ｎｅｃエレクトロニクス株式会社 固体撮像装置
JP2001145105A (ja) * 1999-11-11 2001-05-25 Canon Inc 画像処理装置及びその方法
EP1107107A1 (en) 1999-12-10 2001-06-13 Koninklijke Philips Electronics N.V. Parallel data processing and shuffling
JP4450941B2 (ja) 2000-04-12 2010-04-14 富士通マイクロエレクトロニクス株式会社 固体撮像素子、画像処理装置及び画像処理方法
JP3702778B2 (ja) * 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
JP4087615B2 (ja) 2002-02-12 2008-05-21 株式会社フォトロン 高速撮像装置
JP2003235042A (ja) * 2002-02-12 2003-08-22 Sony Corp 画像符号化装置及びその符号化方法
JP3722367B2 (ja) * 2002-03-19 2005-11-30 ソニー株式会社 固体撮像素子の製造方法
JP4123415B2 (ja) * 2002-05-20 2008-07-23 ソニー株式会社 固体撮像装置
JP2004085936A (ja) * 2002-08-27 2004-03-18 Olympus Corp カメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308703B1 (ko) * 1995-09-12 2001-11-30 모리시타 요이찌 부호화방법,부호화장치,웨이블릿변환장치및웨이블릿역변환장치
JP2003031785A (ja) * 2001-07-11 2003-01-31 Sony Corp Ｘ−ｙアドレス型固体撮像素子およびその製造方法

Also Published As

Publication number Publication date
AU2005261104A1 (en) 2006-01-19
TWI294739B (ko) 2008-03-11
MXPA06015142A (es) 2007-03-26
BRPI0513008A (pt) 2008-04-22
EP1768391A1 (en) 2007-03-28
EP1768391A4 (en) 2012-08-15
WO2006006396A1 (ja) 2006-01-19
JP2006025270A (ja) 2006-01-26
KR20070030218A (ko) 2007-03-15
AU2005261104B2 (en) 2009-04-23
CN1985509B (zh) 2010-10-06
TW200614805A (en) 2006-05-01
CA2572806A1 (en) 2006-01-19
RU2007100356A (ru) 2008-07-20
RU2367107C2 (ru) 2009-09-10
JP4599917B2 (ja) 2010-12-15
CN1985509A (zh) 2007-06-20
US20080266410A1 (en) 2008-10-30
US8174587B2 (en) 2012-05-08

Similar Documents

Publication Publication Date Title
KR101055058B1 (ko) 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법
KR101148334B1 (ko) 촬상 장치와 촬상 결과의 처리 방법
JP4816457B2 (ja) 撮像装置及び撮像結果の出力方法
EP1215729A2 (en) Image pickup apparatus
JP4978719B2 (ja) 撮像装置
US7826658B2 (en) Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing
KR101130375B1 (ko) 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법
JP3457407B2 (ja) 画像圧縮機能を有する撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee