KR20070042138A - 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법 - Google Patents
촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법 Download PDFInfo
- Publication number
- KR20070042138A KR20070042138A KR20077000090A KR20077000090A KR20070042138A KR 20070042138 A KR20070042138 A KR 20070042138A KR 20077000090 A KR20077000090 A KR 20077000090A KR 20077000090 A KR20077000090 A KR 20077000090A KR 20070042138 A KR20070042138 A KR 20070042138A
- Authority
- KR
- South Korea
- Prior art keywords
- imaging
- image
- data
- unit
- compression
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 350
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000007906 compression Methods 0.000 claims abstract description 114
- 230000006835 compression Effects 0.000 claims abstract description 114
- 238000013144 data compression Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000006243 chemical reaction Methods 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims description 95
- 230000002093 peripheral effect Effects 0.000 claims description 85
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000013139 quantization Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 57
- 238000010586 diagram Methods 0.000 description 16
- 239000004065 semiconductor Substances 0.000 description 13
- 239000000872 buffer Substances 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 238000012546 transfer Methods 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 229910052581 Si3N4 Inorganic materials 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 229910052814 silicon oxide Inorganic materials 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1464—Back illuminated imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은, 예를 들면 동화상에 의한 촬상 결과를 기록하는 비디오 카메라, 전자 스틸 카메라, 감시 장치 등에 적용하고, 촬상 수단(3)의 촬상면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단(3)과 화상 압축 수단(6)을 접속하여 일체화하도록 하여, 촬상 결과(S1)를 블록 단위에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록의 데이터 압축에 제공하는 데이터 압축률을 가변함과 함께, 이 블록 단위의 처리에 대응하도록 촬상 수단(3)으로부터 각 광전 변환부에 의한 촬상 결과(S1)를 출력한다.
Description
본 발명은, 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리 방법에 관한 것으로, 예를 들면 동화상에 의한 촬상 결과를 기록하는 비디오 카메라, 전자 스틸 카메라, 감시 장치 등에 적용할 수 있다. 본 발명은, 촬상 수단의 촬상면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 촬상 결과를 블록 단위에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록의 데이터 압축에 제공하는 데이터 압축률을 가변함과 함께, 이 블록 단위의 처리에 대응하도록 촬상 수단으로부터 각 광전 변환부에 의한 촬상 결과를 출력함으로서, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있도록 한다.
종래, 비디오 카메라에서는, CCD(Charge Coupled Device) 고체 촬상 소자로 부터 출력되는 촬상 결과를 프레임 메모리에 버퍼링하여 MPEG(Moving Picture Experts Group)의 수법에 의해 블록 단위로 데이터 압축하고 있고, 이 MPEG2에서는, 예를 들면 TM5(Test Mode 5) 등의 수법에 의해 레이트 제어하고 있다. 또한 전자 스틸 카메라에서는, 마찬가지로, CCD 고체 촬상 소자로부터 출력되는 촬상 결과를 프레임 메모리에 버퍼링하고, JPEG(Joint Photographic Coding Experts Group)의 수법에 의해 블록 단위로 데이터 압축하고 있고, MPEG2와 마찬가지로 하여 레이트 제어하고 있다.
이에 대해 근래, CMOS 고체 촬상 소자가 실용에 제공되고 있다. 여기서 CCD 고체 촬상 소자와의 대비에 의해 도 1에 도시하는 바와 같이, CMOS 고체 촬상 소자는, 여러가지의 특징을 가지며, 예를 들면 CCD 고체 촬상 소자에서는, 전하의 축적 시작, 종료 시간이 모든 화소에서 동일한 것에 대해, CMOS 고체 촬상 소자는, 전하의 축적 시작, 종료 시간이 칼럼 또는 화소 단위로 다른 시각이라는 특징이 있다.
특히, 도 2에 도시하는 바와 같이, CCD 고체 촬상 소자가 시리얼 전송에 의해 각 화소의 촬상 결과를 판독하는데 대해, CMOS 고체 촬상 소자는, 도 3에 도시하는 바와 같이, X-Y 어드레스 제어에 의해 각 화소의 촬상 결과를 판독할 수 있고, 이로써 CCD 고체 촬상 소자에 비해, 촬상 결과의 판독에 관해 높은 자유도를 갖는 특징이 있다. 그런데 도 2는 CCD 고체 촬상 소자로부터의 촬상 결과의 출력을 도시하는 모식도로서, 각 화소에 보존된 축적 전하를 수직 전송 레지스터에 전송하고, CCD 고체 촬상 소자에서는, 이 수직 전송 레지스터에 전송한 축적 전하를 수평 전송 레지스터에 순차로 전송하면서 수평 전송 레지스터에 의해 순차로 전송하여 출력한다. 이에 대해 도 3은, CMOS 고체 촬상 소자로부터의 촬상 결과의 출력을 도시하는 모식도로서, 칼럼선 단위로 순차로 각 화소에 의한 촬상 결과를 출력하는 경우이고, 이 경우, 칼럼선의 수만큼 동시 병렬적으로 촬상 결과를 출력할 수 있다.
구체적으로, CMOS 고체 촬상 소자는, 수평 방향으로 연장하는 수평 어드레스선과 수직 방향으로 연장하는 수직 어드레스선에 의해, 각 화소에 마련된 MOSFET를 선택적으로 온 동작시킴에 의해, 이 수평 어드레스선 및 수직 어드레스선에 의해 선택되는 화소로부터 신호선에 촬상 결과가 출력된다. 이로써 이 도 3에 도시하는 예에서는, 수직 방향으로 연속하는 복수의 화소로, 하나의 칼럼선에 의한 신호선을 공통으로 사용하고 있음으로서, 하나의 칼럼선에 접속된 복수의 화소에 관한 수평 어드레스선의 설정을 순차로 전환하여, 이들 복수의 화소에 마련된 MOSFET를 순차로 온 동작시킴에 의해, 이 하나의 칼럼선을 시분할에 의해 수직 방향으로 연속하는 각 화소에 할당하고, 이들 각 화소의 촬상 결과를 출력한다. 또한 이로써 수평 방향에 관해 본 경우에는, 수평 방향으로 연속하는 화소로 수평 어드레스선이 공통됨에 의해, 이와 같은 칼럼선에의 수직 방향으로 연속하는 각 화소의 시분할의 할당이, 수평 방향으로 연속하는 화소에서 동시 병렬적으로 실행되고, 이로써 라인 단위로 촬상 결과를 출력한다.
이와 같은 CMOS 고체 촬상 소자에 관해서는, 예를 들면 일본 특개2004-31785호 공보 등에, 주변 회로와 일체화하는 구성이 제안되어 있다.
이에 대해 이와 같은 화상 데이터의 처리에 관한 부호화 방식으로서, 근래, 웨이블릿 변환처리를 이용한 부호화 방법이 여러가지로 제안되어 있다. 여기서 웨이블릿 변환처리에서는, 수평 방향 및 수직 방향에 관해, 각각 주파수가 높은 성분과 주파수가 낮은 성분으로 화상 데이터를 대역 분할하여 각각 다운 샘플링함으로서, 화상 데이터를 4개의 서브밴드로 분할하여 처리한 방법이고, 예를 들면 도 4의 (A)에 도시하는 바와 같이, 이와 같은 분할처리를 1회만 실행하여 4개의 서브밴드(HH, HL, LH, LL)에 의해 화상 데이터를 처리하는 경우, 나아가서는 도 4의 (B)에 도시하는 바와 같이, 이들의 대역 분할의 처리를 반복하여 화상 데이터를 처리하는 경우 등이 있다. 또한 이 도 4의 (B)는, 대역 분할의 처리를 3회 반복한 경우이고, 서브밴드(HH, HL, LH, LL)중 수평 방향 및 수직 방향으로 주파수가 낮은 서브밴드(LL)에 관해, 다시 대역 분할의 처리를 실행하여 4개의 서브밴드(LLHH, LLHL, LLLH, LLLL)를 생성하고, 이 4개의 서브밴드(LLHH, LLHL, LLLH, LLLL)중 수평 방향 및 수직 방향으로 주파수가 낮은 서브밴드(LLLL)에 관해, 다시 대역 분할의 처리를 실행하여 4개의 서브밴드(LLLLHH, LLLLHL, LLLLLH, LLLLLL)로 한 예이다.
이와 같은 웨이블릿 변환처리에 의한 부호화처리는, 화상 데이터를 라인 단위로 처리하는 이른바 라인 베이스형 웨이블릿 변환과, 1화면을 분할하여 설정된 직사각형 블록인 타일 단위로 화상 데이터를 처리하는 이른바 타일 베이스형 웨이블릿 변환이 제안되어 있다.
그런데 CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용할 수 있으면, 촬상 장치의 전체 구성을 한층 더 간략화하여 확실 하게 레이트 제어할 수 있다고 생각된다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있는 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리 방법을 제안하고자 하는 것이다.
이러한 과제를 해결하기 위해 본 발명은, 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전 변환부와 접속되고, 촬상 수단과 일체로 지지된 주변 회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변 회로에 의해 처리하여 출력하는 촬상 장치에 적용하고, 주변 회로는, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단과, 화상 압축 수단에 의한 데이터 압축률을 제어하는 제어 수단을 가지며, 유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 촬상 수단으로부터 촬상 결과를 입력하여 순차로 데이터 압축하고, 하나의 프레임 내에서, 하나의 블록을 화상 압축 수단에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 화상 압축 수단에 의해 데이터 압축할 때의 데이터 압축률을 가변하고, 촬상 수단은, 블록을 단위로 하여, 화상 압축 수단에 의한 데이터 압축에 대응하는 순서에 의해, 광전 변환부에 의한 촬상 결과를 출력한다.
본 발명의 구성에 관한, 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전 변환부와 접속되고, 촬상 수단과 일체로 지지된 주변 회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변 회로에 의해 처리하여 출력하는 촬상 장치에서는, 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단의 광전 변환부와 주변 회로가 접속되어 있음으로서, 배선층을 수광면측에 마련한 경우의 여러가지의 부적합함을 유효하게 회피하여, 높은 자유도에 의해 광전 변환부와 주변 회로를 접속할 수 있고, 이로써 촬상 결과의 판독에 관한 촬상 수단의 높은 자유도를 손상시키는 일 없이, 여러가지의 형태에 의해 촬상 수단의 촬상 결과를 주변 회로에 공급할 수 있다. 이 구성을 전제로, 본 발명의 구성에 의해, 주변 회로는, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단과, 화상 압축 수단에 의한 데이터 압축률을 제어하는 제어 수단을 가지며, 유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 촬상 수단으로부터 촬상 결과를 입력하여 순차로 데이터 압축하고, 하나의 프레임 내에서, 하나의 블록을 화상 압축 수단에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 화상 압축 수단에 의해 데이터 압축할 때의 데이터 압축률을 가변하고, 촬상 수단은, 블록을 단위로 하여, 화상 압축 수단에 의한 데이터 압축에 대응하는 순서에 의해, 광전 변환부에 의한 촬상 결과를 출력하면, 촬상 수단에 의한 촬상 결과를 직접 화상 압축 수단에 입력하여 데이터 압축하도록 하여 확실하게 레이트 제어할 수 있고, 이로써 촬상 결과의 판독에 관한 촬상 수단의 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
또한 본 발명은, 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전 변환부와 접속되고, 촬상 수단과 일체로 지지된 주변 회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변 회로에 의해 처리하여 출력한 촬상 소자의 집적 회로에 적용하고, 주변 회로는, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단과, 화상 압축 수단에 의한 데이터 압축률을 제어하는 제어 수단을 가지며, 유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 촬상 수단으로부터 촬상 결과를 입력하여 순차로 데이터 압축하고, 하나의 프레임 내에서, 하나의 블록을 화상 압축 수단에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 화상 압축 수단에 의해 데이터 압축할 때의 데이터 압축률을 가변하고, 촬상 수단은, 블록을 단위로 하여, 화상 압축 수단에 의한 데이터 압축에 대응하는 순서에 의해, 광전 변환부에 의한 촬상 결과를 출력한다.
이로써 본 발명의 구성에 의하면, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있는 촬상 소자의 집적 회로를 제공할 수 있다.
또한 본 발명은, 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전 변환부와 접속되고, 촬상 수단과 일체로 지지된 주변 회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변 회로에 의해 처리하여 출력하는 촬상 장치에 있어서의 촬상 결과의 처리 방법에 적용하고, 촬상 수단으로부터 주변 회로에 광전 변환부에 의한 촬상 결과를 출력하는 촬상 결과 출력의 스텝과, 주변 회로에 의해, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축의 스텝과, 화상 압축의 스텝에 의한 데이터 압축률을 제어하는 제어의 스텝을 가지며, 화상 압축의 스텝은, 유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 촬상 수단으로부터 촬상 결과를 입력하여 순차로 데이터 압축하고, 제어의 스텝은, 하나의 프레임 내에서, 하나의 블록을 화상 압축의 스텝에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 화상 압축의 스텝에 의해 데이터 압축할 때의 데이터 압축률을 가변하고, 촬상 결과 출력의 스텝은, 블록을 단위로 하여, 화상 압축의 스텝에 의한 데이터 압축에 대응하는 순서에 의해, 광전 변환부에 의한 촬상 결과를 출력한다.
이로써 본 발명의 구성에 의하면, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
또한 본 발명은, 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 광전 변환부와 접속되고, 촬상 수단과 일체로 지지된 주변 회로를 가지며, 촬상 수단에 의한 촬상 결과를 주변 회로에 의해 처리하여 출력하는 촬상 소자의 집적 회로에 있어서의 촬상 결과의 처리 방법에 적용하고, 촬상 수단으로부터 주변 회로에 광전 변환부에 의한 촬상 결과를 출력하는 촬상 결과 출력의 스텝과, 주변 회로에 의해, 적어도 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축의 스텝과, 화상 압축의 스텝에 의한 데이터 압축률을 제어하는 제어의 스텝을 가지며, 화상 압축의 스텝은, 유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 촬상 수단으로부터 촬상 결과를 입력하여 순차로 데이터 압축하고, 제어의 스텝은, 하나의 프레임 내에서, 하나의 블록을 화상 압축의 스텝에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 화상 압축의 스텝에 의해 데이터 압축할 때의 데이터 압축률을 가변하고, 촬상 결과 출력의 스텝은, 블록을 단위로 하여, 화상 압축의 스텝에 의한 데이터 압축에 대응하는 순서에 의해, 광전 변환부에 의한 촬상 결과를 출력한다.
이로써 본 발명의 구성에 의하면, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
본 발명에 의하면, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
도 1은 촬상 소자의 비교를 도시하는 도표.
도 2는 CCD 고체 촬상 소자에 의한 출력을 도시하는 모식도.
도 3은 CMOS 고체 촬상 소자에 의한 출력을 도시하는 모식도.
도 4는 웨이블릿 변환처리의 설명에 제공하는 개략선도.
도 5는 본 발명의 실시예 1에 관한 촬상 장치를 도시하는 블록도.
도 6은 도 5의 촬상 장치에서의 데이터 압축 처리의 설명에 제공하는 평면도.
도 7은 도 5의 촬상 장치에 적용되는 집적 회로를 도시하는 단면도.
도 8의 (A), 도 8의 (B), 도 8의 (C) 및 도 8의 (D)는 도 7의 집적 회로에 의한 촬상 결과의 출력의 설명에 제공하는 개략선도.
도 9는 본 발명의 실시예 2에 관한 촬상 장치에서의 웨이블릿 변환부의 설명에 제공하는 개략선도.
도 10은 도 9에 관한 촬상 장치에서의 웨이블릿 변환부에서의 대역 분할의 설명에 제공하는 개략선도.
도 11은 도 9에 관한 촬상 장치에서의 웨이블릿 변환부에서의 처리에 의한 라인 버퍼용의 계수의 설명에 제공하는 개략선도.
도 12는 본 발명의 실시예 3에 관한 촬상 장치에서의 화상 압축부의 설명에 제공하는 개략선도.
도 13은 본 발명의 실시예 4에 관한 촬상 장치에서의 화상 압축부의 설명에 제공하는 개략선도.
도 14는 본 발명의 실시예 5에 관한 촬상 장치에 적용되는 집적 회로의 일부를 도시하는 사시도.
도 15는 본 발명의 실시예 6에 관한 촬상 장치에서의 촬상 결과의 출력의 설명에 제공하는 평면도.
도 16은 본 발명의 실시예 7에 관한 촬상 장치를 도시하는 블록도.
(도면의 주요부분에 대한 부호의 설명)
1, 81 : 촬상 장치 2 : 렌즈
3 : 촬상 소자 4 : 광학 로우패스 필터
5 : 색 보정 필터 6 : 화상 압축부
7 : 아날로그 디지털 변환 회로 8 : 부호량 계산부
9 : 압축률 결정부 10 : 부호화 스트림 기억부
11 : 부 렌즈 제어부 51, 71 : 집적 회로
52 : 소자층 53 : 포토 다이오드
54 : 실리콘 산화막 55 : 차광층
56 : 실리콘 질화막 57 : 색 필터
58 : 마이크로 렌즈 59, 73 : 배선층
60 : 기판 지지재
61A, 61AA, 61AB, 61AC, 62A, 63A : 로우패스 필터
61B, 61BA, 61BB, 61BC, 61B, 63B : 하이패스 필터
64, 64A, 64B, 64C : 라인 버퍼 72 : 반도체 기판
82 : 레이트 제어부 83 : 구동 회로
C1 내지 C3 : 처리 회로
이하, 적절히 도면을 참조하면서 본 발명의 실시예를 상세히 기술한다.
(1) 실시예 1의 구성
도 5는 본 발명의 실시예 1에 관한 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(1)는, 소망하는 피사체의 촬상 결과를 데이터 압축하여 기록 매체에 기록하고, 또한 소망하는 전송 대상에 송출한다.
여기서 이 촬상 장치(1)에 있어서, 렌즈(2)는, 유저에 의한 조작에 응동하여 줌 배율, 조리개를 가변하여 촬상 소자(3)의 촬상면에 입사광을 집광한다. 광학 로우패스 필터(4)는, 이 렌즈(2)의 출사광보다 공간 주파수가 높은 성분을 억압하고, 계속되는 색 보정 필터(5)는, 광학 로우패스 필터(4)로부터 출사되는 출사광의 색 온도를 보정하여 출사한다.
촬상 소자(3)는, 예를 들면 CMOS 고체 촬상 소자에 의해 형성되고, 도시하지 않은 구동부에서 출력되는 각종 타이밍 신호에 의해 동작하여, 촬상면에 형성된 광학상을 각 화소에 의해 광전 변환하여 촬상 신호(S1)를 출력한다. 이 일련의 처리에 있어서, 촬상 소자(3)는, 각 화소를 구성하는 광전 변환부가, 후단의 화상 압축부(6)의 처리 단위에 대응하는 영역으로 구분되고, 각 구분에 순차로 촬상 결과를 출력하는 기간을 할당한다. 또한 각 구분에 속하는 광전 변환부는, 촬상 결과를 출 력하는 기간 이외의 기간에서는, 각각 입사광을 광전 변환처리함과 함께 광전 변환 결과를 축적한다.
여기서 이 실시예에서는, 도 6에 도시하는 바와 같이, 후단의 화상 압축부(6)에서, 이 촬상 소자(3)에 의한 촬상 결과를 수평 방향 및 수직 방향으로 소정수에 의해 분할하여 형성되는 블록(B1, B2, B3, ……)을 단위로 하여, 래스터 주사의 순서에 의해 이들 블록(B1, B2, B3, ……)에 관한 화상 데이터를 데이터 압축 처리한다. 이로써 촬상 소자(3)는, 이 각 블록(B1, B2, B3, ……)에 대응하도록 광전 변환부가 구분되고, 구동 회로에 의한 XY 어드레스 제어에 의해 래스터 주사의 순서로 촬상 결과를 출력하는 기간을 각 구분에 할당하고, 이 기간에 의해 각각 각 구분에 속하는 광전 변환부에 의한 촬상 결과를 출력한다. 또한 이로써 각 구분에 속하는 광전 변환부는, 래스터 주사의 순서에 의해 각 구분을 단위로 하여 광전 변환처리하는 기간이 할당된다. 이렇게하여 촬상 소자(3)는, 이들 광전 변환부에 의한 촬상 결과를 촬상 신호(S1)에 의해 출력한다. 또한 촬상 소자(3)는, 각 구분 내에서는, 래스터 주사 순서에 의한 1계통의 출력에 의해, 또는 칼럼선을 단위로 한 순차 주사의 출력에 의해, 또는 라인 또는 칼럼선을 단위로 한 복수 계통에 의한 동시 병렬적인 출력에 의해, 나아가서는 모든 화소의 동시 병렬적인 출력에 의해, 촬상 결과를 출력한다.
아날로그 디지털 변환 회로(AD)(7)는, 이 촬상 신호(S1)를 아날로그 디지털 변환처리하여 화상 데이터(D1)를 출력한다. 이 촬상 장치(1)는, 도시하지 않은 신호 처리 회로에 의해 이 화상 데이터(D1)를 화소 보간 처리, 색 공간 변환처리, 에 지 강조 처리, 노이즈 제거 처리 등을 한 후, 화상 압축부(6)에 입력한다.
화상 압축부(6)는, 이 화상 데이터(D1)를 블록(B1, B2, B3 ……) 단위로 데이터 압축하여 부호화처리하고, 그 처리 결과에 의한 부호화 데이터(D2)를 출력한다.
부호량 계산부(8)는, 블록(B1, B2, B3 ……) 단위로, 화상 압축부(6)로부터 출력되는 부호화 데이터의 데이터량을 계측함에 의해, 화상 압축부(6)의 데이터 압축 처리에 의한 발생 부호량을 블록(B1, B2, ……)마다 검출한다.
압축률 결정부(9)는, 부호량 계산부(8)에서 검출되는 발생 부호량에 의거하여, 화상 압축부(6)에서의 계속되는 블록의 데이터 압축 처리에 관한 데이터 압축률을 제어하고, 이로써 1프레임당의 발생 부호량이 목표 부호량이 되도록 레이트 제어의 처리를 실행한다. 즉 압축률 결정부(9)는, 1프레임에 할당하는 부호량을 1프레임당의 블록 수에 의해 나눗셈하여 얻어지는 목표 부호량(TS)을 기준으로 하여, 실제로 부호량 계산부(8)에서 검출되는 발생 부호량(TE)과의 차분치(TEX)를 계산하고, 이 차분치(TEX)에 의해 계속되는 블록에 관한 목표 부호량을 보정한다.
여기서 이 블록에 관한 목표 부호량의 보정에서는, 계속되는 블록에 관한 목표 부호량(TS)에 이 차분치(TEX)를 가감산하여, 직접, 계속되는 블록에 관한 목표 부호량(TS)을 보정하는 경우, 나아가서는 이 1프레임에서 아직 부호화처리를 완료하지 않은 블록 수에 의해 차분치(TEX)를 나눗셈하고, 이 나눗셈 값을 계속되는 블록에 관한 목표 부호량(TS)에 가감산하여, 이 차분치(TEX)를 1프레임에서 아직 부호화처리를 완료하고 있지 않은 블록에 배분하는 경우 등, 여러가지의 처리 방법을 널리 적용할 수 있다.
압축률 결정부(9)는, 이와 같이 하여 계산되는 목표 부호량에 의해 화상 압축부(6)에서의 데이터 압축률을 가변 제어한다.
부호화 스트림 기억부(10)는, 화상 압축부(6)로부터 출력되는 부호화 데이터(D2)를 축적하여 출력하고, 부(副) 레이트 제어부(11)는, 이 부호화 스트림 기억부(10)로부터 출력되는 부호화 데이터(D2)를 레이트 제어한다. 또한 여기서 이 레이트 제어에서는, 각 프레임의 부호량이 목표 부호량이 되도록, 더미 데이터를 끼워, 또는 소정의 블록에 관한 부호화 데이터(D2)의 송출을 중지하여 실행된다. 이 촬상 장치(1)에서는, 이 부 레이트 제어부(11)로부터 출력되는 이 부호화 데이터(D2)가 기록 매체에 기록되고, 나아가서는 외부 기기에 전송된다. 이들에 의해 부호화 스트림 기억부(10)와 부 레이트 제어부(11)는, 화상 압축 수단인 화상 압축부(6)의 출력 데이터(D2)를 1프레임 분 축적하여 데이터 사이즈를 보정하는 데이터량 보정 수단을 구성하고, 이 실시예에서는, 이 데이터량 보정 수단에 의해 한층 더 높은 정밀도로 레이트 제어한다.
도 7은, 이 촬상 장치(1)에 적용되는 집적 회로의 일부를 도시하는 단면도이다. 여기서 이 집적 회로(51)는, 촬상 소자(3)와 주변 회로를 일체화하여 형성되고, 이 실시예에서는, 이 일체화에 관한 주변 회로에, 도시하지 않은 촬상 소자(3)의 구동 회로, 아날로그 디지털 변환 회로(7), 화상 압축부(6), 부호량 계산부(8), 압축률 결정부(9), 부호화 스트림 기억부(10), 부 레이트 제어부(11) 등이 적용된다. 이로써 이 실시예에 관한 촬상 장치에서는, 전체 구성을 간략화한다.
집적 회로(51)는, 화소부를 매트릭스형상으로 배치하여 촬상 소자부가 형성되고, 이 촬상 소자부에 의해 촬상 소자(3)가 형성된다. 또한 이 촬상 소자부의 주위에 주변 회로부가 형성된다. 이로써 도 7은, 이 촬상 소자부와 주변 회로부의 일부를 도시하는 단면도이다.
집적 회로(51)는, 10 내지 20[㎛] 정도 두께의 실리콘(Si)층에 의해 소자층(52)이 형성되고, 화소부에서는, 이 소자층(52)에, 화소 단위의 광전 변환처리에 관한 포토 다이오드(53)가 형성되고, 주변 회로부에서는, 이 소자층(52)의 하층측에, 주변 회로를 구성하는 MOSFET 등의 각 회로 소자가 형성된다.
집적 회로(51)는, 이 소자층(52)의 상층에, 순차로, 실리콘 산화(SiO2)막(54), 차광막(55), 실리콘 질화막(SiN)(56), 색 필터(57), 마이크로 렌즈(58)가 적층된다. 또한 이 소자층(52)의 하층에, 포토 다이오드(53), 주변 회로의 회로 소자를 배선하는 배선층(59)이 형성되고, 이 배선층(59)의 하층측에, 전체를 지지하는 기판 지지재(60)가 마련된다. 이로써 집적 회로(51)는, 수광면과는 반대측에 배선층(59)이 마련되어, 배선층을 수광면측에 마련하는 경우의 여러가지의 부적합함을 단번에 해결하여 배선의 자유도를 현격하게 향상한다. 그리고 이와 같이 배선층을 수광면측에 마련하는 부적합함으로는, 배선층을 형성하는 배선에 의한 각 화소에의 입사광량의 감소, 인접 화소에의 크로스토크 등이 있다.
또한 집적 회로(51)는, 이와 같이 수광면과는 반대측에 배선층(59)이 형성됨에 의해, 두께가 얇은 반도체 기판을 배선층(59)측으로부터 처리하여 포토 다이오 드(53), 주변 회로의 회로 소자를 형성한 후, 이 반도체 기판에 배선층(59), 기판 지지재(60)를 순차로 형성하고, 그 후, 이 반도체 기판을 뒤집어서 CMP에 의해 연마하여 소자층(52)이 완성되고, 차광막(55), 실리콘 질화막(SiN)(56), 색 필터(57), 마이크로 렌즈(58)를 순차로 형성하여 작성된다.
이들에 의해 이 촬상 장치(1)는, 촬상 소자(3)와 주변 회로를 일체로 집적 회로화하는 것을 전제로, 이와 같이 수광면과는 반대측에 배선층(59)을 형성하여, 배선의 자유도를 현격적으로 향상하도록 하여, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 손상시키지 않도록 하여 전체 구성을 간략화한다.
즉 이 집적 회로(51)에서는, 도 8의 (A)에 도시하는 바와 같이, 각 화소 출력을 동시 병렬적으로 주변 회로에 출력하여 아날로그 디지털 변환처리하도록, 촬상 소자부와 주변 회로와의 접속을 구성할 수 있다. 또한 이에 대신하여, 도 8의 (B)에 도시하는 바와 같이, 칼럼선을 단위로 하여 동시 병렬적으로 촬상 결과를 출력하여 주변 회로에서 처리할 수도 있고, 또한 도 8의 (C)에 도시하는 바와 같이, 라인을 단위로 하여 동시 병렬적으로 촬상 결과를 출력하여 주변 회로에서 처리할 수도 있고, 나아가서는 도 8의 (D)에 도시하는 바와 같이, 소정 블록을 단위로 하여 동시 병렬적으로 촬상 결과를 출력하여 주변 회로에서 처리한 것도 가능하고, 이들에 의해 현격적으로 촬상 소자 출력의 자유도를 향상할 수 있다.
또한 도 8의 (A)의 예인 경우, 각 화소에 각각 신호선이 마련되어 있음에 의해, 예를 들면 전 화소에 마련된 MOSFET를 동시에 온 동작시켜서 모든 화소에 의한 촬상 결과를 동시 병렬적으로 출력하는 경우, 도 3에 관해 상술한 바와 같이 수평 어드레스선의 제어에 의해 라인 단위로 촬상 결과를 출력하는 경우, 도 8의 (C)에 관해 후술하는 바와 같이, 이 수평 어드레스선에 의한 선택에 대신하여 수직 어드레스선에 의한 선택에 의해 수직 방향으로 연속하는 화소에 의한 촬상 결과를 동시 병렬로 출력하는 경우 등, 여러가지의 X-Y 어드레스 제어에 의해 촬상 결과를 출력할 수 있다. 또한 도 8의 (C)의 경우에는, 도 3에 관해 상술한 수평 어드레스선의 제어에 대신하여, 수직 어드레스선의 제어에 의해, 하나의 신호선을 시분할에 의해 수평 방향으로 연속하는 화소에 순차로 할당하여, 수직 방향으로 연속하는 화소에 의한 촬상 결과를 동시 병렬로 출력할 수 있다. 이에 대해 도 8의 (D)의 예인 경우, 하나의 신호선에 공통으로 접속된 하나의 블록의 복수 화소를, 수직 어드레스선 및 수평 어드레스선의 제어에 의해 순차로 선택함에 의해, 이 하나의 신호선에 의한 하나의 블록으로, 래스터 스캔, 지그재그 스캔 등, 여러가지의 순서에 의해 촬상 결과를 출력할 수 있다. 또한 수평 어드레스선 및 수직 어드레스선이 수평 방향 및 수직 방향으로 연속하는 화소로 각각 공통으로 마련됨에 의해, 이들 화소의 스캔 순서는, 복수의 블록에서 동일하게 된다.
그리하여 이 실시예에 관한 촬상 장치(1)에서는, 도 6에 관해 촬상 소자(3)에 관해 상술한 바와 같이, 블록(B1, B2, B3, ……)에 대응하는 구분으로 순차로 촬상 결과를 출력하는 기간을 할당하고, 각 블록 내에서의 광전 변환부로부터 출력 형태에 응하여, 이들 도 8의 (A) 내지 도 8의 (D)의 접속중의 대응하는 접속에 의해 촬상 결과를 주변 회로에 출력한다.
(2) 실시예 1의 동작
이상의 구성에 있어서, 이 촬상 장치(1)에서는(도 5), 렌즈(2)에 의해 촬상 소자(3)의 촬상면(수광면)에 피사체의 화상이 형성되고, 이 화상의 촬상 결과가 촬상 소자(3)로부터 출력되어 아날로그 디지털 변환 회로(7)에 의해 화상 데이터(D1)로 변환된다. 이 화상 데이터(D1)는, 에지 강조 등의 처리가 실행된 후, 화상 압축부(6)에 의해 데이터 압축되어 부호화 데이터(D2)로 변환되고, 이 부호화 데이터(D2)가 부호화 스트림 기억부(10), 부 레이트 제어부(11)를 통하여 기록 매체에 기록되고, 나아가서는 외부 기기에 전송된다. 이로써 촬상 장치(1)에서는, 촬상 결과를 데이터 압축하여 기록하고, 또한 전송한다.
이들 일련의 처리에 있어서, 화상 데이터(D1)는, 촬상 결과를 수평 방향 및 수직 방향으로 각각 소정수로 분할하여 형성되는 블록(B1, B2, B3 ……)(도 6)을 단위로 하여, 하나의 블록의 화상 데이터(D1)가 데이터 압축 처리되면, 그 발생 부호량에 의거하여, 계속되는 블록의 데이터 압축 처리에 관한 데이터 압축률이 가변 제어되고, 이 처리의 반복에 의해 1프레임을 단위로 하여 데이터 압축 처리된다. 이로써 촬상 장치(1)에서는, 확실하게 레이트 제어하여 소망하는 전송 레이트에 의해 촬상 결과를 기록 매체에 기록하고, 또한 출력할 수 있다.
또한 이 실시예에서는, 부호화 스트림 기억부(10)에 부호화 데이터(D2)를 일시 기록하여 보존하고, 부 레이트 제어부(11)에 의해 더미 데이터를 끼워, 또는 소정의 블록에 관한 부호화 데이터(D2)의 출력을 중지하여, 부호화 데이터(D2)가 출력된다. 이로써 이 촬상 장치(1)에서는, 한층 더 확실하게 레이트 제어의 처리를 실행하여 소망하는 전송 레이트에 의해 촬상 결과를 기록 매체에 기록하고, 또한 출력할 수 있다.
그래서 이와 같이 하여 블록 단위로 순차로 처리된 촬상 결과는, 촬상 소자(3)에 마련된 각 화소에 대응하는 광전 변환부가 화상 압축부(6)에서의 처리 단위인 블록(B1, B2, B3 ……)에 대응하여 구분되고, 화상 압축부(6)에서의 처리에 대응하여 이들 각 구분에 순차로 촬상 결과를 출력하는 기간이 할당되고, 이 기간에 의해 대응하는 구분의 촬상 결과가 촬상 신호(S1)에 의해 출력된다. 또한 이 기간 이외에는, 각 구분의 광전 변환부는, 광전 변환처리에 제공된다.
이로써 이 촬상 장치(1)에서는, 촬상 소자(3)로부터 출력되는 촬상 결과를 아날로그 디지털 변환 회로(7)를 통하여 화상 압축부(6)에 순차로 입력하는 만큼의 구성에 의해, 순차로, 블록 단위로 화상 압축 처리하여 레이트 제어할 수 있고, 이로써 전체 구성을 간략화할 수 있다.
그리하여 CMOS 고체 촬상 소자에 의한 촬상 소자(3)에서는, XY 어드레스 제어에 의해 촬상 결과를 출력함에 의해, 촬상 결과의 판독에 높은 자유도를 가지며, 이로써 라인을 단위로 한 라인 순차에 의한 촬상 결과의 출력뿐만 아니라, 예를 들면 칼럼선을 단위로 한 촬상 결과의 출력, 소정 블록을 단위로 한 촬상 결과의 출력 등, 여러가지 형태에 의해 촬상 수단의 촬상 결과를 출력할 수 있다. 이로써 이 실시예에서는, 화상 압축부(6)에서의 처리 단위인 블록에 대응하는 구분에 순차로, 촬상 결과를 출력하는 기간을 할당하고, 이 기간에 의해 대응하는 구분의 촬상 결과를 출력하도록 하고, 이로써 CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 한층 더 간략화한다.
촬상 장치(1)에서는, 이와 같이 하여 촬상 결과를 출력하는 촬상 소자(3)와, 이 촬상 소자(3)에 의한 촬상 결과를 처리하는 주변 회로인 아날로그 디지털 변환 회로(7), 화상 압축부(6) 등이 집적 회로에 의해 일체화하여 구성되고, 이로써 전체 구성을 소형화하고, 나아가서는 구성을 간략화한다.
그러나 단지 CMOS 프로세스에 의해 촬상 소자와 주변 회로를 일체화한 것에서는, 촬상 소자, 주변 회로에 관한 배선 패턴에 의해, 여러가지의 부적합함이 발생하고, 이로 인해 촬상 결과의 판독에 관한 높은 자유도를 충분히 발휘할 수 없게 된다. 이 때문에 이 실시예에서는, 촬상 수단의 수광면과는 반대측의 면에 배선층이 형성되고, 이 배선층에 의해 촬상 수단을 구성하는 광전 변환부와 주변 회로가 접속되어 일체로 지지되고, 이로써 촬상 결과의 판독에 관한 높은 자유도를 충분히 발휘할 수 있도록 집적 회로를 구성하여, 확실하게, 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여 전체 구성을 간략화할 수 있다.
(3) 실시예 1의 효과
이상의 구성에 의하면, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 소정의 블록 단위로 데이터 압축하여 각 블록에서 발생하는 부호량에 의해 계속되는 블록의 데이터 압축률을 제어함과 함께, 이 블록에 대응하는 광전 변환부의 구분에 순차로 촬상 결과를 출력하는 기간을 설정하여 촬상 소자로부터 촬상 결과를 출력함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하 게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
(4) 실시예 2
이 실시예에 관한 촬상 장치에서는, 도 5에 관해 상술한 화상 압축부(6)의 데이터 압축 처리에 웨이블릿 변환처리가 적용된다. 이 실시예에 관한 촬상 장치에서는, 이 화상 압축부(6)에 관한 웨이블릿 변환처리에 관련되는 구성이 다른 점을 제외하고, 실시예 1에 관해 상술한 촬상 장치(1)와 동일하게 구성됨에 의해, 이 실시예에서는, 도 5에 도시하는 구성을 유용(流用)하여 설명한다.
여기서 화상 압축부(6)에서는, 블록 단위로, 웨이블릿 변환부에 의해 화상 데이터(D1)를 웨이블릿 변환처리한 후, 양자화부, 엔트로피 부호화부에 의해 순차로 양자화처리, 엔트로피 부호화처리하고, 이로써 부호화 데이터(D2)를 출력한다. 또한 웨이블릿 변환부에서는, 라인 베이스 웨이블릿 변환처리에 의해, 블록 단위로 웨이블릿 변환처리를 실행한다.
여기서 1단계의 대역 분할처리를 도 9에 도시하는 바와 같이, 웨이블릿 변환부는, 수직 방향으로 소정 탭 수를 갖는 로우패스 필터(61A) 및 하이패스 필터(61B)에 의해 화상 데이터(D1)를 2개의 대역 성분(VL, VH)으로 대역 제한한 후, 각대역 성분(VL, VH)을 수평 방향으로 소정 탭 수를 갖는 로우패스 필터(62A) 및 하이패스 필터(62B), 로우패스 필터(63A) 및 하이패스 필터(63B)에 의해 대역 제한하여 서브밴드(LL 내지 HH)를 생성한다. 이로써 웨이블릿 변환부는, 각 대역 분할처리에 관한 입력단의 로우패스 필터(61A) 및 하이패스 필터(61B)의 탭 수만큼, 라인 버퍼(64)에 의해 대역 분할처리에 제공하는 입력 화상 데이터(D1)를 일시 보존하고 출력한다.
웨이블릿 변환부는, 도 10에 도시하는 바와 같이, 이와 같은 대역 분할의 처리를 3단계에 의해 실행하고, 이로써 각 대역 분할처리에 의한 웨이블릿 변환 계수(HH 내지 LLLLLL)을 계속되는 후단의 처리 회로에 의해 처리하도록 하여, 이들 각 대역 분할처리의 입력단에 각각 대응하는 라인 버퍼(64A 내지 64C)가 마련되고, 선두단의 라인 버퍼(64A)에 아날로그 디지털 변환 회로(7)로부터 출력되는 화상 데이터가 직접 입력된다.
또한 이들의 처리에 의해, 이들 라인 버퍼(64A 내지 64C)에는, 도 11에 도시하는 바와 같이 웨이블릿 변환 계수의 데이터가 축적되게 되고, 화상 데이터(D1)에 관한 1장의 프레임의 처리를 시작한 후, 이들 라인 버퍼(64A 내지 64C)에 데이터가 축적되면, 각각 대응하는 계수 데이터를 출력한다.
이들에 의해 화상 압축부(6)에 관한 웨이블릿 변환부에서는, 블록(B1, B2, B3, ……)의 수평 방향의 샘플링 수에 의한 라인 버퍼(64A), 이 라인 버퍼(64A)의 1/2 및 1/4의 샘플링 수에 의한 라인 버퍼(64B, 64C)가 마련되고, 각 라인 버퍼(64A 내지 64C)로부터 동시 병렬적으로 출력되는 탭 출력을 각각 수직 방향의 로우패스 필터 및 하이패스 필터(61AA 및 61BA, 61AB 및 61BB, 61AC 및 61BC)에 의해 대역 제한, 다운 샘플링하고, 또한 계속해서 수평 방향의 로우패스 필터 및 하이패스 필터에 의해 대역 제한, 다운 샘플링하여 각 서브밴드(HH 내지 LLLLLL)에 관한 웨이블릿 변환 계수 데이터를 생성한다.
이들에 의해 이 실시예에 있어서, 웨이블릿 변환부는, 라인 베이스형 웨이블릿 변환처리를 적용하여 블록 단위에 의해 화상 데이터를 처리함에 의해, 각 분할처리의 입력측에 마련하는 메모리 회로인 라인 버퍼의 용량을 소형화하여 전체 구성을 간략화한다.
또한 이 웨이블릿 변환부의 구성에 대응하여, 화상 압축부(6)는, 이 웨이블릿 변환부의 수직 필터의 탭 수 이상의 라인 수에 의해, 또한 수평 필터의 탭 수 이상의 수평 방향의 샘플링 수에 의해, 각 블록을 형성한다.
이 웨이블릿 변환부의 처리에 대응하여, 촬상 소자(3)는, 각 구분 내에서는, 구동 회로에 의한 XY 어드레스 제어에 의해 이 웨이블릿 변환부의 처리 순서에 대응하는 라인 주사의 순서에 의해, 각 광전 변환부의 촬상 결과를 출력한다. 이에 의해서도 이 실시예에서는, 화상 데이터(D1)를 웨이블릿 변환부에 직접 입력하여 처리할 수 있고, 그만큼, 전체 구성을 간략화할 수 있다.
이에 대해 압축률 결정부(9)는, 양자화부에서의 양자화 스케일이 전환 제어에 의해, 화상 압축부(6)에서의 데이터 압축률을 가변 제어하고, 이로써 간이하면서 확실하게 데이터 압축률을 가변할 수 있도록 구성되어 있다.
실시예 2의 구성에 의하면, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 소정의 블록 단위로 데이터 압축하여 각 블록에서 발생하는 부호량에 의해 계속되는 블록의 데이터 압축률을 제어함과 함께, 이 블록에 대응하는 광전 변환부의 구분에 순차로 촬상 결과를 출력하는 기간을 설정하여 촬상 소자로부터 촬상 결과를 출력하 도록 하여, 이 블록에 관한 데이터 압축 처리를 웨이블릿 변환처리에 의해 실행함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
또한 이 웨이블릿 변환처리에 의한 계수 데이터를 양자화하도록 하여, 이 양자화에 관한 양자화 스케일의 제어에 의해 데이터 압축률을 제어함에 의해, 간이하면서 확실하게 레이트 제어할 수 있다.
(5) 실시예 3
이 실시예에서는, 실시예 2에 관해 상술한 촬상 장치에 있어서, 라인 베이스형 웨이블릿 변환처리에 대신하여, 타일 베이스형 웨이블릿 변환처리에 의해 데이터 압축한다. 이 실시예에 관한 촬상 장치에서는, 웨이블릿 변환처리에 관한 구성이 다른 점을 제외하고, 실시예 2에 관한 촬상 장치와 동일하게 구성된다. 이로써 이하의 설명에서는, 실시예 2의 경우와 마찬가지로 도 5를 유용하여 실시예를 설명하고, 또한 이 설명에서, 실시예 1에 관한 촬상 장치(1)와 동일한 구성에 관해서는, 중복된 설명을 생략한다.
즉 이 촬상 장치에서, 화상 압축부(6)는, 웨이블릿 변환부에 의해 화상 데이터(D1)를 웨이블릿 변환처리한 후, 그 결과 얻어지는 계수 데이터를 양자화 회로, 엔트로피 부호화부에 의해 양자화, 엔트로피 부호화하여 부호화 데이터(D2)를 출력한다. 이 화상 압축부(6)에 관한 웨이블릿 변환부는, 도 12에 도시하는 바와 같이, 촬상 결과에 의한 화상을 수평 방향 및 수직 방향으로 각각 소정의 분할 수에 의해 분할한 블록인 타일(T0, T1, T2, ……)을 처리 단위로 설정하고, 순차로, 래스터 주사의 순서에 의해 타일(T0, T1, T2, ……) 단위로 화상 데이터(D1)를 입력하여 웨이블릿 변환처리한다. 웨이블릿 변환부는, 2차원의 필터 회로에 의해 이들 웨이블릿 변환처리를 실행한다.
촬상 소자(3)에서는, 이 웨이블릿 변환부에 관한 처리에 대응하도록, 구동 회로에 의한 XY 어드레스 제어에 의해, 각 타일 단위로 촬상 결과를 출력한다. 또한 각 타일 내에서는, 웨이블릿 변환부의 처리에 관한 2차원의 필터 회로의 처리에 대응하는 순서에 의해 촬상 결과를 출력한다.
이 실시예 3의 구성에 의하면, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 소정의 블록 단위로 데이터 압축하여 각 블록에서 발생하는 부호량에 의해 계속되는 블록의 데이터 압축률을 제어함과 함께, 이 블록에 대응하는 광전 변환부의 구분에 순차로 촬상 결과를 출력하는 기간을 설정하여 촬상 소자로부터 촬상 결과를 출력하도록 하고, 이 블록에 관한 처리를 타일 베이스형 웨이블릿 변환처리에 의해 실행함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
(6) 실시예 4
이 실시예에서는, 실시예 2에 관해 상술한 촬상 장치에 있어서, 웨이블릿 변환처리에 대신하여 디스크리트 코사인 변환처리를 적용하여 화상 데이터를 데이터 압축한다. 이 실시예에 관한 촬상 장치에서는, 이 데이터 압축 처리에 관한 구성이 다른 점을 제외하고, 실시예 2에 관한 촬상 장치와 동일하게 구성된다. 이로써 이 하의 설명에서는, 실시예 2의 경우와 마찬가지로 도 5를 유용하여 실시예를 설명하고, 또한 이 설명에 있어서, 실시예 1에 관한 촬상 장치(1)와 동일한 구성에 관해서는, 중복된 설명을 생략한다.
즉 이 촬상 장치에서, 화상 압축부(6)는, 디스크리트 코사인 변환처리 단위인 매크로 블록 단위에 의해 화상 데이터(D1)를 입력하고, 디스크리트 코사인 변환처리부에 의해 디스크리트 코사인 변환처리하고, 그 결과 얻어지는 계수 데이터를 양자화처리, 가변 길이 부호화처리하여 출력한다. 이 실시예에서는, 도 13에 도시하는 바와 같이, 이 매크로 블록이 8×8화소에 의한 블록으로 설정된다. 또한 화상 압축부(6)는, 적절히, 디스크리트 코사인 변환처리에 제공하는 화상 데이터(D1)를 움직임 예측에 의해 처리한 차분(差分) 데이터의 형식에 의해 입력한다.
촬상 소자(3)에서는, 이 디스크리트 코사인 변환처리에 대응하도록, 구동 회로에 의한 XY 어드레스 제어에 의해 래스터 주사의 순서에 의해 매크로 블록 단위로 촬상 결과를 출력한다. 또한 각 매크로 블록에서는, 매크로 블록을 구성하는 8×8화소에 의한 촬상 결과를 동시 병렬적으로 출력한다.
이 실시예 4의 구성에 의하면, 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 촬상 수단과 화상 압축 수단을 접속하여 일체화하도록 하여, 소정의 블록 단위로 데이터 압축하여 각 블록에서 발생하는 부호량에 의해 계속되는 블록의 데이터 압축률을 제어함과 함께, 이 블록에 대응하는 광전 변환부의 구분에 순차로 촬상 결과를 출력하는 기간을 설정하여 촬상 소자로부터 촬상 결과를 출력하도록 하고, 이 블록에 관한 처리를 디스크리트 코사인 변환처리에 의해 실행함에 의해, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
(7) 실시예 5
도 14는, 본 발명의 실시예 5에 관한 촬상 장치에 적용되는 집적 회로의 일부를 도시하는 사시도이다. 이 실시예에서는, 이 집적 회로에 의해 상술한 실시예 1 내지 4에 관한 촬상 장치를 구성한다. 또한 이 집적 회로(71)에 있어서, 실시예 1에 관해 상술한 집적 회로(51)와 동일한 구성은, 대응하는 부호를 붙여서 나타내고, 중복된 설명은 생략한다.
여기서 이 집적 회로(71)는, 촬상 소자(3)와 주변 회로를 일체화하여 형성되고, 이 주변 회로가 상술한 각 실시예에 관한 화상 압축부 등과 동일하게 형성되고, 이로써 이 실시예에 관한 촬상 장치에서는, 전체 구성을 간략화한다.
이 집적 회로(71)는, 주변 회로부에 촬상 소자부를 적층하여 형성되고, 주변 회로부는, 소정의 반도체 프로세스에 의해, 반도체 기판(72)상에 주변 회로를 구성하는 반도체 소자를 형성한 후, 이들 반도체 소자의 상층에 배선층(73)을 형성하여 이들 반도체 소자를 접속함에 의해 형성된다. 주변 회로부는, 이 배선층(73)의 표층에 촬상 소자부와의 접속용의 전극 등이 형성된다.
촬상 소자부는, 실시예 1에 관해 상술한 바와 마찬가지로, 화소부를 매트릭스형상으로 배치하여 형성되고, 10 내지 20[㎛] 정도 두께의 실리콘(Si)층에 의해 소자층(52)이 형성된다. 촬상 소자부는, 이 소자층(52)에, 화소 단위의 광전 변환처리에 관한 포토 다이오드가 형성된다.
촬상 소자부는, 이 소자층(52)의 상층에, 순차로, 실리콘 산화막, 차광막, 실리콘 질화막, 색 필터(57), 마이크로 렌즈(58)가 적층되어 촬상면이 형성되는 것에 대해, 소자층(52)의 하층에, 배선층(59)이 형성된다. 촬상 소자부는, 이 배선층(59)의 하층측에 주변 회로부가 마련되고, 주변 회로부의 배선층(73)과 배선층(59)이 접속되어 촬상 소자와 주변 회로가 일체로 집적 회로화된다.
이로써 집적 회로(71)는, 수광면과는 반대측에 배선층(59)이 마련되고, 배선층(59)을 수광면측에 마련한 경우의 여러가지의 부적합함을 단번에 해결하여 배선의 자유도를 현격적으로 향상한다. 또한 이와 같이 수광면과는 반대측에 형성된 배선층(59)을 통하여 주변 회로를 형성한 주변 회로부와 일체화됨에 의해, 촬상 소자부와 주변 회로부를 다른 웨이퍼 프로세스에 의해 작성하여 일체화할 수 있고, 그만큼, 촬상 소자부와 주변 회로부를 각각에 적합한 웨이퍼 프로세스에 의해 작성하여, 전체로서 각종의 성능을 향상할 수 있도록 구성되어 있다.
구체적으로, 주변 회로를 형성한 주변 회로부에서는, 각 반도체 소자, 배선 패턴 폭을 작게 하여 고밀도로 형성함에 의해, 칩 사이즈를 소형화하여 소비 전력을 삭감할 수 있다. 그러나 촬상 소자부에서는, 화소 사이즈를 작게 하면, 그만큼, 감도가 저하되고, 또한 화소 수에 따라 칩 면적도 커진다. 이로써 이 실시예와 같이 촬상 소자부와 주변 회로부를 다른 웨이퍼 프로세스에 의해 작성하여 일체화하는 경우에는, 촬상 소자부, 주변 회로부의 각각에 적합한 웨이퍼 프로세스에 의해 작성할 수 있고, 그만큼, 전체로서의 성능을 향상할 수 있다.
또한 이와 같이 수광면과는 반대측에 형성된 배선층(59)을 통하여 주변 회로 를 형성한 주변 회로부와 일체화됨에 의해, 이 집적 회로(71)는, 실시예 1에 관해 상술한 바와 마찬가지로 하여, 두께가 얇은 반도체 기판을 배선층(59)측으로부터 처리하여 포토 다이오드를 형성한 후, 이 반도체 기판에 배선층(59)을 형성하고, 별도 공정에 의해 작성된 주변 회로부가 적층된다. 그 후, 집적 회로(71)는, 이 반도체 기판을 뒤집어서 CMP에 의해 연마하여 소자층(52)이 완성되고, 차광막, 색 필터(57), 마이크로 렌즈(58) 등을 순차로 형성하여 작성된다.
이와 같은 별도의 웨이퍼 프로세스에 의한 반도체 기판의 적층에 의한 집적 회로(71)에서는, 도 8의 (A) 내지 도 8의 (D)에 관해 상술한 각종의 형태에 의한 촬상 결과의 출력을 한층 더 간이하게 구성할 수 있고, 이들에 의해 현격적으로 촬상 소자 출력의 자유도를 향상할 수 있다.
또한 이 실시예에 있어서, 집적 회로(71)는, 이와 같은 접속에 의해 촬상 결과를 동시 병렬적으로 복수 계통에 의해 주변 회로에 출력하고, 주변 회로에서는, 데이터 압축 처리에 관한 화상 압축부(6)가 3계통의 처리 회로(C1 내지 C3)에 의해 형성되고, 이들 3계통의 처리 회로(C1 내지 C3)에 의해 복수 계통에 의한 화상 데이터를 동시 병렬적으로 처리한다.
이 실시예에서는, 촬상 소자부의 배선층의 하층에 주변 회로를 형성함에 의해, 한층 더 높은 자유도에 의해 촬상 소자와 주변 회로를 일체로 집적 회로화하고, 이로써 한층 더 높은 자유도에 의해 촬상 결과를 출력하도록 하여, CMOS 고체 촬상 소자의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있다.
또한 이 주변 회로를, 촬상 수단과는 별개의 웨이퍼 생성 프로세스에 의해 형성함에 의해, 촬상 소자부와 주변 회로부를 각각에 적합한 웨이퍼 프로세스에 의해 작성하여, 각종의 성능을 향상할 수 있다.
(8) 실시예 6
도 15의 (A) 및 (B)는, 도 6과의 대비에 의해, 본 발명의 실시예 6에 관한 촬상 장치에 있어서, 데이터 압축 처리에 제공하는 블록의 처리 순서를 도시하는 평면도이다. 이 실시예에 관한 촬상 장치에서는, 이 블록의 처리에 관한 구성이 다른 점을 제외하고, 상술한 실시예 1 내지 5와 동일하게 구성되고, 이로써 이하에서는, 도 5의 구성을 유용하여 설명한다. 또한 도 15에서, 각 블록의 숫자는, 각 블록의 처리 순서를 나타내는 것이다.
이 실시예에서는, 도시하지 않은 시스템 컨트롤러에 의해 촬영 모드의 설정을 접수하고, 이 촬영 모드에 응하여, 화상 압축부(6)에서의 블록의 처리 순서를 전환한다. 이 때문에 시스템 컨트롤러는, 유저에 의한 촬영 모드의 선택 조작에 응동하여 촬상 소자(3)를 구동하는 구동 회로의 동작을 전환하고, 촬상 소자(3)에서는, 이 구동 회로의 동작의 전환에 의해 블록 단위에 관한 촬상 결과의 출력 순서를 전환한다.
구체적으로 시스템 컨트롤러는, 유저에 의해 선택되는 촬영 모드에 있어서, 가장 중요시되는 개소부터 순차로 데이터 압축하도록, 촬상 소자(3)로부터 출력하는 블록의 순서를 전환한다.
즉 예를 들면 유저에 의해 선택된 촬영 모드가 인물 촬영 모드인 경우, 인물 에 관한 촬상 결과가 중요하고, 이 경우, 유효 촬상 영역의 중앙에 인물이 위치하는 경우가 많은 것에 의해, 또한 인물의 배경, 근경(近景)은, 인물만큼 중요하지 않음에 의해, 도 15의 (A)에 도시하는 바와 같이, 유효 촬상 영역의 중앙의 블록부터 촬상 결과의 출력을 시작하고, 촬상 결과를 출력하는 블록을 순차로 이 중앙의 블록부터 외측의 블록으로 전환한다. 이 실시예에서는, 나선의 궤적을 그리도록, 이 중앙의 블록부터 외측의 블록으로 촬상 결과를 출력하는 블록을 전환한다.
이에 대해 예를 들면 유저에 의해 선택된 촬영 모드가 풍경 모드인 경우, 유효 촬상 영역의 거의 전부가 중요함에 의해, 도 15의 (B)에 도시하는 바와 같이, 이산적으로, 우선하여 데이터 압축하는 블록을 설정하고, 이들의 블록을 처음에 데이터 압축하도록 하고, 계속해서 다른 블록을 소정 순서에 의해 데이터 압축하도록 촬상 소자(3)의 동작을 제어한다. 또한 이 실시예에서는, 이 이산적인 블록의 설정이, 유효 화상 영역의 중앙 및 주변의 복수 부분에 설정된다.
또한 시스템 컨트롤러는, 중요시되는 개소일수록, 많은 부호량을 할당하도록, 이 우선적으로 데이터 압축하여 검출되는 이들 블록의 발생 부호량에 의거하여, 각 블록의 데이터 압축에 관한 데이터 압축률을 설정하도록, 압축률 결정부(9)의 동작을 제어한다. 구체적으로 촬영 모드에 응하여, 우선적으로 처리하는 블록과, 다른 블록에 할당하는 부호량을 전환하도록, 압축률 결정부(9)의 동작을 제어한다.
이들에 의해 이 실시예에서는, 유저가 중요하다고 생각한 영역에 관한 블록을 우선하도록, 블록의 처리 순서, 부호량의 할당을 가변하여, 실시예 1 내지 5와 마찬가지의 구성에 의해 레이트 제어의 처리를 실행하고, 그만큼, 고화질에 의해, CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 전체 구성을 간략화하여 확실하게 레이트 제어할 수 있도록 구성되어 있다.
또한 도 15의 (B)에 도시하는 바와 같이, 이산적으로, 우선하여 데이터 압축하는 블록을 설정하는 경우에는, 이들의 블록의 우선적인 데이터 압축 처리에 의한 발생 부호량에 의해, 화면 전체에 있어서의 발생 부호량의 분포, 나아가서는 화면 전체의 데이터 압축에 의한 발생 부호량을 대강 검출할 수 있다. 이로써 우선적인 데이터 압축 처리에 의한 발생 부호량에 의거하여, 발생 부호량의 분포, 화면 전체의 발생 부호량을 추정하고, 이 추정 결과에 의거하여 각 블록의 데이터 압축률, 나아가서는 화면 전체에 관한 데이터 압축률을 설정하도록 하여도 좋고, 이와 같이 하여도 CMOS 고체 촬상 소자 등의 특징인 촬상 결과의 판독에 관한 높은 자유도를 유효하게 이용하여, 한층 더 적절하게 또한 확실하게 부호량을 배분하여 레이트 제어할 수 있다.
(9) 실시예 7
도 16은, 도 5와의 대비에 의해 본 발명의 실시예 7에 관한 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(81)에서는, 부호량 계산부(8)에서 검출되는 발생 부호량에 의해 레이트 제어부(82)에서 각 부분의 동작을 제어한다. 또한 이 레이트 제어부(82)에 의한 각 부분의 제어가 다른 점을 제외하고, 이 실시예에 관한 촬상 장치(81)는, 실시예 1 내지 6에 관해 상술한 촬상 장치와 동일하게 구성됨에 의해, 이하에서는, 레이트 제어부(82)에 관한 구성에 관해서만 설명하고, 중복된 설명은 생략한다.
이 실시예에 있어서, 레이트 제어부(82)는, 1프레임의 처리를 시작하여 부호량 계산부(8)에서 검출되는 발생 부호량이 일정한 범위 이내인 경우, 상술한 실시예 1 내지 6에 관해 상술한 바와 마찬가지로, 압축률 결정부(9)에 의한 데이터 압축률의 제어에 의해, 레이트 제어의 처리를 실행한다. 이에 대해 발생 부호량이 일정한 범위를 넘는 경우, 압축률 결정부(9)에 의한 데이터 압축률의 제어와 함께, 촬상 소자(3)를 구동하는 구동 회로(83)의 제어에 의해, 촬상 소자(3)로부터 출력되는 촬상 신호(S1)의 프레임 레이트를 가변하고, 이로써 레이트 제어의 처리를 실행한다.
즉 레이트 제어부(82)는, 발생 부호량이 이 범위보다 큰 경우, 이 발생 부호량에 응하여 촬상 신호(S1)의 프레임 레이트를 저감하는 것에 대해, 발생 부호량이 이 범위보다 작은 경우, 이 발생 부호량에 응하여 촬상 신호(S1)의 프레임 레이트를 증대시키고, 이로써 아울러서 데이터 압축률을 제어함에 의해, 부호화 데이터(D2)의 데이터 전송 속도를 일정치로 유지한다.
이 실시예와 같이 아울러서 촬상 결과의 프레임 레이트를 가변하면, 한층 더 확실하게 레이트 제어할 수 있다. 또한 이와 같은 촬상 소자(3)에 관한 프레임 레이트의 가변에서는, 유저의 직접적인 지시에 의해, 또는 유저에 의한 촬영 모드, 동작 모드의 지시에 의해, 실행하도록 하여도 좋고, 나아가서는 이들에 의해 이 프레임 레이트의 제어에 관한 일정 범위를 가변하도록 하여도 좋다.
(10) 다른 실시예
또한 상술한 실시예에서는, 부 레이트 제어부(11)에 의해서도 부호화 데이터(D2)를 레이트 제어하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 실용상 충분히 레이트 제어할 수 있는 경우에는, 이 부 레이트 제어부(11)에 관한 구성을 생략하도록 하여도 좋다.
또한 상술한 실시예에서는, 촬상 수단에 CMOS 고체 촬상 소자를 적용하여 하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, XY 어드레스 제어에 의한 여러가지의 촬상 소자를 널리 적용할 수 있다.
본 발명은, 동화상에 의한 촬상 결과를 기록하는 비디오 카메라, 전자 스틸 카메라, 감시 장치 등에 적용할 수 있다.
Claims (13)
- 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과,상기 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광전 변환부와 접속되고, 상기 촬상 수단과 일체로 지지된 주변 회로를 가지며,상기 촬상 수단에 의한 촬상 결과를 상기 주변 회로에 의해 처리하여 출력하는 촬상 장치에 있어서,상기 주변 회로는,적어도 상기 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단과,상기 화상 압축 수단에 의한 데이터 압축률을 제어하는 제어 수단을 가지며,유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 상기 촬상 수단으로부터 상기 촬상 결과를 입력하여 순차로 데이터 압축하고,하나의 프레임 내에서, 하나의 블록을 상기 화상 압축 수단에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 상기 화상 압축 수단에 의해 데이터 압축할 때의 데이터 압축률을 가변하고,상기 촬상 수단은,상기 블록을 단위로 하여, 상기 화상 압축 수단에 의한 데이터 압축에 대응하는 순서에 의해, 상기 광전 변환부에 의한 촬상 결과를 출력하는 것을 특징으로 하는 촬상 장치.
- 제 1항에 있어서,상기 화상 압축 수단의 출력 데이터를 1프레임 분 축적하여 데이터 사이즈를 보정하는 데이터량 보정 수단을 갖는 것을 특징으로 하는 촬상 장치.
- 제 1항에 있어서,상기 화상 압축 수단에 의한 데이터 압축 처리가, 라인 베이스형 웨이블릿 변환처리를 이용한 데이터 압축 처리인 것을 특징으로 하는 촬상 장치.
- 제 1항에 있어서,상기 화상 압축 수단에 의한 데이터 압축 처리가, 타일 베이스형 웨이블릿 변환처리를 이용한 데이터 압축 처리인 것을 특징으로 하는 촬상 장치.
- 제 1항에 있어서,상기 화상 압축 수단에 의한 데이터 압축 처리가, 디스크리트 코사인 변환처리를 이용한 데이터 압축 처리인 것을 특징으로 하는 촬상 장치.
- 제 1항에 있어서,상기 화상 압축 수단은,상기 화상 데이터를 계수 데이터에 변환한 후, 양자화처리, 부호화처리하여 출력하고,상기 제어 수단에 의한 데이터 압축률의 가변이,상기 양자화처리의 양자화 스케일의 가변인 것을 특징으로 하는 촬상 장치.
- 제 1항에 있어서,상기 주변 회로가,상기 배선층의 하층에 배치된 것을 특징으로 하는 촬상 장치.
- 제 7항에 있어서,상기 주변 회로가, 상기 촬상 수단과는 다른 웨이퍼 생성 프로세스에 의해 형성된 것을 특징으로 하는 촬상 장치.
- 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과,상기 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광전 변환부와 접속되고, 상기 촬상 수단과 일체로 지지된 주변 회로를 가지며,상기 촬상 수단에 의한 촬상 결과를 상기 주변 회로에 의해 처리하여 출력하는 촬상 소자의 집적 회로에 있어서,상기 주변 회로는,적어도 상기 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축 수단과,상기 화상 압축 수단에 의한 데이터 압축률을 제어하는 제어 수단을 가지며,유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 상기 촬상 수단으로부터 상기 촬상 결과를 입력하여 순차로 데이터 압축하고,하나의 프레임 내에서, 하나의 블록을 상기 화상 압축 수단에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 상기 화상 압축 수단에 의해 데이터 압축할 때의 데이터 압축률을 가변하고,상기 촬상 수단은,상기 블록을 단위로 하여, 상기 화상 압축 수단에 의한 데이터 압축에 대응하는 순서에 의해, 상기 광전 변환부에 의한 촬상 결과를 출력하는 것을 특징으로 하는 촬상 소자의 집적 회로.
- 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력한 촬상부와,상기 촬상부의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광전 변환부와 접속되고, 상기 촬상부와 일체로 지지된 주변 회로를 가지며,상기 촬상부에 의한 촬상 결과를 상기 주변 회로에 의해 처리하여 출력하는 촬상 장치에 있어서,상기 주변 회로는,적어도 상기 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축부와,상기 화상 압축부에 의한 데이터 압축률을 제어하는 제어부를 가지며,유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 상기 촬상부로부터 상기 촬상 결과를 입력하여 순차로 데이터 압축하고,하나의 프레임 내에서, 하나의 블록을 상기 화상 압축부에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 상기 화상 압축부에 의해 데이터 압축할 때의 데이터 압축률을 가변하고,상기 촬상부는,상기 블록을 단위로 하여, 상기 화상 압축부에 의한 데이터 압축에 대응하는 순서에 의해, 상기 광전 변환부에 의한 촬상 결과를 출력하는 것을 특징으로 하는 촬상 장치.
- 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력한 촬상부와,상기 촬상부의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광전 변환부와 접속되고, 상기 촬상부와 일체로 지지된 주변 회로를 가지며,상기 촬상부에 의한 촬상 결과를 상기 주변 회로에 의해 처리하여 출력하는 촬상 소자의 집적 회로에 있어서,상기 주변 회로는,적어도 상기 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축부와,상기 화상 압축부에 의한 데이터 압축률을 제어하는 제어부를 가지며,유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 상기 촬상부로부터 상기 촬상 결과를 입력하여 순차로 데이터 압축하고,하나의 프레임 내에서, 하나의 블록을 상기 화상 압축부에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 상기 화상 압축부에 의해 데이터 압축할 때의 데이터 압축률을 가변하고,상기 촬상부는,상기 블록을 단위로 하여, 상기 화상 압축부에 의한 데이터 압축에 대응하는 순서에 의해, 상기 광전 변환부에 의한 촬상 결과를 출력하는 것을 특징으로 하는 촬상 소자의 집적 회로.
- 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과,상기 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광전 변환부와 접속되고, 상기 촬상 수단과 일체로 지지된 주변 회로를 가지며,상기 촬상 수단에 의한 촬상 결과를 상기 주변 회로에 의해 처리하여 출력하는 촬상 장치에서의 촬상 결과의 처리 방법에 있어서,상기 촬상 수단으로부터 상기 주변 회로에 상기 광전 변환부에 의한 촬상 결 과를 출력하는 촬상 결과 출력의 스텝과,상기 주변 회로에 의해, 적어도 상기 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축의 스텝과,상기 화상 압축의 스텝에 의한 데이터 압축률을 제어하는 제어의 스텝을 가지며,상기 화상 압축의 스텝은,유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 상기 촬상 수단으로부터 상기 촬상 결과를 입력하여 순차로 데이터 압축하고,상기 제어의 스텝은,하나의 프레임 내에서, 하나의 블록을 상기 화상 압축의 스텝에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 상기 화상 압축의 스텝에 의해 데이터 압축할 때의 데이터 압축률을 가변하고,상기 촬상 결과 출력의 스텝은,상기 블록을 단위로 하여, 상기 화상 압축의 스텝에 의한 데이터 압축에 대응하는 순서에 의해, 상기 광전 변환부에 의한 촬상 결과를 출력하는 것을 특징으로 하는 촬상 결과의 처리 방법.
- 복수의 광전 변환부가 매트릭스형상으로 배치되고, XY 어드레스 제어에 의해 촬상 결과를 출력하는 촬상 수단과,상기 촬상 수단의 수광면과는 반대측의 면에 형성된 배선층에 의해 상기 광 전 변환부와 접속되고, 상기 촬상 수단과 일체로 지지된 주변 회로를 가지며,상기 촬상 수단에 의한 촬상 결과를 상기 주변 회로에 의해 처리하여 출력하는 촬상 소자의 집적 회로에서의 촬상 결과의 처리 방법에 있어서,상기 촬상 수단으로부터 상기 주변 회로에 상기 광전 변환부에 의한 촬상 결과를 출력하는 촬상 결과 출력의 스텝과,상기 주변 회로에 의해, 적어도 상기 촬상 결과를 소정의 처리 단위마다 데이터 압축하여 출력하는 화상 압축의 스텝과,상기 화상 압축의 스텝에 의한 데이터 압축률을 제어하는 제어의 스텝을 가지며,상기 화상 압축의 스텝은,유효 화상 영역을 수평 방향 및 수직 방향으로 분할하여 형성된 블록 단위로 상기 촬상 수단으로부터 상기 촬상 결과를 입력하여 순차로 데이터 압축하고,상기 제어의 스텝은,하나의 프레임 내에서, 하나의 블록을 상기 화상 압축의 스텝에 의해 데이터 압축하여 발생하는 부호량에 의해, 적어도 계속되는 블록을 상기 화상 압축의 스텝에 의해 데이터 압축할 때의 데이터 압축률을 가변하고,상기 촬상 결과 출력의 스텝은,상기 블록을 단위로 하여, 상기 화상 압축의 스텝에 의한 데이터 압축에 대응하는 순서에 의해, 상기 광전 변환부에 의한 촬상 결과를 출력하는 것을 특징으로 하는 촬상 결과의 처리 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004205381A JP4403396B2 (ja) | 2004-07-13 | 2004-07-13 | 撮像装置及び撮像素子の集積回路 |
JPJP-P-2004-00205381 | 2004-07-13 | ||
PCT/JP2005/011889 WO2006006398A1 (ja) | 2004-07-13 | 2005-06-22 | 撮像装置、撮像素子の集積回路及び撮像結果の処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070042138A true KR20070042138A (ko) | 2007-04-20 |
KR101055058B1 KR101055058B1 (ko) | 2011-08-05 |
Family
ID=35783742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR20077000090A KR101055058B1 (ko) | 2004-07-13 | 2005-06-22 | 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법 |
Country Status (12)
Country | Link |
---|---|
US (1) | US7936376B2 (ko) |
EP (1) | EP1770991A4 (ko) |
JP (1) | JP4403396B2 (ko) |
KR (1) | KR101055058B1 (ko) |
CN (2) | CN101459777B (ko) |
AU (1) | AU2005261106A1 (ko) |
BR (1) | BRPI0513266A (ko) |
CA (1) | CA2572904A1 (ko) |
MX (1) | MX2007000063A (ko) |
RU (1) | RU2367108C2 (ko) |
TW (1) | TWI267299B (ko) |
WO (1) | WO2006006398A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8666192B2 (en) | 2008-10-08 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for ultra-high resolution video processing |
KR20190067269A (ko) * | 2014-02-07 | 2019-06-14 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치, 수신 방법, 표시 장치 및 표시 방법 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US10201760B2 (en) | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
US8549574B2 (en) * | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US20100166056A1 (en) * | 2002-12-10 | 2010-07-01 | Steve Perlman | System and method for encoding video using a selected tile and tile rotation pattern |
US8526490B2 (en) | 2002-12-10 | 2013-09-03 | Ol2, Inc. | System and method for video compression using feedback including data related to the successful receipt of video content |
US9446305B2 (en) | 2002-12-10 | 2016-09-20 | Sony Interactive Entertainment America Llc | System and method for improving the graphics performance of hosted applications |
US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
US8366552B2 (en) | 2002-12-10 | 2013-02-05 | Ol2, Inc. | System and method for multi-stream video compression |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US9168457B2 (en) | 2010-09-14 | 2015-10-27 | Sony Computer Entertainment America Llc | System and method for retaining system state |
CN101742294B (zh) * | 2008-11-14 | 2012-09-05 | 北京中星微电子有限公司 | 一种提高监控视频压缩率的方法和设备 |
JP4670947B2 (ja) * | 2008-12-05 | 2011-04-13 | ソニー株式会社 | 情報処理装置および方法 |
JP5366304B2 (ja) * | 2009-05-19 | 2013-12-11 | ルネサスエレクトロニクス株式会社 | 表示駆動装置およびその動作方法 |
RU2576484C2 (ru) * | 2010-03-03 | 2016-03-10 | Конинклейке Филипс Электроникс Н.В. | Устройства и способы для определения цветовых режимов |
JP5560785B2 (ja) * | 2010-03-12 | 2014-07-30 | 株式会社リコー | 情報処理装置、画像形成装置及び情報処理方法 |
JP2012124653A (ja) | 2010-12-07 | 2012-06-28 | Canon Inc | 符号化装置、符号化方法およびプログラム |
JP5054857B1 (ja) * | 2011-02-28 | 2012-10-24 | 富士フイルム株式会社 | カラー撮像装置 |
US8966024B2 (en) * | 2011-11-15 | 2015-02-24 | Nicira, Inc. | Architecture of networks with middleboxes |
WO2014155919A1 (ja) * | 2013-03-27 | 2014-10-02 | 日本電気株式会社 | 画像符号化装置、画像符号化方法および画像符号化プログラム |
US20150049098A1 (en) * | 2013-08-13 | 2015-02-19 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compressed pixel data groups via multiple display ports of display interface and related data processing method |
JP6248468B2 (ja) * | 2013-08-23 | 2017-12-20 | 株式会社ニコン | 撮像装置および電子機器 |
WO2015055093A1 (en) * | 2013-10-17 | 2015-04-23 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method |
US10178181B2 (en) * | 2014-04-02 | 2019-01-08 | Cisco Technology, Inc. | Interposer with security assistant key escrow |
JP6549366B2 (ja) * | 2014-09-19 | 2019-07-24 | 株式会社リコー | 光電変換素子、画像読取装置及び画像形成装置 |
US9626733B2 (en) * | 2014-11-24 | 2017-04-18 | Industrial Technology Research Institute | Data-processing apparatus and operation method thereof |
US9978798B2 (en) * | 2015-08-03 | 2018-05-22 | Sony Corporation | Sensors with variable sensitivity to maximize data use |
RU2640298C1 (ru) | 2015-10-12 | 2017-12-27 | Общество С Ограниченной Ответственностью "Яндекс" | Способ обработки и хранения изображений |
US10521881B1 (en) | 2017-09-28 | 2019-12-31 | Apple Inc. | Error concealment for a head-mountable device |
US10477133B2 (en) * | 2017-10-02 | 2019-11-12 | Sony Semiconductor Solutions Corporation | Solid-state imaging sensor and solid-state imaging device |
JP2018029404A (ja) * | 2017-11-24 | 2018-02-22 | 株式会社ニコン | 撮像素子および撮像装置 |
KR20200124287A (ko) * | 2018-02-27 | 2020-11-02 | 제탄 시스템즈 인코포레이티드 | 이종 데이터를 위한 확장 가능한 변환 처리 유닛 |
CN110858191A (zh) * | 2018-08-24 | 2020-03-03 | 北京三星通信技术研究有限公司 | 文件处理方法、装置、电子设备及可读存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5892260A (ja) | 1981-11-27 | 1983-06-01 | Mitsubishi Electric Corp | 半導体装置 |
JPS63174356A (ja) | 1987-01-14 | 1988-07-18 | Agency Of Ind Science & Technol | 画像処理用半導体装置 |
JP3117138B2 (ja) | 1989-09-13 | 2000-12-11 | オリンパス光学工業株式会社 | 電子スチルカメラとその撮像記録素子 |
JPH05268535A (ja) * | 1992-03-24 | 1993-10-15 | Toshiba Corp | 視覚センサー |
US6509927B1 (en) * | 1994-12-16 | 2003-01-21 | Hyundai Electronics America Inc. | Programmably addressable image sensor |
JP3859815B2 (ja) * | 1996-08-02 | 2006-12-20 | シャープ株式会社 | 圧縮情報記憶装置 |
JP4150112B2 (ja) * | 1998-08-24 | 2008-09-17 | ソニー株式会社 | 画像データ処理方法および画像データ処理装置 |
US7369161B2 (en) * | 1999-06-08 | 2008-05-06 | Lightsurf Technologies, Inc. | Digital camera device providing improved methodology for rapidly taking successive pictures |
JP2001094888A (ja) * | 1999-09-22 | 2001-04-06 | Canon Inc | 撮像装置 |
JP4254017B2 (ja) * | 2000-03-10 | 2009-04-15 | ソニー株式会社 | 画像符号化装置及び方法 |
US6809769B1 (en) * | 2000-06-22 | 2004-10-26 | Pixim, Inc. | Designs of digital pixel sensors |
US20020171743A1 (en) * | 2001-05-16 | 2002-11-21 | Konica Corporation | Electronic device and digital still camera |
JP3759435B2 (ja) * | 2001-07-11 | 2006-03-22 | ソニー株式会社 | X−yアドレス型固体撮像素子 |
JP3617498B2 (ja) * | 2001-10-31 | 2005-02-02 | 三菱電機株式会社 | 液晶駆動用画像処理回路、およびこれを用いた液晶ディスプレイ装置、ならびに画像処理方法 |
JP4123415B2 (ja) * | 2002-05-20 | 2008-07-23 | ソニー株式会社 | 固体撮像装置 |
JP2004031785A (ja) | 2002-06-27 | 2004-01-29 | Fujitsu Ltd | 半導体装置及び半導体装置の設計方法 |
JP2004085936A (ja) * | 2002-08-27 | 2004-03-18 | Olympus Corp | カメラ |
JP4599917B2 (ja) * | 2004-07-09 | 2010-12-15 | ソニー株式会社 | 撮像装置 |
-
2004
- 2004-07-13 JP JP2004205381A patent/JP4403396B2/ja not_active Expired - Fee Related
-
2005
- 2005-06-22 KR KR20077000090A patent/KR101055058B1/ko not_active IP Right Cessation
- 2005-06-22 CN CN2008101873813A patent/CN101459777B/zh not_active Expired - Fee Related
- 2005-06-22 CN CNB2005800236494A patent/CN100474900C/zh not_active Expired - Fee Related
- 2005-06-22 US US11/632,317 patent/US7936376B2/en not_active Expired - Fee Related
- 2005-06-22 EP EP05755867A patent/EP1770991A4/en not_active Withdrawn
- 2005-06-22 RU RU2007101299A patent/RU2367108C2/ru not_active IP Right Cessation
- 2005-06-22 WO PCT/JP2005/011889 patent/WO2006006398A1/ja active Application Filing
- 2005-06-22 CA CA 2572904 patent/CA2572904A1/en not_active Abandoned
- 2005-06-22 BR BRPI0513266-5A patent/BRPI0513266A/pt not_active IP Right Cessation
- 2005-06-22 MX MX2007000063A patent/MX2007000063A/es not_active Application Discontinuation
- 2005-06-22 AU AU2005261106A patent/AU2005261106A1/en not_active Abandoned
- 2005-06-30 TW TW94122219A patent/TWI267299B/zh not_active IP Right Cessation
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8666192B2 (en) | 2008-10-08 | 2014-03-04 | Samsung Electronics Co., Ltd. | Apparatus and method for ultra-high resolution video processing |
US9471843B2 (en) | 2008-10-08 | 2016-10-18 | Samsung Electronics Co., Ltd. | Apparatus and method for ultra-high resolution video processing |
US10063808B2 (en) | 2008-10-08 | 2018-08-28 | Samsung Electronics Co., Ltd. | Apparatus and method for ultra-high resolution video processing |
KR20190067269A (ko) * | 2014-02-07 | 2019-06-14 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치, 수신 방법, 표시 장치 및 표시 방법 |
KR20200016405A (ko) * | 2014-02-07 | 2020-02-14 | 소니 주식회사 | 수신 장치, 표시 장치 및 수신 방법 |
KR20200053652A (ko) * | 2014-02-07 | 2020-05-18 | 소니 주식회사 | 수신 장치, 표시 장치 및 수신 방법 |
KR20200108495A (ko) * | 2014-02-07 | 2020-09-18 | 소니 주식회사 | 수신 장치, 표시 장치 및 수신 방법 |
US11290754B2 (en) | 2014-02-07 | 2022-03-29 | Sony Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
US11323752B2 (en) | 2014-02-07 | 2022-05-03 | Sony Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
US11418820B2 (en) | 2014-02-07 | 2022-08-16 | Sony Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
US11595704B2 (en) | 2014-02-07 | 2023-02-28 | Sony Group Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
US11716493B2 (en) | 2014-02-07 | 2023-08-01 | Sony Group Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
US11882320B2 (en) | 2014-02-07 | 2024-01-23 | Sony Corporation | Transmission device, transmission method, reception device, reception method, display device, and display method |
Also Published As
Publication number | Publication date |
---|---|
US7936376B2 (en) | 2011-05-03 |
JP4403396B2 (ja) | 2010-01-27 |
AU2005261106A1 (en) | 2006-01-19 |
TWI267299B (en) | 2006-11-21 |
MX2007000063A (es) | 2007-03-28 |
CN101459777A (zh) | 2009-06-17 |
JP2006033104A (ja) | 2006-02-02 |
CN1985510A (zh) | 2007-06-20 |
EP1770991A4 (en) | 2012-07-11 |
RU2367108C2 (ru) | 2009-09-10 |
EP1770991A1 (en) | 2007-04-04 |
CA2572904A1 (en) | 2006-01-19 |
RU2007101299A (ru) | 2008-07-27 |
TW200614806A (en) | 2006-05-01 |
WO2006006398A1 (ja) | 2006-01-19 |
US20090002507A1 (en) | 2009-01-01 |
KR101055058B1 (ko) | 2011-08-05 |
CN101459777B (zh) | 2012-04-25 |
CN100474900C (zh) | 2009-04-01 |
BRPI0513266A (pt) | 2008-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101055058B1 (ko) | 촬상 장치, 촬상 소자의 집적 회로 및 촬상 결과의 처리방법 | |
KR101148334B1 (ko) | 촬상 장치와 촬상 결과의 처리 방법 | |
JPWO2006025232A1 (ja) | 撮像装置及び撮像結果の出力方法 | |
EP1215729A2 (en) | Image pickup apparatus | |
JP4978719B2 (ja) | 撮像装置 | |
CN102812698A (zh) | 摄像装置 | |
KR101130375B1 (ko) | 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법 | |
JP2020031336A (ja) | 撮像装置 | |
JP3457407B2 (ja) | 画像圧縮機能を有する撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140725 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |