KR20070053230A - 촬상 장치, 촬상 결과의 처리 방법 및 집적회로 - Google Patents
촬상 장치, 촬상 결과의 처리 방법 및 집적회로 Download PDFInfo
- Publication number
- KR20070053230A KR20070053230A KR1020077004149A KR20077004149A KR20070053230A KR 20070053230 A KR20070053230 A KR 20070053230A KR 1020077004149 A KR1020077004149 A KR 1020077004149A KR 20077004149 A KR20077004149 A KR 20077004149A KR 20070053230 A KR20070053230 A KR 20070053230A
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- semiconductor chip
- processing
- pixel
- motion information
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims abstract description 228
- 238000003384 imaging method Methods 0.000 claims abstract description 144
- 239000004065 semiconductor Substances 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 83
- 238000000034 method Methods 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000010030 laminating Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 58
- 239000011229 interlayer Substances 0.000 description 14
- 239000006185 dispersion Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000003475 lamination Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000020509 sex determination Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
- H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
- H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
- H01L2924/0001—Technical content checked by a classifier
- H01L2924/0002—Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
본 발명은, 특히 화소 단위의 움직임 정보의 검출에 적용하여, XY 어드레스 제어에 의한 촬상 소자의 반도체 칩(13)과, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로(17)의 반도체 칩(16)을 적층한다.
촬상 장치, 촬상 결과의 처리 방법 및 집적회로
Description
본 발명은, 촬상 장치, 촬상 결과의 처리 방법 및 집적회로에 관한 것으로, 특히 화소 단위의 움직임 정보의 검출에 적용할 수 있다. 본 발명은, XY 어드레스 제어에 의한 촬상 소자의 반도체 칩과, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로의 반도체 칩을 적층함에 의해, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있도록 한다.
종래, 촬상 장치는, CCD(Charge Coupled Device) 고체 촬상 소자로부터 래스터 주사의 순서에 의한 촬상 결과를 입력하여, 예를 들면 움직임 검출 등의 처리를 실행하도록 구성되어 있다.
즉, 도 1은 CCD 고체 촬상 소자에 의한 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(1)에 있어서, CCD 고체 촬상 소자(2)는, 광전 변환 소자에 의한 화소(3)가 매트릭스형상으로 배치되고, 판독 게이트(4)의 제어에 의해, 각 화소(3)의 축적 전하를 프레임 단위로 수직 전송 레지스터(5)에 전송한다. CCD 고체 촬상 소자(2)는, 이 축적 전하를 수직 전송 레지스터(5)에 의해 순차로 수평 전송 레지스터(6)에 전송하면서, 수평 전송 레지스터(6)에 의해 순차로 전송하여 출력한다.
이 촬상 장치(1)는, 이 CCD 고체 촬상 소자(2)로부터 출력되는 촬상 결과를 논리 연산부(7)에 입력하고, 이 논리 연산부(7)에 의한 논리 연산 처리에 의해, 예를 들면 화소 단위로 움직임 정보를 검출한다. 또한 이 움직임 정보를 프로세서부(8)에 의해 처리하고, 이로써 예를 들면 특정 영역의 움직임 등을 계산하여 촬상 결과의 처리에 사용한다.
이에 대해 근래, CMOS 고체 촬상 소자가 실용에 제공되고, 이 CMOS 고체 촬상 소자에 관해, 예를 들면 일본 특개2004-31785호 공보 등에는, 주변 회로와 일체화하는 궁리가 제안되어 있다.
그런데 촬상 결과로부터 화소 단위로 움직임 정보를 검출하는 경우, 결국, 1프레임분의 촬상 결과를 논리 연산부(7)에 입력하여 처리를 시작하게 되고, 또한 이와 같은 처리에 의한 1 프레임 분의 움직임 정보를 프로세서부(8)에 통합하여 출력하게 된다.
이로써 종래의 래스터 주사에 의한 촬상 결과의 처리에서는, 예를 들면 CMOS 고체 촬상 소자를 적용하여 고속도로 촬상 결과를 출력하는 경우에는, 움직임 검출의 처리가 충분하지 못하게 되고, 이로 인해 높은 레이트에 의한 촬상 결과의 처리가 곤란한 문제가 있다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있는 촬상 장치, 촬상 결과의 처리 방법 및 집적회로를 제 안하고자 하는 것이다.
이러한 과제를 해결하기 위해, 본 발명은, 복수의 반도체 칩을 적층하여 형성된 집적회로에 의한 촬상 장치로서, 집적회로는, 가장 상층의 반도체 칩이, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하는 촬상 소자의 반도체 칩이고, 하층의 반도체 칩이, 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로와, 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 움직임 처리 회로에 의한 반도체 칩과 같이 한다.
본 발명의 구성에 의해, 가장 상층의 반도체 칩이, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하는 촬상 소자의 반도체 칩이고, 하층의 반도체 칩이, 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로와, 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 움직임 처리 회로의 집적회로에 의한 반도체 칩과 같이 하면, 이들 2개의 반도체 칩의 접속에 의해, 예를 들면 촬상 소자에 의한 각 화소의 촬상 결과를 동시병렬적으로 움직임 검출 회로에 의해 처리할 수 있고, 이로써 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있다.
또한 본 발명은, 복수의 반도체 칩을 적층하여 형성된 집적회로를 이용한 촬상 장치에서의 촬상 결과의 처리 방법으로서, 집적회로에서의 가장 상층의 반도체 칩에 의해, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하고, 하층의 반도체 칩에 의해, 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하고, 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력한다.
이로써 본 발명의 구성에 의하면, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
또한 본 발명은, 복수의 반도체 칩을 적층하여 형성된 집적회로로서, 가장 상층의 반도체 칩이, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하는 촬상 소자의 반도체 칩이고, 하층의 반도체 칩이, 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로와, 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 움직임 처리 회로에 의한 반도체 칩과 같이 한다.
이로써 본 발명의 구성에 의하면, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있는 집적회로를 제공할 수 있다.
또한 본 발명은, 복수의 반도체 칩을 적층하여 형성된 집적회로에서의 촬상 결과의 처리 방법으로서, 집적회로에서의 가장 상층의 반도체 칩에 의해, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하고, 하층의 반도체 칩에 의해, 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하고, 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력한다.
이로써 본 발명의 구성에 의하면, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있는 촬상 결과의 처리 방법을 제공할 수 있다.
본 발명에 의하면, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있다.
도 1은 종래의 촬상 장치를 도시하는 블록도.
도 2는 본 발명의 실시예 1에 관한 촬상 장치를 도시하는 블록도.
도 3은 도 2의 촬상 장치에 적용되는 집적회로를 도시하는 분해 사시도.
도 4는 도 3의 집적회로의 움직임 처리층을 도시하는 분해 사시도.
도 5는 움직임 정보의 처리 결과를 도시하는 도표.
도 6은 움직임 정보의 출력을 도시하는 도표.
도 7은 실시예 3에 관한 집적회로의 설명에 제공하는 약선도.
도 8은 도 7에 관한 집적회로의 움직임 검출 회로의 설명에 제공하는 약선도.
이하, 적절히 도면을 참조하면서 본 발명의 실시예를 상세히 기술한다.
(1) 실시예 1의 구성
도 2는 본 발명의 실시예 1에 관한 촬상 장치를 도시하는 블록도이다. 이 촬상 장치(31)는, 소망하는 피사체의 촬상 결과를 데이터 압축하여 기록 매체에 기록하고, 또한 소망하는 전송 대상에 송출한다.
여기서 이 촬상 장치(31)에서, 렌즈(32)는, 유저에 의한 조작에 응동하여 줌 배율, 조리개를 가변하여 촬상 소자(33)의 촬상면에 입사광을 집광한다. 광학 로우패스 필터(34)는, 이 렌즈(32)의 출사광보다 공간 주파수가 높은 성분을 억압하고, 계속되는 색 보정 필터(35)는, 광학 로우패스 필터(34)로부터 출사되는 출사광의 색 온도를 보정하여 출사한다.
촬상 소자(33)는, 예를 들면 CMOS 고체 촬상 소자에 의해 형성되고, 구동부(36)로부터 출력되는 각종 타이밍 신호에 의해 동작하여, 촬상면에 형성된 광학상을 각 화소에 의해 광전 변환하여 촬상 신호(S1)를 출력한다.
구동부(36)는, 제어부(39)의 제어에 의해, 이 촬상 소자(33)의 각종 타이밍 신호를 생성하여 촬상 소자(33)에 출력하고, 이로써 제어부(39)의 제어에 의해 촬상 소자(33)의 동작을 제어한다.
아날로그 디지털 변환 회로(AD)(37)는, 이 촬상 신호(S1)를 아날로그 디지털 변환 처리하여 화상 데이터(D1)를 출력한다.
화상 처리부(38)는, 이 화상 데이터(D1)를 데이터 압축하고, 그 처리 결과에 의한 부호화 데이터(D2)를 기록계, 전송계에 출력하고, 이로써 이 촬상 장치(31)에서는, 이 기록계에 의해 소정의 기록 매체에 부호화 데이터(D2)를 기록하고, 또한 이 전송계에 의해 부호화 데이터(D2)를 외부 기기에 전송한다.
제어부(39)는, 마이크로컴퓨터에 의한 연산 처리 수단에 의해 구성되고, 소정의 제어 프로그램의 실행에 의해, 유저에 의해 조작자(操作子)의 조작에 응동하여 이 촬상 장치(31) 전체의 동작을 제어한다. 또한 이 실시예에 있어서, 이 제어 프로그램은, 이 촬상 장치(31)에 사전에 인스톨되어 제공되는 것이지만, 이 제어 프로그램으로서는, 인터넷 등의 네트워크를 통한 다운로드에 의해, 나아가서는 기록 매체로부터의 다운로드에 의해 제공하도록 하여도 좋고, 이와 같은 기록 매체로서는, 광디스크, 메모리 카드 등, 여러가지의 기록 매체를 널리 적용할 수 있다.
그리하여 제어부(39)는, 유저에 의해 전원이 켜지면 동작을 시작하고, 유저에 의한 조작자의 조작에 응동하여 촬상 소자(33)에 의해 촬상 결과의 취득을 시작하도록, 또한 이 촬상 결과의 기록, 전송을 시작하도록, 전체의 동작을 제어한다.
도 3은 촬상 장치(31)에 적용되는 촬상 소자(33)의 집적회로를 도시하는 분해 사시도이다. 이 집적회로(11)는, 촬상 결과를 순차 단계적으로 처리하여 처리 결과를 프로세서부에 출력한다. 이 집적회로(11)는, 이 단계적인 처리에 관한 각 단계의 처리를 실행하는 회로 블록이 각각 집적회로화 되어 두께가 얇은 반도체 칩이 형성되고, 이 두께가 얇은 반도체 칩을 처리의 순서에 따라 순차로 적층하여 형성된다. 이로써 집적회로(11)는, 각 처리를 실행하는 처리층과, 각 처리층을 접속하는 층간배선층의 적층 구조에 의해 형성된다. 집적회로(11)는, 이들의 처리층중의 가장 상층의 처리층이, 촬상 결과를 취득하여 출력하는 촬상소자층(13)에 할당된다.
여기서 촬상소자층(13)은, XY 어드레스 제어에 의해 촬상 결과를 출력하는 고체 촬상 소자와, 이 고체 촬상 소자의 주변 회로에 의한 집적회로의 반도체 칩에 의해 형성된다. 또한 이 촬상소자층(13)은, 윗면측에, 화소(14)가 매트릭스형상으로 배치되어 고체 촬상 소자의 촬상면이 형성되고, 이로써 도 2에 관해 상술한 촬상 소자(33)가 형성된다. 또한 이 고체 촬상 소자의 주변 회로에, 도 2에 관해 상 술한 각 화소(14)를 구동하는 구동 회로(36), 각 화소(14)의 촬상 결과를 화상 데이터로 변환하는 아날로그 디지털 변환 회로(37), 각 화소(14)의 촬상 결과를 판독하는 판독 회로 등이 적용된다. 촬상소자층(13)은, 이 판독 회로의 구동에 의한 XY 어드레스 제어에 의해, 각 화소(14)의 촬상 결과에 의한 화상 데이터를, 동시병렬적으로, 짧은 시간 간격에 의해 판독하고, 하층의 층간배선층(15)을 통하고, 이 판독 화상 데이터를 계속되는 처리층에 동시병렬적으로 출력한다.
여기서 이 하층의 처리층은, 촬상소자층(13)의 각 화소마다 움직임 정보를 검출하는 움직임 검출층(16)이고, 촬상소자층(13)에 의한 촬상 결과로부터 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로(17)가 마련된다. 여기서 이 실시예에 있어서, 움직임 검출 회로(17)는, 촬상소자층(13)의 각 화소에 대응하는 복수의 움직임 검출부(17A)에 의해 형성된다.
이로써 층간배선층(15)은, 움직임 검출 회로(17)에서 화소 단위의 움직임 정보를 검출 가능하게, 촬상소자층(13)의 하나의 화소로부터 출력되는 화상 데이터를, 움직임 검출층(16)이 대응하는 움직임 검출부(17A)와, 이 대응하는 움직임 검출부(17A)에 대해 X방향 부측(負側) 및 Y방향 부측에 인접하는 움직임 검출부(17A)에 출력한다.
이로써 움직임 검출부(17A)는, 이 움직임 검출부(17A)의 X방향 및 Y방향의 좌표치를 (x, y)로 하였을 때, 대응하는 화소(14)에 의한 촬상 결과(f(x, y))와, 이 대응하는 화소(14)에 대해 X방향 부측 및 Y방향 부측에 인접하는 화소(14)에 의한 촬상 결과(f(x-1, y), f(x, y-1))가 동시병렬적으로 입력된다. 움직임 검출 부(17A)는, 1샘플링 전(前)의 대응하는 화소(14)에 의한 촬상 결과(f(x, y, t-1))를 보존하는 레지스터와, 감산(減算) 회로를 가지며, 레지스터에 보존한 촬상 결과(f(x, y, t-1)), 이 대응하는 화소(14), 인접 화소(14)로부터 입력되는 촬상 결과(f(x, y, t), f(x-1, y, t), f(x, y-1, t))를 이용하여, 감산 회로에 의해 다음 식의 연산 처리를 실행함에 의해, 각각 대응하는 화소(14)의 촬상 결과(f(x, y))에 관해, X방향, Y방향에 관한 인접 화소와의 사이의 차분치((fx)(x, y), fy(x, y)), 시간축 방향의 차분치(ft(x, y))를 계산한다.
fx(x,y) = f(x,y,t) - f(x-1,y,t) ……(1)
fy(x,y) = f(x,y,t) - f(x,y-1,t) ……(2)
ft(x,y) = f(x,y,t) - f(x,y,t-1) ……(3)
또한 움직임 검출부(17A)는, 이와 같이 하여 계산한 차분치((fx)(x, y), fy(x, y)), ft(x, y)를 이용하여, 연산 회로에 의해 다음 식의 연산 처리를 풀음에 의해, 대응하는 화소(14)의 움직임 정보(u, v)를 계산한다. 또한 여기서 fx(x-1, y), fy(x-1, y)는 X방향 부측에 인접하는 움직임 검출 회로(17)에 의한 X방향, Y방향의 차분치 계산 결과이고, ft(x-1, y)는 시간축 방향의 차분치 계산 결과이다.
fx(x,y)*u + fy(x,y)*v + ft(x,y) = 0 ……(4)
fx(x-1,y)*u + fy(x-1,y)*v + ft(x-1,y) = 0 ……(5)
또한 이 (4)식 및 (5)식을 풀어서 얻어지는 움직임 정보(u, v)의 값(u 및 v)은, 다음 식에 의해 표시됨에 의해, 움직임 검출부(17A)는, 구체적으로는, 연산 회로에 의해, 이 (6)식 및 (7)식의 연산 처리를 실행하여 대응하는 화소(14)의 움직 임 정보(u, v)를 계산한다.
u = K*(fy(x-1,y)*ft(x,y) - fy(x,y)*ft(x-1,y)) ……(6)
v = K*( - fx(x-1,y)*ft(x,y) + fx(x,y)*ft(x-1,y)) ……(7)
단, Ｋ는, 다음 식에 의해 표시되고, 분모가 값(0)인 경우, 움직임(u, v)은 (0, 0)으로 설정된다.
K = -1/(fx(x,y)*fy(x-1,y) - fy(x,y)*fx(x-1,y)) ……(8)
움직임 검출부(17A)는, 이와 같이 하여 검출된 움직임 정보(u, v)와 대응하는 화소(14)의 화상 데이터를, 층간배선층(19)을 통하여 계속되는 처리층인 움직임 처리층(18)에 출력한다. 이로써 이 움직임 검출층(16)의 하층의 층간배선층(19)은, 움직임 검출층(16)에 마련된 움직임 검출부(17A)에 의한 움직임 검출 결과와, 각 화소(14)의 화상 데이터를 움직임 처리층(18)에 출력한다.
움직임 처리층(18)은, 움직임 검출층(16)에서 계산된 화소 단위의 움직임 정보(u, v)를 처리하여 움직임이 동일한 영역을 검출하는 움직임 처리 회로(20)가 마련된다. 여기서 움직임 처리 회로(20)는, 이 움직임 정보(u, v)의 처리를 순차 단계적으로 실행하고, 도 4에 도시하는 바와 같이, 각 단계의 처리에 대응하는 집적회로의 반도체 칩이 적층되어, 3개의 처리층(21 내지 23)과, 이들 처리층(21 내지 23) 사이를 접속하는 2개의 층간배선층(24, 25)에 의해 형성된다.
움직임 처리 회로(20)는, 이들의 처리층(21 내지 23)중, 가장 상층의 처리층(21)이, 제1의 움직임 균일성 판단층(21)에 할당되고, 이 제1의 움직임 균일성 판단층(21)에 제1의 움직임 균일성 판단 회로(27)가 마련된다.
여기서 제1의 움직임 균일성 판단 회로(27)는, X방향 및 Y방향의 소정 화소수에 의한 블록마다 마련되고, 각각 대응하는 블록에 관한 각 화소의 움직임 정보(u, v), 화상 데이터가 움직임 검출층(16)으로부터 입력된다. 제1의 움직임 균일성 판단 회로(27)는, 이 입력된 각 화소의 움직임 정보(u, v)의 평균치를 계산한다. 또한 이 평균치를 기준으로 하여 움직임 정보(u, v)의 분산치(分散値)를 각 화소(14)마다 계산하고, 이 분산치를 소정의 임계치에 의해 판정한다. 이로써 제1의 움직임 균일성 판단 회로(27)는, 대응하는 블록에 포함되는 화소의 움직임(u, v)이 동일한 영역에 속하는 것인지의 여부를 판단하고, 분산이 임계치 이하이고, 동일한 영역에 속하는 것이라고 판단되는 경우, 이 임계치에 의한 판정 결과, 각 화소의 움직임 정보(u, v)의 평균치를 각 화소(14)의 화상 데이터와 함께 출력한다. 이에 대해 분산이 임계치보다 크고, 동일한 영역에 속하는 것이 아니라고 판단되는 경우, 이 임계치에 의한 판정 결과, 대응하는 화소의 움직임 정보(u, v)를 화상 데이터와 함께 출력한다.
층간배선층(24)은, 이 제1의 움직임 균일성 판단층(21)으로부터의 출력 데이터를 계속되는 제 2의 움직임 균일성 판단층(22)에 출력한다. 여기서 이 제 2의 움직임 균일성 판단층(22)에는, 제1의 움직임 균일성 판단층(21)에 마련된 제1의 움직임 균일성 판단 회로(27)의 소정 개수마다, 제 2의 움직임 균일성 판단 회로(28)가 마련된다.
여기서 제 2의 움직임 균일성 판단 회로(28)는, 제1의 움직임 균일성 판단 회로(27)로부터 출력되는 판정 결과에 의거하여, 동일한 영역에 속하는 것이라고 판단된 제1의 움직임 균일성 판단 회로(27)에 의한 평균치를 다시 평균치화 한다. 또한 이 평균치를 기준으로 하여 제1의 움직임 균일성 판단 회로(27)에 의한 각 평균치의 분산치를 계산하고, 이 분산치를 소정의 임계치에 의해 판정한다. 이로써 제 2의 움직임 균일성 판단 회로(28)는, 제1의 움직임 균일성 판단 회로(27)에서 소영역에 관해 동일한 영역에 속하는 것이라고 판단된 화소가, 이 소영역보다 큰 대영역에 관해 동일한 영역에 속하는 것인지의 여부를 판단한다.
제 2의 움직임 균일성 판단 회로(28)는, 이 판정 결과에 의해, 분산이 임계치 이하이고, 대영역에 관해 동일한 영역에 속하는 것이라고 판단되는 경우, 이 임계치에 의한 판정 결과, 각 화소의 움직임 정보(u, v)의 평균치를 각 화소의 화상 데이터와 함께 출력한다. 이에 대해 분산이 임계치보다 크고, 대영역에 관해 동일한 영역에 속하는 것이 아니라고 판단되는 경우, 임계치에 의한 판정 결과, 제1의 움직임 균일성 판단 회로(27)에 의한 평균치를 각 화소의 화상 데이터와 함께 출력한다. 또한 이미, 제1의 움직임 균일성 판단 회로(27)에 의해, 소영역에 관해 동일한 영역에 속하는 것이 아니라고 판단되어 있는 화소에 관해서는, 제1의 움직임 균일성 판단층(21)으로부터 출력되는 각 화소의 움직임 정보(u, v), 화상 데이터를 그대로 출력한다.
층간배선층(25)은, 이 제 2의 움직임 균일성 판단층(22)으로부터의 출력 데이터를 계속되는 움직임 영역 판정층(23)에 출력한다.
여기서 이 움직임 영역 판정층(23)에는, 하나의 움직임 영역 판정 회로(29)가 마련된다. 여기서 이 움직임 영역 판정 회로(29)는, 제 2의 움직임 균일성 판단 회로(28)로부터 출력되는 판정 결과에 의거하여, 동일한 영역에 속하는 것이라고 판단된 제 2의 움직임 균일성 판단 회로(28)에 의한 평균치를 화면 전체로 다시 평균치화 한다. 또한 이 평균치를 기준으로 하여 제 2의 움직임 균일성 판단 회로(28)에 의한 각 평균치의 분산치를 계산하고, 이 분산치를 소정의 임계치에 의해 판정한다. 이로써 움직임 영역 판정층(23)은, 제 2의 움직임 균일성 판단 회로(28)에서 동일한 영역에 속하는 것이라고 판단된 화소가, 또한 화면 전체로 동일한 영역에 속하는 것인지의 여부를 판단한다.
움직임 영역 판정 회로(29)는, 이 판정 결과에 의해, 분산치가 임계치 이하이고, 동일한 영역에 속하는 것이라고 판단되는 경우, 도 5에 도시하는 바와 같이, 이 동일한 영역에 속한다고 판단된 각 화소의 화상 데이터에, 영역을 나타내는 식별 코드를 설정한다. 또한 이 경우, 도 5에서, 값(0)의 식별 코드가 설정된 화소가 상당한다. 또한 이 분산치가 임계치 이하이고, 화면 전체로는 동일한 영역에 속하는 것이라고 판단하는 것이 곤란한 화소에 관해서는, 제 2의 움직임 균일성 판단층(22), 제1의 움직임 균일성 판단층(21)에 의한 판정 결과, 평균치에 의거하여, 다른 동일한 영역에 속하는지의 여부를 판정하고, 마찬가지로, 각 화소의 화상 데이터에, 속하는 영역을 나타내는 식별 코드를 설정한다. 또한 이들의 화소는, 도 5에서, 값(1), 값(2)의 식별 코드가 설정된 화소가 상당한다.
움직임 영역 판정 회로(29)는, 이와 같이 하여 식별 코드를 설정한 화상 데이터를 소정의 순서에 의해 계속되는 프로세서부에 출력한다. 또한 도 6에 도시하는 바와 같이, 각 영역에 속하는 화소의 움직임 정보(u, v)의 평균치를, 각 영역의 움직임 정보로서, 대응하는 식별 코드와 함께 계속되는 프로세서부에 출력한다. 이들에 의해 움직임 처리 회로(20)는, 화소 단위의 움직임 정보(u, v)를 소영역, 대영역, 화면 전체로 평균치화 하여 평균치를 출력하고, 나아가서는 움직임이 동일한 영역을 검출한다.
이 실시예의 촬상 장치(31)는, 이 프로세서부에 의해 움직임 영역 판정 회로(29)에 의한 처리 결과를 이용하여 화상 데이터를 처리한다. 여기서 이 화상 데이터의 처리는, 이 실시예에서는 화상 데이터의 부호화 처리이지만, 물체 추적 처리 등을 적용할 수도 있다. 이로써 집적회로(11)에서는, 층간배선층(16) 내지 프로세서부의 구성에 의해 도 2에 관해 상술한 화상 처리부(38)가 형성된다.
(2) 실시예 1의 동작
이상의 구성에 있어서, 이 촬상 장치에서는(도 2 및 도 3), 렌즈(32)에 의해 집적회로(11)의 촬상면에 피사체의 상이 형성되고, 이 촬상면을 구성하는 각 화소(14)에 의해 이 광학상(光學像)의 촬상 결과가 얻어진다. 이 촬상 장치에서는, 이 각 화소(14)의 촬상 결과가, 움직임 검출 회로(17)에 의해 처리되어 각 화소의 움직임 정보(u, v)가 검출되고, 또한 움직임 처리 회로(20)에 의해 각 화소의 움직임 정보(u, v)가 처리되어, 소영역, 대영역, 화면 전체에서의 움직임 정보(u, v)의 평균치가 얻어지고, 움직임이 동일한 영역이 검출된다.
이들의 처리에 있어서, 이 집적회로(11)는, 이들 촬상 결과를 출력하는 촬상 소자, 움직임 검출 회로(17), 움직임 처리 회로(20)가 각각 집적회로화 되어, 두께가 얇은 반도체 칩에 의해 형성되고, 이들 두께가 얇은 반도체 칩의 적층에 의해 형성된다. 또한 이로써 촬상 소자의 각 화소에 의한 촬상 결과가, 하층의 움직임 검출 회로(17)에 의한 반도체 칩에 동시병렬적으로 출력되고, 이 촬상 결과가 움직임 검출 회로(17)에 의해 동시병렬적으로 처리되어 각 화소의 움직임 정보(u, v)가 검출되고, 또한 이 각 화소의 움직임 정보(u, v)가 하층의 움직임 처리 회로(20)에 의한 반도체 칩에 동시병렬적으로 출력되어 동시병렬적으로 처리된다.
이로써 이 실시예에서는, XY 어드레스 제어에 의한 촬상 소자의 반도체 칩과, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로의 반도체 칩의 적층에 의해, 각 화소의 촬상 결과를 동시병렬적으로 출력, 처리하여 움직임 정보를 검출할 수 있고, 그 만큼, 촬상 소자로부터 높은 레이트의 촬상 결과를 출력하여 움직임 검출하는 경우라도, 충분한 처리시간을 확보하여 확실하게 움직임 검출 처리할 수 있다.
구체적으로 이 실시예에서는, 이와 같이 하여 검출되는 화소 단위의 움직임 정보(u, v)를 움직임 처리 회로에 의해 처리하여, 화소 단위의 움직임 정보(u, v)에 의한 소영역, 대영역, 화면 전체의 평균치를 검출하고, 나아가서는 움직임이 동일한 영역을 검출함에 의해, 이와 같이 하여 검출되는 화소 단위의 움직임 정보(u, v)를 유효하게 이용하여 움직임 보상 등의 처리를 실행할 수 있다.
또한 이 집적회로(11)에서는, 움직임 정보(u, v)를 처리하는 움직임 처리 회로(20)에서, 소영역, 대영역, 화면 전체의 순서에 의해, 순차 단계적으로 움직임 정보(u, v)를 평균치화 하여 움직임이 동일한 영역을 검출하도록 하여, 이들 소영역, 대영역, 화면 전체의 각 처리에 제공하는 집적회로의 반도체 칩의 적층에 의해 움직임 처리 회로(20)가 형성되고(도 4), 이로써 움직임 처리에 관해서도 이들 각 반도체 칩의 처리 결과를 하층의 반도체 칩에 동시병렬적으로 전송함에 의해, 고속도로 움직임 정보를 처리할 수 있고, 이로써 높은 레이트의 촬상 결과를 출력하여 움직임 검출하도록 하여, 검출한 움직임 정보를 확실하게 처리할 수 있다.
(3) 실시예 1의 효과
이상의 구성에 의하면, XY 어드레스 제어에 의한 촬상 소자의 반도체 칩과, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로의 반도체 칩을 적층함에 의해, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있다.
또한 움직임 정보를 처리하는 움직임 처리 회로에 의해, 화소 단위의 움직임 정보를 평균치화 함에 의해, 나아가서는 움직임이 동일한 영역을 검출함에 의해, 이와 같이 하여 검출한 움직임 정보를 유효하게 이용할 수 있다.
(4) 실시예 2
이 실시예에서는, 도 3에 관해 상술한 움직임 처리 회로(20)에 있어서, 화소 단위의 움직임 정보(u, v)의 프레임 사이 차분치의 총합을 계산하고, 이 총합을 프로세서부에 출력한다. 프로세서부는, 이 총합에 의해 피사체의 급격한 변화를 검출한다. 이 실시예에서는, 이 움직임 처리 회로(20)의 구성이 다른 점을 제외하고, 실시예 1에 관해 상술한 집적회로(11)와 동일하게 구성된다. 또한 이 프레임 사이 차분치의 총합에서는, 차분치의 2곱합(昇和), 또는 차분치의 절대치합(絶對値和)에 의해 계산된다.
이 실시예에서는, XY 어드레스 제어에 의한 촬상 소자의 반도체 칩과, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로의 반도체 칩을 적층함에 의해, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리하도록 하여, 이 화소 단위의 움직임 정보의 프레임 사이 차분치의 총합을 계산함에 의해, 검출한 움직임 정보를 유효하게 이용할 수 있다.
(5) 실시예 3
그런데 실시예 1에 관한 집적회로(11)에서는, 각 화소(14)에 대해 X방향 부측 및 Y방향 부측에 인접하는 화소(14)의 촬상 결과를 입력함에 의해, 층간배선층(15)은, 하나의 화소(14)에 대해 3계통의 배선이 필요해진다. 이로써 층간배선층(15)의 배선이 복잡해지고, 제조 프로세스를 복잡화시키고, 수율의 저하를 초래하게 된다.
이 때문에 이 실시예에서는, 인접하는 화소 사이에서, 움직임 검출부(17A)의 구성이 공용화된다. 즉 도 7에 도시하는 바와 같이, X방향 및 Y방향에 인접하는 4개의 화소(14)를 부호 a00 내지 a11에 의해 표시하고, 이들의 각 화소(a00 내지 a11)에 관한 움직임 검출부(17A)를 화소(14)의 부호에 대응하여 각각 부호 b00 내지 b11에 의해 표시한다. 그리하여 이들 4개의 화소(a00 내지 a11)중, 가장 X방향 및 Y방향의 원점측(原点側)의 화소(a00)에 관한 (1)식에 의해 표시되는 X방향에 인접하는 화소(a10)와의 사이의 차분치(fx)에서는, 부호를 반전시킴에 의해, 이 X방향에 인접하는 화소(a10)에 관한 (1)식에 의해 표시되는 X방향 부측에 인접하는 화소(a00)와의 사이의 차분치(fx)가 된다. 또한 가장 X방향 및 Y방향의 원점측의 화소(a00)에 관한 (2)식에 의해 표시되는 Y방향에 인접하는 화소(a01)와의 사이의 차 분치(fy)에서는, 부호를 반전시킴에 의해, 이 Y방향에 인접하는 화소(a01)에 관한 (2)식에 의해 표시되는 Y방향 부측에 인접하는 화소(a00)와의 사이의 차분치(fy)가 된다.
이 관계를 이용하여, 움직임 검출부(17A)(b00 내지 b11)는, 도 8에 도시하는 바와 같이, 각각 하나의 감산 회로(A00 내지 A11)에 의해 한쪽의 인접 화소 사이에서만 화소치의 차분치(fx 또는 fy)를 계산하고, 이 계산한 차분치(fx 또는 fy)를 이 한쪽의 인접 화소에 관한 움직임 검출부(17A)(b00 내지 b11)에 출력하고, 이로써 각 움직임 검출부(17A)(b00 내지 b11)에서 X방향 및 Y방향의 차분치(fx 및 fy)를 구한다. 또한 이와 같이 하여 구한 X방향 및 Y방향의 차분치(fx 및 fy)를 각각 처리하여 움직임 정보(u, v)를 계산한다.
이로써 움직임 검출 회로(17)는, 인접 화소 사이의 화소치의 차분치를 연산 처리하여 화소 단위의 움직임 정보(u, v)를 검출하도록 하여, 이 차분치의 계산에 제공하는 감산 회로를 인접 화소 사이에서 공용하고, 그 만큼, 움직임 검출 회로(17)의 구성을 간략화하고, 나아가서는 층간배선층(15)의 구성을 간략화한다. 실제상, 이 실시예와 같이 감산 회로를 공용화하면, 하나의 움직임 검출부(17A)에 의 배선을 2개로 할 수가 있고, 그 만큼, 층간배선층(15)의 구성을 간략화하여 수율을 향상할 수 있다.
이 실시예에 의하면, XY 어드레스 제어에 의한 촬상 소자의 반도체 칩과, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로의 반도체 칩을 적층하도록 하여, 차분치의 계산에 제공하는 감산 회로를 인접 화소 사이에서 공용함에 의해, 높 은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있도록 하여, 전체 구성을 간략화할 수 있다.
(6) 다른 실시예
또한 상술한 실시예 3에서는, 각 움직임 검출부에 각각 감산 회로를 마련하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 인접 화소에 관한 움직임 검출부의 한쪽에, 감산 회로를 통합하여 마련하도록 하여도 좋다. 이와 같이 하면 더한층 층간배선층을 간략화할 수 있다.
또한 상술한 실시예에서는, 움직임 처리 회로와는 별개 칩에 의해 움직임 검출 회로를 형성하고, 나아가서는 복수의 반도체 칩의 적층에 의해 움직임 처리 회로를 작성하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 이들을 하나의 반도체 칩에 의해 통합하여 작성하는 경우 등, 요컨대, 촬상 소자의 반도체 칩과 움직임 검출 회로, 움직임 처리 회로의 반도체 칩의 적층 구조에 의해, 높은 레이트에 의한 촬상 결과라도, 확실하게 움직임 검출 처리할 수 있다.
또한 상술한 실시예에서는, 집적회로로부터 화상 데이터를 아울러서 출력하는 경우에 관해 기술하였지만, 본 발명은 이것에 한하지 않고, 필요에 응하여 움직임 처리 결과만 출력하는 경우 등에도 널리 적용할 수 있다.
또한 상술한 실시예에서는, 부호화 처리, 물체 추적 등에 적용하는 경우에 관해 기술하였지만, 본 발명은 이것으로 한하지 않고, 움직임 정보를 이용하는 여러가지의 촬상 장치에 널리 적용할 수 있다.
본 발명은, 화소 단위의 움직임 정보의 검출에 적용할 수 있다.
Claims (8)
- 복수의 반도체 칩을 적층하여 형성된 집적회로에 의한 촬상 장치로서,상기 집적회로는,가장 상층의 반도체 칩이, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하는 촬상 소자의 반도체 칩이고,상기 하층의 반도체 칩이, 상기 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로와, 상기 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 움직임 처리 회로에 의한 반도체 칩인 것을 특징으로 하는 촬상 장치.
- 제1항에 있어서,상기 움직임 처리 회로에 의한 상기 화소 단위의 움직임 정보의 처리가,상기 화소 단위의 움직임 정보를 평균치화 하는 처리인 것을 특징으로 하는 촬상 장치.
- 제1항에 있어서,상기 움직임 처리 회로에 의한 상기 화소 단위의 움직임 정보의 처리가,상기 화소 단위의 움직임 정보의 프레임 사이 차분치의 총합을 계산하는 처 리인 것을 특징으로 하는 촬상 장치.
- 제1항에 있어서,상기 움직임 처리 회로에 의한 상기 화소 단위의 움직임 정보의 처리가,상기 화소 단위의 움직임 정보를 순차 단계적으로 처리하여 움직임이 동일한 영역을 검출하는 처리인 것을 특징으로 하는 촬상 장치.
- 제1항에 있어서,상기 움직임 검출 회로는,감산 처리에 의한 인접 화소 사이의 화소치의 차분치를 연산 처리하여 상기 화소 단위의 움직임 정보를 검출하고,상기 차분치의 계산에 제공하는 감산 회로를 상기 인접 화소 사이에서 공용하는 것을 특징으로 하는 촬상 장치.
- 복수의 반도체 칩을 적층하여 형성된 집적회로를 이용한 촬상 장치에 있어서의 촬상 결과의 처리 방법으로서,상기 집적회로에서의 가장 상층의 반도체 칩에 의해, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하고,상기 하층의 반도체 칩에 의해, 상기 촬상 소자의 반도체 칩으로부터 출력되 는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하고, 상기 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 것을 특징으로 하는 촬상 결과의 처리 방법.
- 복수의 반도체 칩을 적층하여 형성된 집적회로로서,가장 상층의 반도체 칩이, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하는 촬상 소자의 반도체 칩이고,상기 하층의 반도체 칩이, 상기 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하는 움직임 검출 회로와, 상기 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 움직임 처리 회로에 의한 반도체 칩인 것을 특징으로 하는 집적회로.
- 복수의 반도체 칩을 적층하여 형성된 집적회로에서의 촬상 결과의 처리 방법으로서,상기 집적회로에서의 가장 상층의 반도체 칩에 의해, 매트릭스형상으로 배치한 화소에 의한 촬상 결과를 XY 어드레스 제어에 의해 하층의 반도체 칩에 출력하고,상기 하층의 반도체 칩에 의해, 상기 촬상 소자의 반도체 칩으로부터 출력되는 촬상 결과를 처리하여, 화소 단위의 움직임 정보를 검출하고, 상기 화소 단위의 움직임 정보를 처리하여 처리 결과를 출력하는 것을 특징으로 하는 촬상 결과의 처리 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2004-00241785 | 2004-08-23 | ||
| JP2004241785 | 2004-08-23 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20070053230A true KR20070053230A (ko) | 2007-05-23 |
Family
ID=35967298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020077004149A KR20070053230A (ko) | 2004-08-23 | 2005-06-22 | 촬상 장치, 촬상 결과의 처리 방법 및 집적회로 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US20080180534A1 (ko) |
| EP (1) | EP1788802A1 (ko) |
| JP (1) | JP4640338B2 (ko) |
| KR (1) | KR20070053230A (ko) |
| CN (1) | CN101006717A (ko) |
| AU (1) | AU2005276018A1 (ko) |
| BR (1) | BRPI0514555A (ko) |
| CA (1) | CA2578005A1 (ko) |
| MX (1) | MX2007002073A (ko) |
| RU (1) | RU2367109C2 (ko) |
| WO (1) | WO2006022077A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11956526B2 (en) | 2018-12-05 | 2024-04-09 | Sony Group Corporation | Image capturing element, image capturing device and method |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101551690B1 (ko) * | 2009-06-26 | 2015-09-09 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 |
| WO2012091615A1 (ru) * | 2010-12-28 | 2012-07-05 | Закрытое Акционерное Общество "Всемирный Банк Интеллектуальной Собственности" | Программно-аппаратный комплекс производства защищенной цифровой информации |
| TWI648986B (zh) * | 2014-04-15 | 2019-01-21 | 日商新力股份有限公司 | 攝像元件、電子機器 |
| KR102357965B1 (ko) | 2015-01-12 | 2022-02-03 | 삼성전자주식회사 | 객체 인식 방법 및 장치 |
| JP6440844B2 (ja) * | 2015-07-14 | 2018-12-19 | オリンパス株式会社 | 固体撮像装置 |
| WO2017013806A1 (ja) * | 2015-07-23 | 2017-01-26 | オリンパス株式会社 | 固体撮像装置 |
| CN108781265B (zh) * | 2016-03-30 | 2020-11-03 | 株式会社尼康 | 特征提取元件、特征提取系统及判定装置 |
| RU169458U1 (ru) * | 2016-12-23 | 2017-03-21 | Акционерное общество "НПО "Орион" | Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов |
| US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
| US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
| US11272128B2 (en) * | 2018-01-05 | 2022-03-08 | Sony Semiconductor Solutions Corporation | Solid-state imaging element, imaging device, and method for controlling solid-state imaging element |
| US11906353B2 (en) | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
| US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
| US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
| US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
| US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
| US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
| US11962928B2 (en) | 2018-12-17 | 2024-04-16 | Meta Platforms Technologies, Llc | Programmable pixel array |
| US11888002B2 (en) * | 2018-12-17 | 2024-01-30 | Meta Platforms Technologies, Llc | Dynamically programmable image sensor |
| US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
| US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
| JP6809565B2 (ja) * | 2019-06-13 | 2021-01-06 | 株式会社ニコン | 特徴抽出素子、特徴抽出システム、および判定装置 |
| US11936998B1 (en) | 2019-10-17 | 2024-03-19 | Meta Platforms Technologies, Llc | Digital pixel sensor having extended dynamic range |
| US11935291B2 (en) | 2019-10-30 | 2024-03-19 | Meta Platforms Technologies, Llc | Distributed sensor system |
| US11948089B2 (en) | 2019-11-07 | 2024-04-02 | Meta Platforms Technologies, Llc | Sparse image sensing and processing |
| US11902685B1 (en) | 2020-04-28 | 2024-02-13 | Meta Platforms Technologies, Llc | Pixel sensor having hierarchical memory |
| US11825228B2 (en) | 2020-05-20 | 2023-11-21 | Meta Platforms Technologies, Llc | Programmable pixel array having multiple power domains |
| US11910114B2 (en) | 2020-07-17 | 2024-02-20 | Meta Platforms Technologies, Llc | Multi-mode image sensor |
| US11956560B2 (en) | 2020-10-09 | 2024-04-09 | Meta Platforms Technologies, Llc | Digital pixel sensor having reduced quantization operation |
| US11935575B1 (en) | 2020-12-23 | 2024-03-19 | Meta Platforms Technologies, Llc | Heterogeneous memory system |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5892260A (ja) * | 1981-11-27 | 1983-06-01 | Mitsubishi Electric Corp | 半導体装置 |
| JPS63174356A (ja) * | 1987-01-14 | 1988-07-18 | Agency Of Ind Science & Technol | 画像処理用半導体装置 |
| JP2741888B2 (ja) * | 1989-03-13 | 1998-04-22 | 日本電信電話株式会社 | 階層的画像マッチング処理方法および装置 |
| JP3117138B2 (ja) * | 1989-09-13 | 2000-12-11 | オリンパス光学工業株式会社 | 電子スチルカメラとその撮像記録素子 |
| JPH05268535A (ja) * | 1992-03-24 | 1993-10-15 | Toshiba Corp | 視覚センサー |
| TW321748B (ko) * | 1994-02-23 | 1997-12-01 | Rca Thomson Licensing Corp | |
| JPH0854283A (ja) * | 1994-08-10 | 1996-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 画像入力装置 |
| US5763943A (en) * | 1996-01-29 | 1998-06-09 | International Business Machines Corporation | Electronic modules with integral sensor arrays |
| JP2000020230A (ja) * | 1998-07-02 | 2000-01-21 | Mitsubishi Electric Corp | 光学式マウススキャナ |
| JP2000299820A (ja) * | 1999-04-14 | 2000-10-24 | Hamamatsu Photonics Kk | 高速視覚センサ装置 |
| JP2001094888A (ja) * | 1999-09-22 | 2001-04-06 | Canon Inc | 撮像装置 |
| JP2001128067A (ja) * | 1999-10-26 | 2001-05-11 | Natl Inst Of Advanced Industrial Science & Technology Meti | 電子デバイス、並列処理方法、および記録媒体 |
| JP2001184498A (ja) * | 1999-12-27 | 2001-07-06 | Ecchandesu:Kk | イメージセンサー |
| JP4736173B2 (ja) * | 2000-10-27 | 2011-07-27 | 株式会社ニコン | 撮像装置 |
| GB0027931D0 (en) * | 2000-11-16 | 2001-01-03 | Sgs Thomson Microelectronics | Solid state imaging device |
| JP3833088B2 (ja) * | 2001-09-05 | 2006-10-11 | 独立行政法人科学技術振興機構 | 画像検出処理装置 |
| TW530489B (en) * | 2001-09-11 | 2003-05-01 | Pixart Imaging Inc | Moving distance detection method of image sensor |
| JP2004153130A (ja) * | 2002-10-31 | 2004-05-27 | Olympus Corp | 半導体装置及びその製造方法 |
| US7312819B2 (en) * | 2003-11-24 | 2007-12-25 | Microsoft Corporation | Robust camera motion analysis for home video |
-
2005
- 2005-06-22 MX MX2007002073A patent/MX2007002073A/es not_active Application Discontinuation
- 2005-06-22 RU RU2007106899/09A patent/RU2367109C2/ru not_active IP Right Cessation
- 2005-06-22 CA CA002578005A patent/CA2578005A1/en not_active Abandoned
- 2005-06-22 WO PCT/JP2005/011876 patent/WO2006022077A1/ja active Application Filing
- 2005-06-22 AU AU2005276018A patent/AU2005276018A1/en not_active Abandoned
- 2005-06-22 JP JP2006531318A patent/JP4640338B2/ja not_active Expired - Fee Related
- 2005-06-22 KR KR1020077004149A patent/KR20070053230A/ko not_active Application Discontinuation
- 2005-06-22 BR BRPI0514555-4A patent/BRPI0514555A/pt not_active IP Right Cessation
- 2005-06-22 EP EP05755738A patent/EP1788802A1/en not_active Withdrawn
- 2005-06-22 CN CNA2005800276006A patent/CN101006717A/zh active Pending
- 2005-06-22 US US11/660,752 patent/US20080180534A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11956526B2 (en) | 2018-12-05 | 2024-04-09 | Sony Group Corporation | Image capturing element, image capturing device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2007106899A (ru) | 2008-08-27 |
| US20080180534A1 (en) | 2008-07-31 |
| EP1788802A1 (en) | 2007-05-23 |
| CN101006717A (zh) | 2007-07-25 |
| CA2578005A1 (en) | 2006-03-02 |
| JPWO2006022077A1 (ja) | 2008-05-08 |
| AU2005276018A1 (en) | 2006-03-02 |
| BRPI0514555A (pt) | 2008-06-17 |
| WO2006022077A1 (ja) | 2006-03-02 |
| RU2367109C2 (ru) | 2009-09-10 |
| JP4640338B2 (ja) | 2011-03-02 |
| MX2007002073A (es) | 2007-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20070053230A (ko) | 촬상 장치, 촬상 결과의 처리 방법 및 집적회로 | |
| CN108462844B (zh) | 用于像素合并和读出的方法和装置 | |
| US6069351A (en) | Focal plane processor for scaling information from image sensors | |
| CN103238097B (zh) | 成像设备和对焦位置检测方法 | |
| KR102429308B1 (ko) | 고체 촬상 소자, 전자 기기, 및 촬상 방법 | |
| TW201937917A (zh) | 檢測裝置及感測器 | |
| CN104025565B (zh) | 图像拾取设备、执行图像补偿的方法和计算机可读记录介质 | |
| US11589059B2 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
| JP7011240B2 (ja) | 撮像素子および駆動方法、並びに電子機器 | |
| CN1761287A (zh) | 图像处理装置和电子照相机 | |
| JP6701706B2 (ja) | 電子機器及びプログラム | |
| JP4621484B2 (ja) | 固体撮像素子 | |
| JP2017183952A (ja) | 撮像装置およびその制御方法、撮像素子 | |
| KR101130375B1 (ko) | 촬상 장치, 촬상 소자 및 촬상 장치의 제어 방법 | |
| US7250969B2 (en) | Defective image compensation system and method | |
| US20170324911A1 (en) | Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method | |
| US11082715B2 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
| US6661932B2 (en) | Image input apparatus | |
| WO2022168667A1 (ja) | 画像処理装置および画像処理方法 | |
| KR20170131818A (ko) | 고체 촬상 소자, 촬상 모듈, 및 전자 기기 | |
| JP2004112190A (ja) | ビデオカメラ装置 | |
| JP6066942B2 (ja) | 画像処理装置 | |
| CN115118856A (zh) | 图像传感器、图像处理方法、摄像头模组及电子设备 | |
| JP2009177344A (ja) | 撮像素子駆動装置および撮像素子 | |
| JPH1127654A (ja) | 監視カメラ及び監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |