KR102248378B1

KR102248378B1 - 촬상 소자, 촬상 장치, 및 전자 장치

Info

Publication number: KR102248378B1
Application number: KR1020167007623A
Authority: KR
Inventors: 츠토무 나카지마; 준 하시즈메
Original assignee: 소니 주식회사
Priority date: 2013-12-20
Filing date: 2014-12-12
Publication date: 2021-05-06
Also published as: TW201526644A; WO2015093022A1; JP6350863B2; CN105580345A; JP2015136093A; KR20160099528A; US20160381319A1; TWI653890B; CN105580345B; US9906753B2

Abstract

본 개시의 제1의 실시예의 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

Description

촬상 소자, 촬상 장치, 및 전자 장치{IMAGING DEVICE, IMAGING APPARATUS, AND ELECTRONIC APPARATUS}

본 개시는, 촬상 소자, 촬상 장치, 및 전자 장치에 관한 것으로, 특히, 비교적 낮은 소비 전력으로 초고속 촬상 동화(수퍼 슬로 동화)를 얻을 수 있도록 한 촬상 소자, 촬상 장치, 및 전자 장치에 관한 것이다.

본 출원은, 2013년 12월 20일에 일본에 출원된 특원2013-263378호, 및 2014년 9월 18일에 일본에 출원된 특원2014-190163호에 의거한 우선권을 주장하고, 그 내용을 여기에 원용한다.

통상, 촬상 소자에 의한 동화상의 프레임 레이트는 30fps 정도이고, 그보다도 더욱 고속의 프레임 레이트를 실현하려고 한 경우, 촬상 소자의 실용상의 한계는, I/F의 대역과 소비 전력에 의해 그 상한이 제한되어 버리는 일이 많다. 예를 들면, 1화소당의 데이터량이 10비트, 해상도가 1920×1080화소의 풀하이비전의 동화를 1000fps로 출력하는 경우, 그 화상 데이터를 통신하는 I/F에는 20bps 이상의 대역이 필요하게 된다.

이에 대해, 휴대 단말 등의 모바일 장치의 I/F의 대역은 고속인 것이라도 4 내지 6Gbps 정도에 지나지 않기 때문에, 상술한 경향은, 특히 모바일 장치나 민생용 카메라에 탑재되는 소형의 촬상 소자에서 현저하다.

또한, 금후는 동화상의 해상도가 풀하이비전의 4배, 8배인, 이른바 4K, 8K의 보급이 예상되어 있을 뿐만 아니라, 프레임 레이트의 고속화의 요구도 늘어나고 있기 때문에, 단지 I/F의 대역을 넓히는 것만으로는 완전히 대응하여지지 않을 것이 예상된다.

또한, 해상도나 프레임 레이트를 늘린 경우, 촬상 소자나 그 후단에 마련되는 화상 신호 처리 회로 등에서의 소비 전력이 늘어나 발열량이 증가하여 버리는데, 발열량의 증가는 모바일 장치나 민생용 카메라에 있어서 회피하여야 할 문제이다.

이와 같은 문제에 대해, 종래에는, 화소를 솎아내거나, 화상의 일부 영역을 절출하거나 함에 의해, 높은 프레임 레이트를 실현하면서, 처리하는 화소수를 줄여서 소비 전력과 발열량의 증가를 억제하는 방법이 제안되어 있다(예를 들면, 특허 문헌 1 참조).

특허 문헌 1 : 일본국 특개평9-247543호 공보

상술한 종래의 방법에서는, 높은 프레임 레이트를 실현할 수 있는 것이지만, 동화의 해상도가 대폭적으로 열화되어 버린다.

본 개시는 이와 같은 상황을 감안하여 이루어진 것으로, 소비 전력과 발열량을 억제하고, 해상도의 열화가 적은 초고속 촬상 동화를 얻을 수 있도록 하는 것이다.

본 개시의 제1의 실시예의 촬상 소자는, 생성된 상기 화상 데이터를 상기 프레임 메모리에 기록하는 기록부와, 상기 프레임 메모리에 기록되어 있는 상기 화상 데이터를 판독하는 판독부를 더 구비할 수 있다.

상기 기록부는, 생성된 상기 화상 데이터를 상기 프레임 메모리의 제1의 에어리어에 재기록할 수 있고, 상기 판독부는, 상기 프레임 메모리의 상기 제1의 에어리어에 재기록된 상기 화상 데이터를 프레임 단위로 솎아내어 판독할 수 있다.

상기 기록부는, 제1의 프레임 레이트로 생성된 상기 화상 데이터를 상기 프레임 메모리의 제1의 에어리어에 재기록할 수 있고, 상기 판독부는, 상기 제1의 프레임 레이트로 상기 프레임 메모리의 상기 제1의 에어리어에 재기록된 상기 화상 데이터를 상기 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 솎아냄 판독할 수 있다.

본 개시의 제1의 실시예의 촬상 소자는, 상기 프레임 메모리에 기록하는 상기 화상 데이터를 부호화하는 부호화부와, 상기 프레임 메모리로부터 판독된, 부호화되어 있는 상기 화상 데이터를 복호하는 복호부를 더 구비할 수 있다.

본 개시의 제1의 실시예의 촬상 소자는, 트리거에 응하여, 상기 기록부를 제어하여, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시키는 제어부를 더 구비할 수 있다.

상기 제어부는, 상기 트리거에 응하여, 곧바로, 또는 소정의 프레임수만큼 지연되어, 상기 기록부를 제어하여, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킬 수 있다.

외부로부터의 지시를 상기 트리거로 하여, 상기 제어부는, 상기 기록부를 제어하고, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킬 수 있다.

본 개시의 제1의 실시예의 촬상 소자는, 상기 프레임 메모리의 상기 제1의 에어리어에 재기록하는 상기 화상 데이터에서의 고속 천이 신을 검지하는 검지부를 더 구비할 수 있다. 상기 고속 천이 신의 검지를 상기 트리거로 하여, 상기 제어부는, 상기 기록부를 제어하고, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킬 수 있다.

상기 판독부는, 상기 프레임 메모리의 상기 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지됨에 의해 상기 프레임 메모리의 상기 제1의 에어리어에 남아 있는 상기 화상 데이터를 판독할 수 있다.

상기 기록부는, 상기 프레임 메모리의 상기 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지된 후, 생성된 상기 화상 데이터를 상기 프레임 메모리의 상기 제1의 에어리어와는 다른 제2의 에어리어에 기록할 수 있고, 상기 판독부는, 상기 프레임 메모리의 상기 제2의 에어리어에 기록된 상기 화상 데이터를 판독하고, 또한, 재기록이 정지됨에 의해 상기 프레임 메모리의 상기 제1의 에어리어에 남아 있는 상기 화상 데이터도 판독할 수 있다.

상기 기록부는, 상기 프레임 메모리의 상기 제1의 에어리어에 대한 상기 화상 데이터의 제1의 프레임 레이트로의 재기록이 정지된 후, 상기 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 생성된 상기 화상 데이터를 상기 프레임 메모리의 상기 제1의 에어리어와는 다른 제2의 에어리어에 기록할 수 있고, 상기 판독부는, 상기 프레임 메모리의 상기 제2의 에어리어에 기록된 상기 화상 데이터를 상기 제2의 프레임 레이트로 판독하고, 또한, 재기록이 정지됨에 의해 상기 프레임 메모리의 상기 제1의 에어리어에 남아 있는 상기 화상 데이터도 판독할 수 있다.

상기 화소 생성부는, 생성한 상기 화상 신호의 화각의 변경, 또는 상기 화소 신호의 가산의 적어도 일방을 행할 수 있다.

본 개시의 제1의 실시예의 촬상 소자는, 1 또는 복수의 기판에 배치된 상태로 1칩화할 수 있다.

본 개시의 제2의 실시예의 촬상 장치는, 촬상 소자가 탑재된 촬상 장치에 있어서, 상기 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

본 개시의 제3의 실시예의 전자 장치는, 촬상 소자가 탑재된 전자 장치에 있어서, 상기 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

본 개시의 제1의 실시예 내지 제3의 실시예에서는, 촬상 소자에 있어서, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호가 생성되고, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리에 기록된다.

본 개시의 제4의 실시예의 촬상 장치는, 촬상 소자와, ISP 처리부를 구비하는 촬상 장치에 있어서, 상기 촬상 소자가, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 제1의 프레임 레이트로 생성하는 화소 생성부와, 상기 화상 신호를 부호화하는 부호화부와, 부호화되어 있는 상기 화상 신호를 상기 제1의 프레임 레이트로 상기 ISP 처리부에 출력하는 출력부를 구비하고, 상기 ISP 처리부가, 복수 프레임분의 부호화되어 있는 상기 화상 신호를 격납하는 프레임 메모리와, 상기 촬상 소자로부터 입력된 부호화되어 있는 상기 화상 신호를 상기 제1의 프레임 레이트로 상기 프레임 메모리에 기록하는 기록부와, 상기 프레임 메모리에 기록되어 있는, 부호되어 있는 상기 화상 데이터를 상기 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 판독하고, 복호하고 나서 ISP 처리를 행하는 ISP부를 구비한다.

상기 ISP 처리부는, 트리거에 응하여, 상기 기록부를 제어하여, 상기 프레임 메모리에 대한 부호화되어 있는 상기 화상 데이터의 기록을 정지시키는 제어부를 더 구비할 수 있다.

상기 촬상 소자는, 생성된 상기 화상 데이터에서의 고속 천이 신을 검지하는 검지부를 더 구비할 수 있고, 상기 제어부는, 상기 고속 천이 신의 검지를 상기 트리거로 할 수 있다.

상기 ISP 처리부는, 상기 촬상 소자로부터 입력된 부호화되어 있는 상기 화상 신호를 복호하는 복호부와, 복호된 상기 화상 데이터에서의 고속 천이 신을 검지하는 검지부를 더 구비할 수 있고, 상기 제어부는, 상기 고속 천이 신의 검지를 상기 트리거로 할 수 있다.

본 개시의 제4의 실시예에서는, 촬상 소자에 있어서, 생성, 부호화된 화상 신호가 제1의 프레임 레이트로 ISP 처리부에 출력되고, 상기 ISP 처리부에서, 부호화되어 있는 상기 화상 신호가 상기 제1의 프레임 레이트로 프레임 메모리에 기록되고, 상기 프레임 메모리에 기록되어 있는, 부호 되어 있는 상기 화상 데이터가 상기 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 판독되고, 복호되고 나서 ISP 처리가 행하여진다.

본 개시의 제5의 실시예의 촬상 장치는, 촬상 소자와, ISP 처리부를 구비하는 촬상 장치에 있어서, 상기 촬상 소자가, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 제1의 프레임 레이트로 생성하는 화소 생성부와, 상기 화상 신호를 부호화하는 부호화부와, 부호화되어 있는 상기 화상 신호를 상기 제1의 프레임 레이트로 상기 ISP 처리부의 프레임 메모리에 기록하는 기록부를 구비하고, 상기 ISP 처리부가, 복수 프레임분의 부호화되어 있는 상기 화상 신호를 격납하는 상기 프레임 메모리와, 상기 프레임 메모리에 기록되어 있는, 부호 되어 있는 상기 화상 데이터를 상기 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 판독하고, 복호하고 나서 ISP 처리를 행하는 ISP부를 구비한다.

본 개시의 제5의 실시예에서는, 촬상 소자에 있어서, 생성, 부호화된 화상 신호가 제1의 프레임 레이트로 ISP 처리부의 프레임 메모리에 기록되고, 상기 ISP 처리부에서, 상기 프레임 메모리에 기록되어 있는, 부호되어 있는 상기 화상 데이터가 상기 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 판독되고, 복호되고 나서 ISP 처리가 행하여진다.

본 개시의 제1의 실시예 내지 제5의 실시예에 의하면, 소비 전력과 발열량을 억제하고, 해상도의 열화가 적은 초고속 촬상 동화를 얻을 수 있다.

도 1은 본 개시를 적용한 촬상 장치의 구성례를 도시하는 블록도.
도 2는 화소 생성부에서 출력되어 프레임 메모리에 기록되는 화상의 개요를 도시하는 도면.
도 3은 촬상 소자의 다른 구성례를 도시하는 블록도.
도 4는 촬상 소자를 1칩화하는 경우의 구성례를 도시하는 도면.
도 5는 화상 출력 처리를 설명하는 플로 차트.
도 6은 화상 출력 처리를 설명하기 위한 도면.
도 7은 화상 출력 처리를 설명하기 위한 도면.
도 8은 화상 출력 처리를 설명하기 위한 도면.
도 9는 화상 출력 처리를 설명하기 위한 도면.
도 10은 프레임 메모리 내에서 보호된 화상 데이터의 출력 방법을 설명하기 위한 도면.
도 11은 프레임 메모리 내에서 보호된 화상 데이터의 출력 방법을 설명하기 위한 도면.
도 12는 화상 출력 처리의 응용례를 설명하기 위한 도면.
도 13은 프레임 메모리를 인터리브 구동하는 경우에 관해 설명하기 위한 도면.
도 14는 본 개시를 적용한 촬상 장치의 다른 구성례를 도시하는 블록도.
도 15는 본 개시를 적용한 촬상 장치의 또 다른 구성례를 도시하는 블록도.
도 16은 본 개시를 적용한 촬상 장치의 또 다른 구성례를 도시하는 블록도.
도 17은 본 개시를 적용한 촬상 장치의 또 다른 구성례를 도시하는 블록도.

이하, 본 개시를 실시하기 위한 최선의 형태(이하, 실시의 형태라고 칭한다) 에 관해, 도면을 참조하면서 상세히 설명한다.

<본 개시의 제1의 실시의 형태인 촬상 장치의 구성례>

도 1은, 본 개시의 제1의 실시의 형태인 촬상 장치의 구성례를 도시하고 있다.

촬상 소자(10)는, HOST ISP(30)로부터의 요구에 응하여 동화상을 촬상하고, 그 화상 데이터를 프레임 단위로 출력하는 것이다.

촬상 소자(10)는, 입력 I/F(11), 화소 출력 제어부(12), V 디코더(13), 메모리 컨트롤부(14), 화소 생성부(16), AD 변환부(ADC)(17), 제1 신호 처리부(18), 프레임 메모리(20), 제2 신호 처리부(21), 및 출력 I/F(22)를 갖는다.

입력 I/F(11)는, HOST ISP(30)와 접속되어 있고, HOST ISP(30)로부터의 각종의 제어 신호를 화소 출력 제어부(12) 또는 메모리 컨트롤부(14)에 출력한다. 화소 출력 제어부(12)는, 입력 I/F(11)를 통하는 HOST ISP(30)로부터의 제어 신호에 따라, 화소 생성부(16)를 구동시키도록 V 디코더(13)를 제어한다. 또한, 화소 출력 제어부(12)는, AD 변환부(17)도 제어한다. V 디코더(13)는, 화소 출력 제어부(12)로부터의 제어에 따라, 화소 생성부(16)를 구동시킨다.

메모리 컨트롤부(14)는, 입력 I/F(11)를 통하는 HOST ISP(30)로부터의 제어 신호에 따라, 제1 신호 처리부(18)에 의한 프레임 메모리(20)에 대한 화상 데이터의 기록과, 제2 신호 처리부(21)에 의한 프레임 메모리(20)로부터의 화상 데이터의 판독을 제어한다. 또한, 메모리 컨트롤부(14)는, 프레임 카운터(15)를 내장하고 있고, 프레임 카운터(15)에 의해 프레임 메모리(20)에 기록된 화상 데이터의 프레임수를 카운트한다. 또한, 메모리 컨트롤부(14)는, HOST ISP(30)로부터의 제어, 또는 제1 신호 처리부(18)로부터의 고속 천이 신(후술)의 검출 통지를 트리거로 하여, 프레임 메모리(20)에 대한 화상 데이터의 기록을 정지시킨다.

화소 생성부(16)는, 화소마다 입사광에 응한 전하를 발생하는 광전 변환 소자가 종횡으로 배치되어 있고, 입사광에 응하여 발생한 전하에 의거한 다수의 화소 신호를 화상 데이터(D1)로서 AD 변환부(17)에 출력한다.

도 2A 내지 도 2C는, 화소 생성부(16)로부터 출력되어 프레임 메모리(20)에 기록되는 화상 데이터의 개요를 도시하고 있다.

화소 생성부(16)는, 그 사양으로서, 도 2A에 도시되는 바와 같이, 예를 들면, 1화소당의 데이터량을 10비트, 화각이 4:3이고 화소수가 12MPixels의 화상 데이터를 생성하고, 200fps로 출력할 수 있는 것을 상정한다. 또한, 화소 생성부(16)는, 생성한 화상 데이터를, 2×2의 4화소마다 가산하는 기능과, 화상의 상하를 제거함에 의해 화각을 4:3으로부터 16:9로 변환하는 기능을 갖는 것으로 한다. 이 기능을 이용함에 의해, 화소 생성부(16)는, 화각 4:3이고 화소수 12MPixels, 200fps의 화상 데이터를, 도 2B에 도시되는 바와 같이, 화각 16:9이고 화소수 2MPixels(1920×1080의 풀하이비전에 상당한다)의 화상 데이터(D1)로 변환하여 960fps로 전송할 수 있다. 이 때, 화상 데이터(D1)의 전송 레이트는 20Gbps(2M×960×10비트)가 된다.

AD 변환부(17)는, 화소 생성부(16)로부터 전송된 화상 데이터(D1)(10비트/pixel, 화각 16:9이고 화소수 2MPixels, 960fps)를 부호 붙음의 11비트/pixel의 화상 데이터(D2)(11비트/pixel, 화각 16:9이고 화소수 2MPixels, 960fps)로 디지털 변환하여 제1 신호 처리부(18)에 전송한다. 이 때, 화상 데이터(D2)의 전송 레이트는 22Gbps가 된다.

제1 신호 처리부(18)는, 화상 데이터(D2)에 대해 흑 레벨 보정 처리, 디지털 게인 변환 처리 등의, 후단의 제2 신호 처리부(21)에서의 신호 처리에 비교하여 가벼운 신호 처리(이하, 제1 신호 처리라고 칭한다)를 행한다. 또한, 제1 신호 처리부(18)는, 메모리 컨트롤부(14)로부터의 제어에 따라, 제1 신호 처리의 결과로서 얻어지는 화상 데이터(D3)(10비트/pixel, 화각 16:9이고 화소수 2MPixels)를 960fps로 프레임 메모리(20)에 기록한다. 이 때, 화상 데이터(D3)의 전송 레이트는 20Gbps이다.

또한, 제1 신호 처리부(18)는, 신 검출부(19)를 내장하고 있다. 신 검출부(19)는, 화상 내의 물체가 고속으로 천이하고 있는 신(이하, 고속 천이 신이라고 칭한다)를 검출한 경우, 그 취지를 메모리 컨트롤부(14)에 통지한다.

프레임 메모리(20)는, 예를 들면 DRAM, Spin-RAM 등의 고집적이며 고속 액세스 가능한 메모리로 이루어지고, 제1 신호 처리부(18)로부터 입력되는 화상 데이터(D3)를 적어도 복수 프레임분 유지할 수 있는 용량을 갖고 있다.

단, 프레임 메모리(20)는 촬상 소자(10)에 탑재되는 사정상, 그 사이즈에 제한이 있고, 그 용량도 제한된다. 이하, 프레임 메모리(20)의 용량을 512Mbit로 상정한다. 이 경우, 도 2C에 도시되는 바와 같이, 화상 데이터(D3)를 25프레임분 유지할 수 있는 용량을 갖는 것으로 된다. 이하, 이 25프레임분의 용량을 에어리어(1) 내지 에어리어(25)라고 칭한다. 제1 신호 처리부(18)가 프레임 메모리(20)에 화상 데이터(D3)를 기록하는 경우, 에어리어(1)로부터 에어리어(24)까지 차례로 화상 데이터(D3)를 기록하고, 에어리어(24)의 다음은 재차 에어리어(1)로 되돌아와 재기록하게 한다. 따라서 프레임 메모리(20)의 에어리어(25)는, 통상 사용되지 않는다(사용되는 경우에 관해서는 후술한다).

제2 신호 처리부(21)는, 메모리 컨트롤부(14)로부터의 제어에 따라, 제1 신호 처리부(18)가 화상 데이터(D3)를 프레임 메모리(20)에 35프레임분 기록할 때마다 1프레임분만을 솎아냄 판독하여 화상 데이터(D4)로 한다. 이 때, 화상 데이터(D4)의 프레임 레이트는, 30fps가 되고, 전송 레이트는 600Mbps가 된다. 제2 신호 처리부(21)는, 판독한 화상 데이터(D4)에 결함 보정 처리, 노이즈 리덕션 처리, 스케일링 처리 등을 행하고, 그 신호 처리(이하, 제2 신호 처리라고 칭한다) 결과로서 얻어지는 화상 데이터(D5)를 출력 I/F(22)에 전송한다. 이 때, 화상 데이터(D5)의 전송 레이트는 600Mbps이다.

제1 신호 처리부(18)와 프레임 메모리(20), 및, 프레임 메모리(20)와 제2 신호 처리부(21)는, DDR 등의 I/F나 기판을 통하지 않고, TSV 등의 관통 VIA나 Wide IO 등에 의해, 물리적으로 접속되어 있는 것으로 한다. 이에 의해, 제1 신호 처리부(18)와 프레임 메모리(20)의 사이, 및, 프레임 메모리(20)와 제2 신호 처리부(21)의 사이의 데이터 통신은, 통상의 고속 I/F보다, 병렬도를 올림에 의해 대역을 넓힐 수 있고, 저소비 전력으로 동작시킬 수 있다.

출력 I/F(22)는, MIPI, SubLVDS 등으로 이루어지고, 제2 신호 처리부(21)로부터의 화상 데이터(D5)를 화상 데이터(D6)로서 HOST ISP(30)에 출력한다.

<촬상 소자(10)의 다른 구성례>

다음에, 도 3은, 촬상 소자(10)의 다른 구성을 도시하고 있다. 도 3에 도시된 다른 구성례는, 도 1에 도시된 구성례의 제1 신호 처리부(18)에 부호화부(41)를 추가함과 함께, 제2 신호 처리부(21)에 복호부(42)를 추가한 것이다. 부호화부(41)는, 프레임 메모리(20)에 기록하는 화상 데이터(D3)를 압축 부호화한다. 복호부(42)는, 프레임 메모리(20)로부터 판독되는, 부호화되어 있는 화상 데이터(D4)(화상 데이터(D3))를 복호한다.

부호화부(41) 및 복호부(42)를 추가함에 의해, 프레임 메모리(20)에 기록하는 화상 데이터(D3)(화상 데이터(D4))의 데이터량을 삭감할 수 있기 때문에, 프레임 메모리(20)의 용량을 늘리는 일 없이, 프레임 메모리(20)에 유지할 수 있는 화상 데이터(D3)의 프레임수를 늘릴 수 있다. 또한, 프레임 메모리(20)에 유지할 수 있는 화상 데이터(D3)의 프레임수를 늘린 경우에 관해서는, 도 13을 참조하여 후술한다.

도 4A 내지 도 4D는, 상술한 구성 요소에 의해 촬상 소자(10)를 1칩화한 경우의 구성례를 도시하고 있다.

도 4A는, 촬상 소자(10)의 구성 요소를 1장의 기판상에 집적하여 1칩화한 구성례이다. 도 4B는, 촬상 소자(10)의 구성 요소를 2장의 기판상에 배치하여 적층함에 의해 1칩화한 구성례이다. 도 4C는, 촬상 소자(10)의 구성 요소를 2장 이상의 기판상에 배치하여 적층함에 의해 1칩화한 구성례이다. 도 4D는, 촬상 소자(10)의 구성 요소를 2장의 기판상에 배치하고, 2장의 기판을 TSV Wide IO에 의해 접속하여 1칩화한 구성례이다. 또한, 본 실시의 형태인 촬상 소자(10)는, 도 4A 내지 도 4D에 도시된 구성례 이외의 구성에 의해 1칩화하여도 좋다.

<동작 설명>

다음에, 도 1에 도시된 촬상 소자(10)의 동작에 관해, 도 5 내지 도 12를 참조하여 설명한다.

도 5는, 촬상 소자(10)에 의한 화상 출력 처리를 설명하는 플로 차트이다. 도 6 내지 도 9는, 화상 출력 처리를 설명하기 위한 도면이다.

여기서, 화상 출력 처리란, 도 6에 도시되는 바와 같이, 화상 데이터(D3)를 960fps로 프레임 메모리(20)의 에어리어(1 내지 24)에 재기록하면서, 이들을 35프레임마다 1프레임만 솎아냄 판독하여 30fps로 출력한다. 그리고, 외부로부터의 기록 정지 지시, 또는 고속 천이 신이 검지된 경우에는, 프레임 메모리(20)에 대한 재기록을 정지하고, 에어리어(1 내지 24)에 기록된 960fps의 화상 데이터(D3)를 보호하는 동작을 가리키는 것으로 한다.

화상 출력 처리는, 예를 들면, 외부의 HOST ISP(30)로부터의 제어에 따라 시작된다. 스텝 S1에서, 화소 생성부(16)는, 입사광에 응한 화상 데이터(D1)(10비트/pixel, 화각 16:9, 화소수 2MPixels)를 960fps로 AD 변환부(17)에 전송한다. 스텝 S2에서, AD 변환부(17)는, 화소 생성부(16)로부터 전송된 화상 데이터(D1)를 부호 붙음의 화상 데이터(D2)(11비트/pixel, 화각 16:9, 화소수 2MPixels)로 디지털 변환하여 제1 신호 처리부(18)에 960fps로 전송한다.

스텝 S3에서, 제1 신호 처리부(18)는, 화상 데이터(D2)에 대해 제1 신호 처리를 행하고, 이것과 병행하여, 내장하는 신 검출부(19)에 의해 고속 천이 신을 검출한다. 또한, 제1 신호 처리부(18)는, 메모리 컨트롤부(14)로부터의 제어에 따라, 제1 신호 처리의 결과로서 얻어진 화상 데이터(D3)(10비트/pixel, 화각 16:9, 화소수 2MPixels)를 960fps로 프레임 메모리(20)에 전송하고, 에어리어(1 내지 24)에 순차적으로 재기록시킨다.

스텝 S4에서, 제2 신호 처리부(21)는, 메모리 컨트롤부(14)로부터의 제어에 따라, 프레임 메모리(20)에 대해 에어리어(1 내지 24)에 35프레임분의 화상 데이터(D3)가 기록되다마다, 1프레임분만을 화상 데이터(D4)로서 판독한다. 즉, 화상 데이터(D4)는, 화상 데이터(D3)를 1/35로 프레임 솎아낸 것으로 되고, 이 때의 프레임 레이트는 30fps가 된다. 또한, 제2 신호 처리부(21)는, 판독한 화상 데이터(D4)에 제2 신호 처리를 행하고, 제2 신호 처리의 결과로서 얻어지는 화상 데이터(D5)를 출력 I/F(22)에 전송한다. 출력 I/F(22)는, 제2 신호 처리부(21)로부터 전송된 화상 데이터(D5)를 화상 데이터(D6)로서 HOST ISP(30)에 출력한다.

이와 같이, 프레임 메모리(20)의 후단에서는, 30fps로 동작하기 때문에, 960fps로 동작하는 경우에 비교하여, 소비 전력을 1/35로 삭감할 수 있다.

스텝 S5에서, 메모리 컨트롤부(14)는, HOST ISP(30)로부터가 기록 정지 지시, 또는 제1 신호 처리부(18)로부터 고속 천이 신 검지의 통지가 있는지의 여부를 판단하고, 어느 하나가 있을 때까지, 처리를 스텝 S1로 되돌려서, 스텝 S1 이후를 반복시킨다. 이에 의해, 프레임 메모리(20)의 에어리어(1 내지 24)에 대한 960fps로의 화상 데이터(D3)의 재기록과, 프레임 메모리(20)의 에어리어(1 내지 24)로부터의 30fps로의 화상 데이터(D4)의 판독이 계속된다.

스텝 S5에서, 기록 정지 지시, 또는 고속 천이 신 검지의 통지의 어느 하나가 있다고 판단된 경우, 처리는 스텝 S6으로 진행한다. 스텝 S6에서, 메모리 컨트롤부(14)는, 곧바로, 또는 소정의 프레임수(예를 들면, 화상 데이터(D3)가 재기록되는 프레임 메모리(20)의 에어리어수의 1/2의 수. 본 실시의 형태의 경우, 12)만큼 지연되어, 프레임 메모리(20)의 에어리어(1 내지 24)에 대한 화상 데이터(D3)의 재기록을 정지시킨다. 이에 의해, 프레임 메모리(20)의 에어리어(1 내지 24)에는, 960fps의 화상 데이터(D3)가 24프레임분(촬상 시간 0.025초분)만큼 유지되게 된다.

또한, 곧바로 재기록을 정지시키는지, 소정의 프레임수만큼 지연되고 나서 재기록을 정지시키는지에 관해서는, 960fps의 화상 데이터(D3)를 남기고 싶은 촬상 대상에 응하여 미리 설정되어 있는 것으로 한다.

예를 들면, 분수 등이 연속한 사상을 촬상 대상으로 하고 있는 경우에는, 곧바로 재기록을 정지시키도록 설정하면 좋다. 이에 의해, 도 7에 도시되는 바와 같이, 그때까지 기록되어 있는 24프레임분의 화상 데이터(D3)가 보호된다.

또한, 예를 들면, 골프 스윙이나 물풍선이 갈라지는 모습 등의 순간의 신을 촬상 대상으로 한 경우에는, 그 순간의 전후의 화상 데이터(D3)가 보호되도록, 고속 천이 신 검지로부터 소정의 프레임분만큼 지연되어 재기록을 정지시키도록 설정하면 좋다. 이에 의해, 도 8에 도시되는 바와 같이, 그때까지 기록되어 있는 12프레임분의 화상 데이터(D3)와, 고속 천이 신 검지후에 기록된 12프레임분의 화상 데이터(D3)가 보호된다. 또한, 재기록을 정지시킬 때까지의 지연량은, 화상 데이터(D3)가 재기록되는 프레임 메모리(20)의 에어리어수의 1/2의 수로 한정되는 것이 아니고, 화상 데이터(D3)가 재기록되는 프레임 메모리(20)의 에어리어수 이하의 임의의 값으로 설정 가능하다.

이와 같이 하여, 프레임 메모리(20)의 에어리어(1 내지 24)에 대한 화상 데이터(D3)의 재기록이 정지된 후, 처리는 스텝 S7로 진행한다.

스텝 S7에서, 화소 생성부(16)는, 입사광에 응한 화상 데이터(D1)(10비트/pixel, 화각 16:9, 화소수 2MPixels)를 30fps로 AD 변환부(17)에 전송한다. 스텝 S8에서, AD 변환부(17)는, 화소 생성부(16)로부터 전송된 화상 데이터(D1)를 부호 붙음의 화상 데이터(D2)(11비트/pixel, 화각 16:9, 화소수 2MPixels)로 디지털 변환하고, 30fps로 제1 신호 처리부(18)에 전송한다.

스텝 S9에서, 제1 신호 처리부(18)는, 메모리 컨트롤부(14)로부터의 제어에 따라, 화상 데이터(D2)에 대해 제1 신호 처리를 행하고, 그 결과 얻어진 화상 데이터(D3)(10비트/pixel, 화각 16:9, 화소수 2MPixels)를 30fps로 프레임 메모리(20)에 전송하고, 그 에어리어(25)에 재기록시킨다.

스텝 S10에서, 제2 신호 처리부(21)는, 메모리 컨트롤부(14)로부터의 제어에 따라, 프레임 메모리(20)의 에어리어(25)에 기록된 1프레임분의 화상 데이터(D3)를 30fps로 판독하고, 판독한 화상 데이터(D4)에 제2 신호 처리를 행하고, 그 결과 얻어진 화상 데이터(D5)를 출력 I/F(22)에 전송한다. 출력 I/F(22)는, 제2 신호 처리부(21)로부터 전송된 화상 데이터(D5)를 화상 데이터(D6)로서 HOST ISP(30)에 출력한다. 또한, 이 때의 전송 레이트는, 600Mbps 정도이고, 출력 I/F(22)의 전송 가능 레이트는, 일반적으로 4Gbps 정도는 있기 때문에, 대역으로서 충분히 여유가 있다.

즉, 스텝 S7 내지 S10에서는, 도 9에 도시되는 바와 같이, 프레임 메모리(20)의 전단과 후단의 각각이 30fps로 동작하기 때문에, 960fps로 동작하는 경우에 비교하여, 소비 전력을 1/35로 삭감할 수 있다. 이상으로, 화상 출력 처리는 종료된다.

<초 슬로 동화의 판독>

다음에, 프레임 메모리(20)의 에어리어(1 내지 24)에 보호되고 있는 24프레임분의 960fps의 화상 데이터(D3)의 판독에 관해 설명한다.

도 10은, 프레임 메모리(20)의 전단(前段)을 정지시킨 상태에서, 즉, 촬상을 정지한 상태에서 프레임 메모리(20)의 에어리어(1 내지 24)에 보호되고 있는 24프레임분의 960fps의 화상 데이터(D3)만을 판독하는 경우의 한 예를 도시하고 있다.

이 경우, 그 24프레임분의 화상 데이터(D3)는, 프레임 메모리(20)의 후단이 동작 가능한 프레임 레이트를 상한(上限)으로 하는 임의의 프레임 레이트로 판독할 수 있다. 도 10의 예에서는, 240fps의 화상 데이터(D3)를 판독하고 있다.

도 11은, 상술한 화상 출력 처리의 스텝 S10에 계속해서, 즉, 30fps로의 촬상이 계속된 상태로, 프레임 메모리(20)의 에어리어(1 내지 24)에 보호되고 있는 24프레임분의 960fps의 화상 데이터(D3)를 판독하는 경우의 한 예를 도시하고 있다.

이 경우, 그 24프레임분의 화상 데이터(D3)는, 프레임 메모리(20)의 에어리어(25)로부터 화상 데이터(D4)가 30fps로 판독되는 동안에 판독할 수 있다. 도 11의 예에서는, 에어리어(25)의 분을 포함하여 240fps로 판독하는 예를 도시하고 있다.

또한, 프레임 메모리(20)의 에어리어(1 내지 24)에 보호되고 있는 24프레임분의 960fps의 화상 데이터(D3)를, 예를 들면 30fps로 재생하면, 결정적 순간을 파악한 촬상 시간 0.025초분의 초 슬로 동화로서 표시할 수 있다.

<본 실시의 형태인 촬상 장치의 적용>

본 실시의 형태인 촬상 장치는, 예를 들면 웨어러블 카메라 등의 소형이며 휴대 가능한 촬상 장치나 촬상 기능을 갖는 전자 장치 등에 적용할 수 있다.

그 웨어러블 카메라에서는, 항상 녹화 대기(프레임 메모리(20)의 에어리어(1 내지 24)에 대한 화상 데이터(D3)의 재기록)를 하여 두고, 촬상하고 싶다고 생각하고 나서 녹화 트리거를 걸은 경우에도, 그 수초 이전부터 녹화 트리거의 수초후까지의 화상 데이터를 보호하는 사용 방법을 할 수 있다.

구체적으로는, 예를 들면, 도 12에 도시되는 바와 같이, 프레임 메모리(20)의 전단을 30fps로 구동시킴과 함께, 프레임 메모리(20)로부터의 판독의 솎아냄율을 대폭으로 끌어올리고, 프레임 메모리(20)의 후단을 초저 프레임 레이트로 구동시키다. 또한, 이 때의 솎아냄율은, 출력되는 화상 데이터(D6)에 의거하여 AE, AF, AWB를 피드백할 수 있을 정도로 하면 좋다. 구체적으로는, 수초간에 1프레임이 출력되는 0.9375fps 정도면 좋다.

이와 같이, 프레임 메모리(20)의 후단을 초저 프레임 레이트로 구동시킨 경우, 통상의 30fps로 동작시키는 경우에 비교하여, 대폭적으로 소비 전력을 삭감할 수 있다.

<프레임 메모리(20)의 인터리브 구동>

도 3을 참조하여 상술한 바와 같이, 촬상 소자(10)의 제1 신호 처리부(18)에 부호화부(41)를 추가함과 함께, 제2 신호 처리부(21)에 복호부(42)를 추가한 경우, 프레임 메모리(20)에 기록하는 화상 데이터(D3)(화상 데이터(D4))의 데이터량을 삭감할 수 있기 때문에, 프레임 메모리(20)의 용량을 늘리는 일 없이, 유지할 수 있는 화상 데이터(D3)의 프레임수를 늘릴 수 있다.

예를 들면, 부호화부(41)에서의 화상 데이터(D3)의 데이터량을 1/2로 압축 부호화한 경우, 프레임 메모리(20)에 유지할 수 있는 프레임수를 2배로 할 수 있다. 즉, 도 2의 경우에 비교하여 2배인 50프레임분만큼 유지할 수 있는 것이 된다.

프레임 메모리(20)에 50프레임분의 화상 데이터(D3)를 유지할 수 있는 경우, 상술한 화상 출력 처리를 행하면, 프레임 메모리(20)에 960fps의 화상 데이터(D3)를 49프레임분만큼 유지할 수 있다.

또는, 프레임 메모리(20)에 50프레임분의 화상 데이터(D3)를 유지할 수 있는 경우, 프레임 메모리(20)를 2개의 메모리 뱅크로 나누고, 그들을 인터리브 구동하도록 하여도 좋다.

도 13은, 프레임 메모리(20)를 에어리어(1) 내지 에어리어(25)로 이루어지는 제1 메모리 뱅크(20A)와, 에어리어(26) 내지 에어리어(50)로 이루어지는 제2 메모리 뱅크(20B)로 나눈 경우를 도시하고 있다.

상술한 동작 설명에서는, 프레임 메모리(20)에 유지되어 있는 960fps의 모든 화상 데이터(D3)를 전부 판독할 때까지는, 새롭게 화상 출력 처리를 시작할 수가 없었지만, 프레임 메모리(20)의 제1 메모리 뱅크(20A)와 제2 메모리 뱅크(20B)를 인터리브 구동함에 의해, 프레임 메모리(20)에 유지되어 있는 960fps의 모든 화상 데이터(D3)의 판독을 기다리는 일 없이, 새롭게 화상 출력 처리를 시작할 수 있다. 환언하면, 초 슬로 동화의 촬상을 도절(途切)되지 않게 계속적으로 실행할 수 있다.

또한, 프레임 메모리(20)에 기록하는 화상 데이터(D3)를 압축 부호화하지 않는 경우라도, 프레임 메모리(20)의 용량을 증가하여 인터리브 구동하도록 하면, 상술한 효과를 얻을 수 있다.

<본 개시의 제2의 실시의 형태인 촬상 장치의 구성례>

도 14는, 본 개시의 제2의 실시의 형태인 촬상 장치의 구성례를 도시하고 있다. 이 촬상 장치는, 디지털 카메라 등 외에, 촬상 기능을 구비하는 전자 장치에 탑재되는 것이고, 촬상 소자(50) 및 HOST ISP(60)로 구성된다.

도 14에 도시하는 제2의 실시의 형태는, 도 1 또는 도 3에 도시된 제1의 실시의 형태에 대해, 프레임 메모리 및 제2 신호 처리부를 촬상 소자에 마련하지 않고, 이들을 HOST ISP에 마련한 점이 상위하다. 또한, 도 14에 도시하는 제2의 실시의 형태의 구성 요소 중, 도 1 또는 도 3에 도시된 제1의 실시의 형태와 공통되는 구성 요소에 관해서는, 동일한 부호를 붙이고 있기 때문에, 그 설명은 적절히 생략한다.

촬상 소자(50)는, HOST ISP(60)로부터의 요구에 응하여 고(高) 프레임 레이트로 동화상을 촬상하고, 그 화상 데이터를 압축 부호화하여 HOST ISP(60)에 프레임 단위로 출력한다. HOST ISP(60)는, 촬상 소자(10)로부터 입력되는 동화상의 화상 데이터에 ISP 처리를 행한 후, 소정의 화상 처리를 시행하고, 그 결과 얻어지는 화상 데이터를 후단에 출력한다.

촬상 소자(50)는, 입력 I/F(11), 화소 출력 제어부(12), V 디코더(13), 화소 생성부(16), AD 변환부(ADC)(17), 제1 신호 처리부(18), 및 출력 I/F(22)를 갖는다. 제1 신호 처리부(18)는, 신 검출부(19) 및 부호화부(41)를 내장한다.

촬상 소자(50)에서는, 화소 생성부(16)로부터 화상 데이터(D1)가 960fps로 AD 변환부(17)에 출력되고, AD 변환부(17)에서 디지털 신호인 화상 데이터(D2)로 변환되어 제1 신호 처리부(18)에 전송된다. 전송된 화상 데이터(D2)는 제1 신호 처리부(18)에 의해 제1 신호 처리가 행하여진 후에 부호화부(41)에 의해 압축 부호화 처리가 행하여지고, 그 결과 얻어진, 데이터량이 삭감된 화상 데이터(D3)는 출력 I/F(22)에 전송된다. 전송된 960fps의 화상 데이터(D3)는, 출력 I/F(22)로부터 화상 데이터(D11)로서 HOST ISP(60)에 전송된다. 또한, 제1 신호 처리부(18)의 신 검출부(19)에 의한 고속 천이 신 검출의 결과는, 입력 I/F(11)를 통하여 HOST ISP(60)의 제어부(68)에 통지된다.

HOST ISP(60)는, 입력 I/F(61), 메모리 I/F(62), 프레임 메모리(63), ISP부(64), GPU(67), 및 제어부(68)를 갖는다. ISP부(64)는, 복호부(65) 및 제2 신호 처리부(66)를 내장한다.

입력 I/F(61)는, 촬상 소자(50)로부터 입력되는, 압축 부호화되어 있는 화상 데이터(D11)를 메모리 I/F(62)를 통하여 프레임 메모리(63)에 전송한다. 프레임 메모리(63)는, 예를 들면 DRAM, Spin-RAM 등의 고집적이며 고속 액세스 가능한 메모리로 이루어지고, 압축 부호화되어 있는 화상 데이터(D11)를 적어도 복수 프레임분(예를 들면, 제1의 실시의 형태와 마찬가지로 에어리어(1) 내지 에어리어(25)로 이루어지는 25프레임분)만큼 유지할 수 있는 용량을 갖고 있다.

ISP부(64)는, 제어부(68)로부터의 제어에 따라, 메모리 I/F(62)를 통하여 프레임 메모리(63)로부터, 압축 부호화되어 있는 화상 데이터(D11)를 판독하고, 복호 후에 제2 신호 처리 및 ISP 처리를 행하고, 그 결과 얻어지는 화상 데이터(D12)를, 메모리 I/F(62)를 통하여 GPU(67)에 출력한다. GPU(67)는, 제어부(68)로부터의 제어에 따라, ISP부(64)로부터의 화상 데이터(D12)에 소정의 화상 처리를 행한다.

HOST ISP(60)에서는, 촬상 소자(50)로부터 입력된 960fps의 압축 부호화되어 있는 화상 데이터(D11)가, 입력 I/F(61)로부터 메모리 I/F(62)를 통하여 프레임 메모리(63)에 전송되어 에어리어(1 내지 24)에 순차적으로 재기록된다. 그리고, 기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있을 때까지는, 프레임 메모리(63)에 기록된 화상 데이터(D11)가 35프레임마다 1프레임만 ISP부(64)에 의해 솎아냄 판독되고, 복호 처리, 제2 신호 처리, 및 ISP 처리가 행하여지고, 또한, GPU(67)에 의해 소정의 화상 처리가 행하여진다.

기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있는 경우는, 프레임 메모리(63)에 대한 화상 데이터(D11)의 재기록이 정지된다. 따라서, 제1의 실시의 형태와 마찬가지로, 프레임 메모리(63)에 960fps의 화상 데이터(D11)를 유지할 수 있다. 프레임 메모리(63)에 유지된 960fps의 화상 데이터(D11)의 판독 타이밍에 관해서는, 제1의 실시의 형태와 같이 하면 좋다. 또는, 도 13을 참조하여 설명한 바와 같이, 프레임 메모리(63)를 복수의 메모리 뱅크로 분할하여 인터리브 구동하고, 초 슬로 동화의 촬상을 도절되지 않게 계속적으로 실행하도록 하여도 좋다.

도 14에 도시된 제2의 실시의 형태에 의하면, 촬상 소자(50)로부터 960fps로 HOST ISP(60)에 출력하는 화상 데이터(D11)의 데이터량을 압축 부호화하지 않는 경우에 비교하여 삭감할 수 있다. 따라서, 촬상 소자(50)와 HOST ISP(60)와의 사이에 대역을 압축 부호화하지 않는 경우에 비교하여 좁힐 수 있다.

또한, 비교적 처리 부하가 크고 소비 전력이 많은 제2 신호 처리부(66)를 촬상 소자(60)의 외부에 옮길 수 있다.

<본 개시의 제3의 실시의 형태인 촬상 장치의 구성례>

다음에, 도 15는, 본 개시의 제3의 실시의 형태인 촬상 장치의 구성례를 도시하고 있다. 이 촬상 장치는, 디지털 카메라 등 외에, 촬상 기능을 구비하는 전자 장치에 탑재되는 것이고, 촬상 소자(70) 및 HOST ISP(80)로 구성된다.

도 15에 도시하는 제3의 실시의 형태는, 도 14에 도시된 제2의 실시의 형태에 대해, 신 검출부를 촬상 소자에 마련하지 않고, 이것을 HOST ISP에 마련한 점이 다르다. 또한, 도 15에 도시하는 제3의 실시의 형태의 구성 요소 중, 도 14에 도시된 제2의 실시의 형태와 공통되는 구성 요소에 관해서는, 동일한 부호를 붙이고 있기 때문에, 그 설명은 적절히 생략한다.

촬상 소자(70)는, HOST ISP(80)로부터의 요구에 응하여 고 프레임 레이트로 동화상을 촬상하고, 그 화상 데이터를 압축 부호화하여 HOST ISP(80)에 프레임 단위로 출력한다. HOST ISP(80)는, 촬상 소자(10)로부터 입력되는 동화상의 화상 데이터에 ISP 처리를 행한 후, 소정의 화상 처리를 시행하고, 그 결과 얻어지는 화상 데이터를 후단에 출력한다.

촬상 소자(70)는, 입력 I/F(11), 화소 출력 제어부(12), V 디코더(13), 화소 생성부(16), AD 변환부(ADC)(17), 제1 신호 처리부(18), 및 출력 I/F(22)를 갖는다. 제1 신호 처리부(18)는, 부호화부(41)를 내장한다.

촬상 소자(70)에서는, 화소 생성부(16)로부터 화상 데이터(D1)가 960fps로 AD 변환부(17)에 출력되고, AD 변환부(17)에서 디지털 신호인 화상 데이터(D2)로 변환되어 제1 신호 처리부(18)에 전송된다. 전송된 화상 데이터(D2)는 제1 신호 처리부(18)에 의해 제1 신호 처리가 행하여진 후에 부호화부(41)에 의해 압축 부호화 처리가 행하여지고, 그 결과 얻어진, 데이터량이 삭감된 화상 데이터(D3)는 출력 I/F(22)에 전송된다. 전송된 960fps의 화상 데이터(D3)는, 출력 I/F(22)로부터 화상 데이터(D11)로서 HOST ISP(80)에 출력된다.

HOST ISP(80)는, 입력 I/F(81), 메모리 I/F(62), 프레임 메모리(63), ISP부(64), GPU(67), 제어부(68), 복호부(82), 및 신 검출부(83)를 갖는다. ISP부(64)는, 복호부(65) 및 제2 신호 처리부(66)를 내장한다.

입력 I/F(81)는, 촬상 소자(50)로부터 입력되는, 압축 부호화되어 있는 화상 데이터(D11)를 메모리 I/F(62)를 통하여 프레임 메모리(63)에 전송한다. 또한, 입력 I/F(81)는, 촬상 소자(50)로부터 입력되는, 압축 부호화되어 있는 화상 데이터(D11)를 복호부(82)에 전송한다.

복호부(82)는, 압축 부호화되어 있는 화상 데이터(D11)를 복호하여 신 검출부(83)에 공급한다. 신 검출부(83)는, 복호된 화상 데이터로부터 고속 천이 신을 검출한 경우, 그 취지를 제어부(68)에 통지한다.

HOST ISP(80)에서는, 촬상 소자(60)로부터 입력된 960fps의 화상 데이터(D11)가 입력 I/F(81)로부터 메모리 I/F(62)를 통하여 프레임 메모리(63)에 전송되어 에어리어(1 내지 24)에 순차적으로 재기록된다. 또한, 화상 데이터(D11)가 입력 I/F(81)로부터 복호부(82)에도 전송되고, 복호된 후, 신 검출부(83)에서 고속 천이 신의 검출이 행하여진다.

그리고, 기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있을 때까지는, 프레임 메모리(63)에 기록된 화상 데이터(D11)가 35프레임마다 1프레임만 ISP부(64)에 의해 솎아냄 판독되고, 복호 처리, 제2 신호 처리, 및 ISP 처리가 행하여지고, 또한, GPU(67)에 의해 소정의 화상 처리가 행하여진다.

기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있는 경우는, 프레임 메모리(63)에 대한 화상 데이터(D11)의 재기록이 정지된다. 따라서, 제2의 실시의 형태와 마찬가지로, 프레임 메모리(63)에 960fps의 화상 데이터(D11)를 유지할 수 있다. 프레임 메모리(63)에 유지된 960fps의 화상 데이터(D11)의 판독 타이밍에 관해서는, 제2의 실시의 형태와 같이 하면 좋다. 또는, 도 13을 참조하여 설명한 바와 같이, 프레임 메모리(63)를 복수의 메모리 뱅크로 분할하여 인터리브 구동하고, 초 슬로 동화의 촬상을 도절되지 않게 계속적으로 실행하도록 하여도 좋다.

도 15에 도시된 제3의 실시의 형태에 의하면, 촬상 소자(70)로부터 960fps로 HOST ISP(80)에 출력하는 화상 데이터(D11)의 데이터량을 압축 부호화하지 않는 경우에 비교하여 삭감할 수 있다. 따라서, 촬상 소자(70)와 HOST ISP(80)와의 사이에 대역을 압축 부호화하지 않는 경우에 비교하여 좁힐 수 있다.

또한, 비교적 처리 부하가 크고 소비 전력이 많은 제2 신호 처리부(66)를 촬상 소자(70)의 외부에 옮길 수 있다.

<본 개시의 제4의 실시의 형태인 촬상 장치의 구성례>

다음에, 도 16은, 본 개시의 제4의 실시의 형태인 촬상 장치의 구성례를 도시하고 있다. 이 촬상 장치는, 디지털 카메라 등 외에, 촬상 기능을 구비하는 전자 장치에 탑재되는 것이고, 촬상 소자(70) 및 HOST ISP(90)로 구성된다.

도 16에 도시하는 제4의 실시의 형태는, 도 15에 도시된 제3의 실시의 형태에 대해 촬상 소자(70)가 공통이고, HOST ISP(80)를 HOST ISP(90)로 치환한 것이다. 또한, 도 16에 도시하는 제4의 실시의 형태의 구성 요소 중, 도 15에 도시된 제3의 실시의 형태와 공통되는 구성 요소에 관해서는, 동일한 부호를 붙이고 있기 때문에, 그 설명은 적절히 생략한다.

HOST ISP(90)는, 입력 I/F(91), 메모리 I/F(62), 프레임 메모리(63), ISP부(64), GPU(67), 제어부(68), 복호부(92), 및 신(scene) 검출부(83)를 갖는다. ISP부(64)는, 복호부(65) 및 제2 신호 처리부(66)를 내장한다.

입력 I/F(91)는, 촬상 소자(50)로부터 입력되는, 압축 부호화되어 있는 화상 데이터(D11)를 복호부(92)에 전송한다. 복호부(92)는, 압축 부호화되어 있는 화상 데이터(D11)를 복호하고, 그 결과 얻어진 화상 데이터(D21)를 메모리 I/F(62)를 통하여 프레임 메모리(63)에 전송함과 함께, 신 검출부(83)에 공급한다.

복호가 끝난 화상 데이터(D21)로부터 고속 천이 신을 검출한 경우, 신(scene) 검출부(83)는, 그 취지를 제어부(68)에 통지한다.

HOST ISP(90)에서는, 촬상 소자(60)로부터 입력된 960fps의 화상 데이터(D11)를 복호한 화상 데이터(D21)가 프레임 메모리(63)에 전송되어 에어리어(1 내지 24)에 순차적으로 재기록된다. 또한, 화상 데이터(D21)로부터 고속 천이 신의 검출이 행하여진다.

그리고, 기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있을 때까지는, 프레임 메모리(63)에 기록된 화상 데이터(D21)가 35프레임마다 1프레임만 ISP부(64)에 의해 솎아냄 판독되고, 제2 신호 처리, 및 ISP 처리가 행하여지고, 또한, GPU(67)에 의해 소정의 화상 처리가 행하여진다.

기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있는 경우는, 프레임 메모리(63)에 대한 화상 데이터(D21)의 재기록이 정지된다. 따라서, 제2의 실시의 형태와 마찬가지로, 프레임 메모리(63)에 960fps의 화상 데이터(D21)를 유지할 수 있다. 프레임 메모리(63)에 유지된 960fps의 화상 데이터(D11)의 판독 타이밍에 관해서는, 제3의 실시의 형태와 같이 하면 좋다.

도 16에 도시된 제4의 실시의 형태에 의하면, 촬상 소자(70)로부터 960fps로 HOST ISP(90)에 출력하는 화상 데이터(D11)의 데이터량을 압축 부호화하지 않는 경우에 비교하여 삭감할 수 있다. 따라서, 촬상 소자(70)와 HOST ISP(80)와의 사이에 대역을 압축 부호화하지 않는 경우에 비교하여 좁힐 수 있다.

단, 프레임 메모리(63)에 기록한 화상 데이터(D21)는 압축 부호화된 상태로 복호되어 있기 때문에, 제2 및3의 실시의 형태에 비교하여, 프레임 메모리(63)에 유지할 수 있는 프레임수는 적어진다.

<본 개시의 제5의 실시의 형태인 촬상 장치의 구성례>

다음에, 도 17은, 본 개시의 제5의 실시의 형태인 촬상 장치의 구성례를 도시하고 있다. 이 촬상 장치는, 디지털 카메라 등 외에, 촬상 기능을 구비하는 전자 장치에 탑재되는 것이고, 촬상 소자(100) 및 HOST ISP(110)로 구성된다.

도 17에 도시하는 제5의 실시의 형태는, 도 14에 도시된 제2의 실시의 형태에 대해, 촬상 소자의 출력 I/F(22)를 메모리 I/F(101)로 치환한 것이다, HOST ISP로부터 입력 I/F(61)를 삭제하는 것이다. 또한, 도 17에 도시하는 제5의 실시의 형태의 구성 요소 중, 도 14에 도시된 제2의 실시의 형태와 공통되는 구성 요소에 관해서는, 동일한 부호를 붙이고 있기 때문에, 그 설명은 적절히 생략한다.

즉, 촬상 소자(100)는, 입력 I/F(11), 화소 출력 제어부(12), V 디코더(13), 화소 생성부(16), AD 변환부(ADC)(17), 제1 신호 처리부(18), 및 메모리 I/F(101)를 갖는다. 제1 신호 처리부(18)는, 신 검출부(19) 및 부호화부(41)를 내장한다.

촬상 소자(110)에서는, 화소 생성부(16)로부터 화상 데이터(D1)가 960fps로 AD 변환부(17)에 출력되고, AD 변환부(17)에서 디지털 신호인 화상 데이터(D2)로 변환되어 제1 신호 처리부(18)에 전송된다. 전송된 화상 데이터(D2)는 제1 신호 처리부(18)에 의해 제1 신호 처리가 행하여진 후에 부호화부(41)에 의해 압축 부호화 처리가 행하여지고, 그 결과 얻어진, 데이터량이 삭감된 화상 데이터(D3)는 메모리 I/F(101)에 전송되고, 메모리 I/F(101)에 의해, 화상 데이터(D11)로서 HOST ISP(110)의 프레임 메모리(63)에 전송되어 에어리어(1 내지 24)에 순차적으로 재기록된다.

HOST ISP(110)는, 메모리 I/F(62), 프레임 메모리(63), ISP부(64), GPU(67), 및 제어부(68)를 갖는다. ISP부(64)는, 복호부(65) 및 제2 신호 처리부(66)를 내장한다.

HOST ISP(80)에서는, 촬상 소자(100)의 메모리 I/F(101)로부터 프레임 메모리(63)의 에어리어(1 내지 24)에 대해 직접적으로 960fps의 화상 데이터(D11)가 순차적으로 재기록된다. 그리고, 기록 정지 지시, 또는 고속 천이 신 검출의 통지가 있을 때까지는, 프레임 메모리(63)에 기록된 화상 데이터(D11)가 35프레임마다 1프레임만 ISP부(64)에 의해 솎아냄 판독되고, 복호 처리, 제2 신호 처리, 및 ISP 처리가 행하여지고, 또한, GPU(67)에 의해 소정의 화상 처리가 행하여진다.

도 17에 도시된 제5의 실시의 형태에 의하면, 촬상 소자(100)로부터 960fps로 HOST ISP(110)에 출력하는 화상 데이터(D11)의 데이터량을 압축 부호화하지 않는 경우에 비교하여 삭감할 수 있다. 따라서, 촬상 소자(100)와 HOST ISP(110)와의 사이에 대역을 압축 부호화하지 않는 경우에 비교하여 좁힐 수 있다.

또한, 비교적 처리 부하가 크고 소비 전력이 많은 제2 신호 처리부(66)를 촬상 소자(100)의 외부에 옮길 수 있다.

이상과 같이, 본 실시의 형태인 촬상 장치를 적용하면, 커모디티화된 염가의 카메라 시스템에서도, 저소비 전력으로, 해상도 열화가 적은 초 슬로 동화를 촬상하거나, 타임 시프트 촬영을 간단하게 실행할 수 있다.

또한, 본 개시의 실시의 형태는, 상술한 실시의 형태로 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 여러가지의 변경이 가능하다.

본 개시는 이하와 같은 구성도 취할 수 있다.

(A1) 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

(A2) (A1)에 있어서, 상기 기록부는, 제1의 프레임 레이트로 상기 화상 신호를 상기 프레임 메모리에 기록하고, 상기 판독부는, 상기 프레임 메모리에 기록된 상기 화상 데이터를 판독한다.

(A3) (A2)에 있어서, 상기 기록부는, 생성된 상기 화상 데이터를 상기 프레임 메모리의 제1의 에어리어에 재기록할 수 있고, 상기 판독부는, 상기 프레임 메모리의 상기 제1의 에어리어에 재기록된 상기 화상 데이터를 프레임 단위로 솎아내어 판독한다.

(A4) (A1) 내지 (A3)에 있어서, 상기 프레임 메모리에 기록된 상기 화상 데이터를 부호화하는 부호화부와, 상기 프레임 메모리로부터 판독된, 부호화된 상기 화상 데이터를 복호하는 복호부를 더 구비한다.

(A5) (A3)에 있어서, 트리거에 응하여, 상기 기록부를 제어하여 상기 프레임 메모리의 제1의 에어리어에 대한 생성된 화상 데이터의 재기록을 정지하게 하는 제어부를 구비한다.

(A6) (A5)에 있어서, 상기 제어부는 상기 트리거에 응하여, 곧바로, 또는 소정의 프레임수만큼 지연되어, 상기 기록부를 제어하여, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킨다.

(A7) (A5)에 있어서, 외부로부터의 지시를 상기 트리거로 하여, 상기 제어부는, 상기 기록부를 제어하고, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킨다.

(A8) (A5) 내지 (A7)에 있어서, 상기 프레임 메모리의 상기 제1의 에어리어에 재기록하는 상기 화상 데이터에서의 고속 천이 신을 검지하는 검지부를 더 구비한다. 상기 고속 천이 신의 검지를 상기 트리거로 하여, 상기 제어부는, 상기 기록부를 제어하고, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킨다.

(A9) (A3) 내지 (A8)에 있어서, 상기 판독부는, 상기 재기록의 정지에 기인하여, 상기 프레임 메모리의 상기 제1의 에어리어에 남아 있는 상기 화상 데이터를 판독한다.

(A10) (A7)에 있어서, 상기 기록부는, 상기 프레임 메모리의 상기 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지된 후, 생성된 상기 화상 데이터를 상기 프레임 메모리의 상기 제1의 에어리어와는 다른 제2의 에어리어에 기록할 수 있고, 상기 판독부는, 상기 프레임 메모리의 상기 제2의 에어리어에 기록된 상기 화상 데이터를 판독하고, 또한, 재기록이 정지됨에 의해 상기 프레임 메모리의 상기 제1의 에어리어에 남아 있는 상기 화상 데이터도 판독한다.

(A11) (A1) 내지 (A10)에 있어서, 상기 화소 생성부는, 생성한 상기 화상 신호의 화각의 변경, 또는 상기 화소 신호의 가산의 적어도 일방을 행한다.

(A12) (A1) 내지 (A11)에 있어서,촬상 소자는, 1 또는 복수의 기판에 배치된 상태로 1칩화한다.

(A13) 촬상 장치는, 촬상 소자가 탑재된 촬상 장치에 있어서, 상기 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

(A14) 전자 장치는, 촬상 소자가 탑재된 전자 장치에 있어서, 상기 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

(B1) 촬상 소자에 있어서, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

(B2) (B1)에 있어서, 상기 기록부는, 제1의 프레임 레이트로 상기 화상 신호를 상기 프레임 메모리에 기록하고, 상기 판독부는, 상기 프레임 메모리에 기록된 상기 화상 데이터를 판독한다.

(B3) (B2)에 있어서, 상기 기록부는, 생성된 상기 화상 데이터의 이전에 기록된 프레임을 상기 프레임 메모리의 적어도 제1의 에어리어에 재기록하고, 제1의 동작 모드에서, 상기 판독부는 제2의 프레임 레이트로 상기 프레임 메모리로부터 상기 화상 데이터를 판독하고, 상기 제1의 동작 모드에서, 상기 판독부는 상기 프레임 메모리에 격납된 화상 데이터의 모든 프레임 보다 적은 프레임을 판독한다.

(B4) (B2)에 있어서, 상기 프레임 메모리에 기록된 상기 화상 데이터를 부호화하는 부호화부와, 상기 프레임 메모리로부터 판독된, 부호화된 상기 화상 데이터를 복호하는 복호부를 더 구비한다.

(B5) (B3)에 있어서, 트리거에 응하여, 상기 기록부를 제어하여, 생성된 상기 화상 데이터의 상기 프레임 메모리의 적어도 제1의 에어리어에 대한 재기록을 정지시키는 제어부를 더 구비한다.

(B6) (B5)에 있어서, 상기 기록부는, 상기 제어부로부터의 신호를 수신한 직후의 또는, 상기 제어부로부터의 신호를 수신한 이후에 소정의 프레임 수만큼 지연된 이후에, 메모리의 적어도 제1의 에어리어에, 생성된 상기 화상 데이터의 재기록을 정지시킨다.

(B7) (B5)에 있어서, 상기 트리거 신호는 고속 천이 신(scene)이 검지되었다는 표시이고, 상기 트리거 신호는 상기 화상 장치의 소스 외측으로부터 제공된다.

(B8) (B5)에 있어서, 상기 프레임 메모리의 상기 제1의 에어리어에 재기록된 상기 화상 데이터에서의 고속 천이 신을 검지하는 검지부를 더 구비하고, 상기 고속 천이 신의 검지를 상기 트리거 신호로 하여, 상기 제어부는, 상기 기록부를 제어하고, 생성된 상기 화상 데이터의 상기 프레임 메모리의 상기 제1의 에어리어에 대한 재기록을 정지시킨다.

(B9) (B5)에 있어서, 상기 프레임 메모리의 적어도 상기 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지된 이후, 상기 판독부는 상기 프레임 메모리의 적어도 상기 제1의 에어리어에 남아 있는 상기 화상 데이터를 판독한다.

(B10) (B5)에 있어서, 상기 프레임 메모리의 적어도 상기 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지된 이후, 상기 기록부는 상기 프레임 메모리의 예비 에어리어에 화상 데이터를 기록한다.

(B11) (B10)에 있어서, 상기 프레임 메모리의 적어도 상기 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지된 이후, 상기 판독부는 상기 프레임 메모리의 상기 예비 에어리어로부터 화상 데이터를 판독한다.

(B12) (B10)에 있어서, 상기 프레임 메모리의 적어도 제1의 에어리어에 대한 상기 화상 데이터의 재기록이 정지된 이후, 상기 판독부는 상기 프레임 메모리의 상기 제1의 에어리어로부터 및 상기 프레임 메모리의 상기 예비 에어리어로부터 화상 데이터를 판독한다.

(B13) (B12)에 있어서, 상기 판독부는 상기 프레임 메모리의 상기 제1의 에어리어로부터 및 제2의 프레임 레이트보다는 더 크고 제1의 프레임 레이트보다는 더 작은 레이트로, 상기 프레임 메모리의 예비 영역으로부터 화상 데이터를 판독한다.

(B14) (B7)에 있어서, 상기 기록부는 재기록이 정지된 이후에 상기 프레임 메모리의 제2의 메모리에 생성된 상기 화상 데이터를 기록하고, 상기 판독부는 상기 프레임 메모리의 제2의 에어리어에 상기 화상 데이터를 판독하고, 상기 재기록이 정지된 이후에 상기 프레임 메모리의 제1의 에어리어에 남아있는 화상 데이터를 판독한다.

(B15) (B2)에 있어서, 상기 화소 생성부는, 생성된 상기 데이터의 화각의 변경 또는 상기 화소 신호의 가산 중 적어도 일방을 실행한다.

(B16) (B2)에 있어서, 상기 화소 생성부, 상기 프레임 메모리, 상기 기록부, 및 상기 판독부는 하나의 기판상에 배치되며 단일칩에 형성된다.

(B17) (B2)에 있어서, 상기 화소 생성부, 상기 프레임 메모리, 상기 기록부, 및 상기 판독부는 복수의 기판상에 배치되며 단일칩에 형성된다.

(B18) (B2)에 있어서, 상기 화소 생성부, 상기 프레임 메모리, 상기 기록부, 및 상기 판독부는 복수의 기판상에 배치되며 단일칩에 형성되고, 상기 복수의 기판은 관통 실리콘 비아(TSV) Wide 입/출력(I/O)에 의해 서로 접촉된다.

(B19) 촬상 장치는, 촬상 소자를 포함하고, 상기 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

(B20) 전자 장치는, 촬상 소자를 포함하고, 상기 촬상 소자는, 입사광에 응하여 복수의 화소 신호로 이루어지는 화상 신호를 생성하는 화소 생성부와, 복수 프레임분의 상기 화상 신호를 격납하는 프레임 메모리를 구비한다.

10 : 촬상 소자
11 : 입력 I/F
12 : 화소 출력 제어부
13 : V 디코더
14 : 메모리 컨트롤부
15 : 프레임 카운터
16 : 화소 생성부
17 : AD 변환부
18 : 제1 신호 처리부
19 : 신 검출부
20 : 프레임 메모리
21 : 제2 신호 처리부
22 : 출력 I/F
30 : HOST ISP
41 : 부호화부
42 : 복호부
50 : 촬상 소자
60 : HOST ISP
61 : 입력 I/F
62 : 메모리 I/F
63 : 프레임 메모리
64 : ISP부
65 : 복호부
66 : 제2 신호 처리부
67 : GPU
68 : 제어부
70 : 촬상 소자
80 : HOST ISP
81 : 입력 I/F
82 : 복호부
83 : 신 검출부
90 : HOST ISP
91 : 입력 I/F
92 : 복호부
100 : 촬상 소자
101 : 메모리 I/F
110 : HOST ISP

Claims

촬상 소자에 있어서,
입사광에 따라 복수의 화소 신호로부터 형성되는 화상 데이터를 생성하는 화소 생성부와,
상기 화상 데이터를 복수의 프레임으로 저장하는 프레임 메모리와, 상기 프레임 메모리는 제 1 영역 및 제 2 영역을 포함하며,
상기 화상 데이터를 프레임 메모리에 기록하는 기록부와,
화상 데이터를 제 2 영역이 아닌 제 1 영역에 기록하도록 제 1 동작 모드 동안 기록부를 제어하고, 화상 데이터를 제 1 영역이 아닌 제 2 영역에 기록하도록 제 2 동작 모드 동안 기록부를 제어하는 제어부와,
상기 프레임 메모리에 기록된 화상 데이터를 판독하는 판독부를 구비하고,
상기 기록부는 상기 화상 데이터를 제 1 프레임 레이트로 상기 프레임 메모리에 기록하고, 상기 제 1 영역은 상기 제 2 영역보다 큰 저장 용량을 가지며,
상기 제어부는 제 1 동작 모드 동안 제 1 영역으로부터 화상 데이터를 판독하도록 판독부를 제어하고, 제 2 동작 모드 동안 제 2 영역으로부터 화상 데이터를 판독하도록 판독부를 제어하는 것을 특징으로 하는 촬상 소자.
제1항에 있어서,
상기 프레임 메모리에 기록된 화상 데이터를 부호화하는 부호화부 및 프레임 메모리로부터 판독되어 부호화된 화상 데이터를 복호화하는 복호화부를 더 포함하며,
제 1 동작 모드는 정상 동작 모드이고, 제 2 동작 모드는 화상 데이터에서 고속 천이 신(scene)이 검출된 모드인 것을 특징으로 하는 촬상 소자.
제1항에 있어서,
상기 화소 생성부는 생성된 화상 데이터의 화각을 변환하거나 상기 복수의 화소 신호를 추가하는 것 중 적어도 하나를 수행하는 것을 특징으로 하는 촬상 소자.
제1항에 있어서,
상기 화소 생성부, 상기 프레임 메모리, 상기 기록부 및 상기 판독부는 하나의 기판 상에 배치되고 하나의 칩으로 형성되는 것을 특징으로 하는 촬상 소자.
제1항에 있어서,
상기 화소 생성부, 상기 프레임 메모리, 상기 기록부 및 상기 판독부는 복수의 기판 상에 배치되고 하나의 칩으로 형성되는 것을 특징으로 하는 촬상 소자.
제1항에 있어서,
상기 화소 생성부, 상기 프레임 메모리, 상기 기록부 및 상기 판독부는 복수의 기판 상에 배치되고 하나의 칩으로 형성되고, 상기 복수의 기판은 관통 실리콘 비아(TSV) Wide 입/출력(I/O)에 의해 서로 접촉되는 것을 특징으로 하는 촬상 소자.
제1항에 있어서,
상기 기록부는 상기 프레임 메모리의 적어도 제 1 영역에서 생성된 화상 데이터의 이전에 기록된 프레임을 재기록하고,
상기 제 2 동작 모드에서 상기 판독부는 상기 화상 데이터를 상기 화상 데이터로부터 판독하며,
제 2 동작 모드에서 판독부는 제 1 프레임 레이트보다 낮은 제 2 프레임 레이트로 프레임 메모리의 제 2 영역으로부터 화상 데이터를 판독하며,
제 1 동작 모드에서 판독부는 프레임 메모리의 제 2 영역을 판독하지 않는 것을 특징으로 하는 촬상 소자.
제7항에 있어서,
상기 제어부는 상기 제어부가 트리거 신호를 수신하는 것에 응답하여 상기 생성된 화상 데이터를 상기 프레임 메모리의 적어도 제 1 영역에 재기록하는 것을 정지하도록 상기 기록부를 제어하는 것을 특징으로 하는 촬상 소자.
제8항에 있어서,
상기 기록부는 상기 제어부로부터 신호를 수신한 직후 또는 소정의 정해진 프레임 수 만큼 지연된 후에 상기 생성된 화상 데이터를 상기 메모리의 적어도 제 1 영역으로의 재기록을 정지하는 것을 특징으로 하는 촬상 소자.
제8항에 있어서,
상기 프레임 메모리의 적어도 제 1 영역에 재기록된 화상 데이터에서 고속 천이 신을 검출하는 검출부을 더 포함하고,
트리거 신호로서 고속 천이 신의 검출에 의해, 제어부는 생성된 화상 데이터를 프레임 메모리의 제 1 영역에 재기록을 정지하도록 기록부를 제어하는 것을 특징으로 하는 촬상 소자.
제8항에 있어서,
상기 프레임 메모리의 적어도 제 1 영역에 대한 화상 데이터의 재기록이 정지된 후, 상기 판독부는 상기 프레임의 적어도 제 1 영역에 남아있는 화상 데이터를 판독하는 것을 특징으로 하는 촬상 소자.
제8항에 있어서,
상기 트리거 신호는 고속 천이 신이 검출되었다는 것을 나타내며, 상기 트리거 신호는 상기 촬상 장치 외부의 소스로부터 제공되는 것을 특징으로 하는 촬상 소자.
제12항에 있어서,
상기 기록부는 상기 재기록이 정지된 후 상기 생성된 화상 데이터를 상기 프레임 메모리의 제 2 영역에 기록하고,
상기 판독부는 상기 프레임의 제 2 영역에 기록된 상기 화상 데이터를 판독하며, 또한, 재기록이 정지된 후 프레임 메모리의 제 1 영역에 남아있는 화상 데이터를 추가로 읽는 것을 특징으로 하는 촬상 소자.
제8항에 있어서,
상기 프레임 메모리의 적어도 제 1 영역에 대한 상기 화상 데이터의 재기록이 정지된 후, 상기 기록부는 상기 프레임 메모리의 상기 제 2 영역에 화상 데이터를 기록하는 것을 특징으로 하는 촬상 소자.
제14항에 있어서,
상기 프레임 메모리의 적어도 제 1 영역에 대한 화상 데이터의 재기록이 정지된 후, 상기 판독부는 상기 프레임 메모리의 제 2 영역으로부터 화상 데이터를 판독하는 것을 특징으로 하는 촬상 소자.
제14항에 있어서,
상기 프레임 메모리의 적어도 제 1 영역에 대한 화상 데이터의 재기록이 정지된 후, 상기 판독부는 상기 프레임 메모리의 상기 제 1 영역 및 상기 제 2 영역으로 부터 화상 데이터를 판독하는 것을 특징으로 하는 촬상 소자.
제16항에 있어서,
상기 판독부는 상기 프레임 메모리의 제 1 영역 및 상기 프레임 메모리의 제 2 영역으로부터 화상 데이터를 상기 제 1 프레임 레이트보다 작고 제 2 프레임 레이트보다 큰 제 3 프레임 레이트로 판독하는 것을 특징으로 하는 촬상 소자.
촬상 장치에 있어서,
촬상 소자와,
상기 촬상 소자는, 입사광에 따라 복수의 화소 신호로부터 형성되는 화상 데이터를 생성하는 화소 생성부와,
상기 화상 데이터를 복수의 프레임으로 저장하는 프레임 메모리와, 상기 프레임 메모리는 제 1 영역 및 제 2 영역을 포함하며,
상기 화상 데이터를 프레임 메모리에 기록하는 기록부와,
화상 데이터를 제 2 영역이 아닌 제 1 영역에 기록하도록 제 1 동작 모드 동안 기록부를 제어하고, 화상 데이터를 제 1 영역이 아닌 제 2 영역에 기록하도록 제 2 동작 모드 동안 기록부를 제어하는 제어부와,
상기 프레임 메모리에 기록된 화상 데이터를 판독하는 판독부를 구비하고,
상기 기록부는 상기 화상 데이터를 제 1 프레임 레이트로 상기 프레임 메모리에 기록하고, 상기 제 1 영역은 상기 제 2 영역보다 큰 저장 용량을 가지며,
상기 제어부는 제 1 동작 모드 동안 제 1 영역으로부터 화상 데이터를 판독하도록 판독부를 제어하고, 제 2 동작 모드 동안 제 2 영역으로부터 화상 데이터를 판독하도록 판독부를 제어하는 것을 특징으로 하는 촬상 장치.
전자 장치에 있어서,
촬상 소자와,
상기 촬상 소자는, 입사광에 따라 복수의 화소 신호로부터 형성되는 화상 데이터를 생성하는 화소 생성부와,
상기 화상 데이터를 복수의 프레임으로 저장하는 프레임 메모리와, 상기 프레임 메모리는 제 1 영역 및 제 2 영역을 포함하며,
상기 화상 데이터를 프레임 메모리에 기록하는 기록부와,
화상 데이터를 제 2 영역이 아닌 제 1 영역에 기록하도록 제 1 동작 모드 동안 기록부를 제어하고, 화상 데이터를 제 1 영역이 아닌 제 2 영역에 기록하도록 제 2 동작 모드 동안 기록부를 제어하는 제어부와,
상기 프레임 메모리에 기록된 화상 데이터를 판독하는 판독부를 구비하고,
상기 기록부는 상기 화상 데이터를 제 1 프레임 레이트로 상기 프레임 메모리에 기록하고, 상기 제 1 영역은 상기 제 2 영역보다 큰 저장 용량을 가지며,
상기 제어부는 제 1 동작 모드 동안 제 1 영역으로부터 화상 데이터를 판독하도록 판독부를 제어하고, 제 2 동작 모드 동안 제 2 영역으로부터 화상 데이터를 판독하도록 판독부를 제어하는 것을 특징으로 하는 전자 장치.
삭제