TW201526644A - 成像裝置，成像設備及電子設備 - Google Patents

成像裝置，成像設備及電子設備 Download PDF

Info

Publication number
TW201526644A
TW201526644A TW103141081A TW103141081A TW201526644A TW 201526644 A TW201526644 A TW 201526644A TW 103141081 A TW103141081 A TW 103141081A TW 103141081 A TW103141081 A TW 103141081A TW 201526644 A TW201526644 A TW 201526644A
Authority
TW
Taiwan
Prior art keywords
image data
frame memory
unit
imaging device
image
Prior art date
Application number
TW103141081A
Other languages
English (en)
Other versions
TWI653890B (zh
Inventor
Tsutomu Nakajima
Jun Hashizume
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201526644A publication Critical patent/TW201526644A/zh
Application granted granted Critical
Publication of TWI653890B publication Critical patent/TWI653890B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明提供一種成像裝置，其包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個圖框之影像信號。

Description

成像裝置，成像設備及電子設備 相關申請案之交叉參考
本申請案主張2013年12月20日提出申請之日本優先權專利申請案JP 2013-263378及2014年9月18日提出申請之日本優先權專利申請案JP 2014-190163之權益，該等案之全部內容以引用之方式併入本文中。
本發明係關於一種成像裝置、一種成像設備及一種電子設備，特定言之，本發明係關於藉以可在相對低電力消耗之情況下獲取以一超高速成像之一移動圖片(超慢移動圖片)之一種成像裝置、一種成像設備及一種電子設備。
一般而言，由一成像裝置成像之一移動圖片之一圖框速率大約為30fps，且在試圖實現比上述更快之一高速圖框速率之一情況中，在諸多情況下，實際使用中之成像裝置之一上限受限於一I/F之一頻寬及電力消耗。例如，在其中每一像素一資料量為10位元且一解析度為1920×1080之一全高清晰度移動圖片以1000fps輸出之一情況中，傳遞影像資料之一I/F有必要具有等於或大於20Gbps之一頻寬。
另一方面，諸如一行動電話之一行動裝置之一I/F之一頻寬即使具有一高速度亦僅為約4Gbps至6Gbps。因此，在安裝於一行動裝置 或一消費型攝影機上之一小類型成像裝置中上述效應尤為顯著。
此外，具有一4k解析度(其為全高清晰度之四倍)或8k解析度(其為全高清晰度之八倍)之一移動圖片預期在將來會傳播且對高速圖框速率之需求增加。因此，預期僅藉由加寬I/F之頻寬可難以處理上述限制。
此外，在解析度或圖框速率增加之一情況中，成像裝置或下階段中提供之一影像信號處理電路中之電力消耗增加，此導致熱產生之增加，而熱產生之增加係必須針對行動裝置或消費型攝影機避免之一問題。
關於此問題，在有關技術中提出一方法，其中藉由減少像素或刪去一影像之一部分區域來實現一高圖框速率，且藉由減少處理之像素數目可抑制電力消耗及熱產生之增加(例如參考PTL1)。
[引用清單]
[專利文獻]
[PTL1]
日本未經審核專利申請公開案第9-247543號
在上述有關技術之方法中可實現一高圖框速率，但一移動圖片之解析度顯著下降。
期望獲取以一超高速成像之一移動圖片，其中藉由抑制電力消耗及熱產生而減少損壞解析度。
根據本發明之一第一實施例提供一種成像裝置，其包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個圖框之該影像信號。
根據本發明之第一實施例之成像裝置可進一步包含：一寫入單元，其將所產生影像資料寫入至該圖框記憶體中；及一讀取單元，其讀取寫入至該圖框記憶體中之該影像資料。
該寫入單元可將該所產生影像資料重寫至該圖框記憶體之一第一區域中；且該讀取單元可以一圖框單位減少且讀取重寫至該圖框記憶體之該第一區域中之該影像資料。
該寫入單元可將所產生之該影像資料以一第一圖框速率重寫至該圖框記憶體之一第一區域中，且該讀取單元可以慢於該第一圖框速率之一第二圖框速率減少及讀取該影像資料，該影像資料以該第一圖框速率重寫至該圖框記憶體之該第一區域中。
根據本發明之第一實施例之成像裝置可進一步包含：一編碼單元，其將寫入至該圖框記憶體中之該影像資料編碼；及一解碼單元，其將從該圖框記憶體讀取之經寫碼影像資料解碼。
根據本發明之第一實施例之成像裝置可進一步包含一控制單元，該控制單元根據一觸發而控制該寫入單元且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
該控制單元可根據該觸發立即或在預定數目個圖框之一延遲之後控制該寫入單元，且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
該控制單元藉由將來自外界之一指令作為該觸發可控制該寫入單元且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
根據本發明之第一實施例之成像裝置可進一步包含一偵測單元，該偵測單元在重寫至該圖框記憶體之該第一區域中之該影像資料中偵測一高速轉變場景。該控制單元藉由將對該高速轉變場景之該偵測作為該觸發可控制該寫入單元，且致使該所產生影像資料至該圖框 記憶體之該第一區域中之該重寫停止。
該讀取單元可讀取由於停止相對於該圖框記憶體之該第一區域之該重寫而存留於該圖框記憶體之該第一區域中之該成像資料。
在相對於該第一區域之該圖框記憶體之該成像資料之該重寫停止後，該寫入單元可將該所產生影像資料寫入至該圖框記憶體之不同於該第一區域之一第二區域中，且該讀取單元可進一步讀取寫入至該圖框記憶體之該第二區域中之該影像資料，且可進一步讀取由於該重寫之該停止而存留於該圖框記憶體之該第一區域中之該影像資料。
在相對於該第一區域而以該第一圖框速率對該圖框記憶體之該影像資料進行之該重寫停止後，該寫入單元可將所產生之該所產生影像資料以慢於該第一圖框速率之該第二圖框速率寫入至該圖框記憶體之不同於該第一區域之該第二區域中，且該讀取單元可以該第二圖框速率讀取寫入至該圖框記憶體之該第二區域中之該影像資料，且可進一步讀取由於該寫入之該停止而存留於該圖框記憶體之該第一區域中之該影像資料。
該像素產生單元可執行改變該所產生影像資料之一視角或添加該等像素信號中之至少一者。
根據本發明之第一實施例之成像裝置可安置於一個基板或複數個基板上且可在一單個晶片中形成。
根據本發明之第二實施例，提供一種其上安裝有一成像裝置之成像設備。該成像裝置包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個圖框之該影像信號。
根據本發明之第三實施例，提供一種其上安裝有一成像裝置之電子設備。該成像裝置包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個 圖框之該影像信號。
在本發明之第一至第三實施例中，根據入射光由複數個像素信號形成之該影像信號經產生並寫入至儲存複數個圖框之該影像信號之該圖框記憶體中。
根據本發明之第四實施例，提供一種包含一成像裝置及一ISP處理單元之成像設備。該成像裝置包含：一像素產生單元，其根據入射光而以一第一圖框速率產生由複數個像素信號形成之一影像信號；一編碼器，其將該影像信號編碼；及一輸出單元，其以該第一圖框速率將該所編碼影像信號輸出至該ISP處理單元。該ISP處理單元包含：一圖框記憶體，其儲存複數個圖框之該所編碼影像信號；一寫入單元，其將從該成像裝置輸入之該所編碼影像信號以該第一圖框速率寫入至該圖框記憶體中；及一ISP單元，其以慢於該第一圖框速率之一第二圖框速率讀取寫入於該圖框記憶體中之該所編碼影像資料，且執行解碼及ISP處理。
該ISP處理單元可進一步包含一控制單元，該控制單元根據一觸發控制該寫入單元且致使該所編碼影像資料至該圖框記憶體中之該重寫停止。
該成像裝置可進一步包含一偵測單元，該偵測單元在該所產生影像資料中偵測一高速轉變場景，且該控制單元可將對該高速轉變場景之該偵測用作該觸發。
該ISP處理單元可進一步包含將從該成像裝置輸入之該所編碼影像信號解碼之一解碼器及在該所解碼影像資料中偵測一高速轉變場景之一偵測單元。該控制單元可將對該高速轉變場景之該偵測作為該觸發。
在根據本發明之第四實施例之成像裝置中，該所產生及所編碼影像信號以第一圖框速率輸出至該ISP處理單元。在該ISP處理單元 中，該所編碼影像信號以該第一圖框速率寫入至該圖框記憶體中，且以慢於該第一圖框速率之第二圖框速率讀取寫入於該圖框記憶體中之該所編碼影像資料，則對該影像資料執行該解碼及該ISP處理。
根據本發明之第五實施例，提供一種包含一成像裝置及一ISP處理單元之成像設備。該成像裝置包含：一像素產生單元，其根據入射光而以一第一圖框速率產生由複數個像素信號形成之一影像信號；一編碼器，其將該影像信號編碼；及一輸出單元，其以該第一圖框速率將該所編碼影像信號輸出至該ISP處理單元。該ISP處理單元包含儲存複數個圖框之該所編碼影像信號之一圖框記憶體，及以慢於該第一圖框速率之一第二圖框速率讀取寫入於該圖框記憶體中之該所編碼影像資料且執行解碼及ISP處理之一ISP單元。
在根據本發明之第五實施例之成像裝置中，以該第一圖框速率將該所產生及所編碼影像信號寫入至該ISP處理單元之該圖框記憶體中。在該ISP處理單元中，以慢於該第一圖框速率之第二圖框速率讀取寫入於該圖框記憶體中之該所編碼影像資料，且對該所編碼影像資料執行該解碼及該ISP處理。
根據本發明之第一至第五實施例可獲取以一超高速成像之一移動圖片，其中藉由抑制電力消耗及熱產生而減少該移動圖片之解析度之損壞。
10‧‧‧成像裝置
11‧‧‧輸入I/F
12‧‧‧像素輸出控制單元
13‧‧‧V解碼器
14‧‧‧記憶體控制單元
15‧‧‧圖框計數器
16‧‧‧像素產生單元
17‧‧‧類比轉數位轉換單元
18‧‧‧第一信號處理單元
19‧‧‧場景偵測單元
20‧‧‧圖框記憶體
20A‧‧‧第一記憶體庫
20B‧‧‧第二記憶體庫
21‧‧‧第二信號處理單元
22‧‧‧輸出I/F
30‧‧‧主機ISP
41‧‧‧編碼器
42‧‧‧解碼器
50‧‧‧成像裝置
60‧‧‧主機ISP
61‧‧‧輸入I/F
62‧‧‧記憶體I/F
63‧‧‧圖框記憶體
64‧‧‧ISP單元
65‧‧‧解碼器
66‧‧‧第二信號處理單元
67‧‧‧GPU
68‧‧‧控制單元
70‧‧‧成像裝置
80‧‧‧主機ISP
81‧‧‧輸入I/F
82‧‧‧解碼器
83‧‧‧場景偵測單元
90‧‧‧主機ISP
91‧‧‧輸入I/F
92‧‧‧解碼器
100‧‧‧成像裝置
101‧‧‧記憶體I/F
110‧‧‧主機ISP
D1-D6‧‧‧影像資料
D11‧‧‧影像資料
S1‧‧‧步驟
S2‧‧‧步驟
S3‧‧‧步驟
S4‧‧‧步驟
S5‧‧‧步驟
S6‧‧‧步驟
S7‧‧‧步驟
S8‧‧‧步驟
S9‧‧‧步驟
S10‧‧‧步驟
[圖1]
圖1係圖解說明本發明應用於其之一成像裝置之一組態實例之一方塊圖。
[圖2A]
圖2A係圖解說明自一像素產生單元輸出並寫入至一圖框記憶體 中之一影像之一概觀之一圖式。
[圖2B]
圖2B係圖解說明自一像素產生單元輸出並寫入至一圖框記憶體中之一影像之一概觀之一圖式。
[圖2C]
圖2C係圖解說明自一像素產生單元輸出並寫入至一圖框記憶體中之一影像之一概觀之一圖式。
[圖3]
圖3係圖解說明本發明應用於其之一成像裝置之一經修改組態實例之一方塊圖。
[圖4A]
圖4A係圖解說明在一單個晶片中形成一成像裝置之一情況中之一組態實例之一圖式。
[圖4B]
圖4B係圖解說明在一單個晶片中形成一成像裝置之一情況中之一組態實例之一圖式。
[圖4C]
圖4C係圖解說明在一單個晶片中形成一成像裝置之一情況中之一組態實例之一圖式。
[圖4D]
圖4D係圖解說明在一單個晶片中形成一成像裝置之一情況中之一組態實例之一圖式。
[圖5]
圖5係闡釋一影像輸出處理之一流程圖。
[圖6]
圖6係用於闡釋一影像輸出處理之一圖式。
[圖7]
圖7係用於闡釋一影像輸出處理之一圖式。
[圖8]
圖8係用於闡釋一影像輸出處理之一圖式。
[圖9]
圖9係用於闡釋一影像輸出處理之一圖式。
[圖10]
圖10係用於闡釋輸出保護於一圖框記憶體中之影像資料之一方法之一圖式。
[圖11]
圖11係用於闡釋輸出保護於一圖框記憶體中之影像資料之一方法之一圖式。
[圖12]
圖12係用於闡釋一影像輸出處理之一應用實例之一圖式。
[圖13]
圖13係用於闡釋以交錯驅動方式驅動一圖框記憶體之一情況之一圖式。
[圖14]
圖14係圖解說明本發明應用於其之一成像裝置之另一組態實例之一方塊圖。
[圖15]
圖15係圖解說明本發明應用於其之一成像裝置之又一組態實例之一方塊圖。
[圖16]
圖16係圖解說明本發明應用於其之一成像裝置之又一組態實例之一方塊圖。
[圖17]
圖17係圖解說明本發明應用於其之一成像裝置之又一組態實例之一方塊圖。
下文將參考圖式詳細闡述用於實踐本發明(下文稱為實施例)之一最佳模式。
<為本發明之一第一實施例之一成像裝置之組態實例>
圖1圖解說明根據本發明之一第一實施例之一成像裝置之一組態實例。
一成像裝置10根據來自一主機ISP 30之一請求而使一移動圖片成像，且將影像資料以一圖框單位輸出。
成像裝置10包含一輸入I/F 11、一像素輸出控制單元12、一V解碼器13、一記憶體控制單元14、一像素產生單元16、一AD轉換單元(ADC)17、一第一信號處理單元18、一圖框記憶體20、一第二信號處理單元21及一輸出I/F 22。
輸入I/F 11連接至主ISP 30，且將各種控制信號從主ISP 30輸出至像素輸出控制單元12或記憶體控制單元14。像素輸出控制單元12基於經由輸入I/F 11來自主ISP 30之控制信號而控制V解碼器13以驅動像素產生單元16。此外，像素輸出控制單元12亦控制AD轉換單元17。V解碼器13基於來自像素輸出控制單元12之控制而驅動像素產生單元16。
記憶體控制單元14基於經由輸入I/F 11之來自主ISP 30的控制信號而由第一信號處理單元18控制將影像資料寫入至圖框記憶體20中，且由第二信號處理單元21從圖框記憶體20讀取影像資料。此外，在記憶體控制單元14中併入一圖框計數器15，且圖框計數器15計數寫入至圖框記憶體20中之影像資料的圖框數目。此外，來自主ISP 30之控制或來自第一信號處理單元18之高速轉變場景(下文將闡述)之偵測通知 觸發記憶體控制單元14停止將成像資料寫入至圖框記憶體20中。
像素產生單元16包含對應於複數個像素之一光電轉換元件，該光電轉換元件產生對應於各像素之入射光的電荷，且基於所產生之電荷，將複數個像素信號輸出至AD轉換單元17作為影像資料D1。
圖2A至圖2C係圖解說明自像素產生單元16輸出並寫入至圖框記憶體20中之影像資料之一概觀的圖式。
假定像素產生單元16如圖2A中所圖解說明具有產生影像資料之一規格：例如，每一像素一資料量為10位元，一視角為4：3，且像素數目為12百萬像素及以200fps輸出影像資料。此外，假定像素產生單元16具有對2×2之每4個像素添加所產生影像資料之一功能，及藉由移除影像之頂部及底部部分而將視角從4：3轉換至16：9之一功能。像素產生單元16使用此等功能可將視角為4：3，像素數目為12百萬像素及圖框速度為200fps的影像資料轉換為視角為16：9，像素數目為2百萬像素(對應於1920×1080之一全高清晰度)的影像資料D1，如圖2B所展示，且可以960fps傳送影像資料D1。此時，影像資料D1之一傳送速率為20Gbps(2M×960×10位元)。
AD轉換單元17將從像素產生單元16傳送之影像資料D1(10位元/像素，視角為16：9，像素數目為2百萬像素及960fps)以數位方式轉換成所寫碼之11位元/像素的影像資料D2(11位元/像素，視角為16：9，像素數目為2百萬像素及960fps)，且將影像資料D2傳送至第一信號處理單元18。此時，影像資料D2之傳送速率為22Gbps。
第一信號處理單元18就影像資料D2執行諸如一黑色位準補償處理或一數位轉換處理之比在下階段中執行之第二信號處理單元21中之一信號處理輕之一信號處理(下文稱為一第一信號處理)。此外，第一信號處理單元18基於來自記憶體控制單元14的控制，以960fps將作為第一信號處理之一結果而獲取的影像資料D3(10位元/像素，視角為 16：9，像素數目為2百萬像素)寫入至圖框記憶體20。此時，影像資料D3之傳送速率為20Gbps。
此外，在第一信號處理單元18中併入場景偵測單元19，且在其中一影像中之一物體以一高速轉變之一場景(下文稱為一高速轉變場景)被場景偵測單元19偵測到之一情況中，第一信號處理單元18通知記憶體控制單元14所偵測之結果。
圖框記憶體20由例如能夠自旋RAM允許以高密度進行高速存取且具有能夠保持多達至少複數個圖框之從第一信號處理單元18輸入之影像資料D3之一容量之一記憶體而形成，諸如一DRAM或一自旋RAM。
然而，由於圖框記憶體20安裝於成像裝置10上，因此該成像裝置10具有大小之一限制，且其容量亦受限。下文中假定圖框記憶體20之容量為512百萬位元。在此情況中，如圖2C中所圖解說明，圖框記憶體20具有能夠保持25個圖框之影像資料D3之一容量。下文中，此等25個圖框之各容量稱為區域1至區域25。在其中第一信號處理單元18寫入影像資料D3之一情況中，該影像資料D3按次序寫入至區域1至區域24中，且在寫入至區域24後，該寫入返回至區域1以將影像資料D3重寫至區域1中。因此，通常不使用圖框記憶體20之區域25(下文將闡述使用圖框記憶體20之區域25之一情況)。
第二信號處理單元21基於來自記憶體控制單元14之控制而僅讀取由第一信號處理單元18寫入至圖框記憶體20中之影像資料D3之每35個圖框中之一個圖框，且接著讀取該一個圖框作為影像資料D4。此時，影像資料D4之一圖框速率為30fps且傳送速率為600Mbps。第二信號處理單元21對所讀取影像資料D4執行一偵測校正處理、一雜訊減少處理、一按比例調整處理及諸如此類，且將作為彼等信號處理任務(下文稱為一第二信號處理)之一結果而獲取之影像資料D5傳送至 輸出I/F 22。此時，影像資料D5之傳送速率為600Mbps。
假定第一信號處理單元18與圖框記憶體20及圖框記憶體20與第二信號處理單元21係藉由諸如一TSV或一寬IO之一穿通VIA而非透過諸如一DDR或一基板之一I/F而實體上彼此連接。以此方式，在第一信號處理單元18與圖框記憶體20之間及圖框記憶體20與第二信號處理單元21之間的資料通信中，可藉由相較於一般高速I/F增加平行程度來加寬頻寬，且因此可使通信在低電力消耗之情況下操作。
輸出I/F 22由一MIPI或一子LVDS形成且將影像資料D5自第二信號處理單元21輸出至主ISP 30作為影像資料D6。
<成像裝置10之另一組態實例>
接下來，圖3圖解說明成像裝置10之一經修改組態實例。在該修改實例中，將寫入至圖框記憶體20中之影像資料D3編碼之一編碼器41添加至第一信號處理單元18，且將從圖框記憶體20讀取之所編碼影像資料D4(影像資料D3)解碼之一解碼器42添加至第二信號處理單元21。
藉由添加編碼器41及解碼器42可減少寫入至圖框記憶體20中之影像資料D3(影像資料D4)之資料量，且因此可增加可保持於圖框記憶體20中之影像資料D3之圖框數目而不增加圖框記憶體20之容量。以下將參考圖13來闡述其中可保持於圖框記憶體20中之影像資料D3之圖框數目增加之情況。
圖4A至圖4D圖解說明在一單個晶片中使用上述組態元件形成成像裝置10之一情況中之一組態實例。
圖4A圖解說明藉由將成像裝置10之組態元件整合於一單個基板上而形成一單個晶片之一組態實例。圖4B圖解說明藉由將成像裝置10之組態元件安置於待層壓之兩個基板上而形成一單個晶片之一組態實例。圖4C圖解說明藉由將成像裝置10之組態元件安置於待層壓之 兩個或兩個以上基板上而形成一單個晶片之一組態實例。圖4D圖解說明藉由將成像裝置10之組態元件安置於兩個基板上且由一TSV寬IO將該兩個基板彼此連接而形成一單個晶片之一組態實例。
[操作說明]
接下來將參考圖5至圖12來闡述成像裝置10之一操作。
圖5係闡釋成像裝置10之一影像輸出處理之一流程圖。圖6至圖9係用於闡釋一影像輸出處理之圖式。
在本文中，如圖6中所圖解說明之影像輸出處理表示以下操作：以960fps將影像資料D3重寫至圖框記憶體20之區域1至區域24中及僅減少每35個圖框中之一個圖框來讀取該等圖框，且表示以下操作：在其中一外部指令指示停止寫入或偵測到一高速轉變場景之一情況中停止將影像資料重寫至圖框記憶體20中以保護儲存於區域1至區域24中之960fps之影像資料D3。
例如根據來自外部主ISP 30之控制而開始影像輸出處理。在步驟S1中，像素產生單元16根據入射光以960fps將影像資料D1(10位元/像素，視角為16：9，且像素數目為2百萬像素)傳送至AD轉換單元17。在步驟S2中，AD轉換單元17將從像素產生單元16傳送之影像資料D1以數位方式轉換至經寫碼影像資料D2(11位元/像素，視角為16：9，且像素數目為2百萬像素)，且以960fps將影像資料D2傳送至第一信號處理單元18。
在步驟S3中，第一信號處理單元18對影像資料D2執行第一信號處理，且同時，場景偵測單元19偵測高速轉變場景。此外，第一信號處理單元18基於來自記憶體控制單元14之控制而將作為該第一信號處理之一結果而獲取之影像資料D3(10位元/像素，視角為16：9，且像素數目為2百萬像素)以960fps傳送至圖框記憶體20中以依序重寫至區域1至區域24中。
在步驟S4中，第二信號處理單元21基於來自記憶體控制單元14之控制而讀取重寫至圖框記憶體20之區域1至區域24中之影像資料D3之每35個圖框的影像資料D4之一個圖框。即，影像資料D4係其中影像資料D3之圖框減少至其之1/35之影像資料且此時之圖框速率為30fps。此外，第二信號處理單元21對所讀取之影像資料D4執行第二信號處理且將作為第二信號處理之一結果而獲取之影像資料D5輸出至輸出I/F 22。輸出I/F 22將從第二信號處理單元21傳送之影像資料D5傳送至主ISP 30作為影像資料D6。
依此方式，在圖框記憶體20之後來階段中以30fps執行操作。因此相較於以960fps操作之情況，可將電力消耗降低至其之1/35。
在步驟S5中，記憶體控制單元14判定是否存在來自主ISP 30之停止寫入之一指令，或是否存在來自第一信號處理單元18之通知已偵測到高速轉變場景之一通知，且該程序返回至步驟1，且重複處理任務直至出現上述指令或通知之任一者為止。依此方式，繼續將影像資料D3以960fps重寫至圖框記憶體20之區域1至區域24中及以30fps從圖框記憶體20之區域1至區域24中讀取影像資料D4。
在步驟S5中，在其中判定存在停止寫入之指令或存在偵測到高速轉變場景之通知之任一者之一情況中，該程序進行至步驟S6。在步驟S6中，記憶體控制單元14立即或在延遲預定數目個圖框(例如，在本實施例12之一情況中將影像資料D3重寫至其中之圖框記憶體20之一半數目個區域)之後停止將影像資料D3重寫至圖框記憶體20之區域1至區域24中。依此方式，960fps之影像資料D3之24個圖框(0.025秒之成像時間)得以保持於圖框記憶體20之區域1至區域24中。
可取決於待成像之物體(針對該物體意欲保持對960fps之影像資料D之存留)而預先設定立即或在預定數目個圖框之一延遲之後停止重寫。
例如，在其中待成像之一物體係諸如一噴泉之一持續事件之一情況中，可將重寫設定為立即停止。依此方式，如圖7中所圖解說明，24個圖框之影像資料D3被重寫直至時間被保護為止。
此外，例如，在其中待成像之一物體係諸如一高爾夫揮桿之一瞬間之一場景或使一水球破裂之一場景之一情況中，可依可保護一瞬間前或後之影像資料D3之此一方式將重寫設定為在從偵測到高速轉變場景延遲預定數目個圖框之後停止。如圖8中所圖解說明，依此方式，得以保護直至彼時間被寫入之影像資料D3之12個圖框及在偵測到高速轉變場景之後寫入之影像資料D3之12個圖框。直至停止重寫為止之一延遲量並不受限於將影像資料D3重寫至其中之圖框記憶體20之區域數目之一半，且可設定為等於或小於將影像資料D3重寫至其中之圖框記憶體20之區域數目之任何值。
依此方式，在停止將影像資料D3重寫至圖框記憶體20之區域1至區域24中之後，該程序進行至步驟S7。
在步驟S7中，像素產生單元16根據入射光將影像資料D1(10位元/像素，視角為16：9，且像素數目為2百萬像素)以30fps傳送至AD轉換單元17。在步驟S8中，AD轉換單元17將從像素產生單元16傳送之影像資料D1以數位方式轉換至經寫碼影像資料D2(11位元/像素，視角為16：9，且像素數目為2百萬像素)且將影像資料D2以30fps傳送至第一信號處理單元18。
在步驟S9中，第一信號處理單元18基於來自記憶體控制單元14之控制而對影像資料D2執行第一信號處理，且將作為處理之一結果而獲取之影像資料D3(10位元/像素，視角為16：9，且像素數目為2百萬像素)以30fps傳送於圖框記憶體20上且將影像資料D3重寫至圖框記憶體20之區域25中。
在步驟S10中，第二信號處理單元21基於來自記憶體控制單元14 之控制而以30fps讀取寫入至圖框記憶體20之區域25中之影像資料D3的一個圖框，對所讀取影像資料D4執行第二信號處理，且將作為該處理之一結果而獲取的影像資料D5傳送至輸出I/F 22。輸出I/F 22將從第二信號處理單元21傳送之影像資料D5輸出至主ISP 30作為影像資料D6。此時之傳送速率大約為600Mbps，且通常I/F 22具有大約4Gbps之一傳送速率。因此，此係一充足傳送頻寬。
即，在步驟7至10中，如圖9中所圖解說明，圖框記憶體20之一第一階段及一後來階段之各者各自以30fps操作。因此相較於以960fps操作之情況，可減少電力消耗至1/35。如上所述，已完成影像輸出處理。
<讀取一超慢移動圖片>
接下來將闡述讀取圖框記憶體20之區域1至區域24中保護之960fps之24個圖框的影像資料D3。
圖10圖解說明在其中圖框記憶體20之第一階段已停止之一狀態中，僅讀取圖框記憶體20之區域1至區域24中保護之960fps之24個圖框之影像資料D3之一情況之一實例。
在此情況中，可以等於或低於藉以可操作圖框記憶體20之後來階段之圖框速率之一隨意圖框速率來讀取24個圖框的影像資料D3。在圖10中之實例中，圖解說明以240fps讀取影像資料D3之一實例。
圖11圖解說明在上述影像輸出處理之步驟S10之後讀取圖框記憶體20之區域1至區域24中保護之960fps之24個圖框之影像資料D3之一情況之一實例。
在此情況中，當以30fps讀取來自圖框記憶體20之區域25的影像資料D4時，可讀取24個圖框的影像資料D3。圖11圖解說明以240fps讀取包含區域25中之資料之影像資料之一實例。
若例如以30fps重播圖框記憶體20之區域1至區域24中保護之960 fps之24個圖框的影像資料D3，則可將影像資料顯示為一成像時間為0.025秒之一超慢移動圖片，其中可擷取一決定性瞬間。
[本實施例中所闡述之成像裝置的應用]
根據本實施例之成像裝置可應用於(例如)諸如一穿戴式攝影機或具有一成像功能之一電子設備之一可攜帶小型成像設備。
在將穿戴式攝影機置於一正常視訊記錄待機模式(相對於圖框記憶體20之區域1至區域24而重寫影像資料D3)后，即時在其中使用者於考慮開始成像之後觸發記錄之一情況中，亦可以可記錄觸發之前幾秒之影像資料之一方式使用穿戴式攝影機。
具體言之，例如，如圖12中所圖解說明，藉由使圖框記憶體20之第一階段以30fps操作且藉由在從圖框記憶體20讀取資料時顯著增加減少速率而使圖框記憶體20之後來階段以一極低圖框速率操作。此時之減少速率可為足以允許基於輸出影像資料D6之AE、AF及AWB之回饋之一位準。具體言之，其可為大約0.9375fps，其中一個圖框在幾秒內輸出。
依此方式，在其中圖框記憶體20之後來階段以一極低圖框速率操作之一情況中可顯著降低電力消耗(相較於以一正常30fps操作之情況)。
[圖框記憶體20之交錯驅動]
如參考圖3之上述闡述，在其中將編碼器41添加至成像裝置10之第一信號處理單元18且將解碼器42添加至第二信號處理單元21之一情況中，可減少寫入至圖框記憶體20中之影像資料D3(影像資料D4)之資料量，且因此可增加可保持於圖框記憶體20中之影像資料D3之圖框數目而不增加圖框記憶體20之容量。
例如，在其中將影像資料D3壓縮編碼使得其資料量在編碼器41中變為一半之一情況中，可使可保持於圖框記憶體20中之圖框數目加 倍。即，可保持相較於圖2A至圖2C之情況為多達兩倍之多達50個圖框。
在其中可將影像資料D3之50個圖框保持於圖框記憶體20中之一情況中，若執行上述影像輸出處理，則可將960fps之影像資料D3之49個圖框保持於圖框記憶體20中。
替代地，在其中可將影像資料D3之50個圖框保持於圖框記憶體20中之一情況中，圖框記憶體20可劃分為兩個記憶體庫，且可以交錯驅動方式驅動彼等兩個記憶體庫。
圖13圖解說明其中圖框記憶體20劃分為具有區域1至區域25之一第一記憶體庫20A及具有區域26至區域50之一第二記憶體庫20B之一情況。
在上述操作之說明中，直至已讀取保持於圖框記憶體20之960fps之所有影像資料D3後，才易於開始新影像輸出處理。然而，藉由以交錯驅動方式驅動圖框記憶體20之第一記憶體庫20A及第二記憶體庫20B，可不必等待讀取保持於圖框記憶體20中之960fps之所有影像資料D3，即可開始新影像輸出處理。換言之，可連續不間斷地使一超慢移動圖片成像。
即時在其中寫入至圖框記憶體20中之影像資料D3未經壓縮編碼之一情況中，若圖框記憶體20之容量增加且以交錯驅動方式被驅動，則可獲取上述效應。
<本發明之第二實施例中之成像裝置之組態實例>
圖14圖解說明根據本發明之一第二實施例之一成像裝置之一組態實例。此成像裝置安裝於一電子設備上，該電子設備包含諸如一數位相機及諸如此類之一成像功能，且由一成像裝置50及一主機ISP 60形成。
圖14中所圖解說明之第二實施例不同於圖1或圖3中所圖解說明 之第一實施例，不同點在於圖框記憶體及第二信號處理單元並未提供於成像裝置上而提供於主機ISP上。與圖1或圖3中所圖解說明之第一實施例中之組態元件相同的圖14中所圖解說明之第二實施例中之組態元件係用相同元件符號標示，且將不重複對其之說明。
成像裝置50根據來自主機ISP 60之一請求而以一高圖框速率使一移動圖片成像且執行對其影像資料之一壓縮編碼，且接著將所編碼之資料以圖框單位輸出至主機ISP 60。主機ISP 60對從成像裝置50輸入之移動圖片之影像資料執行ISP處理，且執行一預定影像處理，且接著將所獲取之影像資料作為一結果輸出至下一階段。
成像裝置50包含一輸入I/F 11、一像素輸出控制單元12、一V解碼器13、一像素產生單元16及一AD轉換單元(ADC)17、一第一信號處理單元18及一輸出I/F 22。第一信號處理單元18併入一場景偵測單元19及一編碼器41。
在成像裝置50中，影像資料D1以960fps從像素產生單元16輸出至AD轉換單元17，且在AD轉換單元17中轉換至係一數位信號之影像資料D2，且接著傳送至第一信號處理單元18。在由第一信號處理單元18進行第一信號處理之後，由編碼器41對所傳送之影像資料D2執行壓縮編碼，將作為其一結果而獲取之影像資料D3(其一資料量減少)傳送至輸出I/F 22。將960fps之所傳送之影像資料D3從輸出I/F 22輸出至主機ISP 60作為影像資料D11。將由第一信號處理單元18之場景偵測單元19偵測之高速轉變場景之結果經由輸入I/F 11而通知至主機ISP 60之一控制單元68。
主機ISP 60包含一輸入I/F61、一記憶體I/F62、一圖框記憶體63、一ISP單元64、一GPU 67及控制單元68。ISP單元64併入一解碼器65及一第二信號處理單元66。
輸入I/F 61經由記憶體I/F 62而將從成像裝置50輸入之壓縮編碼影 像資料D11傳送至圖框記憶體63。圖框記憶體63由(例如)諸如一DRAM或一自旋RAM之一高整合及高速存取記憶體形成，且具有其中可保持壓縮編碼影像資料D11之至少複數個圖框(例如，在第一實施例之情況中之由區域1至區域25形成之25個圖框)之一容量。
ISP單元64基於控制單元68之控制而經由記憶體I/F 62從圖框記憶體63讀取壓縮編碼影像資料D11，在解碼後執行第二信號處理及ISP處理，且經由記憶體I/F 62而將作為此一結果而獲取之影像資料D12輸出至GPU 67。GPU 67基於控制單元68之控制而對來自ISP單元64之影像資料D12執行一預定影像處理。
在主機ISP 60中，從成像裝置50輸入之960fps之壓縮編碼影像資料D11經由記憶體I/F 62而從輸入I/F 61傳送至圖框記憶體63，且接著依序重寫至區域1至區域24中。接著，直至出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知，才藉由由ISP單元64僅減少每35個圖框之一個圖框來讀出重寫至圖框記憶體63中之影像資料D11，對影像資料D11執行解碼處理、第二信號處理及ISP處理，且由GPU 67執行一預定影像處理。
在其中出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知之一情況中，停止將影像資料D11重寫至圖框記憶體63中。據此，類似於第一實施例中之情況，960fps之影像資料D11可保持於圖框記憶體63中。讀出保持於圖框記憶體63中之960fps之影像資料D11之時序可相同於第一實施例中之時序。替代地，如參考圖13所闡述，藉由將圖框記憶體63劃分為複數個記憶體庫且藉由以交錯驅動方式驅動圖框記憶體，可連續不間斷地執行一超慢移動圖片之成像。
根據圖14中所圖解說明之第二實施例，相較於其中不執行壓縮編碼之情況，可減少以960fps從成像裝置50輸出至主機ISP 60之影像資料D11之資料量。因此相較於其中不執行壓縮編碼之情況，可減少 成像裝置50與主機ISP 60之間的頻寬。
此外，可將其中處理負載相對較大且電力消耗相對較高之第二信號處理單元66移動至成像裝置50外側。
<本發明之第三實施例中之成像裝置之組態實例>
接下來，圖15圖解說明根據本發明之一第三實施例之一成像裝置之一組態實例。此成像裝置安裝於包含諸如一數位相機及諸如此類之一成像功能之一電子設備上，且由一成像裝置70及一主機ISP 80形成。
圖15中所圖解說明之第三實施例不同於圖14中所圖解說明之第二實施例，不同點在於場景偵測單元並未提供於成像裝置上而提供於主機ISP上。與圖14中所圖解說明之第二實施例中之組態元件共同之圖15中所圖解說明之第三實施例中之組態元件係用相同元件符號標示，且將不重複對其之說明。
成像裝置70根據來自主機ISP 80之一請求而以一高圖框速率使一移動圖片成像且執行成像裝置70之影像資料之一壓縮編碼，且接著將所編碼之資料以一圖框單位輸出至主機ISP 80。主機ISP 80對從成像裝置70輸入之移動圖片之影像資料執行ISP處理，且執行一預定成像處理，且接著將所獲取之影像資料作為一結果輸出至下一階段。
成像裝置70包含一輸入I/F 11、一像素輸出控制單元12、一V解碼器13、一像素產生單元16、一AD轉換單元(ADC)17、一第一信號處理單元18及一輸出I/F 22。第一信號處理單元18併入一編碼器41。
在成像裝置70中，影像資料D1以960fps從像素產生單元16輸出至AD轉換單元17，且在AD轉換單元17中轉換至係一數位信號之影像資料D2，且接著傳送至第一信號處理單元18。在由第一信號處理單元18進行第一信號處理之後，由編碼器41對所傳送之影像資料D2執行壓縮編碼，將作為其之一結果而獲取之影像資料D3(其一資料量減 少)傳送至輸出I/F 22。將960fps之所傳送之影像資料D3從輸出I/F 22輸出至主機ISP 80作為影像資料D11。
主機ISP 80包含一輸入I/F 81、一記憶體I/F 62、一圖框記憶體63、一ISP單元64、一GPU 67、一控制單元68、一解碼器82及一場景偵測單元83。ISP單元64併入一解碼器65及一第二信號處理單元66。
輸入I/F 81經由記憶體I/F 62而將從成像裝置70輸入之壓縮編碼影像資料D11傳送至圖框記憶體63。此外，輸入I/F 81將從成像裝置70輸入之壓縮編碼影像資料D11傳送至解碼器82。
解碼器82解碼壓縮編碼影像資料D11且將壓縮編碼影像資料D11供應至場景偵測單元83。在其中從所解碼之影像資料偵測到一高速轉變場景之一情況中，場景偵測單元83通知控制單元68彼事實。
在主機ISP 80中，從成像裝置70輸入之960fps之壓縮編碼影像資料D11經由記憶體I/F 62而從輸入I/F 81傳送至圖框記憶體63，且接著依序重寫至區域1至區域24中。此外，影像資料D11從輸入I/F 81傳送至解碼器82，且在解碼後由場景偵測單元83執行對一高速轉變場景之偵測。
接著，直至出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知，才藉由由ISP單元64僅減少每35個圖框中之一個圖框來讀出重寫至圖框記憶體63中之影像資料D11，對影像資料D11執行解碼處理、第二信號處理及ISP處理，且由GPU 67執行一預定影像處理。
在其中出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知之一情況中，停止將影像資料D11重寫至圖框記憶體63中。據此，類似於第二實施例中之情況，可將960fps之影像資料D11保持於圖框記憶體63中。讀出保持於圖框記憶體63中之960fps之影像資料D11之時序可相同於第二實施例中之時序。替代地，如參考圖13所闡 述，藉由將圖框記憶體63化分為複數個記憶體庫且藉由以交錯驅動方式驅動圖框記憶體，可連續不間斷地執行一超慢移動圖片之成像。
根據圖15中所圖解說明之第三實施例，相較於其中不執行壓縮編碼之情況，可減少以960fps從成像裝置70輸出至主機ISP 80之影像資料D11之資料量。因此相較於其中不執行壓縮編碼之情況，可減少成像裝置70與主機IS P80之間的頻寬。
此外，可將其中處理負載相對較大且電力消耗相對較高之第二信號處理單元66移動至成像裝置70外側。
<本發明之第四實施例中之成像裝置之組態實例>
接下來，圖16圖解說明根據本發明之一第四實施例之一成像裝置之一組態實例。此成像裝置安裝於包含諸如一數位相機及諸如此類之一成像功能之一電子設備上，且由一成像裝置70及一主機ISP 90形成。
在圖16中所圖解說明之第四實施例中，相較於圖15中所圖解說明之第三實施例，成像裝置70係共同的且主機ISP 80由一主機ISP 90替換。與圖15中所圖解說明之第三實施例中之組態元件共同之圖16中所圖解說明之第四實施例中之組態元件係用相同元件符號標示，且將不重複對其之說明。
主機ISP 90包含一輸入I/F 91、一記憶體I/F 62、一圖框記憶體63、一ISP單元64、一GPU 67、一控制單元68、一解碼器92及一場景偵測單元83。ISP單元64併入一解碼器65及一第二信號處理單元66。
輸入I/F 91將從成像裝置70輸入之壓縮編碼影像資料D11傳送至解碼器92。解碼器92解碼壓縮編碼影像資料D11且經由記憶體I/F 62而將從其結果獲取之影像資料D21傳送至圖框記憶體63，且將該結果供應至場景偵測單元83。
在其中從完成解碼之影像資料D21偵測到一高速轉變場景之一情 況中，場景偵測單元83通知控制單元68彼事實。
在主機ISP 90中，從成像裝置70輸入之960fps之壓縮編碼影像資料D11經解碼至其之影像資料D21被傳送至圖框記憶體63，且接著依序重寫至區域1至區域24中。此外，從影像資料D21執行對一高速轉變場景之偵測。
接著，直至出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知，才藉由由ISP單元64僅減少每35個圖框中之一個圖框來讀出寫入至圖框記憶體63中之影像資料D21，對影像資料D21執行第二信號處理及ISP處理，且由GPU 67執行一預定影像處理。
在其中出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知之一情況中，停止將影像資料D21重寫至圖框記憶體63中。據此，類似於第二實施例中之情況，可將960fps之影像資料D21保持於圖框記憶體63中。讀出保持於圖框記憶體63中之960fps之影像資料D21之時序相同於第三實施例中之時序。
根據圖16中所圖解說明之第四實施例，相較於其中不執行壓縮編碼之情況，可減少以960fps從成像裝置70輸出至主機ISP 90之影像資料D11之資料量。因此相較於其中不執行壓縮編碼之情況，可減少成像裝置70與主機ISP 80之間的頻寬。
此外，可將其中處理負載相對較大且電力消耗相對較高之第二信號處理單元66移動至成像裝置70外側。
然而，由於寫入至圖框記憶體63中之影像資料D21係從壓縮編碼狀態解碼的，所以相較於第二及第三實施例之情況可減少保持於圖框記憶體63中之圖框數目。
<本發明之第五實施例中之成像裝置之組態實例>
接下來，圖17圖解說明根據本發明之一第五實施例之一成像裝置之一組態實例。此成像裝置安裝於包含諸如一數位相機及諸如此類 之一成像功能之一電子設備上，且由一成像裝置100及一主機ISP 110形成。
在圖17中所圖解說明之第五實施例中，相較於圖14中所圖解說明之第二實施例，成像裝置之輸出I/F 22由記憶體I/F 101替代且從主機ISP移除輸入I/F 61。與圖14中所圖解說明之第二實施例中之組態元件共同之圖17中所圖解說明之第五實施例中之組態元件係由相同參考元件符號標示，且將不重複對其之說明。
即，成像裝置100包含一輸入I/F 11、一像素輸出控制單元12、一V解碼器13、一像素產生單元16、一AD轉換單元(ADC)17、一第一信號處理單元18及一記憶體I/F 101。第一信號處理單元18併入一場景偵測單元19及一編碼器41。
在成像裝置100中，影像資料D1以960fps從像素產生單元16輸出至AD轉換單元17，且在AD轉換單元17中轉換至係一數位信號之影像資料D2，且接著傳送至第一信號處理單元18。在由第一信號處理單元18進行第一信號處理之後，由編碼器41對所傳送之影像資料D2執行壓縮編碼，將影像資料D3(其一資料量減少)傳送至記憶體I/F 101，且由記憶體I/F 101傳送至主機ISP 110之圖框記憶體63作為影像資料D11且依序重寫至區域1至區域24中。
主機ISP 110包含一記憶體I/F 62、一圖框記憶體63、一ISP單元64、一GPU 67及一控制單元68。ISP單元64併入一解碼器65及一第二信號處理單元66。
在主機ISP 110中，960fps之影像資料D11從成像裝置100之記憶體I/F 101直接且依序重寫至圖框記憶體63之區域1至區域24中。接著，直至出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知，才藉由由ISP單元64僅減少每35個圖框中之一個圖框來讀出寫入至圖框記憶體63中之影像資料D11，對影像資料D11執行解碼處理、 第二信號處理及ISP處理，且由GPU 67執行一預定影像處理。
在其中出現停止寫入之一指令或出現偵測到一高速轉變場景之一通知之一情況中，停止將影像資料D11重寫至圖框記憶體63中。據此，類似於第一實施例中之情況，可將960fps之影像資料D11保持於圖框記憶體63中。讀出保持於圖框記憶體63中之960fps之影像資料D11之時序相同於第一實施例中之時序。替代地，如參考圖13所闡述，藉由將圖框記憶體63劃分為複數個記憶體庫且藉由以交錯驅動方式驅動圖框記憶體，可連續不間斷地使一超慢移動圖片成像。
根據圖17中所圖解說明之第五實施例，相較於其中不執行壓縮編碼之情況，可減少以960fps從成像裝置100輸出至主機ISP 110之影像資料D11之資料量。因此相較於其中不執行壓縮編碼之情況，可減少成像裝置100與主機ISP 110之間的頻寬。
此外，可將其中處理負載相對較大且電力消耗相對較高之第二信號處理單元66移動至成像裝置100外側。
如上所闡述，若應用根據本實施例之成像裝置，則甚至一商品化廉價相機系統亦可使用較低電力消耗而易於使具有低解析度降級之一超慢移動圖片成像，或使用極低之電力消耗使一時移影像成像。
本發明之實施例不受限於上述實施例，且可在本發明之範疇內作出各種修改。
本發明可具有如下闡述之一組態。
(A1)一種成像裝置，其包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個圖框之該影像信號。
(A2)如上述(A1)之成像裝置，其進一步包含：一寫入單元，其將所產生影像資料寫入至該圖框記憶體中；及一讀取單元，其讀取寫入至該圖框記憶體中之該影像資料。
(A3)如上述(A2)之成像裝置，其中該寫入單元將該所產生影像資料重寫至該圖框記憶體之一第一區域中；且該讀取單元以一圖框單位減少且讀取重寫至該圖框記憶體之該第一區域中之該影像資料。
(A4)如上述(A1)至(A3)中任一項之成像裝置，其進一步包含：一編碼單元，其將寫入至該圖框記憶體中之該影像資料編碼；及一解碼單元，其將從該圖框記憶體讀取之該經寫碼影像資料解碼。
(A5)如上述(A3)之成像裝置，其進一步包含：一控制單元，該控制單元根據一觸發控制該寫入單元且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
(A6)如上述(A5)之成像裝置，其中該控制單元根據該觸發立即或在預定數目個圖框之一延遲之後控制該寫入單元，且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
(A7)如上述(A5)之成像裝置，其中該控制單元藉由將來自外界之一指令作為該觸發而控制該寫入單元且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
(A8)如上述(A5)至(A7)中任一項之成像裝置，其進一步包含：在重寫至該圖框記憶體之該第一區域中之該影像資料中偵測一高速轉變場景之一偵測單元。該控制單元藉由將對該高速轉變場景之該偵測作為該觸發來控制寫入單元，且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
(A9)如上述(A3)至(A8)中任一項之成像裝置，其中該讀取單元讀取由於該重寫之該停止而存留於該圖框記憶體之該第一區域中之該影像資料。
(A10)如上述(A7)之成像裝置，其中在停止該重寫後，該寫入單元將該所產生影像資料寫入至該圖框記憶體之一第二區域中，且該讀取單元讀取寫入至該圖框記憶體之該第二區域中之該影像資料，且進 一步讀取由於該重寫之該停止而存留於該圖框記憶體之該第一區域中之該影像資料。
(A11)如上述(A1)至(A10)之成像裝置，其中該像素產生單元執行改變該所產生影像資料之一視角或添加該等像素信號中之至少一者。
(A12)如上述(A1)至(A11)之成像裝置，其中該等成像裝置安置於一個或複數個基板上且在一單個晶片中形成。
(A13)一種其上安裝有一成像裝置之成像設備。該成像裝置包含一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個圖框之該影像信號。
(A14)一種其上安裝有一成像裝置之電子設備。該成像裝置包含一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；及一圖框記憶體，其儲存複數個圖框之該影像信號。
(B1)一種成像裝置，其包括：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；一圖框記憶體，其儲存複數個圖框之該影像信號。
(B2)如上述(B1)之成像裝置，其進一步包括：一寫入單元，其中該寫入單元以一第一圖框速率將該影像信號寫入至該圖框記憶體；及一讀取單元，其中該讀取單元讀取寫入至該圖框記憶體中之該影像資料。
(B3)如上述(B2)之成像裝置，其中該寫入單元將該所產生影像資料之一先前寫入圖框重寫於該圖框記憶體之至少一第一區域中，其中在一第一操作模式中該讀取單元以一第二圖框速率從該圖框記憶體讀取該影像資料，且其中在該第一操作模式中該讀取單元讀取少於儲存於該圖框記憶體中之影像資料之該等所有圖框。
(B4)如上述(B2)之成像裝置，其進一步包括：一編碼單元，其將寫入至該圖框記憶體中之該影像資料編碼；及一解碼單元，其將從該 圖框記憶體讀取之經寫碼影像資料解碼。
(B5)如上述(B3)之成像裝置，其進一步包括：一控制單元，其中該控制單元控制該寫入單元且回應於該控制單元接收到一觸發信號而致使該所產生影像資料至該圖框記憶體之該至少一第一區域中之該重寫停止。
(B6)如上述(B5)之成像裝置，其中該寫入單元在從該控制單元接收一信號後立即停止該所產生影像資料至記憶體之該至少一第一區域中之重寫或在從該控制單元接收一信號後的預定數目個圖框之一延遲之後停止該重寫。
(B7)如上述(B5)之成像裝置，其中該觸發信號係已偵測到一高速轉變場景之一指示，且其中從該成像裝置外側之一源提供該觸發信號。
(B8)如上述(B5)之成像裝置，其進一步包括：在重寫至該圖框記憶體之該至少一第一區域中之該影像資料中偵測一高速轉變場景之一偵測單元，其中該控制單元藉由將對該高速轉變場景之該偵測作為該觸發信號而控制該寫入單元且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
(B9)如上述(B5)之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該讀取單元讀取存留於該圖框記憶體之該至少一第一區域中之該影像資料。
(B10)如上述(B5)之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該寫入單元將影像資料寫入至該圖框記憶體之一保留區域。
(B11)如上述(B10)之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該讀取單元從該圖框記憶體之該保留區域讀取影像資料。
(B12)如上述(B10)之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該讀取單元從該圖框記憶體之該第一區域及該圖框記憶體之該保留區域讀取影像資料。
(B13)如上述(B12)之成像裝置，其中該讀取單元以小於該第一圖框速率且大於該第二圖框速率之一速率從該圖框記憶體之該第一區域及該圖框記憶體之該保留區域讀取影像資料。
(B14)如上述(B7)之成像裝置，其中在停止該重寫後，該寫入單元將該所產生影像資料寫入至該圖框記憶體之一第二區域中，且其中該讀取單元讀取寫入至該圖框記憶體之該第二區域中之該影像資料且在停止該重寫後進一步讀取存留於該圖框記憶體之該第一區域中之該影像資料。
(B15)如上述(B2)之成像裝置，其中該像素產生單元執行改變該所產生影像資料之一視角或添加該等像素信號中之至少一者。
(B16)如上述(B2)之成像裝置，其中該像素產生單元、該圖框記憶體、該寫入單元及該讀取單元安置於一個基板上且在一單個晶片中形成。
(B17)如上述(B2)之成像裝置，其中該像素產生單元、該圖框記憶體、該寫入單元及該讀取單元安置於複數個基板上且在一單個晶片中形成。
(B18)如上述(B2)之成像裝置，其中該像素產生單元、該圖框記憶體、該寫入單元及該讀取單元安置於複數個基板上且在一單個晶片中形成，且其中該等複數個基板藉由一穿矽導通體(TSV)寬輸入/輸出(IO)而彼此連接。
(B19)一種成像設備，其包括：一成像裝置，其中該成像裝置包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；一圖框記憶體，其儲存複數個圖框之該影像信號。
(B20)一種電子設備，其包括：一成像裝置，其中該成像裝置包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號，及一圖框記憶體，其儲存複數個圖框之該影像信號。
熟習此項技術者應理解可取決於設計要求及其他因素而出現各種修改、組合、子組合及替代，只要其等在隨附申請專利範圍或其之等效物之範疇內即可。
10‧‧‧成像裝置
11‧‧‧輸入I/F
12‧‧‧像素輸出控制單元
13‧‧‧V解碼器
14‧‧‧記憶體控制單元
15‧‧‧圖框計數器
16‧‧‧像素產生單元
17‧‧‧類比轉數位轉換單元
18‧‧‧第一信號處理單元
19‧‧‧場景偵測單元
20‧‧‧圖框記憶體
21‧‧‧第二信號處理單元
22‧‧‧輸出I/F
30‧‧‧主機ISP
D1-D6‧‧‧影像資料

Claims (20)

  1. 一種成像裝置，其包括：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；一圖框記憶體，其儲存複數個圖框之影像信號。
  2. 如請求項1之成像裝置，進一步包括：一寫入單元，其中該寫入單元以一第一圖框速率將該影像信號寫入至該圖框記憶體；及一讀取單元，其中該讀取單元讀取寫入至該圖框記憶體中之該影像資料。
  3. 如請求項2之成像裝置，其中該寫入單元將所產生影像資料之一先前寫入圖框重寫於該圖框記憶體之至少一第一區域中，其中在一第一操作模式中，該讀取單元以一第二圖框速率從該圖框記憶體讀取該影像資料，且其中在該第一操作模式中，該讀取單元讀取少於儲存於該圖框記憶體中之影像資料之該等所有圖框。
  4. 如請求項2之成像裝置，進一步包括：一編碼單元，其將寫入至該圖框記憶體中之該影像資料編碼；及一解碼單元，其將從該圖框記憶體讀取之經寫碼影像資料解碼。
  5. 如請求項3之成像裝置，進一步包括：一控制單元，其中該控制單元控制該寫入單元，且回應於該控制單元接收到一觸發信號而致使該所產生影像資料至該圖框記憶體之該至少一第一區域中之該重寫停止。
  6. 如請求項5之成像裝置，其中該寫入單元在從該控制單元接收一信號後立即停止該所產生影像資料至記憶體之該至少一第一區域中之重寫，或在從該控制單元接收一信號後之預定數目個圖框之一延遲之後停止該重寫。
  7. 如請求項5之成像裝置，其中該觸發信號係已偵測到一高速轉變場景之一指示，且其中從該成像裝置外側之一源提供該觸發信號。
  8. 如請求項5之成像裝置，進一步包括：一偵測單元，其在重寫至該圖框記憶體之該至少一第一區域中之該影像資料中偵測一高速轉變場景，其中，該控制單元藉由將對該高速轉變場景之該偵測作為該觸發信號來控制該寫入單元，且致使該所產生影像資料至該圖框記憶體之該第一區域中之該重寫停止。
  9. 如請求項5之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該讀取單元讀取存留於該圖框記憶體之該至少一第一區域中之該影像資料。
  10. 如請求項5之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該寫入單元將影像資料寫入至該圖框記憶體之一保留區域。
  11. 如請求項10之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該讀取單元從該圖框記憶體之該保留區域讀取影像資料。
  12. 如請求項10之成像裝置，其中在該影像資料至該圖框記憶體之該至少一第一區域之該重寫已停止之後，該讀取單元從該圖框記憶體之該第一區域及該圖框記憶體之該保留區域讀取影像資料。
  13. 如請求項12之成像裝置，其中該讀取單元以小於該第一圖框速率且大於該第二圖框速率之一速率，從該圖框記憶體之該第一區域及該圖框記憶體之該保留區域讀取影像資料。
  14. 如請求項7之成像裝置，其中在停止該重寫後，該寫入單元將該所產生影像資料寫入至該圖框記憶體之一第二區域中，且其中該讀取單元讀取寫入至該圖框記憶體之該第二區域中之該影像資料，且在停止該重寫後，進一步讀取存留於該圖框記憶體之該第一區域中之該影像資料。
  15. 如請求項2之成像裝置，其中該像素產生單元執行改變該所產生影像資料之一視角或添加該等像素信號中之至少一者。
  16. 如請求項2之成像裝置，其中該像素產生單元、該圖框記憶體、該寫入單元及該讀取單元係安置於一個基板上，且係在一單個晶片中形成。
  17. 如請求項2之成像裝置，其中該像素產生單元、該圖框記憶體、該寫入單元及該讀取單元係安置於複數個基板上，且係在一單個晶片中形成。
  18. 如請求項2之成像裝置，其中該像素產生單元、該圖框記憶體、該寫入單元及該讀取單元係安置於複數個基板上，且係在一單個晶片中形成，且其中該複數個基板藉由一穿矽導通體(TSV)寬輸入/輸出(IO)而彼此連接。
  19. 一種成像設備，其包括：一成像裝置，其中該成像裝置包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號；一圖框記憶體，其儲存複數個圖框之影像信號。
  20. 一種電子設備，其包括： 一成像裝置，其中該成像裝置包含：一像素產生單元，其根據入射光產生由複數個像素信號形成之一影像信號，及一圖框記憶體，其儲存複數個圖框之影像信號。
TW103141081A 2013-12-20 2014-11-26 成像裝置，成像設備及電子設備 TWI653890B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-263378 2013-12-20
JP2013263378 2013-12-20
JP2014190163A JP6350863B2 (ja) 2013-12-20 2014-09-18 撮像素子、撮像装置、および電子装置
JP2014-190163 2014-09-18

Publications (2)

Publication Number Publication Date
TW201526644A true TW201526644A (zh) 2015-07-01
TWI653890B TWI653890B (zh) 2019-03-11

Family

ID=52293103

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103141081A TWI653890B (zh) 2013-12-20 2014-11-26 成像裝置，成像設備及電子設備

Country Status (6)

Country Link
US (1) US9906753B2 (zh)
JP (1) JP6350863B2 (zh)
KR (1) KR102248378B1 (zh)
CN (1) CN105580345B (zh)
TW (1) TWI653890B (zh)
WO (1) WO2015093022A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129477B2 (en) * 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
JP6319340B2 (ja) 2016-02-16 2018-05-09 Smk株式会社 動画撮像装置
JP6802642B2 (ja) 2016-05-12 2020-12-16 キヤノン株式会社 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP6808350B2 (ja) 2016-05-12 2021-01-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6649212B2 (ja) * 2016-09-06 2020-02-19 株式会社東芝 符号化装置、復号装置、および画像処理システム
KR102450580B1 (ko) 2017-12-22 2022-10-07 삼성전자주식회사 금속 배선 하부의 절연층 구조를 갖는 반도체 장치
WO2019178690A1 (en) * 2018-03-20 2019-09-26 Airo.Life Inc. Advertising-subsidized smartphones and advertising, smartphone, and mobile communications systems and methods
JP7321685B2 (ja) * 2018-08-22 2023-08-07 キヤノン株式会社 撮像装置
WO2020044764A1 (ja) * 2018-08-31 2020-03-05 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6638851B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI820194B (zh) 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
CN112640429A (zh) * 2018-08-31 2021-04-09 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
CN112640430A (zh) 2018-08-31 2021-04-09 富士胶片株式会社 成像元件、摄像装置、图像数据处理方法及程序
JP6956894B2 (ja) * 2018-09-27 2021-11-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
WO2020137217A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3985275B2 (ja) 1996-03-11 2007-10-03 ソニー株式会社 撮像装置および撮像方法
WO2002039737A1 (fr) * 2000-11-07 2002-05-16 Matsushita Electric Industrial Co., Ltd. Systeme de production d'un signal video avec dispositif d'enregistrement/reproduction de signal video integre
JP2004140687A (ja) * 2002-10-18 2004-05-13 Matsushita Electric Ind Co Ltd 撮像装置
JP2004304418A (ja) * 2003-03-31 2004-10-28 Minolta Co Ltd カメラ
JP4366277B2 (ja) 2004-09-21 2009-11-18 キヤノン株式会社 撮像装置及びその制御方法
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
WO2008075688A1 (ja) * 2006-12-18 2008-06-26 Sony Corporation 撮像装置及び方法、記録装置及び方法、再生装置及び方法
JP4420101B2 (ja) * 2007-10-30 2010-02-24 ソニー株式会社 固体撮像装置およびその駆動方法、並びにカメラシステム
JP2009118332A (ja) * 2007-11-08 2009-05-28 Nippon Hoso Kyokai <Nhk> トリガ信号発生装置
JP2010087778A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、変速撮像方法、及びプログラム
EP2234387B8 (en) 2009-03-24 2012-05-23 Sony Corporation Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus
JP2011188224A (ja) 2010-03-09 2011-09-22 Sony Corp 温度情報出力装置、撮像装置、温度情報出力方法
JP5405536B2 (ja) * 2011-07-27 2014-02-05 株式会社日立製作所 映像記録装置、映像記録システムおよび映像記録方法
JP2013183425A (ja) * 2012-03-05 2013-09-12 Toshiba Corp カメラモジュール

Also Published As

Publication number Publication date
WO2015093022A1 (en) 2015-06-25
CN105580345A (zh) 2016-05-11
JP6350863B2 (ja) 2018-07-04
KR102248378B1 (ko) 2021-05-06
CN105580345B (zh) 2019-05-10
US20160381319A1 (en) 2016-12-29
KR20160099528A (ko) 2016-08-22
JP2015136093A (ja) 2015-07-27
TWI653890B (zh) 2019-03-11
US9906753B2 (en) 2018-02-27

Similar Documents

Publication Publication Date Title
TWI653890B (zh) 成像裝置，成像設備及電子設備
JP5295045B2 (ja) 組み込み機器において高解像度画像を提供するための方法及び装置
US9756250B2 (en) Frame manipulation to reduce rolling shutter artifacts
JP5056370B2 (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム、ならびに、データ処理装置、データ処理方法およびデータ処理プログラム
US11051026B2 (en) Method and system of frame re-ordering for video coding
US9131158B2 (en) Moving-image capturing apparatus and electronic zoom method for moving image
TWI637631B (zh) 影像處理裝置、影視子系統與影視處理電路
JP5141324B2 (ja) 撮像装置および撮像装置の制御方法、ならびに、信号処理装置および信号処理方法
JP2012085001A5 (zh)
US20100135644A1 (en) Photographing apparatus and method of controlling the same
JP2015219279A (ja) 表示処理装置および撮像装置
JP2009522698A (ja) 画像およびビデオ処理のためのメモリ体系化スキームおよびコントローラ・アーキテクチャ
US9990900B2 (en) Image processing device and method thereof
JP2014150487A (ja) 撮像装置
JPWO2018134882A1 (ja) メモリアクセス装置、画像処理装置、および撮像装置
JP6403479B2 (ja) 撮像装置およびその制御方法
KR102474575B1 (ko) 이미지 센서, 및 상기 이미지 센서를 포함하는 이미지 처리 시스템
JP2009232004A (ja) 信号処理装置および信号処理方法、ならびに、撮像装置および撮像装置の制御方法
JP2009130561A (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
WO2023150800A1 (en) Methods and apparatus for real-time guided encoding
KR20140105133A (ko) 이미지 신호 프로세싱 시스템
JP2010103689A (ja) 画像処理装置、集積回路装置、電子機器