TW202236837A - 攝像裝置及攝像方法 - Google Patents

攝像裝置及攝像方法 Download PDF

Info

Publication number
TW202236837A
TW202236837A TW111100807A TW111100807A TW202236837A TW 202236837 A TW202236837 A TW 202236837A TW 111100807 A TW111100807 A TW 111100807A TW 111100807 A TW111100807 A TW 111100807A TW 202236837 A TW202236837 A TW 202236837A
Authority
TW
Taiwan
Prior art keywords
data
mentioned
image data
output
unit
Prior art date
Application number
TW111100807A
Other languages
English (en)
Inventor
馬原久美子
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202236837A publication Critical patent/TW202236837A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Abstract

本揭示之課題在於提供一種可產生用以進行真偽證明、且對於處理之負荷較小之圖像的攝像裝置及攝像方法。 本揭示之攝像裝置具備：像素陣列部，其包含以矩陣狀之排列配置且各自產生與藉由曝光接受到之光相應之像素信號的複數個像素，取得由複數個像素產生之像素信號各者之圖像資料；壓縮部，其壓縮圖像資料之資料量而產生壓縮圖像資料；署名產生部，其基於壓縮圖像資料，產生署名資料；輸出部，其輸出圖像資料、與對壓縮圖像資料附加有署名資料之真偽證明用資料。

Description

攝像裝置及攝像方法
本揭示係關於一種攝像裝置及攝像方法。
近年來，隨著圖像之加工技術之提高，用以證明圖像為真物(未經篡改)之真偽證明越來越重要。為了進行圖像之真偽證明，可考慮對由感測器拍攝之圖像於感測器內附加署名，輸出至感測器外之方法。例如，基於由感測器拍攝之RAW資料產生署名資料，將附加有該署名資料之RAW資料輸出至感測器外。輸出至感測器外之RAW資料一般被實施對比度調整或壓縮編碼處理等之圖像處理，而作為處理圖像使用。於專利文獻1記載有一種將署名資訊與圖像資訊建立關聯並輸出之影像感測器。
RAW資料基於附加之署名資料可證明為真。因此，於感測器外，藉由比較將該RAW資料進行圖像處理後之處理圖像、與該RAW資料之圖像，可判定有無對該處理圖像之篡改。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2017-184198號公報
[發明所欲解決之問題]
於上述之既存之真偽證明方法中，必須與經圖像處理之處理圖像一起保持用以顯示該處理圖像未被篡改之RAW資料與其署名。因此，於既存之真偽證明方法中，對於搭載感測器之相機中之記憶體之負荷、或自相機傳送資料時之負荷較大。
於本揭示中，目的在於提供一種可產生用以進行真偽證明之對於處理之負荷更小之圖像的攝像裝置及攝像方法。 [解決問題之技術手段]
本揭示之攝像裝置具備：像素陣列部，其包含以矩陣狀之排列配置且各自產生與藉由曝光接受到之光相應之像素信號的複數個像素，取得由複數個像素產生之像素信號各者之圖像資料；壓縮部，其壓縮圖像資料之資料量而產生壓縮圖像資料；署名產生部，其基於壓縮圖像資料，產生署名資料；輸出部，其輸出圖像資料、與對壓縮圖像資料附加有署名資料之真偽證明用資料。
以下，對本揭示之實施形態，基於圖式詳細進行說明。另，於以下之實施形態中，藉由對相同部位標註相同符號，而省略重複之說明。
以下，對本揭示之實施形態，按照以下之順序進行說明。 1.關於既存技術 2.關於可應用於各實施形態之技術 3.本揭示之各實施形態之概要 4.本揭示之第1實施形態 4-1.第1實施形態之構成 4-2.可應用於第1實施形態之資料量壓縮方法 5.本揭示之第2實施形態 6.本揭示之第3實施形態 7.本揭示之第4實施形態 8.本揭示之第5實施形態 8-1.像素之構成例 8-2.第5實施形態之構成 9.本揭示之第6實施形態 10.本揭示之第7實施形態 10-1.關於第7實施形態之用以進行圖像之真偽判定之系統構成 10-2.關於第7實施形態之圖像之比較處理
[1.關於既存技術] 首先，先於本揭示之實施形態之說明，為了易於理解，對與本揭示之技術關聯之既存技術進行說明。近年來，藉由報導媒體或SNS(Social Networking Service：社交網路服務)等，經由網際網路公開之圖像之真偽證明成為問題。即，近年來，因利用圖像之加工工具、或AI(Artificial Intelligence：人工智慧)之假(捏造)圖像產生技術發達，圖像之真偽證明變得困難。
圖1及圖2係顯示既存技術之假圖像產生之例之模式圖。例如，如圖1所示，已知有一種製作隱藏原始圖像300之下半部分之圖像301，基於該圖像301預測下半部分，產生圖像302a(假圖像a)，或與圖像302a不同之圖像302b(假圖像b)之技術。
又，即使對於動態圖像，亦已知有一種技術，即，可自圖2之部分(a)所示之動態圖像之訊框303a，僅刪除該訊框303a所包含之移動之物體304。於該情形時，於部分(b)所示之與訊框303a時間上接近之訊框303b中，物體304被刪除，本來物體304應存在之位置被置換為道路面。
於該等例中，於不知曉原始圖像300或訊框303a之情形時，判斷圖像302a及302b、或訊框303b是否為被篡改之假圖像，即對於圖像302a及302b、以及訊框303b之真偽證明較困難。
作為易於此種圖像之真偽證明之方法之一，已知有一種於取得攝像圖像之感測器內部，對原始圖像之攝像圖像附加署名，對附加有署名之原始圖像實施加密處理之方法。
圖3A係概略性顯示既存技術之使用將署名資料附加於圖像資料並輸出之感測器之相機之構成例的模式圖。
於圖3A中，相機2000包含感測器2100與圖像處理部2120。感測器2100包含以矩陣狀之排列配置，分別產生與接受到之光相應之像素信號之複數個像素，例如由1個半導體晶片(或經貼合之複數個半導體晶片)構成。感測器2100基於由複數個像素各者根據曝光而產生之像素信號，以訊框單位取得RAW資料。RAW資料係未對基於像素信號之像素資料實施解馬賽克處理等之未加工之資料。
感測器2100基於藉由像素陣列部2110取得之RAW資料2200，藉由署名產生處理2111產生署名資料2210。感測器2100將對RAW資料2200附加有產生之署名資料2210之資料例如使用公開密鑰加密方式之秘密密鑰2112加密。經加密之資料自感測器2100輸出，供給至圖像處理部2120。不限定於此，感測器2100亦可對經加密之資料附加感測器資訊2220，並將其供給至圖像處理部2120。
圖像處理部2120對供給之資料所包含之RAW資料，實施解馬賽克處理或白平衡處理、高畫質化處理等特定之圖像處理，產生可視用之圖像資料，對該圖像資料例如實施特定之壓縮編碼處理壓縮資料量，並作為輸出圖像資料2230輸出。於圖3A之例中，輸出圖像資料2230係將圖像資料藉由JPEG(Joint Photographic Experts Group：聯合影像專家組)方式壓縮編碼之JPEG資料。
此處，圖像處理部2120於對供給之資料所包含之RAW資料實施圖像處理時，使用與秘密密鑰2112對應之公開密鑰2121將該資料之密碼解碼。可基於解碼之資料所包含之署名資料2210，證明輸入至圖像處理部2120之資料所包含之RAW資料2200係由感測器2100取得之資料。
然而，若於圖像處理部2120中對由感測器2100取得之RAW資料2200實施圖像處理，變更RAW資料2200，則於感測器2100中對RAW資料2200附加之署名資料2210變得無意義。
即，於感測器2100中附加之署名資料僅可進行對於變更之前之RAW資料2200之真偽證明。因此，於既存技術中，判定有無對自圖像處理部2120輸出之輸出圖像資料2230之篡改之真偽證明較困難。
於既存技術中，為了進行對於自圖像處理部2120輸出之輸出圖像資料2230之真偽證明，如圖3B所示，可考慮將附加有署名資料2210之RAW資料2200與輸出圖像資料2230一起輸出。RAW資料2200可基於署名資料2210證明真偽。又，輸出圖像資料2230可藉由與RAW資料2200之圖像資料比較而證明真偽。
然而，RAW資料2200一般而言與對應之輸出圖像資料2230比較，資料量較多，資料傳送之負荷增大。
於本揭示中，壓縮RAW資料2200之資料量，附加署名資料2210，進而實施加密處理，與輸出圖像資料2230一起輸出。藉此，可減輕輸出圖像資料2230及RAW資料2200時之資料傳送之負荷。
[2.關於可應用於本揭示之各實施形態之技術] 接著，對可應用於本揭示之各實施形態之技術進行說明。圖4係概略性顯示可應用於各實施形態之相機之一例之構成之方塊圖。於圖4中，相機10包含感測器100、整體控制部110、及圖像處理部120。整體控制部110例如包含CPU(Central processing Unit：中央處理器)與記憶體，按照記憶於記憶體之程式，控制該相機10之整體動作。
感測器100包含像素陣列部101與署名處理部1000。像素陣列部101包含以矩陣狀之排列配置，分別產生與藉由曝光接受到之光相應之像素信號之複數個像素，取得由複數個像素產生之像素信號各者之圖像資料。由像素陣列部101取得之圖像資料係未加工之RAW資料。
署名處理部1000對由像素陣列部101取得之RAW資料實施資料量之壓縮處理，基於資料量經壓縮之RAW資料(稱為壓縮RAW資料)產生署名資料。署名處理部1000將壓縮RAW資料與署名資料加密。
由像素陣列部101取得之RAW資料作為圖像處理用之資料供給至圖像處理部120。圖像處理部120對供給之RAW資料實施特定之圖像處理，產生可視用之圖像資料。由圖像處理部120產生之可視用之圖像資料與由署名處理部1000產生之經加密之壓縮RAW資料一起自相機10輸出。
(可應用於各實施形態之像素陣列部之構成例) 圖5係顯示可應用於各實施形態之像素陣列部101之一例之構成之方塊圖。於圖5中，像素陣列部包含像素陣列102、垂直掃描部400、水平掃描/AD轉換部402、及控制部401。
像素陣列102包含具有分別產生與接受到之光相應之電壓之攝像元件的複數個像素103。作為攝像元件，可使用光電二極體。於像素陣列102中，複數個像素103於水平方向(列方向)及垂直方向(行方向)矩陣狀排列。於像素陣列102中，將像素103之列方向之排列稱為列。基於該像素陣列102中自特定數量之列讀出之像素信號，形成1訊框之圖像(圖像資料)。例如，於以3000像素×2000列形成1訊框之圖像之情形時，像素陣列102包含至少2000列包含至少3000個像素103之列。於像素陣列102中，將包含用以形成1訊框之圖像之像素103之區域稱為有效像素區域。又，於像素陣列102中形成之圖像資料係RAW資料。
又，於像素陣列102，對各像素103之列及行，於每列連接像素信號線HCTL，於每行連接垂直信號線VSL。
像素信號線HCTL之未與像素陣列102連接之端部與垂直掃描部400連接。垂直掃描部400例如按照自控制部401供給之控制信號，將自像素103讀出像素信號之時之驅動脈衝等之複數個控制信號經由像素信號線HCTL傳送至像素陣列102。垂直信號線VSL之未與像素陣列102連接之端部與水平掃描/AD轉換部402連接。
水平掃描/AD轉換部402包含AD(Analog to Digital：類比轉數位)轉換部、輸出部、及信號處理部。自像素103讀出之像素信號經由垂直信號線VSL傳送至水平掃描/AD轉換部402之AD轉換部。
對來自像素103之像素信號之讀出及控制概略性進行說明。來自像素103之像素信號之讀出藉由以下而進行：將藉由曝光而累積於攝像元件之電荷傳送至浮動擴散層(FD：Floating Diffusion)，於浮動擴散層中將傳送之電荷轉換為電壓。於浮動擴散層中經轉換電荷之電壓經由放大器輸出至垂直信號線VSL。
更具體而言，於像素103中，曝光期間，將攝像元件與浮動擴散層之間設為斷開(打開)狀態，於攝像裝置中，藉由光電轉換累積根據入射之光而產生之電荷。曝光結束後，根據經由像素信號線HCTL供給之選擇信號連接浮動擴散層與垂直信號線VSL。再者，根據經由像素信號線HCTL供給之重設脈衝，將浮動擴散層與電源電壓VDD或黑位準電壓之供給線於短時間內連接，重設浮動擴散層。對垂直信號線VSL輸出浮動擴散層之重設位準之電壓(設為電壓P)。其後，藉由經由像素信號線HCTL供給之傳送脈衝將攝像元件與浮動擴散層之間設為接通(閉合)狀態，將累積於攝像元件之電荷傳送至浮動擴散層。對垂直信號線VSL輸出與浮動擴散層之電荷量相應之電壓(設為電壓Q)。
於水平掃描/AD轉換部402中，AD轉換部包含設置於每條垂直信號線VSL之AD轉換器，經由垂直信號線VSL自像素103供給之像素信號藉由AD轉換器實施AD轉換處理，產生用以進行雜訊降低之相關雙重取樣(CDS：Correlated Double Sampling)處理之2個數位值(分別與電壓P及電壓Q對應之值)。
藉由AD轉換器產生之2個數位值由信號處理部實施CDS處理，產生數位信號之像素信號(像素資料)。產生之像素資料自像素陣列部輸出。
水平掃描/AD轉換部402於控制部401之控制下，進行以特定之順序選擇每條垂直信號線VSL之AD轉換器，藉此將各AD轉換器暫時保持之各數位值依序輸出至信號處理部。水平掃描/AD轉換部402例如藉由包含移位暫存器或位址解碼器等之構成，實現該動作。
控制401例如按照來自整體控制部16之控制信號，進行垂直掃描部400、水平掃描/AD轉換部402等之驅動控制。控制部401產生成為垂直掃描部400及水平掃描/AD轉換部402之動作之基準之各種驅動信號。控制部401基於自外部(例如控制部401)供給之垂直同步信號或外部觸發信號、與水平同步信號，產生垂直掃描部400用以經由圖像信號線HCTL供給至各像素103之控制信號。控制部401將產生之控制信號供給至垂直掃描部400。
垂直掃描部400基於自控制部401供給之控制信號，對像素陣列102之被選擇之像素列之像素信號線HCTL，將包含驅動脈衝之各種信號於每列供給至各像素103，自各像素103將像素信號輸出至垂直信號線VSL。垂直掃描部400例如使用位移暫存器或位址解碼器等而構成。
此種構成之像素陣列部係AD轉換器配置於每行之行AD方式之CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器。
(彩色濾光片排列之概略) 各像素103可配置特定波長帶寬之光選擇性透過之光學濾光片。於透過之波長帶寬為可視光區域之波長帶寬之情形時，該光學濾光片稱為彩色濾光片。以下，對各像素103，配置特性不同之複數種光學濾光片，具體而言，構成三原色之紅色(R)、綠色(G)及藍色(B)之各波長帶寬之彩色濾光片。不限定於此，亦可對各像素103配置具有補色關係之各色之彩色濾光片，又可為使紅外區域之波長帶寬之光選擇性透過之光學濾光片、或使可視光區域之全波長帶寬之光透過之光學濾光片。以下，只要無特別記載，則將該等各種光學濾光片以彩色濾光片為代表進行說明。
圖6係顯示一般使用之拜耳排列之例之圖。於圖6中，拜耳(Bayer)排列包含分別配置G色之彩色濾光片之2個像素103G、配置R色之彩色濾光片之1個像素103R、及配置B色之彩色濾光片之像素103B。於拜耳排列中，該等4個像素以2個像素103G不相鄰之方式，以2像素×2像素之格柵狀排列而構成。換言之，拜耳排列係如配置有使相同波長帶寬之光透過之彩色濾光片之像素103不相鄰之排列。
另，以下，只要無特別記載，將「配置R色之彩色濾光片之像素103R」稱為「R色之像素103R」、或簡稱為「像素103R」。關於配置G色之彩色濾光片之像素103G、及配置B色之彩色濾光片之像素103B亦相同。又，於不特別注重彩色濾光片之情形時，將各像素103R、110G及110B以像素103來代表記述。
(可應用於各實施形態之像素陣列部之構造例) 接著，對可應用於各實施形態之像素陣列部101之構造例，概略性進行說明。
像素陣列部101可應用像素陣列部101所包含之各部使用CMOS(Complementary Metal Oxide Semiconductor)一體形成之CMOS影像感測器(CIS)。像素陣列部101可形成於1個基板上。不限於此，亦可將像素陣列部101設為複數個半導體晶片積層而一體化形成之積層型CIS。另，像素陣列部101並非限於此例，亦可為進行紅外光之攝像之紅外光感測器等其他種類之光感測器。
作為一例，可藉由將半導體晶片積層2層之2層構造之積層型CIS形成像素陣列部101。圖7A係顯示將各實施形態之像素陣列部101藉由2層構造之積層型CIS形成之例之圖。於圖7A之構造中，於第1層之半導體晶片形成像素部3020a，於第2層之半導體晶片形成記憶體+邏輯部3020b。
像素部3020a至少包含像素陣列部101中之像素陣列102。記憶體+邏輯部3020b例如可包含垂直掃描部400、控制部401、水平掃描/AD轉換部402、及署名處理部1000。於記憶體+邏輯部3020b亦可進而包含記憶RAW資料等圖像資料之記憶體。
如圖7A之右側所示，藉由使第1層之半導體晶片與第2層之半導體晶片電性接觸並貼合，而將像素陣列部101作為1個固體攝像元件構成。
作為另一例，可藉由將半導體晶片積層3層之3層構造形成像素陣列部101。圖7B係顯示將各實施形態之像素陣列部101藉由3層構造之積層型CIS而形成之例之圖。於圖7B之構造中，於第1層之半導體晶片形成像素部3020a，於第2層之半導體晶片形成記憶體部3020c，於第3層之半導體晶片形成邏輯部3020d。於該情形時，邏輯部3020d例如可包含垂直掃描部400、控制部401、水平掃描/AD轉換部402、及署名處理部1000。又，記憶體部3020c可包含記憶RAW資料等圖像資料之記憶體。
如圖7B之右側所示，藉由將第1層之半導體晶片、第2層之半導體晶片、及第3層之半導體晶片電性接觸並貼合，而將像素陣列部101作為1個固體攝像元件構成。
[3.本揭示之各實施形態之概要] 接著，對本揭示之各實施形態之概要進行說明。圖8係用以說明各實施形態之概要之模式圖。圖8所示之構成係與使用圖4進行說明之構成對應者，相機10包含作為本揭示之攝像裝置之感測器100與圖像處理部120。又，感測器100包含像素陣列部101與署名處理部1000。另，於圖8中，省略整體控制部110。
像素陣列部101取得根據曝光由複數個像素產生之像素信號各者之RAW資料200。由像素陣列部101取得之RAW資料200基於包含於像素陣列部101中之像素陣列102之所有像素103中由有效像素區域所包含之所有像素產生之像素信號。
感測器100將藉由像素陣列部101取得之RAW資料200作為圖像處理用之資料供給至圖像處理部120。圖像處理部120對供給之RAW資料實施解馬賽克處理，產生可視用之圖像資料。又，圖像處理部120對基於RAW資料產生之圖像資料，例如進行高畫質化處理等之圖像處理，對經圖像處理之圖像資料實施壓縮編碼處理，產生輸出圖像資料230。作為圖像處理部120之壓縮編碼方式，例如可應用JPEG方式。
署名處理部1000對由像素陣列部101取得之RAW資料實施資料量之壓縮處理。署名處理部1000基於資料量經壓縮之RAW資料(壓縮RAW資料212)產生署名資料213。例如，署名處理部1000基於壓縮RAW資料212產生散列值，將產生之散列值作為署名資料213使用。署名處理部1000將產生之署名資料213附加於壓縮RAW資料212，產生用以進行輸出圖像資料230之真偽證明之真偽證明用資料。
另，輸出處理部1000亦可自感測器100取得感測器資訊211，將取得之感測器資訊211附加於署名資料213及壓縮RAW資料212，產生真偽證明用資料210。感測器資訊211例如可包含表示感測器100之識別資訊(製造序號等)或攝像條件之資訊等。不限於此，署名處理部1000亦可對於將感測器資訊211與壓縮RAW資料212合併之資料產生署名資料213，產生真偽證明用資料210。如此，亦將感測器資訊211包含在內而產生署名資料213，而亦可防止感測器資料211之篡改。
由署名處理部1000產生之真偽證明用資料210，與由圖像處理部120產生之輸出圖像資料230建立關聯，而被輸出至例如相機10之外部。不限於此，亦可將真偽證明用資料210與輸出圖像資料230建立關聯，將其記憶於相機10所包含之快閃記憶體等之非揮發性記憶媒體。
如此，根據本揭示之各實施形態，壓縮RAW資料200之資料量，將資料量經壓縮之壓縮RAW資料作為真偽證明用之資料與可視用之壓縮圖像資料建立關聯並輸出。因此，可降低對搭載感測器之相機中之記憶體之負荷、或自相機傳送資料時之負荷。
此處，用於由圖像處理部120進行圖像處理之圖像資料必須為高畫質資料。因此，圖像處理部120被供給由像素陣列102之有效像素區域中包含之所有像素103產生之像素信號之RAW資料。另一方面，真偽證明用資料210只要得知未對原始之RAW資料之圖像追加或刪除物體等即可。因此，作為真偽證明用資料210，可使用資料量經壓縮之壓縮RAW資料212。
另，，於輸出圖像資料230之真偽證明時，將壓縮RAW資料212之尺寸配合輸出圖像資料230之尺寸進行轉換，將尺寸經轉換之壓縮RAW資料212與輸出圖像資料230進行比較，其細節予以後述。
[4.本揭示之第1實施形態] 接著，對本揭示之第1實施形態進行說明。第1實施形態係感測器100具有輸出圖像處理用之RAW資料200之輸出端、與輸出包含壓縮RAW資料212及署名資料213之真偽證明用資料210之輸出端之例。
(4-1.第1實施形態之構成) 首先，對第1實施形態之構成進行說明。圖9係顯示第1實施形態之感測器之一例之構成之方塊圖。於圖9中，感測器100a包含像素陣列部101、署名處理部1000a、輸出介面(I/F)104、及通信/感測器控制部105。
通信/感測器控制部105經由端子130與外部機器，例如主機裝置進行通信。又，通信/感測器控制部105例如包含處理器與記憶體，處理器按照記憶於記憶體之程式動作，控制該感測器100a之整體之動作。
於圖9之例中，像素陣列部101以包含像素陣列102、像素控制部107、及ADC(Analog to Digital Converter：類比數位轉換器)108之方式顯示。其中，像素控制部107例如與於圖5所示之垂直掃描部400、與水平掃描/AD轉換部402之輸出部對應。又，ADC108與圖5所示之水平掃描/AD轉換部402之AD轉換部對應。
署名處理部1000a包含資料處理部1010a及1010b、壓縮處理部1020、及署名產生部1021。自像素陣列部101輸出之RAW資料200分別輸入至資料處理部1010a及1010b。資料處理部1010a對於輸入之RAW資料200，於後段之圖像處理部120(未圖示)實施用以進行圖像處理之特定之資料處理。由資料處理部1010a資料處理後之RAW資料200供給至輸出I/F104。
資料處理部1010b對供給之RAW資料200，實施用以產生真偽證明用資料210之特定之資料處理。
由資料處理部1010b實施資料處理後之RAW資料200供給至壓縮處理部1020。壓縮處理部1020對供給之RAW資料200，實施進行資料量之壓縮之壓縮處理(具體例予以後述)，產生壓縮RAW資料212。壓縮處理部1020將產生之壓縮RAW資料212供給至輸出I/F104、與署名產生部1021。
署名產生部1021基於供給之壓縮RAW資料212產生署名資料213。例如，署名產生部1021自供給之壓縮RAW資料212產生散列值，將產生之散列值作為署名資料213使用。不限於此，若為可唯一特定壓縮RAW資料212，且難以推測之值，則署名產生部1021可將藉由其他算法產生之值作為署名資料213使用。署名產生部1021將產生之署名資料213供給至輸出I/F104。
另，署名產生部1021例如自通信/感測器控制部105取得感測器資訊211，進而將取得之感測器資訊211供給至輸出I/F104。
輸出I/F104包含2個介面131及132，可自該等介面131及132，並行輸出2個資料流。作為介面131及132，可應用MIPI(Mobile Industry Processor Interface：移動產業處理器介面)。包含輸出I/F104、介面131及132而構成輸出部。
具體而言，輸出I/F104將自資料處理部1010a供給之RAW資料200以保持不變之狀態，自介面131(第1輸出端)輸出。
又，輸出I/F104將自署名產生部1021供給之署名資料213附加於自壓縮處理部1020供給之壓縮RAW資料212。輸出I/F104將感測器資訊211、壓縮RAW資料212及署名資料213作為真偽證明用資料210，自介面132(第2輸出端)輸出。另，亦可將真偽證明用資料210使用公開密鑰加密方式中之秘密密鑰加密並輸出。
如此，第1實施形態之感測器100a將RAW資料200、與真偽證明用資料210分別自不同之介面131及132輸出。因此，可防止RAW資料200及真偽證明用資料210之輸出為訊框率限制。
(4.2.可應用於第1實施形態之資料量壓縮方法) 接著，對可應用於第1實施形態之壓縮處理部1020之資料量之壓縮方法進行說明。
圖10係用以說明可應用於第1實施形態之壓縮處理部1020之資料量之第1壓縮方法之模式圖。於第1壓縮方法中，壓縮處理部1020對設置有同色彩色濾光片，且於像素陣列102之像素103之排列中配置之位置接近之特定數量之每個像素103，求得像素資料之加法平均。壓縮處理部1020藉由求得該特定數量之像素103之像素資料之加法平均，將該特定數量之像素103匯總為1個像素，產生將RAW資料200之資料量壓縮之壓縮RAW資料212。
於圖10之例中，壓縮處理部1020於部分(a)所示之拜耳排列中，例如設置紅色之彩色濾光片，求得相互接近之像素103R 1、103R 2、103R 3及103R 4各者之像素資料之加法平均。壓縮處理部1020產生具有將該像素103R 1～103R 4之像素資料加法平均化之值之像素資料之像素103R add。壓縮處理部1020對其他像素103G及103B亦進行相同之處理，產生2個像素103G add、像素103B add。藉由將該等像素103R add、2個像素103G add、像素103B add按照拜耳排列進行配置，產生壓縮RAW資料212。壓縮RAW資料212係將原來之RAW資料200之資料量壓縮至1/4之資料。
根據第1壓縮方法，藉由設置同色之彩色濾光片，求得相互接近之像素之像素資料之加法平均，產生壓縮RAW資料212之像素，可壓縮RAW資料200之資料量，且降低雜訊。
圖11係用以說明可應用於第1實施形態之壓縮處理部1020之資料量之第2壓縮方法之模式圖。於第2壓縮方法中，壓縮處理部1020藉由將RAW資料200以像素單位稀疏化，而產生壓縮RAW資料212。
於圖11之例中，壓縮處理部1020對部分(a)所示之RAW資料200，如部分(b)所示般，進行以列單位之稀疏化。此時，壓縮處理部1020按照拜耳排列之行方向之重複圖案，每2列地進行稀疏化。圖11之部分(c)顯示將進行稀疏化後之列靠緊構成壓縮RAW資料212之例。於該例之情形時，壓縮RAW資料212係將原來之RAW資料200之資料量壓縮至1/2之資料。
根據該第2壓縮方法，因壓縮RAW資料200之資料量時無需運算，故可減輕壓縮處理部1020之負荷。又，根據該第2壓縮方法，亦可削減ADC108中之AD轉換之次數等。
圖12係用以說明可應用於第1實施形態之壓縮處理部1020之資料量之第3壓縮方法之模式圖。於第3之壓縮方法中，基於特定之壓縮算法，對每個像素壓縮資料量。更具體而言，壓縮處理部1020基於特定之壓縮算法，削減RAW資料200之各像素之像素資料之位元數並產生壓縮RAW資料212。壓縮RAW資料212為將RAW資料200之資料量壓縮RAW資料200之各像素資料之被削減之位元數的量之資料。
作為一例，假設RAW資料200之各像素資料之位元數為12位元。圖12之部分(a)係顯示將各像素資料之位元數自12位元削減至8位元之例，部分(b)係顯示自12位元削減至6位元之例。於部分(a)之例中，壓縮RAW資料212係將原來之RAW資料200之資料量壓縮至2/3之資料。又，部分(b)之例中，壓縮RAW資料212係將原來之RAW資料200之資料量壓縮至1/2之資料。
作為像素資料之位元數之削減方法，可考慮若干方法。作為第1方法，可考慮削減RAW資料200之各像素資料之下階位元之方法。於圖12之部分(a)之例中，設為刪除RAW資料200之12位元之像素資料之下階4位元，使該像素資料之第4位元變為第0位元之8位元之像素資料。於圖部分(b)之例中，設為刪除RAW資料200之12位元之像素資料之下階6位元，使該像素資料之第6位元變為第0位元之6位元之像素資料。
作為削減像素資料之位元數之第2方法，於對RAW資料200實施灰階壓縮處理之後，與上述之第1方法相同，刪除下階位元。作為灰階壓縮處理，可應用灰階修正處理。於上述之第1方法中，雖丟失對比度較小之部分之資訊，但藉由實施灰階壓縮處理，可補充該資訊之損失。
作為削減像素資料之位元數之第3方法，可考慮利用像素之連續性之方法。於該第3方法中，例如，藉由以前頭像素(列之前頭像素等)為基準，按照像素之排列依序求得與相鄰像素之像素資料之差量，進行位元數之削減。作為該第3方法，可應用MIPI(Mobile Industry Rrocessor Interface)中規定之壓縮算法。
每個像素之資料量削減之方法不限定於上述第1～第3方法。又，亦可將上述第1方法或第2方法、與第3方法組合。
壓縮RAW資料212之壓縮率可根據進行真偽證明之對象而變更。圖13A及圖13B係顯示可應用於第1實施形態之根據真偽證明之對象而變更壓縮RAW資料212之壓縮率之例之模式圖。
圖13A顯示作為真偽證明之對象，判定有無刪除或追加圖像33所包含之物體34之例。如此，於如檢測出圖像33之較大變化之情形時，可增大壓縮RAW資料212之壓縮率。即，於該情形時，可使壓縮RAW資料212之資料尺寸更小。
圖13B顯示作為真偽證明之對象，判定圖像35所包含之人36之臉部之例。例如，於欲證明人36之臉部為真物(未經篡改)之情形時，可僅壓縮至能證明臉部未被篡改之尺寸(解析度)。因此，於該情形時，與刪除或追加上述物體34之情形時，減小壓縮RAW資料212之壓縮率。
使用上述之資料量之第3壓縮方法之例說明根據真偽證明之對象變更壓縮RAW資料212之壓縮率之具體例。可考慮於作為真偽證明之對象，判定有無刪除或追加圖像33所包含之物體34之之情形時，應用圖12之部分(b)所示之例，於判定人36之臉部之情形時，應用圖12之部分(a)所示之例。
另，於感測器100a中，亦可將壓縮RAW資料212之壓縮率設為固定，且於外部基於壓縮RAW資料212執行輸出圖像資料230之真偽證明時，提示可判定篡改之等級。判定篡改之等級係例如與以下情況相應者，即，是否保證未對圖像刪除或追加物體等之較大篡改，是否藉由臉部認證保證與原來之RAW資料200為相同之臉部。例如，於真偽證明用資料210中，可考慮將顯示壓縮RAW資料212之壓縮率包含於感測器資訊211。
[5.本揭示之第2實施形態] 接著，對本揭示之第2實施形態進行說明。於上述之第1實施形態中，將RAW資料200與真偽證明用資料210自不同之介面131及132輸出。與此相對，於第2實施形態中，將RAW資料200與真偽證明用資料210自一個介面輸出。此時，於第2實施形態中，將RAW資料200及真偽證明用資料210以列單位分時輸出。
圖14係顯示第2實施形態之感測器之一例之構成之方塊圖。於圖14中，感測器100b具有用於輸出I/F104輸出資料之1個介面131。又，感測器100b，具有列記憶體1031之仲裁器1030插入至署名處理部100b與輸出I/F104之間。
於圖14中，將像素陣列102之各列分別顯示為列L#1、L#2、...。資料處理部1010a及1010b中，像素陣列部101自ADC108以列順序輸出各列L#1、L#2、...之資料。自像素陣列部101輸出之各列L#1、L#2、...之資料分別供給至資料處理部1010a及1010b。
資料處理部1010a對供給之列資料實施特定之資料處理，供給至仲裁器1030。仲裁器1030將自資料處理部1010a供給之列資料存儲於列記憶體1031。
資料處理部1010b對供給之列資料實施特定之資料處理，供給至壓縮處理部1020。壓縮處理部1020對供給之列資料實施列方向之壓縮處理而壓縮資料量，將資料量經壓縮之列資料供給至仲裁器1030與署名產生部1021。署名產生部1021基於供給之列資料產生署名資料213，將產生之署名資料供給至仲裁器1030。
仲裁器1030調停自資料處理部1010b供給並存儲於列記憶體1031之RAW資料之列資料、自壓縮處理部1020供給之於列方向壓縮之列資料、及自署名產生部1021供給之署名資料之輸出時序。仲裁器1030將存儲於列記憶體1031之RAW資料之列資料以列順序輸出。伴隨於此，仲裁器1030根據RAW資料之列資料之每特定列之輸出時序輸出複數列之署名資料及經壓縮之列資料。
自仲裁器1030輸出之各資料被供給至輸出I/F104，自介面131輸出。
圖15係顯示第2實施形態之資料之輸出處理之例之順序圖。於圖15中，自上而下分別顯示ADC108之輸出之列同步信號、自ADC108輸出之列資料、仲裁器1030(輸出I/F104)之輸出之列同步信號、及自感測器100b(仲裁器1030)輸出之各資料。ADC108之輸出之列同步信號之同步週期與像素陣列部101之水平同步信號Hsync之週期對應。
自ADC108對每個水平同步信號Hsync依序輸出列資料L#1、L#2、...。各列資料L#1、L#2、...係分別以短於ADC108之輸出之列同步信號之週期之時間輸出者。自ADC108輸出之例如列資料L#1經由資料處理部1010a，供給至仲裁器1030，存儲於列記憶體1031。若自ADC108輸出以下之列資料L#2，則仲裁器1030按照輸出用之列同步信號，自列記憶體1031讀出列資料L#1供給至輸出I/F104，將列資料L#2存儲於列記憶體1031。
若自ADC108輸出以下之列資料L#3，則仲裁器1030按照輸出用之列同步信號，自列記憶體1031讀出列資料L#2供給至輸出I/F104。
壓縮處理部1020將自ADC108供給之列資料L#3、與已自ADC108供給之列資料L#1分別於水平方向壓縮，將經壓縮之列資料L#1及L#3供給至仲裁器1030與署名產生部1021。署名產生部1021基於被壓縮而供給之列資料L#1及L#3，產生列資料L#1及L#3各者之署名資料213。仲裁器1030將自壓縮處理部1020供給之壓縮後之列資料L#1及L#3、與自署名產生部1021供給之基於列資料L#1及L#3而產生之署名資料213作為列資料L#1及L#3之真偽證明用資料210，按照輸出用之列同步信號，供給至輸出I/F104。
此處，輸出用之列同步信號設定為：於ADC108之輸出之列同步信號之2列量之期間，輸出RAW資料之2列量之列資料、與2列量之署名資料及壓縮後之列資料。如此，第2實施形態之感測器100b設定ADC108之輸出之列同步信號、與輸出用之列同步信號，由仲裁器1030調停RAW資料之2列量之列資料、與2列量之署名資料及壓縮後之列資料之輸出時序。
藉此，第2實施形態之感測器100b可自一個介面131輸出RAW資料、與真偽證明用資料。又，第2實施形態之感測器100b可無需使用訊框記憶體，自與輸出之RAW資料相同之資料產生署名資料。
另，於第2實施形態之構成中，因輸出控制較複雜，故有感測器100b之動作為輸出帶寬限制之可能性。
[6.本揭示之第3實施形態] 接著，對本揭示之第3實施形態進行說明。本揭示之第3實施形態係感測器具有訊框記憶體，利用該訊框記憶體，將RAW資料200與真偽證明用資料210自一個介面輸出之例。
圖16係顯示第3實施形態之感測器之一例之構成之方塊圖。於圖16中，感測器100c具有用於輸出I/F104輸出資料之1個介面131。又，感測器100c於署名處理部1000c中緊接於壓縮處理部1020之後插入訊框記憶體1040，於署名處理部1000c之輸出部設置選擇器1050。再者，感測器100c具備於署名處理部1000c中，將對自像素陣列部101供給之RAW資料200實施特定之資料處理的資料處理部1010，且該資料處理部1010由用於輸出之RAW資料200、與用於產生真偽證明用資料210之RAW資料200之間共通。
於圖16中，自像素陣列部101輸出之RAW資料200於資料處理部1010中被實施特定之資料處理，並供給至選擇器1050與壓縮處理部1020。壓縮處理部1020對供給之RAW資料200實施壓縮資料量之壓縮處理，產生壓縮RAW資料212。壓縮處理部1020將產生之壓縮RAW資料212存儲於訊框記憶體1040。訊框記憶體1040只要具有至少可存儲1訊框量之壓縮RAW資料212之容量即可。
自訊框記憶體1040讀出之壓縮RAW資料212供給至選擇器1050、與署名產生部1021。署名產生部1021基於供給之壓縮RAW資料212產生署名資料213，將產生之署名資料213供給至選擇器1050。
選擇器1050按照通信/感測器控制部105之控制，從自資料處理部1010供給之RAW資料200、自訊框記憶體1040供給之壓縮RAW資料212、及自署名產生部1021供給之署名資料213選擇要輸出之資料，供給至輸出I/F104。
例如，選擇器1050首先選擇自資料處理部1010供給之RAW資料200，將1訊框量之RAW資料200供給至輸出I/F104。輸出I/F104將供給之1訊框量之RAW資料200自介面131輸出。
接著，選擇器1050例如選擇自訊框記憶體1040供給之壓縮RAW資料212，供給至輸出I/F104，進而將自署名產生部1021供給之署名資料213供給至輸出I/F104。輸出I/F104將該等壓縮RAW資料212、署名資料213、及例如自通信/感測器控制部105取得之感測器資訊211匯總作為真偽證明用資料210，自介面131輸出。
如此，第3實施形態之感測器100c必須具有訊框記憶體1040，另一方面，輸出控制變得簡單。
[7.本揭示之第4實施形態] 接著，對本揭示之第4實施形態進行說明。本揭示之第4實施形態係感測器具有訊框記憶體，利用該訊框記憶體，將RAW資料200與真偽證明用資料210自一個介面輸出之例。第4實施形態與上述之第3實施形態之不同點在於訊框記憶體置於資料處理部1010之前。
圖17係顯示第4實施形態之感測器之一例之構成之方塊圖。於圖17中，感測器100d與圖16所示之感測器100c相同，具有用於輸出I/F104輸出資料之1個介面131。另一方面，感測器100d於署名處理部1000d中於資料處理部1010之輸入側設置訊框記憶體1041及選擇器1051。
自像素陣列部101輸出之RAW資料200供給至選擇器1051，且存儲於訊框記憶體1041。選擇器1051按照通信/感測器控制部105之控制，從自像素陣列部101輸出之RAW資料200、與自訊框記憶體1041讀出之RAW資料200選擇要輸出之RAW資料200，供給至資料處理部1010。資料處理部1010對供給之RAW資料200實施特定之資料處理，供給至選擇器1050及壓縮處理部1020。
壓縮處理部1020對供給之RAW資料200實施壓縮資料量之壓縮處理，產生壓縮RAW資料212。壓縮處理部1020將產生之壓縮RAW資料212供給至選擇器1050及署名產生部1021。署名產生部1021基於供給之壓縮RAW資料212產生署名資料213，將產生之署名資料213供給至選擇器1050。
選擇器1050按照通信/感測器控制部105之控制，從自資料處理部1010供給之RAW資料200、自訊框記憶體1040供給之壓縮RAW資料212、及自署名產生部1021供給之署名資料213選擇要輸出之資料，供給至輸出I/F104。
例如，選擇器1050首先選擇自資料處理部1010供給之RAW資料200，將1訊框量之RAW資料200供給至輸出I/F104。輸出I/F104將供給之1訊框量之RAW資料200自介面131輸出。
接著，選擇器1050例如選擇自訊框記憶體1040供給之壓縮RAW資料212，供給至輸出I/F104，進而將自署名產生部1021供給之署名資料213供給至輸出I/F104。輸出I/F104將該等壓縮RAW資料212、署名資料213、及例如自通信/感測器控制部105取得之感測器資訊211匯總作為真偽證明用資料210，自介面131輸出。
產生部1021之署名資料213之產生處理之情形時，按照通信/感測器控制部105之控制，選擇自訊框記憶體1041讀出之RAW資料200。又，與該選擇器1051之選擇對應，選此處，選擇器1051於進行壓縮處理部1020之資料量壓縮處理及署名擇器1050按照通信/感測器控制部105之控制，選擇壓縮處理部1020之輸出，進而選擇署名產生部1021之輸出。
另一方面，選擇器1051於選擇器1050中選擇資料處理部1010之輸出之情形時，按照通信/感測器控制部105之控制，選擇像素陣列部101之輸出。
另，於圖17之例中，雖對署名處理部1000d設置有訊框記憶體1041，但其不限定於此。例如，於像素陣列部101中為了其他處理而設置有訊框記憶體之情形時，亦可將該訊框記憶體用於訊框記憶體1041之用途。例如，於疑似全域快門之構成中，有設置用於存儲像素陣列部101中高速讀出之各像素資料之訊框記憶體，自該訊框記憶體例如於1訊框週期內讀出像素資料之情形。可將該疑似全域快門之訊框記憶體用於訊框記憶體1041之用途。
[8.本揭示之第5實施形態] 接著，對本揭示之第5實施形態進行說明。第5實施形態係於不同之時序執行自像素陣列部101讀出輸出用之RAW資料200、與讀出用以真偽證明用資料210之RAW資料200例。此時，於第5實施形態中係使用電壓保持型之像素，作為像素陣列部101包含之各像素103之例。電壓保持型之像素為了保持藉由曝光而產生之像素信號，可複數次讀出藉由1次曝光產生之像素信號。
(8-1.像素之構成例） 圖18係顯示可應用於第5實施形態之電壓保持型之像素103VD之一例之構成之電路圖。於圖18中，像素103VD具備前段電路510、電容元件521及322、選擇電路530、後段重設電晶體541、及後段電路550。
前段電路510具備光電轉換元件511、傳送電晶體512、FD(Floating Diffusion，浮動擴散層)重設電晶體513、FD514、前段放大電晶體515及電流源電晶體516。
光電轉換元件511係藉由光電轉換產生電荷者。傳送電晶體512係按照來自垂直掃描部400之傳送信號trg，自光電轉換元件511將電荷傳送至FD514者。
FD重設電晶體513係按照來自垂直掃描部400之FD重設信號rst，自FD514提取電荷而進行初始化者。FD514係累積電荷且產生與電荷量相應之電壓者。前段放大電晶體515係放大FD514之電壓位準並輸出至前段節點520者。
又，FD重設電晶體513及前段放大電晶體515之汲極與電源電壓VDD連接。電流源電晶體516與前段放大電晶體515之源極連接。該電流源電晶體516按照垂直掃描部400之控制，供給電流id1。
電容元件521及522各自之一端共通連接於前段節點520，各自之另一端連接於選擇電路530。
選擇電路530具備選擇電晶體531及選擇電晶體532。選擇電晶體531係按照來自垂直掃描部400之選擇信號Φr，開閉電容元件521與後段節點540之間之路徑者。選擇電晶體532係按照來自垂直掃描部400之選擇信號Φ s，開閉電容元件522與後段節點540之間之路徑者。
後段重設電晶體541係按照來自垂直掃描部400之後段重設信號rstb，將後段節點540之位準初始化為特定之電位Vreg者。對於電位Vreg，設定與電源電位VDD不同之電位(例如，低於VDD之電位)。
後段電路550具備後段放大電晶體551及後段選擇電晶體552。後段放大電晶體551係將後段節點540之位準放大者。後段選擇電晶體552係按照來自垂直掃描部400之後段選擇信號selb，將藉由後段放大電晶體551放大位準後之信號作為像素信號輸出至垂直信號線VSL者。
另，作為像素103VD內之各種電晶體(傳送電晶體512等)，例如使用nMOS(n-channel Metal Oxide Semiconductor：n-通道型金屬氧化物半導體)。
垂直掃描部400於曝光開始時向所有像素供給高位準之FD重設信號rst及傳送信號trg。藉此，將光電轉換元件511初始化。以下，將該控制稱為「PD重設」。
且，垂直掃描部400於曝光結束之前一刻，對於所有像素，將後段重設信號rstb及選擇信號Φ r設為高位準，且遍歷脈衝期間供給高位準之FD重設信號rst。藉此，將FD514初始化，與此時之FD514之位準相應之位準保持於電容元件521。以下，將該控制稱為「FD重設」。
以下將FD重設時之FD514之位準、及與該位準對應之位準(電容元件521之保持位準、或垂直信號線VSL之位準)統一稱為「P相」或「重設位準」。
垂直掃描部400於曝光結束時，對於所有像素，將後段重設信號rstb及選擇信號Φ s設為高位準，且遍歷脈衝期間供給高位準之傳送信號trg。藉此，與曝光量相應之信號電荷被傳送至FD514，與此時之FD514之位準相應之位準保持於電容元件522。
以下，將傳送信號電荷時之FD514之位準、及與該位準對應之位準(電容元件522之保持位準、或垂直信號線VSL之位準)統一稱為「D相」或「信號位準」。
如此對所有像素同時開始、結束曝光之曝光控制稱為全域快門方式。藉由該曝光控制，所有像素之前段電路510依序產生重設位準及信號位準。重設位準保持於電容元件521，信號位準保持於電容元件522。
於曝光結束後，垂直掃描部400依序選擇列，依序輸出該列之重設位準及信號位準。於輸出重設位準時，垂直掃描部400將選擇之列之FD重設信號rst及後段選擇信號selb設為高位準，且遍歷特定期間供給高位準之選擇信號Φ r。藉此，將電容元件521連接於後段節點540，讀出重設位準。
於讀出重設位準後，垂直掃描部400保持將選擇之列之FD重設信號rst及後段選擇信號selb設為高位準之狀態不變，遍歷脈衝期間供給高位準之後段重設信號rstb。藉此，將後段節點540之位準初始化。此時，選擇電晶體531及選擇電晶體532兩者均為開狀態，電容元件521及522與後段節點540切離。
於後段節點540之初始化後，垂直掃描部400保持將選擇之列之FD重設信號rst及後段選擇信號selb設為高位準之狀態不變，遍歷特定期間供給高位準之選擇信號Φ s。藉此，將電容元件522連接於後段節點540，讀出信號位準。
藉由上述之讀出控制，選擇之列之選擇電路530依序進行將電容元件521連接於後段節點540之控制、將電容元件521及322與後段節點540切離之控制、及將電容元件522連接於後段節點540之控制。又，將電容元件521及322與後段節點540切離時，選擇之列之後段重設電晶體541將後段節點540之位準初始化。又，選擇之列之後段電路550經由後段節點540自電容元件521及522依序讀出重設位準及信號位準，輸出至垂直信號線VSL。基於該等信號位準與重設位準之差量，可取得像素信號。
如此，於電壓保持型之信號103VD中，重設位準及信號位準保持於電容元件521及522。因此，該像素103VD可自該等電容元件521及522複數次讀出重設位準及信號位準，可分別取得像素信號。另，因像素信號基於保持於電容元件521及522之重設位準及信號位準而產生，故可看作像素信號保持於像素103VD。
(8-2.第5實施形態之構成) 接著，對第5實施形態之感測器之構成例進行說明。圖19係顯示第5實施形態之感測器之一例之構成之方塊圖。於圖19中，感測器100e包含像素陣列部101VD與署名處理部1000e。像素陣列部101VD包含使用上述之像素103VD之像素陣列102VD、與用以驅動像素103VD之像素控制部107VD。
自像素陣列部101VD輸出之RAW資料200被輸入至署名處理部1000e，供給至資料處理部1010。資料處理部1010對供給之RAW資料200實施特定之資料處理，供給至選擇器1050及壓縮處理部1020。
壓縮處理部1020對供給之RAW資料200實施壓縮資料量之壓縮處理，產生壓縮RAW資料212。壓縮處理部1020將產生之壓縮RAW資料212供給至選擇器1050及署名產生部1021。署名產生部1021基於供給之壓縮RAW資料212產生署名資料213，將產生之署名資料213供給至選擇器1050。
選擇器1050按照通信/感測器控制部105之控制，從自資料處理部1010供給之RAW資料200、自訊框記憶體1040供給之壓縮RAW資料212、及自署名產生部1021供給之署名資料213選擇要輸出之資料，供給至輸出I/F104。輸出I/F104將供給之資料自介面131輸出。
此處，像素103VD可複數次讀出以1次曝光產生之像素信號。另一方面，自像素103VD讀出之像素信號於每次讀出時受開關之雜訊之影響，品質劣化。又，雖真偽證明用資料210不重視畫質，但例如由壓縮處理部1020與資料量之壓縮處理一起求得像素資料之加法平均等之處理，藉此可降低雜訊。
感測器100e基於該等像素103VD之特性，由選擇器1050選擇基於對1次曝光最初讀出之像素信號之RAW資料200，並自介面131輸出(1st)。接著，感測器100e由選擇器1050選擇壓縮RAW資料212與署名資料213，附加感測器資訊211作為真偽證明用資料210輸出(2nd)，上述壓縮RAW資料212係由壓縮處理部1020壓縮基於對該曝光再次讀出之像素信號之RAW資料200之資料量者，上述署名資料213係由署名產生部1021基於該壓縮RAW資料212產生者。
如此，於第5實施形態中，將基於對1次曝光自各像素103VD最初讀出之像素信號之RAW資料200自介面131輸出。接著，基於對該曝光自各像素103VD再次讀出之像素信號，產生壓縮RAW資料212及署名資料213，輸出真偽證明用資料210。藉此，可以高畫質輸出RAW資料200，且可輸出基於藉由與該RAW資料200相同之曝光而再次產生之像素信號之真偽證明用資料210。
又，各像素103VD因重設位準及信號位準保持於電容元件521及522，故可將像素陣列102VD之整體看作訊框記憶體，無需另外設置訊框記憶體。
[9.本揭示之第6實施形態] 接著，對本揭示之第6實施形態進行說明。第6實施形態係連續進行2訊框量之攝像之例。於該情形時，例如將藉由第1次之攝像獲得之RAW資料200自介面131輸出。接著，基於藉由第2次攝像獲得之RAW資料200，產生壓縮RAW資料212及署名資料213，作為真偽證明用資料210輸出。於被攝體無急遽之情景變化之前提下，連續拍攝之2個圖像可看作相同，可使用基於第2次之攝像之真偽證明用資料210，執行基於第1次攝像之RAW資料200之真偽證明。
圖20係顯示第6實施形態之感測器之一例之構成之方塊圖。圖20所示之感測器100f於像素陣列部101中，除使用非電壓保持型之像素103以外，皆具有與圖19所示之感測器100e相同之構成。
於圖20之例中，感測器100f將於第n訊框拍攝之RAW資料200自介面131輸出(Frame#n)。且，感測器100f將基於下一個第(n+1)訊框拍攝之RAW資料200之壓縮RAW資料212、與基於該壓縮RAW資料212而產生之署名資料213，附加感測器資訊211作為真偽證明用資料210自介面131輸出。
另，並非限於此例，感測器100f亦可將真偽證明用資料210於第n訊框輸出，於下一個第(n+1)輸出RAW資料200。
如此，於第6實施形態中，感測器100f將用以輸出RAW資料200之攝像、與用以產生、輸出真偽證明用資料210之攝像分開。因此，即使為將RAW資料200與真偽證明用資料210自一個介面131輸出之構成，亦無需設置訊框記憶體。
[10.本揭示之第7實施形態] 接著，對本揭示之第7實施形態進行說明。第7實施形態係使用上述之第1實施形態～第6實施形態中自相機10(感測器100a～100f)輸出之真偽證明用資料210，進行輸出圖像資料230之真偽證明之例。
(10-1.關於第7實施形態之用以進行圖像之真偽證明之系統構成) 對第7實施形態之用以進行圖像之真偽證明之系統構成，概略性進行說明。圖21係用以說明圖像之真偽證明之執行例之模式圖。自應用各實施形態之相機10輸出之輸出圖像資料230最終藉由登載該輸出圖像資料230之人(組織)、或基於該輸出圖像資料230進行證據判斷之人(組織)等，進行真偽證明。該真偽證明比較與該輸出圖像資料230建立關聯，自相機10輸出之真偽證明用資料210所包含之壓縮RAW資料212之圖像、與該輸出圖像資料230之圖像而進行。
輸出圖像資料230例如藉由報社、電視局、新聞網站等之報導媒體50公開。報導媒體50或第三方機關取得輸出圖像資料230、及與該輸出圖像資料230對應之真偽證明用資料210，將基於真偽證明用資料210所包含之壓縮RAW資料212證明為真物(未經篡改)之輸出圖像資料230例如作為新聞圖像公開。
輸出圖像資料230於另一例中，藉由SNS(Social Networking Service)對帳戶保持者公開。SNS管理者51或第三方機關取得輸出圖像資料230、及與該輸出圖像資料230對應之真偽證明用資料210，將基於真偽證明用資料210所包含之壓縮RAW資料212證明為真物(未經篡改)之輸出圖像資料230「保證為真物(未經篡改)」登載於SNS。
輸出圖像資料230進而於另一例中，由公共機關52用於證據圖像或證明圖像等。作為該情形之公共機關52，可考慮法庭或護照之發行官廳(外務省等)。公共機關52例如僅認可與署名資料213建立關聯，且證明為真物(未經篡改)之輸出圖像資料230之圖像為公共證明之文件。
圖22係概略性顯示第7實施形態之用以進行圖像之真偽證明之系統構成之模式圖。
於圖22中，相機10輸出輸出圖像資料230、與真偽證明用資料210。其中真偽證明用資料210所包含之壓縮RAW資料212及署名資料213例如經由網際網路發送至雲計算服務60，存儲於雲計算服務60內之伺服器。報導媒體50、SNS管理者51或公共機關52存取雲計算服務60，可取得存儲於伺服器之壓縮RAW資料212及署名資料213。
另一方面，自相機10輸出之輸出圖像資料230附加有顯示與該輸出圖像資料230對應之署名資料213、及顯示與對應於該輸出圖像資料230之壓縮RAW資料212之關聯之關聯資料214，作為真偽證明用資料240移交至報導媒體50、SNS管理者51或公共機關52。此時，真偽證明用資料240使用與其他輸出圖像資料230對應之真偽證明用資料240、與已知之區塊鏈等之技術，以不可改變之狀態連結。
報導媒體50、SNS管理者51或公共機關52自該連結之各真偽證明用資料240取得期望之真偽證明用資料240。報導媒體50、SNS管理者51或公共機關52基於取得之真偽證明用資料240所包含之關聯資料214，取得存儲於雲計算服務60內之伺服器之與該真偽證明用資料240對應之壓縮RAW資料212及署名資料213。
報導媒體50、SNS管理者51或公共機關52基於自雲計算服務60取得之署名資料213，確認與該署名資料213一起取得之壓縮RAW資料212未經篡改。
報導媒體50、SNS管理者51或公共機關52如圖23概略性顯示，比較基於署名資料213確認為未經篡改之壓縮RAW資料212、與取得之真偽證明用資料240所包含之輸出圖像資料230，進行該輸出圖像資料230之真偽證明。例如，報導媒體50、SNS管理者51或公共機關52求得壓縮RAW資料212與輸出圖像資料230之類似度，基於求得之類似度，進行輸出圖像資料230之真偽證明。
報導媒體50、SNS管理者51或公共機關52登載藉由該真偽證明而證明為真物(未經篡改)之輸出圖像資料230，或者作為證據圖像或證明圖像使用。
(10-2.關於第7實施形態之圖像之比較處理) 接著，對第7實施形態之輸出圖像資料230與壓縮RAW資料212之比較處理，更具體地進行説明。雖對於圖像之比較，可考慮各種方法，但此處，作為圖像之比較方法，對基於圖像所包含之物體之邊緣(輪廓)之第1比較方法、與使用圖像之顏色資訊之第2比較方法進行說明。
(關於第1比較方法) 對第1比較方法進行說明。於第1比較方法中，於進行比較時，首先，進行將壓縮RAW資料212之圖像尺寸與進行真偽證明之對象之輸出圖像資料230之圖像之尺寸匹配之處理。
例如，壓縮RAW資料212於使用圖10說明之藉由將特定數量之像素103匯總為1個像素之第1壓縮方法，壓縮資料量之情形時，將壓縮RAW資料212之圖像之垂直及水平方向各者之尺寸使用線性內插等放大。藉由對該垂直及水平方向各者之放大處理，將壓縮RAW資料212之圖像之尺寸與輸出圖像資料230之圖像之尺寸匹配。
又，例如，壓縮RAW資料212於藉由使用圖11說明之進行列稀疏化之第2壓縮方法壓縮資料量之情形時，將壓縮RAW資料212之圖像之垂直方向之尺寸使用線性內插等放大。藉由對該垂直方向之放大處理，將壓縮RAW資料212之圖像之尺寸與輸出圖像資料230之圖像之尺寸匹配。
另一方面，壓縮RAW資料212於藉由使用圖12說明之削減每個像素之位元數之第3壓縮方法壓縮資料量之情形時，因參照圖像之尺寸與對象圖像之尺寸相同，故無需尺寸匹配處理。
圖24係用以說明可應用於第7實施形態之基於圖像所包含之物體之邊緣(輪廓)之第1比較方法之圖。
於圖24中，部分(a)模式性顯示如上述般進行尺寸匹配之壓縮RAW資料212resize之圖像之例。又，部分(b)顯示輸出圖像資料230之圖像之例。因壓縮RAW資料212resize未實施解馬賽克處理，故目測時之外觀與部分(b)所示之輸出圖像資料230之圖像不同。
如圖24之部分(a)及(b)所示，於壓縮RAW資料212resize之圖像、與輸出圖像資料230之圖像包含有相同之物體70。
如圖24之部分(a)所示，對壓縮RAW資料212resize之圖像，使用已知之邊緣檢測方法，檢測圖像所包含之物體70之邊緣71a。作為邊緣檢測方法之例，已知有一種使用Sobel濾光片等1階微分濾光片之方法。相同地，如部分(b)所示，對輸出圖像資料230之圖像，檢測圖像所包含之物體70之邊緣71b。
對自壓縮RAW資料212resize之圖像檢測出之邊緣71a、及自輸出圖像資料230之圖像檢測出之邊緣71b各者，計算特徵量。基於邊緣71a之特徵量、與邊緣71b之特徵量，例如擷取兩者之差量，藉此可求得邊緣71a與邊緣71b之類似度。於求得之類似度為閾值以上之情形時，判定為輸出圖像資料230之圖像為真物(未經篡改)。
(關於第2比較方法) 對第2比較方法進行說明。於第2比較方法中，於進行比較時，首先，對壓縮RAW資料212實施解馬賽克處理，將壓縮RAW資料212之圖像之顏色資訊復原。比較復原該顏色資訊後之壓縮RAW資料212之圖像之顏色資訊、與輸出圖像資料230之圖像之顏色資訊。
圖25係用以說明可應用於第7實施形態之使用圖像之顏色資訊之第2比較方法之圖。於第2比較方法中，對圖25之部分(a)所示之壓縮RAW資料212實施解馬賽克處理且復原顏色資訊，進而如於第1比較方法中說明般，對壓縮RAW資料212之圖像實施放大處理等，將該圖像之尺寸與輸出圖像資料230之圖像之尺寸匹配。圖25之部分(b)顯示對壓縮RAW資料212實施解馬賽克處理及尺寸匹配處理後之壓縮RAW資料212dem之圖像之例。
比較該壓縮RAW資料212dem之顏色資訊、與圖25之部分(c)所示之輸出圖像資料230之顏色資訊，求得壓縮RAW資料212dem與輸出圖像資料230之類似度。例如，對於壓縮RAW資料212dem及輸出圖像資料230各者，計算顏色資訊相關之特徵量。基於壓縮RAW資料212dem顏色資訊之特徵量、與輸出圖像資料230之顏色資訊之特徵量，例如擷取兩者之差量，可求得壓縮RAW資料212dem與輸出圖像資料230之類似度。於求得之類似度為閾值以上之情形時，判定為輸出圖像資料230之圖像為真物(未經篡改)。
另，於該第2比較方法中，亦可組合基於顏色資訊之比較、與第1比較方法之基於物體之邊緣之比較而執行。
又，上述之第1及第2比較方法皆藉由使用CPU(Central processing Unit)等處理器之運算而執行。不限定於該例，亦可藉由目測比較壓縮RAW資料212之圖像、與輸出圖像資料230之圖像，進行輸出圖像資料230之真偽證明。於該情形時，壓縮RAW資料212之圖像較佳為使用對該壓縮RAW資料212至少實施解馬賽克處理，且復原顏色資訊之圖像。
另，本說明書所記載之效果僅為例示，並非限定者，亦可為其他效果。
另，本技術亦可採取如下之構成。 (1) 一種攝像裝置，其具備： 像素陣列部，其包含以矩陣狀之排列配置且各自產生與藉由曝光接受到之光相應之像素信號的複數個像素，取得由上述複數個像素產生之上述像素信號各者之圖像資料； 壓縮部，其壓縮上述圖像資料之資料量而產生壓縮圖像資料； 署名產生部，其基於上述壓縮圖像資料，產生署名資料； 輸出部，其輸出上述圖像資料、與對上述壓縮圖像資料附加有上述署名資料之真偽證明用資料。 (2) 如上述(1)之攝像裝置，其中 上述輸出部包含： 第1輸出端，其輸出上述圖像資料；及 第2輸出端，其輸出上述真偽證明用資料。 (3) 如上述(1)之攝像裝置，其中 上述輸出部包含以上述矩陣狀排列中之列方向之列單位記憶上述圖像資料之列記憶體，且 將上述圖像資料、與上述真偽證明用資料使用上述列記憶體以上述列單位分時地自輸出端輸出。 (4) 如上述(1)之攝像裝置，其進而具備： 訊框記憶體，其記憶與至少1訊框之上述圖像資料對應之上述壓縮圖像資料；且 上述署名產生部基於記憶於上述訊框記憶體之上述壓縮圖像資料，產生上述署名資料， 上述輸出部 將上述1訊框之上述圖像資料自輸出端輸出，且 自上述輸出端輸出：將基於記憶於上述訊框記憶體之上述壓縮圖像資料產生之上述署名資料附加於該壓縮圖像資料之上述真偽證明用資料。 (5) 如上述(1)之攝像裝置，其進而具備： 訊框記憶體，其記憶由上述像素陣列部取得之至少1訊框之上述圖像資料；且 上述壓縮部基於記憶於上述訊框記憶體之上述圖像資料，產生上述壓縮圖像資料， 上述輸出部將由上述像素陣列部取得之上述圖像資料自輸出端輸出， 將上述真偽證明用資料自上述輸出端輸出，該真偽證明用資料係由上述壓縮部使用記憶於上述訊框記憶體之上述圖像資料，產生上述壓縮圖像資料，由上述署名產生部基於該壓縮圖像資料產生上述署名資料，且將上述署名資料附加於該壓縮圖像資料而得者。 (6) 如上述(1)之攝像裝置，其中 上述複數個像素各者係具有保持與接受到之光相應之上述像素信號之保持部的電壓保持型像素， 上述壓縮部基於被保持於上述複數個像素各自具有之上述保持部之上述像素信號之上述圖像資料，產生上述壓縮圖像資料， 上述輸出部將自上述複數個像素各自具有之上述保持部讀出之上述圖像信號之上述圖像資料自輸出端輸出， 將上述真偽證明用資料自上述輸出端輸出，該真偽證明用資料係由上述壓縮部使用自上述上述複數個像素各自具有之上述保持部再次讀出之上述像素信號之上述圖像資料，產生上述壓縮圖像資料，由上述署名產生部基於該壓縮圖像資料而產生上述署名資料，且將上述署名資料附加於該壓縮圖像資料者。 (7) 如上述(1)之攝像裝置，其中 上述輸出部將藉由第1曝光產生之上述像素信號之上述圖像資料自輸出端輸出， 將藉由接續上述第1曝光之第2曝光而產生之上述像素信號之上述圖像資料自上述輸出端輸出。 (8) 如上述(1)至(7)中任一項之攝像裝置，其中 上述像素陣列部對於上述複數個像素各者，按照特定之圖案設置光學特性不同之複數種光學濾光片， 上述壓縮部對上述複數像素中、設置上述種類所對應之上述光學濾光片且於上述排列中配置之位置接近之特定數量之每個像素，將像素信號相加，將上述特定數量之像素匯總為1個像素，藉此壓縮上述圖像資料之上述資料量。 (9) 如上述(1)至(8)中任一項之攝像裝置，其中 上述壓縮部藉由刪除基於上述圖像資料所包含之上述複數個像素各者之像素信號的像素資料之下階位元，削減該像素資料之位元數，而壓縮上述圖像資料之上述資料量。 (10) 如上述(9)之攝像裝置，其中 上述壓縮部刪除經實施灰階壓縮處理之上述像素資料之上述下階位元。 (11) 如上述(1)至(10)中任一項之攝像裝置，其中 上述壓縮部基於圖像之連續性，壓縮上述圖像資料之上述資料量。 (12) 如上述(1)至(11)中任一項之攝像裝置，其中 上述壓縮部藉由對上述圖像資料以像素單位進行稀疏化，而壓縮上述圖像資料之上述資料量。 (13) 如上述(12)之攝像裝置，其中 上述壓縮部對上述圖像資料以上述矩陣狀之排列中之列方向之列單位進行稀疏化。 (14) 如上述(13)之攝像裝置，其中 上述像素陣列部對上述複數個像素各者，按照特定之圖案設置光學特性不同之複數種之光學濾光片， 上述壓縮部按照上述特定之圖案之上述矩陣狀排列中之行方向之重複，以列單位進行稀疏化。 (15) 如上述(1)至(14)中任一項之攝像裝置，其中 上述像素陣列部、上述壓縮部、上述署名產生部及上述輸出部一體構成。 (16) 如上述(15)之攝像裝置，其包含以下而構成： 供配置上述像素陣列部之第1晶片；及 第2晶片，其供配置上述壓縮部、上述署名產生部及上述輸出部，且與上述第1晶片貼合。 (17) 一種攝像方法，其由處理器執行，且具有以下步驟： 取得步驟，其取得藉由包含以矩陣狀排列且各自產生與接受到之光相應之像素信號之複數個像素的像素陣列部取得之、由上述複數個像素產生之上述圖像信號各者之圖像資料； 壓縮步驟，其壓縮上述圖像資料之資料量而產生壓縮圖像資料； 署名產生步驟，其基於上述壓縮圖像資料，產生署名資料；及 輸出步驟，其輸出上述圖像資料、與對上述壓縮圖像資料附加有上述署名資料之真偽證明用資料。
10:相機 33:圖像 34:物體 35:圖像 36:人 50:報導媒體 51:SNS管理者 52:公共機關 60:雲計算服務 70:物體 71a:邊緣 71b:邊緣 100:感測器 100a～100f:感測器 101:像素陣列部 101VD:像素陣列部 102:像素陣列 102VD:像素陣列 103:像素 103B:像素 103B add:像素 103G:像素 103G add:像素 103R:像素 103R 1～103R 4:像素 103R add:像素 103VD:像素 104:輸出I/F 105:通信/感測器控制部 107:像素控制部 107VD:像素控制部 108: ADC 110:整體控制部 120:圖像處理部 130:像素 131:介面 132:介面 200: RAW資料 210:真偽證明用資料 211:感測器資訊 212:壓縮RAW資料 212dem:壓縮RAW資料 212resize:壓縮RAW資料 213:署名資料 214:關聯資料 230:輸出圖像資料 240:真偽證明用資料 300:原始圖像 301:圖像 302a:圖像 302b:圖像 303a:訊框 303b:訊框 304:物體 400:垂直掃描部 401:控制部 402:水平掃描/AD轉換部 510:前段電路 511:光電轉換元件 512:傳送電晶體 513:FD重設電晶體 514:FD 515:前段放大電晶體 516:電流源電晶體 520:前段節點 521:電容元件 522:電容元件 530:選擇電路 531:選擇電晶體 532:選擇電晶體 540:後段節點 541:後段重設電晶體 550:後段電路 551:後段放大電晶體 552:後段選擇電晶體 1000:署名處理部 1000a～1000e:署名處理部 1010:資料處理部 1010a:資料處理部 1010b:資料處理部 1020:壓縮處理部 1021:署名產生部 1030:仲裁器 1031:列記憶體 1040:訊框記憶體 1041:訊框記憶體 1050:選擇器 1051:選擇器 2000:相機 2100:感測器 2110:像素陣列部 2111:署名產生處理 2112:秘密密鑰 2120:圖像處理部 2121:公開密鑰 2200: RAW資料 2210:署名資料 2220:感測器資訊 2230:輸出圖像資料 3020a:像素部 3020b:記憶體+邏輯部 3020c:記憶體部 3020d:邏輯部 HCTL:像素信號線 Hsync:水平同步信號 id1:電流 L#1～L#7:列資料 rst:FD重設信號 rstb:後段重設信號 selb:後段選擇信號 trg:傳送信號 VDD:電源電壓 VDD:電源電位 Vreg:電位 VSL:垂直信號線 Φ r:選擇信號 Φ s:選擇信號
圖1係顯示既存技術之假圖像產生之例之模式圖。 圖2(a)、(b)係顯示既存技術之假圖像產生之例之模式圖。 圖3A係概略性顯示既存技術之使用將署名資料附加於圖像資料並輸出之感測器之相機之構成例的模式圖。 圖3B係用以說明既存技術中進行對於輸出圖像資料之真偽證明之例之圖。 圖4係概略性顯示可應用於各實施形態之相機之一例之構成之方塊圖。 圖5係顯示可應用於各實施形態之像素陣列部之一例之構成之方塊圖。 圖6係顯示一般所使用之拜耳排列之例之圖。 圖7A係顯示將各實施形態之像素陣列部藉由2層構造之積層型CIS而形成之例之圖。 圖7B係顯示將各實施形態之像素陣列部藉由3層構造之積層型CIS而形成之例之圖。 圖8係用以說明各實施形態之概要之模式圖。 圖9係顯示第1實施形態之感測器之一例之構成之方塊圖。 圖10(a)、(b)係用以說明可應用於第1實施形態之資料量之第1壓縮方法之模式圖。 圖11(a)～(c)係用以說明可應用於第1實施形態之資料量之第2壓縮方法之模式圖。 圖12(a)、(b)係用以說明可應用於第1實施形態之資料量之第3壓縮方法之模式圖。 圖13A係顯示可應用於第1實施形態之根據真偽證明之對象而變更壓縮RAW資料之壓縮率之例之模式圖。 圖13B係顯示可應用於第1實施形態之根據真偽證明之對象而變更壓縮RAW資料之壓縮率之例之模式圖。 圖14係顯示第2實施形態之感測器之一例之構成之方塊圖。 圖15係顯示第2實施形態之資料之輸出處理之例之順序圖。 圖16係顯示第3實施形態之感測器之一例之構成之方塊圖。 圖17係顯示第4實施形態之感測器之一例之構成之方塊圖。 圖18係顯示可應用於第5實施形態之電壓保持型之像素之一例之構成之電路圖。 圖19係顯示第5實施形態之感測器之一例之構成之方塊圖。 圖20係顯示第6實施形態之感測器之一例之構成之方塊圖。 圖21係用以說明圖像之真偽證明之執行例之模式圖。 圖22係概略性顯示第7實施形態之用以進行圖像之真偽證明之系統構成之模式圖。 圖23係用以概略性說明第7實施形態之圖像之真偽證明之圖。 圖24(a)、(b)係用以說明可應用於第7實施形態之基於圖像所包含之物體之邊緣(輪廓)之第1比較方法之圖。 圖25(a)～(c)係用以說明可應用於第7實施形態之使用圖像之顏色資訊之第2比較方法之圖。
100a:感測器
101:像素陣列部
102:像素陣列
104:輸出I/F
105:通信/感測器控制部
107:像素控制部
108:ADC
130:像素
131:介面
132:介面
200:RAW資料
210:真偽證明用資料
211:感測器資訊
212:壓縮RAW資料
213:署名資料
1000a:署名處理部
1010a:資料處理部
1010b:資料處理部
1020:壓縮處理部
1021:署名產生部

Claims (17)

  1. 一種攝像裝置，其具備： 像素陣列部，其包含以矩陣狀之排列配置且各自產生與藉由曝光接受到之光相應之像素信號的複數個像素，取得由上述複數個像素產生之上述像素信號各者之圖像資料； 壓縮部，其壓縮上述圖像資料之資料量而產生壓縮圖像資料； 署名產生部，其基於上述壓縮圖像資料，產生署名資料；及 輸出部，其輸出上述圖像資料、與對上述壓縮圖像資料附加上述署名資料之真偽證明用資料。
  2. 如請求項1之攝像裝置，其中 上述輸出部包含： 第1輸出端，其輸出上述圖像資料；及 第2輸出端，其輸出上述真偽證明用資料。
  3. 如請求項1之攝像裝置，其中 上述輸出部包含以上述矩陣狀排列中之列方向之列單位記憶上述圖像資料之列記憶體，且 將上述圖像資料、與上述真偽證明用資料使用上述列記憶體以上述列單位分時地自輸出端輸出。
  4. 如請求項1之攝像裝置，其進而具備： 訊框記憶體，其記憶與至少1訊框之上述圖像資料對應之上述壓縮圖像資料；且 上述署名產生部基於記憶於上述訊框記憶體之上述壓縮圖像資料，產生上述署名資料， 上述輸出部 將上述1訊框之上述圖像資料自輸出端輸出，且 自上述輸出端輸出：將基於記憶於上述訊框記憶體之上述壓縮圖像資料產生之上述署名資料附加於該壓縮圖像資料之上述真偽證明用資料。
  5. 如請求項1之攝像裝置，其進而具備： 訊框記憶體，其記憶由上述像素陣列部取得之至少1訊框之上述圖像資料；且 上述壓縮部基於記憶於上述訊框記憶體之上述圖像資料，產生上述壓縮圖像資料， 上述輸出部將由上述像素陣列部取得之上述圖像資料自輸出端輸出， 將上述真偽證明用資料自上述輸出端輸出，該真偽證明用資料係由上述壓縮部使用記憶於上述訊框記憶體之上述圖像資料產生上述壓縮圖像資料，由上述署名產生部基於該壓縮圖像資料產生上述署名資料，且將上述署名資料附加於該壓縮圖像資料者。
  6. 如請求項1之攝像裝置，其中 上述複數個像素各者係具有保持與接受到之光相應之上述像素信號之保持部的電壓保持型像素， 上述壓縮部基於被保持於上述複數個像素各自具有之上述保持部之上述像素信號之上述圖像資料，產生上述壓縮圖像資料， 上述輸出部將自上述複數個像素各自具有之上述保持部讀出之上述圖像信號之上述圖像資料自輸出端輸出， 將上述真偽證明用資料自上述輸出端輸出，該真偽證明用資料係由上述壓縮部使用自上述複數個像素各自具有之上述保持部再次讀出之上述像素信號之上述圖像資料，產生上述壓縮圖像資料，由上述署名產生部基於該壓縮圖像資料而產生上述署名資料，且將上述署名資料附加於該壓縮圖像資料者。
  7. 如請求項1之攝像裝置，其中 上述輸出部將藉由第1曝光產生之上述像素信號之上述圖像資料自輸出端輸出， 將藉由接續上述第1曝光之第2曝光而產生之上述像素信號之上述圖像資料自上述輸出端輸出。
  8. 如請求項1之攝像裝置，其中 上述像素陣列部對於上述複數個像素各者，按照特定之圖案設置光學特性不同之複數種光學濾光片， 上述壓縮部對上述複數像素中、設置上述種類所對應之上述光學濾光片且於上述排列中配置之位置接近之特定數量之每個像素，將像素信號相加，將上述特定數量之像素匯總為1個像素，藉此壓縮上述圖像資料之上述資料量。
  9. 如請求項1之攝像裝置，其中 上述壓縮部藉由刪除基於上述圖像資料所包含之上述複數個像素各者之像素信號的像素資料之下階位元，削減該像素資料之位元數，而壓縮上述圖像資料之上述資料量。
  10. 如請求項9之攝像裝置，其中 上述壓縮部刪除經實施灰階壓縮處理之上述像素資料之上述下階位元。
  11. 如請求項1之攝像裝置，其中 上述壓縮部基於圖像之連續性，壓縮上述圖像資料之上述資料量。
  12. 如請求項1之攝像裝置，其中 上述壓縮部藉由對上述圖像資料以像素單位進行稀疏化，而壓縮上述圖像資料之上述資料量。
  13. 如請求項12之攝像裝置，其中 上述壓縮部對上述圖像資料以上述矩陣狀之排列中之列方向之列單位進行稀疏化。
  14. 如請求項13之攝像裝置，其中 上述像素陣列部對上述複數個像素各者，按照特定之圖案設置光學特性不同之複數種光學濾光片， 上述壓縮部按照上述特定之圖案之上述矩陣狀排列中之行方向之重複，以列單位進行稀疏化。
  15. 如請求項1之攝像裝置，其中 上述像素陣列部、上述壓縮部、上述署名產生部及上述輸出部一體構成。
  16. 如請求項15之攝像裝置，其包含以下而構成： 供配置上述像素陣列部之第1晶片；及 第2晶片，其供配置上述壓縮部、上述署名產生部及上述輸出部，且與上述第1晶片貼合。
  17. 一種攝像方法，其由處理器執行，且具有以下步驟： 取得步驟，其取得藉由包含以矩陣狀排列且各自產生與接受到之光相應之像素信號之複數個像素的像素陣列部取得之、由上述複數個像素產生之上述圖像信號各者之圖像資料； 壓縮步驟，其壓縮上述圖像資料之資料量而產生壓縮圖像資料； 署名產生步驟，其基於上述壓縮圖像資料，產生署名資料；及 輸出步驟，其輸出上述圖像資料、與對上述壓縮圖像資料附加有上述署名資料之真偽證明用資料。
TW111100807A 2021-02-08 2022-01-07 攝像裝置及攝像方法 TW202236837A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-018592 2021-02-08
JP2021018592 2021-02-08

Publications (1)

Publication Number Publication Date
TW202236837A true TW202236837A (zh) 2022-09-16

Family

ID=82741743

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111100807A TW202236837A (zh) 2021-02-08 2022-01-07 攝像裝置及攝像方法

Country Status (7)

Country Link
US (1) US20240121419A1 (zh)
EP (1) EP4290854A1 (zh)
JP (1) JPWO2022168659A1 (zh)
KR (1) KR20230145056A (zh)
CN (1) CN116783895A (zh)
TW (1) TW202236837A (zh)
WO (1) WO2022168659A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4564708B2 (ja) * 2002-09-24 2010-10-20 キヤノン株式会社 撮像装置
JP5018504B2 (ja) * 2008-01-21 2012-09-05 株式会社ニコン データ処理装置，撮像装置，データ処理プログラム
JP5845464B2 (ja) * 2011-05-31 2016-01-20 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2017184198A (ja) 2016-03-31 2017-10-05 ソニー株式会社 イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法

Also Published As

Publication number Publication date
US20240121419A1 (en) 2024-04-11
KR20230145056A (ko) 2023-10-17
CN116783895A (zh) 2023-09-19
WO2022168659A1 (ja) 2022-08-11
EP4290854A1 (en) 2023-12-13
JPWO2022168659A1 (zh) 2022-08-11

Similar Documents

Publication Publication Date Title
JP7218399B2 (ja) 固体撮像装置およびその製造方法、並びに電子機器
US8878959B2 (en) Solid-state imaging device, signal processing method of solid-state imaging device, and electronic apparatus
US10142563B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
CN111669524B (zh) 固态摄像装置、固态摄像装置的驱动方法、以及电子设备
JP2022000994A (ja) 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム
CN108337458B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
TW201228382A (en) Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11589059B2 (en) Video compression apparatus, electronic apparatus, and video compression program
KR20200074101A (ko) 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법
WO2019078340A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
JP4414901B2 (ja) カラー画像生成方法
US7643079B2 (en) Control circuit for reading out signal charges from main and subsidiary pixels of a solid-state image sensor separately from each other in interlace scanning
JP4621484B2 (ja) 固体撮像素子
TW202236837A (zh) 攝像裝置及攝像方法
TWI272840B (en) Imaging equipment, imaging component, control method thereof
WO2016052434A1 (ja) 電子機器、再生装置、再生方法、記録媒体および記録方法
WO2016052433A1 (ja) 電子機器、再生装置、再生方法、記録媒体および記録方法
US20220132062A1 (en) Image sensors with a physical unclonable function
WO2016052436A1 (ja) 電子機器、再生装置、再生方法、記録媒体および記録方法
US20220247950A1 (en) Image capture element and image capture apparatus
JP2016072865A (ja) 電子機器、記録媒体、記録プログラムおよび記録方法
WO2022091698A1 (ja) 撮像装置及び情報処理装置
JP4902308B2 (ja) 撮像素子
US20210136406A1 (en) Video compression apparatus, decompression apparatus and recording medium
US20200322627A1 (en) Video compression apparatus, electronic apparatus, and video compression program