TW202234875A - 攝像裝置及攝像方法 - Google Patents

攝像裝置及攝像方法 Download PDF

Info

Publication number
TW202234875A
TW202234875A TW111101229A TW111101229A TW202234875A TW 202234875 A TW202234875 A TW 202234875A TW 111101229 A TW111101229 A TW 111101229A TW 111101229 A TW111101229 A TW 111101229A TW 202234875 A TW202234875 A TW 202234875A
Authority
TW
Taiwan
Prior art keywords
signature
data
signature data
image data
output
Prior art date
Application number
TW111101229A
Other languages
English (en)
Inventor
馬原久美子
秋下徹
山本弘毅
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202234875A publication Critical patent/TW202234875A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/0825—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) using asymmetric-key encryption or public key infrastructure [PKI], e.g. key signature or public key certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本發明之課題在於提供一種能夠在抑制對圖框率之影響下輸出可進行真偽證明之動態圖像之攝像裝置及攝像方法。 本揭示之攝像裝置包含：像素陣列部，該像素陣列部包含以矩陣狀之排列而配置、且各自藉由曝光而產生與接收到之光相應之像素信號的複數個像素，並以圖框週期輸出在複數個像素中產生之像素信號各者之圖像資料；簽章產生部，其基於圖像資料而產生簽章資料；及輸出控制部，其控制圖像資料及簽章資料之輸出；且簽章產生部對以圖框週期輸出之圖像資料，以基於圖框週期之抽除單位進行抽除而產生簽章資料。

Description

攝像裝置及攝像方法
本揭示係關於一種攝像裝置及攝像方法。
近年來，伴隨著圖像之加工技術之提高，圖像之真偽證明乃屬重要。為了進行真偽證明而證明圖像為真實圖像(未被篡改)，考量對由感測器拍攝到之圖像在感測器內附加簽章、並輸出至感測器外之方法。例如，基於由感測器拍攝到之RAW資料而產生簽章資料，將附加有該簽章資料之RAW資料輸出至感測器外。被輸出至感測器外之RAW資料，一般而言被施加對比度調整或壓縮編碼處理等之圖像處理，而用作處理圖像。於專利文獻1中，記載一種將簽章資訊與圖像資訊建立關聯並輸出之影像感測器。
RAW資料可基於經附加之簽章資料證明為真實。因此，藉由在感測器外，對將該RAW資料圖像處理而得之處理圖像、與該RAW資料之圖像進行比較，而可判定有無對該處理圖像之篡改。於該真偽證明方法中，除了保持經圖像處理而得之處理圖像外，亦保持用於表示該處理圖像未被篡改之RAW資料及其簽章。
於自感測器輸出RAW資料及其簽章時，為了確保簽章之安全性，較佳的是對簽章施加加密處理。該情形下，加密方式中之在加密與解碼時使用共用密鑰之共用密鑰方式，由於在確認圖像側持有與感測器側相同之密鑰，因此不適宜作為用於防止篡改之加密方式。相對於此，公鑰加密方式在感測器側與確認側使用不同之密鑰，因此適宜作為用於篡改之加密方式。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2017-184198號公報
[發明所欲解決之課題]
已知公鑰加密方式與共用密鑰方式相比，加密需要更長時間。因此，例如在對動態圖像應用上述之真偽證明方法、使用公鑰加密方式將簽章加密時，有動態圖像之圖框率成為簽章之處理時間速率之虞。
本揭示之目的在於提供一種可在抑制對圖框率之影響下輸出可進行真偽證明之動態圖像之攝像裝置及攝像方法。 [解決課題之技術手段]
本揭示之攝像裝置包含：像素陣列部，其包含以矩陣狀之排列而配置、且各自藉由曝光而產生與接收到之光相應之像素信號的複數個像素，並以圖框週期輸出在複數個像素中產生之像素信號各者之圖像資料；簽章產生部，其基於圖像資料而產生簽章資料；及輸出控制部，其控制圖像資料及簽章資料之輸出；且簽章產生部對以圖框週期輸出之圖像資料，以基於圖框週期之抽除單位進行抽除而產生簽章資料。
以下，基於圖式對於本揭示之實施形態詳細地進行說明。再者，在以下之實施形態中，藉由對於同一部位賦予同一符號而省略重複之說明。
以下，依照下述順序對於本揭示之實施形態進行說明。 1. 既有技術 2. 可適用於各實施形態之技術 2-1. 可適用於各實施形態之構成 2-2. 可適用於各實施形態之輸出資料格式 3. 本揭示之各實施形態之概要 4. 本揭示之第1實施形態 4-1. 第1實施形態之構成 4-2. 可適用於第1實施形態之簽章資料之輸出位置 5. 本揭示之第2實施形態 5-1. 第2實施形態之概要 5-2. 第2實施形態之第1具體例 5-3. 第2實施形態之第2具體例 6. 本揭示之第3實施形態 7. 本揭示之第4實施形態
[1.既有技術] 首先，在說明本揭示之實施形態之前，為了易於理解，而對於與本揭示之技術相關聯之既有技術進行說明。近年來，藉由報到媒體或SNS(Social Networking Service，社群網路服務)等，經由網際網路發佈之圖像之真偽證明成為課題。亦即，近年來，因圖像之加工工具、或利用AI(Artificial Intelligence，人工智慧)之假(捏造)圖像產生技術之發達，而難以進行圖像之真偽證明。
圖1及圖2係顯示既有技術之假圖像產生之例之示意圖。例如，如圖1所示般，已知如下之技術：製作將原始圖像300之圖像301，基於該圖像301而預測下半部分，產生圖像302a(假圖像a)、及與圖像302a不同之圖像302b(假圖像b)。
又，對於動態圖像亦已知如下技術：可自圖2之區段(a)所示之動態圖像之圖框303a，僅削除該圖框303a所含之移動之對象304。該情形下，於區段(b)所示之在時間上與圖框303a接近之圖框303b中，對象304被削除，原本應存在對象304之位置被路面置換。
於該等之例中，在不知原始圖像300或圖框303a時，難以判定圖像302a及302b、及圖框303b是否為被篡改之假圖像，即難以進行對圖像302a及302b、以及圖框303b之真偽證明。
作為如此之將圖像之真偽證明容易化方法之一，已知在取得攝像圖像之感測器內部，對作為原始圖像之攝像圖像附加簽章之方法。
圖3A係概略性地顯示既有技術之使用將簽章資料附加於圖像資料並輸出之感測器的相機之構成例之示意圖。於圖3A中，相機2000包含感測器2100、及圖像處理部2120。
感測器2100包含像素陣列部2110、及簽章處理部2111，例如係由1個半導體晶片(或經貼合之複數個半導體晶片)構成。像素陣列部2110包含產生與各自接收到之光相應之像素信號之複數個像素，以圖框單位取得圖像資料。此處所取得之圖像資料係對基於像素信號之像素資料未施加解馬賽克處理等之未加エ資料。於像素陣列部2110取得之RAW資料依照圖框週期自介面2101輸出。
簽章處理部2111基於藉由像素陣列部2110取得之RAW資料而產生簽章資料。於簽章處理部2111產生之簽章資料以特定之加密方式加密，與對應之RAW資料建立關聯並自介面2101輸出。
由於自介面2101輸出之RAW資料，附加有在感測器2100內產生之簽章資料，故可進行真偽證明而證明為真實(未被篡改)之RAW資料。例如，基於自感測器2100輸出之RAW資料，與簽章處理部2111同樣地產生簽章資料，在產生之簽章資料、與自感測器2100輸出之簽章資料一致時，可證明該RAW資料為真實(未被篡改)之RAW資料。
自感測器2100輸出之RAW資料及簽章資料，供給至圖像處理部2120。圖像處理部2120使用MPEG(Moving Picture Experts Group，動態影像壓縮)方式等之動畫壓縮方式將被供給之RAW資料進行壓縮編碼。經壓縮編碼之例如MPEG資料，輸出至相機2000之外部。
圖3B係顯示既有技術之自感測器2100輸出之RAW資料及簽章資料之例之示意圖。如圖3B所示般，RAW資料2201及經加密之簽章資料2202，依照圖框週期就每一圖框而輸出。
此處，作為為了將簽章資料2202加密而可適用之代表性之加密方式，可舉出共用密鑰密碼方式、及公鑰加密方式。於作為共用密鑰密碼方式之一例之DES(Data Encryption Standard，資料加密標準)中，例如藉由對加密對象之資料(明文)，重複相當於與密碼密鑰之位元行而變化之轉置或替換之操作、或藉由排他性邏輯與(XOR)執行之操作，而將明文加密。於共用密鑰密碼方式中，由於運算負荷比較小，另一方面於加密與解碼中使用共用密鑰，因此在確認圖像側持有與感測器側相同之密鑰，而不適宜作為用於防止篡改之加密方式。
相對於此，由於公鑰加密方式在感測器側與確認側使用不同之密鑰，因此適宜作為用於篡改之加密方式。另一方面，於公鑰加密方式中，藉由下式(1)將明文P加密成密碼文C。再者，式(1)基於公鑰加密方式之一之RSA(Rivest-Shamir-Adleman，R-S-A 三氏不對稱加密演算技術標準)密碼。於式(1)中，值N為互不相同之2個大的素數之積，「mod N」表示除以值N後之餘數。又，值E為適當選擇之正整數。將值E與值N之組用作公鑰。 C=P Emod N…(1)
如式(1)所示般，於RSA密碼中，進行如下運算：將明文P以較大之值E進行E次方，進而求得除以值N後之餘數，而獲得密碼文C。因此，與藉由上述之共用密鑰密碼方式而實現之加密處理相比，加密之運算負荷非常大，加密需要更長時間。
圖4A及圖4B係用於說明既有技術之基於動態圖像而產生之簽章資料之輸出方法之圖。再者，詳情將於後述，於圖4A及圖4B中，[FS]為包含表示圖框開始之旗標之行，[FE]為包含表示圖框結束之旗標之行。[EBD]為包含表示嵌入資料之旗標之行。[FS]及[FE]可在1圖框期間內輸出複數組。[BLK]表示空白資料之行。又，信號Fsync表示圖框同步信號，向右方向表示時間之經過。
圖4A示意性地顯示就每一動態圖像之圖框輸出簽章資料Sig之情形之例。簽章處理部2111在自像素陣列部2110讀出1圖框份額之圖像資料(RAW資料)後，基於讀出之圖像資料開始簽章資料產生之運算。於該圖4A之例中，在與產生源之圖像資料為同一圖框期間內輸出簽章資料Sig，而就每一簽章資料Sig之圖框進行輸出。
於由簽章處理部2111執行之簽章資料產生之運算中，亦包含基於上述式(1)之加密之運算，所需之處理時間，在處理器不進行簽章資料產生運算以外之處理之前提下，設為10數[msec(毫秒)]。於圖框率為60[fps(圖框毎秒)]時，1圖框期間為大致16.7[msec]。因此，於在自像素陣列部2110讀出圖像資料後、開始簽章資料產生運算之情形下，在與該圖像資料為同一圖框期間內輸出簽章資料Sig極為困難。在必須進行在與該圖像資料之讀出為同一圖框期間內輸出簽章資料Sig之處理之情形下，例如需要進行圖框率之下降、或處理器之並行化等之對應。
圖4B示意性地顯示使讀出圖像資料之圖框、與輸出基於該圖像資料之簽章資料Sig之圖框不同之情形之例。例如，簽章處理部2111在自像素陣列部2110讀出圖像資料後，開始簽章資料產生處理，在該圖像資料被讀出之下一圖框之圖像資料期間之後，輸出產生之簽章資料Sig。該情形下，可成功地輸出簽章資料Sig。
然而，於該方法中，有就每一圖框延遲地輸出之簽章資料Sig之管理變得複雜之虞。又，於圖框率為120[fps]、240[fps]而高速化時，有可能難以在被讀出圖像資料之下一圖框輸出基於該圖像資料之簽章資料Sig。因此，例如在圖4B中以虛線箭頭所示般，考量在圖像資料被讀出之2圖框後、進而在3圖框後，輸出基於該圖像資料之簽章資料Sig。然而，該情形下，預想簽章資料Sig之管理會更加困難。又，若圖框率高速化，則1圖框期間之長度有可能會為簽章處理部2111產生簽章資料所需之時間以下，而有為了進行處理器之並行化或高速化等之對應而成本增加之虞。
因此，於本揭示中，就圖像資料之每數圖框而輸出簽章資料。藉此，在感測器中自像素陣列部輸出圖像資料後，至輸出簽章資料為止，可確保充分之時間。又，藉由對於圖框率之高速化，調整輸出簽章資料之間隔，而可進行對應。
亦即，於動態圖像之情形下，藉由在圖框間取得圖像資料之差分而可檢測急劇之篡改。因此，動態圖像之篡改之檢測可在接收到動態圖像側進行對應。又，認為輸出了動態圖像之感測器之證明，就每複數圖框而為充分。
[2.可適用於各實施形態之技術] (2-1.可適用於各實施形態之構成) 接著，對於可適用於各實施形態之技術進行說明。圖5係顯示可適用於各實施形態之相機之一例之構成之方塊圖。於圖5中，相機10包含：主機裝置20、及感測器100。主機裝置20包含圖像處理部120。
感測器100包含：像素陣列部101、感測器控制部110、及簽章處理部1000。感測器控制部110例如包含處理器及記憶體，依照記憶於記憶體之程式，控制該感測器100整體動作。
像素陣列部101包含以矩陣狀之排列而配置、各自藉由曝光而產生與接收到之光相應之像素信號之複數個像素，且取得在複數個像素中產生之像素信號各者之圖像資料。像素陣列部101可以圖框週期取得圖像資料。由像素陣列部101取得之圖像資料，為未加工之RAW資料。
簽章處理部1000例如依照感測器控制部110之控制，基於由像素陣列部101取得之RAW資料而產生簽章資料。
藉由像素陣列部101以圖框週期取得之RAW資料，供給至主機裝置20所含之圖像處理部120。圖像處理部120對被供給之RAW資料施加特定之圖像處理而產生可視用之動態圖像資料。又，圖像處理部120對產生之可視用之動態圖像資料，藉由MPEG(Moving Picture Experts Group，動態影像壓縮)方式等之針對動態圖像之壓縮編碼方式，實施壓縮編碼處理。圖像處理部120將對動態圖像資料進行壓縮編碼後之壓縮動態圖像資料，作為輸出動畫資料經由特定之介面輸出至相機10之外部。
自相機10輸出之輸出動畫資料例如被供給至顯示裝置30，而被顯示。
主機裝置20除了包含上述之圖像處理部120以外，例如亦具有CPU(Central Processing Unit，中央處理單元)及記憶體、以及特定之介面，對感測器100賦予指示。主機裝置20例如經由I 2C(Inter-Integrated Circuit，內部積體電路)或SPI(Serial Peripheral Interface，串列週邊介面)等特定之通訊介面與感測器100連接。主機裝置20經由該通訊介面對相機10賦予指示。又，主機裝置20可進一步具有可與相機10之外部進行通訊之通訊介面。
各實施形態之相機10可適用於例如監視相機、或行車記錄儀等之監視目的用途。並不限定於此，各實施形態之相機10亦可適用於搭載於智慧型手機之相機、或一般之視訊攝影機。再者，各實施形態之相機10之用途並不限定於該等。
(可適用於各實施形態之像素陣列部之構成例) 圖6係顯示可適用於各實施形態之像素陣列部101之一例之構成之方塊圖。於圖6中，像素陣列部包含：像素陣列102、垂直掃描部400、水平掃描/AD轉換部402、及控制部401。
像素陣列102包含複數個像素103，其等具有產生與各自接收到之光相應之電壓之攝像元件。作為攝像元件，可使用光電二極體。於像素陣列102中，複數個像素103於水平方向(列方向)及垂直方向(行方向)矩陣狀排列。於像素陣列102中，將像素103之列方向之排列稱為行。於該像素陣列102中基於自特定數之行讀出之像素信號，形成1圖框之圖像(圖像資料)。例如，於以3000像素×2000行形成1圖框之圖像時，像素陣列102至少包含2000行至少含有3000個像素103之行。於像素陣列102中，將包含用於形成1圖框之圖像之像素103之區域稱為有效像素區域。又，於像素陣列102中形成之圖像資料為RAW資料。
又，於像素陣列102中，對於各像素103之列及行，就每一列而連接有像素信號線HCTL，就每一行而連接有垂直信號線VSL。
像素信號線HCTL之不與像素陣列102連接之端部，連接於垂直掃描部400。垂直掃描部400例如依照自控制部401供給之控制信號，將自像素103讀出像素信號時之驅動脈衝等之複數個控制信號，經由像素信號線HCTL向像素陣列102傳送。垂直信號線VSL之不與像素陣列102連接之端部，連接於水平掃描/AD轉換部402。
水平掃描/AD轉換部402包含：AD(Analog to Digital，類比轉數位)轉換部、輸出部、及信號處理部。自像素103讀出之像素信號，經由垂直信號線VSL傳送至水平掃描/AD轉換部402之AD轉換部。
對於自像素103之像素信號之讀出控制，概略地進行說明。藉由將藉由曝光而蓄積於攝像元件之電荷傳送至浮動擴散層(FD：Floating Diffusion)，於浮動擴散層中將被傳送之電荷轉換成電壓而進行自像素103之像素信號之讀出。於浮動擴散層中轉換成電荷之電壓經由放大器輸出至垂直信號線VSL。
更具體而言，於像素103中，於曝光過程中，將攝像元件與浮動擴散層之間設為關斷(斷開)狀態，於攝像元件中，藉由光電轉換而蓄積與入射之光相應地產生之電荷。在曝光結束後，與經由像素信號線HCTL被供給之選擇信號相應地，將浮動擴散層與垂直信號線VSL進行連接。進而，與經由像素信號線HCTL而供給之重置脈衝相應地，將浮動擴散層與電源電壓VDD或黑位準電壓之供給線在短期間內連接，而將浮動擴散層進行重置。於垂直信號線VSL，被輸出浮動擴散層之重置位準之電壓(設為電壓P)。其後，藉由經由像素信號線HCTL被供給之傳送脈衝將攝像元件與浮動擴散層之間設為導通(閉合)狀態，而將蓄積於攝像元件之電荷向浮動擴散層傳送。對於垂直信號線VSL，輸出與浮動擴散層之電荷量相應之電壓(設為電壓Q)。
於水平掃描/AD轉換部402中，AD轉換部包含就每一垂直信號線VSL而設置之AD轉換器，自像素103經由垂直信號線VSL被供給之像素信號，被AD轉換器施加AD轉換處理，產生用於進行雜訊降低之相關雙取樣(CDS：Correlated Double Sampling)處理之2個數位值(分別與電壓P及電壓Q對應之值)。
藉由AD轉換器產生之2個數位值被信號處理部施加CDS處理，產生數位信號之像素信號(像素資料)。所產生之像素資料，自像素陣列部被輸出。
水平掃描/AD轉換部402藉由在控制部401之控制之下，進行選擇掃描而以特定之順序選擇每一垂直信號線VSL之AD轉換器，而使各AD轉換器將暫時保持之各數位值向信號處理部依次輸出。水平掃描/AD轉換部402例如藉由包含移位暫存器及位址解碼器等之構成，而實現該動作。
控制部401例如依照自感測器控制部110供給之控制信號，進行垂直掃描部400、水平掃描/AD轉換部402等之驅動控制。控制部401產生作為垂直掃描部400及水平掃描/AD轉換部402之動作之基準的各種驅動信號。控制部401基於自外部(例如控制部401)供給之垂直同步信號或外部觸發信號、與水平同步信號，產生用於垂直掃描部400經由像素信號線HCTL供給至各像素103之控制信號。控制部401將產生之控制信號供給至垂直掃描部400。再者，控制部401可為感測器控制部110之功能之一部分。
垂直掃描部400基於自控制部401供給之控制信號，對像素陣列102之被選擇之像素列之像素信號線HCTL將包含驅動脈衝之各種信號就每一行而供給至各像素103，並使像素信號自各像素103輸出至垂直信號線VSL。垂直掃描部400例如利用移位暫存器及位址解碼器等而構成。
如此般構成之像素陣列部，為將AD轉換器就每一行而配置之行AD方式之CMOS(Complementary Metal Oxide Semiconductor，互補式金屬氧化物半導體)影像感測器。
(可適用於各實施形態之像素陣列部之構造例) 接著，對於可適用於各實施形態之像素陣列部101之構造例，概略地進行說明。
像素陣列部101中，像素陣列部101所含之各部分可應用使用CMOS(Complementary Metal Oxide Semiconductor，互補式金屬氧化物半導體)一體地形成之CMOS影像感測器(CIS)。像素陣列部101可形成於1個基板上。並不限定於此，亦可將像素陣列部101設為積層複數個半導體晶片而一體地形成之積層型CIS。再者，像素陣列部101並不限定於該例，亦可為利用紅外光進行攝像之紅外光感測器等其他種類之光感測器。
作為一例，可藉由將半導體晶片積層2層而成之雙層構造之積層型CIS形成像素陣列部101。圖7A顯示藉由雙層構造之積層型CIS形成各實施形態之像素陣列部101之例之圖。於圖7A之構造中，於第1層半導體晶片形成像素部3020a，於第2層半導體晶片形成記憶體+邏輯部3020b。
像素部3020a至少包含像素陣列部101中之像素陣列102。記憶體+邏輯部3020b例如可包含垂直掃描部400、控制部401、水平掃描/AD轉換部402、及簽章處理部1000。可使記憶體+邏輯部3020b進一步包含記憶RAW資料等圖像資料之記憶體。
如圖7A之右側所示般，藉由使第1層半導體晶片與第2層半導體晶片電性接觸並貼合，而將像素陣列部101構成為1個固體攝像元件。
作為又一例，亦可藉由將半導體晶片積層3層而成之三層構造，形成像素陣列部101。圖7B係顯示藉由三層構造之積層型CIS形成各實施形態之像素陣列部101之例之圖。於圖7B之構造中，於第1層半導體晶片形成像素部3020a，於第2層半導體晶片形成記憶體部3020c，於第3層半導體晶片形成邏輯部3020d。該情形下，邏輯部3020d例如可包含垂直掃描部400、控制部401、水平掃描/AD轉換部402、及簽章處理部1000。又，記憶體部3020c可包含記憶RAW資料等圖像資料之記憶體。
如圖7B之右側所示般，藉由使第1層半導體晶片、第2層半導體晶片及第3層半導體晶片電性接觸並貼合，而將像素陣列部101構成為1個固體攝像元件。
(2-2.可適用於各實施形態之輸出資料格式) 接著，對於可適用於各實施形態之動態圖像資料之輸出格式進行說明。
(第1例) 作為可適用於各實施形態之動態圖像資料之輸出格式之第1例，對於由SLVS-EC(註冊商標)規定之格式進行說明。再者，SLVS-EC(註冊商標)為「Scalable Low Voltage Signaling with Embedded Clock，利用嵌入式時脈之可縮放低電壓傳訊」之簡寫。圖8係示意性地顯示可適用於各實施形態之動態圖像資料之輸出格式之第1例之圖。
於圖8中，區段(a)顯示利用第1例之格式之對1圖框份額之動態圖像資料之資料配置。於區段(a)中，水平方向與列方向(行)對應，垂直方向與行方向對應，XVS表示垂直同步信號，XHS表示水平同步信號。又，圖之左側表示行之最前頭側。亦即，動態圖像資料就每一行自圖左向右輸出，各行自圖之上向下輸出。
於各行中，自最前頭起配置有欄位[起始碼((Start Code))]、欄位[封包標頭(Packet Header)]。欄位[起始碼((Start Code))]表示各行之最前頭。對於欄位[封包標頭(Packet Header)]將於後述。
繼欄位[封包標頭(Packet Header)]之後，配置有資料欄位。資料欄位自圖框之上端起，依序配置有欄位[空白資料(Blanking Data)]、欄位[嵌入資料(Embedded Data)]、欄位[像素資料(Pixel Data)]、欄位[空白資料(Blanking Data)]。
欄位[像素資料(Pixel Data)]為以行次序輸出1圖框之動態圖像中之各像素資料之欄位。又，2個欄位[空白資料(Blanking Data)]對應於動態圖像資料之垂直空白期間。欄位[嵌入資料(Embedded Data)]為可嵌入任意之資料之欄位。
繼資料欄位之後，配置有欄位[結束碼(End Code)]、欄位[校正碼(Deskew Code)]、欄位[Idle碼(Idle Code)]。欄位[結束碼(End Code)]表示各行之終端。欄位[校正碼(Deskew Code)]為封包之同步用欄位。欄位[Idle碼(Idle Code)]對應於各行之水平空白期間。
圖8之區段(b)更詳細地顯示區段(a)所示之欄位[封包標頭(Packet Header)]之內容。欄位[封包標頭(Packet Header)]分配有第0位元～第47位元之48位元之資料大小，儲存有表示與欄位[封包標頭(Packet Header)]對應之行之資訊。
於欄位[封包標頭(Packet Header)]中，於第47位元儲存有表示圖框開始之旗標[FS]。於第46位元，儲存有表示圖框結束之旗標[FE]。於第45位元，儲存有表示該行為有效之旗標[有效(Valid)]。於第44位元〜第32位元，儲存有該行之行編號[Line Number]。於第31位元，儲存有表示嵌入資料之旗標[EBD]。於第30位元〜第27位元，儲存有表示該行之種類之識別資訊[ID]。又，將第26位元〜第0位元設為保留區域(保留(RESERVE))。
於該第1例之格式中，例如可利用識別資訊[ID]表示該行為與簽章資料Sig相關聯之行。
(第2例) 作為可適用於各實施形態之動態圖像資料之輸出格式之第2例，對於由MIPI(註冊商標)規定之格式進行說明。再者，MIPI為「Mobile Industry Processor Interface，行動產業處理器介面」之簡寫。圖9A及圖9B係示意性地顯示可適用於各實施形態之動態圖像資料之輸出格式之第2例之圖。於MIPI(註冊商標)中，作為輸出資料之資料格式而定義有長封包與短封包。再者，於圖9A及圖9B中，將左側設為資料之最前頭側。
圖9A顯示MIPI(註冊商標)之長封包之資料格式。圖9A之上段表示封包構造。長封包之封包以4位元組之封包標頭[PH]開始，繼而配置n位元組之有效負載資料(Payload Data)，以4位元組之封包標尾[PF]結束。有效負載資料為由該封包傳送的資料之本體部分，可適用圖像資料、或簽章資料。
圖9A之中段表示封包標頭[PH]之內容。封包標頭[PH]自最前頭起依序配置有1位元組之資料識別符[DI]、2位元組之字計數[WC]、1位元組之糾錯碼[ECC]。圖9A之下段表示資料識別符[DI]之內容。資料識別符[DI]自最前頭起依序配置有虛擬通道[VC]、資料類型[DT]。
圖9B顯示MIPI(註冊商標)之短封包之資料格式。圖9B之上段表示封包構造。如此般，於短封包中，僅定義有封包標頭[PH]。圖9B之下段表示封包標頭[PH]之內容。封包標頭[PH]自最前頭起依序配置有1位元組之資料識別符[DI]、2位元組之圖框編號或行編號[FN/LN]、1位元組之糾錯碼[ECC]。
於該第2例之格式中，例如可利用資料識別符[DI]表示該行為與簽章資料Sig關聯之行。
[3.本揭示之各實施形態之概要] 接著，對於本揭示之各實施形態之概要進行說明。圖10A及圖10B係用於說明實施形態之概要之示意圖。圖10A概略地表示各實施形態之相機10之構成。
於圖10A中，各實施形態之相機10與圖5所示之相機10同樣地，包含：主機裝置20、及感測器100。主機裝置20包含圖像處理部120。又，感測器100包含：像素陣列部101、及簽章處理部1000。感測器控制部110例如包含處理器與記憶體，依照記憶於記憶體之程式，控制感測器100之動作。又，主機裝置20包含CPU及記憶體，依照記憶於記憶體之程式對感測器100賦予指示等而控制該相機10之整體動作。
於圖10A中，感測器100藉由簽章處理部1000基於藉由像素陣列部101以圖框週期取得之圖像資料(RAW資料200)而產生簽章資料210，並將所產生之簽章資料210、及於像素陣列部101取得之RAW資料200經由介面130輸出。
自介面130輸出之簽章資料210及RAW資料200，被供給至圖像處理部120。圖像處理部120對被供給之RAW資料200實施壓縮編碼處理，並輸出經壓縮編碼之RAW資料200之輸出動畫資料230。又，圖像處理部120將在輸出動畫資料230中基於壓縮編碼前之RAW資料200而產生之簽章資料210作為對該RAW資料200之真偽證明用資料而輸出。
圖10B係用於說明自感測器100之介面130輸出之資料之示意圖。再者，於圖10B中，向右方向表示時間之經過。於各實施形態中，簽章處理部1000對藉由像素陣列部101以圖框週期輸出之RAW資料200，就每n圖框(n為2以上之整數)而產生簽章資料210。換言之，簽章處理部1000對藉由像素陣列部101以圖框週期輸出之RAW資料200，以(n-1)圖框為抽除單位，以抽除單位抽除RAW資料200，而產生簽章資料210。
於圖10B之例中，簽章處理部1000例如基於第1個圖框Frame#1之RAW資料200而產生簽章資料210，對於第2個以後至第n個為止之圖框Frame#2〜Frame#n，不產生簽章資料210。亦即，簽章處理部1000抽除圖框Frame#2〜Frame#n之(n-1)圖框，產生簽章資料210。
同樣地，簽章處理部1000基於下一圖框Frame#(n+1)之RAW資料200產生簽章資料210，自下一圖框Frame#(n+2)至圖框Frame#2n(未圖示)，不產生簽章資料210。
圖11係用於說明實施形態之基於動態圖像而產生之簽章資料210之輸出方法之圖。於圖11中，向右方向表示時間之經過。如圖11所示般，簽章處理部1000只要使基於第1番目之圖框Frame#1之圖像資料#1(RAW資料)之簽章資料210之產生及加密處理，在自該圖像資料#1之輸出之後端至最長為第n個圖框Frame#n之後端為止之期間內完成即可。因此，各實施形態之簽章處理部1000與使用圖4A及圖4B說明之既有技術之簽章資料之產生相比，可花費充分長之時間來產生簽章資料210。
再者，圖11中之值n、亦即產生簽章資料210之間隔非為固定，可適當設定成簽章資料210之產生及加密能夠完成之間隔。例如，考量自主機裝置20對感測器100之暫存器設定值n。
於簽章處理部1000例如作為感測器控制部110之功能之一部分而構成時，由簽章處理部1000執行之簽章資料210之產生及加密處理，需要以不與感測器控制部110之其他處理衝突之時序來執行。圖12係用於說明可適用於各實施形態之由簽章處理部1000執行簽章資料210之產生及加密處理之時序之示意圖。
於圖12中，向右方向表示時間之經過，自上而下分別表示圖框同步信號(信號Fsync)、例如感測器控制部110中之處理器處理、來自介面130之輸出資料。
於處理器處理中，處理#1表示動作模式之設定等的用於下一圖框之處理。處理#2表示曝光或白平衡調整等的圖像資料取得後之處理。該等處理#1及處理#2就每一圖框而執行。處理#3及處理#4為處理#1及處理#2以外之處理，例如為感測器100之暫存器通訊之MAC(Memory Access Control，記憶體存取控制)處理、或感測器100內之溫度計算處理。處理#3及處理#4為非就每一圖框而執行之中斷處理。
例如，感測器控制部110以將由簽章處理部1000執行之簽章資料210之產生及加密處理在該等處理#1〜#4之間歇之期間P#1、P#2、···執行之方式控制。
[4.本揭示之第1實施形態] 接著，對於本揭示之第1實施形態進行說明。第1實施形態係感測器將自像素陣列部101輸出之圖像資料(RAW資料200)、及基於該圖像資料而產生並加密之簽章資料210自1個介面輸出之例。
(4-1.第1實施形態之構成) 圖13係顯示第1實施形態之感測器之一例之構成之方塊圖。於圖13中，感測器100a包含：像素陣列部101、簽章處理部1000a、輸出介面(I/F)104、及通訊/感測器控制部105a。
通訊/感測器控制部105經由介面131與主機裝置20進行通訊。作為介面131，可適用I 2C(Inter-Integrated Circuit，內部積體電路)或SPI(Serial Peripheral Interface，串列週邊介面)。並不限定於此，亦可適用將I 2C改良後之I 3C(Improved Inter Integrated Circuits，改良積體電路)作為介面131。
又，通訊/感測器控制部105係對應於圖10A中之感測器控制部110者，例如包含處理器及記憶體，處理器依照記憶於記憶體之程式而動作，控制該感測器100a之整體動作。
於圖13之例中，顯示像素陣列部101包含：像素陣列102、像素控制部107、及ADC(Analog to Digital Converter，類比數位轉換器)108。該等中之像素控制部107，例如對應於圖6所示之垂直掃描部400、及水平掃描/AD轉換部402中之輸出部。又，ADC 108對應於圖6所示之水平掃描/AD轉換部402中之AD轉換部。
簽章處理部1000a包含：資料處理部1010、及簽章產生部1021。自像素陣列部101輸出之RAW資料200輸入至資料處理部1010。資料處理部1010對被輸入之RAW資料200，施加用於在後段之圖像處理部120(未圖示)進行圖像處理之特定之資料處理。在資料處理部1010經資料處理之RAW資料200，被供給至輸出I/F 104及簽章產生部1021。
簽章產生部1021基於自資料處理部1010供給之RAW資料200而產生簽章資料210。例如，簽章產生部1021根據被供給之RAW資料200而產生雜湊值，並將所產生之雜湊值用作簽章資料210。並不限定於此，簽章產生部1021可唯一地特定出RAW資料200、且若為推測困難之值，則可將藉由其他算法產生之值用作簽章資料210。簽章產生部1021對所產生之簽章資料210使用預先保持之公鑰加密方式之秘鑰將簽章資料210加密，並將經加密之簽章資料210供給至輸出I/F 104。
以下，只要無特別記載，則將經加密之簽章資料210簡稱為「簽章資料210」。
圖14係用於說明第1實施形態之感測器100a之簽章資料210之輸出方法之圖。再者，於圖14中，簽章資料210顯示為簽章資料Sig。於圖14之例中，輸出I/F 104例如將在第1個圖框Frame#1中輸出之基於RAW資料即圖像資料#1而產生之簽章資料Sig，於第n個圖框Frame#n的圖像資料#n之後之在圖框Frame#n中夾於第2個[FS]及[FE]之間而輸出。如此般，輸出I/F 104作為控制圖像資料及簽章資料Sig之輸出之輸出控制部而發揮功能。
該情形下，自第1個圖框Frame#1之圖像資料#1之例如剛輸出後之[FE]，至緊接著第n個圖框Frame#n之第2個[FS]之後，為可進行簽章資料Sig之產生及加密之處理之期間。
(4-2.可適用於第1實施形態之簽章資料之輸出位置) 接著，使用圖15、圖16及圖17，對於簽章資料Sig之輸出位置之第1例、第2例及第3例進行說明。再者，於圖15～圖17中，省略了與簽章資料Sig之輸出不密切相關之[BLK]等。
(簽章資料Sig之輸出位置之第1例) 圖15係顯示可適用於第1實施形態之簽章資料Sig之輸出位置之第1例之圖。該圖15所示之第1例係與上述之圖14中之簽章資料Sig之輸出位置對應者。亦即，輸出I/F 104將基於在第1個圖框Frame#1中輸出之圖像資料#1而產生之簽章資料Sig，夾於表示圖框Frame#n之開始及結束之封包(SLVS-EC之情形下為第2組之[FS]及[FE])之間而輸出。
此處，輸出I/F 104使各行之封包標頭中之識別資訊[ID]之值，在包含簽章資料Sig之區域與不包含簽章資料Sig之區域處不同。例如，於SLVS-EC之情形下，在包含簽章資料Sig之區域(行)中，設為識別資訊[ID]=[4’h1]，在不包含簽章資料Sig之區域(行)中，設為識別資訊[ID]=[4’h0]。再者，[4’h]表示後續之數字為以4位元表示之值。
再者，於MIPI之情形下，將虛擬通道[VC]之值在包含簽章資料Sig之區域中設為虛擬通道[VC]=[2’h1]，在不包含簽章資料Sig之區域中設為虛擬通道[VC]=[2’h0]。再者，[2’h]表示後續之數字為以2位元表示之值。並不限定於此，於MIPI之情形下，亦可藉由資料類型[DT]之值來表示包含簽章資料Sig之區域(行)、與不包含簽章資料Sig之區域(行)。例如，可配合來自感測器100a之輸出之接收側(例如主機裝置20)之構成，而切換使用虛擬通道[VC]及資料類型[DT]中之任一者。
(簽章資料Sig之輸出位置之第2例) 圖16係顯示可適用於第1實施形態之簽章資料Sig之輸出位置之第2例之圖。於該第2例中，於圖框內設置用於儲存簽章資料Sig之嵌入區域。例如，於SLVS-EC之情形下，可藉由設立表示封包標頭[Packet Header]中之第31位元之嵌入資料之旗標[EBD]，而將該行設為可嵌入特定之資料之嵌入區域。於圖16之例中，輸出I/F 104將基於在第1個圖框Frame#1中輸出之圖像資料#1而產生之簽章資料Sig，嵌入在圖框Frame#n之圖像資料#n之後設計成簽章資料Sig用之嵌入區域。
輸出I/F 104與圖15所示之第1例同樣地，使各行之封包標頭中之識別資訊[ID]之值，在包含簽章資料Sig之區域、與不包含簽章資料Sig之區域處不同。例如，於SLVS-EC之情形下，在包含簽章資料Sig之區域(行)中，設為識別資訊[ID]=[4’h1]，在不包含簽章資料Sig之區域(行)中，設為識別資訊[ID]=[4’h0]。
再者，於該例中，於不輸出簽章資料Sig之圖框中，例如，考量在該行處將旗標[EBD]設為關斷、將旗標[Valid]設為表示無效之值等之對應。並不限定於此，亦可再次輸出在以前之圖框中求得之簽章資料Sig。又，於已知不輸出簽章資料Sig之圖框時，亦考量不進行任何對應。
再者，於MIPI之情形下，與上述同樣地，可藉由虛擬通道[VC]或資料類型[DT]之值，表示包含簽章資料Sig之行、與不包含簽章資料Sig之行。
(簽章資料Sig之輸出位置之第3例) 圖17係顯示可適用於第1實施形態之簽章資料Sig之輸出位置之第3例之圖。於該第3例中，藉由使標頭資訊與通常之圖像資料之行不同之行，將簽章資料Sig作為行資料而輸出。例如，於SLVS-EC之情形下，考量使封包標頭[Packet Header]中之行編號[Line Number]之值，在包含簽章資料Sig之行、與不包含簽章資料Sig之行處不同。又，於MIPI之情形下，考量使虛擬通道[VC]或資料類型[DT]之值，在包含簽章資料Sig之行、與不包含簽章資料Sig之行處不同。
輸出I/F 104與圖15所示之第1例同樣地，使各行之封包標頭中之識別資訊[ID]之值，在包含簽章資料Sig之行、與不包含簽章資料Sig之行處不同。例如，於SLVS-EC之情形下，在包含簽章資料Sig之行中，設為識別資訊[ID]=[4’h1]，在不包含簽章資料Sig之行中，設為識別資訊[ID]=[4’h0]。
再者，於上述中，對於將輸出簽章資料Sig之時序設為抽除單位之最後之圖框進行了說明。該情形下，若設為就RAW資料200之每n圖框產生、且抽除單位為(n-1)圖框，則基於在第1圖框中輸出之RAW資料200而產生之簽章資料Sig，在第n圖框被輸出。
簽章資料Sig之輸出時序並不限定於該例。例如，輸出I/F 104可將簽章資料Sig在抽除單位之最後之圖框之下一圖框進行輸出。該情形下，如圖14中以虛線之箭頭所示般，考量例如以該下一圖框之後端之[BLK]之時序進行輸出。又，例如，輸出I/F 104可將簽章資料Sig在與該簽章資料Sig之運算完成之時序對應之圖框進行輸出。於該情形下，輸出I/F 104可將簽章資料Sig在自與該簽章資料Sig對應之RAW資料200之圖框之下一圖框、至抽除單位之(n-1)圖框之終端為止之期間輸出。進而，例如，輸出I/F 104亦可將簽章資料Sig例如在以與該簽章資料Sig對應之RAW資料200之圖框為基準而預先指定之圖框中輸出。
[5.本揭示之第2實施形態] 接著，對於本揭示之第2實施形態進行說明。第2實施形態係感測器將自像素陣列部101輸出之圖像資料(RAW資料200)、及基於該圖像資料而產生並加密之簽章資料210自不同之介面輸出之例。
(5-1.第2實施形態之概要) 圖18係用於說明第2實施形態之概要之圖。再者，此處，為了便於說明，而參照圖13之感測器100a之構成進行說明。於圖18中，向右方向表示時間之經過，自上而下，分別表示圖框同步信號(信號Fsync)、來自介面133之輸出資料、簽章處理部1000a之內部狀態(內部state)、由簽章處理部1000a執行之簽章資料產生運算之完成通知、通訊I/F(介面131)之輸出。
例如，若來自RAW資料即圖像資料#1之介面130之輸出完成，則在簽章產生部1021中，開始基於該圖像資料#1之簽章資料Sig產生之運算(簽章資料Sig產生及加密)。於在時間t 10完成簽章資料Sig產生運算時，簽章產生部1021在時間t 10之下一個時間t 11將運算完成通知給通訊/感測器控制部105a。於時間t 11至特定時間後之時間t 12，藉由主機裝置20經由介面131而取得簽章資料Sig。
如此般，藉由可自介面131取得簽章資料Sig，而無需對自介面130輸出之輸出動畫資料230之簽章資料Sig之嵌入處理，而可減輕輸出I/F 104之負荷。
再者，簽章產生部1021可對所產生之簽章資料Sig，附加表示與該簽章資料Sig對應之RAW資料200之資訊。亦可由通訊/感測器控制部105a執行對應該簽章資料Sig附加表示RAW資料200的資訊。
另，在將I 2C或SPI用作介面131時，感測器100a成為從控側。因此，作為該等之通訊介面之規格，無法自感測器100a側對介面131之通訊對象發送簽章運算完成之通知。
因此，於第2實施形態中，將所產生之簽章資料Sig，儲存於通訊/感測器控制部105a所具有之暫存器等之記憶部，而可自主機裝置20經由介面131，取得儲存於該記憶部之簽章資料Sig。作為用於此之具體之構成，於第2實施形態中，提議以下之第1具體例及第2具體例。
(5-2.第2實施形態之第1具體例) 首先，對於第2實施形態之第1具體例進行說明。圖19係顯示第2實施形態之第1具體例之感測器之一例之構成之方塊圖。
於該第1具體例中，如圖19所示般，於感測器100b設置用於對外部(例如主機裝置20)發送中斷信號之中斷信號埠132。於簽章處理部1000b中，簽章產生部1021對該中斷信號埠132輸出中斷信號。中斷信號埠132及介面131連接於主機裝置20(未圖示)。
圖20係顯示第2實施形態之第1具體例之簽章資料運算完成之通知方法之例之圖。於圖20中，向右方向表示時間之經過，自上而下，分別表示圖框同步信號(信號Fsync)、來自介面133之輸出資料、簽章處理部1000b之內部狀態(內部state)、自中斷信號埠132輸出之中斷信號、通訊I/F(介面131)之輸出。
簽章產生部1021當在時間t 10完成簽章資料Sig之產生時，將產生之簽章資料Sig儲存於作為通訊/感測器控制部105b所具有之記憶部之暫存器1051。又，簽章產生部1021伴隨著在時間t 10之簽章資料Sig之產生之完成，在時間t 10之下一個時間t 11，自中斷信號埠132輸出表示運算完成之中斷信號。
相應於該中斷信號，藉由連結於中斷信號埠132之主機裝置20經由介面131與通訊/感測器控制部105b進行通訊，在自時間t 11至特定時間後之時間t 12，開始取得來自暫存器1051之簽章資料Sig。例如，主機裝置20預先知曉在暫存器1051中儲存有簽章資料Sig之暫存器位址，基於該暫存器位址自暫存器1051讀出簽章資料Sig。
如此般，於第2實施形態之第1具體例中，藉由輸出I/F 104與簽章產生部1021及通訊/感測器控制部105b構成對控制圖像資料及簽章資料Sig之輸出進行控制之輸出控制部。
再者，於圖20之例中，係自中斷信號埠132輸出作為脈衝信號之中斷信號，但其並不限定於該例。例如，簽章產生部1021可將中斷完成以狀態進行輸出。例如，考量簽章產生部1021在運算完成(時間t 10)時將中斷信號埠132設為高(High)狀態，在可自暫存器1051讀出簽章資料Sig之時序(時間t 11)，將中斷信號埠132設為低(Low)狀態。
(5-3.第2實施形態之第2具體例) 接著，對於第2實施形態之第2具體例進行說明。圖21係顯示第2實施形態之第2具體例之感測器之一例之構成之方塊圖。
於該第2具體例中，如圖21所示般，於感測器100c中，簽章處理部1000c設置簽章產生/更新管理部1022而取代簽章產生部1021。簽章產生/更新管理部1022與上述簽章產生部1021同樣地，基於自資料處理部1010供給之RAW資料而產生簽章資料Sig及進行加密，並將產生之簽章資料Sig儲存於通訊/感測器控制部105c所具有之暫存器1051。
與此同時，簽章產生/更新管理部1022將表示在暫存器1051中新儲存有簽章資料Sig之狀態資料1061發送至通訊/感測器控制部105c。通訊/感測器控制部105c根據該狀態資料1061，將表示暫存器1051之狀態之資訊更新。自主機裝置20(未圖示)經由介面131對表示該暫存器1051之狀態之資訊進行輪詢。主機裝置20當基於輪詢結果檢測出暫存器1051之狀態有所變化時，經由介面131對暫存器1051進行存取，取得記憶於暫存器1051之簽章資料Sig。
圖22係顯示第2實施形態之第2具體例之簽章資料運算完成之通知方法之例之圖。於圖20中，向右方向表示時間之經過，由上而下分別表示：圖框同步信號(信號Fsync)、來自介面133之輸出資料、簽章處理部1000c之內部狀態(內部狀態)、表示暫存器1051之狀態之資訊(計數值)、經由通訊I/F(介面131)之輸出、來自主機裝置20之輪詢。
簽章產生/更新管理部1022當在時間t 10完成簽章資料Sig之產生時，將產生之簽章資料Sig儲存於作為通訊/感測器控制部105c所具有之記憶部之暫存器1051，且將表示暫存器1051中新儲存有簽章資料Sig之狀態資料1061發送至通訊/感測器控制部105c。
通訊/感測器控制部105c根據該狀態資料1061，將表示暫存器1051之狀態之資訊更新。於圖22之例中，通訊/感測器控制部105c具有計數器，當自簽章產生/更新管理部1022接收到表示暫存器1051中新儲存有簽章資料Sig之狀態資料1061時，將計數器之計數值遞增1。於圖22之例中，在時間t 11之前後，表示暫存器之狀態之計數值自[0]遞增為[1]。該計數值例如被寫入暫存器1051。
另一方面，連接於介面131之主機裝置20以特定之週期經由介面131對暫存器1051進行輪詢，取得表示暫存器之狀態之計數值。在所取得之計數值與上次取得之計數值不同時，主機裝置20認為新的簽章資料Sig儲存於暫存器1051，而於時間t 20，開始讀出來自暫存器1051之該簽章資料Sig。
如此般，於第2實施形態之第2具體例中，藉由輸出I/F 104與簽章產生/更新管理部1022及通訊/感測器控制部105c構成對圖像資料及簽章資料Sig之輸出進行控制輸出控制部。
再者，於上述中，通訊/感測器控制部105c使用相應於狀態資料1061而遞增之計數值，作為表示暫存器1051之狀態之資訊，但其並不限定於該例。例如，通訊/感測器控制部105c亦可藉由根據狀態資料1061而切換例如高狀態與低狀態，而顯示暫存器1051之狀態。
[6.本揭示之第3實施形態] 接著，對於本揭示之第3實施形態進行說明。本揭示之第3實施形態係針對包含複數個圖像資料之圖像資料群組產生簽章資料Sig之例。作為感測器之構成，可適用第1實施形態之感測器100a、以及第2實施形態之第1、第2具體例之感測器100b及100c之任一者。以下，對於將第1實施形態之感測器100a適用於第3實施形態之情形進行說明。
此處，作為圖像資料群組，應用在iToF(間接ToF(Time of Flight，飛行時間))方式之測距處理中拍攝之圖像資料為例。iToF方式為如下技術：例如將藉由PWM(Pulse Width Modulation，脈寛調變)而調變之光源光(例如紅外區域之雷射光)照射至被測定物並以受光元件接收該反射光，基於接收到之反射光之相位差進行對被測定物之測距。作為一例，於iToF之攝像中，於相對於來自光源之射出光而相位逐次差異90°之相位0°、相位90°、相位180°及相位270°之各相位中，分別取得光量值C 0、C 90、C 180及C 270。
該等光量值C 0、C 90、C 180及C 270之中，如下式(2)及式(3)所示般，基於相位差異180°之光量值之組合，求得差分I與差分Q。 I=C 0-C 180…⑵ Q=C 90-C 270…(3)
基於該等差分I及Q，藉由下式(4)而算出相位差phase。再者，於式(4)中，相位差phase定義為(0≤phase＜2π)之範圍。 phase=tan-1(Q/I)    …(4)
使用相位差phase與特定之係數range，藉由下式(5)而算出距離資訊Depth。 Depth=(phase×range)/2π…(5)
於上述之例中，於圖框Frame#1中取得藉由相位0°之曝光而得之圖像資料(iToF資料0°)，於下一圖框Frame#2中取得藉由相位180°之曝光而得之圖像資料(iToF資料180°)。進而，於圖框Frame#3中取得藉由相位90°之曝光而得之圖像資料(iToF90°)，於下一圖框Frame#4(未圖示)中取得藉由相位270°之曝光而得之圖像資料(iToF270°)。
圖23係顯示第3實施形態之簽章資料之產生及輸出之例之圖。於圖23之例中，簽章產生部1021例如彙總iToF資料0°與iToF資料180°而構成1個圖像資料群組。簽章產生部1021基於該圖像資料群組所含之iToF資料0°與iToF資料180°，產生簽章資料Sig。於圖23之例中，簽章產生部1021將iToF資料0°、與iToF資料180°整合而產生一個簽章資料Sig。所產生之簽章資料Sig例如輸出至圖框Frame#n之特定之位置。
關於iToF資料90°及iToF資料270°亦相同，簽章產生部1021彙總iToF資料90°與iToF資料270°而構成1個圖像資料群組，基於該圖像資料群組所含之iToF資料90°、與iToF資料270°，產生簽章資料Sig。雖省略圖示，但所產生之簽章資料Sig例如被輸出至圖框Frame#(n+2)之特定之位置。
並不限定於此，簽章產生部1021可對於1個圖像資料群組所含之複數個圖像資料各者產生簽章資料Sig。該情形下，所產生之複數個簽章資料Sig可對同一圖框而輸出。
如此般，藉由針對如在複數圖框中具有意義之圖像資料之圖像資料群組產生簽章資料Sig，而可提高對使用該複數圖框之圖像資料之處理之可靠性。
再者，於上述中，將第3實施形態之簽章資料Sig之產生及輸出方法，適用於在iToF方式之測距處理中所取得之圖像資料，但其並不限定於該例。亦即，亦可於圖像資料群組中，包含其他種類之圖像資料，只要為如在複數圖框中具有意義之圖像資料即可。又，於上述中，將2個圖像資料彙總成1個圖像資料群組，但其並不限定於該例，亦可將3個以上之圖像資料彙總成1個圖像資料群組。
[7.本揭示之第4實施形態] 接著，作為本揭示之第7實施形態，對於本揭示之第1實施形態、第2實施形態及第3實施形態之適用例進行說明。圖24係顯示第4實施形態之使用可適用上述第1實施形態、第2實施形態及第3實施形態之相機10之使用例之圖。
上述相機10例如如下述般，可使用於感測可見光、紅外光、紫外光、或X射線等光之各種情形。
· 數位相機或附帶相機功能之可攜式機器等之拍攝供鑒賞用之圖像之裝置 ·用於自動停止等之安全駕駛、或駕駛者之狀態之識別等而拍攝汽車之前方或後方、周圍、車內等之車載用感測器，監視行駛車輛或道路之監視相機，進行車輛間等之測距之測距感測器等之供交通用之裝置 ·為了拍攝使用者之手勢且根據該手勢進行機器操作，而供TV或冰箱、空氣調節機等之家電用之裝置 ·內視鏡或利用紅外光之受光進行血管拍攝之裝置等之供醫療或健康照護用之裝置 ·防止犯罪用之監視相機或人物認證用之相機等之供安全用之裝置 ·拍攝肌膚之肌膚測定器或拍攝頭皮之顯微鏡等之供美容用之裝置 ·面向體育運動用途等之動作相機或可佩戴相機等之供體育用之裝置 ·用於監視田地或作物之狀態之相機等之供農業用之裝置
(對於移動體之應用例) 接著，對於本揭示之技術之進一步之應用例進行說明。本揭示之技術，進而可應用於搭載於汽車、電動汽車、油電混合汽車、機車、自行車、個人移動性裝置、飛機、無人機、船舶、機器人等各種移動體之裝置。
圖25係顯示作為可適用本揭示之技術之移動體控制系統之一例之車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通訊網路12001而連接之複數個電子控制單元。於圖25所示之例中，車輛控制系統12000具備：驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示有微電腦12051、聲音圖像輸出部12052、及車載網路I/F(介面)12053。
驅動系統控制單元12010依照各種程式控制與車輛之驅動系統相關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等用於產生車輛之驅動力之驅動力產生裝置、用於將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛之舵角之轉向機構、及產生車輛之制動力之制動裝置等的控制裝置而發揮功能。
車體系統控制單元12020依照各種程式控制裝備於車體之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙進入系統、智慧型鑰匙系統、電動車窗裝置、或前照燈、尾燈、煞車燈、轉向燈或霧燈等各種燈之控制裝置發揮功能。該情形下，可對車體系統控制單元12020輸入自代替鑰匙之可攜式機發出之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，而控制車輛之門鎖裝置、電動車窗裝置、燈等。
車外資訊檢測單元12030檢測搭載車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收所拍攝之圖像。車外資訊檢測單元12030可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。車外資訊檢測單元12030例如對接收到之圖像實施圖像處理，基於圖像處理之結果進行物體檢測處理或距離檢測處理。
攝像部12031係接收光且輸出與該光之受光量相應之電信號之光感測器。攝像部12031可將電信號作為圖像而輸出，亦可作為測距之資訊而輸出。又，攝像部12031所接收之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040例如連接有檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040基於自駕駛者狀態檢測部12041輸入之檢測資訊，可算出駕駛者之疲勞度或注意力集中度，亦可判別駕駛者是否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含車輛之避免碰撞或緩和衝擊、基於車距之追隨行駛、車速維持行駛、車輛之碰撞警告、或車輛之車道偏離警告等的ADAS(Advanced Driver Assistance Systems，先進駕駛輔助系統)之功能為目的之協調控制。
又，微電腦12051藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊而控制驅動力產生裝置、轉向機構或制動裝置等，而可進行不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可進行根據由車外資訊檢測單元12030檢測出之前方車或對向車之位置而控制前照燈、而將遠光切換為近光等之以謀求防眩為目的之協調控制。
聲音圖像輸出部12052朝可針對車輛之乘客或車外視覺性或聽覺性通知資訊之輸出裝置發送聲音及圖像中之至少一者之輸出信號。在圖25之例中，作為輸出裝置，例示有音訊揚聲器12061、顯示部12062及儀表板12063。顯示部12062例如可包含機上顯示器及抬頭顯示器之至少一者。
圖26係顯示攝像部12031之設置位置之例之圖。於圖26中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前保險桿、側視鏡、後保險桿、尾門及車廂內之擋風玻璃之上部等位置。前保險桿所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100之前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100之側方之圖像。後保險桿或尾門所具備之攝像部12104主要取得車輛12100之後方之圖像。由攝像部12101及12105取得之前方之圖像主要用於前方車輛或行人、障礙物、號誌機、交通標識或車道線等之檢測。
再者，於圖25中，顯示攝像部12101～12104之拍攝範圍之一例。攝像範圍12111表示設置於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113表示分別設置於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設置於後保險桿或尾門之攝像部12104之攝像範圍。例如，藉由重疊由攝像部12101～12104拍攝之圖像資料，而可取得自上方觀察車輛12100之俯瞰圖像。
攝像部12101～12104之至少1者可具有取得距離資訊之功能。例如，攝像部12101～12104之至少1者可為含有複數個攝像元件之立體照相機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051藉由基於自攝像部12101～12104取得之距離資訊，求得與攝像範圍12111～12114內之各立體物相隔之距離、及該距離之時間性變化(對於車輛12100之相對速度)，而可在尤其將位於車輛12100之前進路上之最近之立體物、且為在與車輛12100大致相同之方向以特定之速度(例如，0 km/h以上)行駛之立體物擷取作為前方車。進而，微電腦12051可設定針對前方車於近前應預先確保之車距，進行自動制動控制(亦包含停止追隨控制)、自動加速控制(亦包含追隨起步控制)等。如此般可進行不依賴駕駛者之操作而自律行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101～12104取得之距離資訊，將與立體物相關之立體物資料分類為二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物而加以擷取，用於自動躲避障礙物。例如，微電腦12051可將車輛12100之周邊之障礙物識別為車輛12100之駕駛員可視認之障礙物及難以視認之障礙物。而且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，當遇到碰撞風險為設定值以上而有可能發生碰撞之狀況時，藉由經由音訊揚聲器12061或顯示部12062對駕駛員輸出警報，或經由驅動系統控制單元12010進行強制減速或迴避操舵，而可進行用於避免碰撞之駕駛支援。
攝像部12101～12104之至少1者可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定在攝像部12101～12104之攝像圖像中是否存在有行人而辨識行人。如此之行人之辨識藉由例如擷取作為紅外線相機之攝像部12101～12104之攝像圖像之特徵點之程序、及針對表示物體之輪廓之一系列特徵點進行圖案匹配處理而判別是否為行人之程序而進行。當微電腦12051判定在攝像部12101～12104之攝像圖像中存在有行人，且辨識行人時，聲音圖像輸出部12052以對該被辨識出之行人重疊顯示用於強調之方形輪廓線之方式控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於所期望之位置之方式控制顯示部12062。
以上，對於可應用本揭示之技術之車輛控制系統之一例進行了說明。本揭示之技術可適用於以上所說明之構成中之例如攝像部12031。具體而言，可將可適用上述之上述第1實施形態及第2實施形態之相機10應用於攝像部12031。藉由將本揭示之技術應用於攝像部12031，而可在低負荷下輸出可進行真偽證明之動態圖像。又，藉此，作為車載裝置可實現耗電之降低化、裝置之小型化。
另外，本說明書所記載之效果終極而言僅為例示而並非被限定者，亦可具有其他效果。
再者，本技術亦可採用如以下之構成。 (1) 一種攝像裝置，其包含： 像素陣列部，該像素陣列部包含以矩陣狀之排列而配置、且各自藉由曝光而產生與接收到之光相應之像素信號的複數個像素，並以圖框週期輸出在前述複數個像素中產生之前述像素信號各者之圖像資料； 簽章產生部，其基於前述圖像資料而產生簽章資料；及 輸出控制部，其控制前述圖像資料及前述簽章資料之輸出；且 前述簽章產生部對以前述圖框週期輸出之前述圖像資料，以基於圖框週期之抽除單位進行抽除而產生前述簽章資料。 (2) 如前述(1)之攝像裝置，其中 前述輸出控制部以相對於與該簽章資料對應之前述圖像資料之輸出時序經過特定時間之時序，輸出前述簽章資料。 (3) 如前述(1)或(2)之攝像裝置，其中 前述輸出控制部自同一輸出端輸出前述圖像資料與前述簽章資料。 (4) 如前述(3)之攝像裝置，其中 前述輸出控制部於相對於產生該簽章資料之前述圖像資料以前述抽除單位進行抽除後之最後之圖框，輸出前述簽章資料。 (5) 如前述(3)之攝像裝置，其中 前述輸出控制部於相對於產生該簽章資料之前述圖像資料以前述抽除單位進行抽除後之最後之圖框之下一圖框，輸出前述簽章資料。 (6) 如前述(3)之攝像裝置，其中 前述輸出控制部於與在前述簽章產生部中產生前述簽章資料之時序對應之圖框，輸出前述簽章資料。 (7) 如前述(3)之攝像裝置，其中 前述輸出控制部於相對於產生該簽章資料之前述圖像資料為特定圖框後之預先指定之圖框，輸出前述簽章資料。 (8) 如前述(3)至(7)中任一項之攝像裝置，其中 前述輸出控制部對前述簽章資料附加表示圖框開始之資訊、及表示圖框結束之資訊並輸出。 (9) 如前述(3)至(7)中任一項之攝像裝置，其中 前述輸出控制部將前述簽章資料儲存於前述圖像資料之圖框中之嵌入資料區域並輸出。 (10) 如前述(3)至(7)中任一項之攝像裝置，其中 前述輸出控制部對於前述圖像資料，追加前述排列之列方向之行，將前述簽章資料儲存於追加至前述圖像資料之前述行並輸出。 (11) 如前述(1)或(2)之攝像裝置，其中前述輸出控制部包含： 通訊端子，其用於與主機裝置進行通訊，且與用於輸出前述圖像資料之輸出端不同；及 記憶部，其可供前述主機裝置經由前述通訊端子進行存取；且 將藉由前述簽章產生部寫入前述記憶部之前述簽章資料，自前述通訊端子輸出。 (12) 如前述(11)之攝像裝置，其進一步包含中斷信號埠，該中斷信號埠用於對前述主機裝置發送中斷信號，且 前述簽章產生部將產生之前述簽章資料儲存於前述記憶部，與產生前述簽章資料之時序對應地，自前述中斷信號埠輸出表示已產生前述簽章資料之中斷信號，由前述主機裝置根據該中斷信號而讀出儲存於前述記憶部之前述簽章資料，藉此輸出前述簽章資料。 (13) 如前述(11)之攝像裝置，其中 前述簽章產生部將產生之前述簽章資料儲存於前述記憶部，且變更前述記憶部中表示該記憶部之狀態的狀態資訊， 前述輸出控制部供前述主機裝置經由前述通訊端子進行輪詢、且由前述主機裝置確認前述狀態資訊，當前述狀態資訊自上一次輪詢有所變化時，由前述主機裝置讀出儲存於前述記憶部之前述簽章資料，藉此輸出前述簽章資料。 (14) 如前述(1)至(13)中任一項之攝像裝置，其中 前述簽章產生部以將複數個前述圖像資料群組化之圖像資料群組單位，產生前述簽章資料。 (15) 如前述(14)之攝像裝置，其中 前述簽章產生部整合前述圖像資料群組中所含之複數個前述圖像資料而產生1個前述簽章資料。 (16) 如前述(14)之攝像裝置，其中 前述簽章產生部對於前述圖像資料群組中所含之複數個前述圖像資料各者分別產生前述簽章資料。 (17) 如前述(1)至(16)中任一項之攝像裝置，其中 前述輸出控制部使用公鑰加密方式之秘鑰，將前述簽章資料加密並輸出。 (18) 如前述(1)至(17)中任一項之攝像裝置，其中前述像素陣列部與前述簽章產生部及前述輸出控制部一體地構成。 (19) 如前述(18)之攝像裝置，其由第1晶片及第2晶片構成， 該第1晶片供配置前述像素陣列部， 該第2晶片供配置前述簽章產生部與前述輸出控制部，且與前述第1晶片貼合。 (20) 一種攝像方法，其藉由處理器執行，且包含如下步驟： 自包含複數個像素之像素陣列部，以圖框週期輸出在前述複數個像素中產生之前述像素信號各者之圖像資料，該複數個像素以矩陣狀之排列而配置，且各自藉由曝光而產生與接收到之光相應之像素信號； 簽章產生步驟，其基於前述圖像資料而產生簽章資料；及 輸出控制步驟，其控制前述圖像資料及前述簽章資料之輸出；且 前述簽章產生步驟 對以前述圖框週期輸出之前述圖像資料，以基於圖框週期之抽除單位進行抽除而產生前述簽章資料。
10,2000:相機 20:主機裝置 30:顯示裝置 100,100a,100b,100c:感測器 101:像素陣列部 102:像素陣列 103:像素 104:輸出I/F 105a,105b,105c:通訊/感測器控制部 107:像素控制部 108:ADC 110:感測器控制部 120:圖像處理部 130,131:介面 132:中斷信號埠 200:RAW資料 210:簽章資料 230:輸出動畫資料 400:垂直掃描部 401:控制部 402:水平掃描/AD轉換部 1000,1000a,1000c:簽章處理部 1010:資料處理部 1021:簽章產生部 1022:簽章產生/更新管理部 1051:暫存器 1061:狀態資料 2100:感測器 2101:介面 2110:像素陣列部 2111:簽章處理部 2120:圖像處理部 2201:RAW資料 2201:簽章資料 3020a:像素部 3020b:記憶體+邏輯部 3020c:記憶體部 3020d:邏輯部 12000:車輛控制系統 12001:通訊網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:音訊揚聲器 12062:顯示部 12063:儀表板 12100:車輛 12101～12105:攝像部 12111～12114:攝像範圍 HCTL:像素信號線 t 10～t 12:時間 VSL:垂直信號線
圖1係顯示既有技術之假圖像產生之例之示意圖。 圖2(a)、(b)係顯示既有技術之假圖像產生之例之示意圖。 圖3A係概略性地顯示既有技術之使用將簽章資料附加於圖像資料並輸出之感測器的相機之構成例之示意圖。 圖3B係顯示既有技術之自感測器輸出之RAW資料及簽章資料之例之示意圖。 圖4A係用於說明既有技術之基於動態圖像而產生之簽章資料之輸出方法之圖。 圖4B係用於說明既有技術之基於動態圖像而產生之簽章資料之輸出方法之圖。 圖5係顯示可適用於各實施形態之相機之一例之構成之方塊圖。 圖6係顯示可適用於各實施形態之像素陣列部之一例之構成之方塊圖。 圖7A係顯示藉由雙層構造之積層型ClS形成各實施形態之像素陣列部之例之圖。 圖7B係顯示藉由三層構造之積層型ClS形成各實施形態之像素陣列部之例之圖。 圖8(a)、(b)係示意性地顯示可適用於各實施形態之動態圖像資料之輸出格式之第1例之圖。 圖9A係示意性地顯示可適用於各實施形態之動態圖像資料之輸出格式之第2例之圖。 圖9B係示意性地顯示可適用於各實施形態之動態圖像資料之輸出格式之第2例之圖。 圖10A係概略性地顯示各實施形態之相機之構成之方塊圖。 圖10B係用於說明實施形態之概要之示意圖。 圖11係用於說明實施形態之基於動態圖像而產生之簽章資料之輸出方法之圖。 圖12係用於說明可適用於各實施形態之簽章處理部執行簽章資料之產生及加密處理之時序之示意圖。 圖13係顯示第1實施形態之感測器之一例之構成之方塊圖。 圖14係用於說明第1實施形態之感測器之簽章資料之輸出方法之圖。 圖15係顯示可適用於第1實施形態之簽章資料之輸出位置之第1例之圖。 圖16係顯示可適用於第1實施形態之簽章資料之輸出位置之第2例之圖。 圖17係顯示可適用於第1實施形態之簽章資料之輸出位置之第3例之圖。 圖18係用於說明第2實施形態之概要之圖。 圖19係顯示第2實施形態之第1具體例之感測器之一例之構成之方塊圖。 圖20係顯示第2實施形態之第1具體例之簽章資料運算完成之通知方法之例之圖。 圖21係顯示第2實施形態之第2具體例之感測器之一例之構成之方塊圖。 圖22係顯示第2實施形態之第2具體例之簽章資料運算完成之通知方法之例之圖。 圖23係顯示第3實施形態之簽章資料之產生及輸出之例之圖。 圖24係顯示第4實施形態之使用可適用上述第1實施形態、第2實施形態及第3實施形態之相機之使用例之圖。 圖25係顯示作為可適用本揭示之技術之移動體控制系統之一例之車輛控制系統之概略構成例之方塊圖。 圖26係顯示攝像部之設置位置之例之圖。
100a:感測器
101:像素陣列部
102:像素陣列
104:輸出I/F
105a:通訊/感測器控制部
107:像素控制部
108:ADC
130,131:介面
1000a:簽章處理部
1010:資料處理部
1021:簽章產生部

Claims (20)

  1. 一種攝像裝置，其包含： 像素陣列部，該像素陣列部包含以矩陣狀之排列而配置、且各自藉由曝光而產生與接收到之光相應之像素信號的複數個像素，並以圖框週期輸出在前述複數個像素中產生之前述像素信號各者之圖像資料； 簽章產生部，其基於前述圖像資料而產生簽章資料；及 輸出控制部，其控制前述圖像資料及前述簽章資料之輸出；且 前述簽章產生部對以前述圖框週期輸出之前述圖像資料，以基於圖框週期之抽除單位進行抽除而產生前述簽章資料。
  2. 如請求項1之攝像裝置，其中 前述輸出控制部以相對於與該簽章資料對應之前述圖像資料之輸出時序經過特定時間之時序，輸出前述簽章資料。
  3. 如請求項1之攝像裝置，其中 前述輸出控制部自同一輸出端輸出前述圖像資料與前述簽章資料。
  4. 如請求項3之攝像裝置，其中 前述輸出控制部於相對於產生該簽章資料之前述圖像資料以前述抽除單位進行抽除後之最後之圖框，輸出前述簽章資料。
  5. 如請求項3之攝像裝置，其中 前述輸出控制部於相對於產生該簽章資料之前述圖像資料以前述抽除單位進行抽除後之最後之圖框之下一圖框，輸出前述簽章資料。
  6. 如請求項3之攝像裝置，其中 前述輸出控制部於與在前述簽章產生部中產生前述簽章資料之時序對應之圖框，輸出前述簽章資料。
  7. 如請求項3之攝像裝置，其中 前述輸出控制部於相對於產生該簽章資料之前述圖像資料為特定圖框後之預先指定之圖框，輸出前述簽章資料。
  8. 如請求項3之攝像裝置，其中 前述輸出控制部對前述簽章資料附加表示圖框開始之資訊、及表示圖框結束之資訊並輸出。
  9. 如請求項3之攝像裝置，其中 前述輸出控制部將前述簽章資料儲存於前述圖像資料之圖框中之嵌入資料區域並輸出。
  10. 如請求項3之攝像裝置，其中 前述輸出控制部對於前述圖像資料，追加前述排列之列方向之行，將前述簽章資料儲存於追加至前述圖像資料之前述行並輸出。
  11. 如請求項1之攝像裝置，其中前述輸出控制部包含： 通訊端子，其用於與主機裝置進行通訊，且與用於輸出前述圖像資料之輸出端不同；及 記憶部，其可供前述主機裝置經由前述通訊端子進行存取；且 將藉由前述簽章產生部寫入前述記憶部之前述簽章資料，自前述通訊端子輸出。
  12. 如請求項11之攝像裝置，其進一步包含中斷信號埠，該中斷信號埠用於對前述主機裝置發送中斷信號，且 前述簽章產生部將產生之前述簽章資料儲存於前述記憶部，與產生前述簽章資料之時序對應地，自前述中斷信號埠輸出表示已產生前述簽章資料之中斷信號，由前述主機裝置根據該中斷信號而讀出儲存於前述記憶部之前述簽章資料，藉此輸出前述簽章資料。
  13. 如請求項11之攝像裝置，其中 前述簽章產生部將產生之前述簽章資料儲存於前述記憶部，且變更前述記憶部中表示該記憶部之狀態之狀態資訊， 前述輸出控制部供前述主機裝置經由前述通訊端子進行輪詢，且由前述主機裝置確認前述狀態資訊，當前述狀態資訊自上一次輪詢有所變化時，由前述主機裝置讀出儲存於前述記憶部之前述簽章資料，藉此輸出前述簽章資料。
  14. 如請求項1之攝像裝置，其中 前述簽章產生部對於將複數個前述圖像資料群組化而成之圖像資料群組，產生前述簽章資料。
  15. 如請求項14之攝像裝置，其中 前述簽章產生部整合前述圖像資料群組中所含之複數個前述圖像資料而產生1個前述簽章資料。
  16. 如請求項14之攝像裝置，其中 前述簽章產生部對於前述圖像資料群組中所含之複數個前述圖像資料各者分別產生前述簽章資料。
  17. 如請求項1之攝像裝置，其中 前述輸出控制部使用公鑰加密方式之秘鑰，將前述簽章資料加密並輸出。
  18. 如請求項1之攝像裝置，其中前述像素陣列部與前述簽章產生部及前述輸出控制部一體地構成。
  19. 如請求項18之攝像裝置，其包含第1晶片及第2晶片而構成， 該第1晶片供配置前述像素陣列部， 該第2晶片供配置前述簽章產生部與前述輸出控制部，且與前述第1晶片貼合。
  20. 一種攝像方法，其藉由處理器執行，且包含如下步驟： 自包含複數個像素之像素陣列部，以圖框週期輸出在前述複數個像素中產生之前述像素信號各者之圖像資料，該複數個像素以矩陣狀之排列而配置，且各自藉由曝光而產生與接收到之光相應之像素信號； 簽章產生步驟，其基於前述圖像資料而產生簽章資料；及 輸出控制步驟，其控制前述圖像資料及前述簽章資料之輸出；且 前述簽章產生步驟 對以前述圖框週期輸出之前述圖像資料，以基於圖框週期之抽除單位進行抽除而產生前述簽章資料。
TW111101229A 2021-02-08 2022-01-12 攝像裝置及攝像方法 TW202234875A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021018593 2021-02-08
JP2021-018593 2021-02-08

Publications (1)

Publication Number Publication Date
TW202234875A true TW202234875A (zh) 2022-09-01

Family

ID=82741532

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111101229A TW202234875A (zh) 2021-02-08 2022-01-12 攝像裝置及攝像方法

Country Status (6)

Country Link
US (1) US20240056310A1 (zh)
EP (1) EP4290855A4 (zh)
JP (1) JPWO2022168721A1 (zh)
CN (1) CN116803092A (zh)
TW (1) TW202234875A (zh)
WO (1) WO2022168721A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230419740A1 (en) * 2022-06-28 2023-12-28 Shanghai United Imaging Intelligence Co., Ltd. Non-invasive biometric system and method for encoding anatomical features as biometric data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328610B2 (ja) * 2003-12-15 2009-09-09 キヤノン株式会社 撮像装置
US9258127B2 (en) * 2012-07-09 2016-02-09 Cisco Technology, Inc. System and method for providing cryptographic video verification
JP2017041841A (ja) * 2015-08-21 2017-02-23 パナソニックＩｐマネジメント株式会社 署名生成システム、署名生成装置及び署名生成方法
JP2017184198A (ja) 2016-03-31 2017-10-05 ソニー株式会社 イメージセンサ、撮像装置、イメージセンサ特定方法、画像偽造防止方法および画像改変制限方法
JP6870462B2 (ja) * 2017-05-01 2021-05-12 株式会社リコー 検証システム、検証装置、情報生成装置、プログラム
JP2019020431A (ja) * 2017-07-11 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び情報処理装置

Also Published As

Publication number Publication date
EP4290855A1 (en) 2023-12-13
JPWO2022168721A1 (zh) 2022-08-11
EP4290855A4 (en) 2024-07-24
WO2022168721A1 (ja) 2022-08-11
CN116803092A (zh) 2023-09-22
US20240056310A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
JP2022028982A (ja) 固体撮像装置、信号処理チップ、および、電子機器
KR20230058190A (ko) 촬상 장치 및 전자 기기
WO2020110679A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
WO2020045122A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2020105313A1 (ja) 固体撮像素子、および、撮像装置
WO2022130888A1 (ja) 撮像装置
WO2022168721A1 (ja) 撮像装置および撮像方法
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
JP2019134318A (ja) 撮像装置およびキャリブレーション方法
EP3975551B1 (en) Imaging device
WO2019193801A1 (ja) 固体撮像素子、電子機器および固体撮像素子の制御方法
WO2019167608A1 (ja) センサ素子および電子機器
TWI757751B (zh) 測距感測器、信號處理方法及測距模組
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
JP2021170691A (ja) 撮像素子、制御方法、および電子機器
WO2020153054A1 (ja) 撮像装置及び電子機器
WO2020183809A1 (ja) 固体撮像装置、電子機器、および、固体撮像装置の制御方法
WO2022054742A1 (ja) 撮像素子及び撮像装置
US11356656B2 (en) Signal processing device, signal processing method, and signal processing system
WO2017203752A1 (ja) 撮像装置、および制御方法
EP3787282B1 (en) Imaging device
WO2020090459A1 (ja) 固体撮像装置、及び電子機器
WO2018211985A1 (ja) 撮像素子、および撮像素子の制御方法、撮像装置、並びに電子機器
WO2018043140A1 (ja) 固体撮像素子、および電子装置