TW202029724A - 固體攝像裝置、固體攝像方法及電子機器 - Google Patents

固體攝像裝置、固體攝像方法及電子機器 Download PDF

Info

Publication number
TW202029724A
TW202029724A TW108141890A TW108141890A TW202029724A TW 202029724 A TW202029724 A TW 202029724A TW 108141890 A TW108141890 A TW 108141890A TW 108141890 A TW108141890 A TW 108141890A TW 202029724 A TW202029724 A TW 202029724A
Authority
TW
Taiwan
Prior art keywords
captured image
solid
unit
state imaging
authentication
Prior art date
Application number
TW108141890A
Other languages
English (en)
Inventor
奥池和幸
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202029724A publication Critical patent/TW202029724A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

本發明提供一種固體攝像裝置，其具備：攝像部(211)，其拍攝第1攝像圖像；發光控制部(271)，其控制發光部之發光；判定部(2331)，其判定是否自上述第1攝像圖像檢測到上述發光；及發送控制部(2333)，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。

Description

固體攝像裝置、固體攝像方法及電子機器
本發明係關於一種固體攝像裝置、固體攝像方法及電子機器。
近年來，已知有用以強化由相機攝影之人物(以下，亦稱為「被攝體」)之隱私保護之技術。例如為了防止攝影者無意間使用行動電話之內置攝像頭(in-camera)對攝影者攝影，而揭示有於攝像頭為動作中之情形時，通知攝像頭為動作中之技術(例如參照專利文獻1)。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2015-133624號公報
[發明所欲解決之問題]
但是，期望提供一種能夠進一步強化由相機攝影之人物之隱私保護之技術。 [解決問題之技術手段]
根據本發明，提供一種固體攝像裝置，其具備：攝像部，其拍攝第1攝像圖像；發光控制部，其控制發光部之發光；判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
根據本發明，提供一種固體攝像方法，其具備以下步驟：拍攝第1攝像圖像；控制發光部之發光；判定是否自上述第1攝像圖像檢測到上述發光；及處理器基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
根據本發明，提供一種電子機器，其具備：應用軟體；攝像部，其拍攝第1攝像圖像；發光部；發光控制部，其控制上述發光部之發光；判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
以下，參照隨附圖式對本發明之較佳之實施形態詳細進行說明。再者，於本說明書及圖式中，對於實質上具有相同功能構成之構成要素，藉由標註相同符號而省略重複說明。
又，於本說明書及圖式中，亦存在於相同符號之後標註不同之數字而區分實質上具有相同功能構成之複數個構成要素的情況。但是，於無須特別區分實質上具有相同功能構成之複數個構成要素之各者之情形時，僅標註相同符號。又，對於具有相同或類似功能構成之複數個構成要素，存在於相同符號之後標註字母而進行區分之情況。但是，於無須特別區分具有相同或類似功能構成之複數個各者之情形時，僅標註相同符號。
再者，說明係按照以下順序進行。 0.概要 1.第1實施形態 1.1.系統構成例 1.2.影像感測器之構成例 1.3.詳細構成例 2.第2實施形態 3.第3實施形態 4.第4實施形態 5.第5實施形態 6.第6實施形態 7.結語
＜0.概要＞ 近年來，已知有用以強化由相機攝影之人物(以下，亦稱為「被攝體」)之隱私保護之技術。為了防止攝影者無意間使用行動電話之攝像頭對攝影者攝影，而揭示有於攝像頭為動作中之情形時，通知攝像頭為動作中之技術。但是，期望提供一種能夠進一步強化由相機攝影之人物之隱私保護之技術。
更具體而言，於在攝像頭為動作中之情形時通知攝像頭為動作中之技術中，可能有惡意的應用軟體製作者能夠製作應用軟體使得即便攝像頭為動作中亦不通知。又，於攝像頭為動作中之情形時通知攝像頭為動作中之技術中，藉由被攝體之攝影所獲得之資料被自動發送至影像感測器之外部，因此，被攝體之隱私保護不充分。
因此，於本發明之實施形態中，主要對可藉由控制利用被攝體之攝影所獲得之資料向影像感測器外部之發送，而進一步強化被攝體之隱私保護之技術進行說明。
以上，對本發明之實施形態之概要進行了說明。
＜1.第1實施形態＞ [1.1.系統構成例] 繼而，參照圖1對本發明之第1實施形態之固體攝像系統之構成例進行說明。參照圖1，本發明之第1實施形態之固體攝像系統1具有電子機器10、伺服器裝置40及網路50。電子機器10與伺服器裝置40經由網路50實現通訊。再者，於圖1所示之例中，電子機器10連接於網路50，但可將複數個電子機器10連接於網路50，可將複數個電子機器10分別經由網路50實現與伺服器裝置40通訊。
電子機器10具有影像感測器20、應用軟體30及LED361。影像感測器20作為固體攝像裝置之例而發揮功能，且具有CIS(Contact Image Sensor，接觸式影像感測器)210、邏輯電路220、DSP(Digital Signal Processor，數位信號處理器)230、記憶體240、選擇器250。
此處，CIS210相當於攝像部之例，包含攝像元件、光源、受光透鏡及A/D(analog to digital，類比數位)轉換器等。邏輯電路220包含對來自CIS210之輸出信號進行信號處理之信號處理部等。又，於本發明之第1實施形態中，主要假設電子機器10為相機之情形。但是，電子機器10只要為具有影像感測器20之機器，則並不限定於相機，亦可為其他機器(例如智慧型手機及行動電話等)。又，應用軟體30係由內置於電子機器10之處理器來執行。LED361按照DSP230之控制開始發光或停止發光。再者，LED361僅為發光部之一例，因此，亦可使用其他發光部代替LED361。
於本發明之第1實施形態中，利用影像感測器20拍攝影像。影像係藉由利用影像感測器20對複數個圖框(攝像圖像)連續攝像而獲得。於本發明之第1實施形態中，主要假設將由影像感測器20攝像之圖框(攝像圖像)或基於圖框(攝像圖像)之資料(以下，亦稱為「元資料」)發送至伺服器裝置40之情形。但是，亦如以下所說明，攝像圖像或元資料之發送目的地可為應用軟體30，亦可為電子機器10之外部之記錄媒體。
以上，對本發明之第1實施形態之固體攝像系統1之構成例進行了說明。
[1.2.影像感測器之構成例] 繼而，對本發明之第1實施形態之影像感測器20的構造之例進行說明。圖2係表示影像感測器20之構造之第1例之圖。圖3係表示影像感測器20之構造之第2例之圖。參照圖2，影像感測器20係包含第1半導體晶片L1及第2半導體晶片L2而構成。參照圖3，影像感測器20係包含第1半導體晶片L1、第2半導體晶片L2及第3半導體晶片L3而構成。
如此，影像感測器20包含複數個半導體晶片，複數個半導體晶片構成為層狀，且相互電性連接而構成。影像感測器20所具有之半導體晶片之數量並不限定於2個及3個，可為1個，亦可為4個以上。
參照圖2，於第1半導體晶片L1中包含CIS210。而且，於第2半導體晶片L2中包含記憶體240、DSP230、邏輯電路220。參照圖3，於第1半導體晶片L1中包含CIS210。而且，於第2半導體晶片L2中包含記憶體240及DSP230。於第3半導體晶片L3中包含邏輯電路220。但是，CIS210、記憶體240、DSP230、邏輯電路220各自包含於哪一半導體晶片中均可。
於圖2及圖3所示之例中，以下所說明之局部認證部231(第1認證部)可包含於第2半導體晶片L2。更詳細而言，局部認證部231(第1認證部)可由第2半導體晶片L2中所包含之DSP230來實現。以下所說明之資料發送判斷部233亦可包含於第2半導體晶片L2。更詳細而言，資料發送判斷部233可由第2半導體晶片L2中所包含之DSP230來實現。
又，於圖3所示之例中，信號處理部221亦可包含於第3半導體晶片L3之邏輯電路220。或者於圖2所示之例中，信號處理部221亦可包含於第2半導體晶片L2之邏輯電路220。進而，於圖3所示之例中，以下所說明之局部認證用資料記憶部232亦可包含於第3半導體晶片L3之記憶體240。或者於圖2所示之例中，局部認證用資料記憶部232亦可包含於第2半導體晶片L2之記憶體240。
以上，對影像感測器20之構造之例進行了說明。
[1.3.詳細構成例] 繼而，對本發明之第1實施形態之固體攝像系統1之詳細構成進行說明。圖4係表示電子機器之外觀構成之第1例之圖。圖5係表示電子機器之外觀構成之第2例之圖。如圖4及圖5所示，電子機器10作為一例可具有圓筒形狀之外觀。但是，電子機器10之外觀形狀不受限定。
參照圖4，於第1例中，相機模組32及LED模組36設置於電子機器10-1之側面。又，參照圖5，於第2例中，相機模組32及LED模組36設置於電子機器10-2之上表面。但是，設置相機模組32及LED模組36之位置亦無特別限定。
圖6係圖4及圖5所示之相機模組32及LED模組36之A-A剖視圖。參照圖6，示出相機模組32及LED模組36之剖視圖。相機模組32具備光學透鏡321、透鏡座322、IR(infrared，紅外線)截止濾光鏡323、影像感測器20及模組基板324。LED模組36具備LED361、光源用透鏡362及模組基板363。
此處，假設使用廣角透鏡作為光學透鏡321之情況。因此，於圖6所示之例中，由LED361發出之光自LED361直接到達影像感測器20(由LED361發出之光直接進入至影像感測器20之攝像範圍Ra)。但是，由LED361發出之光亦可藉由特定之反射構件反射而到達影像感測器20(由LED361發出之光亦可藉由特定之反射構件反射而進入至攝像範圍Ra)。
圖7係表示利用影像感測器20獲得之攝像圖像之例之圖。參照圖7，示出利用影像感測器20獲得之攝像圖像IM0。攝像圖像IM0包含有效像素區域IM1及其周邊區域。為了防止有效像素區域IM1之亮度過高，理想的是由LED361發出之光幾乎不到達有效像素區域IM1。另一方面，於周邊區域存在由LED361發出之光照到之光檢測區域IM2。因此，可藉由光檢測區域IM2之亮度檢測LED361是否發光。
圖8係表示本發明之第1實施形態之固體攝像系統1之詳細構成例的圖。再者，根據紙面之情況，自圖8中省略應用軟體30及網路50。參照圖8，示出影像感測器20、伺服器裝置40及LED361。
影像感測器20具備攝像元件211、A/D轉換器212、信號處理部221、局部認證部231、局部認證用資料記憶部232、資料發送判斷部233、選擇器250、資料發送部261、資料接收部262及發光控制部271。另一方面，伺服器裝置40具備資料接收部410、伺服器認證部(第2認證部)420、伺服器認證用資料記憶部430及資料發送部440。
攝像元件211將自被攝體受光之光信號轉換為電信號。A/D轉換器212將電信號自類比信號轉換為數位信號並將其輸出。信號處理部221對來自A/D轉換器212之輸出信號(攝像圖像)進行各種信號處理，並將處理後之信號(攝像圖像)輸出。此處，對利用信號處理部221進行之信號處理之例進行說明。但是，無須利用信號處理部221進行以下所說明之信號處理之全部，可利用信號處理部221僅進行該等信號處理之一部分，亦可利用信號處理部221進行該等信號處理以外之處理。
圖9係表示信號處理部221之詳細構成例之圖。如圖5所示，信號處理部221可具有進行遮光校正之遮光校正部2211、進行混色校正之混色校正部2212、及進行數位增益調整之數位增益調整部2213。又，信號處理部221可具有調整白平衡增益之白平衡增益調整部2214、進行檢波之檢波部2215、進行解馬賽克處理之解馬賽克處理部2216、及進行γ校正之γ校正部2217。
返回至圖8繼續進行說明。利用信號處理部221處理後之信號(攝像圖像)輸出至選擇器250、資料發送判斷部233及局部認證部231。首先，對局部認證部231之詳細構成例進行了說明。圖10係表示局部認證部231之詳細構成例之圖。如圖10所示，局部認證部231具有標準化處理部2311及局部認證處理部2312。
標準化處理部2311進行利用局部認證處理部2312(例如神經網路)之處理所需之前處理(預處理)。例如，前處理可為第2攝像圖像之範圍調整及尺寸調整等。局部認證處理部2312於自第1攝像圖像檢測到LED361之發光之情形時，基於第2攝像圖像進行第1認證。例如，藉由第1認證獲得之資料可為基於第2攝像圖像之資料(元資料)。該元資料可為自第2攝像圖像識別之被攝體(人物)之識別資訊。
再者，局部認證部231可為包含機械學習完畢之神經網路(第1神經網路)而構成。估計藉此認證精度得以提高。例如，神經網路亦可為深度學習網路。估計於該情形時，認證精度進一步提高。但是，利用局部認證部231之第1認證亦可藉由無需學習之構成來進行。第1認證之認證結果(成功/失敗)及藉由第1認證獲得之資料(元資料)輸出至選擇器250。
繼而，對資料發送判斷部233之詳細構成例進行說明。圖11係表示資料發送判斷部233之詳細構成例之圖。如圖11所示，資料發送判斷部233具有LED點亮判斷部2331及發送控制部2333。
於本發明之實施形態中，主要假設資料發送判斷部233對自信號處理部221輸入之影像之各圖框(攝像圖像)進行處理之情形。但是，資料發送判斷部233之處理對象不限於自信號處理部221輸入之影像之各圖框(攝像圖像)，亦可為複數個圖框之每一個。此處，將於某時點輸入至資料發送判斷部233之圖框稱為「第1攝像圖像」，將在第1攝像圖像之後輸入至資料發送判斷部233之圖框稱為「第2攝像圖像」。
首先，將由攝像元件211拍攝之第1攝像圖像輸入至資料發送判斷部233。發光控制部271使LED361之發光開始。再者，發光控制部271亦可無條件地使LED361之發光開始，但亦可僅於特定之情形時使LED361之發光開始。例如，特定之情形亦可為於元資料中包含個人資訊(例如，被攝體之姓名、性別或年齡等)之情形。LED點亮判斷部2331判定是否自第1攝像圖像檢測到LED361之發光。若無特別異常，則檢測到LED361之發光，若存在異常，則未檢測到LED361之發光。異常之原因並無特別限定，可為LED361上被覆有覆蓋物，亦可為LED361被卸除。
繼而，將由攝像元件211拍攝之第2攝像圖像輸入至資料發送判斷部233。發送控制部2333基於利用LED點亮判斷部2331檢測到LED361之發光，控制第2攝像圖像或基於第2攝像圖像之資料(元資料)向伺服器裝置40之發送。再者，發送控制部2333只要以如下方式進行控制即可，即，藉由控制使第2攝像圖像及基於第2攝像圖像之元資料之哪一者自選擇器250輸出，而將任一者發送至伺服器裝置40。
根據該構成，能夠控制藉由被攝體之攝影所獲得之第2攝像圖像或第2攝像圖像之元資料向影像感測器20之外部的發送。藉此，能夠進一步強化被攝體之隱私保護。另一方面，發送控制部2333可基於利用LED點亮判斷部2331未檢測到LED361之發光之情況，廢除第2攝像圖像。
例如，LED點亮判斷部2331只要基於第1攝像圖像中之亮度之區域間差分或包含第1攝像圖像之複數個圖框中之亮度之圖框間差分，判定是否檢測到LED361之發光即可。例如，LED點亮判斷部2331亦可於第1攝像圖像中之亮度之區域間差分(例如，光檢測區域IM2與另一區域之間之亮度之差分)或複數個圖框中之亮度之圖框間差分(例如，複數個圖框中之光檢測區域IM2之亮度之差分)大於閾值之情形時，判定為檢測到LED361之發光。
此處，主要假設自第1攝像圖像檢測到發光之情形、將第2攝像圖像以後發送至伺服器裝置40之情形。但是，亦可除了第2攝像圖像以後之外，亦將檢測到發光之第1攝像圖像發送至伺服器裝置40。更具體而言，發送控制部233亦可基於自第1攝像圖像之第1區域(例如，光檢測區域IM2(圖7))檢測到發光之情況，控制與第1攝像圖像之第1區域不同之第2區域(例如，有效像素區域IM1(圖7))或基於第2區域之資料之發送。此時，只要自攝像圖像IM0中之光檢測區域IM2側之列(於圖7所示之例中為最下列)起依序進行讀出，則可於對攝像圖像IM0之一次讀入中執行LED361之發光之檢測及有效像素區域IM1之發送。
例如，發送控制部2333於利用局部認證部231之第1認證成功之情形時，只要控制基於第2攝像圖像之資料(元資料)向伺服器裝置40之發送即可。另一方面，發送控制部2333於利用局部認證部231之第1認證失敗之情形時，只要控制第2攝像圖像向伺服器裝置40之發送即可。
LED361之發光亦可使用機械學習完畢之神經網路(第3神經網路)進行檢測。估計藉此LED361之發光之檢測精度得以提高。例如，神經網路亦可為深度學習網路。估計於該情形時，LED361之發光之檢測精度進一步提高。但是，LED361之發光亦可藉由無需學習之構成來抽取。再者，機械學習完畢之神經網路(第3神經網路)可包含於資料發送判斷部233。
第2攝像圖像或基於第2攝像圖像之資料(元資料)按照資料發送判斷部233之控制，由資料發送部261發送至伺服器裝置40。於伺服器裝置40中，由資料接收部410接收第2攝像圖像或基於第2攝像圖像之資料(元資料)。伺服器認證部420進行基於第2攝像圖像之第2認證。例如，藉由第2認證獲得之資料可為基於第2攝像圖像之資料(元資料)。該元資料可為自第2攝像圖像識別之被攝體(人物)之識別資訊。
再者，伺服器認證部420可包含機械學習完畢之神經網路(第2神經網路)而構成。估計藉此認證精度得以提高。例如，神經網路亦可為深度學習網路。估計於該情形時，認證精度進一步提高。但是，利用伺服器認證部420之第2認證亦可藉由無需學習之構成來進行。第2認證之認證結果(成功/失敗)及藉由第2認證獲得之資料(元資料)經由資料發送部440發送至影像感測器20。
於影像感測器20中，由資料接收部262接收第2認證之認證結果(成功/失敗)及藉由第2認證獲得之資料(元資料)。
於第1認證成功之情形時，於影像感測器20中執行基於藉由第1認證獲得之資料(元資料)之處理。又，於第2認證成功之情形時，亦於影像感測器20中執行基於藉由第2認證獲得之資料(元資料)之處理。基於元資料之處理不受限定。例如，基於元資料之處理於元資料為被攝體之識別資訊之情形時，亦可為將與藉由該識別資訊識別之被攝體對應之虛擬形象(avatar)顯示於畫面之處理。
再者，可能相較於局部認證部231中所包含之第1神經網路之第1參數，伺服器認證部420中所包含之第2神經網路之第2參數更有助於較高之辨識精度。作為參數，假設重量及偏壓等。因此，理想的是於特定之時點，基於伺服器認證部420中所包含之第2神經網路之第2參數，更新局部認證部231中所包含之第1神經網路之第1參數。
具體而言，於利用伺服器認證部420基於第2攝像圖像之第2認證成功之情形時，亦可利用伺服器認證部420自伺服器認證用資料記憶部430獲取伺服器認證部420中所包含之第2神經網路之第2參數，並經由資料發送部440將其發送至影像感測器20。此時，於影像感測器20中，亦可由資料接收部262接收該第2參數，並基於第2參數利用局部認證部231更新記憶於局部認證用資料記憶部232之局部認證部231中所包含之第1神經網路之第1參數。
繼而，對本發明之第1實施形態之影像感測器20之動作例進行說明。圖12係表示本發明之第1實施形態之影像感測器20的動作例之流程圖。如圖12所示，資料發送判斷部233判斷可否發送資料(S11)。參照圖13對可否發送資料之判斷詳細進行說明。
圖13係表示本發明之第1實施形態之可否發送資料之判斷的詳細動作例之流程圖。首先，發光控制部271使LED361之發光隨攝像開始一同開始。然後，如圖13所示，於可否發送資料之判斷S11中，資料發送判斷部233嘗試自攝像圖像檢測由LED361發出之光(S111)。資料發送判斷部233於未檢測到由LED361發出之光之情形時(於S111中為「否(NO)」)，判斷為不可發送資料(S112)。另一方面，資料發送判斷部233於檢測到由LED361發出之光之情形時(於S111中為「是(YES)」)，判斷為可發送資料(S116)。
返回至圖12繼續進行說明。於判斷為不可發送資料之情形時(於S11中為「不合格(NG)」)，為不可發送資料(S12)。此時，可廢除攝像圖像。另一方面，局部認證部231於判斷為可發送資料之情形時(於S11中為「合格(OK)」)，進行局部認證(S13)。局部認證可相當於上述第1認證。於局部認證成功之情形時(於S13中為「合格」)，由資料發送部261將元資料發送至伺服器裝置40，為認證成功(S15)。另一方面，於局部認證失敗之情形時(於S13中為「不合格」)，由資料發送部261將攝像圖像發送至伺服器裝置40。此時，亦可通知為資料發送狀態(S16)。
繼而，執行伺服器裝置40中之伺服器處理(S17)。具體而言，由資料發送部440接收攝像圖像(S18)，基於攝像圖像進行伺服器認證(S19)。伺服器認證可相當於上述第2認證。於伺服器認證成功之情形時(於S19中為「合格」)，藉由伺服器認證用資料更新局部認證用資料(S21)，為認證成功(S15)。另一方面，於伺服器認證失敗之情形時(於S19中為「不合格」)，為認證失敗(S20)。
再者，發光控制部271可於元資料或攝像圖像之發送結束之後，使LED361之發光停止。藉此，避免了以下情況：儘管對同一人物攝影，亦連續發送元資料或攝像圖像。而且，發光控制部271亦可於自攝像範圍重新檢測到人之情形時，使LED361之發光再次開始。藉此，於開始新的人之攝影之情形時，再次發送元資料或攝像圖像。
以上，對本發明之第1實施形態進行了說明。
＜2.第2實施形態＞ 繼而，對本發明之第2實施形態進行說明。對本發明之第2實施形態之固體攝像系統1之詳細構成進行說明。圖14係表示本發明之第2實施形態之固體攝像系統1的詳細構成例之圖。如圖14所示，本發明之第2實施形態與本發明之第1實施形態之不同點在於：影像感測器20不具有局部認證部231及局部認證用資料記憶部232。於該情形時，不自影像感測器20向伺服器裝置40發送元資料。
繼而，對本發明之第2實施形態之影像感測器20之動作例進行說明。圖15係表示本發明之第2實施形態之影像感測器20的動作例之流程圖。如圖15所示，與圖12所示之例不同，於判斷為可發送資料之情形時(於S11中為「合格」)，由資料發送部261將攝像圖像發送至伺服器裝置40。此時，亦可通知為資料發送狀態(S16)。
繼而，執行伺服器裝置40中之伺服器處理(S17)。具體而言，由資料發送部440接收攝像圖像(S18)，基於攝像圖像進行伺服器認證(S19)。伺服器認證可相當於上述第2認證。於伺服器認證成功之情形時(於S19中為「合格」)，為認證成功(S15)。另一方面，於伺服器認證失敗之情形時(於S19中為「不合格」)，為認證失敗(S20)。
以上，對本發明之第2實施形態進行了說明。
＜3.第3實施形態＞ 繼而，對本發明之第3實施形態進行說明。對本發明之第3實施形態之固體攝像系統1之詳細構成進行說明。圖16係表示本發明之第3實施形態之固體攝像系統1的詳細構成例之圖。如圖16所示，本發明之第3實施形態與本發明之第2實施形態之不同點在於：固體攝像系統1具有人檢測部281及人檢測用資料記憶部282。於該情形時，亦向人檢測部281輸出利用信號處理部221處理後之信號(攝像圖像)。再者，固體攝像系統1亦可除了具有人檢測部281及人檢測用資料記憶部282以外，還與第1實施形態相同具有人檢測部281及人檢測用資料記憶部282。
人檢測部281嘗試自第1攝像圖像檢測人。例如，人檢測部281於由人檢測用資料記憶部282記憶有人之特徵量之情形時，自人檢測用資料記憶部282獲取人之特徵量，並且自第1攝像圖像抽取特徵量。人檢測部281亦可於兩特徵量一致或類似之情形時，檢測為第1攝像圖像中存在人。發光控制部271於利用人檢測部281自第1攝像圖像檢測到人之情形時，使LED361之發光開始。藉此，僅於有人觀察到LED361之點亮的可能性時LED361才點亮，因此，可謀求省電化。
人檢測部281亦可於自第1攝像圖像檢測到人之情形時，對發送控制部2333通知人檢測區域(臉部區域)。而且，發送控制部2333亦可以如下方式進行控制，即，於針對第2攝像圖像對人檢測區域(臉部區域)進行遮蔽處理後，向伺服器裝置40發送第2攝像圖像。藉此，能夠強化第2攝像圖像中拍到之人之隱私保護。
再者，特徵量亦可使用機械學習完畢之神經網路(第4神經網路)自第1攝像圖像抽取。估計藉此特徵量抽取之精度得以提高。例如，神經網路亦可為深度學習網路。估計於該情形時，特徵量抽取之精度進一步提高。但是，特徵量亦可藉由無需學習之構成來抽取。再者，機械學習完畢之神經網路(第4神經網路)可包含於人檢測部281。
繼而，參照圖17對本發明之第3實施形態之可否發送資料之判斷詳細進行說明。圖17係表示本發明之第3實施形態之可否發送資料之判斷的詳細動作例之流程圖。首先，人檢測部281嘗試是否自攝像圖像檢測到人(S113)。資料發送判斷部233於利用人檢測部281未檢測到人之情形時(於S113中為「否」)，判斷為可發送資料(S116)。另一方面，發光控制部271於利用人檢測部281檢測到人之情形時(於S113中為「是」)，藉由使LED361之點亮開始，而對被攝體通知攝影開始(S114)。
而且，資料發送判斷部233嘗試自攝像圖像檢測LED361發出之光(S111)。資料發送判斷部233於未檢測到由LED361發出之光之情形時(於S111中為「否」)，判斷為不可發送資料(S112)。另一方面，資料發送判斷部233於檢測到由LED361發出之光之情形時(於S111中為「是」)，對攝像圖像之臉部區域進行遮蔽處理(S115)，判斷為可發送資料(S116)。
以上，對本發明之第3實施形態進行了說明。
＜4.第4實施形態＞ 繼而，對本發明之第4實施形態進行說明。對本發明之第4實施形態之固體攝像系統1之詳細構成進行說明。圖18係表示本發明之第4實施形態之固體攝像系統1的詳細構成例之圖。如圖18所示，本發明之第4實施形態與本發明之第1實施形態之不同點在於：固體攝像系統1具有檢測裝置60。於該情形時，可藉由檢測裝置60檢測被攝體之攝影容許動作。例如，於檢測裝置60包含麥克風之情形時，亦可使用特定之聲音之表達作為攝影容許動作，來代替LED361之發光檢測。或者於檢測裝置60包含輸入裝置(例如觸控面板等)之情形時，亦可使用特定之輸入操作(例如對觸控面板之觸控操作等)作為攝影容許動作。
以上，對本發明之第4實施形態進行了說明。
＜5.第5實施形態＞ 繼而，對本發明之第5實施形態進行說明。對本發明之第5實施形態之固體攝像系統1之詳細構成進行說明。圖19係表示本發明之第5實施形態之固體攝像系統1的詳細構成例之圖。如圖19所示，本發明之第5實施形態與本發明之第1實施形態之不同點在於：固體攝像系統1具有外部記錄媒體70代替伺服器裝置40。於該情形時，可將自影像感測器20發送之第2攝像圖像或基於第2攝像圖像之資料(元資料)記錄於外部記錄媒體70。再者，第2攝像圖像或基於第2攝像圖像之資料(元資料)亦可自影像感測器20輸出至應用軟體30。
以上，對本發明之第5實施形態進行了說明。
＜6.第6實施形態＞ 繼而，對本發明之第6實施形態進行說明。此處，於本發明之第1實施形態至本發明之第5實施形態中，主要對使用LED361作為發光部之例之情況進行了說明。而且，針對本發明之第1實施形態至本發明之第5實施形態之各者亦可應用於使用其他發光部(閃光燈等)代替LED361之情況進行了說明。於本發明之第6實施形態中，主要對使用閃光燈作為發光部之例之情況之例進行說明。
參照圖20對本發明之第6實施形態之固體攝像系統之構成例進行說明。參照圖20，本發明之第6實施形態之固體攝像系統1與本發明之第1實施形態之固體攝像系統1的不同點在於：電子機器10具有閃光燈364代替LED361。閃光燈364按照DSP230之控制於利用影像感測器20進行攝影時發光。此時，進行與自影像感測器20之內部之閃光燈364發出之光的強度(閃光燈強度)相應之曝光控制。
繼而，對本發明之第6實施形態之固體攝像系統1之詳細構成例進行說明。圖21係表示資料發送判斷部233之詳細構成例之圖。如圖21所示，資料發送判斷部233具有閃光燈點亮判斷部2332及發送控制部2333。本發明之第6實施形態之影像感測器20與本發明之第1實施形態之影像感測器20的不同點在於：資料發送判斷部233具有閃光燈點亮判斷部2332代替LED點亮判斷部2331。
發光控制部271於閃光燈點亮前基於攝像範圍之亮度算出閃光燈未點亮時之適當曝光值(曝光時間及增益)。然後，發光控制部271基於閃光燈未點亮時之適當曝光值算出閃光燈點亮時之參數(閃光燈強度、曝光時間、增益)。即，發光控制部271算出如下參數，即，於在第1攝像圖像中映出閃光燈364之發光之情形時，第1攝像圖像之亮度平均值落入適當範圍內。發光控制部271基於參數控制閃光燈364之發光。
閃光燈點亮判斷部2332基於第1攝像圖像之亮度平均值是否為適當範圍內，判定是否自第1攝像圖像檢測到發光。此時，若無特別異常，則第1攝像圖像之亮度平均值落入適當範圍內(為適當曝光)。另一方面，若存在異常，則第1攝像圖像之亮度平均值未落入適當範圍內(為曝光不足)。異常之原因並無特別限定，但可為閃光燈364上被覆有覆蓋物，亦可為閃光燈364被卸除。
圖22係閃光燈364正常點亮之情形及閃光燈364未正常點亮之情形各自的攝像圖像之例。參照圖22，示出閃光燈364正常點亮之情形時之攝像圖像IM3、及閃光燈364未正常點亮之情形時之攝像圖像IM4。閃光燈364正常點亮之情形時之攝像圖像IM3係亮度平均值落入適當範圍內。另一方面，閃光燈364未正常點亮之情形時之攝像圖像IM4係亮度平均值不落入適當範圍內。
發送控制部2333基於利用閃光燈點亮判斷部2332檢測到閃光燈364之發光之情況(於圖22所示之例中，亮度平均值落入適當範圍內之情況)，控制第2攝像圖像或基於第2攝像圖像之資料(元資料)向伺服器裝置40之發送。另一方面，發送控制部2333可基於利用閃光燈點亮判斷部2332未檢測到閃光燈364之發光之情況，廢除第2攝像圖像。
繼而，參照圖23對本發明之第6實施形態之可否發送資料之判斷詳細進行說明。圖23係表示本發明之第6實施形態之可否發送資料之判斷的詳細動作例之流程圖。首先，發光控制部271使閃光燈364之發光隨攝像開始一同開始。然後，如圖23所示，於可否發送資料之判斷S11中，資料發送判斷部233嘗試自攝像圖像之亮度平均值檢測由閃光燈364發出之光(S117)。資料發送判斷部233於未檢測到由閃光燈364發出之光之情形時(於S117中為「否」)，判斷為不可發送資料(S112)。另一方面，資料發送判斷部233於檢測到由閃光燈364發出之光之情形時(於S117中為「是」)，判斷為可發送資料(S116)。
以上，對本發明之第6實施形態進行了說明。
＜7.結語＞ 如以上所說明，根據本發明之實施形態，提供一種固體攝像裝置，其具備：攝像部，其拍攝第1攝像圖像；發光控制部，其控制發光部之發光；判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
根據該構成，控制藉由被攝體之攝影所獲得之資料向影像感測器外部之發送，因此，能夠進一步強化被攝體之隱私保護。
以上，參照隨附圖式對本發明之較佳之實施形態詳細進行了說明，但本發明之技術範圍並不限定於該例。只要為具有本發明之技術領域中之通常之知識者，則可明確於申請專利範圍內所記載之技術思想之範疇內能夠想到各種變更例或修正例，對於該等，當然亦理解為屬於本發明之技術範圍者。
例如，上述中對本發明之第1實施形態至本發明之第6實施形態之各者進行了說明。亦可自該等各種實施形態中適當選擇任一構成而組合。
又，本說明書中記載之效果僅為說明性或例示性，並非限定性。即，本發明之技術可與上述效果一同，或代替上述效果，起到業者自本說明書之記載可知之其他效果。
再者，如下之構成亦屬於本發明之技術範圍。 (1) 一種固體攝像裝置，其具備： 攝像部，其拍攝第1攝像圖像； 發光控制部，其控制發光部之發光； 判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及 發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。 (2) 如上述(1)中記載之固體攝像裝置，其中 上述固體攝像裝置 具備第1認證部，上述第1認證部於檢測到上述發光之情形時，基於上述第2攝像圖像進行第1認證，且 上述發送控制部於上述第1認證成功之情形時，控制基於上述第2攝像圖像之資料之發送，於上述第1認證失敗之情形時，控制上述第2攝像圖像之發送。 (3) 如上述(2)中記載之固體攝像裝置，其中 上述第1認證部係包含機械學習完畢之第1神經網路而構成。 (4) 如上述(3)中記載之固體攝像裝置，其中 於上述第2攝像圖像之發送目的地存在包含機械學習完畢之第2神經網路而構成之第2認證部，且 上述第1認證部於藉由上述第2認證部基於上述第2攝像圖像之第2認證成功之情形時，基於上述第2神經網路之第2參數更新上述第1神經網路之第1參數。 (5) 如上述(2)至(4)中任一項記載之固體攝像裝置，其中 上述固體攝像裝置係包含複數個半導體晶片而構成，且 上述第1認證部包含於上述複數個半導體晶片中之與包含上述攝像部之第1半導體晶片不同之第2半導體晶片。 (6) 如上述(5)中記載之固體攝像裝置，其中 上述第1認證部係由上述第2半導體晶片中所包含之DSP來實現。 (7) 如上述(5)或(6)中記載之固體攝像裝置，其中 上述固體攝像裝置具備對來自上述攝像部之輸出信號進行信號處理之信號處理部，且 上述信號處理部包含於上述複數個半導體晶片中之與上述第1半導體晶片及上述第2半導體晶片不同之第3半導體晶片、或上述第2半導體晶片。 (8) 如上述(5)至(7)中任一項記載之固體攝像裝置，其中 上述固體攝像裝置具備記憶部，且 上述記憶部包含於上述複數個半導體晶片中之與上述第1半導體晶片及上述第2半導體晶片不同之第3半導體晶片、或上述第2半導體晶片。 (9) 如上述(1)至(8)中任一項記載之固體攝像裝置，其中 由上述發光部發出之光自上述發光部直接或藉由特定之反射構件反射而到達上述攝像部。 (10) 如上述(1)至(9)中任一項記載之固體攝像裝置，其中 上述判定部基於上述第1攝像圖像中之亮度之區域間差分或包含上述第1攝像圖像之複數個圖框中之亮度之圖框間差分，判定是否檢測到上述發光。 (11) 如上述(1)至(10)中任一項記載之固體攝像裝置，其中 上述發光控制部於自上述第1攝像圖像檢測到人之情形時，使上述發光部之上述發光開始。 (12) 如上述(1)至(11)中任一項記載之固體攝像裝置，其中 上述發送控制部基於自上述第1攝像圖像之第1區域檢測到上述發光之情況，控制與上述第1攝像圖像之上述第1區域不同之第2區域或基於上述第2區域之資料的發送。 (13) 如上述(1)至(11)中任一項記載之固體攝像裝置，其中 上述判定部基於上述第1攝像圖像之亮度平均值是否為適當範圍內，判定是否自上述第1攝像圖像檢測到上述發光。 (14) 如上述(13)中記載之固體攝像裝置，其中 上述發光控制部算出如於在上述第1攝像圖像中映出上述發光之情形時上述第1攝像圖像之亮度平均值落入適當範圍內的參數，並基於上述參數控制上述發光。 (15) 如上述(1)至(14)中任一項記載之固體攝像裝置，其中 上述發送控制部控制上述第2攝像圖像或基於上述第2攝像圖像之資料向應用軟體、伺服器裝置或外部記錄媒體之發送。 (16) 如上述(2)至(8)中任一項記載之固體攝像裝置，其中 於上述第1認證成功之情形時，執行基於藉由上述第1認證獲得之資料之處理。 (17) 如上述(16)中記載之固體攝像裝置，其中 藉由上述第1認證獲得之資料包含自上述第2攝像圖像識別之被攝體之識別資訊。 (18) 如上述(4)中記載之固體攝像裝置，其中 於上述第2認證成功之情形時，執行基於藉由上述第2認證獲得之資料之處理。 (19) 一種固體攝像方法，其具備以下步驟： 拍攝第1攝像圖像； 控制發光部之發光； 判定是否自上述第1攝像圖像檢測到上述發光；及 處理器基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。 (20) 一種電子機器，其具備： 應用軟體； 攝像部，其拍攝第1攝像圖像； 發光部； 發光控制部，其控制上述發光部之發光； 判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及 發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
1:體攝像系統 10:電子機器 10-1:子機器 10-2:子機器 20:影像感測器 30:應用軟體 32:相機模組 36:LED模組 40:伺服器裝置 50:網路 60:檢測裝置 70:外部記錄媒體 210:CIS 211:攝像元件 212:A/D轉換器 220:邏輯電路 221:信號處理部 230:DSP 231:局部認證部 232:局部認證用資料記憶部 233:資料發送判斷部 240:記憶體 250:選擇器 261:資料發送部 262:資料接收部 271:發光控制部 281:人檢測部 282:人檢測用資料記憶部 321:光學透鏡 322:透鏡座 323:截止濾光鏡 324:模組基板 361:LED 362:光源用透鏡 363:模組基板 364:閃光燈 410:資料接收部 420:伺服器認證部 430:伺服器認證用資料記憶部 440:資料發送部 2211:遮光校正部 2212:混色校正部 2213:數位增益調整部 2214:白平衡增益調整部 2215:檢波部 2216:解馬賽克處理部 2217:γ校正部 2311:標準化處理部 2312:局部認證處理部 2331:LED點亮判斷部 2332:閃光燈點亮判斷部 2333:發送控制部 IM0:攝像圖像 IM1:有效像素區域 IM2:光檢測區域 IM3:攝像圖像 IM4:攝像圖像 L1:第1半導體晶片 L2:第2半導體晶片 L3:第3半導體晶片
圖1係表示本發明之第1實施形態之固體攝像系統的構成例之圖。 圖2係表示影像感測器之構造之第1例之圖。 圖3係表示影像感測器之構造之第2例之圖。 圖4係表示電子機器之外觀構成之第1例之圖。 圖5係表示電子機器之外觀構成之第2例之圖。 圖6係圖4及圖5所示之相機模組及LED(Light Emitting Diode，發光二極體)模組之A-A剖視圖。 圖7係表示利用影像感測器獲得之攝像圖像之例之圖。 圖8係表示本發明之第1實施形態之固體攝像系統的詳細構成例之圖。 圖9係表示信號處理部之詳細構成例之圖。 圖10係表示局部認證部之詳細構成例之圖。 圖11係表示資料發送判斷部之詳細構成例之圖。 圖12係表示本發明之第1實施形態之影像感測器的動作例之流程圖。 圖13係表示該實施形態之可否發送資料之判斷的詳細動作例之流程圖。 圖14係表示本發明之第2實施形態之固體攝像系統的詳細構成例之圖。 圖15係表示該實施形態之影像感測器之動作例之流程圖。 圖16係表示本發明之第3實施形態之固體攝像系統的詳細構成例之圖。 圖17係表示該實施形態之可否發送資料之判斷的詳細動作例之流程圖。 圖18係表示本發明之第4實施形態之固體攝像系統之詳細構成例的圖。 圖19係表示本發明之第5實施形態之固體攝像系統的詳細構成例之圖。 圖20係表示本發明之第6實施形態之固體攝像系統的詳細構成例之圖。 圖21係表示資料發送判斷部之詳細構成例之圖。 圖22係閃光燈正常點亮之情形及閃光燈未正常點亮之情形各自的攝像圖像之例。 圖23係表示本發明之第6實施形態之可否發送資料之判斷的詳細動作例之流程圖。
1:固體攝像系統
10:電子機器
20:影像感測器
30:應用軟體
40:伺服器裝置
50:網路
210:CIS
220:邏輯電路
230:DSP
240:記憶體
250:選擇器
361:LED

Claims (20)

  1. 一種固體攝像裝置，其具備： 攝像部，其拍攝第1攝像圖像； 發光控制部，其控制發光部之發光； 判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及 發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
  2. 如請求項1之固體攝像裝置，其中 上述固體攝像裝置 具備第1認證部，上述第1認證部於檢測到上述發光之情形時，基於上述第2攝像圖像進行第1認證，且 上述發送控制部於上述第1認證成功之情形時，控制基於上述第2攝像圖像之資料之發送，於上述第1認證失敗之情形時，控制上述第2攝像圖像之發送。
  3. 如請求項2之固體攝像裝置，其中 上述第1認證部係包含機械學習完畢之第1神經網路而構成。
  4. 如請求項3之固體攝像裝置，其中 於上述第2攝像圖像之發送目的地存在包含機械學習完畢之第2神經網路而構成之第2認證部，且 上述第1認證部於藉由上述第2認證部基於上述第2攝像圖像之第2認證成功之情形時，基於上述第2神經網路之第2參數更新上述第1神經網路之第1參數。
  5. 如請求項2之固體攝像裝置，其中 上述固體攝像裝置係包含複數個半導體晶片而構成，且 上述第1認證部包含於上述複數個半導體晶片中之與包含上述攝像部之第1半導體晶片不同之第2半導體晶片。
  6. 如請求項5之固體攝像裝置，其中 上述第1認證部係由上述第2半導體晶片中所包含之DSP來實現。
  7. 如請求項5之固體攝像裝置，其中 上述固體攝像裝置具備對來自上述攝像部之輸出信號進行信號處理之信號處理部，且 上述信號處理部包含於上述複數個半導體晶片中之與上述第1半導體晶片及上述第2半導體晶片不同之第3半導體晶片、或上述第2半導體晶片。
  8. 如請求項5之固體攝像裝置，其中 上述固體攝像裝置具備記憶部，且 上述記憶部包含於上述複數個半導體晶片中之與上述第1半導體晶片及上述第2半導體晶片不同之第3半導體晶片、或上述第2半導體晶片。
  9. 如請求項1之固體攝像裝置，其中 由上述發光部發出之光自上述發光部直接或藉由特定之反射構件反射而到達上述攝像部。
  10. 如請求項1之固體攝像裝置，其中 上述判定部基於上述第1攝像圖像中之亮度之區域間差分或包含上述第1攝像圖像之複數個圖框中之亮度之圖框間差分，判定是否檢測到上述發光。
  11. 如請求項1之固體攝像裝置，其中 上述發光控制部於自上述第1攝像圖像檢測到人之情形時，使上述發光部之上述發光開始。
  12. 如請求項1之固體攝像裝置，其中 上述發送控制部基於自上述第1攝像圖像之第1區域檢測到上述發光，控制與上述第1攝像圖像之上述第1區域不同之第2區域或基於上述第2區域之資料的發送。
  13. 如請求項1之固體攝像裝置，其中 上述判定部基於上述第1攝像圖像之亮度平均值是否為適當範圍內，判定是否自上述第1攝像圖像檢測到上述發光。
  14. 如請求項13之固體攝像裝置，其中 上述發光控制部算出如於在上述第1攝像圖像中映出上述發光之情形時上述第1攝像圖像之亮度平均值落入適當範圍內的參數，並基於上述參數控制上述發光。
  15. 如請求項1之固體攝像裝置，其中 上述發送控制部控制上述第2攝像圖像或基於上述第2攝像圖像之資料向應用軟體、伺服器裝置或外部記錄媒體之發送。
  16. 如請求項2之固體攝像裝置，其中 於上述第1認證成功之情形時，執行基於藉由上述第1認證獲得之資料之處理。
  17. 如請求項16之固體攝像裝置，其中 藉由上述第1認證獲得之資料包含自上述第2攝像圖像識別之被攝體之識別資訊。
  18. 如請求項4之固體攝像裝置，其中 於上述第2認證成功之情形時，執行基於藉由上述第2認證獲得之資料之處理。
  19. 一種固體攝像方法，其具備以下步驟： 拍攝第1攝像圖像； 控制發光部之發光； 判定是否自上述第1攝像圖像檢測到上述發光；及 處理器基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
  20. 一種電子機器，其具備： 應用軟體； 攝像部，其拍攝第1攝像圖像； 發光部； 發光控制部，其控制上述發光部之發光； 判定部，其判定是否自上述第1攝像圖像檢測到上述發光；及 發送控制部，其基於檢測到上述發光，控制第2攝像圖像或基於上述第2攝像圖像之資料之發送。
TW108141890A 2018-12-07 2019-11-19 固體攝像裝置、固體攝像方法及電子機器 TW202029724A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-229775 2018-12-07
JP2018229775 2018-12-07

Publications (1)

Publication Number Publication Date
TW202029724A true TW202029724A (zh) 2020-08-01

Family

ID=70975347

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141890A TW202029724A (zh) 2018-12-07 2019-11-19 固體攝像裝置、固體攝像方法及電子機器

Country Status (6)

Country Link
US (1) US11490038B2 (zh)
EP (1) EP3893488B1 (zh)
JP (1) JP7357640B2 (zh)
CN (1) CN113170046B (zh)
TW (1) TW202029724A (zh)
WO (1) WO2020116196A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114930807A (zh) * 2020-01-31 2022-08-19 索尼半导体解决方案公司 摄像装置和摄像方法
US11582397B2 (en) 2021-05-18 2023-02-14 X Development Llc Enhanced controller synchronization verification
WO2023218935A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3793982B2 (ja) * 1999-04-07 2006-07-05 富士写真フイルム株式会社 電子カメラ、電子カメラの指掛かり検出方法及び電子カメラのレベル変換方法
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP2003218992A (ja) 2002-01-24 2003-07-31 Toshiba Corp 通信端末
US20040001074A1 (en) * 2002-05-29 2004-01-01 Hideki Oyaizu Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
US8457367B1 (en) * 2012-06-26 2013-06-04 Google Inc. Facial recognition
WO2015070401A1 (zh) * 2013-11-13 2015-05-21 华为终端有限公司 一种隐私保护的方法及电子设备
JP6324079B2 (ja) 2014-01-14 2018-05-16 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
US10306187B2 (en) * 2015-10-16 2019-05-28 Vivint, Inc. Adjustable movement detection doorbell
JP6659163B2 (ja) * 2016-03-16 2020-03-04 キヤノン株式会社 フラッシュバンド判定装置、その制御方法、およびプログラム
KR20180084397A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 홍채를 인식하기 위한 전자 장치 및 그의 동작 방법
JP2019095385A (ja) 2017-11-27 2019-06-20 株式会社デンソー センサシステム

Also Published As

Publication number Publication date
JPWO2020116196A1 (ja) 2021-10-14
EP3893488A1 (en) 2021-10-13
CN113170046A (zh) 2021-07-23
EP3893488B1 (en) 2023-12-27
US11490038B2 (en) 2022-11-01
US20210400213A1 (en) 2021-12-23
EP3893488A4 (en) 2022-01-26
WO2020116196A1 (ja) 2020-06-11
JP7357640B2 (ja) 2023-10-06
CN113170046B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
TW202029724A (zh) 固體攝像裝置、固體攝像方法及電子機器
US8357899B2 (en) Color correction circuitry and methods for dual-band imaging systems
JP2007157115A (ja) 認証装置及び携帯端末
JP2007122237A (ja) 偽造判定用撮像装置及び個人識別装置
JP6003135B2 (ja) 画像処理装置、画像処理方法及び撮像装置
US8576320B2 (en) Digital photographing apparatus and method of controlling the same
US10057503B2 (en) Image processing apparatus and method for applying a virtual light source to an image
JP2004261515A (ja) 虹彩撮像装置
JP2016126472A (ja) 心拍数検出装置及びそれを用いた顔認識システム
CN115601274B (zh) 图像处理方法、装置和电子设备
US11917306B2 (en) Electronic device that corrects images captured on a side opposite a displaying surface
US20170126966A1 (en) Photography method using gaze detection
JP2005197914A (ja) 顔画像認識装置及びそれを備えたデジタルカメラ
JP2007249589A (ja) 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009277054A (ja) 指静脈認証装置及び指静脈認証方法
JP2018107741A (ja) 画像処理装置、画像処理方法、およびプログラム
US10021314B2 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source
JP2006301172A (ja) 撮像装置及び撮像装置の制御方法
JP2008160701A (ja) カメラ及びカメラ用撮影制御プログラム
US12052463B2 (en) Solid-state imaging device, solid-state imaging method, and electronic equipment
TWI857992B (zh) 固態攝像裝置、固態攝像方法及電子機器
JP2001148800A (ja) デジタルカメラおよび画像処理方法
JP5470218B2 (ja) 撮像装置
JP2009147591A (ja) 撮像装置、および、プログラム
JP2017022742A (ja) 画像処理装置、画像処理方法、撮像装置、及びシステム