JP6695947B2 - 固体撮像システム、画像処理方法及びプログラム - Google Patents

固体撮像システム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6695947B2
JP6695947B2 JP2018177311A JP2018177311A JP6695947B2 JP 6695947 B2 JP6695947 B2 JP 6695947B2 JP 2018177311 A JP2018177311 A JP 2018177311A JP 2018177311 A JP2018177311 A JP 2018177311A JP 6695947 B2 JP6695947 B2 JP 6695947B2
Authority
JP
Japan
Prior art keywords
dnn
solid
state imaging
processing unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018177311A
Other languages
English (en)
Other versions
JP2020047191A (ja
Inventor
清剛 花田
清剛 花田
秀 小林
秀 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018177311A priority Critical patent/JP6695947B2/ja
Priority to CN201980060063.7A priority patent/CN112703726A/zh
Priority to PCT/JP2019/034127 priority patent/WO2020059464A1/ja
Priority to US17/275,410 priority patent/US20220058411A1/en
Priority to EP19862570.9A priority patent/EP3855726A4/en
Publication of JP2020047191A publication Critical patent/JP2020047191A/ja
Application granted granted Critical
Publication of JP6695947B2 publication Critical patent/JP6695947B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本開示は、固体撮像システム、固体撮像装置、情報処理装置、画像処理方法及びプログラムに関する。
近年、ニューラルネットワークを搭載した種々の装置が提案されている。例えば、特許文献１には、検出物体らしさを示す尤度に基づくことで、画像に対する識別性能を向上させることのできる技術が開示されている。
特開２０１５−１９１３３４号公報
ところで、デジタルカメラなどに代表される機器には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＤＳＰ（Digital Signal Processor）を有するイメージセンサが搭載される。近年では、画像処理の多様化・高速化や個人情報の保護等の観点から、例えば、イメージセンサにＤＮＮ（Deep Neural Network）の機能を持たせて、高度な処理を実行することが望まれている。
しかしながら、特許文献１では、イメージセンサから対象画像を出力させる必要があるため、出力するデータ量が多く、また個人情報を保護できない可能性がある。
そこで、本開示では、イメージセンサから出力されるデータ量が少なくし、かつ個人情報を保護することのできる固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の固体撮像システムは、固体撮像装置と、情報処理装置とを含み、前記固体撮像装置は、画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行して第１結果を生成する第１ＤＮＮ処理部を備え、前記情報処理装置は、前記固体撮像装置から取得された前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備える。
本開示の第１実施形態に係る固体撮像システムの構成の一例を示すブロック図である。 本開示の第１実施形態に係る固体撮像システムの接続関係の一例を説明するための模式図である。 本開示の第１実施形態に係る固体撮像装置の積層構造の一例を示す模式図である。 本開示の第１実施形態に係る固体撮像システムの処理を説明するための模式図である。 ＤＮＮアルゴリズムの構成を説明するための模式図である。 ＤＮＮアルゴリズムの分割処理の一例を説明するための模式図である。 本開示の第１実施形態に係る固体撮像システムの処理の流れの一例を示すシーケンス図である。 本開示の第１実施形態に係る固体撮像装置及び情報処理装置それぞれの制御部及びＤＮＮ処理部の処理の流れの一例を示すシーケンス図である。 本開示の第２実施形態に係る固体撮像システムの構成の一例を示すブロック図である。 本開示の第２実施形態に係る固体撮像システムの接続関係の一例を示すブロック図である。 本開示の第２実施形態に係る固体撮像システムの接続関係の一例を示すブロック図である。 本開示の固体撮像装置及び情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
１．第１実施形態
１−１．第１実施形態に係る固体撮像システムの構成
１−２．ＤＮＮアルゴリズムの構成
１−３．第１実施形態に係る固体撮像システムの処理
２．第２実施形態
２−１．第２実施形態に係る固体撮像システムの構成
２−２．第２実施形態に係る固体撮像システムの変形例の構成
３．ハードウェア構成
（１．第１実施形態）
[１−１．第１実施形態に係る固体撮像システムの構成]
図１を用いて、本開示の第１実施形態に係る固体撮像システムの構成について説明する。図１は、本開示の第１実施形態に係る固体撮像システムの構成の一例を示すブロック図である。
図１に示すように、固体撮像システム１は、固体撮像装置１００と、情報処理装置２００とを含む。
図２に示すように、固体撮像装置１００と、情報処理装置２００とは、同一の筐体１０の中に存在している。言い換えれば、固体撮像装置１００と、情報処理装置２００とは、同一の筐体１０の中に別チップとして存在している。固体撮像装置１００と、情報処理装置２００とは、ＳｏＣ（System-on-a-chip）、ＭＣＭ（Multi-Chip Module）、ＳＩＰ（System In a Package）、ＳＯＰ（Small Outline Package）などで実装されている。固体撮像システム１は、例えば、インターネット通信網３００によって外部の装置と通信可能に接続されていてもよい。この場合、固体撮像システム１は、例えば、無線通信によって外部の装置と通信可能に接続されていてもよい。また、図２に示す固体撮像システム１は、固体撮像装置１００と、情報処理装置２００とを１つずつ含むが、これは例示であり、本開示を限定するものではない。固体撮像システム１は、固体撮像装置１００と、情報処理装置２００とをそれぞれ複数備えていてもよい。また、固体撮像システム１が含む固体撮像装置１００と、情報処理装置２００との数は異なっていてもよい。固体撮像システム１は、例えば、ＶＰＡ（Virtual Personal Assistant）や、車載カメラに適用することができる。
図１に示すように、固体撮像装置１００は、撮像部１１０と、撮像処理部１２０と、第１ＤＮＮ処理部１３０と、第１記憶部１４０と、第１制御部１５０と、セレクタ１６０と、通信Ｉ／Ｆ１７０と、通信制御部１８０とを備える。
図３は、第１実施形態に係る固体撮像装置１００の積層構造の一例を示す模式図である。図３に示すように、固体撮像装置１００は、例えば、矩形の第１基板１１と、矩形の第２基板１２とが貼り合わされた積層構造を有している。
第１基板１１と、第２基板１２とは、例えば、第１基板１１及び第２基板１２をそれぞれチップに個片化した後、これら個片化された第１基板１１及び第２基板１２を貼り合わせる、いわゆるＣｏＣ（Chip on Chip）方式で貼り合わせればよい。また、第１基板１１と第２基板１２とのうち一方（例えば、第１基板１１）をチップに個片化した後、この個片化された第１基板１１を個片化前（すなわち、ウエハ状態）の第２基板１２に貼り合わせる、いわゆるＣｏＷ（Chip on Wafer）方式で貼り合わせてもよい。さらに、第１基板１１と第２基板１２とを共にウエハの状態で、いわゆるＷｏＷ（Wafer on Wafer）方式で貼り合わせてもよい。
第１基板１１と第２基板１２との接合方法には、例えば、プラズマ接合等を使用することができる。ただし、これに限定されず、種々の接合方法が用いられてよい。
第１基板１１と、第２基板１２とのサイズは、同じであってもよいし、異なっていてもよい。第１基板１１と、第２基板１２とは、例えば、シリコン基板などの半導体基板である。
第１基板１１には、図１に示す固体撮像装置１００の構成要素のうち、例えば、撮像部１１０が配置される。
第２基板１２は、図１に示す固体撮像装置１００の構成要素のうち、例えば、撮像処理部１２０と、第１ＤＮＮ処理部１３０と、第１記憶部１４０と、第１制御部１５０と、セレクタ１６０と、通信Ｉ／Ｆ１７０と、通信制御部１８０とが配置される。
すなわち、固体撮像装置１００の撮像部１１０は、撮像部１１０以外の構成要素に積層実装された構成を有している。
再び図１を参照する。撮像部１１０は、例えば、ズームレンズ、フォーカスレンズ、絞りなどを備える光学系と、フォトダイオードなどの受光素子を含む単位画素が２次元マトリクス状に配列した構成を備える画素アレイ部とを備える。外部から入射した光は、光学系を介することで、画素アレイ部における受光素子が配列した受光面に結像される。画素アレイ部の各単位画素は、その受光素子に入射した光を光電変換することで、入射光の光量に応じた画像データを生成する。撮像部１１０は、撮像した画像データを撮像処理部１２０に出力する。
撮像処理部１２０は、例えば、画像データをデジタルの画像データに変換する。撮像処理部１２０は、例えば、デジタルに変換した画像データに対して、「前処理」、「データ拡張」、及び「データの正規化」を実行する。前処理は、推論時及び学習時において撮像部１１０に対して実行する処理であり、例えば、デワープ、クロップ、レンズシェーディング補正、ダウンスケール、アップスケールといった処理を含む。データ拡張は、学習時において画像データに対して実行される処理であり、例えば、画像データの縦横比を変更したり、画像データを平行に移動させたり、回転させたり、反転させたり、幾何学的に変形させたりする処理を含む。また、データ拡張は、例えば、画像データの色の濃淡を変更させたり、色を変動させたりする処理を含む。さらに、データ拡張は、例えば、画像データにノイズを加算する処理を含む。データの正規化は、推論時及び学習時に画像データに対して実行される処理であり、例えば、画像データの画素値の平均を０にしたり、画素値の分散を１にしたり、成分間の相関を０にして画像データを白色化したりする処理を含む。撮像処理部１２０は、種々の処理を実行したデジタルの画像データを第１ＤＮＮ処理部１３０と、セレクタ１６０とに出力する。
第１ＤＮＮ処理部１３０は、例えば、第１記憶部１４０に記憶されているＤＮＮモデルに基づいて、撮像処理部１２０から入力された画像データに対してＤＮＮを実行することで、画像データに含まれる物体の認識処理を実行する。具体的には、第１ＤＮＮ処理部１３０は、撮像処理部１２０から受けた画像データに対して第１ＤＮＮを実行し、ＤＮＮモデルを構成するアルゴリズムの一部を実行し、実行結果を生成する。ここでの実行結果は、特徴マップ、マップ、及び単に画像などとも呼ばれることがある。第１ＤＮＮ処理部１３０は、画像データに対して第１ＤＮＮを実行することで、中間層のマップと、第１結果を生成する。より具体的には、第１ＤＮＮ処理部１３０は、第１結果として、入力された画像データ全体の中間層マップと、入力された画像データの一部の中間層マップ（例えば、ＲＯＩ（Region Of Interest）した中間層マップ）とを出力する。なお、第１ＤＮＮ処理部１３０は、全体の中間マップと、一部の中間マップとの両方を出力してもよいし、どちらか一方の中間マップを出力してもよい。また、第１ＤＮＮ処理部１３０は、第１結果として、ＲＯＩ情報や、物体の存在確率を算出する。第１ＤＮＮ処理部１３０は、第１ＤＮＮの実行が完了すると、完了通知を第１制御部１５０に出力する。第１ＤＮＮ処理部１３０は、第１結果をセレクタ１６０に出力する。
具体的には、第１ＤＮＮ処理部１３０は、例えば、撮像処理部１２０から受けた画像データに対して畳み込み演算、バイアス加算、活性化演算、プーリング処理を実行することで物体検知処理を行う。
第１ＤＮＮ処理部１３０が活性化演算で用いる活性化関数としては、例えば、恒等関数、シグモイド関数、ソフトマックス関数、ステップ関数、ＲｅＬＵ関数、及びＴａｎｈ関数を挙げることができるが、これらに限定されない。
また、第１ＤＮＮ処理部１３０は、例えば、学習時において、誤差や、損失関数の値を計算する。第１ＤＮＮ処理部１３０は、例えば、勾配降下法、確率的勾配降下法、ニュートン法、準ニュートン法、誤差逆伝搬法などの手法を用いて、対象となるＤＮＮモデルの誤差を計算する。第１ＤＮＮ処理部１３０は、例えば、最小二乗誤差、交差エントロピー誤差などの手法を用いて、損失関数の値を算出する。
第１記憶部１４０は、例えば、第１ＤＮＮ処理部１３０で実行する少なくとも１つのＤＮＮモデルを記憶している。第１記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子で実現することができる。
第１制御部１５０は、例えば、第１ＤＮＮ処理部１３０を制御する。具体的には、第１制御部１５０は、例えば、第１ＤＮＮ処理部１３０を制御して、第１ＤＮＮを実行したり、中断したり、停止したりする。第１制御部１５０は、例えば、第１制御情報を生成する。第１制御部１５０は、例えば、第１制御情報を情報処理装置２００に送信する。第１制御情報には、例えば、画像データに対して実行すべきＤＮＮアルゴリズムのうち、第１ＤＮＮ処理部１３０が実行した第１ＤＮＮに関する情報を含む。また、第１制御情報には、例えば、同期信号が含まれる。第１制御部１５０は、例えば、第１ＤＮＮ処理部１３０の実行完了通知を情報処理装置２００に送信する。第１制御部１５０は、例えば、情報処理装置２００の第２制御部２５０から第２制御情報を受信する。この場合、第１制御部１５０は、例えば、第２制御情報に基づいて、第１ＤＮＮ処理部１３０を制御する。ここで、第１制御部１５０は、パイプライン的に画像データに対してＤＮＮアルゴリズムを実行するように、第１ＤＮＮ処理部１３０を制御してもよい。具体的には、第１制御部１５０は、ある画像データに対して第１ＤＮＮを実行させた後、その画像データに対する第２ＤＮＮ処理の完了を受ける前に、次の画像データに対して第１ＤＮＮを実行するように第１ＤＮＮ処理部１３０を制御してもよい。これにより、本実施形態は、例えば、撮像部１１０が撮像した複数の画像データに対して、ＤＮＮ処理を効率的に実行することができるようになる。
セレクタ１６０は、例えば、撮像処理部１２０から種々の処理が施されたデジタルの画像データを受ける。セレクタ１６０は、例えば、第１ＤＮＮ処理部１３０から第１結果を受ける。セレクタ１６０は、例えば、図示しないセレクタの制御部からの制御信号に従って撮像処理部１２０、及び第１ＤＮＮ処理部１３０から受けたデータを選択的に通信Ｉ／Ｆ１７０に出力する。
通信Ｉ／Ｆ１７０は、送信部１７１と、受信部１７２とを備える。固体撮像装置１００は、送信部１７１を介して情報処理装置２００にデータを送信する。固体撮像装置１００は、受信部１７２を介して情報処理装置２００からデータを受信する。
通信制御部１８０は、通信Ｉ／Ｆ１７０を制御する。これにより、通信Ｉ／Ｆ１７０は、情報処理装置２００にデータを送信したり、情報処理装置２００からデータを受信したりする。通信制御部１８０は、例えば、データを暗号化してもよい。暗号化する場合には、通信制御部１８０は、例えば、ＤＥＳ（Data Encryption Standard）や、ＡＥＳ（Advanced Encryption Standard）といった共通鍵暗号を用いることができる。また、通信制御部１８０は、例えば、ＥＣＢ（Electronic Codebook）、ＣＢＣ（Cipher Block Chaining）、ＣＦＢ（Cipher Feedback）、ＯＦＢ（Output Feedback）、及びＣＴＲ（Counter）といった暗号モードを利用してもよい。
情報処理装置２００は、通信Ｉ／Ｆ２１０と、通信制御部２２０と、第２ＤＮＮ処理部２３０と、第２記憶部２４０と、第２制御部２５０とを備える。第１実施形態において、情報処理装置２００は、例えば、アプリケーションプロセッサである。
通信Ｉ／Ｆ２１０は、受信部２１１と、送信部２１２とを備える。情報処理装置２００は、受信部２１１を介して固体撮像装置１００からデータを受信する。情報処理装置２００は、送信部２１２を介して固体撮像装置１００にデータを送信する。
通信制御部２２０は、通信Ｉ／Ｆ２１０を制御する。これにより、通信Ｉ／Ｆ２１０は、情報処理装置２００にデータを送信したり、情報処理装置２００からデータを受信したりする。通信制御部２２０は、例えば、データを暗号化して固体撮像装置１００と通信してもよい。暗号化する場合には、通信制御部２２０は、例えば、ＤＥＳや、ＡＥＳといった共通鍵暗号を用いることができる。また、通信制御部２２０は、例えば、ＥＣＢ、ＣＢＣ、ＣＦＢ、ＯＦＢ、及びＣＴＲといった暗号モードを利用してもよい。
第２ＤＮＮ処理部２３０は、例えば、第２記憶部２４０に記憶されているＤＮＮモデルに基づいて、固体撮像装置１００から入力された第１結果に対してＤＮＮを実行することで、画像データに含まれる物体の認識処理を実行する。具体的には、第２ＤＮＮ処理部２３０は、固体撮像装置１００から受けた第１結果に対して第２ＤＮＮを実行し、ＤＮＮモデルを構成するアルゴリズムうち、第１ＤＮＮで実行されなかった残りの部分を実行する。これにより、第２ＤＮＮ処理部２３０は、第２結果を出力する。具体的には、第２ＤＮＮ処理部２３０は、第２結果として、画像データに含まれる物体を認識する。また、第２ＤＮＮ処理部２３０は、例えば、第１結果と、第２結果とをマージして、ＲＯＩと、物体分類を実行する。第２ＤＮＮ処理部２３０は、第２ＤＮＮの実行が完了すると、完了通知を第２制御部２５０に出力する。第２ＤＮＮ処理部２３０は、例えば、第２結果を外部の装置に出力する。
具体的には、第２ＤＮＮ処理部２３０は、例えば、撮像処理部１２０から受けた画像データに対して畳み込み演算、バイアス加算、活性化演算、プーリング処理を実行することで物体検知処理を行う。
第２ＤＮＮ処理部２３０が活性化演算で用いる活性化関数としては、例えば、恒等関数、シグモイド関数、ソフトマックス関数、ステップ関数、ＲｅＬＵ関数、及びＴａｎｈ関数を挙げることができるが、これらに限定されない。
また、第２ＤＮＮ処理部２３０は、例えば、学習時において、誤差や、損失関数の値を計算する。第２ＤＮＮ処理部２３０は、例えば、勾配降下法、確率的勾配降下法、ニュートン法、準ニュートン法、誤差逆伝搬法などの手法を用いて、対象となるＤＮＮモデルの誤差を計算する。第２ＤＮＮ処理部２３０は、例えば、最小二乗誤差、交差エントロピー誤差などの手法を用いて、損失関数の値を算出する。
第２記憶部２４０は、例えば、第２ＤＮＮ処理部２３０で実行する少なくとも１つのＤＮＮモデルを記憶している。ここで、固体撮像装置１００の第１記憶部１４０が記憶しているＤＮＮモデルと、第２記憶部２４０が記憶しているＤＮＮモデルとを組み合わせることで、１つのＤＮＮアルゴリズムが構成される。これにより、固体撮像装置１００と、情報処理装置２００との２つの装置によって、１つのＤＮＮアルゴリズムを実行することができる。言い換えれば、本実施形態は、１つのＤＮＮアルゴリズムを、固体撮像装置１００と、情報処理装置２００との２つの装置に分割して実行させることができる。第２記憶部２４０は、例えば、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子で実現することができる。
第２制御部２５０は、例えば、第２ＤＮＮ処理部２３０を制御する。具体的には、第２制御部２５０は、例えば、第２ＤＮＮ処理部２３０を制御して、第２ＤＮＮを実行したり、中断したり、停止したりする。第２制御部２５０は、例えば、固体撮像装置１００の第１制御部１５０から第１制御情報を受信し、受信した第１制御情報に基づいて、第２ＤＮＮ処理部２３０を制御する。第２制御部２５０は、例えば、第２制御情報を生成する。第２制御部２５０は、例えば、生成した第２制御情報を固体撮像装置１００に送信する。ここで、第２制御情報には、例えば、第１結果に対して、第２ＤＮＮ処理部２３０が実行した第２ＤＮＮに関する情報を含む。第２制御情報には、例えば、同期信号が含まれる。第２制御部２５０は、例えば、第２ＤＮＮ処理部２３０の実行完了通知を固体撮像装置１００に送信する。第２制御部２５０は、パイプライン的に画像データに対してＤＮＮアルゴリズムを実行するように、第２ＤＮＮ処理部２３０を制御してもよい。具体的には、第２制御部２５０は、ある第１結果に対して第２ＤＮＮを実行し、第２結果を生成する。そして、第２ＤＮＮ処理部２３０は、第２結果が他の処理装置に送信され、他の処理装置から第２結果に対する処理の完了通知を受ける前に、次の第１結果に対して第２ＤＮＮを実行するように第２ＤＮＮ処理部２３０を制御してもよい。これにより、本実施形態は、複数の第１結果に対して、ＤＮＮ処理を効率的に実行することができるようになる。
図４を用いて、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０との処理について説明する。図４は、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０との処理を説明するための模式図である。
まず、第１ＤＮＮ処理部１３０は、撮像処理部１２０から画像データを受ける（ステップＳ１）。ここでは、第１ＤＮＮ処理部１３０は、例えば、犬Ｄと、人Ｍとを含む画像データを受ける。
次いで、第１ＤＮＮ処理部１３０は、ステップＳ１で受けた画像データに対して、第１ＤＮＮを実行する（ステップＳ２）。ここでは、第１ＤＮＮ処理部１３０は、画像データに対して第１ＤＮＮを実行し、第１結果として、中間層などの特徴マップを生成する。特徴マップでは、領域Ｒ１と、領域Ｒ２とに、何かしらの物体が高確率で存在することが示されている。そして、第１ＤＮＮ処理部１３０は、特徴マップを第２ＤＮＮ処理部２３０に出力する。ここで、第１ＤＮＮ処理部１３０は、第２ＤＮＮ処理部２３０に対し、全体の特徴マップを出力してもよいし、領域Ｒ１と、領域Ｒ２との特徴マップのみを出力してもよい。言い換えれば、第１ＤＮＮ処理部１３０は、撮像部１１０で撮像された画像データをエンコードして、第２ＤＮＮ処理部２３０に出力する。そのため、第１ＤＮＮ処理部１３０から出力されるデータには、撮像部１１０によって撮像された、犬Ｄや人Ｍの元の画像データが含まれていないので、個人情報を保護することができる。また、特徴マップは画像データと比べ容量が小さいので、固体撮像装置１００から情報処理装置２００に送信するデータ量も小さくすることができる。
そして、第２ＤＮＮ処理部２３０は、ステップＳ２で得られた特徴マップ（第１結果）に対して、第２ＤＮＮを実行する（ステップＳ３）。これにより、第２ＤＮＮ処理部２３０は、特徴マップの領域Ｒ１には犬Ｄが存在し、領域Ｒ２には人Ｍが存在していることを、認識することができる。
すなわち、本実施形態では、ＤＮＮアルゴリズムの一部を第１ＤＮＮ処理部１３０で実行し、残りを第２ＤＮＮ処理部２３０で実行することで、画像データに含まれている物体の認識処理を行っている。言い換えれば、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０との２つのＤＮＮ処理部によって、１つのＤＮＮアルゴリズムを実行している。
[１−２．ＤＮＮアルゴリズムの構成]
図５を用いて、ＤＮＮアルゴリズムの構成の一例について説明する。図５は、ＤＮＮアルゴリズムの構成の一例を示す模式図である。
図５は、物体検知アルゴリズム２０の構造の一例を示す模式図である。
まず、物体検知アルゴリズム２０では、画像データに対してＣＮＮ（Convolutional Neural Network）が実行される。具体的には、画像データＩが畳み込み層ＣＬに入力される。そして、畳み込み層ＣＬは、画像データＩ全体に対してＣＮＮを実行して、特徴マップＦＭ１を出力する。ここまでの処理が、ＣＮＮ２１を用いた画像処理である。
次の段では、特徴マップＦＭ１に対して、物体領域認識アルゴリズムが実行される。特徴マップＦＭに対して物体領域認識アルゴリズムを実行することで、特徴マップに含まれる物体が存在する候補の領域が抽出される。具体的には、図５に示す例では、特徴マップＦＭ１から物体が存在する候補の領域としてＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とが抽出される。ここまでの処理が、物体領域認識アルゴリズム２２を用いた画像処理である。
次の段では、特徴マップＦＭ１に、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とを重畳させて、ＲｏＩ特徴マップＦＭ２を生成し、Ｐｏｏｌｉｎｇ層に格納する。そして、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とが重畳された特徴マップＦＭ１に対して、ＲｏＩ ｐｏｏｌｉｎｇ層によってＲｏＩ ｐｏｏｌｉｎｇが実行される。ＲｏＩ ｐｏｏｌｉｎｇは、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とを含む領域を、個別の特徴マップとして抽出する処理である。これにより、ＲｏＩ１と、ＲｏＩ２と、ＲｏＩ３とを含む領域が、それぞれ、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５として抽出される。特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とは、全結合層３１に入力される。
次の段では、分類層３３と、矩形回帰層３４とは、全結合層３１に入力された特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とを共有している。
分類層３３は、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とに含まれる物体の種類を分類する。そして、分類層３３は、分類結果４４を出力する。矩形回帰層３４は、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とに含まれる物体を囲うような矩形を生成する。
また、分類層３３及び矩形回帰層３４の処理とは並行に、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５がＦＣＮ（Fully Convolution Network）３２に入力される。具体的には、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とは、ＲｏＩＡｌｉｇｎ層によってＲｏＩＡｌｉｇｎが実行された後にＦＣＮ３２に入力される。ここで。ＲｏＩＡｌｉｇｎとは、画像データＩからＲｏＩ特徴マップＦＭ２を生成する際に発生する丸め誤差を、バイリニア補間法を用いて補正する処理である。
ＦＣＮ３２は、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５ごとに、各特徴マップに含まれている物体を分類したり、物体を囲うような矩形を生成したり、物体をマスキングしたりする。そして、ＦＣＮ３２は、特徴マップごとに、分類結果４１と、矩形枠４２と、マスク結果４３とを出力する。ここまでの処理が、物体検知アルゴリズム２０である。
本実施形態において、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０とは、図５に示したＤＮＮアルゴリズムに含まれる処理のうち、分割して実行さえすれば、どのように分割して処理を実行してもよい。例えば、第１ＤＮＮ処理部１３０が特徴マップＦＭ１を生成するまでの処理を実行し、残りの処理を第２ＤＮＮ処理部２３０が実行してもよい。また、例えば、第１ＤＮＮ処理部１３０が物体検知アルゴリズム２０において、特徴マップＦＭ３と、特徴マップＦＭ４と、特徴マップＦＭ５とを抽出するまでの処理を実行し、第２ＤＮＮ処理部２３０がＦＣＮ３２の処理のみを実行してもよい。第１ＤＮＮ処理部１３０が実行する処理は、任意に決定することができる。例えば。第１ＤＮＮ処理部１３０がどの処理までを実行するかは、第１ＤＮＮ処理部１３０の性能に応じて決定すればよい。
図６を用いて、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０とで実行する処理の一例について説明する。図６は、第１ＤＮＮ処理部１３０と、第２ＤＮＮ処理部２３０とで実行する処理の一例を示す模式図である。
まず、図６に示す処理では、例えば、撮像処理部１２０から複数の画像データが、第１ＤＮＮ処理部１３０に入力される(ステップＳ１１)。
次に、第１ＤＮＮ処理部１３０は、撮像処理部１２０から受けた画像データに画像認識処理を実行することによって、画像データに含まれる物体を認識する(ステップＳ１２)。具体的には、第１ＤＮＮ処理部１３０は、各画像データに対して、ＣＮＮを実行することによって、画像データに含まれる物体を認識する。そして、第１ＤＮＮ処理部１３０は、ＣＮＮによる各画像データに対する実行結果からメタデータを生成する。
次に、第２ＤＮＮ処理部２３０は、第１ＤＮＮ処理部１３０によって生成されたメタデータの関係性を、ＲＮＮ（Recurrent Neural Network）を用いて認識する(ステップＳ１３)。具体的には、第２ＤＮＮ処理部２３０は、ＬＳＴＭ（Long short-term memory）ネットワークを用いて、メタデータの関係性を認識する。
そして、第２ＤＮＮ処理部２３０は、メタデータの関係性を認識してキャプショニングを行う(ステップＳ１４)。例えば、第２ＤＮＮ処理部２３０は、画像データに対して、「少年」、「遊んでいる」、「ゴルフ」などのようなキャプショニングを行う。
上述のとおり、物体認識と、ＬＳＴＭとを組み合わせることで画像フレーム間の関係性を認識することができる。この場合、本実施形態では、第１ＤＮＮ処理部１３０によって物体認識を実行し、第２ＤＮＮ処理部２３０によってＬＳＴＭを実行することで、１つのＤＮＮアルゴリズムを分割して実行している。また、ここでは、複数の静止画像が入力されるものとして説明したが、本実施形態は、動画像に対しても同様に、認識処理を実行することができる。
[１−３．第１実施形態に係る固体撮像システムの処理]
図７を用いて、固体撮像装置１００と、情報処理装置２００との処理について説明する。図７は、固体撮像装置１００と、情報処理装置２００との処理の流れを示すシーケンス図である。
まず、固体撮像装置１００は、第１ＤＮＮ処理部１３０を制御する（ステップＳ１０１）。具体的には、固体撮像装置１００は、第１制御部１５０によって、第１ＤＮＮ処理部１３０を制御する。
次に、固体撮像装置１００は、入力された画像データに対して第１ＤＮＮを実行する（ステップＳ１０２）。具体的には、固体撮像装置１００は、第１ＤＮＮ処理部１３０によって、入力画像データに対して第１ＤＮＮを実行し、第１結果を出力する。
次に、固体撮像装置１００は、第１制御情報を生成する（ステップＳ１０３）。具体的には、固体撮像装置１００は、第１制御部１５０によって、第１制御情報を生成する。
次に、固体撮像装置１００は、第１結果及び第１制御情報を情報処理装置２００に送信する（ステップＳ１０４）。具体的には、固体撮像装置１００は、送信部１７１によって第１結果及び第１制御情報を、情報処理装置２００に送信する。ここで、送信部１７１は、第２ＤＮＮ処理部２３０が実行する前までに第１結果を情報処理装置２００に送信すればよい。
次に、情報処理装置２００は、第２ＤＮＮ処理部２３０を制御する（ステップＳ１０５）。具体的には、情報処理装置２００は、第１制御情報に基づいて、第２制御部２５０によって、第２ＤＮＮ処理部２３０を制御する。
次に、情報処理装置２００は、第１結果に対して第２ＤＮＮを実行する（ステップＳ１０６）。具体的には、情報処理装置２００は、第２ＤＮＮ処理部２３０によって、第２ＤＮＮを実行し、第２結果を生成する。
次に、情報処理装置２００は、第２制御情報を生成する（ステップＳ１０７）。具体的には、情報処理装置２００は、第２制御部２５０によって、第２制御情報を生成する。
次に、情報処理装置２００は、第２結果を外部の装置に送信する（ステップＳ１０８）。具体的には、情報処理装置２００は、第２ＤＮＮ処理部２３０によって第２結果を外部の装置に送信する。なお、ステップＳ１０８において、情報処理装置２００は、第２結果を外部の装置に送信しているものとして説明しているが、これは例示であり、本開示を限定するものではない。例えば、ステップＳ１０８において、情報処理装置２００は、第２結果を外部の装置に出力しないで、保持しておいてもよい。
そして、情報処理装置２００は、第２制御情報を固体撮像装置１００に送信する（ステップＳ１０９）。具体的には、情報処理装置２００は、送信部２１２によって第２制御情報を固体撮像装置１００に送信する。
図８を用いて、固体撮像装置１００と、情報処理装置２００との処理についてより詳細に説明する。図８は、第１ＤＮＮ処理部１３０と、第１制御部１５０と、第２ＤＮＮ処理部２３０と、第２制御部２５０との処理の流れの一例を示すシーケンス図である。
まず、第１制御部１５０は、第１ＤＮＮ処理部制御情報を、第１ＤＮＮ処理部１３０に出力する（ステップＳ２０１）。第１制御部１５０は、第１ＤＮＮ処理部制御情報によって、第１ＤＮＮ処理部１３０にＤＮＮを実行させたり、中断させたり、停止させたりする。
次に、第１ＤＮＮ処理部１３０は、第１ＤＮＮ処理部制御情報に従って、入力された画像データに対して、第１ＤＮＮを実行する（ステップＳ２０２）。
次に、第１ＤＮＮ処理部１３０は、画像データに対する第１ＤＮＮの実行が完了すると、完了通知を第１制御部１５０に出力する（ステップＳ２０３）。
次に、第１制御部１５０は、完了通知を受けると、第１制御情報を、第２制御部２５０に送信する（ステップＳ２０４）。具体的には、第１制御情報は、送信部１７１から受信部２１１に送信される。そして、第２制御部２５０は、受信部２１１から第１制御情報を受ける。
次に、第１ＤＮＮ処理部１３０は、第１ＤＮＮの実行結果である第１結果を第２ＤＮＮ処理部２３０に送信する（ステップＳ２０５）。具体的には、第１結果は、送信部１７１から受信部２１１に送信される。そして、第２ＤＮＮ処理部２３０は、受信部２１１から第１結果を受ける。
次に、第２制御部２５０は、第１制御情報に基づいて、第２ＤＮＮ処理部制御情報を、第２ＤＮＮ処理部２３０に出力する（ステップＳ２０６）。
次に、第２ＤＮＮ処理部２３０は、第２ＤＮＮ処理部制御情報に従って、入力された第１結果に対して第２ＤＮＮを実行する（ステップＳ２０７）。
次に、第２ＤＮＮ処理部２３０は、第１結果に対する第２ＤＮＮの実行が完了すると、完了通知を第２制御部２５０に出力する（ステップＳ２０８）。
次に、第２ＤＮＮ処理部２３０は、第２ＤＮＮの実行結果である第２結果を、外部に送信する（ステップＳ２０９）。なお、ステップＳ２０９において、第２ＤＮＮ処理部２３０は、第２結果を外部に送信しているものとして説明しているが、これは例示であり、本開示を限定するものではない。例えば、ステップＳ２０９において、第２ＤＮＮ処理部２３０は、第２結果を外部に出力しないで、保持しておいてもよい。
次に、第２制御部２５０は、第２制御情報を第１制御部１５０に送信する（ステップＳ２１０）。具体的には、第２制御情報は、送信部２１２から受信部１７１に送信される。そして、第１制御部１５０は、受信部１７１から第１制御情報を受ける。
（２．第２実施形態）
[２−１．第２実施形態に係る固体撮像システムの構成]
図９を用いて、第２実施形態に係る固体撮像システムの構成について説明する。図９は、第２実施形態に係る固体撮像システムの構成の一例を示すブロック図である。
図９に示すように、固体撮像システム１Ａは、固体撮像装置１００と、情報処理装置２００Ａとを含む。固体撮像システム１Ａを構成する各装置の構成要素や動作については、第１実施形態に係る固体撮像システム１と同様なので、説明は省略する。
図１０に示すように、固体撮像装置１００と、情報処理装置２００Ａとは、例えば、インターネット通信網３００を介して通信可能に接続されている。この場合、固体撮像装置１００の通信Ｉ／Ｆ１７０と、情報処理装置２００Ａの通信Ｉ／Ｆ２１０とが、インターネット通信網３００を介して通信可能に接続されていればよい。固体撮像装置１００の通信Ｉ／Ｆ１７０と、情報処理装置２００Ａの通信Ｉ／Ｆ２１０とが、無線通信によって通信可能に接続されていてもよい。また、図１０に示す固体撮像システム１Ａは、固体撮像装置１００と、情報処理装置２００Ａとを１つずつ含むが、これは例示であり、本開示を限定するものではない。固体撮像システム１Ａは、固体撮像装置１００と、情報処理装置２００Ａとをそれぞれ複数備えていてもよい。また、固体撮像システム１Ａが含む固体撮像装置１００と、情報処理装置２００Ａとの数は異なっていてもよい。第２実施形態において、情報処理装置２００Ａは、例えば、固体撮像装置１００とインターネット通信網３００や、無線によって通信可能に接続されたクラウドサーバである。固体撮像システム１Ａは、例えば、ＦＡ（Factory Automation）や、監視カメラに適用することができる。
[２−２．第２実施形態に係る固体撮像システムの変形例の構成]
図１１を用いて、本開示の第２実施形態に係る固体撮像システムの変形例について説明する。図１１は、本開示の第２実施形態に係る固体撮像システムの接続関係の変形例を説明するための図である。
固体撮像システム１Ａ−１は、固体撮像装置１００−１と、固体撮像装置１００−２と、・・・、固体撮像装置１００−Ｎ（Ｎは３以上の整数）と、情報処理装置２００Ａ−１と、情報処理装置２００Ａ−２と、・・・、情報処理装置２００−Ｎとを含む。すなわち、固体撮像システム１Ａ−１は、複数の固体撮像装置と、複数の情報処理装置とが、インターネット通信網３００を介して通信可能に接続されている。固体撮像システム１Ａ−１において、固体撮像装置と、情報処理装置との数は同じであってもよいし、異なっていてもよい。
固体撮像システム１Ａ−１は、固体撮像装置と、情報処理装置とのそれぞれを複数含んでいるが、これは例示であり、本開示を限定するものではない。固体撮像システム１Ａ−１は、例えば、１台の固体撮像装置と、複数台の情報処理装置とから構成されていてもよい。また、固体撮像システム１Ａ−１は、例えば、複数台の固体撮像装置と、１台の情報処理装置とから構成されていてもよい。
（３．ハードウェア構成）
上述してきた各実施形態に係る固体撮像装置１００及び情報処理装置２００は、例えば、図１２に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る固体撮像装置１００を例に挙げて説明する。図１２は、固体撮像装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェース１５００、及び入出力インターフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
通信インターフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェースである。例えば、ＣＰＵ１１００は、通信インターフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
入出力インターフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェースである。例えば、ＣＰＵ１１００は、入出力インターフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェース１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が第１の実施形態に係る固体撮像装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、固体撮像装置１００を構成する各部の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
画像データに対してＤＮＮアルゴリズムの一部を第１ＤＮＮによって実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成する第１ＤＮＮ処理部を備え、
前記情報処理装置は、
前記第１結果に対して前記ＤＮＮアルゴリズムの残りを第２ＤＮＮによって実行して第２結果を生成する第２ＤＮＮ処理部を備える、
固体撮像システム。
（２）
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含む、
前記（１）に記載の固体撮像システム。
（３）
前記固体撮像装置は、少なくとも、前記第１ＤＮＮを実行するための前記ＤＮＮアルゴリズムの一部を記憶している第１記憶部をさらに備え、
前記情報処理装置は、少なくとも、前記第２ＤＮＮを実行するための前記ＤＮＮアルゴリズムの残りを記憶している第２記憶部をさらに備える、
前記（１）または（２）に記載の固体撮像システム。
（４）
前記第１記憶部と、前記第２記憶部とで、前記画像データに対して実行するための前記ＤＮＮアルゴリズムを記憶している、
前記（３）に記載の固体撮像システム。
（５）
前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備える、
前記（１）〜（４）のいずれか１項に記載の固体撮像システム。
（６）
前記第１制御部は、前記第１ＤＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
前記（５）に記載の固体撮像システム。
（７）
前記第１制御部は、前記第２制御情報に基づいて、前記第１ＤＮＮ処理部を制御し、
前記第２制御部は、前記第１制御情報に基づいて、前記第２ＤＮＮ処理部を制御する、
前記（５）または（６）に記載の固体撮像システム。
（８）
前記第１制御部は、前記第１ＤＮＮ処理部の実行完了通知を前記第２制御部に送信し、
前記第２制御部は、前記第２ＤＮＮ処理部の実行完了通知を前記第１制御部に送信する、
前記（５）〜（７）のいずれか１項に記載の固体撮像システム。
（９）
前記情報処理装置は、アプリケーションプロセッサまたはクラウドサーバである、
前記（１）〜（８）のいずれか１項に記載の固体撮像システム。
（１０）
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成するＤＮＮ処理部を備える、
固体撮像装置。
（１１）
前記第１結果は、前記ＤＮＮアルゴリズムの中間層から出力された特徴マップを含む、
前記(１０)に記載の固体撮像装置。
（１２）
少なくとも、前記ＤＮＮアルゴリズムの一部を記憶している記憶部をさらに備える、
前記(１０)または(１１)に記載の固体撮像装置。
（１３）
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成するＤＮＮ処理部を備える、
情報処理装置。
（１４）
少なくとも、前記第１結果に対して実行する、前記ＤＮＮアルゴリズムの残りを記憶している記憶部をさらに備える、
前記(１３)に記載の情報処理装置。
（１５）
画像データに対してＤＮＮアルゴリズムの一部を実行して第１結果を生成し、
前記第１結果を情報処理装置に送信する、
画像処理方法。
（１６）
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を固体撮像装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成する、
情報処理方法。
（１７）
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部を実行し、前記ＤＮＮアルゴリズムの残りを実行する情報処理装置に送信される第１結果を生成するＤＮＮ処理部、
として機能させるためのプログラム。
（１８）
コンピュータを、
画像データに対してＤＮＮアルゴリズムの一部が実行された第１結果を他の情報処理装置から受け、前記第１結果に対して前記ＤＮＮアルゴリズムの残りを実行して第２結果を生成するＤＮＮ処理部、
として機能させるためのプログラム。
１ 固体撮像システム
１０ 筐体
１１ 第１基板
１２ 第２基板
１００ 固体撮像装置
１１０ 撮像部
１２０ 撮像処理部
１３０ 第１ＤＮＮ処理部
１４０ 第１記憶部
１５０ 第１制御部
１６０ セレクタ
１７０，２１０ 通信Ｉ／Ｆ
１７１，２１２ 送信部
１７２，２１１ 受信部
１８０，２２０ 通信制御部
２００ 情報処理装置
２３０ 第２ＤＮＮ処理部
２４０ 第２記憶部
２５０ 第２制御部

Claims (8)

  1. 固体撮像装置と、情報処理装置とを含み、
    前記固体撮像装置は、
    複数の画像データに対してＤＮＮアルゴリズムの一部であるＣＮＮを実行することで前記複数の画像データに含まれる物体を認識し、前記ＣＮＮの各画像データに対する実行結果からメタデータを生成する第１ＤＮＮ処理部を備え、
    前記情報処理装置は、
    前記固体撮像装置から取得された前記メタデータに対して前記ＤＮＮアルゴリズムの残りであるＬＳＴＭネットワークを実行することで、前記メタデータの関係性を認識してキャプショニングを実行する第２ＤＮＮ処理部を備え、
    前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
    前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備え、
    前記第１制御部は、前記ＣＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
    前記第２制御部は、前記ＬＳＴＭネットワークに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
    固体撮像システム。
  2. 前記第１制御部は、前記第１ＤＮＮ処理部の実行完了通知を前記第２制御部に送信し、
    前記第２制御部は、前記第２ＤＮＮ処理部の実行完了通知を前記第１制御部に送信する、
    請求項１に記載の固体撮像システム。
  3. 前記固体撮像装置は、少なくとも、前記ＣＮＮを実行するための前記ＤＮＮアルゴリズムの一部を記憶している第１記憶部をさらに備え、
    前記情報処理装置は、少なくとも、前記ＬＳＴＭネットワークを実行するための前記ＤＮＮアルゴリズムの残りを記憶している第２記憶部をさらに備える、
    請求項１に記載の固体撮像システム。
  4. 前記第１記憶部と、前記第２記憶部とで、前記複数の画像データに対して実行するための前記ＤＮＮアルゴリズムを記憶している、
    請求項３に記載の固体撮像システム。
  5. 前記第１制御部は、前記第２制御情報に基づいて、前記第１ＤＮＮ処理部を制御し、
    前記第２制御部は、前記第１制御情報に基づいて、前記第２ＤＮＮ処理部を制御する、
    請求項１に記載の固体撮像システム。
  6. 前記情報処理装置は、アプリケーションプロセッサまたはクラウドサーバである、
    請求項１に記載の固体撮像システム。
  7. 固体撮像装置の第１ＤＮＮ処理部が、複数の画像データに対してＤＮＮアルゴリズムの一部であるＣＮＮを実行することで前記複数の画像データに含まれる物体を認識し、前記ＣＮＮの各画像データに対する実行結果からメタデータを生成し、
    情報処理装置の第２ＤＮＮ処理部が、前記固体撮像装置から取得された前記メタデータに対して前記ＤＮＮアルゴリズムの残りであるＬＳＴＭネットワークを実行することで、前記メタデータの関係性を認識してキャプショニングを実行する
    ことを含み、
    前記固体撮像装置は、前記第１ＤＮＮ処理部を制御する第１制御部をさらに備え、
    前記情報処理装置は、前記第２ＤＮＮ処理部を制御する第２制御部をさらに備え、
    前記第１制御部は、前記ＣＮＮに関する情報を含む第１制御情報を生成して前記第２制御部に送信し、
    前記第２制御部は、前記ＬＳＴＭネットワークに関する情報を含む第２制御情報を生成して前記第１制御部に送信する、
    画像処理方法。
  8. 請求項７に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2018177311A 2018-09-21 2018-09-21 固体撮像システム、画像処理方法及びプログラム Active JP6695947B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018177311A JP6695947B2 (ja) 2018-09-21 2018-09-21 固体撮像システム、画像処理方法及びプログラム
CN201980060063.7A CN112703726A (zh) 2018-09-21 2019-08-30 固态成像系统、固态成像装置、信息处理装置、图像处理方法、信息处理方法和程序
PCT/JP2019/034127 WO2020059464A1 (ja) 2018-09-21 2019-08-30 固体撮像システム、固体撮像装置、情報処理装置、画像処理方法、情報処理方法及びプログラム
US17/275,410 US20220058411A1 (en) 2018-09-21 2019-08-30 Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
EP19862570.9A EP3855726A4 (en) 2018-09-21 2019-08-30 SOLID IMAGING SYSTEM, SOLID IMAGING DEVICE, INFORMATION PROCESSING DEVICE, IMAGE PROCESSING METHOD, INFORMATION PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018177311A JP6695947B2 (ja) 2018-09-21 2018-09-21 固体撮像システム、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020047191A JP2020047191A (ja) 2020-03-26
JP6695947B2 true JP6695947B2 (ja) 2020-05-20

Family

ID=69888776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177311A Active JP6695947B2 (ja) 2018-09-21 2018-09-21 固体撮像システム、画像処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20220058411A1 (ja)
EP (1) EP3855726A4 (ja)
JP (1) JP6695947B2 (ja)
CN (1) CN112703726A (ja)
WO (1) WO2020059464A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077039A (ja) * 2019-11-07 2021-05-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム。
US20230039592A1 (en) * 2021-08-04 2023-02-09 Sony Semiconductor Solutions Corporation Image sensor with integrated efficient multiresolution hierarchical deep neural network (dnn)
KR20230065519A (ko) * 2021-11-05 2023-05-12 고려대학교 산학협력단 스플릿 러닝을 이용한 영상처리 시스템 및 영상처리방법
WO2023095666A1 (ja) * 2021-11-29 2023-06-01 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および信号処理方法、並びに固体撮像素子
WO2023218935A1 (ja) * 2022-05-10 2023-11-16 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、情報処理方法、プログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320112B2 (ja) 2014-03-27 2018-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
US10832138B2 (en) * 2014-11-27 2020-11-10 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
CN107851195B (zh) * 2015-07-29 2022-02-11 诺基亚技术有限公司 利用神经网络进行目标检测
JP2017187850A (ja) * 2016-04-01 2017-10-12 株式会社リコー 画像処理システム、情報処理装置、プログラム
US10210418B2 (en) * 2016-07-25 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Object detection system and object detection method
US20180039853A1 (en) * 2016-08-02 2018-02-08 Mitsubishi Electric Research Laboratories, Inc. Object Detection System and Object Detection Method
US10929977B2 (en) * 2016-08-25 2021-02-23 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
KR102374013B1 (ko) * 2016-09-16 2022-03-11 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
WO2018094296A1 (en) * 2016-11-18 2018-05-24 Salesforce.Com, Inc. Sentinel long short-term memory
US10467458B2 (en) * 2017-07-21 2019-11-05 Altumview Systems Inc. Joint face-detection and head-pose-angle-estimation using small-scale convolutional neural network (CNN) modules for embedded systems
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
EP3549102B1 (en) * 2016-12-02 2021-05-26 Google LLC Determining structure and motion in images using neural networks
WO2018099473A1 (zh) * 2016-12-02 2018-06-07 北京市商汤科技开发有限公司 场景分析方法和系统、电子设备
JP6832155B2 (ja) * 2016-12-28 2021-02-24 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP7317717B2 (ja) * 2017-05-09 2023-07-31 ニューララ インコーポレイテッド ネットワーク計算エッジにわたってアプリケーションを連続して操作する、人工知能および深層学習においてメモリで境界された継続学習を可能にするシステムおよび方法
WO2018218651A1 (en) * 2017-06-02 2018-12-06 Nokia Technologies Oy Artificial neural network
US10751548B2 (en) * 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
CN108229479B (zh) * 2017-08-01 2019-12-31 北京市商汤科技开发有限公司 语义分割模型的训练方法和装置、电子设备、存储介质
US11200665B2 (en) * 2017-08-02 2021-12-14 Shanghai Sixth People's Hospital Fundus image processing method, computer apparatus, and storage medium
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US20190079533A1 (en) * 2017-09-13 2019-03-14 TuSimple Neural network architecture method for deep odometry assisted by static scene optical flow
KR101977174B1 (ko) * 2017-09-13 2019-05-10 이재준 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
JP6985121B2 (ja) * 2017-12-06 2021-12-22 国立大学法人 東京大学 物体間関係認識装置、学習済みモデル、認識方法及びプログラム
US11544348B2 (en) * 2018-03-05 2023-01-03 Tata Consultancy Services Limited Neural network based position estimation of target object of interest in video frames
CN108681743B (zh) * 2018-04-16 2019-12-06 腾讯科技（深圳）有限公司 图像对象识别方法和装置、存储介质
CN108932508B (zh) * 2018-08-13 2022-03-18 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和系统
WO2020051776A1 (en) * 2018-09-11 2020-03-19 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
EP3627379A1 (en) * 2018-09-24 2020-03-25 Siemens Aktiengesellschaft Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium

Also Published As

Publication number Publication date
CN112703726A (zh) 2021-04-23
EP3855726A1 (en) 2021-07-28
WO2020059464A1 (ja) 2020-03-26
JP2020047191A (ja) 2020-03-26
EP3855726A4 (en) 2021-11-17
US20220058411A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
JP6695947B2 (ja) 固体撮像システム、画像処理方法及びプログラム
JP6697042B2 (ja) 固体撮像システム、固体撮像方法及びプログラム
US11290633B2 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
KR20230013243A (ko) 프레임에서 타겟 오브젝트를 위한 고정된 크기 유지
TW201918997A (zh) 用於使用卷積神經網路的視頻超解析度的方法和設備
US9609192B2 (en) Image processing apparatus, image processing method and program, and imaging apparatus
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
JP2019512194A (ja) モバイルデバイスを用いたｈｄｒビデオキャプチャのためのシステムおよび方法
KR20210051242A (ko) 멀티 렌즈 영상 복원 장치 및 방법
JP7259756B2 (ja) 撮像装置および信号処理装置
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
WO2013088690A1 (ja) 撮像装置、撮像システム、撮像方法および画像処理方法
JP2017183952A (ja) 撮像装置およびその制御方法、撮像素子
JP6290949B2 (ja) フォト・クラスターの検出および圧縮
WO2023146698A1 (en) Multi-sensor imaging color correction
KR20200072136A (ko) 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
JP6925474B2 (ja) 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム
JP7105976B2 (ja) 固体撮像装置、固体撮像装置の動作方法及びプログラム
US10748305B2 (en) Image capturing apparatus that can reduce amount of data that is to be recorded, method for controlling the image capturing apparatus, and storage medium
US11843847B2 (en) Device, information processing apparatus, control method therefor, and computer-readable storage medium
US11825207B1 (en) Methods and systems for shift estimation for one or more output frames
JP7094828B2 (ja) 集積回路装置
KR102370881B1 (ko) 이미지 데이터의 속성에 기반하여 이미지를 압축할 수 있는 전자 장치 및 방법
TW202332255A (zh) 影像感測器、影像處理系統及其操作方法
JP2021166381A (ja) 情報処理装置、改ざん検知装置、情報処理方法、および検知方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200422

R150 Certificate of patent or registration of utility model

Ref document number: 6695947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150