JP6925474B2 - 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム - Google Patents
固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム Download PDFInfo
- Publication number
- JP6925474B2 JP6925474B2 JP2020076841A JP2020076841A JP6925474B2 JP 6925474 B2 JP6925474 B2 JP 6925474B2 JP 2020076841 A JP2020076841 A JP 2020076841A JP 2020076841 A JP2020076841 A JP 2020076841A JP 6925474 B2 JP6925474 B2 JP 6925474B2
- Authority
- JP
- Japan
- Prior art keywords
- dnn
- unit
- solid
- image sensor
- state image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
1.第1実施形態
1−1.第1実施形態に係る固体撮像システムの構成
1−2.第1実施形態に係る固体撮像システムの処理
1−3.第1実施形態に係る固体撮像システムのユースケース
1−4.第1実施形態に係る固体撮像システムの変形例
2.第2実施形態
2−1.第2実施形態に係る固体撮像システムの構成
2−2.第2実施形態に係る固体撮像システムの変形例の構成
3.第3実施形態
3−1.第3実施形態に係る固体撮像システムの構成
4.ハードウェア構成
[1−1.第1実施形態に係る固体撮像システムの構成]
図1と、図2とを用いて、本開示の第1実施形態に係る固体撮像システムの構成について説明する。図1は、本開示の第1実施形態に係る固体撮像システムの構成の一例を示すブロック図である。図2は、本開示の第1実施形態に係る固体撮像システムの接続関係を説明するための図である。
図5を用いて、固体撮像装置100と、情報処理装置200との処理について説明する。図5は、固体撮像装置100と、情報処理装置200との処理の流れを示すシーケンス図である。
図9を用いて、DNNモデルを変更する場合のユースケースについて説明する。図9は、DNNモデルを変更する場合のユースケースを示す表である。
図10を用いて、第1実施形態の変形例に係る固体撮像システムの構成について説明する。図10は、第1実施形態の変形例に係る固体撮像システムの構成を示すブロック図である。
[2−1.第2実施形態に係る固体撮像システムの構成]
図11と、図12とを用いて、本開示の第2実施形態に係る固体撮像システムの構成について説明する。図11は、本開示の第2実施形態に係る固体撮像システムの構成の一例を示すブロック図である。図12は、本開示の第2実施形態に係る固体撮像システムの接続関係を説明するための図である。
図13を用いて、本開示の第2実施形態に係る固体撮像システムの変形例について説明する。図13は、本開示の第2実施形態に係る固体撮像システムの接続関係の変形例を説明するための図である。
[3−1.第3実施形態に係る固体撮像システムの構成]
図14と、図15とを用いて、本開示の第3実施形態に係る固体撮像システムの構成について説明する。図14は、本開示の第3実施形態に係る固体撮像システムの構成の一例を示すブロック図である。図15は、本開示の第3実施形態に係る固体撮像システムの接続関係を説明するための図である。
上述してきた各実施形態に係る固体撮像装置及び情報処理装置は、例えば、図16に示すような構成のコンピュータ1000によって実現される。以下、第1の実施形態に係る固体撮像装置100を例に挙げて説明する。図16は、固体撮像装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
(1)
DNNモデルに基づいて入力画像に対しDNNを実行するDNN処理部と、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更するDNN制御部と、
を備える固体撮像装置。
(2)
前記DNN制御部は、前記制御情報に基づいて、前記DNNモデルのパラメータを変更する、
前記(1)に記載の固体撮像装置。
(3)
前記DNN制御部は、少なくとも、前記DNNモデルの入力画像サイズ及びフィルタサイズのいずれか一方を変更する、
前記(2)に記載の固体撮像装置。
(4)
前記DNN処理部が実行する前記DNNモデルを少なくとも1つ記憶している記憶部をさらに備える、
前記(1)〜(3)のいずれか1つに記載の固体撮像装置。
(5)
前記記憶部は、前記DNN処理部の学習用データを記憶している、
前記(4)に記載の固体撮像装置。
(6)
前記DNN制御部は、前記制御情報に基づいて、実行した前記DNNモデルを前記記憶部が記憶している前記DNNモデルに切り替える、
前記(4)または(5)に記載の固体撮像装置。
(7)
前記DNNの実行結果を評価して評価情報を生成する評価部をさらに備える、
前記(1)〜(6)のいずれか1つに記載の固体撮像装置。
(8)
前記評価部は、前記DNN処理部の推論時及び学習時の処理状況を評価して前記評価情報を生成する、
前記(7)に記載の固体撮像装置。
(9)
前記評価部は、前記DNNの認識結果と、前記評価情報とに基づいて正解データを生成する、
前記(7)または(8)に記載の固体撮像装置。
(10)
前記DNN制御部は、前記正解データに基づいて、前記DNNモデルを変更する、
前記(9)に記載の固体撮像装置。
(11)
前記評価情報は、前記DNNの認識結果に関する情報を含む、
前記(1)〜(10)のいずれか1つに記載の固体撮像装置。
(12)
外部装置で実行されたDNNモデルの実行結果の評価情報に基づいて、前記DNNモデルを変更するための制御情報を生成する制御部を備える、
情報処理装置。
(13)
前記制御部は、前記外部装置に記憶されている前記DNNモデルに関する情報を取得する、
前記(12)に記載の情報処理装置。
(14)
固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
DNNモデルに基づいて入力画像に対しDNNを実行するDNN処理部と、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更するDNN制御部と、を備え、
前記情報処理装置は、
前記DNNモデルの実行結果に基づいて、前記DNNモデルを変更するための制御情報を生成する制御部を備える、
情報処理システム。
(15)
DNNモデルに基づいて入力画像に対しDNNを実行し、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更する、
情報処理方法。
(16)
DNNモデルの実行結果の評価情報に基づいて、前記DNNモデルを変更するための制御情報を生成する、
情報処理方法。
(17)
コンピュータを、
DNNモデルに基づいて入力画像に対しDNNを実行するDNN処理部と、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更するDNN制御部と、
して機能させるためのプログラム。
(18)
コンピュータを、
DNNモデルの実行結果の評価情報に基づいて、前記DNNモデルを変更するための制御情報を生成する制御部として機能させるためのプログラム。
100 固体撮像装置
110 撮像部
120 撮像処理部
130 DNN処理部
140 記憶部
150 評価部
160 DNN制御部
170 セレクタ
171 マルチプレクサ
172 デマルチプレクサ
180,210 通信I/F
181,212 送信部
182,211 受信部
190,220 通信制御部
200 情報処理装置
230 制御部
Claims (11)
- 受光した光を光電変換して画像データを出力する撮像部と、
前記撮像部から出力された前記画像データに基づくデータに対してDNNモデルに基づいてDNNを実行するDNN処理部と、
前記DNNの実行結果に基づいて評価情報を生成する評価部と、
少なくとも前記撮像部に電力を供給するバッテリの電力残量を測定し、測定された前記電力残量と、前記評価情報とに基づいて、前記DNN処理部が使用する前記DNNモデルを消費電力の少ないDNNモデルに変更するための制御情報を生成する制御部と、
前記制御情報に基づいて、使用する前記DNNモデルを変更するDNN制御部と、
を備え、
前記撮像部と前記DNN処理部と前記DNN制御部と前記評価部とは、単一のチップ内に配置されている固体撮像装置。 - 前記撮像部から取得された前記画像データ、前記DNN処理部による前記DNNの実行結果、及び、前記評価部によって生成された前記評価情報のうちの少なくとも1つを選択的に外部へ出力可能な出力部と、
前記画像データ、前記DNNの実行結果、及び、前記評価情報のうちの少なくとも1つを前記出力部に選択的に出力させる出力制御部と、
を備える請求項1に記載の固体撮像装置。 - 前記DNN制御部は、前記DNNモデルの入力画像サイズ及びフィルタサイズのいずれか一方をさらに変更する、
請求項1に記載の固体撮像装置。 - 前記DNN処理部が実行する前記DNNモデルを少なくとも1つ記憶している記憶部をさらに備える、
請求項1に記載の固体撮像装置。 - 前記記憶部は、前記DNN処理部の学習用データを記憶している、
請求項4に記載の固体撮像装置。 - 前記DNN制御部は、前記制御情報に基づいて、実行した前記DNNモデルを前記記憶部が記憶している前記DNNモデルに切り替える、
請求項4に記載の固体撮像装置。 - 前記評価部は、前記DNN処理部の推論時及び学習時の処理状況を評価して前記評価情報を生成する、
請求項1に記載の固体撮像装置。 - 前記評価部は、前記DNNの認識結果と、前記評価情報とに基づいて正解データを生成する、
請求項1に記載の固体撮像装置。 - 固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
受光した光を光電変換して画像データを出力する撮像部と、
前記撮像部から出力された前記画像データに基づくデータに対してDNNモデルに基づいてDNNを実行するDNN処理部と、
前記DNNの実行結果に基づいて評価情報を生成する評価部と、
前記評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて、使用する前記DNNモデルを変更するDNN制御部と、
を備え、
前記撮像部と前記DNN処理部と前記DNN制御部と前記評価部とは、単一のチップ内に配置され、
前記情報処理装置は、前記固体撮像装置に電力を供給するバッテリの電力残量を測定し、測定された前記電力残量と、前記評価情報とに基づいて、前記DNN処理部が使用する前記DNNモデルを消費電力の少ないDNNモデルに変更するための前記制御情報を生成する制御部を備える、
情報処理システム。 - 撮像部とDNN処理部と評価部と制御部とDNN制御部とを備える固体撮像装置の動作方法であって、
前記撮像部が、受光した光を光電変換して画像データを出力し、
前記DNN処理部が、前記撮像部から出力された前記画像データに基づくデータに対してDNNモデルに基づいてDNNを実行し、
前記評価部が、前記DNNの実行結果に基づいて評価情報を生成し、
前記制御部が、少なくとも前記撮像部に電力を供給するバッテリの電力残量を測定し、測定された前記電力残量と、前記評価情報とに基づいて、前記DNN処理部が使用する前記DNNモデルを消費電力の少ないDNNモデルに変更するための制御情報を生成し、
前記DNN制御部が、前記制御情報に基づいて、使用する前記DNNモデルを変更する、
ことを含み、
前記撮像部と前記DNN処理部と前記DNN制御部と前記評価部とは、単一のチップ内に配置されている固体撮像装置の動作方法。 - 撮像部とDNN処理部と評価部と制御部とDNN制御部とを備える固体撮像装置の機能を実現するコンピュータを機能させるためのプログラムであって、
前記コンピュータに、
前記撮像部に、受光した光を光電変換して画像データを出力させ、
前記DNN処理部に、前記撮像部から出力された前記画像データに基づくデータに対してDNNモデルに基づいてDNNを実行させ、
前記評価部に、前記DNNの実行結果に基づいて評価情報を生成させ、
前記制御部に、少なくとも前記撮像部に電力を供給するバッテリの電力残量を測定させ、測定された前記電力残量と、前記評価情報とに基づいて、前記DNN処理部が使用する前記DNNモデルを消費電力の少ないDNNモデルに変更するための制御情報を生成させ、
前記DNN制御部に、前記制御情報に基づいて、使用する前記DNNモデルを変更させる、
ことを実行させ、
前記撮像部と前記DNN処理部と前記DNN制御部と前記評価部とは、単一のチップ内に配置されているプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076841A JP6925474B2 (ja) | 2018-08-31 | 2020-04-23 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
JP2021125880A JP7105976B2 (ja) | 2020-04-23 | 2021-07-30 | 固体撮像装置、固体撮像装置の動作方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164001A JP6697042B2 (ja) | 2018-08-31 | 2018-08-31 | 固体撮像システム、固体撮像方法及びプログラム |
JP2020076841A JP6925474B2 (ja) | 2018-08-31 | 2020-04-23 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164001A Division JP6697042B2 (ja) | 2018-08-31 | 2018-08-31 | 固体撮像システム、固体撮像方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021125880A Division JP7105976B2 (ja) | 2020-04-23 | 2021-07-30 | 固体撮像装置、固体撮像装置の動作方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020120406A JP2020120406A (ja) | 2020-08-06 |
JP6925474B2 true JP6925474B2 (ja) | 2021-08-25 |
Family
ID=71891420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076841A Active JP6925474B2 (ja) | 2018-08-31 | 2020-04-23 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6925474B2 (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003069891A (ja) * | 2001-08-27 | 2003-03-07 | Nikon Corp | 電子カメラ |
US10387794B2 (en) * | 2015-01-22 | 2019-08-20 | Preferred Networks, Inc. | Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment |
US9741107B2 (en) * | 2015-06-05 | 2017-08-22 | Sony Corporation | Full reference image quality assessment based on convolutional neural network |
EP3428856A4 (en) * | 2016-03-09 | 2019-04-10 | Sony Corporation | INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE |
JP2017182710A (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法および情報提供方法 |
CN109691079B (zh) * | 2016-09-16 | 2021-05-14 | 索尼半导体解决方案公司 | 成像装置和电子设备 |
JP6832155B2 (ja) * | 2016-12-28 | 2021-02-24 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
US20190147361A1 (en) * | 2017-02-03 | 2019-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Learned model provision method and learned model provision device |
-
2020
- 2020-04-23 JP JP2020076841A patent/JP6925474B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020120406A (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6697042B2 (ja) | 固体撮像システム、固体撮像方法及びプログラム | |
TWI775896B (zh) | 用於使用卷積神經網路的視頻超解析度的方法和設備 | |
JP7328379B2 (ja) | 畳み込み効率を向上させる方法、システム、及び装置 | |
US10755425B2 (en) | Automatic tuning of image signal processors using reference images in image processing environments | |
JP6695947B2 (ja) | 固体撮像システム、画像処理方法及びプログラム | |
CN110555360A (zh) | 鲁棒的面部检测 | |
CN106797424A (zh) | 具有多个输出端口的图像传感器 | |
US11727576B2 (en) | Object segmentation and feature tracking | |
EP3621292B1 (en) | Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof | |
US20230164442A1 (en) | Method for providing image and electronic device supporting same | |
WO2021183256A1 (en) | Physics-guided deep multimodal embeddings for task-specific data exploitation | |
JP6925474B2 (ja) | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム | |
CN114282035A (zh) | 图像检索模型的训练和检索方法、装置、设备及介质 | |
US20240007760A1 (en) | Low-power fusion for negative shutter lag capture | |
JP7398938B2 (ja) | 情報処理装置およびその学習方法 | |
JP2021176242A (ja) | 固体撮像装置、固体撮像装置の動作方法及びプログラム | |
JP5982323B2 (ja) | 受信装置、受信方法、およびそのプログラム | |
CN105323460B (zh) | 图像处理设备及其控制方法 | |
KR20210091033A (ko) | 객체 정보 추정과 가상 객체 생성을 위한 전자 장치 및 전자 장치의 동작 방법 | |
US20220294986A1 (en) | Electronic device, method for controlling the same, and recording medium of recording program | |
US20230300281A1 (en) | Electronic device, method, and computer readable recording medium for synchronizing videos based on movement of body | |
US20240144506A1 (en) | Information processing device | |
US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium | |
WO2023106252A1 (ja) | 情報処理方法、情報処理システム、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体 | |
US20230139034A1 (en) | Image capturing apparatus and method for controlling image capturing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6925474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |