JP2023511812A - 低パワー視覚センシング - Google Patents
低パワー視覚センシング Download PDFInfo
- Publication number
- JP2023511812A JP2023511812A JP2022532137A JP2022532137A JP2023511812A JP 2023511812 A JP2023511812 A JP 2023511812A JP 2022532137 A JP2022532137 A JP 2022532137A JP 2022532137 A JP2022532137 A JP 2022532137A JP 2023511812 A JP2023511812 A JP 2023511812A
- Authority
- JP
- Japan
- Prior art keywords
- power detection
- detection process
- low power
- visual sensor
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 106
- 238000001514 detection method Methods 0.000 claims abstract description 123
- 238000000034 method Methods 0.000 claims abstract description 110
- 230000008569 process Effects 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims description 114
- 238000010801 machine learning Methods 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000002093 peripheral effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 235000019800 disodium phosphate Nutrition 0.000 description 8
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 5
- 230000001010 compromised effect Effects 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000002618 waking effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Power Sources (AREA)
Abstract
Description
本明細書は、アンビエントコンピューティング(ambient computing)に関する。
本明細書では、コンピューティングデバイス上で低パワー視覚センシングを実現するための技術が記載される。これらの技術は、視覚センサデータの継続的なモニタリングに依存するさまざまな複雑なアプリケーションが、低電力状態で実行されることを可能にする。
デバイスは、第1の処理コンポーネントを用いて低パワー検出プロセスを実行し、第2の処理要素を用いて高パワー検出プロセスを実行するように構成され、第1の処理コンポーネントは第2の処理コンポーネントよりも少ない電力を消費し得る。
さまざまな図面における同様の参照番号および呼称は、同様のコンポーネントを示す。
システムは、低パワー処理コンポーネントを用いて低パワー検出プロセスを実行する(220)。上述のように、低パワー処理コンポーネントは、アンビエントコンピューティングシステム上のデバイスのうちのいずれか、または部分的に有効にされるメインMLエンジンであり得る。一般に、低パワー処理コンポーネントは、完全に有効にされたときのメインCPUクラスタまたはメインMLエンジンよりも少ない電力を消費する。さらに、低パワー検出プロセス時に、視覚センサは、より低いフレームレートで、より低い解像度で、またはその両方でデータを生成するように構成され得る。
Claims (15)
- コンピューティングデバイスであって、
視覚センサデータを生成するように構成される視覚センサと、
前記視覚センサによって生成された前記視覚センサデータを低パワー検出プロセスに従って繰り返し処理するための手段と、
前記低パワー検出プロセスによって検出が示された場合に高パワー検出プロセスを実行するための手段とを備える、コンピューティングデバイス。 - 前記デバイスは、第1の処理コンポーネントを用いて前記低パワー検出プロセスを実行し、第2の処理要素を用いて前記高パワー検出プロセスを実行するように構成され、前記第1の処理コンポーネントは前記第2の処理コンポーネントよりも少ない電力を消費する、請求項1に記載のコンピューティングデバイス。
- 前記第2の処理コンポーネントは、前記低パワー検出プロセスによって検出が示されるまで無効にされる、請求項2に記載のコンピューティングデバイス。
- 複数のコンピュートタイルを有するメインマシンラーニングエンジンをさらに備え、前記デバイスは、前記メインマシンラーニングエンジンを用いて前記高パワー検出プロセスを実行するように構成される、先行する請求項のいずれか1項に記載のコンピューティングデバイス。
- 前記デバイスは、前記メインマシンラーニングエンジンの前記複数のコンピュートタイルのすべてよりも少ないコンピュートタイルを用いて前記低パワー検出プロセスを実行するように構成される、請求項4に記載のコンピューティングデバイス。
- アンビエントマシンラーニングエンジンをさらに備え、前記デバイスは、前記アンビエントマシンラーニングエンジンを用いて前記低パワー検出プロセスを実行するように構成される、請求項4に記載のコンピューティングデバイス。
- メインCPUクラスタをさらに備え、前記デバイスは、前記メインCPUクラスタにおいて実行されるスレッドによってアクセス可能なメモリに前記視覚センサデータを格納することなく前記低パワー検出プロセスおよび前記高パワー検出プロセスを実行するように構成される、先行する請求項のいずれか1項に記載のコンピューティングデバイス。
- カメラと、前記カメラによって生成されたデータを処理するように構成されるメイン画像信号プロセッサ(ISP)とをさらに備え、前記デバイスは、視覚センサデータを格納するフレームバッファと前記メインISPとの間のプライベートチャネルを用いて、前記高パワー検出プロセス時に使用される前処理された視覚センサデータを生成するように構成される、先行する請求項のいずれか1項に記載のコンピューティングデバイス。
- 前記プライベートチャネルは、前記メインCPUクラスタにおいて実行されるスレッドによるアクセスが不可能である、請求項7に従属する場合の請求項8に記載のコンピューティングデバイス。
- 前記視覚センサは、前記低パワー検出プロセスのための第1のフレームレートと、前記高パワー検出プロセスのための前記第1のフレームレートよりも高い第2のフレームとを生成するように構成される、先行する請求項のいずれか1項に記載のコンピューティングデバイス。
- 前記視覚センサは、前記低パワー検出プロセスのための第1の解像度と、前記低パワー検出プロセスのための前記第1の解像度よりも高い第2の解像度とで視覚センサデータを生成するように構成される、先行する請求項のいずれか1項に記載のコンピューティングデバイス。
- 前記視覚センサによって生成された前記視覚センサデータを低パワー検出プロセスに従って繰り返し処理するための前記手段は、アンビエントコンピューティングシステムを含む、先行する請求項のいずれか1項に記載のコンピューティングデバイス。
- 前記低パワー検出プロセスによって検出が示された場合、前記アンビエントコンピューティングシステムは、前記コンピューティングデバイスの1つ以上の他のコンポーネントを起動して、前記視覚センサデータを用いて高パワー検出プロセスを実行するようにさらに構成される、請求項12に記載のコンピューティングデバイス。
- 請求項1~13のいずれか1項に記載のコンピューティングデバイスによって実行される動作を実行することを備える、方法。
- コンピュータプログラム命令でエンコードされる1つ以上のコンピュータ記憶媒体であって、前記コンピュータプログラム命令は、データ処理装置によって実行されると、前記データ処理装置に請求項1~13のいずれか1項に記載の動作を行わせるように動作可能である、1つ以上のコンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962949386P | 2019-12-17 | 2019-12-17 | |
US62/949,386 | 2019-12-17 | ||
PCT/US2020/065387 WO2021127030A1 (en) | 2019-12-17 | 2020-12-16 | Low-power vision sensing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023511812A true JP2023511812A (ja) | 2023-03-23 |
Family
ID=74184907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022532137A Pending JP2023511812A (ja) | 2019-12-17 | 2020-12-16 | 低パワー視覚センシング |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220413592A1 (ja) |
EP (1) | EP3999937A1 (ja) |
JP (1) | JP2023511812A (ja) |
KR (1) | KR20220085835A (ja) |
CN (1) | CN114341924A (ja) |
WO (1) | WO2021127030A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007013472A (ja) * | 2005-06-29 | 2007-01-18 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
US20110134250A1 (en) * | 2009-12-03 | 2011-06-09 | Sungun Kim | Power control method of device controllable by user's gesture |
JP2013115649A (ja) * | 2011-11-29 | 2013-06-10 | Toshiba Corp | 制御装置、電力量制御方法 |
JP2016086334A (ja) * | 2014-10-28 | 2016-05-19 | レノボ・シンガポール・プライベート・リミテッド | ジェスチャの認識方法、ジェスチャ入力システムおよび電子機器 |
JP2018501531A (ja) * | 2014-09-30 | 2018-01-18 | クアルコム,インコーポレイテッド | イベントベースのビジョンセンサを使用した低電力で常時オンの顔の検出、追跡、認識および/または分析 |
WO2019104228A1 (en) * | 2017-11-21 | 2019-05-31 | Google Llc | Low-power ambient computing system with machine learning |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110103643A1 (en) * | 2009-11-02 | 2011-05-05 | Kenneth Edward Salsman | Imaging system with integrated image preprocessing capabilities |
KR101925412B1 (ko) * | 2012-07-03 | 2018-12-05 | 삼성전자주식회사 | 휴대 단말기의 슬립 모드 제어 방법 및 장치 |
CN105759935B (zh) * | 2016-01-29 | 2019-01-18 | 华为技术有限公司 | 一种终端控制方法及终端 |
US10175980B2 (en) | 2016-10-27 | 2019-01-08 | Google Llc | Neural network compute tile |
CA3042553C (en) * | 2016-11-16 | 2024-01-02 | Magic Leap, Inc. | Mixed reality system with reduced power rendering |
US10984235B2 (en) * | 2016-12-16 | 2021-04-20 | Qualcomm Incorporated | Low power data generation for iris-related detection and authentication |
US11620806B2 (en) * | 2019-06-07 | 2023-04-04 | Qualcomm Incorporated | Optical character detection using a low-power sensor |
-
2020
- 2020-12-16 US US17/777,968 patent/US20220413592A1/en active Pending
- 2020-12-16 JP JP2022532137A patent/JP2023511812A/ja active Pending
- 2020-12-16 WO PCT/US2020/065387 patent/WO2021127030A1/en unknown
- 2020-12-16 CN CN202080060825.6A patent/CN114341924A/zh active Pending
- 2020-12-16 EP EP20842099.2A patent/EP3999937A1/en active Pending
- 2020-12-16 KR KR1020227018259A patent/KR20220085835A/ko not_active Application Discontinuation
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007013472A (ja) * | 2005-06-29 | 2007-01-18 | Canon Inc | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
US20110134250A1 (en) * | 2009-12-03 | 2011-06-09 | Sungun Kim | Power control method of device controllable by user's gesture |
JP2013115649A (ja) * | 2011-11-29 | 2013-06-10 | Toshiba Corp | 制御装置、電力量制御方法 |
JP2018501531A (ja) * | 2014-09-30 | 2018-01-18 | クアルコム,インコーポレイテッド | イベントベースのビジョンセンサを使用した低電力で常時オンの顔の検出、追跡、認識および/または分析 |
JP2016086334A (ja) * | 2014-10-28 | 2016-05-19 | レノボ・シンガポール・プライベート・リミテッド | ジェスチャの認識方法、ジェスチャ入力システムおよび電子機器 |
WO2019104228A1 (en) * | 2017-11-21 | 2019-05-31 | Google Llc | Low-power ambient computing system with machine learning |
JP2020532779A (ja) * | 2017-11-21 | 2020-11-12 | グーグル エルエルシー | マシンラーニングによる低パワーアンビエントコンピューティングシステム |
Also Published As
Publication number | Publication date |
---|---|
KR20220085835A (ko) | 2022-06-22 |
CN114341924A (zh) | 2022-04-12 |
US20220413592A1 (en) | 2022-12-29 |
EP3999937A1 (en) | 2022-05-25 |
WO2021127030A1 (en) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7257443B2 (ja) | マシンラーニングによる低パワーアンビエントコンピューティングシステム | |
CN107643921B (zh) | 用于激活语音助手的设备、方法和计算机可读存储介质 | |
KR101770932B1 (ko) | 모바일 디바이스용 상시 연결형 오디오 제어 | |
KR102536359B1 (ko) | 저전력 캐시된 앰비언트 컴퓨팅 | |
WO2021127174A1 (en) | Machine learning based privacy processing | |
US9836113B2 (en) | Method and apparatus to manage power usage in a processor | |
JP2023511812A (ja) | 低パワー視覚センシング | |
CN114816031B (zh) | 终端设备的省电方法、终端设备及介质 | |
US20200209938A1 (en) | Deactivating a display of a smart display device based on a vision-based mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220825 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |