JP7386792B2 - 電子機器及び固体撮像装置 - Google Patents
電子機器及び固体撮像装置 Download PDFInfo
- Publication number
- JP7386792B2 JP7386792B2 JP2020539604A JP2020539604A JP7386792B2 JP 7386792 B2 JP7386792 B2 JP 7386792B2 JP 2020539604 A JP2020539604 A JP 2020539604A JP 2020539604 A JP2020539604 A JP 2020539604A JP 7386792 B2 JP7386792 B2 JP 7386792B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image data
- processing
- electronic device
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 116
- 238000012545 processing Methods 0.000 claims description 199
- 238000001514 detection method Methods 0.000 claims description 138
- 230000006870 function Effects 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 claims description 60
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 230000008921 facial expression Effects 0.000 claims description 23
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000005094 computer simulation Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 33
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 17
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000001678 irradiating effect Effects 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
1. 第1の実施形態
1.1 電子機器の概略構成例
1.2 処理部の動作
1.2.1 演算動作の具体例
1.3 演算結果を利用した付加的な機能の実行
1.4 作用・効果
2. 第2の実施形態
2.1 動作例
2.2 作用・効果
3. 第3の実施形態
3.1 電子機器の概略構成例
3.2 動作例
3.3 作用・効果
4. 第4の実施形態
4.1 電子機器の概略構成例
4.2 動作例
4.3 作用・効果
5. 第5の実施形態
5.1 電子機器の概略構成例
5.2 動作例
5.3 作用・効果
6. 第6の実施形態
6.1 電子機器の概略構成例
6.2 動作例
6.3 作用・効果
7. 第7の実施形態
7.1 動作例
7.2 作用・効果
8. 第8の実施形態
8.1 動作例
8.2 作用・効果
9.移動体への応用例
10.内視鏡手術システムへの応用例
まず、第1の実施形態について、図面を参照して詳細に説明する。
1.1 電子機器の概略構成例
図1は、第1の実施形態に係る電子機器の概略構成例を示すブロック図である。図1に示すように、電子機器1は、固体撮像装置であるイメージセンサ10と、アプリケーションプロセッサ20とを備える。イメージセンサ10は、撮像部11と、コントロール部12と、信号処理部13と、DSP(Digital Signal Processor)14と、メモリ15と、セレクタ(出力部ともいう)16とを備えている。
次に、本実施形態において処理部として機能するDSP14の動作について、以下に図面を参照して詳細に説明する。
つづいて、図2を用いて説明した処理部の動作を、具体例を用いて説明する。なお、以下では、DNNを利用して顔検出を実行する場合を例示する。
次に、DSP14が実行した演算処理の結果を利用して付加的な機能を実行する際の動作について、図面を参照して詳細に説明する。なお、以下では、演算結果を利用して実行する付加的な機能として、オート露光(AE)機能、オートフォーカス(AF)機能、オートシャッタ(AS)機能、及び、オート色補正機能を例示するが、これらの機能に限定されず、種々の機能を適用することが可能である。
以上のように、本実施形態によれば、所定ライン数ずつの画像データに対して演算処理を実行することで、演算処理に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
次に、第2の実施形態について、図面を参照して詳細に説明する。上述した第1の実施形態では、演算結果の利用形態として、オート露光(AE)機能、オートフォーカス(AF)機能、オートシャッタ(AS)機能、オート色補正機能等の付加的な機能を実行する場合を例示した。これに対し、第2の実施形態では、所定のアプリアプリケーションソフトウエアに対して評価等を自動で入力する場合を例示する。
図6は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。なお、本説明では、明確化のため、ユーチューブ(登録商標)などで提供される動画像のコンテンツを再生する場合について説明する。
以上のように、本実施形態によれば、表情認識に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となるため、コンテンツ閲覧又は再生時の消費電力の増加を抑制しつつ、自動的にコンテンツに対する評価や好感度等を入力することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
次に、第3の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、姿勢に応じてディスプレイ17の表示方向を回転させる機能を備えた電子機器において、特定のアプリケーションソフトウエアを実行中に、演算結果を利用してディスプレイ17の表示方向を制御する場合を例示する。
図7は、第3の実施形態に係る電子機器の概略構成例を示すブロック図である。図7に示すように、電子機器3は、第1の実施形態において図1を用いて説明した電子機器1と同様の構成に加え、電子機器3の姿勢の変化(以下、変位という)を検出するための慣性計測装置(Inertial Measurement Unit:IMU)32をさらに備えている。また、電子機器3におけるイメージセンサ10には、IMU32による検出結果に基づいて電子機器3の姿勢を検出するCPU(Central Processing Unit)31がさらに組み込まれている。
図8は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図8に示すように、本動作では、まず、アプリケーションプロセッサ20が、ユーザが入力した操作に従い、所定のアプリアプリケーションソフトウエアを起動すると(ステップS301のYES)、CPU31がIMU32で検出された情報に基づいて、電子機器3の姿勢の変化(変位)を検出する(ステップS302)。変位が検出されない場合(ステップS302のNO)、本動作はステップS309へ進む。一方、変位が検出された場合(ステップS302のYES)、イメージセンサ10が起動される(ステップS303)。
以上のように、本実施形態によれば、特定のアプリケーションソフトウエアを実行している際に、処理時間や消費電力が低減された演算処理の結果に基づいて、ディスプレイ17の表示方向をユーザの顔の上下方向に応じて制御することが可能となる。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
次に、第4の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、セキュリティ等の理由からディスプレイ17に表示された画面をロックする機能を搭載した電子機器において、顔認証により画面ロックを解除する際に、演算結果を利用する場合を例示する。
図9は、第4の実施形態に係る電子機器の概略構成例を示すブロック図である。図9に示すように、電子機器4は、第3の実施形態において図7を用いて説明した電子機器3と同様の構成に加え、不揮発性メモリ43をさらに備えている。
図10は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図10に示すように、本動作では、まず、アプリケーションプロセッサ20によって、電子機器4が画面ロックの状態であるか否かが判定される(ステップS401)。なお、電子機器4の画面ロックは、例えば、アプリケーションプロセッサ20により実行される。電子機器4が画面ロックの状態である場合(ステップS401のYES)、CPU31がIMU32で検出された情報に基づいて、電子機器1の姿勢の変化(変位)を検出する(ステップS402)。そして、電子機器4の変位が検出されると(ステップS402のYES)、イメージセンサ10が起動される(ステップS403)。
以上のように、本実施形態によれば、IMU32で電子機器4の変位を検出した際に、処理時間や消費電力が低減された演算処理の結果に基づいて、画面ロックが解除される。また、画面ロック中、常時、イメージセンサ10を起動しておく必要がなくなるため、待機中の消費電力をより低減することも可能となる。
次に、第5の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、防犯システムに適用した場合について、例を挙げて説明する。
図11は、第5の実施形態に係る電子機器の概略構成例を示すブロック図である。図11に示すように、電子機器5は、第1の実施形態において図1を用いて説明した電子機器1と同様の構成に加え、不揮発性メモリ43をさらに備えている。
図12は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図12に示すように、本動作では、例えば、ユーザによる電源投入により電子機器1が起動すると、まず、イメージセンサ10が起動される(ステップS501)。
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、撮像された人物が不審者であるか否かを判断することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
次に、第6の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、例えば、家庭内等の特定の領域内のペットを見守る監視カメラに適用した場合について、例を挙げて説明する。
図13は、第6の実施形態に係る電子機器の概略構成例を示すブロック図である。図13に示すように、電子機器6は、第1の実施形態において図1を用いて説明した電子機器1と同様の構成に加え、動き回るペットを追跡するために、その画角を変更する制御機構21が搭載されている。
図14は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図14に示すように、本動作では、例えば、ユーザによる電源投入により電子機器6が起動すると、まず、イメージセンサ10が起動される(ステップS601)。
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内のペットを見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
次に、第7の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、例えば、家庭内等の特定の領域内の子供や老人や要介護者等の人(以下、対象者という)を見守る監視カメラに適用した場合について、例を挙げて説明する。
図15は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図15に示すように、本動作では、例えば、ユーザによる電源投入により電子機器1が起動すると、まず、イメージセンサ10が起動される(ステップS701)。
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内の子供や老人や要介護者等の対象者を見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
次に、第8の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、例えば、自動車等の乗り物に搭載される自動運転システムや自律ロボットやドローンなどの自律移動体等に搭載される自律システムに組み込んだ場合について、例を挙げて説明する。
図16は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図16に示すように、本動作では、例えば、運転者による自動車のエンジン始動に連動して、イメージセンサ10が起動される(ステップS801)。
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて回避対象物を認識することが可能となるため、自動運転システムにおける迅速な回避対象物の認識と消費電力の低減とを実現することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
(1)
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する
電子機器。
(2)
前記機能実行部は、前記電子機器の画面ロックを設定/解除する機能を備え、
前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
前記(1)に記載の電子機器。
(3)
前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
前記(1)又は(2)に記載の電子機器。
(4)
前記処理部は、同一フレームの前記画像データに基づくデータにおける最初に入力された単位領域のデータに対してCNN(Convolution Neural Network)を利用した処理を実行する前記(1)~(3)の何れか1項に記載の電子機器。
(5)
前記処理部は、前記最初に入力された単位領域のデータに対する前記CNNを利用した処理に失敗した場合、前記同一フレームの画像データに基づくデータにおける次に入力された単位領域のデータに対してRNN(Recurrent Neural Network)を利用した処理を実行する前記(4)に記載の電子機器。
(6)
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
前記処理部には、前記ライン単位で前記データが入力される
前記(4)又は(5)に記載の電子機器。
(7)
前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである前記(4)又は(5)に記載の電子機器。
(8)
前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである前記(4)又は(5)に記載の電子機器。
(9)
前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
前記(1)~(8)の何れか1項に記載の電子機器。
(10)
前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも1つである前記(1)~(9)の何れか1項に記載の電子機器。
(11)
前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
前記物体検出は、画像データに含まれる物体を検出する処理であり、
前記物体認識は、画像データに含まれる物体を認識する処理であり、
前記動き検出は、画像データに含まれる動物体を検出する処理であり、
前記ペット検出は、画像データに含まれるペットを検出する処理であり、
前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
前記(10)に記載の電子機器。
(12)
前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも1つである前記(1)~(11)の何れか1項に記載の電子機器。
(13)
前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
前記(1)~(11)の何れか1項に記載の電子機器。
(14)
前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
前記(2)、(10)又は(11)に記載の電子機器。
(15)
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む1フレーム分の画像データと前記画像データの撮像時刻とを出力する
前記(1)~(14)の何れか1項に記載の電子機器。
(16)
前記撮像部の画角を変更する制御機構をさらに備え、
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
前記(1)~(15)の何れか1項に記載の電子機器。
(17)
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
前記(1)~(16)の何れか1項に記載の電子機器。
(18)
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第1の回避対象物認識を実行し、
前記機能実行部は、前記処理部による第1の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第2の回避対象物認識を実行し、前記第2の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
前記(1)~(17)の何れか1項に記載の電子機器。
(19)
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
前記処理の結果を出力する出力部と、
を備える固体撮像装置。
10 イメージセンサ
11 撮像部
101 画素アレイ部
104 光学系
12 コントロール部
13 信号処理部
14 DSP
15 メモリ
16 セレクタ
17 ディスプレイ
20 アプリケーションプロセッサ
21 制御機構
30 クラウドサーバ
31 CPU
32 IMU
40 ネットワーク
43 不揮発性メモリ
Claims (19)
- 画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、
前記検出部が変位を検出した場合、同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してCNN(Convolution Neural Network)を利用した前記処理を実行し、
前記CNNを利用した前記処理に失敗した場合、前記同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してRNN(Recurrent Neural Network)を利用した処理を実行する
電子機器。 - 前記処理部は、最初に入力された単位領域のデータに対して前記CNNを利用した前記処理を実行し、前記CNNを利用した前記処理に失敗した場合、次に入力された単位領域のデータに対して前記RNNを利用した処理を実行する
請求項1に記載の電子機器。 - 前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
前記処理部には、前記ライン単位で前記データが入力される
請求項1に記載の電子機器。 - 前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである請求項1に記載の電子機器。
- 前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである請求項1に記載の電子機器。
- 画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記検出部が変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
電子機器。 - 画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、前記検出部が変位を検出した場合、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む1フレーム分の画像データと前記画像データの撮像時刻とを出力する
電子機器。 - 画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、前記検出部が変位を検出した場合、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第1の回避対象物認識を実行し、
前記機能実行部は、前記処理部による第1の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第2の回避対象物認識を実行し、前記第2の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
電子機器。 - 前記機能実行部は、前記電子機器の画面ロックを設定/解除する機能を備え、
前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
請求項1から8のいずれか1項に記載の電子機器。 - 前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
請求項9に記載の電子機器。 - 前記検出部は、前記電子機器の変位を検出し、
前記機能実行部は、前記所定の機能として前記画像データを加工する処理を実行する
請求項1から8のいずれか1項に記載の電子機器。 - 前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
請求項1から8のいずれか1項に記載の電子機器。 - 前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
請求項1から8のいずれか1項に記載の電子機器。 - 前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも1つである請求項1から8のいずれか1項に記載の電子機器。
- 前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
前記物体検出は、画像データに含まれる物体を検出する処理であり、
前記物体認識は、画像データに含まれる物体を認識する処理であり、
前記動き検出は、画像データに含まれる動物体を検出する処理であり、
前記ペット検出は、画像データに含まれるペットを検出する処理であり、
前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
請求項14に記載の電子機器。 - 前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも1つである請求項1から8のいずれか1項に記載の電子機器。
- 前記撮像部の画角を変更する制御機構をさらに備え、
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
請求項1から8のいずれか1項に記載の電子機器。 - 前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
請求項1から8のいずれか1項に記載の電子機器。 - 撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
前記処理の結果を出力する出力部と、
を備え、
前記処理部は、
同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してCNN(Convolution Neural Network)を利用した前記処理を実行し、
前記CNNを利用した前記処理に失敗した場合、前記同一フレームの前記画像データに基づくデータにおける単位領域のデータに対してRNN(Recurrent Neural Network)を利用した処理を実行する
固体撮像装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163700 | 2018-08-31 | ||
JP2018163700 | 2018-08-31 | ||
JP2019152201 | 2019-08-22 | ||
JP2019152201 | 2019-08-22 | ||
PCT/JP2019/034022 WO2020045598A1 (ja) | 2018-08-31 | 2019-08-29 | 電子機器及び固体撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020045598A1 JPWO2020045598A1 (ja) | 2021-09-24 |
JP7386792B2 true JP7386792B2 (ja) | 2023-11-27 |
Family
ID=69642811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539604A Active JP7386792B2 (ja) | 2018-08-31 | 2019-08-29 | 電子機器及び固体撮像装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11889177B2 (ja) |
EP (1) | EP3846442A4 (ja) |
JP (1) | JP7386792B2 (ja) |
KR (1) | KR20210052441A (ja) |
CN (1) | CN112585942B (ja) |
TW (1) | TWI820194B (ja) |
WO (1) | WO2020045598A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6638852B1 (ja) * | 2018-08-31 | 2020-01-29 | ソニー株式会社 | 撮像装置、撮像システム、撮像方法および撮像プログラム |
US11375968B2 (en) | 2020-04-06 | 2022-07-05 | GE Precision Healthcare LLC | Methods and systems for user and/or patient experience improvement in mammography |
KR20220028928A (ko) * | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | 부분 영상 기반의 영상 처리 방법 및 장치 |
JP7413481B1 (ja) | 2022-10-21 | 2024-01-15 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、及び制御方法 |
WO2024150402A1 (ja) * | 2023-01-13 | 2024-07-18 | 日本電気株式会社 | 情報処理システム、情報処理装置、情報処理方法及び記録媒体 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005128967A (ja) | 2003-10-27 | 2005-05-19 | Sozo Gijutsu Kenkyusho:Kk | 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体 |
WO2007119818A1 (ja) | 2006-04-14 | 2007-10-25 | Nec Corporation | 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム |
JP2011035771A (ja) | 2009-08-04 | 2011-02-17 | Olympus Corp | 撮像装置、編集装置および撮像システム |
JP2011160044A (ja) | 2010-01-29 | 2011-08-18 | Sanyo Electric Co Ltd | 撮像装置 |
JP2011203860A (ja) | 2010-03-24 | 2011-10-13 | Ntt Docomo Inc | 情報端末及び表示切替方法 |
WO2012073421A1 (ja) | 2010-11-29 | 2012-06-07 | パナソニック株式会社 | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 |
US20120235790A1 (en) | 2011-03-16 | 2012-09-20 | Apple Inc. | Locking and unlocking a mobile device using facial recognition |
JP2012252507A (ja) | 2011-06-02 | 2012-12-20 | Panasonic Corp | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 |
JP2013120949A (ja) | 2011-12-06 | 2013-06-17 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
WO2018037521A1 (ja) | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
JP2018055138A (ja) | 2016-09-26 | 2018-04-05 | 株式会社デンソーウェーブ | 認証システム、認証データ管理装置、ゲート管理装置および認証方法 |
JP2018116589A (ja) | 2017-01-20 | 2018-07-26 | Kddi株式会社 | 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法 |
JP2018117309A (ja) | 2017-01-20 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像処理方法および画像処理システム |
JP2018133749A (ja) | 2017-02-16 | 2018-08-23 | オリンパス株式会社 | 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム |
JP2018136767A (ja) | 2017-02-22 | 2018-08-30 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2910534B2 (ja) | 1993-11-18 | 1999-06-23 | ノーリツ鋼機株式会社 | 写真フィルム用コード情報読取装置 |
US6252975B1 (en) | 1998-12-17 | 2001-06-26 | Xerox Corporation | Method and system for real time feature based motion analysis for key frame selection from a video |
EP1354291B1 (en) | 2001-01-22 | 2006-08-02 | Hand Held Products, Inc. | Optical reader having partial frame operating mode |
US20040028137A1 (en) | 2002-06-19 | 2004-02-12 | Jeremy Wyn-Harris | Motion detection camera |
JP4130180B2 (ja) | 2004-05-26 | 2008-08-06 | 株式会社リコー | 画像読取装置、画像形成装置及び画像読取方法 |
JP4546157B2 (ja) | 2004-06-03 | 2010-09-15 | キヤノン株式会社 | 情報処理方法、情報処理装置、撮像装置 |
US20060242434A1 (en) * | 2005-04-22 | 2006-10-26 | Tsung-Jen Lee | Portable device with motion sensor |
JP2007201660A (ja) | 2006-01-25 | 2007-08-09 | Fuji Xerox Co Ltd | 画像処理装置、画像形成装置、画像処理方法及びプログラム |
JP5150067B2 (ja) | 2006-07-05 | 2013-02-20 | パナソニック株式会社 | 監視システム、監視装置及び監視方法 |
CN101205772B (zh) * | 2006-12-18 | 2012-06-06 | 汉王科技股份有限公司 | 人脸识别无锁孔报警防盗门锁 |
JP4362537B2 (ja) | 2007-06-06 | 2009-11-11 | シャープ株式会社 | 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体 |
TWI359381B (en) * | 2007-12-25 | 2012-03-01 | Htc Corp | Method for unlocking a locked computing device and |
JP5288915B2 (ja) | 2008-07-08 | 2013-09-11 | キヤノン株式会社 | 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体 |
JP4816768B2 (ja) | 2009-06-22 | 2011-11-16 | ソニー株式会社 | 固体撮像装置とその製造方法、及び電子機器 |
KR20110056616A (ko) | 2009-11-23 | 2011-05-31 | 한국전자통신연구원 | 객체 검출 유닛 및 이를 이용한 데이터 전송 방법 |
JP5505007B2 (ja) | 2010-03-18 | 2014-05-28 | 富士通株式会社 | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム |
GB2478911B (en) | 2010-03-22 | 2014-01-08 | Timocco Ltd | Object locating and tracking in video frames using smoothness check along specified line sections |
JP5761601B2 (ja) | 2010-07-01 | 2015-08-12 | 株式会社リコー | 物体識別装置 |
JP5220828B2 (ja) | 2010-11-11 | 2013-06-26 | シャープ株式会社 | 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体 |
JP5691736B2 (ja) | 2011-03-29 | 2015-04-01 | ブラザー工業株式会社 | 読取装置 |
KR101739380B1 (ko) * | 2011-04-11 | 2017-06-08 | 삼성전자주식회사 | 디지털 영상 촬영 장치 및 방법 |
JP5979967B2 (ja) | 2011-06-30 | 2016-08-31 | キヤノン株式会社 | 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム |
JP5909147B2 (ja) | 2012-05-08 | 2016-04-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
JP5955170B2 (ja) | 2012-09-06 | 2016-07-20 | キヤノン株式会社 | 表示制御装置、表示制御方法、及びプログラム |
JP2014139732A (ja) | 2013-01-21 | 2014-07-31 | Sony Corp | 画像処理装置、画像処理方法、プログラムおよび表示装置 |
CN103077407B (zh) | 2013-01-21 | 2017-05-17 | 信帧电子技术(北京)有限公司 | 车标定位识别方法及系统 |
US9979904B2 (en) | 2013-01-25 | 2018-05-22 | Innovaciones Microelectrónicas S.L. (Anafocus) | Advanced region of interest function for image sensors |
JP6155786B2 (ja) | 2013-04-15 | 2017-07-05 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体 |
CN103716661A (zh) * | 2013-12-16 | 2014-04-09 | 乐视致新电子科技(天津)有限公司 | 一种视频打分上报方法及装置 |
JP6350863B2 (ja) | 2013-12-20 | 2018-07-04 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
JP6338436B2 (ja) | 2014-04-25 | 2018-06-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
KR102192088B1 (ko) | 2014-07-18 | 2020-12-16 | 삼성전자주식회사 | 인지센서 및 이의 구동방법 |
US10277817B2 (en) | 2014-07-23 | 2019-04-30 | Sony Corporation | Information processing apparatus and information processing method |
US9418319B2 (en) | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
US10045726B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
CN105373785B (zh) | 2015-11-30 | 2019-08-02 | 北京地平线机器人技术研发有限公司 | 基于深度神经网络的手势识别检测方法与装置 |
US9773196B2 (en) | 2016-01-25 | 2017-09-26 | Adobe Systems Incorporated | Utilizing deep learning for automatic digital image segmentation and stylization |
JP2017183775A (ja) | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像素子 |
JP2017228975A (ja) | 2016-06-23 | 2017-12-28 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム |
JP2018005520A (ja) | 2016-06-30 | 2018-01-11 | クラリオン株式会社 | 物体検出装置及び物体検出方法 |
JP2018081545A (ja) * | 2016-11-17 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像データ抽出装置及び画像データ抽出方法 |
JP6787102B2 (ja) | 2016-12-14 | 2020-11-18 | 株式会社デンソー | 物体検出装置、物体検出方法 |
AU2017279806B2 (en) * | 2017-05-29 | 2023-10-12 | Saltor Pty Ltd | Method and system for abnormality detection |
CN107563168A (zh) | 2017-09-05 | 2018-01-09 | 广东欧珀移动通信有限公司 | 移动终端的解锁方法、装置及移动终端 |
CN107944351B (zh) | 2017-11-07 | 2020-08-04 | 深圳市易成自动驾驶技术有限公司 | 图像识别方法、装置及计算机可读存储介质 |
US10275670B1 (en) * | 2018-03-07 | 2019-04-30 | State Farm Mutual Automobile Insurance Company | Image analysis technologies for identifying abnormal vehicle conditions |
-
2019
- 2019-08-27 TW TW108130709A patent/TWI820194B/zh active
- 2019-08-29 EP EP19854132.8A patent/EP3846442A4/en active Pending
- 2019-08-29 KR KR1020217003730A patent/KR20210052441A/ko active Search and Examination
- 2019-08-29 US US17/266,117 patent/US11889177B2/en active Active
- 2019-08-29 JP JP2020539604A patent/JP7386792B2/ja active Active
- 2019-08-29 CN CN201980054395.4A patent/CN112585942B/zh active Active
- 2019-08-29 WO PCT/JP2019/034022 patent/WO2020045598A1/ja unknown
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005128967A (ja) | 2003-10-27 | 2005-05-19 | Sozo Gijutsu Kenkyusho:Kk | 医療用動き検出装置、医療用動き検出方法、医療用動き検出プログラム並びにコンピュータで読取可能な記録媒体 |
WO2007119818A1 (ja) | 2006-04-14 | 2007-10-25 | Nec Corporation | 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム |
JP2011035771A (ja) | 2009-08-04 | 2011-02-17 | Olympus Corp | 撮像装置、編集装置および撮像システム |
JP2011160044A (ja) | 2010-01-29 | 2011-08-18 | Sanyo Electric Co Ltd | 撮像装置 |
JP2011203860A (ja) | 2010-03-24 | 2011-10-13 | Ntt Docomo Inc | 情報端末及び表示切替方法 |
WO2012073421A1 (ja) | 2010-11-29 | 2012-06-07 | パナソニック株式会社 | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 |
US20120235790A1 (en) | 2011-03-16 | 2012-09-20 | Apple Inc. | Locking and unlocking a mobile device using facial recognition |
JP2012252507A (ja) | 2011-06-02 | 2012-12-20 | Panasonic Corp | 人物属性推定システム、人物属性推定装置、及び人物属性推定方法 |
JP2013120949A (ja) | 2011-12-06 | 2013-06-17 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
WO2018037521A1 (ja) | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
JP2018055138A (ja) | 2016-09-26 | 2018-04-05 | 株式会社デンソーウェーブ | 認証システム、認証データ管理装置、ゲート管理装置および認証方法 |
JP2018116589A (ja) | 2017-01-20 | 2018-07-26 | Kddi株式会社 | 対象画像の変更画像群を用いる状態識別装置、プログラム及び方法 |
JP2018117309A (ja) | 2017-01-20 | 2018-07-26 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、画像処理方法および画像処理システム |
JP2018133749A (ja) | 2017-02-16 | 2018-08-23 | オリンパス株式会社 | 被操縦体、移動装置、撮像装置、移動制御方法、移動補助方法、移動制御プログラムおよび移動補助プログラム |
JP2018136767A (ja) | 2017-02-22 | 2018-08-30 | オムロン株式会社 | 光学センサ、学習装置、及び画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
CN112585942A (zh) | 2021-03-30 |
JPWO2020045598A1 (ja) | 2021-09-24 |
US11889177B2 (en) | 2024-01-30 |
EP3846442A1 (en) | 2021-07-07 |
TWI820194B (zh) | 2023-11-01 |
WO2020045598A1 (ja) | 2020-03-05 |
CN112585942B (zh) | 2024-04-26 |
EP3846442A4 (en) | 2021-09-15 |
US20210297585A1 (en) | 2021-09-23 |
TW202032968A (zh) | 2020-09-01 |
KR20210052441A (ko) | 2021-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6638851B1 (ja) | 撮像装置、撮像システム、撮像方法および撮像プログラム | |
JP7386792B2 (ja) | 電子機器及び固体撮像装置 | |
TWI785049B (zh) | 成像裝置、固態影像感測器及電子裝置 | |
JP2021093759A (ja) | 撮像装置及び撮像装置の制御方法 | |
TWI759433B (zh) | 成像設備及電子裝置 | |
US12079712B2 (en) | Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method | |
US12069386B2 (en) | Solid-state imaging device and electronic device | |
CN110447221B (zh) | 图像处理装置、图像处理方法和电子设备 | |
JPWO2020170565A1 (ja) | 信号処理方法および撮像装置 | |
CN110169051B (zh) | 固态摄像元件和电子设备 | |
JP6646347B2 (ja) | 固体撮像装置および電子機器 | |
JP2020068302A (ja) | 撮像装置 | |
WO2024062813A1 (ja) | 撮像装置および電子機器 | |
WO2022196210A1 (ja) | 撮像装置、撮像方法及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7386792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |