JP7218397B2 - 電子機器、及び制御方法 - Google Patents
電子機器、及び制御方法 Download PDFInfo
- Publication number
- JP7218397B2 JP7218397B2 JP2021080886A JP2021080886A JP7218397B2 JP 7218397 B2 JP7218397 B2 JP 7218397B2 JP 2021080886 A JP2021080886 A JP 2021080886A JP 2021080886 A JP2021080886 A JP 2021080886A JP 7218397 B2 JP7218397 B2 JP 7218397B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- electronic device
- image data
- determination unit
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
Description
<第1の実施形態>
[概要]
まず、第1の実施形態に係る電子機器1の概要について説明する。本実施形態に係る電子機器1は、例えば、ノートブック型のPC(Personal Computer;パーソナルコンピュータ)である。なお、電子機器1は、デスクトップ型PC、タブレット端末装置、スマートフォンなど、いずれの形態の電子機器であってもよい。
図4は、顔の動きの有無の比較を示す図である。この図では、時刻t(1)、時刻t(2)、時刻t(3)、及び時刻t(4)のそれぞれの撮像画像から検出された顔領域を、画像G3に示している。時刻t(1)、時刻t(2)、時刻t(3)、及び時刻t(4)のそれぞれの撮像画像は、所定の時間間隔(例えば、15秒間隔、10秒間隔など)で撮像部120により撮像された画像である。画像G3に示すように、ユーザUは完全に静止している状態が継続することは少ない。そのため、時刻t(1)、時刻t(2)、時刻t(3)、及び時刻t(4)のそれぞれにおけるユーザUの顔の検出領域FD1には差が生じる。一方、ポスターPは完全に静止しているため、時刻t(1)、時刻t(2)、時刻t(3)、及び時刻t(4)のそれぞれにおけるポスターPの顔の検出領域FD2は一致する。電子機器1は、撮像画像から検出された顔に動きがある場合にはユーザUが存在すると判定する。一方、電子機器1は、撮像画像から検出された顔に動きが無い場合には、写真又はポスターなどに写っている人物の顔であるとして、ユーザUは存在しないと判定する。これにより、電子機器1を使用する人物(即ちユーザ)をより精度よく検出することができる。
[電子機器の外観構成]
図5は、本実施形態に係る電子機器1の外観の構成例を示す斜視図である。
電子機器1は、第1筐体10、第2筐体20、及びヒンジ機構15を備える。第1筐体10と第2筐体20は、ヒンジ機構15を用いて結合されている。第1筐体10は、第2筐体20に対して、ヒンジ機構15がなす回転軸の周りに相対的に回動可能である。第1筐体10と第2筐体20との回動による開き角を「θ」として図示している。
図6は、本実施形態に係る電子機器1の構成例を示す概略ブロック図である。電子機器1は、表示部110、撮像部120、加速度センサ130、電源ボタン140、入力デバイス150、EC(Embedded Controller)200、人物検出部210、システム処理部300、通信部350、記憶部360、及び電源部400を含んで構成される。表示部110は、システム処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。
I/Oコントローラ308は、通信部350、表示部110およびEC200からのデータの入出力を制御する。
システムメモリ310は、プロセッサの実行プログラムの読み込み領域ならびに処理データを書き込む作業領域として用いられる。また、システムメモリ310は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
次に、人物検出部210の構成について詳しく説明する。人物検出部210は、所定の時間間隔で撮像部120により撮像された撮像画像のそれぞれから顔領域を検出することにより電子機器1の前(正面)に存在するユーザを検出する。
図7は、本実施形態に係る人物検出部210の構成の一例を示すブロック図である。図示する、人物検出部210は、顔検出部211と、動き判定部212と、人物判定部213とを備えている。
次に、図9を参照して、人物検出部210が実行するHPD処理(人物検出処理)の動作について説明する。
図9は、本実施形態に係るHPD処理の一例を示すフローチャートである。
図10は、本実施形態に係る判定領域リセット処理の一例を示すフローチャートである。
次に、上述したHPD処理の結果に基づいてシステムの動作状態を制御する動作状態制御処理の動作について説明する。まず、動作制御部220が、HPD処理により電子機器1へのユーザの接近が検出されたことによりシステムを起動する起動処理の動作について説明する。
図11は、本実施形態に係る起動処理の一例を示すフローチャートである。ここでは、電子機器1は、開状態で机の上等に置かれており、待機状態であるものとする。
(ステップS211)システム処理部300は、ログイン処理を完了し、システムの動作状態を通常動作状態に遷移させる。
図12は、本実施形態に係る待機状態遷移処理の一例を示すフローチャートである。ここでは、電子機器1は、開状態で机の上等に置かれており、通常動作状態であるものとする。
以上説明してきたように、本実施形態に係る電子機器1は、撮像部120(撮像装置の一例)で撮像された画像(撮像画像)の画像データを一時的に記憶するシステムメモリ310(メモリの一例)と、システムメモリ310に記憶された画像データを処理する人物検出部210(プロセッサの一例)とを備えている。人物検出部210は、撮像部120によって所定の時間間隔で撮像されシステムメモリ310に記憶された複数の撮像画像の画像データを処理して、複数の撮像画像の中から顔が撮像されている顔領域を検出する。また、人物検出部210は、複数の撮像画像の中から検出された顔領域の位置の変化量を算出し、撮像された顔に所定の時間間隔において動きがあるか否かを当該変化量に基づいて判定する。そして、人物検出部210は、撮像された顔に動きがあると判定した場合、ユーザが存在すると判定する。
次に、本発明の第2の実施形態について説明する。
第1の実施形態において、撮像画像から顔領域を検出することによりユーザの存在を検出する態様を説明したが、消費電力や他の処理などへの影響を考量すると、顔検出に関する処理の負荷はなるべく抑えることが望ましい。そこで、本実施形態では、電子機器1は、撮像画像から顔領域を検出する際に状況に応じて高解像度の画像と低解像度の画像のいずれかを用いた処理を行う。以下では、低解像度の画像を用いて顔領域を検出する検出モードのことを「低解像度モード」と称し、高解像度の画像を用いて顔領域を検出する検出モードのことを「高解像度モード」と称する。
図13は、低解像度モードにおける人物検出結果の一例を示す図である。図示する例は、時刻t(1)~t(12)の全ての撮像画像においてユーザが撮像されている。それぞれの撮像画像から顔は検出されるが、ユーザがほとんど動かない期間があると、微妙な顔の動きを検出できないことがある。図示する例では、時刻t(1)~t(5)及び時刻t(10)~t(12)では検出された顔に動きがあると判定されるが、時刻t(6)~t(8)では検出された顔に動きが無いと判定された場合を示している。例えば、5秒間隔で撮像画像が撮像される場合、20秒以上ユーザがほとんど動かない状態が続いて所定期間(例えば、4フレーム)以上顔に動きが無いと判定されると、ユーザが存在しないと判定されてしまう。
図14は、本実施形態に係るHPD処理の一例を示すフローチャートである。この図において、ステップS301~S311の処理は、図9に示すステップS101~S111の処理と同様であり、その説明を省略する。
以上説明してきたように、本実施形態に係る電子機器1では、撮像部120で撮像された撮像画像の画像データは低解像度(第1の解像度)の画像データを含む。そして、人物検出部210は、低解像度の画像データを処理して顔領域を検出する低解像度モードを実行し、低解像度モードで検出された顔領域に基づいて、当該顔に動きがあるか否かを判定する。
Claims (8)
- 撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、
前記メモリに記憶された画像データを処理するプロセッサと、を備え、
前記プロセッサは、
前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を検出する顔検出部と、
前記複数の画像の中から検出された前記顔領域の位置の変化量を算出し、撮像された顔に前記所定の時間間隔において動きがあるか否かを前記変化量に基づいて判定する動き判定部と、
前記動き判定部により顔に動きがあると判定された場合、ユーザが存在すると判定する人物判定部と、
を備え、
前記動き判定部は、
前記画像のそれぞれから検出された顔のうち、前記動き判定部により動きがないと判定された顔の領域を登録し、以降、登録した領域を判定の対象から除外する、
電子機器。 - 前記電子機器の動きを検出するセンサをさらに備え、
前記動き判定部は、
前記センサを用いて前記電子機器が動いたことが検出された場合、登録した領域を判定の対象に戻す、
請求項1に記載の電子機器。 - 前記人物判定部は、
前記撮像された顔に動きがないと前記動き判定部により判定された場合、当該顔がユーザの顔ではないと判定し、ユーザが存在しないと判定する、
請求項1に記載の電子機器。 - 撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、
前記メモリに記憶された画像データを処理するプロセッサと、を備え、
前記プロセッサは、
前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を検出する顔検出部と、
前記複数の画像の中から検出された前記顔領域の位置の変化量を算出し、撮像された顔に前記所定の時間間隔において動きがあるか否かを前記変化量に基づいて判定する動き判定部と、
前記動き判定部により顔に動きがあると判定された場合、ユーザが存在すると判定する人物判定部と、
を備え、
前記画像データは第1の解像度の画像データと、前記第1の解像度よりも高解像度の第2の解像度の画像データとを含み、
前記顔検出部は、前記第1の解像度の画像データを処理して前記顔領域を検出する低解像度モードを実行し、前記動き判定部は、前記顔検出部によって前記低解像度モードで検出された前記顔領域に基づいて、当該顔に動きがあるか否かを判定し、
前記第1の解像度の画像データを処理して検出された顔に動きがないと前記動き判定部により判定された場合、前記顔検出部は、前記第2の解像度の画像データを処理して前記顔領域を検出する高解像度モードを実行し、前記動き判定部は、前記高解像度モードでは、前記顔検出部により前記高解像度モードで検出された前記顔領域に基づいて、当該顔に動きがあるか否かを判定する、
電子機器。 - 前記顔検出部は、
前記高解像度モードで前記顔領域が検出されなくなった場合、前記低解像度モードで前記顔領域の検出を実行する、
請求項4に記載の電子機器。 - システムに基づくシステム処理を実行する処理部と、
前記人物判定部によりユーザが存在すると判定されている状態からユーザが存在しないと判定されている状態へと遷移した場合、前記システムの動作状態を前記システム処理の少なくとも一部が制限された動作状態へ遷移させる動作制御部と、
をさらに備える請求項1から請求項5のいずれか一項に記載の電子機器。 - 撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法であって、
前記プロセッサにおいて、
顔検出部が、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を検出するステップと、
動き判定部が、前記複数の画像の中から検出された前記顔領域の位置の変化量を算出し、撮像された顔に前記所定の時間間隔において動きがあるか否かを前記変化量に基づいて判定するステップと、
人物判定部が、前記動き判定部により顔に動きがあると判定された場合、ユーザが存在すると判定するステップと、
を含み、
前記動き判定部が判定するステップにおいて、
前記画像のそれぞれから検出された顔のうち、前記動き判定部により動きがないと判定された顔の領域を登録し、以降、登録した領域を判定の対象から除外する、
制御方法。 - 撮像装置で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える電子機器における制御方法であって、
前記プロセッサにおいて、
顔検出部が、前記撮像装置によって所定の時間間隔で撮像され前記メモリに記憶された複数の画像の画像データを処理して、前記複数の画像の中から顔が撮像されている顔領域を検出するステップと、
動き判定部が、前記複数の画像の中から検出された前記顔領域の位置の変化量を算出し、撮像された顔に前記所定の時間間隔において動きがあるか否かを前記変化量に基づいて判定するステップと、
人物判定部が、前記動き判定部により顔に動きがあると判定された場合、ユーザが存在すると判定するステップと、
を含み、
前記画像データは第1の解像度の画像データと、前記第1の解像度よりも高解像度の第2の解像度の画像データとを含み、
前記顔検出部が検出するステップにおいて、前記第1の解像度の画像データを処理して前記顔領域を検出する低解像度モードを実行し、前記動き判定部が判定するステップにおいて、前記顔検出部によって前記低解像度モードで検出された前記顔領域に基づいて当該顔に動きがあるか否かを判定し、
前記第1の解像度の画像データを処理して検出された顔に動きがないと前記動き判定部により判定された場合、前記顔検出部が検出するステップにおいて、前記第2の解像度の画像データを処理して前記顔領域を検出する高解像度モードを実行し、前記動き判定部が判定するステップにおいて、前記顔検出部により前記高解像度モードで検出された前記顔領域に基づいて当該顔に動きがあるか否かを判定する、
制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021080886A JP7218397B2 (ja) | 2021-05-12 | 2021-05-12 | 電子機器、及び制御方法 |
US17/696,325 US20220366721A1 (en) | 2021-05-12 | 2022-03-16 | Electronic apparatus and control method |
CN202210378348.9A CN115346254A (zh) | 2021-05-12 | 2022-04-12 | 电子设备以及控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021080886A JP7218397B2 (ja) | 2021-05-12 | 2021-05-12 | 電子機器、及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022174875A JP2022174875A (ja) | 2022-11-25 |
JP7218397B2 true JP7218397B2 (ja) | 2023-02-06 |
Family
ID=83948775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021080886A Active JP7218397B2 (ja) | 2021-05-12 | 2021-05-12 | 電子機器、及び制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220366721A1 (ja) |
JP (1) | JP7218397B2 (ja) |
CN (1) | CN115346254A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7279169B2 (ja) * | 2019-08-14 | 2023-05-22 | 富士フイルム株式会社 | 撮像装置、撮像装置の作動方法、及びプログラム |
WO2024034390A1 (ja) * | 2022-08-09 | 2024-02-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305400A (ja) | 2001-05-25 | 2008-12-18 | Toshiba Corp | 顔画像記録装置、及び顔画像記録方法 |
WO2015098110A1 (ja) | 2013-12-27 | 2015-07-02 | パナソニックIpマネジメント株式会社 | 撮像装置、撮像システムおよび撮像方法 |
JP2018160799A (ja) | 2017-03-23 | 2018-10-11 | ソニーセミコンダクタソリューションズ株式会社 | 制御装置、制御方法、プログラム、及び、電子機器システム |
JP2020184177A (ja) | 2019-05-08 | 2020-11-12 | レノボ・シンガポール・プライベート・リミテッド | 電子機器、制御方法、及びプログラム |
-
2021
- 2021-05-12 JP JP2021080886A patent/JP7218397B2/ja active Active
-
2022
- 2022-03-16 US US17/696,325 patent/US20220366721A1/en active Pending
- 2022-04-12 CN CN202210378348.9A patent/CN115346254A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008305400A (ja) | 2001-05-25 | 2008-12-18 | Toshiba Corp | 顔画像記録装置、及び顔画像記録方法 |
WO2015098110A1 (ja) | 2013-12-27 | 2015-07-02 | パナソニックIpマネジメント株式会社 | 撮像装置、撮像システムおよび撮像方法 |
JP2018160799A (ja) | 2017-03-23 | 2018-10-11 | ソニーセミコンダクタソリューションズ株式会社 | 制御装置、制御方法、プログラム、及び、電子機器システム |
JP2020184177A (ja) | 2019-05-08 | 2020-11-12 | レノボ・シンガポール・プライベート・リミテッド | 電子機器、制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN115346254A (zh) | 2022-11-15 |
JP2022174875A (ja) | 2022-11-25 |
US20220366721A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11314306B2 (en) | Electronic apparatus and control method | |
US20200356154A1 (en) | Electronic apparatus, control method, and program | |
JP7114651B2 (ja) | 電子機器、及び制御方法 | |
JP7218397B2 (ja) | 電子機器、及び制御方法 | |
JP6720283B2 (ja) | 電子機器、制御方法、及びプログラム | |
JP6751432B2 (ja) | 電子機器、制御方法、及びプログラム | |
US20220366722A1 (en) | Electronic apparatus and control method | |
US11669142B2 (en) | Electronic apparatus and control method that accurately detect human faces | |
US11435833B2 (en) | Electronic apparatus and control method | |
JP7275239B1 (ja) | 電子機器、及び制御方法 | |
JP7218421B1 (ja) | 電子機器、及び制御方法 | |
JP7413481B1 (ja) | 情報処理装置、及び制御方法 | |
JP7223833B1 (ja) | 電子機器、及び制御方法 | |
JP7474888B1 (ja) | 電子機器、及び制御方法 | |
JP7454635B1 (ja) | 情報処理装置、及び制御方法 | |
JP7451785B1 (ja) | 情報処理装置、及び制御方法 | |
JP7480371B1 (ja) | 情報処理装置、及び制御方法 | |
JP7368523B2 (ja) | 情報処理装置、及び制御方法 | |
JP7421603B1 (ja) | 情報処理装置、及び制御方法 | |
US20230289195A1 (en) | Information processing apparatus and control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210512 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20211213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7218397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |