JP7421603B1 - 情報処理装置、及び制御方法 - Google Patents

情報処理装置、及び制御方法 Download PDF

Info

Publication number
JP7421603B1
JP7421603B1 JP2022109817A JP2022109817A JP7421603B1 JP 7421603 B1 JP7421603 B1 JP 7421603B1 JP 2022109817 A JP2022109817 A JP 2022109817A JP 2022109817 A JP2022109817 A JP 2022109817A JP 7421603 B1 JP7421603 B1 JP 7421603B1
Authority
JP
Japan
Prior art keywords
information processing
face
processing device
processor
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022109817A
Other languages
English (en)
Other versions
JP2024013239A (ja
Inventor
和宏 小杉
匡史 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2022109817A priority Critical patent/JP7421603B1/ja
Priority to US18/345,187 priority patent/US20240013571A1/en
Priority to CN202310823199.7A priority patent/CN117369614A/zh
Application granted granted Critical
Publication of JP7421603B1 publication Critical patent/JP7421603B1/ja
Publication of JP2024013239A publication Critical patent/JP2024013239A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

【課題】情報処理装置が顔検出によりユーザを検出して動作状態を制御する際のロバスト性を向上させること。【解決手段】情報処理装置は、OSのプログラムを一時的に記憶するメモリと、プログラムを実行することによりOSの機能を実現する第1プロセッサと、撮像部で撮像された画像の中から顔が撮像されている顔領域を検出する第2プロセッサと、を備え、第1プロセッサは、第2プロセッサにより顔領域が検出されている状態から顔領域が検出されなくなった場合、顔領域が検出されない状態が所定の第1時間続いたことに応じてOSの少なくとも一部の機能の使用を制限する第1処理を行い、第1時間が経過する前にユーザにより持たれていることが検出された場合には第1処理を無効にし、OSの機能を用いて、ユーザによる入力が無い状態が所定の第2時間続いたことに応じてOSの少なくとも一部の機能の使用を制限する第2処理を行う。【選択図】図6

Description

本発明は、情報処理装置、及び制御方法に関する。
人物が近づくと使用可能な動作状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する機器がある。例えば、特許文献1には、赤外線センサを用いて赤外線の強弱を検知することにより、人物が近づいてきたか否か、或いは人物が離れたか否かを検出して機器の動作状態を制御する技術が開示されている。
近年、コンピュータビジョンなどの発展により、画像から顔を検出する際の検出精度が高くなってきている。そのため、赤外線センサによる人物の検出に代えて、顔検出が利用され始めている。赤外線センサを用いる場合には人物であっても人物以外の物体であっても赤外線が反射して戻ってきてしまうが、顔検出を利用することで、単なる物体を人物と間違えて検出してしまうことを抑制することができる。例えば、PC(Personal Computer)などでは、上述の顔検出用の画像を撮像するためのカメラが、ユーザが存在する側を撮像可能な位置に設けられている。
特開2016-148895号公報
しかしながら、顔検出を利用した場合でも、カメラの撮像範囲から顔がずれてしまい、顔の一部分が撮像画像に写っていない場合、顔として検出できないことがある。近年、ユーザが手に持ってPCを使用するケースも増えてきており、このようなケースでは使用中にカメラの撮像範囲から顔がずれやすいことが予想される。そのため、ユーザが存在しているにもかかわらず、ユーザが存在しないものとして動作状態を制御してしまう懸念がある。
本発明は、上記した事情に鑑みてなされたもので、顔検出を利用して動作状態を制御する際のロバスト性を向上させることができる情報処理装置、及び制御方法を提供することを目的の一つとする。
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る情報処理装置は、OS(Operating System)のプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記OSの機能を実現する第1プロセッサと、撮像部で撮像された画像の中から顔が撮像されている顔領域を検出する顔検出処理を行う第2プロセッサと、を備え、前記第1プロセッサは、前記第2プロセッサにより前記顔領域が検出されている状態から前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が所定の第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第1処理を行い、前記第1時間が経過する前にユーザにより持たれていることが検出された場合には前記第1処理を無効にし、前記OSの機能を用いて、ユーザによる入力が無い状態が所定の第2時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第2処理を行う。
上記情報処理装置は、前記情報処理装置の動きを検出するためのセンサをさらに備え、前記第1プロセッサは、前記センサにより検出された前記情報処理装置の動きに基づいてユーザにより持たれているか否かを検出してもよい。
上記情報処理装置において、前記第1プロセッサは、前記第2処理において前記第2時間が経過する前に前記第2プロセッサにより前記顔領域が検出されたことに基づいて前記第1処理を有効にし、再び前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が前記第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限してもよい。
上記情報処理装置において、前記第1プロセッサは、前記第2処理において前記第2時間が経過する前に前記第2プロセッサにより前記顔領域が検出されたことに基づいて前記第2処理を無効にしてもよい。
上記情報処理装置において、前記第2プロセッサは、前記第1プロセッサにより前記第1処理が実行されているときと前記第2処理が実行されているときで、前記顔領域の検出条件を変更してもよい。
上記情報処理装置において、前記第2プロセッサは、前記顔検出処理において、前記画像の中から顔らしさの評価値が閾値以上の領域を前記顔領域として検出し、前記第2処理が実行されているときの前記閾値は、前記第1処理が実行されているときの前記閾値よりも低い値に設定されてもよい。
上記情報処理装置において、前記第2プロセッサは、前記顔検出処理において、前記画像の中から前記評価値が所定の第3時間継続して前記閾値以上となった場合、前記評価値が前記閾値以上となる領域を前記顔領域として検出し、前記第2処理が実行されているときの前記第3時間は、前記第1処理が実行されているときの前記第3時間よりも短い時間に設定されてもよい。
上記情報処理装置において、前記第1プロセッサは、前記第2処理によって前記OSの少なくとも一部の機能の使用を制限した場合、前記第1処理を有効にし、再び前記第2プロセッサにより前記顔領域が検出された場合には、前記第2処理によって制限した前記OSの機能の制限を解除してもよい。
上記情報処理装置において、前記第1時間は、前記第2時間より短い時間に設定されてもよい。
また、本発明の第2態様に係る、OS(Operating System)のプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記OSの機能を実現する第1プロセッサと、撮像部で撮像された画像の中から顔が撮像されている顔領域を検出する顔検出処理を行う第2プロセッサと、を備える情報処理装置における制御方法は、前記第1プロセッサが、前記第2プロセッサにより前記顔領域が検出されている状態から前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が所定の第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第1処理を行うステップと、前記第1時間が経過する前にユーザにより持たれていることが検出された場合には前記第1処理を無効にし、前記OSの機能を用いて、ユーザによる入力が無い状態が所定の第2時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第2処理を行うステップと、を含む。
本発明の上記態様によれば、情報処理装置は、顔検出によりユーザを検出して動作状態を制御する際のロバスト性を向上させることができる。
実施形態に係る情報処理装置の外観の構成例を示す斜視図。 実施形態に係る情報処理装置のHPD処理の概要を説明する図。 実施形態に係る情報処理装置の人物の検出範囲の一例を示す図。 実施形態に係る顔領域の検出例を示す図。 実施形態に係るユーザが離脱したと判定された場合の動作状態の遷移を示す図。 実施形態に係る情報処理装置の動作状態の遷移の概要を示す図。 実施形態に係る情報処理装置のハードウェア構成の一例を示す概略ブロック図。 実施形態に係る情報処理装置の機能構成の一例を示す概略ブロック図。 実施形態に係る起動処理の一例を示すフローチャート。 実施形態に係る起動後の動作状態制御処理の一例を示すフローチャート。 実施形態に係る顔検出条件の制御例を示すフローチャート。 実施形態に係る顔検出条件のパラメータの一例を示す図。
以下、図面を参照して、本発明の実施形態について説明する。
図1は、本実施形態に係る情報処理装置1の外観を示す斜視図である。本実施形態に係る情報処理装置1は、例えば、折り畳み可能なディスプレイを搭載したクラムシェル型のPC(Personal Computer;パーソナルコンピュータ)である。情報処理装置1は、第1筐体101、第2筐体102、及びヒンジ機構103を備える。第1筐体101及び第2筐体102は、略四角形の板状(例えば、平板状)の筐体である。第1筐体101の側面の一つと第2筐体102の側面の一つとがヒンジ機構103を介して結合(連結)されており、ヒンジ機構103がなす回転軸の周りに第1筐体101と第2筐体102とが相対的に回動可能である。
第1筐体101と第2筐体102との回転軸の周りの開き角θが略0°の状態が、第1筐体101と第2筐体102とが重なり合って閉じた状態(閉状態)である。閉状態において第1筐体101と第2筐体102との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と称する。開き角θとは、第1筐体101の内面と第2筐体102の内面とがなす角とも言うことができる。閉状態に対して第1筐体101と第2筐体102とが開いた状態のことを「開状態」と称する。開状態とは、開き角θが予め設定された閾値(例えば、10°)より大きくなるまで、第1筐体101と第2筐体102とが相対的に回動された状態である。開き角θが180°のときが、第1筐体101の内面と第2筐体102の内面とがフラットな状態となる。
また、情報処理装置1は、表示部110と、撮像部120とを備える。表示部110は、第1筐体101の内面から第2筐体102の内面に亘って設けられている。表示部110は、第1筐体101と第2筐体102との相対的な回動による開き角θに合わせて屈曲(折り畳み)可能なフレキシブルディスプレイである。フレキシブルディスプレイとしては、有機ELディスプレイ等が用いられる。また、表示部110は、例えば、表示部110の表示画面に対するユーザの操作を受け付けるタッチパネルと共に構成されている。
例えば、情報処理装置1は、表示部110の画面領域の全体を1つの画面領域として表示を制御(1画面モード)することも、表示部110の画面領域の全体を、第1筐体101と第2筐体102との相対的な回動により折り畳む際の折り目を境に2つの画面領域に分けて表示を制御(2画面モード)することも可能である。
撮像部120は、第1筐体101の内面のうち表示部110の画面領域の外側(周縁の領域)に設けられている。なお、図1に示す撮像部120が配置される位置は一例であって、第1筐体101の内面に対面する方向(前方)を向くことが可能であれば他の場所であってもよい。
撮像部120は、開状態において、第1筐体101の内面に対面する方向(前方)の所定の撮像範囲を撮像する。所定の撮像範囲とは、撮像部120が有する撮像素子と撮像素子の撮像面の前方に設けられた光学レンズとによって定まる画角の範囲である。例えば、撮像部120は、情報処理装置1の前方(正面側)に存在する人物を含む画像を撮像することができる。
情報処理装置1は、撮像部120により撮像された画像に基づいて、情報処理装置1の近傍に存在する人物(即ちユーザ)を検出する。この人物の存在を検出する処理のことを、HPD(Human Presence Detection)処理と称する。情報処理装置1は、HPD処理により人物の存在の有無を検出し、検出結果に基づいて情報処理装置1のシステムの動作状態を制御する。
情報処理装置1は、システムの動作状態として少なくとも通常動作状態(パワーオン状態)と待機状態との間を遷移可能である。通常動作状態とは、特に制限なく処理の実行が可能な動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。待機状態とは、システムの少なくとも一部の機能が制限されている状態である。例えば、待機状態は、スタンバイ状態、スリープ状態等であってもよく、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。また、待機状態には、少なくとも表示部の表示がOFF(画面OFF)となる状態、または画面ロックとなる状態が含まれてもよい。画面ロックとは、処理中の内容が視認できないように予め設定された画像(例えば、画面ロック用の画像)が表示部に表示され、ロックを解除(例えば、ユーザ認証)するまで、使用できない状態である。
以下では、システムの動作状態が待機状態から通常動作状態へ遷移することを起動と呼ぶことがある。待機状態では、一般的に通常動作状態よりも動作の活性度が低いため、情報処理装置1のシステムを起動させることは、情報処理装置1におけるシステムの動作を活性化させることになる。
図2は、本実施形態に係る情報処理装置1のHPD処理の概要を説明する図である。例えば、情報処理装置1は、図2(A)に示すように、情報処理装置1の前方(正面側)に人物が存在しない状態(Absence)から存在する状態(Presence)への変化、即ち情報処理装置1へ人物が接近したこと(Approach)を検出した場合、ユーザが接近したと判定し、自動でシステムを起動して通常動作状態へ遷移させる。また、情報処理装置1は、図2(B)に示すように、情報処理装置1の前方に人物が存在している状態(Presence)では、ユーザが存在すると判定し、通常動作状態を継続させる。そして、情報処理装置1は、図2(C)に示すように、情報処理装置1の前方に人物が存在している状態(Presence)から存在しない状態(Absence)への変化、即ち情報処理装置1から人物が離脱したこと(Leave)を検出した場合には、ユーザが離脱したと判定し、システムを待機状態へ遷移させる。
図3は、本実施形態に係る情報処理装置1の人物の検出範囲の一例を示す図である。図示する例において、情報処理装置1の前方の検出範囲FoV(Field of View:検出視野角)が、人物の検出可能な範囲である。例えば、情報処理装置1は、撮像部120が前方を撮像した撮像画像から顔が撮像されている顔領域を検出することにより、情報処理装置1の前方に人物(ユーザ)が存在するか否かを判定する。検出範囲FoVは、撮像部120が撮像する画角に相当する。情報処理装置1は、撮像画像から顔領域が検出されたことに基づいて、ユーザが存在すると判定する。一方、情報処理装置1は、撮像画像から顔領域が検出されなかったことに基づいて、ユーザが存在しないと判定する。
ここで、検出範囲FoVから顔がずれてしまうと、情報処理装置1の前方にユーザが存在しているにもかかわらず、撮像画像から顔領域が検出されないことがある。
図4は、本実施形態に係る顔領域の検出例を示す図である。図4(A)は、検出範囲FoV内にユーザの顔の全体が入っているため、撮像画像から顔領域が検出されている状態の一例を示している。顔検出枠DBは、撮像画像から検出された顔領域に対応して表示されている。一方、図4(B)は、検出範囲FoVからユーザの顔がずれており、ユーザの顔の一部が検出範囲FoVから外れているため、撮像画像から顔領域が検出できない状態の一例を示している。
例えば、ユーザの姿勢や体勢が変化した場合、検出範囲FoVからユーザの顔がずれて撮像画像から顔領域が検出できなくなることがある。或いは、第1筐体101と第2筐体102との開き角θが変化した場合も、検出範囲FoVからユーザの顔がずれて撮像画像から顔領域が検出できなくなることがある。また、ユーザが情報処理装置1を手に持って使用している場合も、情報処理装置1の姿勢が一定になりにくいため、机上に設置して使用する場合よりも検出範囲FoVからユーザの顔がずれやすく、撮像画像から顔領域が検出できなくなることがある。例えば、本実施形態のように折り畳み可能な表示部110を備えた情報処理装置1は、第1筐体101の内面から第2筐体102の内面に亘って表示画面となるため、キーボードが搭載されている一般的なラップトップPCよりも、手に持って使用されるケースが多い。
このように、情報処理装置1の前方にユーザが存在しているにもかかわらず、撮像画像から顔領域が検出されないことがある。この場合、情報処理装置1は、前方にユーザが存在しているにもかかわらず、ユーザが離脱したと誤判断してしまい、待機状態へ遷移してしまうことがある。
図5は、ユーザが離脱したと判定された場合の動作状態の遷移の一例を示す図である。この図の(1)、(2)及び(3)のそれぞれは、情報処理装置1の動作状態の遷移を示している。
(1)情報処理装置1は、図4(A)に示すように撮像画像から顔領域が検出されている状態では、情報処理装置1の前方にユーザが存在している状態(Presence)と判定し、通常動作状態である。
(2)情報処理装置1は、図4(B)に示すように検出範囲FoVからユーザの顔がずれたことにより撮像画像から顔領域が検出できなくなると、ユーザが離脱したと判定(誤判定)する。例えば、情報処理装置1は、撮像画像から顔領域が検出できなくなってから顔領域が検出できない状態が所定時間継続した場合にユーザが離脱したと判定する。この離脱と判定するまでの所定時間のことを、以下では「離脱検出時間」(Leave detection time)と称する。例えば、離脱検出時間は、30秒等に設定されている。なお、離脱検出時間は、ユーザによって設定可能であってもよい。
(3)情報処理装置1は、ユーザが離脱したと判定した場合、この判定が誤っていたとしても、HPD処理によって通常動作状態から待機状態(例えば、ロック状態)に遷移させる。即ち、情報処理装置1は、ユーザが使用中であってとしても、待機状態(例えば、ロック状態)に遷移してしまい、期待されていない待機状態(例えば、ロック状態)となる。
そこで、本実施形態では、情報処理装置1は、離脱検出時間が経過する前にユーザによる入力があった場合には、撮像画像から顔領域が検出できなくなっていてもユーザが離脱していないと判断し、待機状態に遷移せずに通常動作状態を継続する。ここで、ユーザによる入力とは、例えば、表示部110の表示画面上の設けられているタッチパネルに対するユーザの操作入力である。なお、情報処理装置1に外付けのキーボードまたはタッチパッドなどの入力デバイスが接続されている場合には、それらの入力デバイスに対するユーザの操作入力であってもよい。以下では、タッチパネル、キーボード、タッチパッドなどのようなHID(Human Interface Device)に対する入力のことを、「HID入力」と称する。
また、情報処理装置1は、離脱検出時間が経過する前にユーザにより持たれていることが検出された場合も同様に、撮像画像から顔領域が検出できなくなっていてもユーザが離脱していないと判断し、待機状態に遷移せずに通常動作状態を継続する。以下では、ユーザにより持たれている状態のことを「把持状態」と称する。
図6は、本実施形態に係る情報処理装置1の動作状態の遷移の概要を示す図である。この図の(1)~(5)のそれぞれは、情報処理装置1の動作状態の遷移を示している。
(1)情報処理装置1は、図4(A)に示すように撮像画像から顔領域が検出されている状態では、情報処理装置1の前方にユーザが存在している状態(Presence)と判定し、通常動作状態である。
(2)情報処理装置1は、図4(B)に示すように検出範囲FoVからユーザの顔がずれたことにより撮像画像から顔領域が検出できなくなると、ユーザが離脱したと判定するまでの離脱検出時間をカウントする。
(3)情報処理装置1は、離脱検出時間が経過する前にHID入力があった場合、または把持状態であることが検出された場合には、HPD処理による待機状態への遷移を行わず、OS(Operating System)によるスリープタイマのカウントを開始する。スリープタイマは、HID入力が無い状態をカウントするタイマである。情報処理装置1は、スリープタイマのカウントにより所定時間が経過した場合、待機状態へ遷移させる。このスリープタイマがカウントする所定時間は、OSにおいて予め設定或いはユーザによって設定された時間であり、以下では、「スリープ設定時間」と称する。例えば、スリープ設定時間は、1分、5分、10分、30分などに設定されている。なお、離脱検出時間は、スリープ設定時間より短い時間に設定されている。
(4)情報処理装置1は、HID入力が無い状態がスリープ設定時間続いたことに応じて、OSの処理により通常動作状態から待機状態(例えば、ロック状態)に遷移させる。つまり、情報処理装置1は、離脱検出時間が経過する前にHID入力があった場合には、HPD処理によって動作状態を制御する処理(以下、「HPD制御処理」と称する)を無効にして、HID入力の有無によって動作状態を制御する処理(以下、「HID制御処理」と称する)を有効にする。また、情報処理装置1は、HID制御処理によって待機状態(例えば、ロック状態)に遷移させた場合には、HPD制御処理を有効に戻す。これにより、情報処理装置1は、ユーザの接近(Approach)を検出した場合にはHPD制御処理による起動処理を行って通常動作状態に遷移し、(1)に示す情報処理装置1の前方にユーザが存在している状態(Presence)となる。
(5)また、情報処理装置1は、HID制御処理においてスリープタイマのカウントを開始してからスリープ設定時間が経過する前に、撮像画像から顔領域が検出された場合、情報処理装置1の前方にユーザが存在している状態(Presence)であるため、HID制御処理を無効にしてHPD制御処理を有効に戻す。即ち、(1)に示す状態に戻る。
これにより、情報処理装置1は、通常動作状態において撮像画像から顔領域が検出されなくなったとしても、HID入力がある場合にはユーザが使用中であると判断して待機状態へ遷移させず、その後HID入力が無い状態がスリープ設定時間経過した場合には、ユーザが本当に離脱したものと判断して待機状態へ遷移させることができる。
また、情報処理装置1は、通常動作状態において撮像画像から顔領域が検出されなくなったとしても、把持状態であることが検出された場合にはユーザが使用中であるものと判断して待機状態へ遷移させず、その後HID入力が無い状態がスリープ設定時間経過した場合には、ユーザが本当に離脱したものと判断して待機状態へ遷移させることができる。
よって、情報処理装置1は、顔検出によりユーザを検出して動作状態を制御する際のロバスト性を向上させることができる。
[情報処理装置のハードウェア構成]
図7は、本実施形態に係る情報処理装置1のハードウェア構成の一例を示す概略ブロック図である。この図7において、図1の各部に対応する構成には同一の符号を付している。情報処理装置1は、表示部110、タッチパネル115、撮像部120、電源ボタン140、通信部160、記憶部170、センサ180、EC(Embedded Controller)200、メイン処理部300、顔検出部320、及び電源部400を含んで構成される。
表示部110は、メイン処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。図1を参照して説明したように、表示部110は、例えば第1筐体101と第2筐体102との相対的な回動による開き角θに合わせて屈曲(折り畳み)可能なフレキシブルディスプレイある。
タッチパネル15は、表示部110の表示画面上に設けられており、ユーザのタッチ操作に基づく操作信号を出力する。例えば、タッチパネル15は、静電容量方式、抵抗膜方式などの任意のタッチパネルとすることができる。
撮像部120は、第1筐体101の内面に対面する方向(前方)の所定の撮像範囲(画角)内の物体の像を撮像し、撮像した画像をメイン処理部300及び顔検出部320へ出力する。例えば、撮像部120は、可視光を用いて撮像する可視光カメラ(RGBカメラ)である。なお、撮像部120は、赤外線を用いて撮像する赤外線カメラ(IRカメラ)をさらに備えてもよいし、可視光と赤外線とを撮像可能なハイブリッドカメラであってもよい。電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。
通信部160は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部160は、イーサネット(登録商標)等の有線LANインターフェースやWi-Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
記憶部170は、HDD(Hard Disk Drive)、SDD(Solid State Drive)、RAM、ROMなどの記憶媒体を含んで構成される。記憶部170は、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。
センサ180は、情報処理装置10の動き、向きなどを検出するためのセンサである。例えば、センサ180は、加速度センサを含んで構成される。なお、センサ180は、加速度センサに代えて又は加えて角速度センサを含んで構成されてもよい。
電源部400は、情報処理装置1の各部の動作状態に応じて各部へ電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくはバッテリー(電池パック)から供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される制御信号に基づいて各電源系統を介して各部に電力を供給する。
EC200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)およびI/O(Input/Output)ロジック回路などを含んで構成されたマイクロコンピュータである。EC200のCPUは、自部のROMに予め記憶した制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、メイン処理部300とは独立に動作し、メイン処理部300の動作を制御し、その動作状態を管理する。また、EC200は、電源ボタン140及び電源部400等と接続されている。
例えば、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、情報処理装置1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。また、EC200は、電源ボタン140や入力デバイス150から操作信号を取得し、取得した操作信号のうちメイン処理部300の処理に関連する操作信号についてはメイン処理部300へ出力する。
メイン処理部300は、CPU(Central Processing Unit)301、GPU(Graphic Processing Unit)302、チップセット303、及びシステムメモリ304を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。
CPU301は、BIOSのプログラムに基づく処理、OSのプログラムに基づく処理、OS上で動作するアプリケーションプログラムに基づく処理などを実行する。CPU301は、チップセット303からの制御に基づいてシステムの動作状態を制御する。例えば、CPU301は、システムの動作状態を待機状態から通常動作状態に遷移させる起動処理を実行する。また、CPU301は、システムの動作状態を通常動作状態から待機状態へ遷移させる処理を実行する。例えば、CPU301は、HID入力が無い状態がスリープ設定時間続いたことに応じて、OSの処理により通常動作状態から待機状態(例えば、ロック状態)に遷移させるHID制御処理を実行する。
GPU302は、表示部110に接続されている。GPU302は、CPU301の制御に基づいて画像処理を実行して表示データを生成する。GPU302は、生成した表示データを表示部110に出力する。
チップセット303は、メモリコントローラとしての機能及びI/Oコントローラとしての機能などを有する。例えば、チップセット303は、CPU301及びGPU302によるシステムメモリ304、記憶部170などからのデータの読出し、書込みを制御する。また、チップセット303は、通信部160、表示部110およびEC200からのデータの入出力を制御する。
また、チップセット303は、センサハブとしての機能を有する。例えば、チップセット303は、顔検出部320から取得する顔検出処理による検出結果などを取得する。例えば、チップセット303は、顔検出部320から取得する情報に基づいて、人物(ユーザ)を検出するHPD処理、及び人物の検出結果に基づいてシステムの動作状態を制御するHPD制御処理などを実行する。また、チップセット303は、センサ180の出力を取得する。例えば、チップセット303は、センサ180の出力に基づいて情報処理装置1の動き、揺れなどを検出し、検出結果に基づいて把持状態であるか否かを検出する。
システムメモリ304は、CPU301で実行されるプログラムの読み込み領域ならびに処理データを書き込む作業領域などとして用いられる。また、システムメモリ304は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
なお、CPU301、GPU302、及びチップセット303は、一体化された一つのプロセッサとして構成されてもよいし、一部またはそれぞれが個々のプロセッサとして構成されてもよい。例えば、通常動作状態では、CPU301、GPU302、及びチップセット303のいずれも動作している状態となるが、待機状態では、チップセット303の少なくとも一部のみが動作している状態となる。待機状態では、少なくとも起動時のHPD処理に必要な機能が動作している。
顔検出部320は、撮像部120により撮像された撮像画像の画像データを処理するプロセッサを含んで構成されている。顔検出部320は、撮像部120により撮像された撮像画像の画像データを取得し、取得した画像データをメモリに一時的に保存する。画像データを保存するメモリは、システムメモリ304であってもよいし、顔検出部320に含まれる上記プロセッサと接続されたメモリであってもよい。
例えば、顔検出部320は、撮像部120から取得した撮像画像の画像データを処理することにより、撮像画像から顔領域の検出を行う顔検出処理などを行う。顔検出部320は、顔検出処理による検出結果を、メイン処理部300のチップセット303へ送信する。
[情報処理装置の機能構成]
次に、情報処理装置1におけるHPD制御処理およびHID制御処理に関する機能構成について詳しく説明する。
図8は、本実施形態に係る情報処理装置1の機能構成の一例を示す概略ブロック図である。情報処理装置1は、システム処理部310と、顔検出部320と、HPD処理部330と、HID入力検出部340とを備えている。
HID入力検出部340は、例えば図7に示すチップセット303による機能構成であり、タッチパネル115などからの操作信号に基づいて、HID入力の有無を検出する。HID入力検出部340は、HID入力があった場合、HID入力があったことを示すHDI入力情報をシステム処理部310及びHPD処理部330へ出力する。
また、HID入力検出部340は、情報処理装置1に外付けのキーボードまたはタッチパッドなどの入力デバイスが接続されている場合には、それらの入力デバイスからの操作信号に基づいて、HID入力の有無を検出してもよい。また、HID入力検出部340は、例えば図7に示すEC200機能構成であってもよい。
HPD処理部330は、チップセット303の処理によりHPD処理を実行する機能構成である。例えば、HPD処理部330は、顔検出情報取得部331と、HPDタイマ332と、把持状態検出部333と、HPD情報出力部334とを備え、HPD制御処理を実行する。
顔検出情報取得部331は、撮像画像から顔領域が検出されたか否かを示す顔検出情報を顔検出部320から取得する。HPDタイマ332は、例えば、上述の離脱検出時間をカウントする。
把持状態検出部333は、センサ180の出力(即ち、情報処理装置1の動き)に基づいて、把持状態であるか否か(即ち、ユーザにより持たれているか否か)を検出する。例えば、情報処理装置1は、机上に置かれている場合には静止しているが、ユーザにより持たれている場合には揺れが生じる。把持状態検出部333は、センサ180により検出された情報処理装置1の動き(揺れ)が所定の閾値以上の場合に、把持状態であると判定する。一方、把持状態検出部333は、センサ180により検出された情報処理装置1の動き(揺れ)が所定の閾値未満の場合には、把持状態では無いと判定する。
なお、より詳しくは、情報処理装置1の動き(揺れ)があっても、ユーザにより持たれているのではなく、乗り物に乗っている場合もある。そこで、把持状態検出部333は、センサ180により検出された情報処理装置1の動き(揺れ)の積算速度が所定値(例えば、時速4km)以上の場合には、歩行速度より早いため乗り物と判定し、情報処理装置1の動き(揺れ)が所定の閾値以上であっても把持状態では無いと判定してもよい。また、ユーザにより持たれているときの動き(揺れ)は比較的ゆっくりである。そのため、把持状態検出部333は、センサ180により検出された情報処理装置1の動き(揺れ)の周波数成分が所定値(例えば、2Hz)以上の場合も乗り物と判定し、情報処理装置1の動き(揺れ)が所定の閾値以上であっても把持状態では無いと判定してもよい。
また、把持状態検出部333は、センサ180により検出された情報処理装置1の動き(揺れ)を単位時間あたりに積算した移動量が所定値以上の場合も、乗り物などにより移動に起因するものとして、把持状態では無いと判定してもよい。
把持状態検出部333は、把持状態であると判定した場合、把持状態であることを示す把持状態情報をHPD処理部330へ出力する。
HPD情報出力部334は、顔検出情報取得部331が取得した顔検出情報に基づいて、情報処理装置1へのユーザの接近(Approach)、情報処理装置1の前方にユーザが存在している状態(Presence)、情報処理装置1の前方にユーザが存在しない状態(Absence)、情報処理装置1からのユーザの離脱(Leave)などを検出し、検出結果に基づく情報を出力する。
HPD情報出力部334は、顔検出情報取得部331が取得した顔検出情報に基づいて、撮像画像から顔領域が検出されていない状態から顔領域が検出された場合、情報処理装置1へのユーザの接近(Approach)を検出する。例えば、HPD情報出力部334は、待機状態において、情報処理装置1へのユーザの接近(Approach)を検出した場合、システムの起動を指示する指示情報をシステム処理部310へ出力する。
また、HPD情報出力部334は、顔検出情報取得部331が取得した顔検出情報に基づいて、撮像画像から顔領域が検出されている状態が継続している間、情報処理装置1の前方にユーザが存在している状態(Presence)を検出する。例えば、HPD情報出力部334は、通常動作状態において、情報処理装置1の前方にユーザが存在している状態(Presence)を検出している間は、HID制御処理を無効にする設定情報をシステム処理部310へ出力する。
また、HPD情報出力部334は、顔検出情報取得部331が取得した顔検出情報に基づいて、撮像画像から顔領域が検出されている状態から顔領域が検出されなくなった場合、HPDタイマ332を用いて離脱検出時間のカウントを開始する。HPD情報出力部334は、顔領域が検出されない状態(情報処理装置1の前方にユーザが存在しない状態(Absence))が離脱検出時間続いた場合、情報処理装置1からのユーザの離脱(Leave)を検出する。HPD情報出力部334は、通常動作状態において、情報処理装置1からのユーザの離脱(Leave)を検出した場合、システムを待機状態へ遷移させる指示情報をシステム処理部310へ出力する。
また、HPD情報出力部334は、顔領域が検出されない状態(情報処理装置1の前方にユーザが存在しない状態(Absence))になってから離脱検出時間が経過する前に、HID入力があったことを示すHDI入力情報をHID入力検出部340から取得した場合、HPDタイマ332のカウントを停止、HPD制御処理を無効にする。そして、HPD情報出力部334は、HID制御処理を有効にする設定情報をシステム処理部310へ出力する。
また、HPD情報出力部334は、顔領域が検出されない状態(情報処理装置1の前方にユーザが存在しない状態(Absence))になってから離脱検出時間が経過する前に、把持状態であることを示す把持状態情報を把持状態検出部333から取得した場合も同様に、HPDタイマ332のカウントを停止、HPD制御処理を無効にする。そして、HPD情報出力部334は、HID制御処理を有効にする設定情報をシステム処理部310へ出力する。
システム処理部310は、CPU11がBIOS及びOSの処理を実行することにより実現される機能構成である。例えば、システム処理部310は、OSの処理による機能構成として、HID処理部311と、動作状態制御部315とを含む。
HID処理部311は、HID情報取得部312と、スリープタイマ313と、スリープ指示部314とを備え、HID制御処理を実行する。
HID情報取得部312は、HID入力があったことを示すHDI入力情報をHID入力検出部340から取得する。スリープタイマ313は、スリープ設定時間をカウントする。HID情報取得部312は、HID入力があったことを示すHDI入力情報をHID入力検出部340から取得する度に、スリープタイマ313をリセットする。つまり、スリープタイマ313は、HID入力が無い状態の継続時間をカウントする。スリープ指示部314は、スリープタイマ313のカウントがスリープ設定時間に達すると、システムを待機状態へ遷移させる指示情報を動作状態制御部315へ出力する。
なお、HID処理部311は、HPD情報出力部334からHID制御処理を有効にする設定情報を取得した場合、このHID制御処理を有効にして、スリープタイマ313のカウントがスリープ設定時間に達すると、システムを待機状態へ遷移させる指示情報を動作状態制御部315へ出力する。
一方、HID処理部311は、スリープタイマ313のカウントがスリープ設定時間に達する前に、HPD情報出力部334からHID制御処理を無効にする設定情報を取得した場合、このHID制御処理を無効にする。HID制御処理を無効にする場合、HID処理部311は、スリープタイマ313のカウントを停止する制御としても良いし、スリープタイマ313のカウントがスリープ設定時間に達してもシステムを待機状態へ遷移させる指示情報を出力しない制御としても良い。
動作状態制御部315は、システムの動作状態を制御する。例えば、動作状態制御部315は、HPD処理部330からの制御に基づいてシステムの動作状態を、通常動作状態、待機状態などに制御する。一例として、動作状態制御部315は、HPD処理部330から起動を指示する指示情報を取得すると、システムの動作状態を待機状態から通常動作状態へ遷移させる起動処理を実行する。また、動作状態制御部315は、HPD処理部330からシステムの動作状態を待機状態へ遷移させる指示を取得すると、システムの動作状態を通常動作状態から待機状態へ遷移させる。
[起動処理の動作]
次に、図9を参照して、情報処理装置1がHPD制御処理により待機状態から通常動作状態へ遷移させる起動処理の動作について説明する。
図9は、本実施形態に係る起動処理の一例を示すフローチャートである。ここでは、情報処理装置1は、待機状態であって、机の上等に開状態で置かれているものとする。
(ステップS101)HPD処理部330は、顔検出部320から取得した顔検出情報に基づいて、撮像画像から顔領域が検出されたか否かを判定する。HPD処理部330は、顔領域が検出されていないと判定した場合(NO)、再びステップS101の処理を行う。一方、HPD処理部330は、顔領域が検出されたと判定した場合(YES)、ステップS103の処理へ進む。
(ステップS103)HPD処理部330は、顔領域が検出されたことに応じて情報処理装置1へのユーザの接近(Approach)を検出し、システムの起動を指示する指示情報をシステム処理部310へ出力する。そして、ステップS105の処理へ進む。
(ステップS105)システム処理部310は、起動を指示する指示情報を取得すると、起動処理を実行し、システムの動作状態を待機状態から通常動作状態へ遷移させる。
[起動後の動作状態制御処理の動作]
次に、図10を参照して、起動後のHPD制御処理及びHID制御処理による動作状態制御処理の動作について説明する。
図10は、本実施形態に係る起動後の動作状態制御処理の一例を示すフローチャートである。
(ステップS201)HPD処理部330は、顔検出部320から取得した顔検出情報に基づいて、撮像画像から顔領域が検出されたか否かを判定する。HPD処理部330は、顔領域が検出されたと判定した場合(YES)、ステップS203の処理へ進む。一方、HPD処理部330は、顔領域が検出されていないと判定した場合(NO)、ステップS205の処理へ進む。
(ステップS203)HPD処理部330は、ステップS201において顔領域が検出されたと判定した場合、情報処理装置1の前方にユーザが存在している状態(Presence)であることを検出し、HID制御処理を無効にする設定情報をシステム処理部310へ出力する。これにより、システム処理部310は、HID制御処理を無効に設定する。そして、ステップS201の処理へ戻る。
(ステップS205)HPD処理部330は、ステップS201において顔領域が検出されていないと判定した場合、顔領域が検出されない状態になってから離脱検出時間が経過したか否かを判定する。HPD処理部330は、離脱検出時間が経過したと判定した場合(YES)、ステップS207の処理へ進む。一方、HPD処理部330は、離脱検出時間が経過していないと判定した場合(NO)、ステップS209の処理へ進む。
(ステップS207)HPD処理部330は、ステップS205において顔領域が検出されない状態になってから離脱検出時間が経過した判定した場合、情報処理装置1からユーザが離脱(Leave)したことを検出し、システムを待機状態へ遷移させる指示情報をシステム処理部310へ出力する。システム処理部310は、HPD処理部330から待機状態へ遷移させる指示情報を取得すると、システムの動作状態を通常動作状態から待機状態へ遷移させる(ステップS217)。
(ステップS209)HPD処理部330は、ステップS205において離脱検出時間が経過していないと判定した場合、HID入力があったことを示すHDI入力情報又は把持状態であることを示す把持状態情報を取得したか否かを判定する。HPD処理部330は、HDI入力情報及び把持状態情報のいずれも取得していないと判定した場合(NO)、ステップS201の処理へ戻る。一方、HPD処理部330は、HDI入力情報又は把持状態情報を取得したと判定した場合(YES)、ステップS211の処理へ進む。
(ステップS211)HPD処理部330は、ステップS209においてHDI入力情報を取得したと判定した場合、HPD制御処理を無効する。また、HPD処理部330は、HID制御処理を有効に設定にする設定情報をシステム処理部310へ出力する。これにより、システム処理部310は、HID制御処理を有効に設定する。そして、ステップS213の処理へ進む。
(ステップS213)システム処理部310は、ステップS211においてHID制御処理を有効に設定すると、HID入力が無い状態がスリープ設定時間継続したか否かを判定する。システム処理部310は、HID入力が無い状態がスリープ設定時間継続したと判定した場合(YES)、ステップS215の処理へ進む。一方、システム処理部310は、HID入力が無い状態がスリープ設定時間継続していないと判定した場合(NO)、ステップS219の処理へ進む。
(ステップS215)システム処理部310は、ステップS213においてHID入力が無い状態がスリープ設定時間継続したと判定した場合、HPD制御処理を有効にする設定情報を、HPD処理部330へ出力する。そして、ステップS217の処理へ進み、システム処理部310は、システムの動作状態を通常動作状態から待機状態へ遷移させる。
(ステップS219)ステップS213においてHID入力が無い状態がスリープ設定時間継続していないと判定された場合、HPD処理部330は、顔検出部320から取得した顔検出情報に基づいて、撮像画像から顔領域が検出されたか否かを判定する。HPD処理部330は、顔領域が検出されていないと判定した場合(NO)、ステップS213の処理へ戻る。一方、HPD処理部330は、顔領域が検出されたと判定した場合(YES)、ステップS221の処理へ進む。
(ステップS221)HPD処理部330は、ステップS221において顔領域が検出されたと判定した場合には、HPD制御処理を有効に設定し、ステップS201の処理へ戻る。
[顔検出パラメータ]
なお、HPD処理によって動作状態を制御するHPD制御処理が実行されているときと、HID入力の有無によって動作状態を制御するHID制御処理が実行されているときでは、顔検出部320が撮像画像から顔領域を検出する際の検出条件(以下、「顔検出条件」と称する)を変更してもよい。
例えば、離脱検出時間が経過する前に把持状態であることが検出された場合、HPD制御処理が無効になってHID制御処理が実行されるが、このときはユーザが離脱していない可能性が高いため、通常(HPD制御処理のとき)よりも顔領域が検出されやすい顔検出条件とする。
図11は、本実施形態に係る顔検出条件の制御例を示すフローチャートである。
(ステップS301)顔検出部320は、HPD制御処理における顔検出条件を適用する。ここでは、HPD制御処理における顔検出条件のパラメータを、パラメータAとする。このパラメータAは、HPD制御処理において、情報処理装置1の前方にユーザが存在しない状態(Absence)から存在している状態(Presence)へと遷移する条件となる。
(ステップS303)顔検出部320は、把持状態検出部333により把持状態であると判定された場合(YES)、ステップS305の処理へ進む。一方、顔検出部320は、把持状態検出部333により把持状態ではないと判定された場合(NO)、ステップS301のHPD制御処理における顔検出条件を適用する。
(ステップS305)顔検出部320は、HID制御処理における顔検出条件を適用する。ここでは、HID制御処理における顔検出条件のパラメータを、パラメータBとする。このパラメータBは、HID制御処理において、情報処理装置1の前方にユーザが存在しない状態(Absence)から存在している状態(Presence)へと遷移する条件となる。ここで、パラメータBは、パラメータAよりも顔領域が検出されやすい値が予め設定されている。
例えば、顔検出部320は、顔の特徴情報を基に顔を検出する顔検出アルゴリズムや、顔の特徴情報または顔画像を元に機械学習された学習データ(学習済みモデル)、顔検出ライブラリなどを用いて撮像画像から顔らしさを示す評価値(以下、「顔検出評価値」と称する)を取得し、顔検出評価値が所定の閾値(以下、「顔判定閾値」と称する)以上となる領域を顔領域として検出する。また、顔検出部320は、さらに顔検出評価値が顔判定閾値以上となる時間が所定の時間(以下、「顔判定時間」と称する)以上継続した場合に、顔検出評価値が顔判定閾値以上の領域を顔領域として検出してもよい。例えば、この顔判定閾値と顔判定時間が、HPD制御処理及びHID制御処理における顔検出条件のパラメータとして設定されている。
図12は、本実施形態に係る顔検出条件のパラメータの一例を示す図である。ここでは、顔検出条件のパラメータとして、顔判定閾値と顔判定時間とが予め設定されている。顔判定閾値については、HPD制御処理におけるパラメータAの方が高い値(High)、HID制御処理におけるパラメータBの方が低い値(Low)に設定されている。即ち、顔判定閾値については、パラメータBの方がパラメータAよりも低い値に設定されているため顔領域として検出されやすい。
なお、撮像画像の画像領域内で領域によって顔判定閾値を異ならせている場合には、パラメータAの各領域の顔判定閾値に対して、パラメータBの各領域の顔判定閾値が低くなるように、領域ごとに相対的に変化するように設定されてもよい。例えば、パラメータAにおいて、撮像画像の画像領域のうち直前まで顔領域として検出されていた領域Xは他の領域Yより顔判定閾値が低い値に設定されているとする。この場合、パラメータBにおける領域Xの顔判定閾値はパラメータAにおける領域Xの顔判定閾値より低い値に設定される。パラメータBにおける領域Yの顔判定閾値もパラメータAにおける領域Yの顔判定閾値より低い値に設定される。また、パラメータBにおいても、領域Xの顔判定閾値は領域Yより顔判定閾値より低い値に設定される。つまり、パラメータBの各領域の顔判定閾値は、パラメータAの各領域の顔判定閾値に対して所定の割合で低減した値に設定されてもよい。
また、顔判定時間については、HPD制御処理におけるパラメータAの方が長い時間(Long)、HID制御処理におけるパラメータBの方が短い時間(Short)に設定されている。即ち、顔判定時間については、パラメータBの方がパラメータAよりも短い時間に設定されているため、顔領域として検出されやすい。
なお、図11、12を参照して、離脱検出時間が経過する前に把持状態であることが検出された場合に、HPD制御処理からHID制御処理への遷移に伴って顔検出条件をパラメータAからパラメータBへ変更する例を説明したが、離脱検出時間が経過する前にHID入力があった場合も同様に、HPD制御処理からHID制御処理への遷移に伴って顔検出条件をパラメータAからパラメータBへ変更してもよい。
[実施形態のまとめ]
以上説明してきたように、本実施形態に係る情報処理装置1は、OSのプログラムを一時的に記憶するシステムメモリ304(メモリの一例)と、OSのプログラムを実行することによりOSの機能を実現するCPU301(第1プロセッサの一例)と、撮像部120で撮像された画像の中から顔が撮像されている顔領域を検出する顔検出処理を行う顔検出部320(第2プロセッサの一例)と、を備える。CPU301は、顔検出部320により顔領域が検出されている状態から顔領域が検出されなくなった場合、顔領域が検出されない状態が所定の離脱検出時間(第1時間の一例)続いたことに応じてOSの少なくとも一部の機能の使用を制限する(例えば、待機状態へ遷移させる)HPD制御処理(第1処理の一例)を行う。また、CPU301は、離脱検出時間が経過する前にユーザにより持たれていること(把持状態)が検出された場合にはHPD制御処理を無効にし、OSの機能を用いて、ユーザによる入力が無い状態が所定のスリープ設定時間(第2時間の一例)続いたことに応じてOSの少なくとも一部の機能の使用を制限する(例えば、待機状態へ遷移させる)HID制御処理(第2処理の一例)を行う。
これにより、情報処理装置1は、撮像画像から顔領域が検出されなくなった場合でも、把持状態であることが検出された場合にはユーザが使用中であると判断できるため待機状態へ遷移させず、その後一定時間HID入力が無い場合にはユーザが本当に離脱したものと判断して待機状態へ遷移させることができる。よって、情報処理装置1は、顔検出によりユーザを検出して動作状態を制御する際のロバスト性を向上させることができる。
例えば、情報処理装置1は、情報処理装置1の動きを検出するためのセンサ180(加速度センサ、角速度センサなど)を備え、センサ180により検出された情報処理装置1の動き(揺れ)に基づいて把持状態(ユーザにより持たれている)か否かを検出する。
これにより、情報処理装置1は、撮像画像から顔領域が検出されなくなっても、ユーザによって持たれた場合には、その旨を検出することにより、誤って待機状態へ遷移してしまうことを抑制することができる。
また、CPU301は、HID制御処理において、スリープ設定時間が経過する前に顔検出部320により顔領域が検出されたことに基づいてHPD制御処理を有効にし、再び顔領域が検出されなくなった場合、顔領域が検出されない状態が離脱検出時間続いたことに応じてOSの少なくとも一部の機能の使用を制限する(例えば、待機状態へ遷移させる)。
これにより、情報処理装置1は、HID入力が無い場合でも、スリープ設定時間が経過する前にユーザが存在すると判断できる場合には待機状態へ遷移させないため、動作状態を適切に制御することができる。
例えば、CPU301は、HID制御処理において、スリープ設定時間が経過する前に顔検出部320により顔領域が検出されたことに基づいてHID制御処理を無効にする。
これにより、情報処理装置1は、顔検出部320により顔領域が検出されている間は、HID入力が無かったとしても、ユーザが存在していると判断できる場合には待機状態へ遷移させないため、動作状態を適切に制御することができる。
また、顔検出部320は、CPU301によりHPD制御処理が実行されているときとHID制御処理が実行されているときで、顔領域の検出条件(顔検出条件)を変更する。
これにより、情報処理装置1は、離脱検出時間が経過する前に把持状態であることが検出されたことによりHPD制御処理からHID制御処理に遷移した場合には、ユーザが離脱していない可能性が高いため、顔検出条件を変更することによって顔領域が検出されやすいようにすることができる。
例えば、顔検出部320は、顔検出処理において、撮像画像の中から顔検出評価値(顔らしさの評価値の一例)が顔判定閾値(閾値の一例)以上の領域を顔領域として検出する。そして、HID制御処理が実行されているときの顔判定閾値は、HPD制御処理が実行されているときの顔判定閾値よりも低い値に設定される。
これにより、情報処理装置1は、離脱検出時間が経過する前に把持状態であることが検出されたことによりHPD制御処理からHID制御処理に遷移した場合には、ユーザが離脱していない可能性が高いため、顔判定閾値を低い値に変更することによって顔領域が検出されやすいようにすることができる。
また、顔検出部320は、顔検出処理において、撮像画像の中から顔検出評価値が所定の顔判定時間(第3時間の一例)継続して顔判定閾値以上となった場合、顔検出評価値が顔判定閾値以上となる領域を顔領域として検出する。そして、HID制御処理が実行されているときの顔判定時間は、HPD制御処理が実行されているときの顔判定時間よりも短い時間に設定される。
これにより、情報処理装置1は、離脱検出時間が経過する前に把持状態であることが検出されたことによりHPD制御処理からHID制御処理に遷移した場合には、ユーザが離脱していない可能性が高いため、顔判定時間を短い時間に変更することによって顔領域が検出されやすいようにすることができる。
また、CPU301は、HID制御処理よってOSの少なくとも一部の機能の使用を制限した場合(例えば、待機状態に遷移させた場合)、HPD制御処理を有効にし、再び顔検出部320により顔領域が検出された場合には、HID制御処理によって制限したOSの機能の制限を解除する(例えば、待機状態から通常動作状態へ遷移させる)。
これにより、情報処理装置1は、顔検出部320により顔領域が検出されなくなったことによりHPD制御処理を無効にした後に待機状態へ遷移させた場合、その後、HPD制御処理により起動させることができる。
例えば、離脱検出時間は、スリープ設定時間より短い時間に設定されている。
これにより、情報処理装置1は、HID入力が無い場合よりも顔検出部320により顔領域が検出されない場合の方がユーザが存在しない確率が高いため、より早く待機状態へ遷移させ、セキュリティを向上させることができる。
また、本実施形態に係る情報処理装置1における制御方法は、CPU301(第1プロセッサの一例)が、顔検出部320(第2プロセッサの一例)により顔領域が検出されている状態から顔領域が検出されなくなった場合、顔領域が検出されない状態が所定の離脱検出時間(第1時間の一例)続いたことに応じてOSの少なくとも一部の機能の使用を制限する(例えば、待機状態へ遷移させる)HPD制御処理(第1処理の一例)を行うステップと、離脱検出時間が経過する前にユーザにより持たれていること(把持状態)が検出された場合にはHPD制御処理を無効にし、OSの機能を用いて、ユーザによる入力が無い状態が所定のスリープ設定時間(第2時間の一例)続いたことに応じてOSの少なくとも一部の機能の使用を制限する(例えば、待機状態へ遷移させる)HID制御処理(第2処理の一例)を行うステップと、を含む。
これにより、情報処理装置1は、撮像画像から顔領域が検出されなくなった場合でも、把持状態であることが検出された場合にはユーザが使用中であると判断できるため待機状態へ遷移させず、その後一定時間HID入力が無い場合にはユーザが本当に離脱したものと判断して待機状態へ遷移させることができる。よって、情報処理装置1は、顔検出によりユーザを検出して動作状態を制御する際のロバスト性を向上させることができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。
なお、上記実施形態では、通常動作状態で顔領域が検出されているときには、HID制御処理を無効に設定する例を説明したが、顔領域が検出されている場合でもHPD制御処理に加えてHID制御処理を有効にしてもよい。
また、上記実施形態では、情報処理装置1に撮像部120が内蔵されている構成例を説明したが、情報処理装置1に内蔵されていなくてもよい。例えば、撮像部120は、情報処理装置1の外部アクセサリとして情報処理装置1(例えば、表示部110の外周など)に取り付け可能に構成され、無線または有線で情報処理装置1と通信接続されるものであってもよい。
また、上記実施形態では、情報処理装置1は、撮像画像の中から顔が撮像されている顔領域を検出することによりユーザの存在を検出したが、物体までの距離を検出する距離センサ(例えば、近接センサなど)を併用してユーザの存在を検出してもよい。例えば、距離センサは、第1筐体101の内面側に設けられ、第1筐体101の内面に対面する方向(前方)の検出範囲内に存在する物体(例えば、人物)を検出する。一例として、距離センサは、赤外線を発光する発光部と、発光した赤外線が物体の表面に反射して戻ってくる反射光を受光する受光部とを含んで構成される赤外線距離センサであってもよい。なお、距離センサは、発光ダイオードが発光する赤外線を用いたセンサであってもよいし、発光ダイオードが発光する赤外線よりも波長帯域が狭い光線を発光する赤外線レーザを用いたセンサであってもよい。また、距離センサは、赤外線距離センサに限定されるものでなく、物体との距離を検出するセンサであれば、超音波センサまたはUWB(Ultra Wide Band)レーダを用いたセンサ等の他の方式を用いたセンサであってもよい。また、距離センサも、情報処理装置1に内蔵されていなくてもよく、情報処理装置1の外部アクセサリとして情報処理装置1(例えば、表示部110の外周など)に取り付け可能に構成され、無線または有線で情報処理装置1と通信接続されるものであってもよい。また、撮像部120と距離センサとが一体に構成されてもよい。また、情報処理装置1は、顔に限らず、身体の少なくとも一部が撮像されている領域を検出することによりユーザの存在を検出してもよい。
また、上記実施形態では、検出範囲FoVからユーザの顔がずれたことにより撮像画像から顔領域が検出できなくなる例を説明したが、これに限られるものではなく、ユーザが途中でマスクを付けることにより顔領域が検出できなくなることもある。また、検出範囲FoV内の顔のみではなく身体も検出対象としている場合には、ユーザの顔がずれることに加えて身体がずれることによりユーザを検出できないこともある。
また、CPU301(第1プロセッサの一例)とチップセット303(第2プロセッサの一例)とは個別のプロセッサとして構成されてもよいし、1つのプロセッサとして一体化して構成されてもよい。
また、上記実施形態では、顔検出部320がチップセット303とは別に備えられている例を示したが、顔検出部320の一部または全部は、チップセット303に備えられてもよいし、チップセット303と一体化されたプロセッサに備えられてもよい。また、顔検出部320の一部または全部は、EC200に備えられてもよい。
また、上述した待機状態には、ハイバネーション状態やパワーオフ状態等が含まれてもよい。ハイバネーション状態は、例えば、ACPIで規定されているS4状態に相当する。パワーオフ状態は、例えば、ACPIで規定されているS5状態(シャットダウンした状態)相当する。なお、待機状態のうちスタンバイ状態、スリープ状態、ハイバネーション状態、パワーオフ状態などは、通常動作状態よりも電力の消費量が低い状態(電力の消費を抑えた状態)である。
なお、上述した情報処理装置1は、内部にコンピュータシステムを有している。そして、上述した情報処理装置1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理装置1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理装置1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した実施形態における情報処理装置1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上記実施形態では、情報処理装置1がディスプレイの折り畳みが可能なフォルダブルPCである例を説明したが、これに限定されるものではない。例えば、情報処理装置1は、キーボードが搭載されている一般的なラップトップPC(ノートPC)であってもよいし、タブレットPC、スマートフォン、ハンディターミナルなどであってもよく、ユーザが手で持って使用可能な任意の情報処理装置とすることができる。
1 情報処理装置、101 第1筐体、102 第2筐体、103 ヒンジ機構、110 表示部、115 タッチパネル、120 撮像部、140 電源ボタン、160 通信部、170 記憶部、180 センサ、200 EC、300 メイン処理部、301 CPU、302 GPU、303 チップセット、304 システムメモリ、310 システム処理部、311 HID処理部、312 HID情報取得部、313 スリープタイマ、314 スリープ指示部、315 動作状態制御部、320 顔検出部、330 HPD処理部、331 顔検出情報取得部、332 HPDタイマ、333 把持状態検出部、334 HPD情報出力部、340 HID入力検出部、400 電源部

Claims (8)

  1. OS(Operating System)のプログラムを一時的に記憶するメモリと、
    前記プログラムを実行することにより前記OSの機能を実現する第1プロセッサと、
    撮像部で撮像された画像の中から顔が撮像されている顔領域を検出する顔検出処理を行う第2プロセッサと、
    を備え、
    前記第1プロセッサは、
    前記第2プロセッサにより前記顔領域が検出されている状態から前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が所定の第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第1処理を行い、
    前記第1時間が経過する前にユーザにより持たれていることが検出された場合には前記第1処理を無効にし、前記OSの機能を用いて、ユーザによる入力が無い状態が所定の第2時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第2処理を行い、
    前記第2処理において前記第2時間が経過する前に前記第2プロセッサにより前記顔領域が検出されたことに基づいて前記第1処理を有効にし、再び前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が前記第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限し、
    前記第2プロセッサは、
    前記第1プロセッサにより前記第1処理が実行されているときと前記第2処理が実行されているときで、前記顔領域の検出条件を変更する、
    情報処理装置。
  2. 前記第2プロセッサは、
    前記顔検出処理において、前記画像の中から顔らしさの評価値が閾値以上の領域を前記顔領域として検出し、
    前記第2処理が実行されているときの前記閾値は、前記第1処理が実行されているときの前記閾値よりも低い値に設定される、
    請求項に記載の情報処理装置。
  3. 前記第2プロセッサは、
    前記顔検出処理において、前記画像の中から前記評価値が所定の第3時間継続して前記閾値以上となった場合、前記評価値が前記閾値以上となる領域を前記顔領域として検出し、
    前記第2処理が実行されているときの前記第3時間は、前記第1処理が実行されているときの前記第3時間よりも短い時間に設定される、
    請求項に記載の情報処理装置。
  4. 前記第1プロセッサは、
    前記第2処理において前記第2時間が経過する前に前記第2プロセッサにより前記顔領域が検出されたことに基づいて前記第2処理を無効にする、
    請求項に記載の情報処理装置。
  5. 前記第1プロセッサは、
    前記第2処理によって前記OSの少なくとも一部の機能の使用を制限した場合、前記第1処理を有効にし、再び前記第2プロセッサにより前記顔領域が検出された場合には、前記第2処理によって制限した前記OSの機能の制限を解除する、
    請求項1に記載の情報処理装置。
  6. 前記第1時間は、前記第2時間より短い時間に設定されている、
    請求項1に記載の情報処理装置。
  7. 前記情報処理装置の動きを検出するためのセンサをさらに備え、
    前記第1プロセッサは、
    前記センサにより検出された前記情報処理装置の動きに基づいてユーザにより持たれているか否かを検出する、
    請求項1に記載の情報処理装置。
  8. OS(Operating System)のプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記OSの機能を実現する第1プロセッサと、撮像部で撮像された画像の中から顔が撮像されている顔領域を検出する顔検出処理を行う第2プロセッサと、を備える情報処理装置における制御方法であって、
    前記第1プロセッサが、
    前記第2プロセッサにより前記顔領域が検出されている状態から前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が所定の第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第1処理を行うステップと、
    前記第1時間が経過する前にユーザにより持たれていることが検出された場合には前記第1処理を無効にし、前記OSの機能を用いて、ユーザによる入力が無い状態が所定の第2時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限する第2処理を行うステップと、
    前記第2処理において前記第2時間が経過する前に前記第2プロセッサにより前記顔領域が検出されたことに基づいて前記第1処理を有効にし、再び前記顔領域が検出されなくなった場合、前記顔領域が検出されない状態が前記第1時間続いたことに応じて前記OSの少なくとも一部の機能の使用を制限するステップと、
    を含み、
    前記第2プロセッサは、
    前記第1プロセッサにより前記第1処理が実行されているときと前記第2処理が実行されているときで、前記顔領域の検出条件を変更する、
    制御方法。
JP2022109817A 2022-07-07 2022-07-07 情報処理装置、及び制御方法 Active JP7421603B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022109817A JP7421603B1 (ja) 2022-07-07 2022-07-07 情報処理装置、及び制御方法
US18/345,187 US20240013571A1 (en) 2022-07-07 2023-06-30 Information processing apparatus and control method
CN202310823199.7A CN117369614A (zh) 2022-07-07 2023-07-06 信息处理装置以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022109817A JP7421603B1 (ja) 2022-07-07 2022-07-07 情報処理装置、及び制御方法

Publications (2)

Publication Number Publication Date
JP7421603B1 true JP7421603B1 (ja) 2024-01-24
JP2024013239A JP2024013239A (ja) 2024-02-01

Family

ID=89393554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022109817A Active JP7421603B1 (ja) 2022-07-07 2022-07-07 情報処理装置、及び制御方法

Country Status (3)

Country Link
US (1) US20240013571A1 (ja)
JP (1) JP7421603B1 (ja)
CN (1) CN117369614A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193611A1 (en) 2011-03-16 2015-07-09 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP2020184177A (ja) 2019-05-08 2020-11-12 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150193611A1 (en) 2011-03-16 2015-07-09 Apple Inc. Locking and unlocking a mobile device using facial recognition
JP2020184177A (ja) 2019-05-08 2020-11-12 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2024013239A (ja) 2024-02-01
CN117369614A (zh) 2024-01-09
US20240013571A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
JP6720283B2 (ja) 電子機器、制御方法、及びプログラム
US11314306B2 (en) Electronic apparatus and control method
JP7410233B2 (ja) 電子機器、及び制御方法
CN111381671B (zh) 电子设备、控制方法以及存储介质
JP7036975B1 (ja) 電子機器、及び制御方法
CN115344110A (zh) 电子设备以及控制方法
JP7218397B2 (ja) 電子機器、及び制御方法
JP6758365B2 (ja) 電子機器、制御方法、及びプログラム
JP7421603B1 (ja) 情報処理装置、及び制御方法
JP6710267B1 (ja) 情報処理装置、制御方法、及びプログラム
US20210397265A1 (en) Electronic apparatus and control method
JP6849743B2 (ja) 電子機器、制御方法、及びプログラム
JP7368523B2 (ja) 情報処理装置、及び制御方法
JP7454635B1 (ja) 情報処理装置、及び制御方法
JP2023134226A (ja) 情報処理装置、及び制御方法
JP7413481B1 (ja) 情報処理装置、及び制御方法
JP7451785B1 (ja) 情報処理装置、及び制御方法
JP7474888B1 (ja) 電子機器、及び制御方法
JP7488383B1 (ja) 情報処理装置、及び制御方法
US11385702B2 (en) Electronic apparatus and controlling method
US20240184347A1 (en) Information processing apparatus and control method
WO2024075280A1 (ja) 情報処理装置、及び制御方法
JP7223833B1 (ja) 電子機器、及び制御方法
CN116261038A (zh) 电子设备以及控制方法
JP2021135870A (ja) 電子機器、及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240112

R150 Certificate of patent or registration of utility model

Ref document number: 7421603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150