JP7488383B1 - 情報処理装置、及び制御方法 - Google Patents

情報処理装置、及び制御方法 Download PDF

Info

Publication number
JP7488383B1
JP7488383B1 JP2023021449A JP2023021449A JP7488383B1 JP 7488383 B1 JP7488383 B1 JP 7488383B1 JP 2023021449 A JP2023021449 A JP 2023021449A JP 2023021449 A JP2023021449 A JP 2023021449A JP 7488383 B1 JP7488383 B1 JP 7488383B1
Authority
JP
Japan
Prior art keywords
face
display unit
display
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023021449A
Other languages
English (en)
Inventor
匡史 西尾
和宏 小杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2023021449A priority Critical patent/JP7488383B1/ja
Application granted granted Critical
Publication of JP7488383B1 publication Critical patent/JP7488383B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ユーザが表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御すること。【解決手段】情報処理装置は、撮像部で撮像された画像の画像データを一時的に記憶するメモリと、メモリに記憶された画像データを処理するプロセッサと、を備え、プロセッサは、メモリに記憶された画像の画像データを処理することにより、画像の中から顔が撮像されている顔領域と顔の向きとを検出する顔検出処理と、顔検出処理により検出された顔領域の位置と顔の向きとに基づいて、表示部の画面輝度を制御する輝度制御処理と、を行う。【選択図】図5

Description

本発明は、情報処理装置、及び制御方法に関する。
人物が近づくと使用可能な状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する機器がある。例えば、特許文献1には、赤外線センサを用いて、人物が近づいてきたか否か、或いは人物が遠ざかったか否かを検出している。
近年、コンピュータビジョンなどの発展により、画像から顔を検出する際の検出精度が高くなってきている。そのため、例えばパーソナルコンピュータなどの情報処理装置では、赤外線センサによる人物の検出に代えて、顔検出による人物の検出も行われている。顔検出による人物の検出では、単に人物を検出するだけでなく顔の向きを検出することも可能であるため、顔の向き(正面を向いているか、横を向いているか等)に応じた制御を行うことも可能である。例えば、顔の向きが正面を向いていないときには、ユーザが情報処理装置の表示画面を見ていないと判断し、表示画面の画面輝度を低減するといった省電力化の制御が行われている。
特開2016-148895号公報
しかしながら、情報処理装置の表示画面がユーザの視界に入る条件(ユーザが表示画面を見ていると判断できる条件)は、ユーザの顔の向きだけでなく、顔の位置も影響する。例えば、表示画面の中央付近に対面する位置にユーザの顔がある場合、ユーザの顔が正面を向いているときにはユーザが表示画面を見ていると判断できる。一方、ユーザの顔の位置が表示画面の中央付近に対面する位置から離れて端の方になると、表示画面に対する顔の位置関係が変化するため、ユーザの顔が正面を向いていてもユーザが表示画面を見ていない場合がある。このように、顔の向きの検出のみではユーザが表示画面を見ているか否かを適切に検出できないことがあり、表示画面の画面輝度の制御が意図しない制御になることがあった。
本発明は、上記した事情に鑑みてなされたもので、ユーザが表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御する情報処理装置、及び制御方法を提供することを目的の一つとする。
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る情報処理装置は、撮像部で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサと、を備え、前記プロセッサは、前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出処理と、前記顔検出処理により検出された前記顔領域の位置と前記顔の向きとに基づいて、表示部の画面輝度を制御する輝度制御処理と、を行う。
上記情報処理装置において、前記プロセッサは、前記顔検出処理により検出された前記顔領域の位置と前記顔の向きとに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定処理を行い、前記輝度制御処理において、前記顔方向判定処理による判定結果に基づいて、前記表示部の画面輝度を制御してもよい。
上記情報処理装置において、前記表示部が設けられている第1筐体と、前記第1筐体とヒンジ機構を介して接続されている第2筐体と、を備え、前記ヒンジ機構によるヒンジ角度の変化に応じて、前記第1筐体の前記表示部が設けられている第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能であり、前記プロセッサは、前記ヒンジ角度を検出するヒンジ角検出処理をさらに行い、
前記顔方向判定処理において、前記顔検出処理により検出された前記顔領域の位置及び前記顔の向きと、前記ヒンジ角検出処理により検出された前記ヒンジ角度とに基づいて、前記表示部に対する前記顔の向きを判定してもよい。
上記情報処理装置において、前記プロセッサは、前記ヒンジ角検出処理により検出された前記ヒンジ角度に基づいて、前記顔方向判定処理を行うか否かを制御してもよい。
上記情報処理装置において、前記プロセッサは、前記表示部の向きを検出する表示方向検出処理をさらに行い、前記顔方向判定処理において、前記顔検出処理により検出された前記顔領域の位置及び前記顔の向きと、前記表示方向検出処理により検出された前記表示部の向きとに基づいて、前記表示部に対する前記顔の向きを判定してもよい。
上記情報処理装置において、前記プロセッサは、前記表示方向検出処理により検出された前記表示部の向きに基づいて、前記顔方向判定処理を行うか否かを制御してもよい。
上記情報処理装置において、前記プロセッサは、外部の表示装置との接続を検出する外部接続検出処理をさらに行い、前記外部接続検出処理により前記表示装置と接続されていることが検出された場合、前記顔方向判定処理において、前記顔検出処理により検出された前記顔領域の位置及び前記顔の向きと、前記表示部に対する前記表示装置の位置とに基づいて、前記表示装置に対する前記顔の向きを判定してもよい。
また、本発明の第2態様に係る、撮像部で撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える情報処理装置における制御方法は、前記プロセッサが、前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出ステップと、前記顔検出ステップにより検出された前記顔領域の位置と前記顔の向きとに基づいて、表示部の画面輝度を制御する輝度制御ステップと、を含む。
本発明の上記態様によれば、ユーザが表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御することができる。
第1の実施形態に係る情報処理装置の外観の構成例を示す斜視図。 第1の実施形態に係る情報処理装置の人物の検出範囲の一例を示す図。 第1の実施形態に係る顔角度の定義を示す図。 第1の実施形態に係る表示部に対する顔の位置と顔の向きの関係の一例を示す図。 第1の実施形態に係る顔方向判定方法の一例を示す図。 第1の実施形態に係る情報処理装置のハードウェア構成の一例を示す概略ブロック図。 第1の実施形態に係る情報処理装置の機能構成の一例を示す概略ブロック図。 第1の実施形態に係る顔検出実行判定処理の一例を示すフローチャート。 第1の実施形態に係る顔方向判定処理の一例を示すフローチャート。 第1の実施形態に係る画面輝度制御処理の一例を示すフローチャート。 第2の実施形態に係る情報処理装置の機能構成の一例を示す概略ブロック図。 第2の実施形態に係る顔方向判定処理の一例を示すフローチャート。
以下、図面を参照して、本発明の実施形態について説明する。
<第1の実施形態>
まず、第1の実施形態に係る情報処理装置の概要について説明する。
図1は、本実施形態に係る情報処理装置1の外観の構成例を示す斜視図である。
情報処理装置1は、例えば、ノート型(クラムシェル型)のPC(Personal Computer)である。情報処理装置1は、第1筐体10、第2筐体20、及びヒンジ機構15を備える。第1筐体10と第2筐体20は、ヒンジ機構15を用いて結合されている。第1筐体10は、第2筐体20に対して、ヒンジ機構15がなす回転軸の周りに相対的に回動可能である。第1筐体10と第2筐体20とがヒンジ機構15がなす回転軸の周りに回動したときのヒンジ角度(第1筐体10と第2筐体20との開き角)を「ヒンジ角θ」と称する。
第1筐体10は、Aカバー、ディスプレイ筐体とも呼ばれる。第2筐体20は、Cカバー、システム筐体とも呼ばれる。第1筐体10と第2筐体20の側面のうち、ヒンジ機構15が備わる面を、それぞれ側面10c、20cとして示している。また、第1筐体10と第2筐体20の側面のうち、側面10c、20cとは反対側の側面を、それぞれ側面10a、20aとして示している。図示において、側面20aから側面20cに向かう方向を「後」または「後方」とし、側面20cから側面20aに向かう方向を「前」または「前方」とする。第1筐体10の側面10bと第2筐体20の側面20bは、前方に向かって右側の側面であり、第1筐体10の側面10dと第2筐体20の側面20dは、前方に向かって左側の側面である。
また、第1筐体10と第2筐体20とが重なり合って完全に閉じた状態(ヒンジ角θ=0°の状態)を「閉状態」と呼ぶ。閉状態において第1筐体10と第2筐体20との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と呼ぶ。また、閉状態に対して第1筐体10と第2筐体20とが開いた状態のことを「開状態」と呼ぶ。ヒンジ機構15によるヒンジ角θの変化に応じて、第1筐体10の内面と第2筐体20の内面とが開いた開状態から第1筐体10の内面と第2筐体20の内面とが向き合う方向へ折り曲げが可能である。
図1に示す情報処理装置1の外観は開状態の例を示している。開状態は、第1筐体10の側面10aと第2筐体20の側面20aとが離れた状態である。開状態では、第1筐体10と第2筐体20とのそれぞれの内面が表れる。開状態はユーザが情報処理装置1を使用する際の状態の一つであり、典型的にはヒンジ角θ=100~130°程度の状態で使用されることが多い。なお、開状態となるヒンジ角θの範囲は、ヒンジ機構15よって回動可能な角度の範囲等に応じて任意に定めることができる。
第1筐体10の内面には、表示部110が設けられている。表示部110は、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどを含んで構成されている。また、第1筐体10の内面のうち表示部110の周縁の領域に、撮像部120が設けられている。例えば、撮像部120は、表示部110の周縁の領域のうち側面20a側に配置されている。なお、撮像部120が配置される位置は一例であって、表示部110の表示画面に対面する方向を向くことが可能であれば他の場所であってもよい。
撮像部120は、開状態において、表示部110の表示画面に対面する方向(即ち、情報処理装置1の前方)の所定の撮像範囲を撮像する。所定の撮像範囲とは、撮像部120が有する撮像素子と撮像素子の撮像面の前方に設けられた光学レンズとによって定まる画角の範囲である。例えば、撮像部120は、情報処理装置1の前方(正面側)に存在する人物(ユーザ)を含む画像を撮像することができる。
また、第2筐体20の側面20bには、電源ボタン140が設けられている。電源ボタン140は、電源のオンまたはオフ、待機状態から通常動作状態への遷移、通常動作状態から待機状態への遷移などをユーザが指示するための操作子である。通常動作状態とは、特に制限なく処理の実行が可能なシステムの動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。
待機状態とは、システム処理の少なくとも一部が制限されている状態であって、通常動作状態よりも消費電力が低い状態である。例えば、待機状態は、スタンバイ状態、スリープ状態等であってもよく、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。また、待機状態には、少なくとも表示部の表示がOFF(画面OFF)となる状態、または画面ロックとなる状態が含まれてもよい。画面ロックとは、処理中の内容が視認できないように予め設定された画像(例えば、画面ロック用の画像)が表示部に表示され、ロックを解除(例えば、ユーザ認証)するまで、使用できない状態である。
また、第2筐体20の内面には、ユーザの操作入力を受け付ける入力デバイスとして、キーボード151及びタッチパッド153が設けられている。なお、入力デバイスとして、キーボード151及びタッチパッド153に代えて、または加えて、タッチセンサが設けられてもよいし、マウスや外付けのキーボードが接続されてもよい。タッチセンサが設けられた構成の場合、表示部110の表示画面に対応する領域が操作を受け付けるタッチパネルとして構成されてもよい。また、入力デバイスには、音声が入力されるマイクが含まれてもよい。
なお、第1筐体10と第2筐体20とが閉じた閉状態では、第1筐体10の内面に設けられている表示部110、及び撮像部120と、第2筐体20の内面に設けられているキーボード151及びタッチパッド153は、互いに他方の筐体面で覆われ、機能を発揮できない状態となる。
情報処理装置1は、撮像部120により撮像された撮像画像に基づいて、情報処理装置1の前方に存在する人物を検出するHPD(Human Presence Detection)処理を実行する。
図2は、本実施形態に係る情報処理装置1の人物の検出範囲の一例を示す図である。図示する例において、情報処理装置1の前方の検出範囲FoV(Field of View:検出視野角)が、人物の検出可能な範囲である。
例えば、情報処理装置1は、撮像部120により撮像された撮像画像から顔が撮像されている顔領域を検出することにより、情報処理装置1の前方に人物(ユーザ)が存在するか否かを判定する。検出範囲FoVは、情報処理装置1が撮像する撮像画角に相当する。情報処理装置1は、撮像画像から顔領域が検出された場合、人物(ユーザ)が存在すると判定する。一方、情報処理装置1は、撮像画像から顔領域が検出されなかった場合、人物(ユーザ)が存在しないと判定する。
情報処理装置1は、HPD処理により人物(ユーザ)の存在の有無に応じて情報処理装置1のシステムの動作状態を制御する。例えば、情報処理装置1は、情報処理装置1の前方に人物(ユーザ)が存在する場合には通常動作状態に制御し、情報処理装置1の前方に人物(ユーザ)が存在しない場合には待機状態に制御する。
なお、情報処理装置1は、撮像部120により撮像された撮像画像から顔が撮像されている顔領域を検出することにより情報処理装置1の前方に存在する人物を検出する際に、検出された人物をユーザとみなしてもよいし、顔認証処理を行うことによりユーザとユーザ以外の人物とを区別して検出してもよい。以下では、情報処理装置1の前方に検出された人物をユーザとして説明する。
また、情報処理装置1は、情報処理装置1の前方にユーザが存在すると判定した場合には、その人物の表示部110に対する顔の向きを検出する。ここでの顔の向きとは、例えば、顔のヨー方向(左右方向)への回転角度(ヨー角)と、顔のピッチ方向(上下方向)への回転角度(ピッチ角)とを含む顔角度で表すことができる。
図3は、本実施形態に係る顔角度の定義を示す図である。図3の(A)は、顔を上から見たときのヨー方向の顔角度の定義を示しており、図3の(B)は、顔を横から見たときのピッチ方向の顔角度の定義を示している。ヨー方向の顔角度は、表示部110に対して顔の向きが正面となるときを「0°」とし、顔に向かって左方向を正(+)の角度、右方向を負(-)の角度とする。ピッチ方向の顔角度は、表示部110に対して顔の向きが正面となるときを「0°」とし、顔に向かって上方向を正(+)の角度、下方向を負(-)の角度とする。
例えば、情報処理装置1は、表示部110に対する顔の向きに基づいて、表示部110の画面輝度を制御する。具体的には、情報処理装置1は、顔が表示部110の方向を向いていないときには、ユーザが表示部110の表示画面を見ていないと判断し、表示部110の画面輝度を下げることで省電力化する。また、情報処理装置1は、再び顔が表示部110の方向を向いたときには、ユーザが表示部110の表示画面を見ていると判断し、下げる前の元の画面輝度に戻す。
以下では、下げる前の元の画面輝度のことを「標準輝度」と称する。また、顔が表示部110の方向を向いていないときに標準輝度から下げた画面輝度のことを「低輝度」と称する。低輝度は、少なくとも標準輝度よりも低い輝度であるが、より低い輝度にするほど省電力化の効果が上がるとともに、ユーザ以外の人物から表示されている内容が見られてしまう可能性が低くなりセキュリティを向上できる。例えば、低輝度は、標準輝度の0~10%程度の輝度としてもよい。
また、情報処理装置1は、画面輝度を制御する際に、表示部110の表示をオンまたはオフに制御してもよい。例えば、情報処理装置1は、表示部110の表示をオフにすることで画面輝度を低輝度にしてもよい。また、情報処理装置1は、表示部110の表示をオンすることで、画面輝度を低輝度から標準輝度に戻してもよい。
ここで、ユーザの顔が正面を向いていても、表示部110に対する顔の位置によっては、顔が表示部110の方向を向いておらず、ユーザが表示画面を見ていない場合がある。図4は、本実施形態に係る表示部110に対する顔の位置と顔の向きの関係の一例を示す図である。図示するように、ヨー方向の顔角度とピッチ方向の顔角度とのいずれも「0°」で顔が正面を向いている場合、顔の位置が中央付近であれば、顔が表示部110の方向を向いており表示画面を見ている。一方、顔の位置が右端の場合には、顔が正面を向いていても表示部110の方向を向いていないため表示画面を見ていない。
また、ヨー方向の顔角度が「0°」及びピッチ方向の顔角度が「+45°」で顔が左方向を向いている場合、顔の位置が中央付近のときには、顔が表示部110の方向を向いていないため表示画面を見ていない。一方、顔の位置が右端の場合には、顔が左方向を向いていても表示部110の方向を向いているため表示画面を見ている。
そこで、情報処理装置1は、撮像部120により撮像された撮像画像から検出された顔領域の位置と顔の向き(顔角度)とに基づいて、表示部110に対する顔の向きを判定して、表示部110の画面輝度を制御する。顔領域の位置と顔の向き(顔角度)とに基づいて表示部110に対する顔の向きを判定する顔方向判定方法について、図5を参照して説明する。
図5は、本実施形態に係る顔方向判定方法の一例を示す図である。情報処理装置1は、撮像画像の画像領域を縦3×横3の9個の領域(A1~A9)に分割し、撮像画像から検出された顔領域の中心がいずれの領域内であるかによって、顔領域の位置を検出する。この9個の領域(A1~A9)ごとに、顔が表示部110の方向を向いているか否か(表示画面を見ているか否か)を判定するための顔角度の条件が定められている。なお、顔が表示部110の方向を向いている状態(表示画面を見ている状態)のことを、以下では「Attention」と称する。一方、顔が表示部110の方向を向いていない状態(表示画面を見ていない状態)のことを、以下では「No Attention」と称する。
まず、ヨー方向について、各領域で「Attention」と判定される顔角度の条件について説明する。ヨー方向において中央付近となるA4、A5、及びA6の領域では、顔が正面を向いているときに表示部110の方向を向くことになるため、「Attention」と判定されるヨー方向の顔角度の条件は、例えば-30°~+30°の範囲内である。
また、ヨー方向において左端となるA1、A2、及びA3の領域では、顔が表示部110の方向を向くには、顔がやや右方向を向くことになるため、「Attention」と判定されるヨー方向の顔角度の条件は、例えば-50°~0°の範囲内である。
また、ヨー方向において右端となるA7、A8、及びA9の領域では、顔が表示部110の方向を向くには顔がやや左方向を向くことになるため、「Attention」と判定されるヨー方向の顔角度の条件は、例えば0°~+50°の範囲内である。
次に、ピッチ方向について、各領域で「Attention」と判定する顔角度の条件について説明する。ピッチ方向において中央付近となるA2、A5、及びA8の領域では、顔が正面を向いているときに表示部110の方向を向くことになるため、「Attention」と判定されるピッチ方向の顔角度の条件は、例えば-30°~+30°の範囲内である。
また、ピッチ方向において上端となるA1、A4、及びA7の領域では、顔が表示部110の方向を向くには、顔がやや下方向を向くことになるため、「Attention」と判定されるピッチ方向の顔角度の条件は、例えば-50°~0°の範囲内である。
また、ピッチ方向において下端となるA3、A6、及びA9の領域では、顔が表示部110の方向を向くには顔がやや上方向を向くことになるため、「Attention」と判定されるピッチ方向の顔角度の条件は、例えば0°~+50°の範囲内である。
A1~A9の9個の領域のうち顔領域の中心がある領域において「Attention」と判定されるヨー方向の顔角度の条件とピッチ方向の顔角度の条件との両方を満たした場合には「Attention」と判定され、いずれか一方又は両方の条件を満たさない場合には「No Attention」と判定される。
なお、図5に示す顔方向判定方法の例では、顔領域の位置を検出するためにA1~A9の9個に分割した領域を用いたが、領域の大きさ及び分割数などは本実施例に限られるものではなく、任意の大きさ及び分割数にすることができる。また、各領域で「Attention」と判定される顔角度の条件も本実施例に限られるものではなく、任意に条件を設定することができる。
以下、本実施形態に係る情報処理装置1の構成について詳しく説明する。
[情報処理装置のハードウェア構成]
図6は、本実施形態に係る情報処理装置1のハードウェア構成の一例を示す概略ブロック図である。この図4において、図1の各部に対応する構成には同一の符号を付している。情報処理装置1は、表示部110、撮像部120、電源ボタン140、入力デバイス150、通信部160、記憶部170、センサ180、EC(Embedded Controller)200、顔検出部210、メイン処理部300、及び電源部400を含んで構成される。
表示部110は、メイン処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。
撮像部120は、第1筐体10の内面に対面する方向(前方)の所定の撮像範囲(画角)内の物体の像を撮像し、撮像した画像をメイン処理部300及び顔検出部210へ出力する。例えば、撮像部120は、可視光を用いて撮像する可視光カメラ(RGBカメラ)と赤外線を用いて撮像する赤外線カメラ(IRカメラ)とを備えている。
なお、撮像部120は、可視光カメラと赤外線カメラとのいずれか一方を含んで構成されてもよいし、両方を含んで構成されてもよい。
電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。入力デバイス150は、ユーザの入力を受け付ける入力部であり、例えばキーボード151及びタッチパッド153を含んで構成されている。入力デバイス150は、キーボード151及びタッチパッド153に対する操作を受け付けることに応じて、操作内容を示す操作信号をEC200へ出力する。
通信部160は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部160は、イーサネット(登録商標)等の有線LANインターフェースやWi-Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
記憶部170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、RAM、ROMなどの記憶媒体を含んで構成される。記憶部170は、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。
センサ180は、情報処理装置1の動き、向きなどを検出するためのセンサであり、例えば、情報処理装置1の姿勢(向き)や揺れなどを検出するために利用される。例えば、センサ180は、加速度センサであり、第1筐体10と第2筐体20のそれぞれに設けられている。第1筐体10と第2筐体20のそれぞれに加速度センサを設けることで、第1筐体10と第2筐体20のそれぞれの姿勢(向き)やヒンジ角θなどを検出することが可能になる。なお、センサ180は、加速度センサに代えて又は加えて角速度センサ、傾斜センサ、地磁気センサなどを含んで構成されてもよい。
電源部400は、情報処理装置1の各部の動作状態に応じて各部へ電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくはバッテリー(電池パック)から供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される制御信号に基づいて各電源系統を介して各部に電力を供給する。
EC200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)およびI/O(Input/Output)ロジック回路などを含んで構成されたマイクロコンピュータである。EC200のCPUは、自部のROMに予め記憶した制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、メイン処理部300とは独立に動作し、メイン処理部300の動作を制御し、その動作状態を管理する。また、EC200は、電源ボタン140、入力デバイス150、及び電源部400等と接続されている。
例えば、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、情報処理装置1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。また、EC200は、電源ボタン140や入力デバイス150から操作信号を取得し、取得した操作信号のうちメイン処理部300の処理に関連する操作信号についてはメイン処理部300へ出力する。
顔検出部210は、撮像部120により撮像された撮像画像の画像データを処理するプロセッサを含んで構成されている。顔検出部210は、撮像部120により撮像された撮像画像の画像データを取得し、取得した画像データをメモリに一時的に保存する。画像データを保存するメモリは、システムメモリ304であってもよいし、顔検出部210内の不図示のメモリであってもよい。
例えば、顔検出部210は、撮像部120から取得した撮像画像の画像データを処理することにより、撮像画像から顔領域の検出、及び検出された顔領域の顔画像の顔の向きの検出などを行う顔検出処理を行う。顔の検出方法としては、顔の特徴情報を基に顔を検出する顔検出アルゴリズムや、顔の特徴情報を基に機械学習された学習データ(学習済みモデル)や顔検出ライブラリなどを用いた顔検出など、任意の検出方法を適用することができる。
また、顔検出部210は、顔検出処理による検出結果に基づいて、情報処理装置1の前方に存在する人物を検出するHPD処理を実行する。例えば、顔検出部210は、HPD処理において、顔検出処理により撮像画像から顔領域が検出された場合には情報処理装置1の前方にユーザが存在すると判定し、撮像画像から顔領域が検出されない場合には情報処理装置1の前方にユーザが存在しないと判定する。顔検出部210は、HPD処理による判定結果をメイン処理部300へ送信する。
また、顔検出部210は、図5を参照して説明した顔方向判定方法を用いて、顔が表示部110の方向を向いているか否かを判定する顔方向判定処理を行う。顔検出部210は、撮像画像から検出された顔領域の位置と顔の向き(顔角度)とに基づいて表示部110に対する顔の向きを判定し、判定結果をメイン処理部300へ送信する。この顔検出部210が顔方向判定処理を実行する機能構成について詳しくは、図7を参照して後述する。
メイン処理部300は、CPU(Central Processing Unit)301、GPU(Graphic Processing Unit)302、チップセット303、及びシステムメモリ304を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。
CPU301は、BIOSのプログラムに基づく処理、OSのプログラムに基づく処理、OS上で動作するアプリケーションプログラムに基づく処理などを実行するプロセッサである。例えば、CPU301は、システムを待機状態から起動させて通常動作状態に遷移させる起動処理、通常動作状態から待機状態へ遷移させるスリープ処理などを実行する。また、CPU301は、上述した顔検出部210による顔方向判定処理の判定結果などに基づいて、表示部110の画面輝度を制御する画面輝度制御処理を実行する。
GPU302は、表示部110に接続されている。GPU302は、CPU301の制御に基づいて画像処理を実行して表示データを生成する。GPU302は、生成した表示データを表示部110に出力する。
チップセット303は、メモリコントローラとしての機能及びI/Oコントローラとしての機能などを有する。例えば、チップセット303は、CPU301及びGPU302によるシステムメモリ304、記憶部170などからのデータの読出し、書込みを制御する。また、チップセット303は、通信部160、表示部110およびEC200からのデータの入出力を制御する。また、チップセット303は、センサハブとしての機能を有する。例えば、チップセット303は、センサ180の出力を取得して、情報処理装置1の姿勢(向き)を検出する。情報処理装置1の姿勢(向き)とは、例えば、第1筐体と第2筐体とのヒンジ角θや、第1筐体の内面に設けられている表示部110の表示画面の向きなどである。また、チップセット303は、顔検出部210からHPD処理及び顔方向判定処理の判定結果などを取得してCPU301へ出力する。
システムメモリ304は、CPU301で実行されるプログラムの読み込み領域ならびに処理データを書き込む作業領域などとして用いられる。また、システムメモリ304は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
なお、CPU301、GPU302、及びチップセット303は、一体化された一つのプロセッサとして構成されてもよいし、一部またはそれぞれが個々のプロセッサとして構成されてもよい。例えば、通常動作状態では、CPU301、GPU302、及びチップセット303のいずれも動作している状態となるが、待機状態では、チップセット303の少なくとも一部のみが動作している状態となる。
[情報処理装置の機能構成]
次に、図7を参照して、顔方向判定処理による判定結果に基づいて画面輝度の制御を行う情報処理装置1の機能構成について詳しく説明する。
図7は、本実施形態に係る情報処理装置1の機能構成の一例を示す概略ブロック図である。情報処理装置1は、顔検出部210と、状態検出部220と、システム処理部310とを備えている。顔検出部210は、図6に示す顔検出部210に対応し、顔検出処理及び顔方向判定処理を行う機能構成として、顔領域検出部211と、顔角度検出部212と、顔方向判定部213とを備えている。
顔領域検出部211は、撮像部120から取得した撮像画像の画像データを処理することにより、撮像画像から顔が撮像されている顔領域を検出する。例えば、顔領域検出部211は、撮像画像から顔領域を検出した場合、撮像画像の画像領域(検出範囲FoV)における顔領域の中心の位置情報(例えば、中心位置の座標)と、顔領域の大きさを示すサイズ情報(縦と横の座標上の寸法)とを検出結果として出力する。
顔角度検出部212は、顔領域検出部211により撮像画像から検出された顔領域に撮像されている顔の向き(顔角度)を検出する。例えば、顔角度検出部212は、図3を参照して説明したように、顔が正面を向いているときの顔角度を0°として、ヨー方向の顔角度とピッチ方向の顔角度とを検出する。
顔方向判定部213は、顔領域検出部211により検出された顔領域の位置と、顔角度検出部212により検出された顔角度に基づいて、表示部110に対する顔の向きを判定する。例えば図5を参照して説明したように、顔方向判定部213は、顔領域検出部211により検出された顔領域の中心が撮像画像の画像領域(検出範囲FoV)内を分割したA1~A9の領域のいずれの領域内であるかによって顔領域の位置を検出する。
そして、顔方向判定部213は、顔角度検出部212により検出された顔角度が、顔領域の中心がある領域において「Attention」と判定される顔角度(ヨー方向の顔角度とピッチ方向の顔角度)の条件を満たした場合、顔が表示部110の方向を向いている状態(表示画面を見ている状態)であることを示す「Attention」情報をシステム処理部310へ出力する。
一方、顔方向判定部213は、顔領域の中心がある領域において「Attention」と判定される顔角度(ヨー方向の顔角度とピッチ方向の顔角度)の条件を満たさない場合、顔が表示部110の方向を向いていない状態(表示画面を見ていない状態)であることを示す「No Attention」情報をシステム処理部310へ出力する。
状態検出部220は、図6に示すメイン処理部300が制御プログラムを実行することにより実現される機能構成であり、例えばチップセット303が実行する機能構成である。状態検出部220は、姿勢検出部221と、サポート判定部222とを備えている。
姿勢検出部221は、センサ180の出力に基づいて、情報処理装置1の姿勢(例えば、第1筐体10と第2筐体20の向き)を検出する。例えば、姿勢検出部221は、情報処理装置1の姿勢として、ヒンジ角θを検出する。また、姿勢検出部221は、情報処理装置1の姿勢として、表示部110の向き(表示画面の向き)を検出してもよい。表示部110の向き(表示画面の向き)とは、ヒンジ角θの変化及び情報処理装置1自体の水平面に対する角度などによって変化する表示部110の表示画面の角度(例えば、水平面に対する角度)である。この表示部110の表示画面の角度(例えば、水平面に対する角度)のことを、以下では「ディスプレイ角度」と称する。
なお、第1筐体10の撮像部120にカメラシャッタが設けられている場合、状態検出部220は、当該カメラシャッタの開閉状態を検出してもよい。撮像部120は、カメラシャッタが開状態である場合に情報処理装置1の前方を撮像可能であり、カメラシャッタが閉状態である場合には情報処理装置1の前方がカメラシャッタで遮られ、情報処理装置1の前方を撮像できない。
サポート判定部222は、姿勢検出部221により検出されたヒンジ角θに基づいて、顔検出部210による顔検出処理を有効にするか否か(サポートするか否か)を判定する。例えば、サポート判定部222は、検出範囲FoVにユーザの顔が十分入るようなヒンジ角θ(例えば、90°≦ヒンジ角θ≦135°)の場合、顔検出処理を有効にすると判定する。一方、サポート判定部222は、検出範囲FoVにユーザの顔が入らないようなヒンジ角θ(例えば、ヒンジ角θ<90°または135°<ヒンジ角θ)の場合、顔検出処理を無効にすると判定する。
なお、サポート判定部222は、姿勢検出部221により検出されたディスプレイ角度に基づいて、顔検出部210による顔検出処理を有効にするか否かを判定してもよい。例えば、サポート判定部222は、検出範囲FoVにユーザの顔が十分入るようなディスプレイ角度の場合、顔検出処理を有効にすると判定する。一方、サポート判定部222は、検出範囲FoVにユーザの顔が入らないようなディスプレイ角度の場合、顔検出処理を無効にすると判定する。
また、第1筐体10の撮像部120にカメラシャッタが設けられている場合、サポート判定部222は、カメラシャッタの開閉状態に基づいて、顔検出部210による顔検出処理を有効にするか否かを判定してもよい。例えば、サポート判定部222は、カメラシャッタが開状態である場合には顔検出処理を有効にすると判定し、カメラシャッタが閉状態である場合には顔検出処理を無効にすると判定する。
サポート判定部222は、ヒンジ角θ、ディスプレイ角度、カメラシャッタの開閉状態などのいずれか一つ又は複数の検出結果に基づいて、顔検出部210による顔検出処理を有効にするか否かを判定する。顔検出部210は、この顔検出処理を有効にするか否かの判定結果に基づいて、顔検出処理を有効にすると判定された場合に顔検出処理を実行し、顔検出処理を無効にすると判定された場合には顔検出処理を実行しない。
システム処理部310は、図6に示すメイン処理部300がOSのプログラムを実行することにより実現される機能構成であり、例えばCPU301が実行する機能構成である。例えば、システム処理部310は、OSのプログラムを実行することにより実現される機能構成として、画面輝度制御部311と、タイマ312とを備えている。
画面輝度制御部311は、顔方向判定処理による顔方向の判定結果に基づいて、表示部110の画面輝度を制御する。例えば、画面輝度制御部311は、通常動作状態において、顔検出部210から「No Attention」情報を取得した場合、画面輝度を低輝度に制御する。即ち、画面輝度制御部311は、顔検出部210により検出された顔の向きが表示部110の方向を向いていないと判定した場合には、画面輝度を低減させる。
また、画面輝度制御部311は、画面輝度を低輝度に制御した状態で、顔検出部210から「Attention」情報を取得した場合、画面輝度を標準輝度に戻す。即ち、画面輝度制御部311は、画面輝度を低減させた状態で、顔検出部210により検出された顔の向きが表示部110の方向を向いていると判定した場合、画面輝度を低減させる前の標準輝度に戻す。
タイマ312は、通常動作状態において顔検出部210から「No Attention」情報を取得してから画面輝度を低輝度に制御するまでの待機時間を計時するタイマである。画面輝度制御部311は、「No Attention」情報を取得しても所定の待機時間が経過する前に「Attention」情報を取得した場合には、画面輝度を低輝度に制御しないで標準輝度のままとする。画面輝度制御部311は、「No Attention」情報を取得した後、所定の待機時間の間に「Attention」情報を取得しない場合には、画面輝度を低輝度に制御する。これにより、ユーザが情報処理装置1を使用している最中に、少しよそ見をしただけで画面輝度が低輝度になってしまわないようにすることができる。所定の待機時間は、例えば10秒などに予め設定されている。なお、この所定の待機時間は、ユーザが設定可能な構成としてもよい。
[処理の動作]
次に、状態検出部220が顔検出処理の実行の有無を判定する顔検出実行判定処理と、顔検出部210が実行する顔方向判定処理と、システム処理部310が実行する画面輝度制御処理の動作について説明する。まず、図8を参照して、顔検出実行判定処理の動作について説明する。
図8は、本実施形態に係る顔検出実行判定処理の一例を示すフローチャートである。
(ステップS101)状態検出部220は、センサ180の出力に基づいて、情報処理装置1の姿勢(例えば、第1筐体10と第2筐体20の向き)を検出する。例えば、状態検出部220は、情報処理装置1の姿勢として、ヒンジ角θまたはディスプレイ角度を検出する。なお、第1筐体10の撮像部120にカメラシャッタが設けられている場合、状態検出部220は、当該カメラシャッタの開閉状態を検出してもよい。そして、ステップS103の処理へ進む。
(ステップS103)状態検出部220は、ステップS101で検出されたヒンジ角θ、ディスプレイ角度、カメラシャッタの開閉状態などのいずれか一つ又は複数の検出結果に基づいて、顔検出部210による顔検出処理を有効にするか否かを判定する。状態検出部220は、顔検出処理を有効にすると判定した場合(YES)、ステップS105の処理へ進む。一方、状態検出部220は、顔検出処理を無効にすると判定した場合(NO)、ステップS107の処理へ進む。
(ステップS105)顔検出部210は、顔検出処理に基づいて顔方向判定処理を実行する。
(ステップS107)顔検出部210は、顔方向判定処理による判定結果の出力を「Attention」情報の出力に固定する。
次に、図9を参照して、図8のステップS105で実行される顔方向判定処理の動作について説明する。図9は、本実施形態に係る顔方向判定処理の一例を示すフローチャートである。
(ステップS151)顔検出部210は、撮像部120により撮像された撮像画像から顔領域を検出する。例えば、顔領域検出部211は、撮像画像から顔領域を検出した場合、撮像画像の画像領域(検出範囲FoV)における顔領域の中心の位置情報(例えば、中心位置の座標)と、顔領域の大きさを示すサイズ情報(縦と横の座標上の寸法)とを検出結果として出力する。そして、ステップS153の処理へ進む。
(ステップS153)顔検出部210は、ステップS151において撮像画像から顔領域が検出されたか否かを判定する。顔検出部210は、撮像画像から顔領域が検出されていないと判定した場合(NO)、情報処理装置1の前方にユーザが存在しないことを示す「アブセンス(Absence)情報」を出力し、ステップS151の処理へ戻る。一方、顔検出部210は、撮像画像から顔領域が検出されたと判定した場合(YES)、情報処理装置1の前方にユーザが存在することを示す「プレゼンス(Presence)情報」を出力し、ステップS155の処理へ進む。
(ステップS155)顔検出部210は、ステップS151において撮像画像から検出された顔領域に撮像されている顔の向き(顔角度)を検出する。例えば、顔角度検出部212は、図3を参照して説明したように、顔が正面を向いているときの顔角度を0°として、ヨー方向の顔角度とピッチ方向の顔角度とを検出する。そして、ステップS157の処理へ進む。
(ステップS157)顔検出部210は、ステップS151において撮像画像から検出された顔領域の位置と、ステップS155において検出された顔の向き(顔角度)とに基づいて、表示部110に対する顔の向きを判定する。例えば図5を参照して説明したように、顔検出部210は、撮像画像の画像領域(検出範囲FoV)内を分割したA1~A9の領域のうち顔領域の中心がある領域を顔領域の位置として検出する。そして、顔検出部210は、ステップS155において検出された顔角度が、顔領域の中心がある領域において「Attention」と判定される顔角度(ヨー方向の顔角度とピッチ方向の顔角度)の条件を満たすか否かによって、表示部110に対する顔の向きを判定する。そして、ステップS159の処理へ進む。
(ステップS159)顔検出部210は、ステップS157で「Attention」と判定される顔角度の条件を満たしたか否かを判定する。顔検出部210は、「Attention」と判定される顔角度の条件を満たしたと判定した場合(YES)、ステップS161の処理へ進む。一方、顔検出部210は、「Attention」と判定される顔角度の条件を満たしていないと判定した場合(NO)、ステップS163の処理へ進む。
(ステップS161)顔検出部210は、ユーザの顔が表示部110の方向を向いている状態(表示画面を見ている状態)であることを示す「Attention」情報をシステム処理部310へ出力する。
(ステップS163)顔検出部210は、ユーザの顔が表示部110の方向を向いていない状態(表示画面を見ていない状態)であることを示す「No Attention」情報をシステム処理部310へ出力する。
次に、図10を参照して、システム処理部310が実行する画面輝度制御処理の動作について説明する。図10は、本実施形態に係る画面輝度制御処理の一例を示すフローチャートである。ここでは、情報処理装置1が通常動作状態でユーザの顔が表示部110の方向を向いている状態であり、画面輝度が標準輝度に設定されているものとする。
(ステップS201)画面輝度制御部311は、顔検出部210から「No Attention」情報を取得したか否かを判定する。画面輝度制御部311は、「No Attention」情報を取得していないと判定した場合(NO)、再びステップS201の処理を行う。一方、画面輝度制御部311は、「No Attention」情報を取得したと判定した場合(YES)、タイマ312を用いて待機時間の計時を開始する(ステップS203)。そして、ステップS205の処理へ進む。
(ステップS205)画面輝度制御部311は、顔検出部210から「Attention」情報を取得したか否かを判定する。画面輝度制御部311は、「Attention」情報を取得していないと判定した場合(NO)、ステップS207の処理へ進む。
(ステップS207)画面輝度制御部311は、タイマ312の値に基づいて所定の待機時間(例えば、10秒)が経過したか否か(即ち、タイマが終了したか否か)を判定する。画面輝度制御部311は、所定の待機時間(例えば、10秒)が経過していない(即ち、タイマが終了していない)と判定した場合(ステップS207:NO)、ステップS205の処理へ戻る。画面輝度制御部311は、所定の待機時間(例えば、10秒)が経過する前に、「Attention」情報を取得したと判定した場合(ステップS205:YES)、ステップS201の処理に戻る。この時、タイマ312はリセットされる。
一方、画面輝度制御部311は、ステップS207で所定の待機時間(例えば、10秒)が経過したと判定した場合(ステップS207:YES)、画面輝度を低輝度に変更する(ステップS209)。そして、ステップS211の処理へ進む。
(ステップS211)画面輝度制御部311は、顔検出部210から「Attention」情報を取得したか否かを判定する。画面輝度制御部311は、「Attention」情報を取得していないと判定した場合(NO)、再びステップS211の処理を行う。一方、画面輝度制御部311は、「Attention」情報を取得したと判定した場合(YES)、画面輝度を標準輝度に戻す(ステップS213)。
[第1の実施形態のまとめ]
以上説明してきたように、本実施形態に係る情報処理装置1は、撮像部120で撮像された画像(撮像画像)の画像データを一時的に記憶するメモリ(例えば、システムメモリ304)を備えている。また、情報処理装置1はプロセッサの一例として顔検出部210およびCPU301を備えている。顔検出部210は、上記メモリに記憶された撮像画像の画像データを処理することにより、撮像画像の中から顔が撮像されている顔領域と顔の向きとを検出する顔検出処理を実行する。また、CPU301は、上記顔検出処理により検出された顔領域の位置と顔の向きとに基づいて、表示部110の画面輝度を制御する輝度制御処理を実行する。
これにより、情報処理装置1は、ユーザの姿勢が多少変化しても、ユーザが表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御することができる。
例えば、顔検出部210は、顔検出処理により検出された顔領域の位置と顔の向きとに基づいて、表示部110に対する顔の向きを判定する顔方向判定処理を行う。そして、CPU301は、輝度制御処理において、顔方向判定処理による判定結果に基づいて、表示部110の画面輝度を制御する。
これにより、情報処理装置1は、ユーザの姿勢が多少変化しても、表示画面に対する顔の向きを適切に判定することができるため、ユーザが表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御することができる。
また、情報処理装置1は、表示部110が設けられている第1筐体10と、第1筐体10とヒンジ機構15を介して接続されている第2筐体20とを備えており、ヒンジ機構15によるヒンジ角θ(ヒンジ角度)の変化に応じて、第1筐体10の表示部110が設けられている内面(第1面)と第2筐体20の内面(第2面)とが開いた状態から向き合う方向へ折り曲げが可能である。情報処理装置1はプロセッサの一例としてチップセット303を備え、ヒンジ角θを検出するヒンジ角検出処理をさらに行う。そして、顔検出部210は、顔方向判定処理において、顔検出処理により検出された顔領域の位置及び顔の向きと、ヒンジ角検出処理により検出されたヒンジ角θとに基づいて、表示部110に対する顔の向きを判定してもよい。
これにより、情報処理装置1は、ヒンジ角θの変化に応じて撮像部120で撮像されるユーザの顔角度が変化しても、ヒンジ角θの変化に応じて「Attention」と判定される顔角度の条件をキャリブレーションすることによりユーザが表示画面を見ているか否かを適切に判定することができる。
また、顔検出部210は、ヒンジ角検出処理により検出されたヒンジ角θに基づいて、顔方向判定処理を行うか否かを制御する。
これにより、情報処理装置1は、ヒンジ角θによって検出範囲FoV内にユーザの顔が入らない場合には、顔方向判定処理を実行しないようすることができ、省電力化が図れる。
また、情報処理装置1はプロセッサの一例としてチップセット303を備え、ディスプレイ角度(表示部110の向き)を検出する表示方向検出処理をさらに行ってもよい。そして、顔検出部210は、顔方向判定処理において、顔検出処理により検出された顔領域の位置及び顔の向きと、表示方向検出処理により検出されたディスプレイ角度とに基づいて、表示部110に対する顔の向きを判定してもよい。
これにより、情報処理装置1は、ディスプレイ角度の変化に応じて撮像部120で撮像されるユーザの顔角度が変化しても、ディスプレイ角度の変化に応じて「Attention」と判定される顔角度の条件をキャリブレーションすることによりユーザが表示画面を見ているか否かを適切に判定することができる。
また、顔検出部210は、表示方向検出処理により検出されたディスプレイ角度に基づいて、顔方向判定処理を行うか否かを制御する。
これにより、情報処理装置1は、ディスプレイ角度によって検出範囲FoV内にユーザの顔が入らない場合には、顔方向判定処理を実行しないようすることができ、省電力化が図れる。
また、本実施形態に係る情報処理装置1における制御方法は、顔検出部210が、上記メモリに記憶された撮像画像の画像データを処理することにより、撮像画像の中から顔が撮像されている顔領域と顔の向きとを検出する顔検出ステップと、CPU301が、上記顔検出処理ステップにより検出された顔領域の位置と顔の向きとに基づいて、表示部110の画面輝度を制御する輝度制御ステップと、を含む。
これにより、情報処理装置1は、ユーザの姿勢が多少変化しても、ユーザが表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
本実施形態では、情報処理装置1に外部ディスプレイを接続して使用する場合の顔方向判定処理について説明する。情報処理装置1は、外部ディスプレイが接続された場合、表示部110に対する顔の向きを判定するだけでなく、外部ディスプレイに対する顔の向きも判定することが可能である。
図11は、本実施形態に係る情報処理装置1の機能構成の一例を示す概略ブロック図である。この図において、図7の各部に対応する構成には同一の符号を付している。情報処理装置1は、顔検出部210と、状態検出部220Aと、システム処理部310とを備えている。状態検出部220Aは、姿勢検出部221及びサポート判定部222に加えて、外部接続検出部223Aを備えている点が、図7の状態検出部220の構成と異なる。
外部接続検出部223Aは、外部ディスプレイ50との接続を検出する。情報処理装置1と外部ディスプレイ50との接続は有線であっても無線であってもよい。例えば、外部接続検出部223Aは、外部ディスプレイ50との接続を検出した場合、外部ディスプレイ50の仕様(画面サイズ、解像度など)、情報処理装置1に対する外部ディスプレイ50の位置を示す位置情報などを取得する。
外部接続検出部223Aは、外部ディスプレイ50の仕様については、接続されている外部ディスプレイ50から取得する。また、外部接続検出部223Aは、情報処理装置1に対する外部ディスプレイ50の位置情報については、OSのディスプレイ設定において設定されているディスプレイの配置の設定情報から取得する。なお、外部接続検出部223Aは、表示部110と外部ディスプレイ50の両方に表示するか、片方に表示する場合にはどちらに表示するかの表示設定情報をOSのディスプレイ設定から取得してもよい。また、外部接続検出部223Aは、さらに、OSのディスプレイ設定において設定されている画面の向きの設定情報を取得してもよい。
顔方向判定部213は、顔領域検出部211により検出された顔領域の位置と、顔角度検出部212により検出された顔角度に基づいて、外部ディスプレイ50に対する顔の向きを判定する。例えば図5を参照して説明したA1~A9の9個の領域を外部ディスプレイ50の画面領域に当てはめて、各領域において「Attention」と判定される顔角度(ヨー方向の顔角度とピッチ方向の顔角度)の条件を、外部ディスプレイ50の位置に基づいて、キャリブレーションする。
例えば、顔方向判定部213は、外部ディスプレイ50の位置がユーザから見て表示部110の右側に設定されている場合には、図5に示す「Attention」と判定されるヨー方向の顔角度の条件を、正方向へシフト(例えば、+40°)させて判定する。また、顔方向判定部213は、外部ディスプレイ50の位置がユーザから見て表示部110の左側に設定されている場合には、図5に示す「Attention」と判定されるヨー方向の顔角度の条件を、負方向へシフト(例えば、-40°)させて判定する。また、顔方向判定部213は、外部ディスプレイ50の位置がユーザから見て表示部110の上側に設定されている場合には、図5に示す「Attention」と判定されるピッチ方向の顔角度の条件を、正方向へシフト(例えば、+40°)させて判定する。また、顔方向判定部213は、外部ディスプレイ50の位置がユーザから見て表示部110の下側に設定されている場合には、図5に示す「Attention」と判定されるピッチ方向の顔角度の条件を、負方向へシフト(例えば、-40°)させて判定する。
なお、顔方向判定部213は、外部ディスプレイ50の仕様(例えば、画面サイズなど)に基づいて、「Attention」と判定される顔角度の条件を変更してもよい。
図12は、本実施形態に係る顔方向判定処理の一例を示すフローチャートである。この図において、図9の各処理に対応する処理には同一の符号を付している。本実施形態に係る顔方向判定処理は、外部ディスプレイ50が接続されている場合に表示部110に対する顔の向きを判定するだけでなく、外部ディスプレイ50に対する顔の向きも判定することが、図9に示す顔方向判定処理の一例と異なる。ここでは、図9に示す顔方向判定処理と異なる処理について説明する。
(ステップS251)顔検出部210は、状態検出部220A(外部接続検出部223A)による検出結果に基づいて、外部ディスプレイ50と接続されているか否かを判定する。顔検出部210は、外部ディスプレイ50と接続されていないと判定した場合(NO)、ステップS157以降の処理により表示部110に対する顔の向きを判定する。一方、顔検出部210は、外部ディスプレイ50と接続されていると判定した場合(YES)、ステップS157以降の処理により表示部110に対する顔の向きを判定するとともに、ステップS253以降の処理により外部ディスプレイ50に対する顔の向きも判定する。
(ステップS253)顔検出部210は、状態検出部220Aから外部ディスプレイ50の仕様(画面サイズ、解像度など)を取得し、ステップS255の処理へ進む。
(ステップS255)顔検出部210は、状態検出部220Aから情報処理装置1に対する外部ディスプレイ50の位置情報を取得し、ステップS257の処理へ進む。
(ステップS257)顔検出部210は、ステップS151において撮像画像から検出された顔領域の位置と、ステップS155において検出された顔の向き(顔角度)とに基づいて、外部ディスプレイ50に対する顔の向きを判定する。例えば、図5に示す「Attention」と判定される顔角度の条件に対して外部ディスプレイ50の位置に基づいてキャリブレーションした条件を用いて、ステップS155において検出された顔角度が、顔領域の中心がある領域において「Attention」と判定される顔角度の条件を満たすか否かによって、外部ディスプレイ50に対する顔の向きを判定する。そして、ステップS259の処理へ進む。
(ステップS259)顔検出部210は、ステップS257で「Attention」と判定される顔角度の条件を満たしたか否かを判定する。顔検出部210は、「Attention」と判定される顔角度の条件を満たしたと判定した場合(YES)、ステップS261の処理へ進む。一方、顔検出部210は、「Attention」と判定される顔角度の条件を満たしていないと判定した場合(NO)、ステップS263の処理へ進む。
(ステップS261)顔検出部210は、ユーザの顔が表示部110の方向を向いている状態(表示画面を見ている状態)であることを示す「Attention」情報をシステム処理部310へ出力する。
(ステップS263)顔検出部210は、ユーザの顔が表示部110の方向を向いていない状態(表示画面を見ていない状態)であることを示す「No Attention」情報をシステム処理部310へ出力する。
なお、外部ディスプレイ50が接続されている場合、顔方向判定処理において、表示部110に対する顔の向きの判定を行わず、外部ディスプレイ50に対する顔の向きの判定のみを行ってもよい。
このように、本実施形態に係る情報処理装置1は、プロセッサの一例としてチップセット303を備え、外部ディスプレイ50(外部の表示装置の一例)との接続を検出する外部接続検出処理をさらに行う。
そして、顔検出部210は、外部接続検出処理により外部ディスプレイ50と接続されていることが検出された場合、顔方向判定処理において、顔検出処理により検出された顔領域の位置及び顔の向きと、外部ディスプレイ50の位置とに基づいて、外部ディスプレイ50に対する顔の向きを判定する。
これにより、情報処理装置1は、ユーザが外部ディスプレイ50を使用している場合、ユーザの姿勢が多少変化しても、ユーザが外部ディスプレイ50の表示画面を見ているか否かを適切に検出することができる。また、外部ディスプレイ50の画面輝度を情報処理装置1から制御できる仕様である場合、情報処理装置1は、ユーザが外部ディスプレイ50の表示画面を見ているか否かを適切に検出して表示画面の画面輝度を制御することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の各実施形態において説明した各構成は、任意に組み合わせることができる。
また、上記実施形態では、撮像部120を用いて情報処理装置1の前方に存在する人物(ユーザ)を検出する構成を説明したが、撮像部120に加えてToFセンサのような測距センサを併用してもよい。また、情報処理装置1に撮像部120が内蔵されている構成例を説明したが、これに限られるものではない。例えば、撮像部120は、情報処理装置1に内蔵されていなくてもよく、情報処理装置1の外部アクセサリとして情報処理装置1(例えば、側面10a、10b、10c等のいずれか)に取り付け可能に構成され、無線または有線で情報処理装置1と通信接続されるものであってもよい。
また、CPU301とチップセット303とは個別のプロセッサとして構成されてもよいし、1つのプロセッサとして一体化して構成されてもよい。
また、上記実施形態では、顔検出部210がCPU301およびチップセット303とは別に備えられている例を示したが、顔検出部210の一部または全部は、チップセット303に備えられてもよいし、CPU301またはチップセット303と一体化されたプロセッサに備えられてもよい。例えば、CPU301とチップセット303と顔検出部210とは個別のプロセッサとして構成されてもよいし、1つのプロセッサとして一体化して構成されてもよい。また、顔検出部210の一部または全部は、EC200に備えられてもよい。
また、上述した待機状態には、ハイバネーション状態やパワーオフ状態等が含まれてもよい。ハイバネーション状態は、例えば、ACPIで規定されているS4状態に相当する。パワーオフ状態は、例えば、ACPIで規定されているS5状態(シャットダウンした状態)に相当する。なお、待機状態のうちスタンバイ状態、スリープ状態、ハイバネーション状態、パワーオフ状態などは、通常動作状態よりも電力の消費量が低い状態(電力の消費を抑えた状態)である。
なお、上述した情報処理装置1は、内部にコンピュータシステムを有している。そして、上述した情報処理装置1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理装置1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理装置1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した実施形態における情報処理装置1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上記実施形態の情報処理装置1は、ノートブック型のPCに限られるものではなく、例えば、デスクトップ型PCなどであってもよい。
1 情報処理装置、10 第1筐体、20 第2筐体、15 ヒンジ機構、110 表示部、120 撮像部、130 ToFセンサ、140 電源ボタン、150 入力デバイス、151 キーボード、153 タッチパッド、160 通信部、170 記憶部、180 センサ、200 EC、210 顔検出部、211 顔領域検出部、212 顔角度検出部、213 顔方向判定部、220 状態検出部、221 姿勢検出部、222 サポート判定部、223A 外部接続検出部、300 メイン処理部、301 CPU、302 GPU、303 チップセット、304 システムメモリ、310 システム処理部、311 画面輝度制御部、312 タイマ、400 電源部

Claims (8)

  1. 表示部と、
    前記表示部が設けられている第1筐体と、
    前記第1筐体とヒンジ機構を介して接続されている第2筐体と、
    内蔵または取り付けられた撮像部により前記表示部に対面する方向が撮像された画像の画像データを一時的に記憶するメモリと、
    前記メモリに記憶された画像データを処理するプロセッサと、
    を備え、
    前記ヒンジ機構によるヒンジ角度の変化に応じて、前記第1筐体の前記表示部が設けられている第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能であり、
    前記プロセッサは、
    前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出処理と、
    前記ヒンジ角度を検出するヒンジ角検出処理と、
    前記顔検出処理により検出された前記顔領域の位置及び前記顔の向きと、前記ヒンジ角検出処理により検出された前記ヒンジ角度とに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定処理と、
    前記顔方向判定処理による判定結果に基づいて、前記表示部の画面輝度を制御する輝度制御処理と、
    を行う情報処理装置。
  2. 前記プロセッサは、
    前記ヒンジ角検出処理により検出された前記ヒンジ角度に基づいて、前記顔方向判定処理を行うか否かを制御する、
    請求項に記載の情報処理装置。
  3. 表示部と、
    内蔵または取り付けられた撮像部により前記表示部に対面する方向が撮像された画像の画像データを一時的に記憶するメモリと、
    前記メモリに記憶された画像データを処理するプロセッサと、
    を備え、
    前記プロセッサは、
    前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出処理と、
    前記表示部の向きを検出する表示方向検出処理と、
    前記顔検出処理により検出された前記顔領域の位置及び前記顔の向きと、前記表示方向検出処理により検出された前記表示部の向きとに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定処理と、
    前記顔方向判定処理による判定結果に基づいて、前記表示部の画面輝度を制御する輝度制御処理と、
    を行う情報処理装置。
  4. 前記プロセッサは、
    前記表示方向検出処理により検出された前記表示部の向きに基づいて、前記顔方向判定処理を行うか否かを制御する、
    請求項に記載の情報処理装置。
  5. 表示部と、
    内蔵または取り付けられた撮像部により前記表示部に対面する方向が撮像された画像の画像データを一時的に記憶するメモリと、
    前記メモリに記憶された画像データを処理するプロセッサと、
    を備え、
    前記プロセッサは、
    前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出処理と、
    外部の表示装置との接続を検出する外部接続検出処理と、
    前記外部接続検出処理により前記表示装置と接続されていることが検出された場合、前記顔検出処理により検出された前記顔領域の位置及び前記顔の向きと、前記表示部に対する前記表示装置の位置とに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定処理と、
    前記顔方向判定処理による判定結果に基づいて、前記表示部の画面輝度を制御する輝度制御処理と、
    を行う情報処理装置。
  6. 表示部と、前記表示部が設けられている第1筐体と、前記第1筐体とヒンジ機構を介して接続されている第2筐体と、内蔵または取り付けられた撮像部により前記表示部に対面する方向が撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える情報処理装置における制御方法であって、
    前記ヒンジ機構によるヒンジ角度の変化に応じて、前記第1筐体の前記表示部が設けられている第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能であり、
    前記プロセッサが、
    前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出ステップと、
    前記ヒンジ角度を検出するヒンジ角検出ステップと、
    前記顔検出ステップにより検出された前記顔領域の位置及び前記顔の向きと、前記ヒンジ角検出ステップにより検出された前記ヒンジ角度とに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定ステップと、
    前記顔方向判定ステップによる判定結果に基づいて、前記表示部の画面輝度を制御する輝度制御ステップと、
    を含む制御方法。
  7. 表示部と、内蔵または取り付けられた撮像部により前記表示部に対面する方向が撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える情報処理装置における制御方法であって、
    前記プロセッサが、
    前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出ステップと、
    前記表示部の向きを検出する表示方向検出ステップと、
    前記顔検出ステップにより検出された前記顔領域の位置及び前記顔の向きと、前記表示方向検出ステップにより検出された前記表示部の向きとに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定ステップと、
    前記顔方向判定ステップによる判定結果に基づいて、前記表示部の画面輝度を制御する輝度制御ステップと、
    を含む制御方法。
  8. 表示部と、内蔵または取り付けられた撮像部により前記表示部に対面する方向が撮像された画像の画像データを一時的に記憶するメモリと、前記メモリに記憶された画像データを処理するプロセッサとを備える情報処理装置における制御方法であって、
    前記プロセッサが、
    前記メモリに記憶された画像の画像データを処理することにより、前記画像の中から顔が撮像されている顔領域と前記顔の向きとを検出する顔検出ステップと、
    外部の表示装置との接続を検出する外部接続検出ステップと、
    前記外部接続検出ステップにより前記表示装置と接続されていることが検出された場合、前記顔検出ステップにより検出された前記顔領域の位置及び前記顔の向きと、前記表示部に対する前記表示装置の位置とに基づいて、前記表示部に対する前記顔の向きを判定する顔方向判定ステップと、
    前記顔方向判定ステップによる判定結果に基づいて、前記表示部の画面輝度を制御する輝度制御ステップと、
    を含む制御方法。
JP2023021449A 2023-02-15 2023-02-15 情報処理装置、及び制御方法 Active JP7488383B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023021449A JP7488383B1 (ja) 2023-02-15 2023-02-15 情報処理装置、及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023021449A JP7488383B1 (ja) 2023-02-15 2023-02-15 情報処理装置、及び制御方法

Publications (1)

Publication Number Publication Date
JP7488383B1 true JP7488383B1 (ja) 2024-05-21

Family

ID=89535918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023021449A Active JP7488383B1 (ja) 2023-02-15 2023-02-15 情報処理装置、及び制御方法

Country Status (1)

Country Link
JP (1) JP7488383B1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221907A (ja) 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 表示装置
JP2008292753A (ja) 2007-05-24 2008-12-04 Denso Corp 情報表示装置
WO2011033877A1 (ja) 2009-09-16 2011-03-24 日本電気株式会社 携帯情報装置および表示制御方法
JP2011061300A (ja) 2009-09-07 2011-03-24 Sony Corp 表示装置および制御方法
JP2014209739A (ja) 2008-08-22 2014-11-06 ソニー株式会社 画像表示装置および制御方法
JP2020102151A (ja) 2018-12-25 2020-07-02 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
JP2022534338A (ja) 2019-03-27 2022-07-29 インテル コーポレイション スマート・ディスプレイ・パネル装置および関連する方法
JP2022183484A (ja) 2021-05-31 2022-12-13 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005221907A (ja) 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 表示装置
JP2008292753A (ja) 2007-05-24 2008-12-04 Denso Corp 情報表示装置
JP2014209739A (ja) 2008-08-22 2014-11-06 ソニー株式会社 画像表示装置および制御方法
JP2011061300A (ja) 2009-09-07 2011-03-24 Sony Corp 表示装置および制御方法
WO2011033877A1 (ja) 2009-09-16 2011-03-24 日本電気株式会社 携帯情報装置および表示制御方法
JP2020102151A (ja) 2018-12-25 2020-07-02 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
JP2022534338A (ja) 2019-03-27 2022-07-29 インテル コーポレイション スマート・ディスプレイ・パネル装置および関連する方法
JP2022183484A (ja) 2021-05-31 2022-12-13 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法

Similar Documents

Publication Publication Date Title
JP6808780B2 (ja) 電子機器、制御方法、及びプログラム
JP6720283B2 (ja) 電子機器、制御方法、及びプログラム
JP7036975B1 (ja) 電子機器、及び制御方法
US20220366721A1 (en) Electronic apparatus and control method
CN115344110A (zh) 电子设备以及控制方法
JP7488383B1 (ja) 情報処理装置、及び制御方法
US20210181826A1 (en) Information processing apparatus, and control method
JP7497411B1 (ja) 情報処理装置、及び制御方法
JP6710267B1 (ja) 情報処理装置、制御方法、及びプログラム
JP7454635B1 (ja) 情報処理装置、及び制御方法
JP7480371B1 (ja) 情報処理装置、及び制御方法
JP7451785B1 (ja) 情報処理装置、及び制御方法
US20240036880A1 (en) Information processing apparatus and control method
JP7421603B1 (ja) 情報処理装置、及び制御方法
JP2024084980A (ja) 情報処理装置、及び制御方法
JP7413481B1 (ja) 情報処理装置、及び制御方法
WO2024075280A1 (ja) 情報処理装置、及び制御方法
JP7474888B1 (ja) 電子機器、及び制御方法
JP7368523B2 (ja) 情報処理装置、及び制御方法
US20230289195A1 (en) Information processing apparatus and control method
JP7218421B1 (ja) 電子機器、及び制御方法
CN116414208A (zh) 电子设备以及控制方法
JP2021135870A (ja) 電子機器、及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240509

R150 Certificate of patent or registration of utility model

Ref document number: 7488383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150