JP7497411B1 - 情報処理装置、及び制御方法 - Google Patents

情報処理装置、及び制御方法 Download PDF

Info

Publication number
JP7497411B1
JP7497411B1 JP2022189337A JP2022189337A JP7497411B1 JP 7497411 B1 JP7497411 B1 JP 7497411B1 JP 2022189337 A JP2022189337 A JP 2022189337A JP 2022189337 A JP2022189337 A JP 2022189337A JP 7497411 B1 JP7497411 B1 JP 7497411B1
Authority
JP
Japan
Prior art keywords
housing
face
processor
orientation
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022189337A
Other languages
English (en)
Other versions
JP2024081160A (ja
Inventor
匡史 西尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2022189337A priority Critical patent/JP7497411B1/ja
Priority to US18/489,995 priority patent/US20240176409A1/en
Priority to CN202311579817.4A priority patent/CN118092588A/zh
Application granted granted Critical
Publication of JP7497411B1 publication Critical patent/JP7497411B1/ja
Publication of JP2024081160A publication Critical patent/JP2024081160A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1681Details related solely to hinges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Power Sources (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

【課題】顔検出を利用して動作状態を制御する際に、意図しない動作状態に制御してしまうことを抑制する情報処理装置及び制御方法を提供する。【解決手段】情報処理装置1は、第1筐体101と、第2筐体102と、第1筐体101と第2筐体102とを結合するヒンジ機構と、第1筐体101と第2筐体102との向きを検出するためのセンサと、第1面と第2面とのいずれか一方に設けられている撮像部120と、システムのプログラムを実行することによりシステムの動作状態を制御する第1プロセッサと、撮像部120で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出する第2プロセッサと、センサを用いて検出した第1筐体101と第2筐体102との向きと、第2プロセッサにより検出された顔領域に撮像されている顔の向きとに基づいて、第1プロセッサが制御するシステムの動作状態の制御を指示する第3プロセッサと、を備える。【選択図】図10

Description

本発明は、情報処理装置、及び制御方法に関する。
人物が近づくと使用可能な動作状態に遷移し、人物が離れると一部の機能を除いて停止した待機状態に遷移する機器がある。例えば、特許文献1には、赤外線センサを用いて赤外線の強弱を検知することにより、人物が近づいてきたか否か、或いは人物が離れたか否かを検出して機器の動作状態を制御する技術が開示されている。
近年、コンピュータビジョンなどの発展により、画像から顔を検出する際の検出精度が高くなってきている。そのため、赤外線センサによる人物の検出に代えて、顔検出が利用され始めている。顔検出を利用する場合には、顔の向きを検出して、顔が横を向いている場合には、ディスプレイ輝度を下げたり、ディスプレイの表示をオフにしたりすることで、消費電力を低減することも行われている。
特開2016-148895号公報
しかしながら、PCを使用する際の使用形態も多様化してきている。折り畳み可能なフレキシブルなディスプレイを搭載したノートPCでは、ディスプレイをある程度折り畳んで通常のノートPCのように使用する場合も、ディスプレイを折り畳まないで平面の状態でタブレットPCのようにユーザが手に持って使用する場合もある。また、ディスプレイが横長になる向きで使用する場合も、縦長になる向きで使用する場合もある。ディスプレイが横長になる向きで使用する場合には、ディスプレイをある程度折り畳んで、所謂ブックモードとして使用する場合もある。
ここで、顔検出用の画像を撮像するためのカメラは、ユーザが存在する側を撮像可能なようにディスプレイ面側の筐体のいずれかの端部に設けられていることが一般的である。そのため、上述したようにPCを使用する際の使用形態が多様化してくると、カメラとユーザの顔との位置関係が相対的に変化し、ユーザが正面を向いているにもかかわらず、カメラでは横向きに撮像されてしまうことがあり得る。その場合、ディスプレイ輝度を下げたり、ディスプレイの表示をオフにしたりといった意図しない動作状態に制御してしまう懸念がある。
本発明は、上記した事情に鑑みてなされたもので、顔検出を利用して動作状態を制御する際に、意図しない動作状態に制御してしまうことを抑制することができる情報処理装置、及び制御方法を提供することを目的の一つとする。
本発明は上記の課題を解決するためになされたものであり、本発明の第1態様に係る情報処理装置は、第1筐体と、第2筐体と、前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、前記第1筐体と前記第2筐体との向きを検出するためのセンサと、前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、システムのプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出する第2プロセッサと、前記センサを用いて前記第1筐体と前記第2筐体との向きを検出し、検出した前記第1筐体と前記第2筐体との向きと、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きとに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する第3プロセッサと、を備える。
上記情報処理装置において、前記第3プロセッサは、前記第1筐体と前記第2筐体との向きとして、前記第1面または前記第2面に直交する軸を中心とした回転方向の回転角度と、前記ヒンジ機構による前記第1筐体と前記第2筐体とのヒンジ角度とを検出し、前記回転角度が所定の角度範囲である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きと、前記ヒンジ角度とに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示してもよい。
上記情報処理装置において、前記第3プロセッサは、前記回転角度が所定の角度範囲以外である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示してもよい。
上記情報処理装置において、前記第3プロセッサは、前記回転角度が所定の角度範囲以外である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きが正面方向と判定される第1方向範囲から前記第1方向範囲以外に変化した場合、前記システムの動作状態を、消費電力を低減させた動作状態へ遷移させる指示を行い、前記回転角度が所定の角度範囲であって且つ前記ヒンジ角度が所定の角度未満の場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きが前記第1方向範囲よりも広い第2方向範囲から前記第2方向範囲以外に変化した場合、前記システムの動作状態を、消費電力を低減させた動作状態へ遷移させる指示を行ってもよい。
上記情報処理装置において、前記第3プロセッサは、前記回転角度が所定の角度範囲以外である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示し、前記回転角度が所定の角度範囲であって且つ前記ヒンジ角度が所定の角度未満の場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を前記ヒンジ角度に基づいて補正し、補正した角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示してもよい。
上記情報処理装置において、前記回転角度が所定の角度範囲である場合とは、前記第1筐体と前記第2筐体とが前記ヒンジ機構を挟んで水平方向に位置する状態を含んでもよい。
上記情報処理装置において、前記第1面から前記第2面に亘って設けられ、前記ヒンジ機構による折り曲げに応じて屈曲可能なディスプレイ、をさらに備えてもよい。
また、本発明の第2態様に係る情報処理装置は、第1筐体と、第2筐体と、前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、前記第1筐体と前記第2筐体との向きを検出するためのセンサと、前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、システムのプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出する第2プロセッサと、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する第3プロセッサと、を備え、前記第3プロセッサは、前記センサを用いて前記第1筐体と前記第2筐体との向きを検出し、検出した前記第1筐体と前記第2筐体との向きに基づいて、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を補正する。
上記情報処理装置において、前記第3プロセッサは、前記第1筐体と前記第2筐体との向きとして、前記第1面または前記第2面に直交する軸を中心とした回転方向の回転角度と、前記ヒンジ機構による前記第1筐体と前記第2筐体とのヒンジ角度とを検出し、前記回転角度が所定の角度範囲である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を、前記ヒンジ角度に基づいて補正してもよい。
また、本発明の第3態様に係る、第1筐体と、第2筐体と、前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、前記第1筐体と前記第2筐体との向きを検出するためのセンサと、前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、システムのプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、第2プロセッサと、第3プロセッサとを備える情報処理装置における制御方法は、前記第2プロセッサが、前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出するステップと、前記第3プロセッサが、前記センサを用いて前記第1筐体と前記第2筐体との向きを検出するステップと、検出した前記第1筐体と前記第2筐体との向きと、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きとに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示するステップと、を含む。
また、本発明の第4態様に係る、第1筐体と、第2筐体と、前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、前記第1筐体と前記第2筐体との向きを検出するためのセンサと、前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、システムのプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、第2プロセッサと、第3プロセッサとを備える情報処理装置における制御方法は、前記第2プロセッサが、前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出するステップと、前記第3プロセッサが、前記センサを用いて前記第1筐体と前記第2筐体との向きを検出し、検出した前記第1筐体と前記第2筐体との向きに基づいて、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を補正するステップと、補正した角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示するステップと、を含む。
本発明の上記態様によれば、情報処理装置は、顔検出を利用して動作状態を制御する際に、意図しない動作状態に制御してしまうことを抑制することができる。
第1の実施形態に係る情報処理装置の外観の構成例を示す斜視図。 第1の実施形態に係る折れ曲がった状態の情報処理装置の一例を示す側面図。 第1の実施形態に係る平面の状態の情報処理装置の一例を示す側面図。 第1の実施形態に係る情報処理装置のHPD処理の概要を説明する図。 第1の実施形態に係る情報処理装置の人物の検出範囲の一例を示す図。 第1の実施形態に係る情報処理装置の顔の向きの検出例を示す図。 第1の実施形態に係る情報処理装置の各種の使用形態における表示モードの具体例を示す図。 第1の実施形態に係る使用形態の判定方法の一例を示す図。 第1の実施形態に係るランドスケープ及びブックモードにおける撮像部の位置関係の一例を示す図。 第1の実施形態に係るブックモードにおける顔の向きの検出例を示す図。 第1の実施形態に係る情報処理装置のハードウェア構成の一例を示す概略ブロック図。 第1の実施形態に係る情報処理装置の機能構成の一例を示す概略ブロック図。 第1の実施形態に係る通常動作状態におけるHPD制御処理の一例を示すフローチャート。 第2の実施形態に係る通常動作状態におけるHPD制御処理の一例を示すフローチャート。
以下、図面を参照して、本発明の実施形態について説明する。
<第1の実施形態>
まず、本発明の第1の実施形態について説明する。
図1は、本実施形態に係る情報処理装置1の外観を示す斜視図である。本実施形態に係る情報処理装置1は、例えば、折り畳み可能なディスプレイを搭載したノートPC(Personal Computer;パーソナルコンピュータ)である。情報処理装置1は、第1筐体101、第2筐体102、及びヒンジ機構103を備える。第1筐体101及び第2筐体102は、略四角形の板状(例えば、平板状)の筐体である。第1筐体101の側面の一つと第2筐体102の側面の一つとがヒンジ機構103を介して結合(連結)されており、ヒンジ機構103がなす回転軸の周りに第1筐体101と第2筐体102とが相対的に回動可能である。
第1筐体101と第2筐体102との回転軸の周りのヒンジ角θが略0°の状態が、第1筐体101と第2筐体102とが重なり合って閉じた状態(閉状態)である。閉状態において第1筐体101と第2筐体102との互いに対面する側の面を、それぞれの「内面」と呼び、内面に対して反対側の面を「外面」と称する。ヒンジ角θとは、第1筐体101の内面と第2筐体102の内面とがなす角とも言うことができる。
閉状態に対して第1筐体101の内面と第2筐体102の内面とが開いた状態のことを「開状態」と称する。開状態とは、ヒンジ角θが予め設定された閾値(例えば、10°)より大きくなるまで、第1筐体101と第2筐体102とが相対的に回動された状態である。ヒンジ角θが180°のときが、第1筐体101の内面と第2筐体102の内面とが平面の状態(フラットな状態)となる。ヒンジ機構103による回動によって、開状態から第1筐体101の内面と第2筐体102の内面とが向き合う方向へ折り曲げが可能であり、ヒンジ角θが略0°の状態になるまで折り曲げることで閉状態になる。図1に示す例は、ヒンジ角θが70°~135°程度の状態の所謂クラムシェル(Clamshell)型のPCの一般的な使用形態に相当する。
また、情報処理装置1は、ディスプレイ110(表示部)と、撮像部120とを備える。ディスプレイ110は、第1筐体101の内面から第2筐体102の内面に亘って設けられている。ディスプレイ110は、第1筐体101と第2筐体102との相対的な回動によるヒンジ角θに合わせて屈曲(折り畳み)可能なフレキシブルディスプレイである。フレキシブルディスプレイとしては、有機ELディスプレイ等が用いられる。
情報処理装置1は、ディスプレイ110の画面領域の全体を1つの画面領域DAとして1画面構成として表示を制御することも、ディスプレイ110の画面領域の全体を第1画面領域DA1と第2画面領域DA2との2つの画面領域に分けて2画面構成として表示を制御することも可能である。ここで、第1画面領域DA1と第2画面領域DA2とは、ディスプレイ110の画面領域DAを分割した画面領域であるため、互いに重ならない画面領域である。ここでは、ディスプレイ110の画面領域のうち第1筐体101の内面側に対応する画面領域が第1画面領域DA1、第2筐体102の内面側に対応する画面領域が第2画面領域DA2であるとする。以下では、1画面構成で表示を制御する表示モードのことを「1画面モード」、2画面構成で表示を制御する表示モードのことを「2画面モード」と称する。
また、ディスプレイ110は、例えば、ディスプレイ110の表示画面に対するユーザの操作を受け付けるタッチパネルと共に構成されている。ユーザは、情報処理装置1を開状態にすることにより、第1筐体101と第2筐体102のそれぞれの内面に設けられたディスプレイ110の表示を視認することやディスプレイ110へのタッチ操作が可能となり、情報処理装置1の使用が可能となる。
撮像部120は、第1筐体101の内面のうちディスプレイ110の画面領域DAの外側(周縁の領域)に設けられている。例えば、撮像部120は、第1筐体101の内面のうち、第2筐体102とヒンジ機構103を介して結合(連結)されている第1筐体101の側面とは反対側の側面側の中央付近に配置されている。
この撮像部120が配置されている位置は、ユーザから図1に示す情報処理装置1を見たときに、情報処理装置1の中心の位置をアナログ時計の中心の位置に置き換えると「12時の位置」に対応し、以下では、「上側の位置」とする。この上側の位置に対して、「6時の位置」を「下側の位置」、「9時の位置」を「左側の位置」、「3時の位置」を「右側の位置」とする。
撮像部120は、開状態において、ディスプレイ110に対面する方向(前方)の所定の撮像範囲を撮像する。所定の撮像範囲とは、撮像部120が有する撮像素子と撮像素子の撮像面の前方に設けられた光学レンズとによって定まる画角の範囲である。例えば、撮像部120は、情報処理装置1の前方(正面側)に存在する人物を含む画像を撮像することができる。
なお、図1では、撮像部120が配置される位置が第1筐体101の内面のうちの上側の位置である例を示したが、この位置は一例であって、ディスプレイ110に対面する方向(前方)を撮像することが可能な他の位置であってもよい。例えば、撮像部120は、第1筐体101の内面のうち、下側の位置に配置されてもよいし、右側または左側の位置に配置されてもよい。また、撮像部120は、第2筐体102の内面に配置されてもよい。
情報処理装置1の使用形態としては、第1筐体101と第2筐体102とのヒンジ角θによって、第1筐体101と第2筐体102とが折れ曲がった状態(Bent form)と、第1筐体101と第2筐体102とが折れ曲がっていない平面の状態(Flat form)とに分けられる。以下では、第1筐体101と第2筐体102とが折れ曲がった状態(Bent form)のことを単に「折れ曲がった状態(Bent form)」、第1筐体101と第2筐体102とが折れ曲がっていない平面の状態(Flat form)のことを単に「平面の状態(Flat form)」と称する。折れ曲がった状態(Bent form)では、第1筐体101と第2筐体102とに亘って設けられているディスプレイ110も折れ曲がった状態になる。平面の状態(Flat form)では、ディスプレイ110も平面の状態になる。
図2は、折れ曲がった状態(Bent form)の情報処理装置1の一例を示す側面図である。ディスプレイ110が第1筐体101と第2筐体102とに亘って(またがって)配置されている。ディスプレイ110の画面領域(図1に示す画面領域DA)は、ヒンジ機構103に対応する部分を折り目として折り曲げ(屈曲)が可能であり、この折り目を境に第1筐体101側の画面領域を第1画面領域DA1、第2筐体102側の画面領域を第2画面領域DA2として示している。ディスプレイ110は、第1筐体101と第2筐体102との回動(ヒンジ角θ)に応じて屈曲する。情報処理装置1は、ヒンジ角θに応じて折れ曲がった状態(Bent form)であるか否かを判別する。一例として10°<θ<170°である場合に、情報処理装置1は、折れ曲がった状態(Bent form)であると判別する。この状態は、所謂クラムシェルモードやブックモードという使用形態に相当する。
図3は、平面の状態(Flat form)の情報処理装置1の一例を示す側面図である。情報処理装置1は、典型的にはヒンジ角θが180°である場合に平面の状態(Flat form)であると判別するが、一例として、170°≦θ≦180°である場合に平面の状態(Flat form)であると判別してもよい。例えば、第1筐体101と第2筐体102とのヒンジ角θが180°の場合、ディスプレイ110も平面の状態となる。この状態は、所謂タブレットモードという使用形態に相当する。
[HPD処理の概要]
情報処理装置1は、撮像部120により撮像された画像に基づいて、情報処理装置1の近傍に存在する人物(即ちユーザ)を検出する。この人物の存在を検出する処理のことを、HPD(Human Presence Detection)処理と称する。情報処理装置1は、HPD処理により人物の存在の有無を検出し、検出結果に基づいて情報処理装置1のシステムの動作状態を制御する。
情報処理装置1は、システムの動作状態として少なくとも通常動作状態(パワーオン状態)と待機状態との間を遷移可能である。通常動作状態とは、特に制限なく処理の実行が可能な動作状態であり、例えば、ACPI(Advanced Configuration and Power Interface)で規定されているS0状態に相当する。待機状態とは、システムの少なくとも一部の機能が制限されている状態である。例えば、待機状態は、スタンバイ状態、スリープ状態等であってもよく、Windows(登録商標)におけるモダンスタンバイや、ACPIで規定されているS3状態(スリープ状態)等に相当する状態であってもよい。また、待機状態には、少なくともディスプレイ110の表示がOFF(画面OFF)となる状態、または画面ロックとなる状態が含まれてもよい。画面ロックとは、処理中の内容が視認できないように予め設定された画像(例えば、画面ロック用の画像)がディスプレイ110に表示され、ロックを解除(例えば、ユーザ認証)するまで、使用できない状態である。
以下では、システムの動作状態が待機状態から通常動作状態へ遷移することを起動と呼ぶことがある。待機状態では、一般的に通常動作状態よりも動作の活性度が低いため、情報処理装置1のシステムを起動させることは、情報処理装置1におけるシステムの動作を活性化させることになる。
図4は、本実施形態に係る情報処理装置1のHPD処理の概要を説明する図である。例えば、情報処理装置1は、図4(A)に示すように、情報処理装置1の前方(正面側)に人物が存在しない状態(Absence)から存在する状態(Presence)への変化、即ち情報処理装置1へ人物が接近したこと(Approach)を検出した場合、ユーザが接近したと判定し、自動でシステムを起動して通常動作状態へ遷移させる。また、情報処理装置1は、図4(B)に示すように、情報処理装置1の前方に人物が存在している状態(Presence)では、ユーザが存在すると判定し、通常動作状態を継続させる。そして、情報処理装置1は、図4(C)に示すように、情報処理装置1の前方に人物が存在している状態(Presence)から存在しない状態(Absence)への変化、即ち情報処理装置1から人物が離脱したこと(Leave)を検出した場合には、ユーザが離脱したと判定し、システムを待機状態へ遷移させる。
図5は、本実施形態に係る情報処理装置1の人物の検出範囲の一例を示す図である。図示する例において、情報処理装置1の前方の検出範囲FoV(Field of View:検出視野角)が、人物の検出可能な範囲である。例えば、情報処理装置1は、撮像部120が前方を撮像した撮像画像から顔が撮像されている画像領域(以下、「顔領域」と称する)を検出することにより、情報処理装置1の前方に人物(ユーザ)が存在するか否かを判定する。検出範囲FoVは、撮像部120が撮像する画角に相当する。情報処理装置1は、撮像画像から顔領域が検出されたことに基づいて、ユーザが存在すると判定する。一方、情報処理装置1は、撮像画像から顔領域が検出されなかったことに基づいて、ユーザが存在しないと判定する。
また、情報処理装置1は、撮像画像から顔領域が検出された場合、顔領域に加えて顔の向きを検出する。ここでの顔の向きとは、顔の左右方向への回転角度に対応する向きであり、正面を向いているか或いは横を向いているかなどであり。例えば、情報処理装置1は、前方に存在する人物(ユーザ)が正面を向いているか或いは横を向いているかなどを検出する。
図6は、本実施形態に係る情報処理装置1の顔の向きの検出例を示す図である。この図は、上側から見たときのユーザUの顔の向きを矢印で示している。以下では、顔の左右方向への回転角度(向き)のことを、「顔角度α」と称する。ユーザUが情報処理装置1の方向を向いているときが正面を向いているときであり、ここでは顔角度α=「0°」とする。例えば、情報処理装置1は、顔角度αを「0°」と「45°」と「75°」との3段階で検出する。具体的には、情報処理装置1は、顔角度α=「0°」と、+方向(右方向)への顔の向きとして顔角度αとして「+45°」及び「+75°」と、-方向(左方向)への回転角度として「-45°」及び「-75°」とを検出する。
ここで、情報処理装置1は、システムが通常動作状態であるときにユーザUの顔の向きが正面の場合には通常動作状態を継続する。一方、情報処理装置1は、ユーザUの顔が横向きになった場合には情報処理装置1を見ていないため、ディスプレイ110の表示輝度を低減させることにより消費電力を低減させた動作状態(以下、「低電力状態」と称する)に移行させる。例えば図6に示すように、情報処理装置1は、顔角度αが「0°」の場合には通常動作状態に制御し、顔角度αが「+45°」、「-45°」、「+75°」、及び「-75°」の場合には低電力状態に制御する。
なお、低電力状態とは、通常動作状態より消費電力を低減させた動作状態であり、上記のようにディスプレイ110の表示輝度を低減させた状態としてもよいが、これに限られるものではない。例えば、低電力状態は、ディスプレイ110の表示がOFF(画面OFF)となる状態であってもよい。また、低電力状態は、スタンバイ状態、スリープ状態等の待機状態であってもよい。
[使用形態の例]
ここで、図7を参照して、情報処理装置1の各種の使用形態について説明する。
図7は、本実施形態に係る情報処理装置1の各種の使用形態における表示モードの具体例を示す図である。情報処理装置1は、使用形態によって表示モードを変更する。例えば、情報処理装置1は、情報処理装置1の向き及びヒンジ角θなどによる情報処理装置1の姿勢や、1画面モードであるか2画面モードであるかなどによって分類される使用形態で表示モードが異なる。なお、1画面のことはシングルスクリーンまたはフルスクリーン、2画面のことはスプリットスクリーンまたはデュアルスクリーンなどともいわれる。
表示モード(a)は、使用形態として第1筐体101と第2筐体102とが閉状態(Closed)であるときの表示モードである。例えば、この閉状態では、情報処理装置1は、例えばスリープや休止状態(ハイバネーション)などの待機状態となり、ディスプレイ110が表示オフの状態である。このスリープや休止状態(ハイバネーション)などの待機状態は、例えばACPI(Advanced Configuration and Power Interface)で規定されているシステムの電源状態のS3またはS4に相当する。
表示モード(b)は、使用形態としては折れ曲がった状態(Bent form)で、且つディスプレイ110の画面領域を第1画面領域DA1と第2画面領域DA2との2つの画面領域に分けて表示を制御する2画面モードであるときの表示モードである。また、情報処理装置1の向きは、第1画面領域DA1と第2画面領域DA2とが縦向きで左右に横に並ぶ向きである。画面領域が縦向きとは、長方形の画面領域の4辺のうちの長辺が縦方向、短辺が横方向になる向きである。画面領域が縦向きの場合は表示の向きも縦向きであり、長辺に沿う方向が上下方向に対応し短辺に沿う方向が左右方向になる向きで表示される。この使用形態は、ユーザが本を手に持って開いたときの左右の頁が左右の画面に相当するような使用形態であり、所謂ブックモードに相当する。この使用形態は、折れ曲がった状態(Bent form)で、且つ第1画面領域DA1と第2画面領域DA2とが横並びで2つを合わせた画面領域が横長であることから、「Fold Landscape」とも称する。
表示モード(c-1)は、表示モード(b)と同様に、折れ曲がった状態(Bent form)で、且つディスプレイ110の画面領域を第1画面領域DA1と第2画面領域DA2との2つの画面領域に分けて表示を制御する2画面モードであるときの表示モードであるが、情報処理装置1の向きが異なる使用形態である。情報処理装置1の向きは、第1画面領域DA1と第2画面領域DA2とが横向きで上下に縦に並ぶ向きである。画面領域が横向きとは、長方形の画面領域の4辺のうちの長辺が横方向、短辺が縦方向になる向きである。画面領域が横向きの場合は表示の向きも横向きであり、短辺に沿う方向が上下方向に対応し長辺に沿う方向が左右方向になる向きで表示される。この使用形態は、図1に示すようなクラムシェル(Clamshell)型のPCの一般的な使用形態の一つである。
例えば、情報処理装置1は、情報処理装置1の姿勢(向き)の変化を検出することで、表示モード(b)から表示モード(c-1)または表示モード(c-1)から表示モード(b)へ自動的に切り替える(Switch by Rotation)。例えば、表示モード(b)に対して表示モード(c-1)は図示でディスプレイ110が右方向へ90度回転した状態であるため、情報処理装置1は、表示モード(b)の状態から右方向へ所定の角度(例えば45度)以上回転したことを検出すると、表示モード(c-1)へ切り替える。また、表示モード(c-1)に対して表示モード(b)は図示でディスプレイ110が左方向へ90度回転した状態であるため、情報処理装置1は、表示モード(c-1)の状態から左方向へ所定の角度(例えば45度)以上回転したことを検出すると、表示モード(b)へ切り替える。
表示モード(c-2)は、表示モード(c-1)と同様に、折れ曲がった状態(Bent form)で情報処理装置1の向きも同じであるが、情報処理装置1に載置可能な外付けのキーボード30(Dockable mini KBD:KeyBord)が所定位置に載置されていることが異なる。この使用形態は、クラムシェル(Clamshell)型のPCの一般的な使用形態に物理的なキーボード30が接続されている状態である。例えば、本実施形態ではキーボード30は、第2画面領域DA2のサイズとほぼ同等であり、第2画面領域DA2の上に載置可能に構成されている。なお、キーボード30は、第2画面領域DA2よりも小さい面積を占有するキーボードであっても構わない。一例として、キーボード30は、底面の内部(端部)にはマグネットが設けられており、第2画面領域DA2の上に載置すると、第2筐体102の内面端部のベゼル部分と吸着されて固定される。これにより、元々物理的なキーボードが設けられている旧来からのクラムシェル型のPCと同様の使用形態となる。また、情報処理装置1とキーボード30とは、例えば、Bluetooth(登録商標)で接続される。この表示モード(c-2)では、情報処理装置1は、第2画面領域DA2はキーボード30で視認できなくなるため、黒表示または表示オフに制御する。つまり、この表示モード(c-2)は、ディスプレイ110の画面領域のうち表示に有効なのは半分の1画面の画面領域のみとなる表示モード(以下、「ハーフ画面モード」と称する)であり、第1画面領域DA1のみを使用した1画面モードとなる。即ち、ハーフ画面モードは、ディスプレイ110の画面領域(画面領域DA)のうちキーボード30が載置される側の画面領域(第2画面領域DA2)を除く一部の画面領域(第1画面領域DA1)を画面領域として表示を制御する表示モードである。
例えば、情報処理装置1は、表示モード(c-1)の状態で、外付けのキーボードとの接続を検出すると、表示モード(c-1)から表示モード(c-2)へ自動的に切り替える(Switch by Dock)。
表示モード(d)は、表示モード(b)と同様に、折れ曲がった状態(Bent form)で、情報処理装置1の向きも同じであるが、ディスプレイ110の画面領域の全体を1つの画面領域DAとして表示を制御する1画面モードであることが異なる。この使用形態は、表示モード(b)に対して、1画面モードであることが異なるが、折れ曲がった状態(Bent form)で、且つ画面領域DAが横長であることから、「Fold Landscape」とも称する。画面領域DAは横向きであり、表示の向きも横向きである。なお、表示モード(d)は、表示モード(b)と同様に「Fold Landscape」であることから、所謂ブックモードにも相当する。
ここで、折れ曲がった状態(Bent form)における1画面モードと2画面モードとの切り替えは、例えば、ユーザの操作により行われる。例えば、情報処理装置1は、1画面モードと2画面モードとを切り替え可能なUI(User Interface)としての操作子を画面上のいずれかの場所に表示させ、当該操作子に対する操作に基づいて、表示モード(b)から表示モード(d)へ切り替える(Switch by UI)。
表示モード(e)は、表示モード(c-1)と同様に、折れ曲がった状態(Bent form)で、情報処理装置1の向きも同じであるが、ディスプレイ110の画面領域の全体を1つの画面領域DAとして表示を制御する1画面モードであることが異なる。この使用形態は、表示モード(c-1)に対して、1画面モードであることが異なるが、折れ曲がった状態(Bent form)と情報処理装置1の向きから、クラムシェル(Clamshell)型のPCの使用形態に相当する。画面領域DAは縦向きであり、表示の向きも縦向きである。
例えば、情報処理装置1は、情報処理装置1の姿勢(向き)の変化を検出することで、表示モード(d)から表示モード(e)へ、または表示モード(e)から表示モード(d)へ自動的に切り替える(Switch by Rotation)。例えば、表示モード(d)に対して表示モード(e)は図示でディスプレイ110が右方向へ90度回転した状態であるため、情報処理装置1は、表示モード(d)の状態から右方向へ所定の角度(例えば45度)以上回転したことを検出すると、表示モード(e)へ切り替える。また、表示モード(e)に対して表示モード(d)は図示でディスプレイ110が左方向へ90度回転した状態であるため、情報処理装置1は、表示モード(e)の状態から左方向へ所定の角度(例えば45度)以上回転したことを検出すると、表示モード(d)へ切り替える。
表示モード(d´)は、表示モード(d)と同様に、1画面モードで、情報処理装置1の向きも画面領域DAが横長となる向きであるが、平面の状態(Flat form)であることが異なる。平面の状態(Flat form)とは、第1筐体101と第2筐体102とのヒンジ角θが略180°の状態である。この使用形態は、図3を参照して説明した所謂タブレットモードに対応するものであり、平面の状態(Flat form)で、且つ画面領域DAが横長であることから、「Flat Landscape」とも称する。この表示モード(d´)は、表示モード(d)に対して第1筐体101と第2筐体102とのヒンジ角θが異なるだけである。表示モード(d)と同様に、画面領域DAは横向きであり、表示の向きも横向きである。
表示モード(e´)は、表示モード(e)と同様に、1画面モードで、情報処理装置1の向きも画面領域DAが縦長となる向きであるが、平面の状態(Flat form)であることが異なる。この使用形態は、平面の状態(Flat form)で、且つ画面領域DAが縦長であることから、「Flat Portrait」とも称する。この表示モード(e´)は、表示モード(e)に対して第1筐体101と第2筐体102とのヒンジ角θが異なるだけである。表示モード(e)と同様に、画面領域DAは縦向きであり、表示の向きも縦向きである。
例えば、情報処理装置1は、情報処理装置1の姿勢(向き)の変化を検出することで、表示モード(d´)から表示モード(e´)へ、または表示モード(e´)から表示モード(d´)へ自動的に切り替える(Switch by Rotation)。例えば、表示モード(d´)に対して表示モード(e´)は図示でディスプレイ110が右方向へ90度回転した状態であるため、情報処理装置1は、表示モード(d´)の状態から右方向へ所定の角度(例えば45度)以上回転したことを検出すると、表示モード(e´)へ切り替える。また、表示モード(e´)に対して表示モード(d´)は図示でディスプレイ110が左方向へ90度回転した状態であるため、情報処理装置1は、表示モード(e´)の状態から左方向へ所定の角度(例えば45度)以上回転したことを検出すると、表示モード(d´)へ切り替える。
なお、表示モード(d´)及び表示モード(e´)において、前述した表示モード切替アイコンに対してユーザが操作を行うことにより、平面の状態(Flat form)のまま2画面モードに切り替えることも可能である。例えば、表示モード(d´)の状態から2画面モードに切り替えると、平面の状態(Flat form)で表示状態は表示モード(b)と同様になる。また、表示モード(e´)の状態から2画面モードに切り替えると、平面の状態(Flat form)で表示状態は表示モード(c-1)と同様になる。
また、情報処理装置1は、表示モード(e´)の状態でキーボード30との接続を検出すると、表示モード(e´)から表示モード(c-2´)へ自動的に切り替える(Switch by Dock)。表示モード(c-2´)は、平面の状態(Flat form)であり、表示モード(c-2)に対して第1筐体101と第2筐体102とのヒンジ角θが異なるだけである。この表示モード(c-2´)では、情報処理装置1は、第2画面領域DA2はキーボード30で視認できなくなるため、黒表示または表示オフに制御する。つまり、この表示モード(c-2´)は、表示モード(c-2)と同様に、ディスプレイ110の画面領域のうち表示に有効なのは半分の1画面の画面領域のみとなるハーフ画面モードである。
また、情報処理装置1は、平面の状態(Flat form)から折れ曲がった状態(Bent form)への変化を検出した場合、1画面モードから2画面モードに切り替えるようにすることもできる。例えば、情報処理装置1は、第1筐体101と第2筐体102とのヒンジ角θに基づいて、表示モード(d´)の状態において折れ曲がった状態(Bent form)への変化を検出した場合、表示モード(d´)から表示モード(b)へ自動的に切り替える。また、情報処理装置1は、第1筐体101と第2筐体102とのヒンジ角θに基づいて、表示モード(e´)の状態において折れ曲がった状態(Bent form)への変化を検出した場合、表示モード(e´)から表示モード(c-1)へ自動的に切り替える。
なお、図7の表示モード(d´)の「Flat Landscape」の使用形態のことを、以下では、単に「ランドスケープ(Landscape)」と称する。また、図7の表示モード(b)及び表示モード(d)の「Fold Landscape」使用形態のことを、以下では、「ブックモード」と称する。ランドスケープでは、ディスプレイ110の画面領域DAが横長であり、第1筐体101の内面と第2筐体102の内面とがヒンジ機構103を挟んで左右方向(水平方向)に位置する。本実施形態では、ランドスケープは、ヒンジ機構103を挟んで左側が第1筐体101で右側が第2筐体102となる向きとなる使用形態であって、撮像部120がユーザから見て情報処理装置1の左端に位置するものとする。
図8は、本実施形態に係る使用形態の判定方法の一例を示す図である。
使用形態がランドスケープであるか否かは、例えば、ディスプレイ110の表示面に直交する軸を回転軸とした回転角度(以下、「回転角β」と称する)に基づいて判定することができる。例えば、回転角βは、撮像部120が上側になる場合を0°として半時計回りに角度が増加するように定義すると、撮像部120が左側になる場合に90°となる。情報処理装置1は、例えば、回転角βに判定閾値(例えば、45°、135°、225°、315°)を設けることで、使用形態がランドスケープであるか否かを判定する。
一例として、情報処理装置1は、回転角βが「45°以上且つ135°未満」のときにはランドスケープと判定する。なお、撮像部120が右側(回転角β=270°)の場合にランドスケープとして使用できる場合には、情報処理装置1は、回転角βが「225°以上且つ315°未満」のときにランドスケープと判定してもよい。
また、情報処理装置1は、回転角βが「45°未満または135°以上」のときにはポートレイト(Flat Portrait)と判定する。なお、情報処理装置1は、回転角βが「135°以上且つ225°未満」のときもポートレイト(Flat Portrait)と判定してもよい。なお、回転角βの判定閾値にはヒステリシスが設定されている。
図9は、本実施形態に係るランドスケープ及びブックモードにおける撮像部120の位置関係の一例を示す図である。ランドスケープでは、撮像部120はユーザから見て情報処理装置1の左端に位置する。そのため、第1筐体101の内面と第2筐体102の内面とが向き合う方向へ折り曲げてブックモード(例えば、ヒンジ角θ<160°)になると、撮像部120からユーザを撮像する際の角度が変化し、撮像される顔の向きが変化してしまう。
図10は、本実施形態に係るブックモードにおける顔の向きの検出例を示す図である。この図では、図6と同様に、上側から見たときのユーザUの顔の向き(顔角度α)を矢印で示している。図示する例は、ブックモードでヒンジ角θが130°の場合を示している。この場合、撮像部120からユーザUを撮像する角度が変化するため、ユーザUが正面を向いても、顔角度α=「0°」ではなく、例えば顔角度α=「+45°」と検出されてしまう。即ち、撮像部120は、ヒンジ角θが180°である場合にはユーザUが正面を向いているときに正面を向いている顔を顔角度α=「0°」と検出できるが、ブックモードでは、ユーザUが正面を向いていたとしても撮像部120で撮像される顔の向きが正面からずれるため、検出される顔角度αも「0°」からずれて、例えば顔角度α=「+45°」と検出されてしまう。情報処理装置1は、ユーザUの顔角度αが「+45°」であると検出されたことにより低電力状態に移行させてしまうと、ユーザUが正面を向いているのにディスプレイ110の表示輝度が低減されてしまうため好ましくない。
そこで、情報処理装置1は、ブックモードでは、顔角度αが「0°」及び「+45°」の場合に通常動作状態に制御し、顔角度αが「-45°」、「+75°」、及び「-75°」の場合には低電力状態に制御する。一方、ブックモード以外の使用形態では、図6で説明した制御と同様に、情報処理装置1は、顔角度αが「0°」の場合には通常動作状態に制御し、顔角度αが「+45°」、「-45°」、「+75°」、及び「-75°」の場合には低電力状態に制御する。ブックモード以外の使用形態とは、ポートレイト、クラムシェル、及びランドスケープ(ヒンジ角θ=0°)などである。
以下では、ブックモード以外の使用形態において顔角度αが「0°」の場合には通常動作状態に制御し、顔角度αが「+45°」、「-45°」、「+75°」、及び「-75°」の場合には低電力状態に制御する制御モードのことを、「第1制御モード」と称する。一方、ブックモードにおいて顔角度αが「0°」及び「+45°」の場合には通常動作状態に制御し、顔角度αが「-45°」、「+75°」、及び「-75°」の場合には低電力状態に制御する制御モードのことを、「第2制御モード」と称する。
なお、図10に示すブックモードの例では、ユーザUから見て撮像部120が情報処理装置1の左側に位置している。これに対し、ユーザUから見て撮像部120が情報処理装置1の右側に位置する場合には、顔角度αが「0°」及び「-45°」の場合には通常動作状態に制御し、顔角度αが「+45°」、「+75°」、及び「-75°」の場合には低電力状態に制御する制御モードを第2制御モードとする。右側に位置する場合とは、例えば、撮像部120が第2筐体102に配置されている場合である。また、右側に位置する場合とは、図10に示す情報処理装置1の上下の向きが反対になるように回転させて使用可能な場合を含んでもよい。
[情報処理装置のハードウェア構成]
図11は、本実施形態に係る情報処理装置1のハードウェア構成の一例を示す概略ブロック図である。この図11において、図1の各部に対応する構成には同一の符号を付している。情報処理装置1は、ディスプレイ110、タッチパネル115、撮像部120、電源ボタン140、通信部160、記憶部170、センサ180、EC(Embedded Controller)200、顔検出部210、メイン処理部300、及び電源部400を含んで構成される。
ディスプレイ110は、メイン処理部300により実行されるシステム処理及びシステム処理上で動作するアプリケーションプログラムの処理等に基づいて生成された表示データ(画像)を表示する。図1を参照して説明したように、ディスプレイ110は、例えば第1筐体101と第2筐体102との相対的な回動によるヒンジ角θに合わせて屈曲(折り畳み)可能なフレキシブルディスプレイである。
タッチパネル115は、ディスプレイ110の表示画面上に設けられており、ユーザのタッチ操作に基づく操作信号を出力する。例えば、タッチパネル115は、静電容量方式、抵抗膜方式などの任意のタッチパネルとすることができる。
撮像部120は、第1筐体101の内面に対面する方向(前方)の所定の撮像範囲(画角)内の物体の像を撮像し、撮像した画像をメイン処理部300及び顔検出部210へ出力する。例えば、撮像部120は、可視光を用いて撮像する可視光カメラ(RGBカメラ)である。なお、撮像部120は、赤外線を用いて撮像する赤外線カメラ(IRカメラ)をさらに備えてもよいし、可視光と赤外線とを撮像可能なハイブリッドカメラであってもよい。電源ボタン140は、ユーザの操作に応じて操作信号をEC200へ出力する。
通信部160は、無線または有線による通信ネットワークを介して他の機器と通信可能に接続し、各種のデータの送信および受信を行う。例えば、通信部160は、イーサネット(登録商標)等の有線LANインターフェースやWi-Fi(登録商標)等の無線LANインターフェース等を含んで構成されている。
記憶部170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、RAM、ROMなどの記憶媒体を含んで構成される。記憶部170は、OS、デバイスドライバ、アプリケーションなどの各種のプログラム、その他、プログラムの動作により取得した各種のデータを記憶する。
センサ180は、情報処理装置1の動き、向きなどを検出するセンサであり、例えば、情報処理装置1の姿勢(向き)、揺れなどを検出するために利用される。例えば、センサ180は、加速度センサを含んで構成される。具体的には、センサ180は、例えば複数の加速度センサを有し、第1筐体101と第2筐体102のそれぞれに設けられている。センサ180は、第1筐体101と第2筐体102のそれぞれの動き、向きなどを検出する。これにより、第1筐体101と第2筐体102のそれぞれの動き、向きなどに基づいて、上述したヒンジ角θ及び回転角βなどを検出することが可能になる。なお、センサ180は、加速度センサに代えて又は加えて角速度センサ、傾斜センサ、地磁気センサなどを含んで構成されてもよい。
電源部400は、情報処理装置1の各部の動作状態に応じて各部へ電力を供給する。電源部400は、DC(Direct Current)/DCコンバータを備える。DC/DCコンバータは、AC(Alternate Current)/DCアダプタもしくはバッテリー(電池パック)から供給される直流電力の電圧を、各部で要求される電圧に変換する。DC/DCコンバータで電圧が変換された電力が各電源系統を介して各部へ供給される。例えば、電源部400は、EC200から入力される制御信号に基づいて各電源系統を介して各部に電力を供給する。
EC200は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)およびI/O(Input/Output)ロジック回路などを含んで構成されたマイクロコンピュータである。EC200のCPUは、自部のROMに予め記憶された制御プログラム(ファームウェア)を読み出し、読み出した制御プログラムを実行して、その機能を発揮する。EC200は、メイン処理部300とは独立に動作し、メイン処理部300の動作を制御し、その動作状態を管理する。また、EC200は、電源ボタン140及び電源部400等と接続されている。
例えば、EC200は、電源部400と通信を行うことにより、バッテリーの状態(残容量など)の情報を電源部400から取得するとともに、情報処理装置1の各部の動作状態に応じた電力の供給を制御するための制御信号などを電源部400へ出力する。
顔検出部210は、撮像部120により撮像された撮像画像の画像データを処理するプロセッサを含んで構成されている。顔検出部210は、撮像部120により撮像された撮像画像の画像データを取得し、取得した画像データをメモリに一時的に保存する。画像データを保存するメモリは、システムメモリ304であってもよいし、顔検出部210に含まれる上記プロセッサと接続されたメモリであってもよい。
また、顔検出部210は、撮像部120から取得した撮像画像の画像データを処理することにより、撮像画像から顔領域及び顔の向きの検出を行う顔検出処理を行う。例えば、顔検出部210は、顔検出処理による検出結果に基づいて、情報処理装置1の前方にユーザが存在するか否かを検出するHPD処理を実行する。また、顔検出部210は、HPD処理において、前方にユーザが存在することを検出している場合、そのユーザの顔の向き(顔角度α)を示す情報を出力する。詳しくは、後述する。
メイン処理部300は、CPU(Central Processing Unit)301、GPU(Graphic Processing Unit)302、チップセット303、及びシステムメモリ304を含んで構成され、OS(Operating System)に基づくシステム処理によって、OS上で各種のアプリケーションプログラムの処理が実行可能である。
CPU301は、BIOSのプログラムに基づく処理、OSのプログラムに基づく処理、OS上で動作するアプリケーションプログラムに基づく処理などを実行する。CPU301は、チップセット303からの制御に基づいてシステムの動作状態を制御する。例えば、CPU301は、システムの動作状態を待機状態から通常動作状態に遷移させる起動処理を実行する。また、CPU301は、システムの動作状態を通常動作状態から待機状態へ遷移させる処理を実行する。
GPU302は、ディスプレイ110に接続されている。GPU302は、CPU301の制御に基づいて画像処理を実行して表示データを生成する。GPU302は、生成した表示データをディスプレイ110に出力する。
チップセット303は、メモリコントローラとしての機能及びI/Oコントローラとしての機能などを有する。例えば、チップセット303は、CPU301及びGPU302によるシステムメモリ304、記憶部170などからのデータの読出し、書込みを制御する。また、チップセット303は、通信部160、センサ180、ディスプレイ110およびEC200からのデータの入出力を制御する。
また、チップセット303は、センサハブとしての機能を有する。例えば、チップセット303は、センサ180の出力を取得して、情報処理装置1の姿勢(向き)を検出する。情報処理装置1の姿勢(向き)とは、例えば、第1筐体と前記第2筐体との向きによってセンサ180により検出されるヒンジ角θや、情報処理装置1の回転角β(第1筐体及び前記第2筐体の回転角β)などである。そして、チップセット303は、検出した情報処理装置1の姿勢と顔検出部210によるHPD処理の結果とに基づいて、システムの動作状態の制御を指示するHPD制御処理を実行する。詳しくは、後述する。
システムメモリ304は、CPU301で実行されるプログラムの読み込み領域ならびに処理データを書き込む作業領域などとして用いられる。また、システムメモリ304は、撮像部120で撮像された撮像画像の画像データを一時的に記憶する。
なお、CPU301、GPU302、及びチップセット303は、一体化された一つのプロセッサとして構成されてもよいし、一部またはそれぞれが個々のプロセッサとして構成されてもよい。例えば、通常動作状態では、CPU301、GPU302、及びチップセット303のいずれも動作している状態となるが、待機状態では、チップセット303の少なくとも一部のみが動作している状態となる。待機状態では、少なくとも起動時のHPD処理に必要な機能が動作している。
[情報処理装置の機能構成]
次に、情報処理装置1が、HPD処理によりシステムの動作状態を制御する機能構成について説明する。
図12は、本実施形態に係る情報処理装置1の機能構成の一例を示すブロック図である。情報処理装置1は、顔検出部210と、HPD制御処理部220と、動作制御部320とを備えている。顔検出部210は、図11に示す顔検出部210に対応する。HPD制御処理部220は、図11に示すメイン処理部300が制御プログラムを実行することにより実現される機能構成であり、例えばチップセット303が実行する機能構成である。動作制御部320は、図11に示すメイン処理部300がOSのプログラムを実行することにより実現される機能構成であり、例えばCPU301が実行する機能構成である。
顔検出部210は、顔検出処理部211と、HPD処理部212とを備えている。顔検出処理部211は、所定の時間間隔で撮像部120により撮像された撮像画像の画像データをシステムメモリ304から読み出すことにより、所定の時間間隔で撮像されたそれぞれの撮像画像に対して画像処理および画像解析などを行う。
例えば、顔検出処理部211は、所定の時間間隔で撮像されたそれぞれの撮像画像の中から顔領域及び顔の向きを検出する。顔の検出方法としては、顔の特徴情報を基に顔を検出する顔検出アルゴリズムや、顔の特徴情報を基に機械学習された学習データ(学習済みモデル)や顔検出ライブラリなどを用いた任意の検出方法を適用することができる。また、所定の時間間隔は、例えば15秒間隔または10秒間隔などとすることができるが、任意の時間間隔に設定することができる。なお、最短の時間間隔の場合には、連続するすべてのフレーム単位で検出することになる。顔検出処理部211は、撮像画像のそれぞれから顔領域及び顔の向きを検出し、検出した顔領域の座標情報及び顔の向きに対応する顔角度情報などを出力する。
HPD処理部212は、顔検出処理部211により撮像画像から顔領域が検出されるか否かに基づいて、情報処理装置1の前方にユーザが存在するか否かを判定する。例えば、HPD処理部212は、顔検出処理部211により撮像画像から顔領域が検出された場合、情報処理装置1の前方にユーザが存在すると判定する。一方、HPD処理部212は、顔検出処理部211により撮像画像から顔領域が検出されない場合、情報処理装置1の前方にユーザが存在しないと判定する。そして、HPD処理部212は、情報処理装置1の前方にユーザが存在するか否かの判定結果に基づくHPD情報を出力する。
例えば、HPD処理部212は、情報処理装置1の前方にユーザが存在すると判定した場合、HPDの判定結果が真(True)であることを示すHPD情報(以下、「プレゼンス(Presence)情報」と称する)を出力する。また、HPD処理部212は、
情報処理装置1の前方にユーザが存在しないと判定した場合、HPDの判定結果が偽(False)であることを示すHPD情報(以下、「アブセンス(Absence)情報」と称する)を出力する。つまり、HPD処理部212は、顔検出処理部211による顔領域の検出結果に基づいて、プレゼンス情報またはアブセンス情報をHPD制御処理部220へ出力する。また、HPD処理部212は、プレゼンス(Presence)情報を出力する際には、ユーザの顔の向きに対応する顔角度情報を出力する。
HPD制御処理部220は、情報処理装置1の姿勢(向き)と顔検出部210によるHPD処理の結果とに基づいて、システムの動作状態の制御を指示するHPD制御処理を実行する。例えば、HPD制御処理部220は、姿勢判定部221と、動作状態判定部222と、HPD情報出力部223とを備えている。
姿勢判定部221は、センサ180の出力に基づいて、情報処理装置1の姿勢(例えば、第1筐体101と第2筐体102の向き)を検出する。例えば、姿勢判定部221は、情報処理装置1の姿勢として回転角βを検出し、検出した回転角βが所定の角度範囲であるか否かに基づいてランドスケープであるか否かを判定する(図8参照)。また、姿勢判定部221は、情報処理装置1の姿勢としヒンジ角θを検出し、検出したヒンジ角θに基づいて、情報処理装置1の開閉状態や、折り曲がっている状態であるか否かを判定する。例えば、姿勢判定部221は、ランドスケープであると判定した場合には、さらに検出したヒンジ角θに基づいてブックモードであるか否かを判定する(図9参照)。具体的には、姿勢判定部221は、ランドスケープであると判定した場合には、ヒンジ角θが所定の角度未満(例えば、ヒンジ角θ<160°)であるか否かを判定し、ヒンジ角θが所定の角度未満であると判定した場合には、ブックモードであると判定する。
動作状態判定部222は、メイン処理部330により制御されるシステムの動作状態を判定する。例えば、動作状態判定部222は、現在のシステムの動作状態が通常動作状態であるか或いは待機状態であるか等を判定する。
HPD情報出力部223は、HPD処理をサポートするか否かを判定し、HPD処理をサポートすると判定した場合には、HPD処理の結果に基づいてシステムの動作状態の制御を指示する。HPD処理をサポートするか否かは、例えば、ユーザにより設定されてもよいし、情報処理装置1の使用形態またはシステムの動作状態に応じて設定されてもよい。
例えば、HPD情報出力部223は、HPD処理をサポートすると判定した場合には、姿勢判定部221により検出された情報処理装置1の姿勢(向き)と、動作状態判定部222に判定されたシステムの動作状態と、顔検出部210によるHPD処理の結果(顔領域及び顔の向き)とに基づいて、システムの動作状態の制御を指示するHPD制御情報を動作制御部320出力する。一方、HPD情報出力部223は、HPD処理をサポートしないと判定した場合には、HPD処理に基づくシステムの動作状態の制御を行わないようにする。
以下、HPD処理をサポートする場合について説明する。ここでは、図10を参照して説明した通常動作状態と低電力状態とを制御する構成について説明する。HPD情報出力部223は、顔検出部210からプレゼンス情報及び顔角度情報を取得した場合、システムの動作状態を通常動作状態に制御する指示を示すHPD制御情報(以下、「アテンション情報」と称する)と、システムの動作状態を低電力状態へ遷移させる指示を示すHPD制御情報(以下、「非アテンション情報」と称する)とのいずれかを、顔角度情報に基づいて選択して動作制御部320へ出力する。
例えば、HPD情報出力部223は、ランドスケープ以外(例えば、ポートレイト、クラムシェルなど)の場合には、顔角度情報(顔の向き)に基づいて、アテンション情報と非アテンション情報とのいずれかを選択して出力する。例えば、HPD情報出力部223は、ランドスケープ以外である場合、第1制御モードを選択し、顔角度情報(顔の向き)が正面方向と判定される第1方向範囲(顔角度α=0°と判定される範囲)ではアテンション情報を出力し、当該第1方向範囲から第1方向範囲以外に変化した場合、非アテンション情報を出力する。
また、HPD情報出力部223は、ランドスケープである場合には、顔角度情報(顔の向き)とヒンジ角θとに基づいて、アテンション情報と非アテンション情報とのいずれかを選択して出力する。例えば、HPD情報出力部223は、ランドスケープであって且つブックモードである場合には、第2制御モードを選択し、顔角度情報(顔の向き)が上記第1方向範囲よりも広い第2方向範囲(例えば、顔角度α=0°または45°と判定される範囲)ではアテンション情報を出力し、当該第2方向範囲から第2方向範囲以外に変化した場合、非アテンション情報を出力する。
なお、HPD情報出力部223は、ランドスケープである場合でもブックモードではない場合には、ランドスケープ以外と同様である。即ち、HPD情報出力部223は、ブックモード以外の場合には第1制御モードを選択し、ブックモードの場合には第2制御モードを選択する。
動作制御部320は、システムの動作状態を切り替える。例えば、動作制御部320は、システムを待機状態から通常動作状態へ遷移させる起動処理、及びシステムを通常動作状態から待機状態へ遷移させるスリープ処理などを実行する。また、動作制御部320は、HPD情報出力部223から出力されるHPD制御情報に基づいて、システムの動作状態を通常動作状態または低電力状態に制御する。
例えば、動作制御部320は、通常動作状態においてHPD情報出力部223から出力された非アテンション情報を取得した場合、通常動作状態から低電力状態に遷移させる。また、動作制御部320は、低電力状態においてHPD情報出力部223から出力されたアテンション情報を取得した場合、低電力状態から通常動作状態に遷移させる。なお、動作制御部320は、通常動作状態においてHPD情報出力部223から出力されたアテンション情報を取得している間は、通常動作状態を継続する。
[顔の向きに応じたHPD制御処理の動作]
次に、図13を参照して、情報処理装置が通常動作状態において顔検出有効モードと顔検出無効モードとを切り替えてHPD制御情報を出力するHPD制御処理の動作について説明する。
図13は、本実施形態に係る通常動作状態におけるHPD制御処理の一例を示すフローチャートである。
(ステップS101)HPD制御処理部220は、HPD処理をサポートするか否かを判定する。HPD制御処理部220は、HPD処理をサポートすると判定した場合(YES)、ステップS103の処理へ進む。一方、HPD制御処理部220は、HPD処理をサポートしない(非サポート)と判定した場合(NO)、処理を終了する。
(ステップS103)HPD制御処理部220は、センサ180の出力に基づいて、回転角βが所定の角度範囲であるか否かに基づいてランドスケープであるか否かを判定する(図8参照)。HPD制御処理部220は、ランドスケープであると判定した場合(YES)、ステップS105の処理へ進む。一方、HPD制御処理部220は、ランドスケープではないと判定した場合(NO)、ブックモード以外であるためステップS107の処理へ進む。
(ステップS105)HPD制御処理部220は、センサ180の出力に基づいて、ヒンジ角θが所定の角度未満(例えば、ヒンジ角θ<160°)であるか否かを判定する。HPD制御処理部220は、ヒンジ角θが所定の角度未満であると判定した場合には、ブックモードであると判定し、ステップS109の処理へ進む。一方、HPD制御処理部220は、ヒンジ角θが所定の角度未満ではないと判定した場合には、ブックモード以外であるためステップS107の処理へ進む。
(ステップS107)HPD制御処理部220は、第1制御モード(図10参照)に設定し、ステップS111の処理へ進む。
(ステップS109)HPD制御処理部220は、第2制御モード(図10参照)に設定し、ステップS111の処理へ進む。
(ステップS201)顔検出部210は、撮像部120により所定の時間間隔で撮像されたそれぞれの撮像画像の中から顔領域を検出し、顔領域が検出されたか否かを判定する。顔検出部210は、顔領域が検出されていないと判定した場合(NO)、ステップS201の処理を継続する。一方、顔検出部210は、顔領域が検出されたと判定した場合(YES)ステップS203の処理へ進む。
(ステップS203)顔検出部210は、検出された顔領域の顔の向きを検出して、顔の向きに対応する顔角度情報(顔角度α)をHPD制御処理部220へ出力する。
(ステップS111)HPD制御処理部220は、ステップS107またはステップS109で選択された制御モードで、顔検出部210から出力された顔角度情報に応じたHPD制御情報(アテンション情報または非アテンション情報)を動作制御部320へ出力することにより、システムの動作状態の制御を指示する。これにより、動作制御部320は、HPD制御情報(アテンション情報または非アテンション情報)に基づいて、システムの動作状態を通常動作状態または低電力状態に制御する。そして、ステップS101の処理へ戻る。
[第1の実施形態のまとめ]
以上説明してきたように、本実施形態に係る情報処理装置1は、第1筐体101と、第2筐体102と、第1筐体101の内面(第1面)と第2筐体102の内面(第2面)とが開いた開状態から第1筐体101の内面と第2筐体102の内面とが向き合う方向へ折り曲げが可能に第1筐体101と第2筐体102とを結合するヒンジ機構103とを備えている。また、情報処理装置1は、第1筐体101と第2筐体102との向きを検出するためのセンサ180と、第1筐体101の内面と第2筐体102の内面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部120と、OS(システムの一例)のプログラムを一時的に記憶するシステムメモリ304(メモリの一例)と、CPU301(第1プロセッサの一例)と、顔検出部210(第2プロセッサの一例)と、チップセット303(第3プロセッサの一例)とを備えている。CPU301は、システムメモリ304に記憶されたOSのプログラムを実行することによりシステムの動作を制御する。顔検出部210は、撮像部120で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出する。チップセット303は、センサ180を用いて第1筐体101と第2筐体102との向きを検出し、検出した第1筐体101と第2筐体102との向きと、顔検出部210により検出された顔領域に撮像されている顔の向きとに基づいて、CPU301が制御するシステムの動作状態の制御を指示する。
これにより、情報処理装置1は、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、顔の向きに加えて第1筐体101と第2筐体102との向きに基づいて制御するため、意図しない動作状態に制御してしまうことを抑制することができる。
例えば、チップセット303は、第1筐体101と第2筐体102との向きとして、第1筐体101の内面または第2筐体102の内面(例えば、ディスプレイ110の表示面)に直交する軸を中心とした回転方向の回転角βと、ヒンジ機構103による第1筐体101と第2筐体102とのヒンジ角θとを検出し、回転角βが所定の角度範囲である場合(例えば、ランドスケープの場合)、顔検出部210により検出された顔領域に撮像されている顔の向きと、ヒンジ角θとに基づいて、CPU301が制御するシステムの動作状態の制御を指示する。
これにより、情報処理装置1は、例えばランドスケープでの使用において、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、顔の向きに加えて第1筐体101と第2筐体102とのヒンジ角θに基づいて制御するため、ブックモードの場合に意図しない動作状態に制御してしまうことを抑制することができる。
また、チップセット303は、回転角βが所定の角度範囲以外である場合(例えば、ランドスケープ以外の場合)、顔検出部210により検出された顔領域に撮像されている顔の向きに基づいて、CPU301が制御するシステムの動作状態の制御を指示する。
これにより、情報処理装置1は、ブックモード以外では、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、顔の向きに基づいて適切に制御することができる。
具体的には、例えばチップセット303は、回転角βが所定の角度範囲以外である場合(例えば、ランドスケープ以外の場合)、顔検出部210により検出された顔領域に撮像されている顔の向きが正面方向と判定される第1方向範囲(顔角度α=0°と判定される範囲)から第1方向範囲以外に変化した場合、システムの動作状態を、低電力状態(消費電力を低減させた動作状態)へ遷移させる指示を行う。一方、チップセット303は、回転角βが所定の角度範囲であって且つヒンジ角θが所定の角度未満(例えば、ヒンジ角θ<160°)の場合(例えば、ブックモードの場合)、顔検出部210により検出された顔領域に撮像されている顔の向きが上記第1方向範囲よりも広い第2方向範囲(例えば、顔角度α=0°または45°と判定される範囲)から第2方向範囲以外に変化した場合、システムの動作状態を、低電力状態へ遷移させる指示を行う。
これにより、情報処理装置1は、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、ブックモードでは、顔の向きが正面方向と判定される範囲をブックモード以外の場合に比較して広い範囲とするため、ユーザが正面を向いているにもかかわらず、意図せず低電力状態へ遷移してしまうことを抑制することができる。
ここで、回転角βが所定の角度範囲である場合とは、第1筐体101と第2筐体102とがヒンジ機構103を挟んで水平方向に位置する状態(即ち、ランドスケープ)を含む。
これにより、情報処理装置1は、例えばランドスケープでの使用において、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、顔の向きに加えて第1筐体101と第2筐体102とのヒンジ角θに基づいて制御するため、ヒンジ角θによって(例えば、ブックモードのときに)意図しない動作状態に制御してしまうことを抑制することができる。
また、情報処理装置1は、第1筐体101の内面から第2筐体102の内面に亘って設けられ、ヒンジ機構103による折り曲げに応じて屈曲可能なディスプレイ110を備える。
これにより、第1筐体101の内面から第2筐体102の内面に亘って1つのフレキシブルディスプレイが搭載されている情報処理装置1では、各種の使用形態で使用されることが想定されるが、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、使用形態によって意図しない動作状態に制御してしまうことを抑制することができる。
また、本実施形態に係る情報処理装置1における制御方法は、CPU301が、システムメモリ304に記憶されたOSのプログラムを実行することによりシステムの動作を制御するステップと、顔検出部210が、撮像部120で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出するステップと、チップセット303が、センサ180を用いて第1筐体101と第2筐体102との向きを検出し、検出した第1筐体101と第2筐体102との向きと、顔検出部210により検出された顔領域に撮像されている顔の向きとに基づいて、CPU301が制御するシステムの動作状態の制御を指示するステップと、を含む。
これにより、情報処理装置1は、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、顔の向きに加えて第1筐体101と第2筐体102との向きに基づいて制御するため、意図しない動作状態に制御してしまうことを抑制することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
本実施形態に係る情報処理装置1の基本的な構成は、図1、11、及び12に示す構成と同様であり、その説明を省略する。本実施形態では、顔検出部210及びHPD制御処理部220による処理の一部が、第1の実施形態と異なる。
第1の実施形態において顔検出部210は、顔の向き(顔角度α)を段階的に(例えば、「0°」と「45°」と「75°」との3段階で)検出したが、より細かい角度で顔の向きに対してリニアに検出してもよい。また、第1の実施形態においてHPD制御処理部220は、ブックモードであるか否かによって予め設定されている第1制御モードと第2制御モードのいずれかを選択することで、顔の向き(顔角度α)に対するシステムの動作状態の制御の指示を変更した。これに対し、本実施形態におけるHPD制御処理部220は、顔検出部210により検出された顔の向き(顔角度α)に対応する顔角度情報をヒンジ角θに基づいて補正し、補正した顔角度情報に基づいてシステムの動作状態の制御を指示する。
例えば、HPD制御処理部220は、顔角度情報をヒンジ角θに基づいて補正する場合には、ヒンジ角θに応じて補正するオフセット角度の値を決定する。HPD制御処理部220は、顔角度情報をヒンジ角θに基づいて補正しない場合には、オフセット角度の値を0に決定する。
図14は、本実施形態に係る通常動作状態におけるHPD制御処理の一例を示すフローチャートである。
(ステップS151)HPD制御処理部220は、HPD処理をサポートするか否かを判定する。HPD制御処理部220は、HPD処理をサポートすると判定した場合(YES)、ステップS153の処理へ進む。一方、HPD制御処理部220は、HPD処理をサポートしない(非サポート)と判定した場合(NO)、処理を終了する。
(ステップS153)HPD制御処理部220は、センサ180の出力に基づいて、回転角βが所定の角度範囲であるか否かに基づいてランドスケープであるか否かを判定する(図8参照)。HPD制御処理部220は、ランドスケープであると判定した場合(YES)、ステップS155の処理へ進む。一方、HPD制御処理部220は、ランドスケープではないと判定した場合(NO)、ブックモード以外であるためオフセットの値を「0」に決定して、ステップS159の処理へ進む。
(ステップS155)HPD制御処理部220は、センサ180の出力に基づいて、ヒンジ角θが所定の角度未満(例えば、ヒンジ角θ<160°)であるか否かを判定する。HPD制御処理部220は、ヒンジ角θが所定の角度未満であると判定した場合には、ブックモードであると判定し、ステップS157の処理へ進む。一方、HPD制御処理部220は、ヒンジ角θが所定の角度未満ではないと判定した場合には、ブックモード以外であるためオフセット角度の値を「0」に決定して、ステップS159の処理へ進む。
(ステップS157)HPD制御処理部220は、ヒンジ角θに基づいてオフセット角度の値を算出して決定する。そして、ステップS159の処理へ進む。
(ステップS251)顔検出部210は、撮像部120により所定の時間間隔で撮像されたそれぞれの撮像画像の中から顔領域を検出し、顔領域が検出されたか否かを判定する。顔検出部210は、顔領域が検出されていないと判定した場合(NO)、ステップS251の処理を継続する。一方、顔検出部210は、顔領域が検出されたと判定した場合(YES)ステップS253の処理へ進む。
(ステップS253)顔検出部210は、検出された顔領域の顔の向きを検出して、顔の向きに対応する顔角度情報(顔角度α)をHPD制御処理部220へ出力する。
(ステップS159)HPD制御処理部220は、ステップS153或いはS155で決定されたオフセット角度の値「0」、またはステップS157で算出されたオフセット角度の値に基づいて、顔検出部210から出力された顔角度情報を補正する。そして、ステップS161の処理へ進む。
(ステップS161)HPD制御処理部220は、ステップS159で補正された補正後の顔角度情報に基づいてHPD制御情報(アテンション情報または非アテンション情報)を動作制御部320へ出力することにより、システムの動作状態の制御を指示する。これにより、動作制御部320は、HPD制御情報(アテンション情報または非アテンション情報)に基づいて、システムの動作状態を通常動作状態または低電力状態に制御する。そして、ステップS101の処理へ戻る。
[第2の実施形態のまとめ]
以上説明したように、本実施形態に係る情報処理装置1において、チップセット303は、センサ180を用いて第1筐体101と第2筐体102との向きを検出し、検出した第1筐体101と第2筐体102との向きに基づいて、顔検出部210により検出された顔領域に撮像されている顔の向きに対応する顔角度情報(角度情報の一例)を補正する。
これにより、情報処理装置1は、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、検出された顔の向きを第1筐体101と第2筐体102との向きに基づいて補正して制御するため、意図しない動作状態に制御してしまうことを抑制することができる。
例えば、チップセット303は、第1筐体101と第2筐体102との向きとして、第1筐体101の内面または第2筐体102の内面(例えば、ディスプレイ110の表示面)に直交する軸を中心とした回転方向の回転角βと、ヒンジ機構103による第1筐体101と第2筐体102とのヒンジ角θとを検出し、回転角βが所定の角度範囲である場合(例えば、ランドスケープの場合)、顔検出部210により検出された顔領域に撮像されている顔の向きに対応する顔角度情報を、ヒンジ角θに基づいて補正する。
これにより、情報処理装置1は、例えばランドスケープでの使用において、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、検出された顔の向きを第1筐体101と第2筐体102とのヒンジ角θに基づいて補正して制御するため、ブックモードの場合に意図しない動作状態に制御してしまうことを抑制することができる。
具体的には、例えばチップセット303は、回転角βが所定の角度範囲以外である場合(例えば、ランドスケープ以外の場合)、顔検出部210により検出された顔領域に撮像されている顔の向きに対応する顔角度情報に基づいて、CPU301が制御するシステムの動作状態の制御を指示する。一方、チップセット303は、回転角βが所定の角度範囲であって且つヒンジ角θが所定の角度未満(例えば、ヒンジ角θ<160°)の場合(例えば、ブックモードの場合)、顔検出部210により検出された顔領域に撮像されている顔の向きに対応する顔角度情報をヒンジ角θに基づいて補正する。そして、チップセット303は、補正した顔角度情報に基づいて、CPU301が制御するシステムの動作状態の制御を指示する。
これにより、情報処理装置1は、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、ブックモードでは、検出された顔の向きを第1筐体101と第2筐体102とのヒンジ角θに基づいて補正して制御するため、ユーザが正面を向いているにもかかわらず、意図せず低電力状態へ遷移してしまうことを抑制することができる。
また、本実施形態に係る情報処理装置1における制御方法は、CPU301が、システムメモリ304に記憶されたOSのプログラムを実行することによりシステムの動作を制御するステップと、顔検出部210が、撮像部120で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出するステップと、チップセット303が、センサ180を用いて第1筐体101と第2筐体102との向きを検出し、検出した第1筐体101と第2筐体102との向きに基づいて、顔検出部210により検出された顔領域に撮像されている顔の向きに対応する顔角度情報を補正するステップと、補正した顔角度情報に基づいて、CPU301が制御するシステムの動作状態の制御を指示するステップと、を含む。
これにより、情報処理装置1は、顔検出を利用してユーザの顔の向きに基づいてシステムの動作状態を制御する際に、検出された顔の向きを第1筐体101と第2筐体102との向きに基づいて補正して制御するため、意図しない動作状態に制御してしまうことを抑制することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の各実施形態において説明した各構成は、任意に組み合わせることができる。
また、上記実施形態では、第1筐体101の内面から第2筐体102の内面に亘って1つの折り畳み可能なディスプレイ150(フレキシブルディスプレイ)を備える情報処理装置1の例を説明したが、第1筐体101の内面と第2筐体102の内面とに別々にディスプレイ(折り畳み可能ではないディスプレイ)を備える構成としてもよい。つまり、2つのディスプレイのそれぞれの画面領域を1つにまとめた画面領域として表示を制御する1画面モードと、2つのディスプレイのそれぞれの画面領域として表示を個別に制御する2画面モードとしてもよい。また、2つのディスプレイのうちの一方の画面領域のみを表示の対象とし、他方の画面領域を黒表示または表示オフ等に制御するハーフ画面モードとして、上述した各実施形態における処理を適用してもよい。
また、上記実施形態では、顔検出部210がEC200とは別に備えられている例を示したが、顔検出部210の一部または全部をEC200が備える構成としてもよいし、顔検出部210の一部または全部とEC200とが1つのパッケージで構成されてもよい。また、顔検出部210の一部または全部をメイン処理部300が備える構成としてもよいし、顔検出部210の一部または全部とメイン処理部300の一部または全部とが1つのパッケージで構成されてもよい。また、HPD制御処理部220の一部または全部は、チップセット303以外の処理部(例えば、EC200)の機能構成としてもよい。
なお、上述した情報処理装置1は、内部にコンピュータシステムを有している。そして、上述した情報処理装置1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理装置1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理装置1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した実施形態における情報処理装置1が備える各機能の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1 情報処理装置、101 第1筐体、102 第2筐体、103 ヒンジ機構、110 ディスプレイ、115 タッチパネル、120 撮像部、140 電源ボタン、160 通信部、170 記憶部、180 センサ、200 EC、210 顔検出部、211 顔検出処理部、212 HPD処理部、220 HPD制御処理部、221 姿勢判定部、222 動作状態判定部、223 HPD情報出力部、300 メイン処理部、301 CPU、302 GPU、303 チップセット、304 システムメモリ、320 動作制御部、400 電源部

Claims (9)

  1. 第1筐体と、
    第2筐体と、
    前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、
    前記第1筐体と前記第2筐体との向きを検出するためのセンサと、
    前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、
    システムのプログラムを一時的に記憶するメモリと、
    前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、
    前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出する第2プロセッサと、
    前記センサを用いて前記第1筐体と前記第2筐体との向きを検出し、検出した前記第1筐体と前記第2筐体との向きと、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きとに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する第3プロセッサと、
    を備え、
    前記第3プロセッサは、
    前記第1筐体と前記第2筐体との向きとして、前記第1面または前記第2面に直交する軸を中心とした回転方向の回転角度と、前記ヒンジ機構による前記第1筐体と前記第2筐体とのヒンジ角度とを検出し、前記回転角度が所定の角度範囲である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きと、前記ヒンジ角度とに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する、
    情報処理装置。
  2. 前記第3プロセッサは、
    前記回転角度が所定の角度範囲以外である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する、
    請求項1に記載の情報処理装置。
  3. 前記第3プロセッサは、
    前記回転角度が所定の角度範囲以外である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きが正面方向と判定される第1方向範囲から前記第1方向範囲以外に変化した場合、前記システムの動作状態を、消費電力を低減させた動作状態へ遷移させる指示を行い、
    前記回転角度が所定の角度範囲であって且つ前記ヒンジ角度が所定の角度未満の場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きが前記第1方向範囲よりも広い第2方向範囲から前記第2方向範囲以外に変化した場合、前記システムの動作状態を、消費電力を低減させた動作状態へ遷移させる指示を行う、
    請求項1または請求項2に記載の情報処理装置。
  4. 前記第3プロセッサは、
    前記回転角度が所定の角度範囲以外である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示し、
    前記回転角度が所定の角度範囲であって且つ前記ヒンジ角度が所定の角度未満の場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を前記ヒンジ角度に基づいて補正し、補正した角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する、
    請求項1または請求項2に記載の情報処理装置。
  5. 前記回転角度が所定の角度範囲である場合とは、前記第1筐体と前記第2筐体とが前記ヒンジ機構を挟んで水平方向に位置する状態を含む、
    請求項1に記載の情報処理装置。
  6. 前記第1面から前記第2面に亘って設けられ、前記ヒンジ機構による折り曲げに応じて屈曲可能なディスプレイ、
    を備える請求項1に記載の情報処理装置。
  7. 第1筐体と、
    第2筐体と、
    前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、
    前記第1筐体と前記第2筐体との向きを検出するためのセンサと、
    前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、
    システムのプログラムを一時的に記憶するメモリと、
    前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、
    前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出する第2プロセッサと、
    前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する第3プロセッサと、
    を備え、
    前記第3プロセッサは、
    前記センサを用いて、前記第1筐体と前記第2筐体との向きとして、前記第1面または前記第2面に直交する軸を中心とした回転方向の回転角度と、前記ヒンジ機構による前記第1筐体と前記第2筐体とのヒンジ角度とを検出し、検出した前記第1筐体と前記第2筐体との向きに基づいて前記回転角度が所定の角度範囲である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を、前記ヒンジ角度に基づいて補正する、
    を備える情報処理装置。
  8. 第1筐体と、第2筐体と、前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、前記第1筐体と前記第2筐体との向きを検出するためのセンサと、前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、システムのプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、第2プロセッサと、第3プロセッサとを備える情報処理装置における制御方法であって、
    前記第2プロセッサが、
    前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出するステップと、
    前記第3プロセッサが、
    前記センサを用いて前記第1筐体と前記第2筐体との向きを検出するステップと、
    検出した前記第1筐体と前記第2筐体との向きと、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きとに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示するステップと、
    を含み、
    前記第3プロセッサが、
    前記センサを用いて前記第1筐体と前記第2筐体との向きを検出するステップにおいて、前記第1筐体と前記第2筐体との向きとして、前記第1面または前記第2面に直交する軸を中心とした回転方向の回転角度と、前記ヒンジ機構による前記第1筐体と前記第2筐体とのヒンジ角度とを検出し、
    前記第1プロセッサが制御する前記システムの動作状態の制御を指示するステップにおいて、前記回転角度が所定の角度範囲である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きと、前記ヒンジ角度とに基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示する、
    制御方法。
  9. 第1筐体と、第2筐体と、前記第1筐体の第1面と前記第2筐体の第2面とが開いた状態から前記第1面と前記第2面とが向き合う方向へ折り曲げが可能に前記第1筐体と前記第2筐体とを結合するヒンジ機構と、前記第1筐体と前記第2筐体との向きを検出するためのセンサと、前記第1面と前記第2面とのいずれか一方に設けられ、設けられている面に対面する方向を撮像する撮像部と、システムのプログラムを一時的に記憶するメモリと、前記プログラムを実行することにより前記システムの動作状態を制御する第1プロセッサと、第2プロセッサと、第3プロセッサとを備える情報処理装置における制御方法であって、
    前記第2プロセッサが、
    前記撮像部で撮像された画像の中から顔が撮像されている顔領域及び顔の向きを検出するステップと、
    前記第3プロセッサが、
    前記センサを用いて、前記第1筐体と前記第2筐体との向きとして、前記第1面または前記第2面に直交する軸を中心とした回転方向の回転角度と、前記ヒンジ機構による前記第1筐体と前記第2筐体とのヒンジ角度とを検出し、検出した前記第1筐体と前記第2筐体との向きに基づいて前記回転角度が所定の角度範囲である場合、前記第2プロセッサにより検出された前記顔領域に撮像されている顔の向きに対応する角度情報を、前記ヒンジ角度に基づいて補正するステップと、
    補正した角度情報に基づいて、前記第1プロセッサが制御する前記システムの動作状態の制御を指示するステップと、
    を含む制御方法。
JP2022189337A 2022-11-28 2022-11-28 情報処理装置、及び制御方法 Active JP7497411B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022189337A JP7497411B1 (ja) 2022-11-28 2022-11-28 情報処理装置、及び制御方法
US18/489,995 US20240176409A1 (en) 2022-11-28 2023-10-19 Information processing apparatus and control method
CN202311579817.4A CN118092588A (zh) 2022-11-28 2023-11-24 信息处理装置以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022189337A JP7497411B1 (ja) 2022-11-28 2022-11-28 情報処理装置、及び制御方法

Publications (2)

Publication Number Publication Date
JP7497411B1 true JP7497411B1 (ja) 2024-06-10
JP2024081160A JP2024081160A (ja) 2024-06-18

Family

ID=91142881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022189337A Active JP7497411B1 (ja) 2022-11-28 2022-11-28 情報処理装置、及び制御方法

Country Status (3)

Country Link
US (1) US20240176409A1 (ja)
JP (1) JP7497411B1 (ja)
CN (1) CN118092588A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019194762A (ja) 2018-05-01 2019-11-07 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び制御方法
JP7036975B1 (ja) 2021-05-31 2022-03-15 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019194762A (ja) 2018-05-01 2019-11-07 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び制御方法
JP7036975B1 (ja) 2021-05-31 2022-03-15 レノボ・シンガポール・プライベート・リミテッド 電子機器、及び制御方法

Also Published As

Publication number Publication date
CN118092588A (zh) 2024-05-28
US20240176409A1 (en) 2024-05-30
JP2024081160A (ja) 2024-06-18

Similar Documents

Publication Publication Date Title
US20110285631A1 (en) Information processing apparatus and method of displaying a virtual keyboard
US20240036880A1 (en) Information processing apparatus and control method
US12099664B2 (en) Information processing apparatus and control method
US20240029606A1 (en) Information processing device and control method
CN114461155A (zh) 信息处理装置以及控制方法
JP7497411B1 (ja) 情報処理装置、及び制御方法
JP7488383B1 (ja) 情報処理装置、及び制御方法
US20060197715A1 (en) Information apparatus and display control method
JP7562791B1 (ja) 情報処理装置、及び制御方法
US20240282230A1 (en) Information processing apparatus and control method
US12093469B2 (en) Information processing apparatus and control method
JP7540030B1 (ja) 情報処理装置、及び制御方法
JP7454635B1 (ja) 情報処理装置、及び制御方法
JP7451785B1 (ja) 情報処理装置、及び制御方法
JP7480371B1 (ja) 情報処理装置、及び制御方法
US11769433B2 (en) Information processing device and control method
JP7560625B1 (ja) 情報処理装置、及び制御方法
US20240257684A1 (en) Information processing apparatus and control method
JP2024104820A (ja) 情報処理装置、及び制御方法
US20240355308A1 (en) Information processing apparatus and control method
US20240354388A1 (en) Information processing apparatus and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240529

R150 Certificate of patent or registration of utility model

Ref document number: 7497411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150