JP7231535B2 - スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体 - Google Patents

スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7231535B2
JP7231535B2 JP2019238692A JP2019238692A JP7231535B2 JP 7231535 B2 JP7231535 B2 JP 7231535B2 JP 2019238692 A JP2019238692 A JP 2019238692A JP 2019238692 A JP2019238692 A JP 2019238692A JP 7231535 B2 JP7231535 B2 JP 7231535B2
Authority
JP
Japan
Prior art keywords
target function
state
user
time
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019238692A
Other languages
English (en)
Other versions
JP2021056987A (ja
Inventor
ルー キアン,
ガン チャン,
シャシャ ワン,
ミンウェイ リー,
イーボ チェン,
フェンレイ ワン,
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
シャンハイ シャオドゥ テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド, シャンハイ シャオドゥ テクノロジー カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド
Publication of JP2021056987A publication Critical patent/JP2021056987A/ja
Application granted granted Critical
Publication of JP7231535B2 publication Critical patent/JP7231535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本出願は、データ処理の分野に関し、特に、人工知能技術に関する。具体的には、本出願は、スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体を提供する。
スマートスピーカーは、ビデオ通話、歌の聴き、ドラマの視聴、早期教育の付き添い、ライフアシスタント、スマートホーム制御などの豊富な機能を含む。ユーザにより優れたAI体験を提供するために、スマートスピーカーにウェイクフリー機能を設置することにより、ユーザのニーズに応じてデバイスのウェイクアップを自動的に実現する。
一般的に、スマートスピーカーのウェイクアップフリー機能は一定時間(30s)後に自動的にオフになる。
ただし、ウェイクアップフリー機能の終了方式には、一定時間の終了方法が柔軟性に欠け、異なるユーザのパーソナライズニーズを満たすことができないという問題がある。
本出願は、目標機能状態の自動的かつ柔軟な制御を実現し、異なるユーザのパーソナライズニーズを満たすスマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体を提供する。
本出願の第1態様として、目標機能の所在状態を決定するステップと、ローカル画面に対するユーザの注視操作を検出するステップと、注視操作情報及び目標機能の状態情報に基づいて、前記目標機能の状態切り替えを制御するステップとを含むスマートデバイスの制御方法を提供する。
これにより、本出願の技術案は、以下の有益な効果を達成することができる。
ローカル画面に対するユーザの注視操作に基づいて、目標機能の状態切り替えに対するユーザのニーズを識別し、ユーザのニーズ状態及び目標機能の所在状態に基づいて、目標機能の状態切り替えを行う。これにより、目標機能状態の自動的かつ柔軟な制御を実現し、異なるユーザのパーソナライズニーズを満たすことができる。
上記態様においては、前記注視操作情報及び前記目標機能の前記状態情報に基づいて、前記目標機能の状態切り替えを制御するステップは、前記目標機能の前記状態情報が動作状態である場合、前記ユーザがローカル画面を注視していることが検出されたとき、前記目標機能のオフ時間を遅延させるステップを含んでいてもよい。
これにより、本出願の技術案は、以下の有益な効果を達成することができる。
目標機能の状態情報が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、目標機能のオフ時間を遅延させることにより、目標機能が動作状態である場合、ユーザが画面を注視していれば、ユーザが目標機能を使用し続けるというニーズがあると決定し、目標機能のオフ時間を遅延させ、ユーザのニーズを満たすことができる。
また、上記態様においては、前記目標機能のオフ時間を遅延させるステップは、前記ユーザが最後に前記ローカル画面を注視した時刻を起点として計時するステップと、計時結果が第1の期間を超えた場合、前記目標機能をアクティブにオフにするステップとを含んでいてもよい。
これにより、本出願の技術案は、以下の有益な効果を達成することができる。
ユーザが最後にローカル画面を注視した時刻を起点として計時し、計時結果が第1の期間を超えた場合、前記目標機能をアクティブにオフにすることにより、ユーザの注視点がローカル画面から離れた期間が第1の期間を超えた場合、ユーザのニーズが目標機能のオフであると決定し、目標機能をオフにし、ユーザのニーズを満たすことができる。
また、上記態様においては、前記ユーザが前記ローカル画面を注視し始めることが検出された場合、時間増やし文字及び時間増やしアニメーションを表示してもよい。
これにより、本出願の技術案は、以下の有益な効果を達成することができる。
ユーザがローカル画面を注視し始めることが検出された場合、時間増やし文字及び時間増やしアニメーションを表示することにより、時間増やしに対するユーザの感知を向上させ、ユーザの体験を向上させることができる。
また、上記態様においては、前記注視操作情報及び前記目標機能の前記状態情報に基づいて、前記目標機能の状態切り替えを制御するステップは、前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能がアクティブオフである場合、前記ユーザが前記ローカル画面を注視している持続時間を決定するステップと、前記持続時間が第3の期間を超えた場合、前記目標機能をオフ状態から動作状態に切り替えるステップとを含んでいてもよい。
これにより、本出願の技術案は、以下の有益な効果を達成することができる。
ユーザがローカル画面を注視している持続時間に基づいて、目標機能に対するユーザのニーズを決定することができる。目標機能に対するユーザのニーズに基づいて、目標機能のアクティブオフ状態をウェイクアップすることにより、目標機能の自動的なウェイクアップを実現することができる。
また、アクティブオフ状態が、ローカル画面に対するユーザの注視操作に基づいてトリガされるため、アクティブオフ状態は、通常、ユーザが一時的に目標機能をトリガする必要がない状態である。従って、アクティブオフ状態の自動的なウェイクアップは、ユーザの間欠的な使用ニーズを満たし、ユーザの体験を向上させることができる。
また、上記態様においては、前記注視操作情報及び前記目標機能の前記状態情報に基づいて、前記目標機能の状態切り替えを制御するステップは、前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能がパッシブオフである場合、前記注視操作情報によるウェイクアップを拒否するように、前記目標機能をオフ状態に維持するように制御するステップを含み、前記パッシブオフは、前記ユーザのオフ命令に応答して切り替えられたオフ状態であってもよい。
これにより、本出願の技術案は、以下の有益な効果を達成することができる。
パッシブオフは、ユーザがオフ命令を使用してトリガするオフであり、通常、ユーザが長時間使用しない場合にオフをトリガするため、目標機能のパッシブオフ状態の自動的なウェイクアップを拒否することにより、目標機能の誤ウェイクアップを回避し、目標機能のウェイクアップの精度を向上させることができる。
本出願の第2態様として、目標機能の所在状態を決定する状態決定モジュールと、ローカル画面に対するユーザの注視操作を検出する操作検出モジュールと、注視操作情報及び目標機能の状態情報に基づいて、前記目標機能の状態切り替えを制御する状態切り替えモジュールとを備えるスマートデバイスの制御装置をさらに提供する。
上記態様においては、前記状態切り替えモジュールは、前記目標機能の前記状態情報が動作状態である場合、前記ユーザが前記ローカル画面を注視していることが検出されたとき、前記目標機能のオフ時間を遅延させる状態切り替えユニットを備えていてもよい。
また、上記態様においては、前記状態切り替えユニットは、具体的には、前記ユーザが最後に前記ローカル画面を注視した時刻を起点として計時し、計時結果が第1の期間を超えた場合、前記目標機能をアクティブにオフにしてもよい。
また、上記態様においては、前記ユーザが前記ローカル画面を注視し始めることが検出された場合、時間増やし文字及び時間増やしアニメーションを表示してもよい。
また、上記態様においては、前記状態切り替えモジュールは、前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能がアクティブオフである場合、前記ユーザが前記ローカル画面を注視している持続時間を決定するように構成される時間決定ユニットと、前記持続時間が第3の期間を超えた場合、前記目標機能をオフ状態から動作状態に切り替える状態切り替えユニットとを備えていてもよい。
また、上記態様においては、前記状態切り替えモジュールは、前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能がパッシブオフである場合、前記注視操作情報によるウェイクアップを拒否するように、前記目標機能をオフ状態に維持するように制御する状態制御ユニットを備え、前記パッシブオフは、前記ユーザのオフ命令に応答して切り替えられたオフ状態であってもよい。
本出願の第3態様として、少なくとも1つのプロセッサと、少なくとも1つの該プロセッサに通信可能に接続されるメモリとを備え、該メモリに少なくとも1つの前記プロセッサにより実行可能な命令が記憶されており、該命令が少なくとも1つの前記プロセッサに実行されることにより、少なくとも1つの前記プロセッサが上記のスマートデバイスの制御方法を実行可能である電子機器をさらに提供する。
本出願の第4態様として、コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、上記のスマートデバイスの制御方法を前記コンピュータに実行させる非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。
図面は、本出願の技術案をよりよく理解するためのものであり、本出願を制限するものではない。
本出願の第1の実施例によって提供されるスマートデバイスの制御方法のフローチャートである。 本出願の第2の実施例によって提供されるスマートデバイスの制御方法のフローチャートである。 本出願の第3の実施例によって提供される時間増やしアニメーション及び時間増やし文字の表示効果の概略図である。 本出願の第3の実施例によって提供される時間増やしアニメーションの表示効果の概略図である。 本出願の第4の実施例によって提供されるスマートデバイスの制御装置の構成概略図である。 本出願の実施例に係るスマートデバイスの制御方法の電子機器のブロック図である。
以下、図面を参照して本出願の例示的な実施例を説明する。理解を助けるためにその中に本出願の実施例の様々な詳細が含まれており、それらが単なる一例であると考えるべきである。従って、当業者であれば、本出願の範囲及び思想を逸脱しなく、ここで説明された実施例に対して様々な変更及び修正を行うことができる。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構成に関する説明が省略される。
(第1の実施例)
図1は、本出願の第1の実施例によって提供されるスマートデバイスの制御方法のフローチャートである。本実施例は、ユーザのニーズに応じて、スマートデバイスの目標機能の遅延オフ及びウェイクアップを行う場合に適用可能である。
スマートデバイスの制御方法は、スマートデバイスの制御装置によって実行されてもよく、スマートデバイスの制御装置は、ソフトウェア及び/又はハードウェアの形態で実現されてもよい。図1に示されるように、本実施例によって提供されるスマートデバイスの制御方法は、以下のステップS110~ステップS130を含む。
ステップS110では、目標機能の所在状態を決定する。
ここで、目標機能は、デバイスのいずれかの機能であってもよい。
典型的には、目標機能は、スマートスピーカーのウェイクフリー機能である。
目標機能の所在状態は、動作状態であってもよいし、オフ状態であってもよい。
ステップ120では、ローカル画面に対するユーザの注視操作を検出する。
ここで、ローカル画面とは、目標機能が属するデバイス画面である。
ローカル画面に対するユーザの注視操作とは、ユーザがローカル画面を注視する操作である。
ステップ130では、注視操作情報及び目標機能の状態情報に基づいて、目標機能の状態切り替えを制御する。
ここで、ローカル画面に対するユーザの注視操作に基づいて取得できる注視操作情報は、ユーザがローカル画面を注視しているか否かということ、及びユーザがローカル画面を注視している時間などを含む。
目標機能の状態情報とは、目標機能が動作状態又はオフ状態にある情報である。
状態切り替えは、動作状態からオフ状態への切り替え、又はオフ状態から動作状態への切り替えを含む。
具体的には、注視操作情報及び目標機能の状態情報に基づいて、目標機能の状態切り替えを制御するステップは、目標機能の状態情報がオフ状態であり、且つユーザがローカル画面を注視している持続時間が注視期間を超えた場合、目標機能をオフ状態から動作状態に切り替えるステップと、目標機能の状態情報が動作状態であり、且つユーザの注視点がローカル画面から離れた持続時間が離れ期間を超えた場合、目標機能を動作状態からオフ状態に切り替えるステップとを含む。
本実施例においては、以下の有益な効果を達成することができる。
ローカル画面に対するユーザの注視操作に基づいて、目標機能の状態切り替えに対するユーザのニーズを識別し、ユーザのニーズ状態及び目標機能の所在状態に基づいて、前記目標機能の状態切り替えを行う。これにより、目標機能状態の自動的かつ柔軟な制御を実現し、異なるユーザのパーソナライズニーズを満たすことができる。
さらに、注視操作情報及び目標機能の状態情報に基づいて、目標機能の状態切り替えを制御するステップは、目標機能の状態情報がオフ状態であり、且つ目標機能がアクティブオフである場合、ユーザがローカル画面を注視している持続時間を決定するステップと、持続時間が第3の期間を超えた場合、目標機能をオフ状態から動作状態に切り替えるステップとを含む。
ここで、アクティブオフとは、ユーザがオフ命令を送信することによってトリガされたオフではなく、デバイスが自動的にトリガするオフである。
また、第3の期間とは、ユーザが目標機能をオンにする必要がない場合、ユーザがローカル画面を注視している可能性のある最大期間である。
技術的特徴に基づいて、本実施例においては、以下の有益な効果を達成することができる。
ユーザがローカル画面を注視している持続時間に基づいて、目標機能に対するユーザのニーズを決定することができる。目標機能に対するユーザのニーズに基づいて、目標機能のアクティブオフ状態をウェイクアップし、目標機能の自動的なウェイクアップを実現することができる。
また、アクティブオフ状態が、ローカル画面に対するユーザの注視操作に基づいてトリガされるため、アクティブオフ状態は、通常、ユーザが一時的に目標機能をトリガする必要がない状態である。従って、アクティブオフ状態の自動的なウェイクアップは、ユーザの間欠的な使用ニーズを満たし、ユーザの体験を向上させることができる。
さらに、注視操作情報及び目標機能の状態情報に基づいて、目標機能の状態切り替えを制御するステップは、目標機能の状態情報がオフ状態であり、且つ目標機能がパッシブオフである場合、注視操作情報によるウェイクアップを拒否するように、目標機能をオフ状態に維持するように制御するステップを含む。ここで、パッシブオフは、ユーザのオフ命令に応答して切り替えられるオフ状態である。
技術的特徴に基づいて、本実施例においては、以下の有益な効果を達成することができる。
パッシブオフは、ユーザがオフ命令を使用してトリガするオフであり、通常、ユーザが長時間使用しない場合にオフをトリガするため、本実施例は、目標機能のパッシブオフ状態の自動的なウェイクアップを拒否することにより、目標機能の誤ウェイクアップを回避し、目標機能のウェイクアップの精度を向上させることができる。
(第2の実施例)
図2は、本出願の第2の実施例によって提供されるスマートデバイスの制御方法のフローチャートである。本実施例は、上記の実施例に基づいて提供される選択可能な技術案である。図2に示されるように、本実施例によって提供されるスマートデバイスの制御方法は、目標機能の所在状態を決定するステップS210と、ローカル画面に対するユーザの注視操作を検出するステップS220と、目標機能の状態情報が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、目標機能のオフ時間を遅延させるステップS230とを含む。
具体的には、目標機能の状態情報が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、目標機能のオフ時間を遅延させるステップは、目標機能の状態情報が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、決定された現在のオフ時間を設定された遅延期間だけ遅延させるステップを含む。
例えば、決定された現在のオフ時間が1分間後であり、目標機能の状態情報が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、現在のオフ時間を1分30秒後に遅延させる。
また、目標機能のオフ時間を遅延させるステップは、ユーザが最後にローカル画面を注視した時刻を起点として計時するステップと、計時結果が第1の期間を超えた場合、目標機能をアクティブにオフにするステップとを含んでいてもよい。
ここで、第1の期間とは、ユーザが目標機能をオフにする必要がある場合、ユーザの注視点がローカル画面から離れた最短期間である。
技術的特徴に基づいて、本実施例においては、以下の有益な効果を達成することができる。
ユーザが最後にローカル画面を注視した時刻を起点として計時し、計時結果が第1の期間を超えた場合、目標機能をアクティブにオフにすることにより、ユーザの注視点がローカル画面から離れた期間が第1の期間を超えた場合、ユーザのニーズが目標機能のオフであると決定し、目標機能をオフにし、ユーザのニーズを満たすことができる。
時間増やしに対するユーザの感知を向上させるために、ユーザがローカル画面を注視し始めることが検出された場合、時間増やし文字及び時間増やしアニメーションを表示する。
ユーザがローカル画面を注視している期間が設定された注目期間を超えることが検出された場合、目標機能がオフになるまで、時間増やし文字の表示をオフにし、時間増やしアニメーションだけを表示する。
本実施例においては、以下の有益な効果を達成することができる。
目標機能が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、目標機能のオフ時間を遅延させることにより、目標機能が動作状態である場合、ユーザが画面を注視していれば、ユーザが目標機能を使用し続けるというニーズがあると決定し、目標機能のオフ時間を遅延させ、ユーザのニーズを満たすことができる。
(第3の実施例)
本実施例は、上記の実施例に基づいて、目標機能がスマートスピーカーのウェイクアップフリー機能である場合を例として提供される選択可能な技術案である。本実施例によって提供されるスマートデバイスの制御方法は、ウェイクアップフリー機能のオフ時間の時間増やし、及びウェイクアップフリー機能のウェイクアップを実現することができる。
ここで、ウェイクアップフリー機能のオフ時間の時間増やしを以下のように説明することができる。
ウェイクアップフリー機能が動作状態である場合、ユーザがスマートスピーカーの画面を注視していることが検出されたとき、オフ時間を設定する計時を再び行い、ユーザがスマートスピーカーの画面を持続的に注視している場合、オフ時間を設定する計時を、ユーザの目付きが最後に検出された時刻から開始し、計時が完了した後、ウェイクアップフリー機能をオフにする。
ウェイクアップフリー機能のウェイクアップを以下のように説明することができる。
ウェイクアップフリー機能がオフ状態である場合、ユーザがスマートスピーカーの画面を注視していることが検出されたとき、ウェイクアップフリー機能を再びウェイクアップする。
デバイスがユーザの目付きを検出することに成功した場合、ウェイクアップフリー機能を明確に区別するために、図3に示されるように、ウェイクアップフリー機能のオフ時間の時間増やしがトリガされたとき、区別のために時間増やしアニメーション301及び時間増やし文字302を表示する。
図4に示されるように、ユーザがスマートスピーカーの画面を持続的に注視している場合、ウェイクアップフリー機能がオフになるまで、時間増やし文字を持続的に表示する必要がなく、時間増やしアニメーションだけを表示する。
タッチインタラクション衝突処理について、従来の、タッチするとウェイクアップフリー機能を終了可能な原則に従い、この後に目付き識別に応答せず、次回ユーザがアクティブに音声でカラー小度をウェイクアップするまで、目付きによる時間増やし及びウェイクアップをサポートしない。
本実施例の技術案は、スマートスピーカーで新たなヒューマンマシンインタラクション能力を探索することにより、目付き識別とウェイクアップフリー機能との組み合わせ、ウェイクアップフリー機能の動作状態の時間増やし、オフ状態のウェイクアップを実現し、ユーザにより自然なインタラクション能力を提供する。
(第4の実施例)
図5は本出願の第4の実施例によって提供されるスマートデバイスの制御装置の構成概略図である。本実施例によって提供されるスマートデバイスの制御装置500は、状態決定モジュール501、操作検出モジュール502及び状態切り替えモジュール503を備える。
状態決定モジュール501は、目標機能の所在状態を決定するように構成される。
操作検出モジュール502は、ローカル画面に対するユーザの注視操作を検出するように構成される。
状態切り替えモジュール503は、注視操作情報及び目標機能の状態情報に基づいて、目標機能の状態切り替えを制御するように構成される。
本出願の技術案は、以下の有益な効果を達成することができる。ローカル画面に対するユーザの注視操作に基づいて、目標機能の状態切り替えに対するユーザのニーズを識別し、ユーザのニーズ状態及び目標機能の所在状態に基づいて、目標機能の状態切り替えを行う。これにより、目標機能状態の自動的かつ柔軟な制御を実現し、異なるユーザのパーソナライズニーズを満たすことができる。
さらに、状態切り替えモジュールは、目標機能の状態情報が動作状態である場合、ユーザがローカル画面を注視していることが検出されたとき、目標機能のオフ時間を遅延させるように構成される状態切り替えユニットを含む。
さらに、状態切り替えユニットは、具体的には、ユーザが最後にローカル画面を注視した時刻を起点として計時し、計時結果が第1の期間を超えた場合、目標機能をアクティブにオフにするように構成される。
さらに、ユーザがローカル画面を注視し始めることが検出された場合、時間増やし文字及び時間増やしアニメーションを表示する。
さらに、状態切り替えモジュールは、目標機能の状態情報がオフ状態であり、且つ目標機能がアクティブオフである場合、ユーザが前記ローカル画面を注視している持続時間を決定するように構成される時間決定ユニットと、持続時間が第3の期間を超えた場合、目標機能をオフ状態から動作状態に切り替えるように構成される状態切り替えユニットとを備えている。
さらに、状態切り替えモジュールは、目標機能の状態情報がオフ状態であり、且つ目標機能がパッシブオフである場合、注視操作情報によるウェイクアップを拒否するように、目標機能をオフ状態に維持するように制御するように構成される状態制御ユニットを備えている。ここで、パッシブオフは、ユーザのオフ命令に応答して切り替えられるオフ状態である。
本実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
図6に示されるように、本出願の実施例に係るスマートデバイスの制御方法の電子機器のブロック図である。図6に示されるように、電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークベンチ、携帯情報端末、サーバ、ブレードサーバ、メインフレームコンピュータ、およびその他の適切なコンピュータなど、さまざまな形式のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、その他の同様のコンピューティングデバイスなど、さまざまな形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続および関係、およびそれらの機能は単なる例であり、本明細書で説明および/または必要とされる本出願の実現を限定することを意図するものではない。
図6に示されるように、電子機器は、少なくとも一つのプロセッサ601、メモリ602、および高速インターフェイスおよび低速インターフェイスを含む様々なコンポーネントを接続するためのインターフェイスを備える。さまざまなコンポーネントは、異なるバスを使用して相互接続され、共通のマザーボードに取り付けられるか、必要に応じて取り付けられてもよい。プロセッサは、外部入力/出力デバイス(例えば、インターフェイスに結合されたディスプレイデバイス)にGUIのグラフィカル情報を表示するためにメモリに格納された命令を含む、電子機器内で実行される命令を処理することができる。他の実施例では、必要に応じて、複数のプロセッサおよび/または複数のバスを複数のメモリとともに使用することができる。同様に、複数の電子機器を接続し、それぞれの電子機器が必要な操作(例えば、サーバアレイ、1グループのブレードサーバ、マルチプロセッサシステム)の一部を提供できます。図6では、1つのプロセッサ601を一例に挙げている。
メモリ602は、本出願によって提供される非一時的なコンピュータ読み取り可能な記憶媒体である。メモリは、少なくとも1つのプロセッサによって実行可能な命令を格納し、その結果、少なくとも1つのプロセッサは、本出願に係るスマートデバイスの制御方法を実行する。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、本出願によって提供されるスマートデバイスの制御方法をコンピュータに実行させるためのコンピュータ命令を格納する。
メモリ602は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラム、および本出願の実施例のスマートデバイスの制御方法に対応するプログラム命令/モジュール(例えば、図5に示される状態決定モジュール501、操作検出モジュール502、および状態切り替えモジュール503)を格納することができる。プロセッサ601は、メモリ602に格納された非一時的なソフトウェアプログラム、命令、およびモジュールを実行することにより、サーバの様々な機能的アプリケーションおよびデータ処理を実行し、すなわち、上記の実施例におけるスマートデバイスの制御方法を実現する。
メモリ602は、ストレージプログラム領域およびストレージデータ領域を含むことができ、ストレージプログラム領域は、少なくとも一つの機能に必要なオペレーティングシステムおよびアプリケーションプログラムを格納することができる。ストレージデータ領域は、スマートデバイスの制御電子機器の使用に基づいて作成されたデータを格納することができる。また、メモリ602は、高速ランダムアクセスメモリを含むことができ、少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一時的な固体記憶装置などの非一時的なメモリも含むことができる。いくつかの実施例では、メモリ602は、プロセッサ601に対して遠隔に配置されたメモリを選択可能に含むことができ、これらの遠隔メモリは、ネットワークを介してスマートデバイスの制御電子機器に接続されることができる。上記のネットワークの一例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、およびそれらの組み合わせを含むが、これらに限定されない。
スマートデバイスの制御方法の電子機器は、入力装置603および出力装置604をさらに備えることができる。プロセッサ601、メモリ602、入力装置603、および出力装置604は、バスまたは他の方式を介して接続することができ、図6では、バスを介した接続を一例として挙げている。
入力装置603は、入力された数字または文字情報を受信し、スマートデバイスの制御方法の電子機器のユーザ設定および機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパネル、タッチパネル、ポインティングスティック、少なくとも一つのマウスボタン、トラックボール、ジョイスティックなどの入力デバイス電子機器。出力装置604は、表示装置、補助照明装置(例えば、LED)、触覚フィードバック装置(例えば、振動モータ)などを備えていてもよい。表示装置は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、およびプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施例では、表示装置はタッチスクリーンであってもよい。
本明細書で説明されるシステムおよび技術の様々な実施形態は、デジタル電子回路、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現され得る。これらの様々な実施例は、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および/または解釈可能な少なくとも一つのコンピュータプログラムで実装されてもよく、当プログラマブルプロセッサは、ストレージシステム、少なくとも一つの入力装置、および少なくとも一つの出力装置からデータおよび命令を受信し、データおよび命令をストレージシステム、少なくとも一つの入力装置、および少なくとも一つの出力装置に送信することができる専用または汎用のプログラマブルプロセッサであってもよい。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードともいう)は、プログラマブルプロセッサの機械命令を含み、されに高レベルの手続き型および/またはオブジェクト指向プログラミング言語、および/またはアセンブリ/機械言語を用いてこれらのコンピューティングプログラムを実施することができる。本明細書で使用される「機械読み取り可能な媒体」および「コンピュータ読み取り可能な媒体」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および/または装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD)を指し、機械読み取り可能な信号としての機械命令を受信する機械読み取り可能な媒体を含む、「機械読み取り可能な信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するための信号を指す。
ユーザとのインタラクションを提供するために、本明細書に記載のシステムおよび技術は、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニター)と、キーボードおよびポインティング装置(例えば、マウスまたはトラックボール)とを有するコンピュータで実施されてもよく、ユーザはキーボードおよびポインティング装置を介してコンピュータに入力を提供できる。他の種類の装置を使用してユーザとのインタラクションを提供することもできる。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、任意の形式(例えば、音響入力、音声入力、または触覚入力)を用いてユーザからの入力を受信することができる。
本明細書に記載のシステムおよび技術の実施は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとして)、またはミドルコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、またはフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインターフェイスまたはWebブラウザを備えたユーザコンピュータ。ユーザは、グラフィカルユーザインターフェイスまたはWebブラウザを介して、ここで説明されるシステムおよび技術の実施形態とインタラクションできる)、またはこのようなバックエンドコンポーネント、ミドルコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。デジタルデータ通信の任意の形式または媒体(例えば、通信ネットワーク)によってシステムのコンポーネントを相互接続してもよい。通信ネットワークの一例は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、およびインターネットを含む。
コンピュータシステムは、クライアント側とサーバとを含むことができる。一般的に、クライアント側とサーバとは互いに離れており、通常は通信ネットワークを介してインタラクションする。それぞれのコンピュータで実行され且つ互いにクライアント側とサーバとの関係を持つコンピュータプログラムによってクライアントとサーバとの関係を生成する。
なお、上記のさまざまな形態のプロセスを使用して、ステップを並べ替え、追加、または削除できることを理解されたい。例えば、本出願で説明されている各ステップは、並列、順次、または異なる順序で実行できる。本出願で開示された技術的解決策の望ましい結果が達成できれば、本明細書は、ここで限定しない。
上記の具体的な実施形態は、本出願の保護範囲を制限しない。設計要件および他の要因に応じて、さまざまな修正、組み合わせ、サブ組み合わせ、および置き換えを行うことができることを当業者は理解するべきである。本出願の思想および原則の範囲内で行われた修正、同等の置き換え、および改善は、いずれも本出願の保護範囲に含まれるものとする。

Claims (10)

  1. 目標機能の状態情報を決定するステップであって、前記目標機能の状態情報が、前記目標機能が動作状態又はオフ状態であることを指すステップと、
    ローカル画面に対するユーザの注視操作を検出するステップと、
    注視操作情報及び目標機能の状態情報並びに前記目標機能の状態情報をオフ状態にさせる前記目標機能のオフ方式に基づいて、前記目標機能の状態切り替えを制御するステップと、
    を含み、
    前記目標機能のオフ方式が、アクティブオフ及びパッシブオフに分けられ、
    前記アクティブオフが、ローカル画面に対するユーザの注視操作によりオフがトリガされる方式であり、
    前記パッシブオフが、ユーザがオフ命令を送信することによりオフがトリガされる方式であり、
    前記注視操作情報及び前記目標機能の前記状態情報に基づいて、前記目標機能の状態切り替えを制御するステップが、
    前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能のオフ方式がアクティブオフである場合、前記ユーザが前記ローカル画面を注視している持続時間を決定するステップと、
    前記持続時間が第3の期間を超えた場合、前記目標機能をオフ状態から動作状態に切り替えるステップと、
    前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能がパッシブオフである場合、前記注視操作情報によるウェイクアップを拒否するように、前記目標機能をオフ状態に維持するように制御するステップと、
    を含み、
    前記パッシブオフは、前記ユーザのオフ命令に応答して切り替えられたオフ状態である、スマートデバイスの制御方法。
  2. 前記注視操作情報及び前記目標機能の前記状態情報に基づいて、前記目標機能の状態切り替えを制御するステップは、
    前記目標機能の前記状態情報が動作状態である場合、前記ユーザがローカル画面を注視していることが検出されたとき、前記目標機能のオフ時間を遅延させるステップを含む請求項1に記載のスマートデバイスの制御方法。
  3. 前記目標機能のオフ時間を遅延させるステップは、
    前記ユーザが最後に前記ローカル画面を注視した時刻を起点として計時するステップと、
    計時結果が第1の期間を超えた場合、前記目標機能をアクティブにオフにするステップとを含む請求項2に記載のスマートデバイスの制御方法。
  4. 前記ユーザが前記ローカル画面を注視し始めることが検出された場合、前記ユーザに前記目標機能の前記オフ時間が遅延されることを通知する文字及びアニメーションを表示する請求項2に記載のスマートデバイスの制御方法。
  5. 目標機能の状態情報を決定する状態決定モジュールであって、前記目標機能の状態情報が、前記目標機能が動作状態又はオフ状態であることを指す状態決定モジュールと、
    ローカル画面に対するユーザの注視操作を検出する操作検出モジュールと、
    注視操作情報及び目標機能の状態情報並びに前記目標機能の状態情報をオフ状態にさせる前記目標機能のオフ方式に基づいて、前記目標機能の状態切り替えを制御する状態切り替えモジュールと、
    を備え、
    前記目標機能のオフ方式が、アクティブオフ及びパッシブオフに分けられ、
    前記アクティブオフが、ローカル画面に対するユーザの注視操作によりオフがトリガされる方式であり、
    前記パッシブオフが、ユーザがオフ命令を送信することによりオフがトリガされる方式であり、
    前記状態切り替えモジュールが、
    前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能のオフ方式がアクティブオフである場合、前記ユーザが前記ローカル画面を注視している持続時間を決定する時間決定ユニットと、
    前記持続時間が第3の期間を超えた場合、前記目標機能をオフ状態から動作状態に切り替える状態切り替えユニットと、
    前記目標機能の前記状態情報がオフ状態であり、且つ前記目標機能がパッシブオフである場合、前記注視操作情報によるウェイクアップを拒否するように、前記目標機能をオフ状態に維持するように制御する状態制御ユニットと、
    を備え、
    前記パッシブオフは、前記ユーザのオフ命令に応答して切り替えられたオフ状態である、スマートデバイスの制御装置。
  6. 前記状態切り替えモジュールは、
    前記目標機能の前記状態情報が動作状態である場合、前記ユーザが前記ローカル画面を注視していることが検出されたとき、前記目標機能のオフ時間を遅延させる状態切り替えユニットを備える請求項に記載のスマートデバイスの制御装置。
  7. 前記状態切り替えユニットは、具体的には、
    前記ユーザが最後に前記ローカル画面を注視した時刻を起点として計時し、計時結果が第1の期間を超えた場合、前記目標機能をアクティブにオフにする請求項に記載の装置。
  8. 前記ユーザが前記ローカル画面を注視し始めることが検出された場合、前記ユーザに前記目標機能の前記オフ時間が遅延されることを通知する文字及びアニメーションを表示する請求項に記載のスマートデバイスの制御装置。
  9. 少なくとも1つのプロセッサと、
    少なくとも1つの該プロセッサに通信可能に接続されるメモリとを備え、
    該メモリに少なくとも1つの前記プロセッサにより実行可能な命令が記憶されており、該命令が少なくとも1つの前記プロセッサによって実行されることにより、少なくとも1つの前記プロセッサが請求項1から請求項のいずれかに記載のスマートデバイスの制御方法を実行可能である電子機器。
  10. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、請求項1から請求項のいずれかに記載のスマートデバイスの制御方法をコンピュータに実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
JP2019238692A 2019-09-27 2019-12-27 スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体 Active JP7231535B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910927956.9A CN112584280B (zh) 2019-09-27 2019-09-27 智能设备的控制方法、装置、设备和介质
CN201910927956.9 2019-09-27

Publications (2)

Publication Number Publication Date
JP2021056987A JP2021056987A (ja) 2021-04-08
JP7231535B2 true JP7231535B2 (ja) 2023-03-01

Family

ID=69055711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019238692A Active JP7231535B2 (ja) 2019-09-27 2019-12-27 スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US11126260B2 (ja)
EP (1) EP3798800A1 (ja)
JP (1) JP7231535B2 (ja)
KR (1) KR20210037501A (ja)
CN (1) CN112584280B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN114268809B (zh) * 2021-12-31 2024-05-28 广州方硅信息技术有限公司 直播间内的公屏控制方法、装置、计算机设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114691A (ja) 2011-11-29 2013-06-10 Samsung Electronics Co Ltd 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
JP2013140540A (ja) 2012-01-06 2013-07-18 Kyocera Corp 電子機器

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US20020008716A1 (en) * 2000-07-21 2002-01-24 Colburn Robert A. System and method for controlling expression characteristics of a virtual agent
US7222042B2 (en) * 2002-10-31 2007-05-22 Finisar Corporation System and method of measuring turn-on and turn-off times of an optoelectronic device
US7233684B2 (en) * 2002-11-25 2007-06-19 Eastman Kodak Company Imaging method and system using affective information
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
DK1607840T3 (da) * 2004-06-18 2015-02-16 Tobii Technology Ab Øjenstyring af et computerapparat
KR100622234B1 (ko) * 2004-12-24 2006-09-19 엘지전자 주식회사 디지털 영상 처리 시스템의 플러그 앤 플레이 장치 및 방법
US7835498B2 (en) * 2005-02-18 2010-11-16 Koninklijke Philips Electronics N. V. Automatic control of a medical device
JP4926416B2 (ja) * 2005-06-15 2012-05-09 キヤノン株式会社 画像表示方法、プログラム、記録媒体及び画像表示装置
US8022989B2 (en) * 2005-08-17 2011-09-20 Palo Alto Research Center Incorporated Method and apparatus for controlling data delivery with user-maintained modes
US8209620B2 (en) * 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
JP5091180B2 (ja) * 2009-03-27 2012-12-05 ソニーモバイルコミュニケーションズ, エービー 携帯端末装置
EP2441383B1 (en) * 2009-06-08 2015-10-07 Panasonic Intellectual Property Corporation of America Gaze target determination device and gaze target determination method
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
EP2618626B1 (en) * 2010-09-13 2018-05-23 Taiwan Semiconductor Manufacturing Company, Ltd. Mobile terminal and method for controlling operation thereof
EP2691856A1 (en) * 2011-03-31 2014-02-05 AOL Inc. Systems and methods for transferring application state between devices based on gestural input
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
CN102779502A (zh) * 2011-05-11 2012-11-14 中兴通讯股份有限公司 一种控制终端屏幕的方法及终端
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
JP5767403B2 (ja) * 2011-05-31 2015-08-19 フラウンホーファー・ゲゼルシャフト・ツール・フェルデルング・デア・アンゲヴァンテン・フォルシュング・エー・ファウ 双方向ディスプレイおよびその制御方法
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN104040460B (zh) * 2011-10-18 2016-12-14 恩贝尔技术控股有限公司 Pc功率监视
DK2587341T3 (en) * 2011-10-27 2017-04-03 Tobii Ab Power management in an eye tracking system
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
US9071727B2 (en) * 2011-12-05 2015-06-30 Cisco Technology, Inc. Video bandwidth optimization
CN104145230A (zh) * 2011-12-23 2014-11-12 汤姆逊许可公司 带有功耗管理的计算机设备和管理计算机设备功耗的方法
CN103186609A (zh) * 2011-12-30 2013-07-03 深圳富泰宏精密工业有限公司 使用电子装置时缓解视觉疲劳的系统及方法
JP5306489B2 (ja) * 2012-01-06 2013-10-02 株式会社東芝 端末、プログラムおよび機器操作制御方法
US20150050629A1 (en) * 2012-02-24 2015-02-19 David Pease System and method for providing physical and mental stimulus
US9002768B2 (en) * 2012-05-12 2015-04-07 Mikhail Fedorov Human-computer interface system
US9594500B2 (en) * 2012-06-27 2017-03-14 sigmund lindsay clements Touch Free hygienic display control panel for a smart toilet
US9040923B2 (en) * 2012-09-04 2015-05-26 Innovega, Inc. Eye tracking system and related methods
WO2014125380A2 (en) * 2013-02-14 2014-08-21 The Eye Tribe Aps Systems and methods of eye tracking calibration
KR102093198B1 (ko) * 2013-02-21 2020-03-25 삼성전자주식회사 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
US9619020B2 (en) * 2013-03-01 2017-04-11 Tobii Ab Delay warp gaze interaction
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US10017114B2 (en) * 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
KR20150108216A (ko) * 2014-03-17 2015-09-25 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
JP6644699B2 (ja) * 2014-03-19 2020-02-12 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US9568997B2 (en) * 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
JP6241356B2 (ja) * 2014-04-08 2017-12-06 富士通株式会社 電子機器及び情報表示プログラム
JP6488687B2 (ja) * 2014-04-10 2019-03-27 富士通株式会社 機能拡張方法、機能拡張プログラム、及び端末装置
KR102244620B1 (ko) * 2014-09-05 2021-04-26 삼성전자 주식회사 렌더링 수준 제어 방법 및 장치
US9288303B1 (en) * 2014-09-18 2016-03-15 Twin Harbor Labs, LLC FaceBack—automated response capture using text messaging
KR102337682B1 (ko) * 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102314650B1 (ko) * 2014-11-28 2021-10-19 삼성전자주식회사 사용자의 진단 의도에 기초한 컴퓨터 보조 진단 장치 및 방법
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
WO2016138178A1 (en) * 2015-02-25 2016-09-01 Brian Mullins Visual gestures for a head mounted device
US10007352B2 (en) * 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
CN105549739A (zh) * 2015-12-10 2016-05-04 魅族科技(中国)有限公司 一种屏幕亮屏方法及终端
US20170242471A1 (en) * 2016-02-24 2017-08-24 Le Holdings (Beijing) Co., Ltd. Method for controlling standby state and electronic device
US10394316B2 (en) * 2016-04-07 2019-08-27 Hand Held Products, Inc. Multiple display modes on a mobile device
EP3499852B1 (en) * 2016-09-09 2021-03-24 Huawei Technologies Co., Ltd. Method and device for controlling screen of mobile terminal
CN108008804A (zh) * 2016-10-28 2018-05-08 腾讯科技(深圳)有限公司 智能设备的屏幕控制方法及装置
CN107885534B (zh) * 2017-10-23 2021-02-02 深圳市金立通信设备有限公司 一种锁屏方法、终端及计算机可读介质
US10845872B2 (en) * 2018-02-09 2020-11-24 Ricoh Company, Ltd. Eye-gaze tracker, eye-gaze tracking method, and recording medium
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法
JP7119588B2 (ja) * 2018-05-30 2022-08-17 京セラドキュメントソリューションズ株式会社 画像形成装置及び装置状態移行プログラム
CN109788138A (zh) * 2019-02-01 2019-05-21 Oppo广东移动通信有限公司 屏幕控制方法、装置、终端及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114691A (ja) 2011-11-29 2013-06-10 Samsung Electronics Co Ltd 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
JP2013140540A (ja) 2012-01-06 2013-07-18 Kyocera Corp 電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
au HTC J butterfly HTL23 取扱説明書 詳細版,第76ページ,2014年8月,KDDI(株)他,インターネット<URL,https://www.au.com/content/dam/au-com/static/designs/app/publish/torisetsu/pdf/htl23_torisetsu_shousai.pdf>

Also Published As

Publication number Publication date
EP3798800A1 (en) 2021-03-31
CN112584280B (zh) 2022-11-29
JP2021056987A (ja) 2021-04-08
KR20210037501A (ko) 2021-04-06
US20210096642A1 (en) 2021-04-01
CN112584280A (zh) 2021-03-30
US11126260B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
US9880606B2 (en) Method and apparatus for wake-up control of intelligent terminal
US9921631B2 (en) Methods and apparatus for saving power
US10445132B2 (en) Method and apparatus for switching applications
CN107231679B (zh) 一种数据包处理方法及移动终端
US20150058651A1 (en) Method and apparatus for saving battery of portable terminal
WO2019019835A1 (zh) 响应黑屏手势的方法、装置、存储介质及移动终端
US20200242004A1 (en) Method for Processing Refresh and Display Exceptions, and Terminal
WO2021109875A1 (zh) 实现游戏应用的方法、装置、存储介质及电子设备
JP7231535B2 (ja) スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体
EP3799040A1 (en) Speech recognition control method and apparatus, electronic device and readable storage medium
EP3796308A1 (en) Speech recognition control method and apparatus, electronic device and readable storage medium
WO2023045885A1 (zh) 同步方法和装置
WO2017206918A1 (zh) 终端加速唤醒方法以及相关产品
US20210097991A1 (en) Speech control method and apparatus, electronic device, and readable storage medium
EP4191408A1 (en) Method for accelerating launching of application, electronic device, and computer storage medium
JP7257434B2 (ja) 音声対話方法、音声対話デバイス、電子デバイス、記憶媒体及びコンピュータプログラム製品
US10871875B2 (en) Cursor identification on an IHS display
TWI597659B (zh) 開啟顯示器前更新欲顯示內容的處理方法、模塊及其電子裝置
CN113885734B (zh) 一种基于集成式led显示屏的控制方法
CN111026259A (zh) 移动终端的控制方法、装置及存储介质
CN105677041B (zh) 屏幕的显示控制方法及装置
CN109445566B (zh) Otg节电处理方法、系统、存储介质及移动终端
CN117407130A (zh) 应用管控方法、装置、电子设备及计算机可读存储介质
CN111966568A (zh) 一种提示方法、装置以及电子设备
CN116820589A (zh) 一种控制方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210601

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220131

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220202

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220401

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220419

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220628

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220802

C28A Non-patent document cited

Free format text: JAPANESE INTERMEDIATE CODE: C2838

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221227

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230124

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230216

R150 Certificate of patent or registration of utility model

Ref document number: 7231535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150