JP7457834B2 - リモートコントロールシステム - Google Patents

リモートコントロールシステム Download PDF

Info

Publication number
JP7457834B2
JP7457834B2 JP2022562133A JP2022562133A JP7457834B2 JP 7457834 B2 JP7457834 B2 JP 7457834B2 JP 2022562133 A JP2022562133 A JP 2022562133A JP 2022562133 A JP2022562133 A JP 2022562133A JP 7457834 B2 JP7457834 B2 JP 7457834B2
Authority
JP
Japan
Prior art keywords
gesture
input
unit
output
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022562133A
Other languages
English (en)
Other versions
JP2023529529A (ja
Inventor
ビュンス キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2023529529A publication Critical patent/JP2023529529A/ja
Application granted granted Critical
Publication of JP7457834B2 publication Critical patent/JP7457834B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)

Description

本発明はリモートコントロールシステムに関し、より詳細にはジェスチャーを介して動作または機能を実行または制御することができるリモートコントロールシステムに関する。
本明細書に別段の指示がない限り、このセクションに記載されている内容は、本出願の特許請求の範囲の先行技術ではなく、このセクションに含まれることによって先行技術と認められるものではない。
最近の技術が発展しつつ、スマートTV、スマートフォン、AR、VR機器と双方向ゲーム機、スマート家電、スマートホームオートメーション、自動車のスマート化と電装化など列挙するのが難しいほど多様な分野で数多くの電子機器が出てきており、または非常に多様で多くの機能を提供しています。
しかし、多様で多くの電子機器とその機能が非常に増えているのに比べて、これらの機能を遠距離で快適に動作させるリモートコントロール方式は大きく発展していない。いまだに最も多く用いられるリモートコントロール方式は、リモートコントローラーに各機能に対応するボタンがあり、所望の機能のボタンを押すと、それに対応する信号を電子機器が受信し、制御部が認識して当該機能を実行させる方式として実行されます。このボタン式リモートコントローラーを利用する方式は、提供する機能数だけのボタンをリモートコントローラーに備え、ユーザーが容易に該当機能のボタンを選択して押すと最高の利便性を提供することになる。しかし、少ない数の機能だけを持った時はそれが可能だったが、今のような速度の技術発展の時期ではボタン式リモートコントローラーを利用する方式は数多くのボタンを備えなければならないので大きくなり重くなり持ち運びが難しくなり、また、ユーザーが多数のボタンの中で所望の機能を見つけて実行させることは難しいことになり利便性を失うことになる。これまでの状況では、カラオケマシンのリモートコントローラーは、ユーザーが理解し商業的に利用できる最も多くのボタンを持つリモートコントローラーと見なされます。
そこで、これを克服するためにボタン式リモートコントローラーを利用する方式で導入したのが4方向のボタンと確認ボタンを導入し、実行する機能を画面に見せて選択と実行させることである。例えば、現在スマートTVの場合、画面上の複数のアプリ(app)の中から特定のアプリを選択して実行させたり、特定の動画を再生、停止させたり、TVホームショッピングで購入をする場合にすぐに対応するボタンがないので、4方向のボタンで画面上に表示された機能を探して選択し、確認ボタンを押して実行をさせるのだ。
しかし、この4方向ボタンをたくさん押し続け、最終的に選択して確認ボタンを押す自体がすでにユーザーの利便性を下げているのだ。さらに、将来の機能が追加されるにつれて、画面上の機能を見つけるために、ユーザーは4方向矢印ボタンと確認ボタンを押し続け、ユーザーの利便性はさらに低くなります。
最近ではリモートコントローラーの代わりに、音声認識や３次元空間マウスのような方式も試みられているが、音声認識の場合、まだ必要なだけの認識率と速い応答性が見られず、実際に音声で命令して実行をさせるもの自体も面倒なことでもある。
そして、３次元空間マウスのような場合、ＰＣマウスのように素早く正確に選択して実行する応答性を見せることができず、大幅に商用化ができていない。
したがって、現在だけでなく、今後技術発展を通じて作ることができる多くの機能を遠距離で快適かつ容易に実行しながら同時に迅速な反応性を持つユーザーの利便性が増大した新しいリモートコントロールシステムの必要性が台頭している。
これに関して、大韓民国公開特許第１０―２０１０―０１３１２１３号では、ジェスチャーベースのリモートコントロールシステムを開示する。ジェスチャーベースのリモコンシステムは、カメラモジュール(300)、イメージ認識モジュール(100)、無線送信機(400)、および主制御電子機器(200)を含む。イメージ認識モジュール(100)はカメラモジュール(300)に電気的に接続されている。無線送信機(400)はイメージ認識モジュール(100)に電気的に接続される。主制御電子機器(200)は、イメージ認識モジュール(100)に着脱可能に接続されている。主制御電子機器(200)はモニタ(202)を含む。モーション制御命令は、イメージ認識モジュール(100)を有するカメラモジュール(200)内でユーザーのイメージを認識することによって得られる。キー制御命令は、イメージ認識モジュール(100)によって、モーション制御命令およびキーコード情報から取得される。キー制御命令は、イメージ認識モジュール(100)によって無線送信機(400)に送信される。キー制御命令は、被制御電子機器を制御するために無線送信機によって被制御電子機器に送信される。
韓国特許公開第10-2010-0131213号(2010.12.15公開)
ジェスチャーを利用して、電子機器の多くの機能を遠距離で快適かつ容易に実行しながら同時に高速反応性を持つユーザーの利便性が増大した新しいリモートコントロールシステムを提供しようとする。
また、上述した技術的課題に限定されず、以下の説明から他の技術的課題が導出されてもよいことは自明である。
本発明の一実施形態に係るジェスチャーによって動作するリモートコントロールシステムにおいて、入力部及び出力部と、入力されるジェスチャーに対して相互にマッチングするジェスチャー情報が記憶される記憶部と、前記入力部、出力部又は記憶部少なくとも１つと電気的に接続され、ジェスチャー動作を認識および制御する制御部を含み、制御部は、入力部によって入力されたジェスチャーを認識し、認識されたジェスチャーを記憶部に記憶されたジェスチャー情報と、互いにマッチングし、マッチングされたジェスチャー情報に対応する動作を実行して出力部に出力する。
本発明の好ましい特徴によれば、前記制御部は、ユーザーが入力するジェスチャーに関する情報を前記出力部に出力することを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、前記出力部を介して出力される機能実行を目的とするグラフィックオブジェクトについて、それぞれのジェスチャーグラフィックを指定し、前記指定されたグラフィックオブジェクトとジェスチャーグラフィックに関する情報を前記入力部に入力されるジェスチャーについて相互マッチングするジェスチャー情報として記憶部に記憶し、前記グラフィックオブジェクトは、前記出力部を介して出力されるそれぞれのメニュー項目、アプリ実行アイコン、ストリーミングされている動画の中の特定の物や人、文字列、スライドバーの一部、イメージや写真の特定のものや人を含み、出力部に出力されるすべてのオブジェクトを対象とし、前記ジェスチャーグラフィックに対して、１つのジェスチャーグラフィックは、１つ以上のジェスチャーのみで構成されるか、または１つ以上の数字と１つ以上のジェスチャーの組み合わせで構成されることを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、前記出力部に出力された機能実行を目的とするグラフィックオブジェクトを通じて指定されない実行機能に対して、それぞれのジェスチャーグラフィックを指定し、前記指定した実行機能とジェスチャーグラフィックに関する情報は、入力部に入力されたジェスチャーと相互にマッチングするジェスチャー情報として記憶部に記憶される。
本発明の好ましい特徴によれば、前記制御部は、特定のジェスチャーが入力されると、現在出力部に出力されている機能実行を目的とする全てのグラフィックオブジェクトに対して指定された各ジェスチャーグラフィック全てを出力部に出力することを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、特定のジェスチャーが入力されると、グラフィックオブジェクトを用いて指定されない実行機能に対して指定されたジェスチャーグラフィックのうち、現在出力部の出力状況で実行可能な全ての機能と、これに対して指定されたジェスチャーグラフィックに対するマッピングリストを出力部に出力することを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、現在出力部に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィックの全てを、出力部にグラフィックオブジェクトと一緒に出力することを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、前記出力部を介して出力される機能実行を目的とするグラフィックオブジェクトと、これに対して指定されたジェスチャーグラフィックに対するジェスチャー情報と、前記グラフィックオブジェクトを用いて指定されない実行機能と、これらおよび指定されたジェスチャーグラフィックに関するジェスチャー情報を、サーバーおよびネットワークを介してリアルタイムでインストール、削除、修正、更新され、記憶部に記憶されることを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、前記入力部に入力される各ジェスチャー動作の軌跡を前記出力部に出力することを特徴とする。
本発明の好ましい特徴によれば、前記記憶部に記憶されるジェスチャー情報は、それぞれのアプリが有し、アプリの機能が実行されるとき、認識されたジェスチャーを相互にマッチングする際に用いるアプリ(App)ジェスチャーライブラリと、システムが有し、 システムの機能が実行とき、認識されたジェスチャーを相互にマッチングする際に 用いるシステム(System)ジェスチャーライブラリで構成され、
各ジェスチャーライブラリは、出力部に出力される機能実行を目的とするグラフィックオブジェクトとそれに指定されたジェスチャーグラフィックに関する情報をジェスチャー情報として格納するビジブル(Visible)ジェスチャーライブラリ部と、出力部に出力される機能実行を目的とするグラフィックオブジェクトを通じて指定されない実行機能と、これに指定されたジェスチャーグラフィックに関する情報をジェスチャー情報として格納するヒドゥン(Hidden)ジェスチャーライブラリ部で構成されることを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、前記アプリがインストールされると、前記出力部に出力されるアプリ実行アイコンと、続いて指定されるジェスチャーグラフィックは、システムジェスチャーライブラリに登録され、このアプリ実行アイコンに指定されるジェスチャーグラフィックは、アプリ制作者が指定したものを使用したり、制御部が推奨するものを使用したり、あるいはユーザーが望むものを使用することを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、１つ以上のアプリが実行され、その中で現在１つのアプリが選択されている場合、認識されたジェスチャーを相互マッチングする際に選択されたアプリジェスチャーライブラリを利用し、１つ以上のアプリが実行されていない場合、または１つ以上のアプリが実行されていてもアプリが選択されていない場合は、認識されたジェスチャーを相互にマッチングするためにシステムジェスチャーライブラリを使用することが特徴です。
本発明の好ましい特徴によれば、前記制御部は、前記アプリジェスチャーライブラリとシステムジェスチャーライブラリをサーバーとネットワークを介してリアルタイムにインストール、削除、修正、更新し、前記記憶部に記憶することを特徴とする。
本発明の好ましい特徴によれば、前記制御部は、前記入力部に特定ジェスチャーが入力となり、このジェスチャーが複数ジェスチャー入力信号であると判断されると、前記出力部に複数ジェスチャー入力状態であることを知らせる信号とジェスチャー入力を待つ信号を出力した後、入力されたジェスチャーを一つずつ入力され、前記記憶部に記憶し続ける過程を繰り返し、入力されたジェスチャーが複数ジェスチャー入力終了信号であると判断されると、前記記憶部にこれまで記憶された複数のジェスチャーを保存されたジェスチャー情報とマッチング判断して動作を実行することを特徴とする。
本発明の好ましい特徴によれば、前記ジェスチャーグラフィックに対して特定のジェスチャーが２回以上繰り返される複数のジェスチャーで指定された場合、前記制御部は、前記特定のジェスチャーを前記出力部に出力する際に、ジェスチャー数だけジェスチャーを繰り返し出力部に出力するか、あるいは１つのジェスチャーのみを出力し、繰り返されるジェスチャー回数数を添字で出力することを特徴とする。
本発明の好ましい特徴によれば、前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記制御部は、前記入力部の送信装置がジェスチャーなしでオン（Ｏｎ）信号を送信すると、現在出力部に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィックすべてを出力部に出力し、前記送信装置がジェスチャーなしでオン（Ｏｎ）信号を維持すると、ジェスチャーグラフィックが出力部に出力された状態を維持し、送信装置がＯｆｆ信号を送信すると、出力されたジェスチャーグラフィックが出力部から消えることを特徴とする。
本発明の好ましい特徴によれば、前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記制御部は、前記入力部の送信装置がジェスチャーなしで一定時間以内に、２回のオン（Ｏｎ）とオフ（Ｏｆｆ）信号を送信すると、前記出力部に複数ジェスチャー入力状態であることを知らせる信号とジェスチャー入力を待つ信号を出力した後、入力されるジェスチャーを一つずつ入力され、前記記憶部に記憶し続ける過程を繰り返し、前記入力部の送信装置がジェスチャーなしに再び一定時間以内に２回のオン（Ｏｎ）とオフ（Ｏｆｆ）信号を送信すると、前記記憶部にこれまでに記憶された複数のジェスチャーを記憶したジェスチャー情報と、マッチング判断して動作を実行することを特徴とする。
本発明の好ましい特徴によれば、前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記ジェスチャーグラフィックに対して特定ジェスチャーが一定時間以内に２回以上オン（Ｏｎ）及びＯｆｆ信号と共に送信されるマルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）ジェスチャーとして指定された場合、前記制御部は、前記出力部に出力する際、前記特定ジェスチャーの前に一定時間以内にオン（Ｏｎ）及びオフ信号が繰り返される回数を数字で出力することを特徴とする。
本発明の好ましい特徴によれば、前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記入力部に一定時間以内に２回以上のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号と共にジェスチャーが入力される場合、前記制御部は、前記入力された一定時間以内にオン（Ｏｎ）及びオフ（Ｏｆｆ）信号が繰り返された回数とジェスチャーを記憶されたジェスチャー情報とマッチング判断して動作を実行することを特徴とする。
本発明の実施形態によれば、従来のリモートコントロールシステムとは異なり、ユーザーが望む機能に対して直感的でありながら簡単かつ迅速な選択と実行を可能にするために画面上にある機能実行を目的とするアプリ実行アイコン、上映プレーヤーのプレイボタン、ホームショッピング放送の購入ボタンなどのグラフィックオブジェクトにそれぞれのジェスチャーを指定する。そして、ユーザーが特定のジェスチャーを取ると、上記の例のようなグラフィックオブジェクトに指定されたジェスチャーを画面上に表示する。これにより、ユーザーは、実行したい画面上のグラフィックオブジェクトに指定されたジェスチャーを知ることができる。そして、ユーザーがその中から一つのジェスチャーをとると、該当グラフィックオブジェクトに指定されている機能が実行される。これにより、本発明は、ＰＣマウスよりも直感的であり、容易かつ迅速に画面上の所望の機能を選択して実行することができるという利点を有する。
そして、追加的に、アプリ制作者やコンテンツプロバイダ（Content Provider）やシステム制作者などがサーバーとネットワークを通じて指定されるジェスチャーをリアルタイムでインストール、削除、追加、更新などを可能にすることで、既存の一度製造されると機能が固定されて新たに機能を追加させることができないリモートコントロールシステムとは異なり、いつでも新機能に新しいジェスチャー指定ができるという利点を持つ。
また、ボタンを含む送信機を構成する場合、多数のジェスチャーを各状況に柔軟に使用できるため、最小のボタンで構成してもユーザーの利便性を失わないという利点がある。
本発明の効果は上記の効果に限定されるものではなく、本発明の詳細な説明または特許請求の範囲に記載された発明の構成から推論可能な全ての効果を含むものと理解されるべきである。
本発明の一実施形態によるリモートコントロールシステムの構成図である。 本発明の一実施形態によるリモートコントロールシステムにおいて、入力部が送信機と受信機とからなることを示す構成図である。 本発明の一実施形態によるリモートコントロールシステムにおいて、ユーザーが入力するジェスチャーに関する情報を画面上に表示したことを示す図である。 本発明の一実施形態によるリモートコントロールシステムにおいて、画面上に表示されたグラフィックオブジェクトにジェスチャーグラフィックが指定され表示されていることを示す図である。 本発明の一実施形態によるリモートコントロールシステムにおいて、画面上のグラフィックオブジェクトを用いて指定されない実行機能に対して指定されたジェスチャーグラフィックのマッピングリストである。 本発明の一実施形態によるリモートコントロールシステムにおいて、ジェスチャー情報をサーバーとネットワークを介してインストール、削除、修正、更新するための構成図である。 本発明の一実施形態によるリモートコントロールシステムにおいて、アプリとシステムがそれぞれのジェスチャーライブラリを有し、各ジェスチャーライブラリがビジブルライブラリ部とヒドゥンライブラリ部とから構成されている。になるものの写真。 本発明の一実施形態によるリモートコントロールシステムにおいて、各アプリジェスチャーライブラリとシステムジェスチャーライブラリがそれぞれのサーバーとネットワークを介してインストール、削除、修正、更新する状況を示す図である。
以下、添付の図面を参照して、好ましい実施形態によるリモートコントロールシステムの構成、動作および作用効果について説明する。参考までに、以下の図では、各構成要素は、便宜および明確性のために省略または概略的に示されており、各構成要素のサイズは実際のサイズを反映していない。なお、明細書全体にわたって同一符号は同一構成要素を指し、個々の図面において同一構成に対する符号は省略する。
図１は、本発明の一実施形態によるジェスチャーによって動作するリモートコントロールシステム(100)の概念的な構成図である。入力部(110)及び出力部(120)と、入力されるジェスチャーに対して相互にマッチングするジェスチャー情報が記憶される記憶部(130)と、入力部(110)、出力部(120)又は記憶部(130)のうち、少なくとも１つと電気的に接続されてジェスチャー動作を認識および制御する制御部(140)を含み、制御部(140)は、入力部(110)によって入力されたジェスチャーを認識し、認識されたジェスチャーを含む。記憶部(130)に記憶されたジェスチャー情報と相互にマッチングし、マッチングされたジェスチャー情報に対応する動作を実行して出力部(120)に出力する。
入力部110は、本開示の一実施形態によるカメラベースのリモートコントロールシステム100でジェスチャー動作を入力するためのカメラで構成することができ、人が手操作を用いてジェスチャーを取ると、これをキャプチャしてジェスチャーを入力する。
さらに別の実施形態によるリモートコントロールシステム100において、図２に示すように、入力部110は、ジェスチャーを送信する送信機111と、送信した信号を受信する受信機112とを含むことができる。
出力部120は、後述するマッチングされたジェスチャー情報に対応する動作を実行した後に出力するための装置であって、イメージやイメージを出力することができる装置を含む構成であれば、どのような構成でもよい。
記憶部130は、入力されたジェスチャーに対して互いにマッチングするジェスチャー情報を記憶する装置である。
そして、制御部140は、入力部110に入力されたジェスチャーを認識し、認識されたジェスチャーを記憶部130に記憶されているジェスチャー情報と相互に一致させて判断し、対応する動作を実行し、出力部（120）に出力する全体的な過程を制御する役割をする。
本発明の好ましい特徴によれば、制御部140は、ユーザーが入力するジェスチャーに関する情報を出力部120に出力することを特徴とする。
既存のジェスチャーベースのリモートコントロールシステムの最大の問題は、ユーザーが望む機能を実行するためのすべてのジェスチャーを覚えておく必要があることです。機能が多くなると、より多くなるほど覚えておくべきジェスチャーはさらに増えるしかなく、ユーザーの便宜のためにジェスチャーを利用するのだが、むしろ機能が多くなるほど、ユーザーの利便性はより低下することになる。したがって、その間、ジェスチャーベースのリモートコントロールシステムは、補助的な方法で少数の特定の機能に対してのみジェスチャーを指定して利用できる程度にのみ使用されてきた。
この問題に関して、本発明は、ユーザーがジェスチャーを記憶する必要なしに所望の機能を実行するためのジェスチャーに関する情報を画面上に表示することによって解決策を提示する。図３の例を見ると、画面上に多くのアプリがあり、各アプリごとに
Figure 0007457834000001
が別々に指定されて表示されている。この
Figure 0007457834000002
は、それぞれのアプリを実行するために指定されたそれぞれの異なるジェスチャーの例です。
ユーザーが所望の機能を実行できるジェスチャーを画面上に提供し、ユーザーがそのうちの１つのジェスチャーを取ると、そのジェスチャーに対応する機能を実行させる。例えば、図３の図中のapp2（310）を実行するために、ユーザーはジェスチャー2（320）を取るとapp2（310）が実行される。
本発明の好ましい特徴によれば、前記制御部140は、前記出力部120を介して出力される機能実行を目的とするグラフィックオブジェクトに対して、それぞれのジェスチャーグラフィックを指定し、前記指定されたグラフィックオブジェクトと、ジェスチャーグラフィックに関する情報は、入力部110に入力されたジェスチャーに対して相互に一致するジェスチャー情報として記憶部130に記憶され、グラフィックオブジェクトは出力部120を介して出力される。メニュー項目、アプリ実行アイコン、ストリーミングされている動画の中の特定の物や人、文字列、スライドバーの一部、絵や写真の中の特定の物や人を含み、出力部120に出力される全てのオブジェクトを対象にそして、ジェスチャーグラフィックに対して、１つのジェスチャーグラフィックは、１つ以上のジェスチャーのみから構成されるか、または１つ以上の数字と１つ以上のジェスチャーの組み合わせで構成されることを特徴とする。
図４の例のように、画面上に絵、アプリ実行アイコン、テキスト、スライドバー、ディレクトリ、動画の中の人や物などのグラフィックで作られた多数のオブジェクトが表示されている。そして、これらのグラフィックオブジェクトのうち、特定のグラフィックオブジェクトはそれぞれ対応する実行機能が決まっている。本発明は、システム制作者、アプリ制作者、またはコンテンツプロバイダ（Content Provider）が、この機能を実行させるグラフィックオブジェクトのそれぞれに所望のジェスチャーを指定することができる。図４に数字やハングル文字、英語のアルファベット、記号、あるいはそれらの組み合わせで、それぞれのグラフィックオブジェクトの横にそれぞれのジェスチャーの例として示されている。ユーザーは、対応するジェスチャーをとることによって、対応するグラフィックオブジェクトに対応する機能を実行させることができる。
既存のリモートコントロールシステムにおけるもう一つの大きな問題は、図４の例のように画面上に表示されている多数の機能の中から所望の機能を選択して実行することが容易ではないことである。最も多く使用しているボタン方式のリモートコントロールシステムは、前述したように多くの機能に対応するために、4方向ボタンと確認ボタンを利用して希望の機能を見つけて実行をしなければならないため、ゆっくりとユーザーの利便性が低下する。そして、音声認識方法は優先的に画面上にある数多くの機能のそれぞれについて命名して呼ぶことも難しく、まだ正確性と反応性が満足できるレベルに達しておらず、言葉にするのが面倒でもある。また、３次元空間マウスと同様に画面上でポインタを動かして画面上の機能を実行させることは、まだユーザーが望む反応性に及ばない。
これに対して、本発明は、上述したように、ユーザーが画面上に表示されたグラフィックオブジェクトに指定され、表示されたジェスチャーを直感的に見てそのジェスチャーをとるとすぐに機能が実行される。この利点は、PC上のマウスシステムでマウスポインタを目的のグラフィックオブジェクトに移動し、ダブルボタンをクリックして実行を実行する方法よりも高速で簡単です。さらに、ユーザーが頻繁に使用すると、特定のグラフィックオブジェクトのジェスチャーは自然に記憶されます。このような場合、ユーザーは、画面上のグラフィックオブジェクトに指定されたジェスチャーを見つけるために画面を見る必要なく記憶されたジェスチャーをとって機能を実行させるので、より迅速かつ快適に所望の機能を実行させることができ、ユーザーの利便性は非常に増大することができる。
なお、ここで各グラフィックオブジェクトに指定されるジェスチャーは、図４の例のように、単にグラフィックオブジェクト１つにつきジェスチャー１つずつ（410、420）のみ指定されるものではない。必要に応じて複数のジェスチャー430、450を指定することができる。
そして、後述する前記入力部110にオン（Ｏｎ）及びオフ（Ｏｆｆ）信号を前記制御部140に送信する送信装置を有する場合、一定時間以内に２回以上のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号とジェスチャーが一緒に入力されるマルチオンオフジェスチャー440が指定されてもよい。
画面上に機能を実行するためのグラフィックオブジェクトが非常に多くなると、それに応じて多数のジェスチャーが必要になり、それに応じて、単純で簡単なジェスチャーの数が限界があるので、複雑なジェスチャーが多く要求されます。しかしながら、ジェスチャーベースのリモートコントロールシステムは、ユーザーが簡単かつ快適にジェスチャーを用いて機能を実行させるためのものであるが、この複雑なジェスチャーによってユーザーがジェスチャーを取りにくくなったり、制御部140のジェスチャー認識率が低下する状況が発生することができる。
これに対して、本発明は、上述した複数のジェスチャーとマルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）ジェスチャーを用いて簡単で容易なジェスチャーを複数個に組み合わせて使用したり、マルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）とジェスチャーを組み合わせて少数のジェスチャーでも多くの機能をカバーできるようにする。
そして、図４のように指定されたジェスチャーをグラフィックで画面上に表示するジェスチャーグラフィックは、１つ以上のジェスチャーのみ（410、420、430）で表示されたり、あるいは１つ以上の数字と１つ以上のジェスチャーの組み合わせ（440，450）で構成され、複数のジェスチャーとマルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）のジェスチャーを表示することができる。
本発明の好ましい特徴によれば、前記制御部(140)は、前記出力部(120)に出力された機能実行を目的とするグラフィックオブジェクトを通じて指定されない実行機能に対して、それぞれのジェスチャーグラフィックを指定し、前記指定実行機能と、ジェスチャーグラフィックに関する情報は、前記入力部(110)に入力されたジェスチャーと相互に一致するジェスチャー情報として記憶部(130)に記憶されることを特徴とする。
前述のように、画面上に表示されたグラフィックオブジェクトに指定されたジェスチャーグラフィックを介してアプリを実行させ、メニューを選択し、スライドバーを上下に動かすことができる。しかし、全ての実行機能を画面上に表示されたグラフィックオブジェクトとそれに指定されたジェスチャーグラフィックだけを用いてシステムを運営するには、画面の中にグラフィックオブジェクトを必要以上に多く作って複雑にすることができ、むしろユーザーの利便性を落とすことができる。
これに対して、本発明は、画面上のグラフィックオブジェクトを利用しないが必要な実行機能についても各ジェスチャーグラフィックを指定し、指定された実行機能とジェスチャーグラフィックの情報をジェスチャー情報として記憶部130に記憶をする。図５の例のように、ユーザーが音を上げる機能510やテレビチャンネルを上げる機能520に対して、グラフィックオブジェクトなしでジェスチャーグラフィック530、540を直接指定することができる。
本発明の好ましい特徴によれば、前記制御部(140)は、特定のジェスチャーが入力されると、現在出力部(120)に出力されている機能実行を目的とする全てのグラフィックオブジェクトに対して指定された各ジェスチャーグラフィック全てを出力部(120)に出力することを特徴とする。
画面上に出力されている機能実行を目的とするすべてのグラフィックオブジェクトに指定された各ジェスチャーグラフィックをユーザーがすべて記憶しているわけではない。しかし、ユーザーが覚えていないとしても、すべてのジェスチャーグラフィックを画面上に表示し続けると、画面はグラフィックオブジェクトと共に表示されて複雑に見えます。結局、ユーザーの集中度と利便性を落とすことになるだろう。
これに対して、本発明は、ユーザーが特定のジェスチャーをとるときにのみ、現在の画面で機能実行を目的とするグラフィックオブジェクトに指定された全てのジェスチャーグラフィックを示す。すなわち、ユーザーが望むときにのみ画面上のグラフィックオブジェクトに指定されたジェスチャーグラフィックを表示させることで、ユーザーの利便性を高める。
本発明の好ましい特徴によれば、前記制御部(140)は、特定のジェスチャーが入力されると、グラフィックオブジェクトを用いて指定されない実行機能に対して指定されたジェスチャーグラフィックのうち、現在出力部(120)の出力状況で実行可能な全ての機能と、これに対して指定されたジェスチャーグラフィックに対するマッピングリストを出力部(120)に出力することを特徴とする。
ユーザーが画面上に現在出力されている機能実行を目的とするグラフィックオブジェクトを探してみても、その中から望む機能がないことがある。例えば、音調整機能のような場合、必ず必要な機能だが、この機能に対してアプリ製作者がグラフィックオブジェクトを画面上に入れてジェスチャーグラフィックを指定して実行をさせたくない場合がある。この場合、ユーザーは特定のジェスチャーを取ると、図５の例のように、グラフィックオブジェクトを用いて指定されない実行機能に対して指定されたジェスチャーグラフィックのうち、現在の画面基準で実行可能な全ての機能とそれぞれ指定されたジェスチャーグラフィックのマッピングリストを画面に表示します。例えば、ユーザーは、このマッピングリストを見て所望の機能とジェスチャーを確認した後、右方向ジェスチャー530を取り、音を上げることができる。
本発明の好ましい特徴によれば、前記制御部(140)は、現在出力部(120)に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィックの全てを、出力部(120)にグラフィックオブジェクトと同様に出力することを特徴とする。
ディスプレイ技術が発展し、多くの電子機器が可能であれば、大画面を利用して製造を行っている。このような状況で特定の機器は実行機能が多くなく、比較的大きな画面にグラフィックオブジェクトが全て表示されても画面の領域が多い場合がある。この場合、画面上で機能を実行する目的のグラフィックオブジェクトとそれに指定されたジェスチャーグラフィックの両方が一緒に表示されても複雑に見えない。この機能は、ユーザーがジェスチャーを取らなくても画面上にジェスチャーグラフィックが表示されることです。
本発明の好ましい特徴によれば、前記制御部(140)は、前記出力部(120)を介して出力される機能実行を目的とするグラフィックオブジェクトと、これに対して指定されたジェスチャーグラフィックに対するジェスチャー情報と、前記グラフィックオブジェクトを用いて指定されない実行機能とを有する。これらおよび指定されたジェスチャーグラフィックに関するジェスチャー情報は、サーバーおよびネットワークを介してリアルタイムでインストール、削除、修正、更新され、記憶部(130)に記憶することを特徴とする。
既存のリモートコントロールシステムの大きな欠点の１つは、すでに製造されている製品は修正やアップグレードにはならないことです。工場で生産されて発売されると、その後はその機能そのまま使用するしかない。例えば、ボタン方式のリモートコントローラの場合、すでにボタンが物理的に固定されて生産されているため、当然のことながら修正は不可能である。しかし、スマートTVのような場合、機能が増えても引き続き使用できる理由は、画面上に実行機能を表示してくれ、4つの方向ボタンを使って希望の機能を探して選択し、確認ボタンを押して実行をする方法として利用できるからだ。しかしながら、この方法は、画面上の所望の機能を探すために４つの方向ボタンを多く押して所望の機能を見つけた後に確認ボタンをさらに押す必要があるため、ユーザーの利便性は大きく低下する。
これに対して、本発明は、図６の例のように、前記ジェスチャー情報をサーバー150とネットワーク160を介してリアルタイムでインストール、削除、修正、更新が可能にしてもしシステムに新たな機能が追加される。すると、それに応じた新しいジェスチャーグラフィックを指定し、それに関する情報を記憶部130に記憶する。
本発明の好ましい特徴によれば、前記制御部(140)は、前記入力部(120)に入力される各ジェスチャー動作の軌跡を前記出力部(120)に出力することを特徴とする。
ユーザーが最初に入力部110にジェスチャーを入力するとき、ユーザー自身が作成するジェスチャーが感度の速度または大きさでどの程度動作するべきかわからない。これに対して、好ましい例として、制御部140は、出力部120に入力部110に入力されるジェスチャー動作の軌跡表示をオーバーレイとして表示することができる。ユーザーは、この軌跡表示をレポートジェスチャ動作の感度を推定して調整することができる。
本発明の好ましい特徴によれば、前記記憶部(130)に記憶されるジェスチャー情報は、それぞれのアプリが有し、アプリの機能が実行されるとき、認識されたジェスチャーを相互にマッチングする際に用いるアプリジェスチャーライブラリ(710)と、システムが有し、システムの機能とを有する。この実行時に、認識されたジェスチャーを相互にマッチングするために使用されるシステムジェスチャーライブラリ(720)で構成され、各ジェスチャーライブラリ(710, 720)は、出力部(120)に出力される機能実行を目的とするグラフィックオブジェクトとそれに指定されたジェスチャーグラフィックとを含む。情報をジェスチャー情報として記憶するビジブルジェスチャーライブラリ部(711, 721)と、出力部に出力される機能実行を目的とするグラフィックオブジェクトを通じて指定されない実行機能と、これに指定されたジェスチャーグラフィックに関する情報をジェスチャー情報として記憶するヒドゥンジェスチャーライブラリ部(712, 722)で構成されることを特徴とする。
アプリ製作者とシステム製作者がそれぞれ自分自身の生態系で前記指定されたジェスチャーグラフィックをジェスチャー情報として保存して管理するために図７の例のように、それぞれのアプリが持つアプリジェスチャーライブラリ(710)とシステムが有するシステムジェスチャーライブラリ(720)に分けられ、各ジェスチャーライブラリ(710、720)は、画面上に見えるグラフィックオブジェクトに基づくビジブルジェスチャーライブラリ部(711、721)と、画面上に見えるグラフィックオブジェクトを利用しない実行機能に基づくヒドゥンジェスチャーライブラリ部(712、722)で構成する。
本発明の好ましい特徴によれば、前記制御部(140)は、前記アプリがインストールされると、前記出力部(120)に出力されるアプリ実行アイコンに続いて指定されるジェスチャーグラフィックは、システムジェスチャーライブラリに登録され、このアプリ実行アイコンに指定される。ジェスチャーグラフィックは、アプリ制作者が指定したものを使用したり、制御部(140)が推奨するものを使用したり、あるいはユーザーが望むものを使用することを特徴とする。
上記インストールされるアプリ自体はシステム上の一つのアプリであり、アプリがインストールされるとシステム画面に表示されるアプリ実行アイコンはシステム画面上の機能実行を目的とする一つのグラフィックオブジェクトだけである。したがって、アプリがインストールされると、それに応じたグラフィックオブジェクトとジェスチャーグラフィックがシステムジェスチャーライブラリ(720)に登録され、指定されたジェスチャーグラフィックは、アプリ制作者が有名なブランド製作会社や放送会社のような場合、アプリ自身のジェスチャーを利用することを欲しい。例えば、有名な放送局であるCNNがニュースアプリを制作し、自分のアプリのジェスチャーグラフィックを自分だけのユニークな複数のジェスチャーで英語CNNと似た形にすることができる。しかしながら、特定の場合、既にユーザーのシステムジェスチャライブラリ(720)には、すでにＣＮＮと同様の形状の複数のジェスチャーが登録されていてもよい。このように新たなジェスチャーグラフィックを設置する際に、指定されたジェスチャーグラフィックがあって指定が不可能になった場合、前記制御部(140)は他のジェスチャーを推奨することができる。また、ユーザーは自分が望むジェスチャーグラフィックを指定して使用することができる。
本発明の好ましい特徴によれば、前記制御部(140)は、１つ以上のアプリが実行され、その中で現在１つのアプリが選択されている場合、認識されたジェスチャーを相互マッチングする際に選択されたアプリジェスチャーライブラリ(710)を利用し、実行されていない場合、または１つ以上のアプリが実行されていてもアプリが選択されていない場合は、認識されたジェスチャーを相互にマッチングするときにシステムジェスチャライブラリ(720)を使用することが特徴です。
本発明は、上述したように、ジェスチャー情報管理のために、それぞれのアプリ製作者が作成、実行、管理するアプリジェスチャーライブラリ(710)と、システム製作者が作成して実行し管理するシステムジェスチャーライブラリ(720)とで構成されている。本発明は、多くのジェスチャーを画面上に見せて選択させることにより、迅速かつ簡単かつ便利に機能実行を可能にすることにより、ユーザーの利便性を増大させたが、このように多くのジェスチャーを使用することになって来る最も大きな問題点は、ジェスチャーコンフリクトである。 Conflict）が発生した場合です。
それぞれのアプリジェスチャーライブラリ(710)とシステムジェスチャーライブラリ(720)は、それぞれのアプリ制作者とシステム制作者が自らＳＷプログラム開発をしながらジェスチャーコンフリクト（Conflict）が生じることを管理することができる。自己ジェスチャーライブラリ(710、720)の内部でジェスチャーコンフリクトが発生した場合、これはＳＷ開発中のコンパイルと同じステップを経て発見され、これはバグなので修正ができるだろう。しかしながら、１つのジェスチャーがアプリジェスチャーライブラリ(710)とシステムジェスチャーライブラリ(720)に同時に存在する場合、これは問題となり得る。さらに、快適で簡単なジェスチャーは、任意のジェスチャーライブラリ(710、720)を頻繁に使用することになるので、ジェスチャーコンフリクトが発生する確率はさらに高くなるであろう。
この問題を解決するために、本発明は、各アプリが実行される場合と、システムが実行される場合とを分けて入力されるジェスチャーに対して相互マッチングを行う際に、各ジェスチャーライブラリ(710、720)がアプリであってもシステムである。これらの機能が実行されている場合にのみ、自分のジェスチャーライブラリ(710、720)を使用するようにして、ジェスチャーコンフリクトを防止する。
本発明の好ましい特徴によれば、前記制御部(140)は、前記アプリジェスチャーライブラリ(710)とシステムジェスチャーライブラリ(720)をサーバーとネットワークを介してリアルタイムにインストール、削除、修正、更新し、前記記憶部(130)に記憶することを特徴とする。
図８に示すように、各アプリ作成者とシステム作成者は、それぞれのジェスチャーライブラリ(710、720)をそれぞれのサーバ(150)とネットワーク(160)を用いてリアルタイムにインストール、削除、修正、更新し、記憶部(130)に記憶することができる。従来のリモートコントロールシステムでは、アプリが実行された状況でも事実上システム製作者が決めた範囲内での機能のみを使用するしかなかった。しかしながら、本発明によれば、アプリ作成者は自分だけのジェスチャーライブラリ(710)を用いて自分だけの機能を持って独自にアプリを運営することができる。
例えば、ホームショッピング会社がアプリ制作者の場合、リアルタイム放送中に画面上に出てくる製品に驚きの特別割引があるとリアルタイムでアプリジェスチャーライブラリ(710)を更新してジェスチャーグラフィックを指定して送ることができ、視聴者はリアルタイム放送を見ているが簡単に、前述したように特定のジェスチャーをとると、画面上に現在可能なすべてのジェスチャーグラフィックが表示され、その中から画面上に出てくる製品に指定されたジェスチャーグラフィックに沿ってジェスチャーを取るとホームショッピング会社が提供する情報を見ることができる。
また、ニュース会社がリアルタイムで放送中にリアルタイム調査をする場合、リアルタイムでアプリジェスチャーライブラリ(710)を更新して画面上にリアルタイム調査から選択できる様々な選択肢とこれに対して指定されたジェスチャーグラフィックを見せて視聴者が望む選択肢を選択させることができ、リアルタイムで視聴者とやり取りする状況でも、様々なジェスチャーグラフィックを使用して、簡単かつ楽に視聴者とインタラクティブな放送を進行することができる。
この他にも、アプリとシステムジェスチャーライブラリ(710、720)をそれぞれの製作者がリアルタイムでインストール、削除、修正、更新し、前記記憶部(130)に保存ができれば、これを活用して適用できる分野は 非常に多いだろう。
本発明の好ましい特徴によれば、前記制御部(140)は、前記入力部(110)に特定ジェスチャーが入力となり、このジェスチャーが複数ジェスチャー入力信号であると判断されると、前記出力部(120)に複数ジェスチャー入力状態であることを知らせる信号とジェスチャー入力を待つ。信号を出力した後、入力されたジェスチャーを一つずつ入力され、前記記憶部(130)に記憶し続ける過程を繰り返し、入力されたジェスチャーが複数ジェスチャー入力終了信号であると判断されると、前記記憶部(130)にこれまで記憶された複数のジェスチャーを保存されたジェスチャー情報とマッチング判断して動作を実行することを特徴とする。
前述したように、以前のジェスチャーベースのリモートコントロールシステムとは異なり、本発明は既存の単数のジェスチャーのみを入力するのではなく、複数のジェスチャーまで入力を受け取ることができる。特定のジェスチャーグラフィックを複数のジェスチャーで構成し、特定のグラフィックオブジェクトに指定をすると、そのグラフィックオブジェクトに対応する機能を実行するために、ユーザーは前記入力部(110)に複数のジェスチャーを入力しなければならず、前記制御部(140）は、複数のジェスチャーを受け取り、認識し、保存されたジェスチャー情報と相互マッチングを判断することができなければならない。
複数のジェスチャーを受け取るためには、制御部(140)が通常の状況のように１つのジェスチャーを受けるとすぐにジェスチャーを実行せず、さらに入ってくるジェスチャーを待たなければならない。このために特定のジェスチャーを取れば複数のジェスチャー入力を受け取ることができるようにし、画面上にこれを段階別に表示し、ユーザーが望む複数のジェスチャーを一つ一つ入力を終えるまで待たなければならない。ユーザーが特定のジェスチャーを取り、追加のジェスチャー入力がないことを知らせると、制御部(140)は、現在までに保存されたジェスチャーのすべてを合計して、保存されたジェスチャー情報と相互に一致する。
本発明の好ましい特徴によれば、前記ジェスチャーグラフィックに対して特定のジェスチャーが２回以上繰り返される複数のジェスチャーで指定された場合、前記制御部(140)は、前記特定のジェスチャーを前記出力部(120)に出力する際に、ジェスチャー数だけジェスチャーを繰り返し出力部(120)に出力するか、あるいは１つのジェスチャーのみを出力し、繰り返されるジェスチャー回数数を添字で出力することを特徴とする。
ジェスチャーグラフィックが画面上に表示されるとき、複数のジェスチャーを表示するために一つ一つジェスチャーを全て表示すると、ジェスチャーグラフィック表示が長く表現され、付近のグラフィックオブジェクトと重なって見えることもある。
これに対して、本発明は、図４に示す例(450)のように、特定のジェスチャーが２回以上繰り返されると、画面上に表示を行う際に、数学における指数表記のようにそのジェスチャーに添字で表示をしてくれればジェスチャーグラフィック表示が短く表示され、面白いポイントになる可能性があります。
本発明の好ましい特徴によれば、前記入力部(110)に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部(140)に送信する送信装置を備え、前記制御部(140)は、前記入力部(110)の送信装置がジェスチャーなしでオン（Ｏｎ）信号を送信すると、現在出力部(120)に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィックすべてを出力部(120)に出力し、前記送信装置がジェスチャーなしでオン（Ｏｎ）信号を維持する。すると、ジェスチャーグラフィックが出力部(120)に出力された状態を維持し、送信装置がＯｆｆ信号を送信すると、出力されたジェスチャーグラフィックが出力部(120)から消えることを特徴とする。
前記の入力部110に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部140に送信する送信装置は、ボタン、スイッチ、光学方式のボタン、磁場方式のボタン、タッチボタン、タッチパッド、ジョイスティック、タッチパネル、タッチスクリーンなど、オン（Ｏｎ）とオフ（Ｏｆｆ）信号を生成できるデバイス面の両方が使用可能です。
好ましい実施形態として、図２の例のように、入力部(110)がボタンを含む送信機(111)と送信する内容を受信する受信機(112)とで構成することができる。ユーザーの立場ではジェスチャーも面倒なことがある。この場合、ジェスチャーなしでボタンを１回押すと（オン）、画面上に現在の画面状況で機能実行を目的とするすべてのグラフィックオブジェクトに指定されたすべてのジェスチャーグラフィックが表示されます。そして、ボタン押下（Ｏｎ）を維持している間は、全てのジェスチャーグラフィックを画面上に表示し続け、ボタンを離すと（Ｏｆｆ）画面上の全てのジェスチャーグラフィックが消える。
ユーザーの立場で画面上のグラフィックオブジェクトとこれに対して指定されたジェスチャーグラフィック表示機能は、非常によく使用する機能であろう。最も単純な操作であるボタン一度押しをこの機能に指定することで、ユーザーの利便性を最大化することができる。これは、馬を使用する音声認識よりも楽で速いでしょう。
本発明の好ましい特徴によれば、前記入力部(110)に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部(140)に送信する送信装置を備え、前記制御部(140)は、前記入力部(110)の送信装置がジェスチャーなしで一定時間以内に、２回のオン（Ｏｎ）とオフ（Ｏｆｆ）信号を送信すると、前記出力部(120)に複数ジェスチャー入力状態であることを知らせる信号とジェスチャー入力を待つ信号を出力した後、入力されるジェスチャーを一つずつ入力され、前記記憶部(130)に継続する。記憶する過程を繰り返し、前記入力部(110)の送信装置がジェスチャーなしに再び一定時間以内に２回のオン（Ｏｎ）とオフ（Ｏｆｆ）信号を送信すると、前記記憶部(130)にこれまでに記憶された複数のジェスチャーを記憶したジェスチャー情報と、マッチング判断して動作を実行することを特徴とする。
好ましい実施形態として、図２の例のように、入力部(110)がボタンを含む送信機(111)と送信する内容を受信する受信機(112)とで構成することができる。ユーザーの立場ではジェスチャーも面倒なことがある。複数のジェスチャー入力の開始と終了をダブルクリックで制御部(140)に通知する。実際の複数ジェスチャー指定がジェスチャーグラフィックに多くの状況になると、ユーザーにとって非常に利便性の高い機能になるだろう。
本発明の好ましい特徴によれば、前記入力部(110)に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部(140)に送信する送信装置を備え、前記ジェスチャーグラフィックに対して特定ジェスチャーが一定時間以内に２回以上オン（Ｏｎ）及びＯｆｆ信号と共に送信されるマルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）ジェスチャーとして指定された場合、前記制御部(140)は、前記出力部(120)に出力する際、前記特定ジェスチャーの前に一定時間以内にオン（Ｏｎ）過オフ信号が繰り返される回数を数字で出力することを特徴とする。
好ましい一実施形態として、図４の例のように、一定時間以内に２回以上のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号を用いたマルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）ジェスチャーを画面上に表示する場合、ジェスチャーの前に数字を表示(440)してくれる。
本発明の好ましい特徴によれば、前記入力部(110)に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部(140)に送信する送信装置を備え、前記入力部(110)に一定時間以内に２回以上のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号と共にジェスチャーが入力される場合、前記制御部(140)は、前記入力された一定時間以内にオン（Ｏｎ）及びオフ（Ｏｆｆ）信号が繰り返された回数とジェスチャーを記憶されたジェスチャー情報とマッチング判断して動作を実行することを特徴とする。
特定のジェスチャーグラフィックがマルチオンオフジェスチャーとして指定されている場合、ユーザーは、入力部(110)にこのマルチオンオフジェスチャーを入力しなければならず、制御部(140)は、これを入力し、認識し、保存されたジェスチャー情報と相互マッチング判断することができなければならない。入力された一定時間以内にオン（Ｏｎ）およびオフ（Ｏｆｆ）信号が繰り返された回数とジェスチャーを持って記憶されたジェスチャー情報とマッチング判断して動作を実行する。
以上、添付図面を参照して本発明の好ましい実施形態を説明したが、本明細書に記載された実施形態と図面に示される構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想の全てを代表する。そうではないので、本出願時点でそれらを置き換えることができる様々な均等物および変形例があり得ることを理解すべきである。したがって、以上で説明した実施形態は、すべての点で例示であって制限的なものではないと理解されるべきであり、本発明の範囲は、詳細な説明ではなく、後述する特許請求の範囲によって示され、特許請求の範囲の意味および範囲、およびその等価概念から導出されるすべての変更または変形形態は、本発明の範囲に含まれると解釈されるべきである。

Claims (17)

  1. ジェスチャーによって動作するリモートコントロールシステムであって、
    入力部および出力部と、
    入力されたジェスチャーに対して相互に一致するジェスチャー情報が記憶される記憶部と、
    前記入力部、出力部または記憶部のうちの少なくとも１つと電気的に接続されて前記ジェスチャーの動作を認識および制御する制御部を含み、
    前記制御部は、ユーザーが入力するジェスチャーに関する情報を前記出力部に出力し、前記制御部は、前記出力部を介して出力される機能実行を目的とするグラフィックオブジェクトに対してそれぞれのジェスチャーグラフィックを指定し、前記グラフィックオブジェクトと、前記グラフィックオブジェクトに対して指定されたそれぞれのジェスチャーグラフィックに関する情報を前記入力部に入力されるジェスチャーについて相互マッチングするジェスチャー情報として記憶部に記憶し、前記グラフィックオブジェクトは、前記出力部を通じて出力されるそれぞれのメニュー項目、アプリ実行アイコン、ストリーミングされている動画の中の特定の物や人、文字列、スライドバーの一部、絵や写真の中の特定のものや人を含み、出力部に出力されるすべてのグラフィックオブジェクトを対象とし、ジェスチャーグラフィックに対して、１つのジェスチャーグラフィックは、１つ以上のジェスチャーのみで構成されるか、または１つ以上の数字と１つ以上のジェスチャーの組み合わせで構成され、前記入力部によって入力されたジェスチャーを認識し、認識されたジェスチャーを前記記憶部に記憶されたジェスチャー情報と相互にマッチングし、マッチングされたジェスチャー情報に対応する動作を実行して出力部に出力するリモートコントロールシステム。
  2. 前記制御部は、前記出力部に出力された機能実行を目的とするグラフィックオブジェクトを介して指定されていない実行機能について、それぞれのジェスチャーグラフィックを指定し、前記指定された実行機能とジェスチャーグラフィックこれらの情報は、入力部に入力されたジェスチャーに対して互いに一致するジェスチャー情報として記憶部に記憶されることを特徴とする請求項１に記載のリモートコントロールシステム。
  3. 前記制御部は、特定のジェスチャーが入力されると、現在出力部に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィックの全てを出力部に出力することを特徴とする請求項１に記載のリモートコントロールシステム。
  4. 前記制御部は、特定のジェスチャーが入力されると、グラフィックオブジェクトを使用して指定されない実行機能に指定されたジェスチャーグラフィックのうち、現在の出力部の出力状況で実行可能な機能と、これに対して指定されたジェスチャーグラフィックに対するマッピングリストを出力部に出力することを特徴とする請求項２に記載のリモートコントロールシステム。
  5. 前記制御部は、現在出力部に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィックの全てを、出力部にグラフィックオブジェクトと共に出力することを特徴とする請求項１に記載のリモートコントロールシステム。
  6. 前記制御部は、前記出力部を介して出力される機能実行を目的とするグラフィックオブジェクトと、これに対して指定されたジェスチャーグラフィックに対するジェスチャー情報と、前記グラフィックオブジェクトを用いて指定されない実行機能と、これに対して指定されたジェスチャーグラフィックに関するジェスチャー情報をサーバーとネットワークを介してリアルタイムでインストール、削除、修正、更新し、前記記憶部に保存することを特徴とする請求項１または２に記載のリモートコントロールシステム。
  7. 前記制御部は、前記入力部に入力された各ジェスチャー動作の軌跡を前記出力部に出力することを特徴とする請求項１または２に記載のリモートコントロールシステム。
  8. 前記記憶部に記憶されるジェスチャー情報は、各アプリが有し、アプリの機能が実行されるとき、認識されたジェスチャーを相互マッチングする際に用いるアプリジェスチャーライブラリと、システムが有し、システムの機能が実行されるとき、認識されたジェスチャーとを相互マッチング時に使用するシステムジェスチャーライブラリで構成され、前記各ジェスチャーライブラリは、前記出力部に出力される機能実行を目的とするグラフィックオブジェクトと、これに対して指定されたジェスチャーグラフィックに関する情報をジェスチャー情報として記憶するビジブルジェスチャーライブラリ部と、前記出力部に出力される機能実行を目的とするグラフィックオブジェクトを通じて指定されない実行機能と、これに対して指定されたジェスチャーグラフィックに関する情報をジェスチャー情報として記憶するヒドゥンジェスチャーライブラリ部とからなることを特徴とする請求項１または２に記載のリモートコントロールシステム。
  9. 前記制御部は、前記アプリがインストールされるとき、前記出力部に出力されるアプリ実行アイコンと続いて指定されるジェスチャーグラフィックはシステムジェスチャーライブラリに登録となり、このアプリ実行アイコンに指定されるジェスチャーグラフィックはアプリ製作者が指定したものを使用するか、制御部が推奨するものを使用するか、あるいはユーザーが望むものを使用することを特徴とする請求項８に記載のリモートコントロールシステム。
  10. 前記制御部は、１つ以上のアプリが実行され、その中で現在１つのアプリが選択されている場合、認識されたジェスチャーを相互マッチングする際に選択されたアプリジェスチャーライブラリを利用し、１つ以上のアプリが実行されていない場合、または１つ以上のアプリが実行されていてもアプリが選択されていない場合、認識されたジェスチャーを相互にマッチングするときにシステムジェスチャーライブラリを使用することを特徴とする特徴とする請求項８に記載のリモートコントロールシステム。
  11. 前記制御部は、前記アプリジェスチャーライブラリとシステムジェスチャーライブラリをサーバーとネットワークを介してリアルタイムでインストール、削除、修正、更新し、前記記憶部に記憶することを特徴とする請求項８に記載のリモートコントロールシステム。
  12. 前記制御部は、前記入力部に特定のジェスチャーが入力され、前記ジェスチャーが複数ジェスチャー入力信号であると判断されると、前記出力部に複数ジェスチャー入力状態であることを知らせる信号とジェスチャー入力を待つ信号を出力した後、入力されたジェスチャーを一つずつ入力され、前記記憶部に記憶し続ける過程を繰り返し、入力されたジェスチャーが複数ジェスチャー入力終了信号と判断されると、前記記憶部にこれまで記憶された複数のジェスチャーを記憶されたジェスチャー情報とマッチング判断して動作を実行することを特徴とする請求項１または２に記載のリモートコントロールシステム。
  13. 前記制御部は、 ジェスチャーグラフィックに対して特定のジェスチャーが２回以上繰り返される複数のジェスチャーで指定された場合、特定のジェスチャーを出力部に出力するとき、ジェスチャー数だけジェスチャーを繰り返し出力部に出力 したり、 １つのジェスチャーのみを出力し、繰り返されるジェスチャー回数を添え字で出力することを特徴とする請求項１または２に記載のリモートコントロールシステム。
  14. 前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記制御部は、前記入力部の送信装置がジェスチャーなしでオン（Ｏｎ）信号を送信すると、現在出力部に出力されている機能実行を目的とするグラフィックオブジェクトに対して指定された各ジェスチャーグラフィック全てを出力部に出力し、送信装置がジェスチャーなしでオン（Ｏｎ）信号を維持すると、ジェスチャーグラフィックが出力部に出力された状態を維持し、前記送信装置がオフ（Ｏｆｆ）信号を送信すると、出力ジェスチャーグラフィックが出力部から消えることを特徴とする請求項１または２に記載のリモートコントロールシステム。
  15. 前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記制御部は、前記制御部は、前記入力部の送信装置がジェスチャーなしに一定時間以内に２回のオン（Ｏｎ）とオフ（Ｏｆｆ）信号を送信すると、前記出力部に複数ジェスチャー入力状態であることを知らせる信号とジェスチャー入力を待つ信号を出力した後、入力されたジェスチャーを１つずつ入力され、前記記憶部に保存し続ける過程を繰り返し、前記入力部の送信装置がジェスチャーなしに再び一定時間以内に２回のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号を送信すると、前記記憶部にこれまでに記憶された複数のジェスチャーを記憶されたジェスチャー情報とマッチング判定し、動作を実行することを特徴とする請求項１または２に記載のリモートコントロールシステム。
  16. 前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記ジェスチャーグラフィックに対して特定ジェスチャーが一定時間以内に２回以上のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号と共に送信されるマルチオンオフ（Ｍｕｌｔｉ―Ｏｎ Ｏｆｆ）ジェスチャーで指定された場合、前記制御部は、前記出力部に、出力時に、特定のジェスチャーの前に一定時間以内にオン（Ｏｎ）およびオフ（Ｏｆｆ）信号が繰り返される回数を数字で出力することを特徴とする請求項１または２に記載のリモートコントロールシステム。
  17. 前記入力部に位置し、オン（Ｏｎ）及びオフ（Ｏｆｆ）信号を制御部に送信する送信装置を備え、前記入力部に一定時間以内に２回以上のオン（Ｏｎ）及びオフ（Ｏｆｆ）信号と共にジェスチャーが入力される場合、前記制御部は、前記入力された一定時間以内にオン（Ｏｎ）及びオフ（Ｏｆｆ）信号が繰り返し回数とジェスチャーを記憶されたジェスチャー情報とマッチング判定し、動作を実行することを特徴とする請求項１または２に記載のリモートコントロールシステム。
JP2022562133A 2020-10-07 2021-09-27 リモートコントロールシステム Active JP7457834B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0129696 2020-10-07
KR1020200129696A KR102203951B1 (ko) 2020-10-07 2020-10-07 리모트컨트롤 시스템
PCT/KR2021/013106 WO2022075644A1 (ko) 2020-10-07 2021-09-27 리모트컨트롤 시스템

Publications (2)

Publication Number Publication Date
JP2023529529A JP2023529529A (ja) 2023-07-11
JP7457834B2 true JP7457834B2 (ja) 2024-03-28

Family

ID=74236764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022562133A Active JP7457834B2 (ja) 2020-10-07 2021-09-27 リモートコントロールシステム

Country Status (9)

Country Link
EP (1) EP4227772A1 (ja)
JP (1) JP7457834B2 (ja)
KR (1) KR102203951B1 (ja)
CN (1) CN115398378A (ja)
AU (1) AU2021355988A1 (ja)
CA (1) CA3184971A1 (ja)
MX (1) MX2022016200A (ja)
WO (1) WO2022075644A1 (ja)
ZA (1) ZA202300203B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102203951B1 (ko) * 2020-10-07 2021-01-18 김병수 리모트컨트롤 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014116768A (ja) 2012-12-10 2014-06-26 Panasonic Corp 操作装置、電子装置、及び電子装置システム
JP2014130590A (ja) 2012-12-27 2014-07-10 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
JP2016164725A (ja) 2015-03-06 2016-09-08 株式会社リコー 情報処理装置、情報処理システム及び情報処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100790818B1 (ko) * 2006-12-06 2008-01-03 한국과학기술연구원 손 동작을 이용한 전자기기 제어장치 및 방법
KR20100131213A (ko) 2009-06-05 2010-12-15 탑시드 테크놀로지 코포레이션 제스쳐-기반의 리모컨 시스템
JP5625506B2 (ja) * 2010-06-04 2014-11-19 ソニー株式会社 操作端末装置、電子機器、および電子機器システム
KR101720498B1 (ko) * 2010-10-29 2017-03-28 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR20150032101A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
KR102145736B1 (ko) * 2013-11-27 2020-08-19 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 서비스 처리 방법
KR20160089619A (ko) * 2015-01-20 2016-07-28 현대자동차주식회사 입력 장치 및 이를 포함하는 차량
KR20170014353A (ko) * 2015-07-29 2017-02-08 삼성전자주식회사 음성 기반의 화면 내비게이션 장치 및 방법
KR101718070B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 제스처 조합 기반의 이벤트 실행이 가능한 터치스크린 장치 및 그 동작 방법
KR102203951B1 (ko) * 2020-10-07 2021-01-18 김병수 리모트컨트롤 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014116768A (ja) 2012-12-10 2014-06-26 Panasonic Corp 操作装置、電子装置、及び電子装置システム
JP2014130590A (ja) 2012-12-27 2014-07-10 Samsung Electronics Co Ltd ディスプレイ装置及びその制御方法
JP2016164725A (ja) 2015-03-06 2016-09-08 株式会社リコー 情報処理装置、情報処理システム及び情報処理プログラム

Also Published As

Publication number Publication date
CA3184971A1 (en) 2022-04-14
KR102203951B1 (ko) 2021-01-18
JP2023529529A (ja) 2023-07-11
CN115398378A (zh) 2022-11-25
AU2021355988A1 (en) 2023-02-09
ZA202300203B (en) 2023-10-25
EP4227772A1 (en) 2023-08-16
MX2022016200A (es) 2023-02-01
WO2022075644A1 (ko) 2022-04-14

Similar Documents

Publication Publication Date Title
CN109618206B (zh) 呈现用户界面的方法和显示设备
US9152298B2 (en) Display apparatus and displaying method thereof
US9513802B2 (en) Methods for displaying a user interface on a remote control device and a remote control device applying the same
WO2021114529A1 (zh) 用户界面展示方法及显示设备
RU2689412C2 (ru) Устройство отображения и способ отображения
CN113805738B (zh) 一种控制按键的自定义设置方法、启动方法及显示设备
CN112463269B (zh) 用户界面显示方法及显示设备
CN112399212A (zh) 显示设备、分享文件的方法和服务器
JP7457834B2 (ja) リモートコントロールシステム
CN111104020B (zh) 用户界面设置方法、存储介质及显示设备
EP3247123A1 (en) Image processing terminal for performing a different operation according to a force input and upgrade of software and method for upgrading the software
CN112799576B (zh) 一种虚拟鼠标移动的方法及显示设备
EP3057313A1 (en) Display apparatus and display method
US20190065013A1 (en) Display apparatus and display method
EP2605527A2 (en) A method and system for mapping visual display screens to touch screens
CN111586463B (zh) 显示设备
US20240211049A1 (en) Remote control system
EP3226568A1 (en) Display device and display method
US20170237929A1 (en) Remote controller for providing a force input in a media system and method for operating the same
US10705688B2 (en) Display apparatus and displaying method thereof
US8615722B2 (en) Apparatus and method for providing preview of menu object
CN113573115B (zh) 确定搜索字符的方法及显示设备
JP6695530B1 (ja) 情報処理システム及び情報処理方法
KR20230087152A (ko) 리모트컨트롤 시스템
KR20230126844A (ko) 포스 입력에 따른 소프트웨이 업그레이드 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240315

R150 Certificate of patent or registration of utility model

Ref document number: 7457834

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150