JP5715977B2 - 操作支援表示装置およびプログラム - Google Patents

操作支援表示装置およびプログラム Download PDF

Info

Publication number
JP5715977B2
JP5715977B2 JP2012048563A JP2012048563A JP5715977B2 JP 5715977 B2 JP5715977 B2 JP 5715977B2 JP 2012048563 A JP2012048563 A JP 2012048563A JP 2012048563 A JP2012048563 A JP 2012048563A JP 5715977 B2 JP5715977 B2 JP 5715977B2
Authority
JP
Japan
Prior art keywords
user
recognition
display
recognition device
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012048563A
Other languages
English (en)
Other versions
JP2013186500A (ja
Inventor
克人 望月
克人 望月
雅法 三部
雅法 三部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2012048563A priority Critical patent/JP5715977B2/ja
Priority to CN201210559425.7A priority patent/CN103294186B/zh
Priority to US13/780,195 priority patent/US20130246968A1/en
Publication of JP2013186500A publication Critical patent/JP2013186500A/ja
Application granted granted Critical
Publication of JP5715977B2 publication Critical patent/JP5715977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明の実施形態は、操作支援表示装置およびプログラムに関する。
広告、イベント、お知らせ等のコンテンツを不特定者に提示する仕組みとして、表示装置等のサイネージ端末にデジタル化されたコンテンツを表示させるシステム、いわゆるデジタルサイネージシステムが知られている。
また、近年においては、カメラに映った利用者までの距離を計測するとともに、利用者の骨格のさまざまな動きを検出する動作認識装置も開発されている。このような動作認識装置による利用者の位置や動作などの認識結果をポインティングデバイスの出力とすることによって、各種の操作を行うことも検討されている。
ところで、動作認識装置の認識結果をポインティングデバイスの出力として利用する場合、利用者はマウスやタッチパネルなどと異なり直接インタフェース装置に直接触れることがないため、体感的なフィードバッグが生じない。そのため、従来においては、利用者は画面上の状況を見て操作状況を判断するしかなかった。
実施形態の操作支援表示装置は、利用者の位置および動作を認識する動作認識装置と、操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、を備え、前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する。
実施形態のプログラムは、利用者の位置および動作を認識する動作認識装置を備えるコンピュータを、操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、として機能させ、前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する。
図１は、本実施形態にかかる情報処理システムの概略構成を示すブロック図である。 図２は、サイネージ端末装置の外観正面図である。 図３は、サイネージ端末装置の概略構成を示すブロック図である。 図４は、サイネージ端末装置の機能構成を示すブロック図である。 図５は、表示画面の一例を示す正面図である。 図６は、操作支援表示処理の流れを示すフローチャートである。 図７は、画面の遷移を説明するための図である。
図１は、本実施形態にかかる情報処理システム１０の概略構成を示すブロック図である。以下の説明では、本実施形態にかかる情報処理システムがショッピングモールに設けられた場合について説明する。
本実施形態にかかる情報処理システム１０は、デジタルサイネージ管理装置である情報配信サーバ１１と、デジタルサイネージ再生装置である複数のサイネージ端末装置１４とを備えている。
情報配信サーバ１１は、構内ＬＡＮ（Local Area Network）等の通信ネットワーク１２を介してサイネージ端末装置１４に接続されており、商品の広告情報やイベントの情報などの情報のコンテンツをサイネージ端末装置１４に対して配信、またコンテンツをサイネージ端末装置１４からのアクセスによって取得させる。
サイネージ端末装置１４は、通信ネットワーク１２を介して情報配信サーバ１１から配信または取得したコンテンツデータを再生して表示する。
図２は、サイネージ端末装置の外観正面図である。サイネージ端末装置１４は、液晶ディスプレイあるいはプラズマディスプレイとして構成された表示部であるディスプレイユニット２１と、各種チケット，クーポン等を印刷して発行するプリンタユニット２２と、ディスプレイユニット２１，プリンタユニット２２を保持する筐体部２４と、を備えている。
筐体部２４の上部には、動作認識装置２５と、ＢＧＭや広告音声等の各種音響出力を行うスピーカユニット２６が内蔵されている。なお、画像認識等の処理は、サイネージ端末装置１４で行うことなく、情報配信サーバ１１等の上流側サーバで行っても良い。
動作認識装置２５は、例えばカメラ、センサ、プロセッサなどを備えており、サイネージ端末装置１４に対面する利用者の位置、動作、顔などを認識する。より詳細には、動作認識装置２５は、カメラに映った利用者から当該装置までの距離を計測し、利用者の骨格のさまざまな動きを検出する。
図３は、サイネージ端末装置１４の概略構成を示すブロック図である。サイネージ端末装置１４は、上述したディスプレイユニット２１、プリンタユニット２２、動作認識装置２５、およびスピーカユニット２６の他、当該サイネージ端末装置１４全体を制御するコントローラ３１と、ユーザが各種操作を行うための操作部３２と、通信ネットワーク１２を介して情報配信サーバ１１との間で通信を行うためのネットワーク通信インタフェース（ＩＦ）３３と、近距離無線通信部２３を構成し、携帯情報端末装置１３に対して広告情報やイベント情報等の情報に関連する情報を配信するための情報配信用通信インタフェース（ＩＦ）３４と、各種データを記憶する外部記憶装置３５と、を備えている。
ここで、コントローラ３１は、当該コントローラ３１全体を制御するＭＰＵ（Micro Processing Unit）３６と、ＭＰＵ３６が動作するための制御プログラム等を格納したＲＯＭ（Read Only Memory）３７と、各種データを一時的に記憶するＲＡＭ（Random Access Memory）３８と、を備えている。そして、コントローラ３１は、ＭＰＵ３６がＲＯＭ３７に格納された制御プログラムを実行することにより、通信ネットワーク１２を介して情報配信サーバ１１から配信されたコンテンツを再生して、再生したコンテンツをディスプレイユニット２１に表示する。また、操作部３２は、各種スイッチ、ボタン等で構成したり、ポインティングデバイスであるタッチパネルとしてディスプレイユニット２１と一体に構成したりしても良い。
また、本実施形態においては、動作認識装置２５もポインティングデバイスとして機能する。より詳細には、コントローラ３１は、動作認識装置２５が認識した利用者の動作や手の位置などの認識結果に基づいて、ディスプレイユニット２１に表示されたコンテンツに対する操作を可能にしている。
ところが、動作認識装置２５の認識結果をポインティングデバイスの出力として利用する場合、利用者はマウスやタッチパネルなどと異なり直接インタフェース装置に直接触れることがないため、体感的なフィードバッグが生じない。そのため、従来においては、利用者は画面上の状況を見て操作状況を判断するしかなかった。
次に、上述したような問題を解決するために、本実施形態にかかる操作支援表示装置であるサイネージ端末装置１４が有する特徴的な機能について説明する。図４は、サイネージ端末装置１４の機能構成を示すブロック図である。コントローラ３１は、ＲＯＭ３７に記憶された制御プログラムに従ってＭＰＵ３６を動作させることで、図４に示すように、表示制御部３１１、動作反映部３１２として機能する。
表示制御部３１１は、サイネージ端末装置１４に配信されてディスプレイユニット２１に表示されるコンテンツ画像に対する操作を支援する操作支援サブウィンドウＳＷ（図５参照）を表示するための情報（例えば、表示位置、表示アイコン等）を付加して配信する。また、表示制御部３１１は、動作認識装置２５の認識結果として利用者による指示ポインタが操作支援サブウィンドウＳＷ上に重なる場合には、操作支援サブウィンドウＳＷの表示位置を移動させる。これにより、ユーザの操作に影響を与えないようにすることもできる。なお、表示制御部３１１は、利用者による指示ポインタの移動に同期させて操作支援サブウィンドウＳＷを移動させてカーソル代わりにしても良い。
ここで、図５はサイネージ端末装置１４のディスプレイユニット２１に表示される表示画面の一例を示す正面図である。図５に示すように、例えば操作部３２が操作されて、サイネージ端末装置１４で再生するコンテンツの決定が要求されると、表示制御部３１１は、ディスプレイユニット２１にコンテンツＣを表示する。加えて、表示制御部３１１は、サイネージ端末装置１４のディスプレイユニット２１に表示されているコンテンツＣに重畳させて操作支援サブウィンドウＳＷを表示する。
操作支援サブウィンドウＳＷは、動作認識装置２５からの認識動作情報をポインティングデバイスの出力として利用する場合における操作状態を示す操作ガイダンスを表示するものである。
動作反映部３１２は、サイネージ端末装置１４のディスプレイユニット２１に表示された操作支援サブウィンドウＳＷの表示内容に従った利用者の位置や動作を識別した動作認識装置２５からの認識動作情報を取得し、当該利用者の位置および動作をユーザ操作として反映させる。
次に、サイネージ端末装置１４における操作支援表示処理について詳細に説明する。ここで、図６はサイネージ端末装置１４における操作支援表示処理の流れを示すフローチャート、図７はサイネージ端末装置１４のディスプレイユニット２１に表示された画面の遷移を説明するための図である。
表示制御部３１１は、情報配信サーバ１１から配信されたコンテンツを受信した順に再生して、再生したコンテンツの画像をディスプレイユニット２１に表示するとともに（ステップＳ１）、動作認識装置２５の認識可能領域に利用者が映ることにより利用者の動作の認識が開始されると（ステップＳ２のＹｅｓ）、動作認識装置２５からの認識動作情報をポインティングデバイスの出力として利用する場合における操作ガイダンスを操作支援サブウィンドウＳＷとして表示する（ステップＳ３）。
例えば、図７（ａ）に示す操作支援サブウィンドウＳＷの初期画面では、操作ガイダンスとして操作支援表示処理の開始の合図となる動作を表した開始アイコンＡが表示される。開始アイコンＡは、「人物が右手を挙げた状態」を簡単な絵柄で記号化して表現している。なお、開始アイコンＡに表現される動作としては、「手を右に振る」、「手を左に振る」など様々な動作が適用可能である。なお、絵だけでは意味が分からないような場合には、文字による説明が付されていても良いし、文字のみであっても良い。
次いで、表示制御部３１１は、利用者が開始アイコンＡを参考にして同じように右手を挙げる動作を実施したことを示す認識動作情報を動作認識装置２５から受信して処理の開始を判断すると（ステップＳ４のＹｅｓ）、操作支援表示処理を開始する（ステップＳ６）。なお、操作支援サブウィンドウＳＷに表示されるアイコンと動作認識装置２５から受信する認識動作情報とは予め対応付けられて外部記憶装置３５に格納されるテーブルに記憶されている。
操作支援表示処理が開始されると、動作反映部３１２は、動作認識装置２５から受信した認識動作情報をポインティングデバイスの出力と同等の操作に置換えた状態を、操作支援サブウィンドウＳＷに示す。また、操作支援表示処理の開始の結果として、ポインティングデバイスの指示ポインタ（カーソル）が操作支援サブウィンドウＳＷの表示とともに表示されるとともに、指示ポインタ（カーソル）が手の動きに従って移動することになる。
例えば、図７（ｂ）に示す操作支援サブウィンドウＳＷでは、利用者がまだ動作していないことを示す認識動作情報を、マウスが動かされていない状態と同等の操作に置換えた状態の操作ガイダンスに更新している。
例えば、図７（ｃ）に示す操作支援サブウィンドウＳＷでは、利用者が手を右から左に動かす動作を実施したことを示す認識動作情報を、マウスを移動させた状態と同等の操作に置換えた状態の操作ガイダンスに更新している。
また、図７（ｄ）に示す操作支援サブウィンドウＳＷでは、利用者が手を一時的に停止する動作を実施したことを示す認識動作情報を、マウスを停止させた状態と同等の操作に置換えた状態の操作ガイダンスに更新している。
また、図７（ｅ）に示す操作支援サブウィンドウＳＷでは、利用者が手の指でクリックする動作を実施したことを示す認識動作情報を、マウスをクリックした状態と同等の操作に置換えた状態の操作ガイダンスに更新している。
また、図７（ｆ）に示す操作支援サブウィンドウＳＷでは、利用者が手をサイネージ端末装置１４に近づけて弾く動作を実施したことを示す認識動作情報を、フリックした状態と同等の操作に置換えた状態の操作ガイダンスに更新している。
このように、本実施形態の操作支援表示装置によれば、利用者の位置および動作を認識する動作認識装置２５の認識動作情報をディスプレイユニット２１に表示されるコンテンツ画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示する操作支援サブウィンドウＳＷをコンテンツ画像に重畳させて表示させる表示制御部３１１と、動作認識装置２５からの認識動作情報に基づく利用者の位置および動作をユーザ操作として反映させる動作反映部３１２と、を備え、表示制御部３１１は、動作反映部３１２で反映したユーザ操作に応じて操作支援サブウィンドウＳＷの操作ガイダンスを更新する。これにより、ディスプレイユニット２１に表示されたコンテンツに対する操作を行うユーザは、操作支援サブウィンドウＳＷの操作ガイダンスを見ることで現在の操作内容を理解することができるので、ユーザは操作に対するフィードバックを受けることができる。
また、これらの操作支援表示処理はサイネージ端末装置１４側で行うため、情報配信サーバ１１側はこれを意識した実装をする必要がない。
本実施形態においては、操作支援表示装置としてサイネージ端末装置１４を適用したが、これに限るものではなく、パーソナルコンピュータ等の情報処理装置などにも適用可能である。
本実施形態のサイネージ端末装置１４で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態のサイネージ端末装置１４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のサイネージ端末装置１４で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１４ 操作支援表示装置
２１ 表示部
２５ 動作認識装置
３１１ 表示制御部
３１２ 動作反映部
ＳＷ サブウィンドウ
特開２０１０−０７９７７０号公報

Claims (4)

  1. 利用者の位置および動作を認識する動作認識装置と、
    操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、
    前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、
    を備え、
    前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する、
    ことを特徴とする操作支援表示装置。
  2. 前記表示制御部は、前記動作認識装置の認識結果として前記利用者による指示ポインタが前記サブウィンドウ上に重なる場合には、当該サブウィンドウの表示位置を移動させる、
    ことを特徴とする請求項１記載の操作支援表示装置。
  3. 利用者の位置および動作を認識する動作認識装置を備えるコンピュータを、
    操作支援表示処理の開始の合図となる動作を表したアイコンを初期画面として表示するとともに、当該アイコンを参考にした動作の前記動作認識装置による認識に基づく前記操作支援表示処理の開始後、前記動作認識装置の認識動作情報を表示部に表示される画像に対するポインティングデバイスの出力と同等の操作に置換えた状態を示す操作ガイダンスを表示するサブウィンドウを前記画像に重畳させて表示する表示制御部と、
    前記動作認識装置からの前記認識動作情報に基づく前記利用者の位置および動作をユーザ操作として反映させる動作反映部と、
    として機能させ、
    前記表示制御部は、前記動作反映部で反映した前記ユーザ操作に応じて前記サブウィンドウの前記操作ガイダンスを更新する、
    ことを特徴とするプログラム。
  4. 前記表示制御部は、前記動作認識装置の認識結果として前記利用者による指示ポインタが前記サブウィンドウ上に重なる場合には、当該サブウィンドウの表示位置を移動させる、
    ことを特徴とする請求項３記載のプログラム。
JP2012048563A 2012-03-05 2012-03-05 操作支援表示装置およびプログラム Active JP5715977B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012048563A JP5715977B2 (ja) 2012-03-05 2012-03-05 操作支援表示装置およびプログラム
CN201210559425.7A CN103294186B (zh) 2012-03-05 2012-12-20 操作支援显示装置及其控制方法
US13/780,195 US20130246968A1 (en) 2012-03-05 2013-02-28 Operation supporting display apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012048563A JP5715977B2 (ja) 2012-03-05 2012-03-05 操作支援表示装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2013186500A JP2013186500A (ja) 2013-09-19
JP5715977B2 true JP5715977B2 (ja) 2015-05-13

Family

ID=49095212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012048563A Active JP5715977B2 (ja) 2012-03-05 2012-03-05 操作支援表示装置およびプログラム

Country Status (3)

Country Link
US (1) US20130246968A1 (ja)
JP (1) JP5715977B2 (ja)
CN (1) CN103294186B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713545B (zh) * 2013-12-17 2017-09-29 华为技术有限公司 操作指导方法、装置及系统
JP2019207409A (ja) * 2019-05-30 2019-12-05 東芝映像ソリューション株式会社 表示装置及び表示装置の制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844490A (ja) * 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5777614A (en) * 1994-10-14 1998-07-07 Hitachi, Ltd. Editing support system including an interactive interface
JP2000020207A (ja) * 1998-07-01 2000-01-21 Fujitsu Ltd ウィンドウ制御装置および記録媒体
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
JP2002229704A (ja) * 2001-02-06 2002-08-16 Canon Inc 情報処理装置、ウインドウ表示方法、及び記憶媒体
JP2004078977A (ja) * 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
JP2011096084A (ja) * 2009-10-30 2011-05-12 Toshiba Corp 表示装置
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4897939B2 (ja) * 2010-05-28 2012-03-14 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法

Also Published As

Publication number Publication date
US20130246968A1 (en) 2013-09-19
CN103294186A (zh) 2013-09-11
JP2013186500A (ja) 2013-09-19
CN103294186B (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
US11494000B2 (en) Touch free interface for augmented reality systems
US11635928B2 (en) User interfaces for content streaming
TWI688879B (zh) 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
JP6235636B2 (ja) 触覚効果を与えるシステム及び方法
KR102007023B1 (ko) 오프-스크린 가시 객체들의 표면화
KR101460428B1 (ko) 폴더들을 관리하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105009062B (zh) 浏览被显示为瓦块的电子消息
JP2016126773A (ja) 視線追跡に基づく触覚効果を生成するシステム及び方法
JP5924407B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN103019536A (zh) 演示期间交互地缩放内容
US20220124191A1 (en) User interfaces associated with remote input devices
CN106796810B (zh) 在用户界面上从视频选择帧
EP3304287A1 (en) Assist layer with automated extraction
JP2013054643A (ja) 情報表示装置およびプログラム
JP5715977B2 (ja) 操作支援表示装置およびプログラム
US20230164296A1 (en) Systems and methods for managing captions
US20220091736A1 (en) Method and apparatus for displaying page, graphical user interface, and mobile terminal
KR102204599B1 (ko) 화면 출력 방법 및 이를 수행하기 위한 디스플레이 장치
CN110800308B (zh) 用于在可穿戴设备中呈现用户界面的方法、系统和介质
KR20210005832A (ko) 화면 출력 방법 및 이를 수행하기 위한 디스플레이 장치
JP5230559B2 (ja) 表示制御装置、その制御方法及びプログラム
US20240185481A1 (en) Lyrics and karaoke user interfaces, methods and systems
JP2018206130A (ja) ユーザインターフェース処理プログラム、記録媒体、ユーザインターフェース処理方法
JPWO2013108388A1 (ja) 自動販売機、自動販売機の制御方法及び自動販売機の制御プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150316

R150 Certificate of patent or registration of utility model

Ref document number: 5715977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150