JPWO2018037699A1 - 制御システム、制御装置、及び制御方法 - Google Patents

制御システム、制御装置、及び制御方法 Download PDF

Info

Publication number
JPWO2018037699A1
JPWO2018037699A1 JP2018535490A JP2018535490A JPWO2018037699A1 JP WO2018037699 A1 JPWO2018037699 A1 JP WO2018037699A1 JP 2018535490 A JP2018535490 A JP 2018535490A JP 2018535490 A JP2018535490 A JP 2018535490A JP WO2018037699 A1 JPWO2018037699 A1 JP WO2018037699A1
Authority
JP
Japan
Prior art keywords
control
output
tactile sense
related information
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018535490A
Other languages
English (en)
Other versions
JP7002453B2 (ja
Inventor
諒 横山
諒 横山
小野 彰
彰 小野
竹中 幹雄
幹雄 竹中
亮介 村上
亮介 村上
秀晃 林
秀晃 林
美緒子 安部
美緒子 安部
良輔 武内
良輔 武内
和俊 大野
和俊 大野
成治 村松
成治 村松
成瀬 哲也
哲也 成瀬
高橋 哲也
哲也 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Mobile Communications Inc filed Critical Sony Corp
Publication of JPWO2018037699A1 publication Critical patent/JPWO2018037699A1/ja
Application granted granted Critical
Publication of JP7002453B2 publication Critical patent/JP7002453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/50Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本制御システムは、制御装置と、被制御装置とを具備する。前記被制御装置は、第1の実行部と、第1の出力部とを有する。前記第1の実行部は、前記制御装置から出力された制御信号に応じて、所定の動作を実行する。前記第1の出力部は、前記所定の動作に関する触覚関連情報を出力する。前記制御装置は、検出部と、第2の出力部と、第2の実行部とを有する。前記検出部は、前記制御装置の状態を検出する。前記第2の出力部は、前記検出された状態に応じた前記制御信号を出力する。前記第2の実行部は、前記第1の出力部から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する。

Description

本技術は、リモートコントローラ(リモコン)を用いた機器制御等に適用可能な制御システム、制御装置、及び制御方法に関する。
赤外線リモコン等を用いてテレビ装置等の機器を制御する技術は、広く知られている。特許文献1には、ジャイロセンサ及び加速度センサを備えたリモコンによる機器制御について記載されている。ジャイロセンサ等により検出されたリモコンの動きに応じて、テレビのチャンネルが切替え可能となっており、ユーザの操作性の向上が図られている(明細書段落[0031]〜[0033]図7等)。
特開2007−142513号公報
このようにリモコン等を用いた機器の遠隔制御に関して、高い操作性を発揮することが可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、操作性の高い遠隔制御を実現可能とする制御システム、制御装置、及び制御方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る制御システムは、制御装置と、被制御装置とを具備する。
前記被制御装置は、第1の実行部と、第1の出力部とを有する。
前記第1の実行部は、前記制御装置から出力された制御信号に応じて、所定の動作を実行する。
前記第1の出力部は、前記所定の動作に関する触覚関連情報を出力する。
前記制御装置は、検出部と、第2の出力部と、第2の実行部とを有する。
前記検出部は、前記制御装置の状態を検出する。
前記第2の出力部は、前記検出された状態に応じた前記制御信号を出力する。
前記第2の実行部は、前記第1の出力部から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する。
この制御システムでは、制御装置により、制御装置の状態に応じた制御信号が出力される。そして被制御装置により、当該制御信号に応じた所定の動作に関する、触覚関連情報が出力される。触覚関連情報を受け取った制御装置は、当該触覚関連情報に基づいて、触覚提示動作を実行する。これにより制御装置を操作するユーザは、提示される触覚に基づいて被制御装置を遠隔制御することが可能となり、高い操作性が発揮される。
前記制御装置の状態は、前記制御装置の位置、向き、姿勢及び動きの少なくとも1つを含んでもよい。
これによりユーザは、例えば制御装置を動かすことで被制御装置を遠隔制御することが可能となり、高い操作性が発揮される。
前記第1の出力部は、前記触覚関連情報として、前記被制御装置により実行される前記所定の動作の結果を出力してもよい。この場合、前記第2の実行部は、前記出力された所定の動作の結果に応じた触覚を提示するための前記触覚提示動作を実行してもよい。
これにより触覚を通じて被制御装置の動作結果を把握することが可能となり、高い操作性が発揮される。
前記第1の出力部は、前記触覚関連情報として、前記触覚の提示タイミングを出力してもよい。この場合、前記第2の実行部は、前記出力された提示タイミングに基づいて、前記触覚提示動作を実行してもよい。
これにより、被制御装置を遠隔操作するための適当な制御タイミング等を把握することが可能となり、高い操作性が発揮される。
前記第1の出力部は、前記触覚関連情報として、提示される触覚の種類を出力してもよい。この場合、前記第2の実行部は、前記出力された触覚の種類に基づいて、前記触覚提示動作を実行してもよい。
これにより被制御装置の動作に応じた触覚を容易に提示することが可能となる。
前記第1の出力部は、前記触覚関連情報として、前記制御装置の状態に関する前記触覚の提示条件を出力してもよい。この場合、前記第2の実行部は、前記出力された触覚の提示条件に基づいて、前記触覚提示動作を実行してもよい。
これにより、例えば制御装置の状態に応じた触覚の提示が簡単に実現され、高い操作性が発揮される。
前記第1の実行部は、前記制御信号に応じて、音量の制御を実行してもよい。この場合、前記第1の出力部は、前記音量の制御に応じた前記触覚関連情報を出力してもよい。
これにより操作性よく音量を制御することが可能となる。
前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生制御を実行してもよい。この場合、前記第1の出力部は、前記コンテンツの再生制御に応じた前記触覚関連情報を出力してもよい。
これにより操作性よくコンテンツの再生制御を行うことが可能となる。
前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生位置の選択を実行してもよい。この場合、前記第1の出力部は、前記再生位置の選択に応じた前記触覚関連情報を出力してもよい。
これにより操作性よく再生位置を選択することが可能となる。
前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生位置の選択を実行してもよい。この場合、前記第1の出力部は、前記コンテンツ内の盛り上がり度に応じた前記触覚関連情報を出力してもよい。
これにより操作性よく盛り上がり度に応じた再生位置を選択することが可能となる。
前記第1の実行部は、前記制御信号に基づいて、削除対象となるデータの選択を実行してもよい。この場合、前記第1の出力部は、前記選択されたデータの重要度に応じた前記触覚関連情報を出力してもよい。
これにより操作性よくデータの削除を行うことが可能となる。
前記第2の実行部は、前記検出された状態に基づいて、提示する触覚を決定してもよい。
これにより精度の高い触覚の提示が可能となる。
前記実行部は、前記触覚提示動作として、前記被制御装置を振動させてもよい。
制御装置の振動を通じて被制御装置の動作結果等を把握することが可能となり、操作性よく遠隔制御を実行することが可能となる。
前記実行部は、前記触覚提示動作として、前記被制御装置の温度、形状、及び硬さの少なくとも1つを変化させてもよい。
制御装置の温度、形状、又は硬さの変化を通じて、操作性よく遠隔制御を実行することが可能となる。
本技術の一形態に係る制御装置は、被制御装置を制御可能な制御装置であって、検出部と、出力部と、受信部と、実行部とを具備する。
前記検出部は、前記制御装置の状態を検出する。
前記出力部は、前記検出された状態に応じた制御信号を出力する。
前記受信部は、前記出力された制御信号に基づいて所定の動作を実行する前記被制御装置から出力された、前記所定の動作に関する触覚関連情報を受信する。
前記実行部は、前記受信された触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する。
本技術の他の形態に係る制御システムは、制御装置と、被制御装置とを具備する。
前記被制御装置は、検出部と、第1の実行部と、出力部とを有する。
前記検出部は、前記制御装置の状態を検出する。
前記第1の実行部は、前記検出された状態に基づいて所定の動作を実行する。
前記出力部は、前記所定の動作に関する触覚関連情報を出力する。
前記制御装置は、第2の実行部を有する。
前記第2の実行部は、前記出力部から出力された触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する。
本技術の一形態に係る制御方法は、制御装置と、被制御装置とにより実行される制御方法であって、前記制御装置が、前記制御装置の状態に応じた制御信号を出力することを含む。
前記被制御装置により、前記制御装置から出力された制御信号に応じて所定の動作が実行される。
前記被制御装置により、前記所定の動作に関する触覚関連情報が出力される。
前記制御装置により、前記被制御装置から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作が実行される。
本技術の他の形態に係る制御方法は、制御装置と、被制御装置とにより実行される制御方法であって、前記被制御装置が、前記制御装置の状態を検出し、当該検出された状態に基づいて所定の動作を実行することを含む。
前記被制御装置により、前記所定の動作に関する触覚関連情報が出力される。
前記制御装置により、前記被制御装置から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作が実行される。
以上のように、本技術によれば、操作性の高い遠隔制御を実現可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第1の実施形態に係る遠隔操作制御システムの構成例を示す模式図である。 リモコン及びBDレコーダの機能的な構成例を示すブロック図である。 第1の実施形態に係る制御方法の一例を示すフローチャートである。 音量制御が実行される場合の一例を示す図である。 早送り/巻き戻しが実行される場合の一例を示す図である。 チャプタの選択が実行される場合の一例を示す図である。 盛り上がり度に応じた再生位置の選択が実行される場合の一例を示す図である。 コンテンツの削除が実行される場合の一例を示す図である。 第2の実施形態に係るリモコン及びBDレコーダの機能的な構成例を示すブロック図である。 第2の実施形態に係る制御方法の一例を示すフローチャートである。 第3の実施形態に係るリモコン及びBDレコーダの機能的な構成例を示すブロック図である。 第3の実施形態に係る制御方法の一例を示すフローチャートである。 第4の実施形態に係るリモコン及びBDレコーダの機能的な構成例を示すブロック図である。 第4の実施形態に係る制御方法の一例を示すフローチャートである。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
[遠隔操作制御システムの構成]
図1は、本技術の第1の実施形態に係る遠隔操作制御システム(以下、単に制御システムと記載する)の構成例を示す模式図である。制御システム100は、被制御装置としてのBD(Blu-ray(登録商標) Disc)レコーダ10と、制御装置としてのリモコン20とを有する。
BDレコーダ10は、HDMI(登録商標)(High-Definition Multimedia Interface)ケーブル等を介して、テレビジョン装置15に接続される。BDレコーダ10は、各放送局から送信される番組コンテンツの録画/再生を実行することが可能である。またBDレコーダ10は、BDやDVDに記憶されたコンテンツを読み出して再生することが可能である。再生される番組コンテンツ等は、テレビジョン装置15の画面16に表示される。
BDレコーダ10は、早送りや巻き戻し等の再生制御、チャプタの選択等の再生位置の選択、テレビジョン装置15から出力される音量の制御、録画の予約設定、録画された番組コンテンツの削除等、種々の機能を実行することが可能である。もちろんこれらの機能に限定される訳ではない。
リモコン20は、BDレコーダ10を制御するための赤外線コマンド(制御信号)を出力する。ユーザは、リモコン20を操作することで、BDレコーダ10を遠隔で操作すること、すなわちBDレコーダ10の遠隔制御が可能となる。
本実施形態では、リモコン20の各種のボタン21が適宜操作される(以下、ボタン操作と記載する)。また矢印Lにより模式的に示すように、リモコン20を適宜動かすことで、BDレコーダ10を制御することが可能である(以下、モーション操作と記載する)。なおボタン操作及びモーション操作をまとめてリモコン操作と記載する場合がある。
[遠隔操作制御方法]
図2は、リモコン20及びBDレコーダ10の機能的な構成例を示すブロック図である。ここでは、主に、本技術に係る遠隔操作制御方法(以下、単に制御方法と記載する)を実行するためのブロックが図示されている。
まず本技術に係る制御方法の概要を説明すると、ユーザによりボタン操作及びモーション操作が実行される。当該ボタン操作及びモーション操作に応じて、BDレコーダ10により番組コンテンツ等の再生制御や、音量制御が実行される。その際に、リモコン20にBDレコーダ10の動作に応じた振動が適宜発生する(図1の折れ線参照)。ユーザは、リモコン20の振動による触覚の変化等に基づいて、早送りの速度や音量等を把握することが可能となる。
図2に示すようにリモコン20は、操作部22、動き検出部23、通信部24、記憶部25、触覚提示部26、触覚情報変換部27、及び制御部28を有する。
操作部22は、図1に示す各種のボタン21を有し、ユーザによるボタン操作を受付ける。ボタン操作に応じた操作信号は制御部28に出力され、赤外線コマンドの生成等が実行される。
動き検出部23は、リモコン20の位置、向き、姿勢及び動きを検出する。動き検出部23は、例えばGPSセンサ及び9軸センサを有する。GPSセンサにより、リモコンの位置情報が取得される。また9軸センサにより、リモコン20の向き、姿勢及び動きが検出される。位置や動き等を検出するための具体的なアルゴリズムは限定されない。また他のデバイスが用いられてもよい。
本実施形態では、リモコン20の向きは、リモコン20の先端が向く方向により検出される(図4等に示す基準軸Mが向く方向に相当)。リモコン20の姿勢は、基準軸Mの、3次元空間における角度、及び当該基準軸Mを軸とした回転角度により検出される。またリモコン20の動きは、位置、向き、及び角度の各々の変化により検出される。なお他のパラメータ(検出値)により、リモコン20の位置、向き、姿勢、及び動きがそれぞれ検出されてもよい。
リモコン20の位置、向き、姿勢、及び動きは、本実施形態において、リモコン20の状態に含まれる。従って動き検出部23は、リモコン20の状態を検出する検出部として機能する。
以下、リモコン20の位置、向き、姿勢、及び動きを、まとめてリモコン20の動きと記載して説明を行う場合がある。動き検出部23により検出されたリモコン20の動きは、制御部28に出力される。制御部28は、検出されたリモコンの動きに基づいて、モーション操作に応じた赤外線コマンドの生成等を実行する。
通信部24は、赤外線通信を実行するためのモジュールであり、IR送信部/IR受信部を有する。本実施形態では、リモコン20の通信部24と、BDレコーダ10の通信部11とにより、赤外線コマンドの送信/受信や、後に説明する触覚関連情報の送信/受信が実行される。通信部24の具体的な構成は限定されない。
記憶部25は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)等が用いられる。本実施形態では、記憶部25に、BDレコーダ10の動作に応じて、リモコン20に発生させる振動の種類が記憶される。例えば早送り速度や音量に応じた振動の種類が記憶される。具体的には、発生させる振動の周波数や振幅(強さ)を含む波形の情報や、波形の変化等の情報が記憶される。
例えば振動の種類として、「所定の周波数及び所定の振幅を有する振動」、「周波数及び振幅(いずれか一方も有り得る)が経時的に変化する振動」「周波数や振幅が異なる複数の波形の合成波形により表される振動」等が挙げられる。
また周波数や振動等を適宜制御することで、「所定の方向に力が発生しているような触覚」、すなわち所定の方向に引っ張られる、あるいは押し込まれるような触覚を提示することも可能である。もちろん引っ張られる力等が経時的に、あるいはランダムに変化するような触覚を提示することも可能である。また「検出されたリモコン20の動きに応じた触覚」、すなわち「リモコン20の動きを妨げるような触覚」や「リモコン20の動きを促すような触覚」等を提示することも可能である。振動の種類として、このような触覚を提示可能な振動も含まれる。その他、種々の触覚を提示するための任意の振動が含まれる。
本実施形態では、BDレコーダ10の動作と、振動の種類とが関連付けられた振動テーブルが記憶される。もちろんテーブル情報として記憶される場合に限定される訳ではない。
触覚提示部26は、リモコン20に振動を発生させるアクチュエータであり、例えば圧電デバイスや偏心モータ等を含む。例えば触覚提示部26として、板状の圧電素子を両端及び中央部が支持された状態で配置する。圧電素子の入力端子に駆動信号を入力することで、両端を節とし中央部を腹として、圧電素子を振動させることが可能となる。このような構成を含むデバイスや、WO/2015/151380に開示されている力覚提示デバイスを用いることができる。その他、任意の構成を有するアクチュエータが用いられてよい。
触覚情報変換部27は、BDレコーダ10の動作に応じた種々の情報を、触覚情報に変換する。触覚情報とは、触覚を通じて伝達可能な情報であり、本実施形態では、リモコン20を振動させることで、触覚情報が生成される。触覚情報変換部27は、触覚提示部26であるアクチュエータを駆動するドライバとして機能する。
制御部28は、リモコン20が有する各ブロックの動作を制御する。制御部28は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUがメモリ(図2の記憶部25でもよい)に記憶されているプログラムをRAMにロードして実行することにより、種々の処理が実行される。
制御部28として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
本実施形態では、制御部28により、ボタン操作及びモーション操作に応じた赤外線コマンドが生成され、通信部24を介して出力される。赤外線コマンドの生成のために他のブロックが構成され、当該ブロックが制御部28により制御されてもよい。
また制御部28により、BDレコーダ10の動作に応じた振動を発生させるための振動発生動作が実行される。本実施形態では、BDレコーダ10により出力されたフィードバック信号が、リモコン20の通信部24を介して制御部28に出力される。制御部28は、受け取ったフィードバック信号、記憶部25に記憶された振動テーブル、及び動き検出部23により検出されたリモコン20の動きに基づいて、振動を発生させるための振動制御信号を生成する。
従って制御部28により、リモコン20にどのような振動を発生させるかが決定される。なお振動制御信号は、例えば上記した「所定の周波数及び所定の振幅を有する振動」等を実現するための波形情報を含む。
触覚情報変換部27は、制御部28から出力された振動制御信号に基づいて、触覚提示部26を駆動するための駆動信号(ドライブ信号)を生成する。生成された駆動信号により触覚提示部26が駆動され、BDレコーダ10の動作に応じた振動が発生される。
本実施形態では、制御部28により、第2の出力部が実現される。また制御部28、触覚情報変換部27、及び触覚提示部26により、第2の実行部が実現される。またBDレコーダ10の動作に応じた振動を発生させるための振動発生動作は、触覚を提示するための触覚提示動作に相当する。
BDレコーダ10は、通信部11、制御部12、及びメディア再生部13を有する。通信部11は、赤外線通信を実行するためのモジュールである。
制御部12は、CPUやメモリ等を有し、BDレコーダ10が有する各ブロックを制御する。本実施形態では、制御部12により、リモコン20から出力された赤外線コマンドに応じた所定の動作が実行される。例えば図2に示すメディア再生部13が、制御部12により制御されることで、再生制御、再生位置の選択、音量制御等が実行される。その他、制御部12により、録画の予約設定、録画された番組コンテンツの削除等の、種々の機能が実行される(各機能を実行するためのブロックの図示は省略)。
また制御部12により、フィードバック信号が生成され、通信部11を介して出力される。フィードバック信号は、リモコン20からの赤外線コマンドに応じて実行された動作の結果を含む。動作の結果とは、例えば遠隔制御により制御された結果であり、早送り速度や音量の制御値を含む。また動作の結果として、チャプタの選択が実行される際のチャプタの切替え等も含まれる。もちろん赤外線コマンドに応じた動作を実行した旨が、動作の結果として含まれてもよい。すなわち早送りが実行されたことや音量が変更されたこと自体が、動作の結果としてフィードバックされてもよい。
本実施形態では、制御部12により、第1の出力部が実現される。また制御部12により、第1の実行部が実現される。またフィードバック信号に含まれる動作結果は、所定の動作に関する触覚関連情報に相当する。
図3は、本実施形態に係る制御方法の一例を示すフローチャートである。典型的には、ボタン操作又はモーション操作により、遠隔制御の制御モードが選択される。すなわち早送り等の再生制御モード、音量制御モード、チャプタの選択モード等が選択される。そして選択された制御モードにおいて、BDレコーダ10の動作に応じた振動が発生される。
ユーザによりリモコン操作が入力される(ステップ101)。なおモーション操作が入力される際には、リモコン20の動きが検出される(ステップ102)。
入力されたリモコン操作に応じて遠隔操作制御が実行される。すなわちリモコン操作に応じた赤外線コマンドが生成され、BDレコーダ10に出力される(ステップ103)。
BDレコーダ10では、赤外線コマンドに応じた動作制御が実行される(ステップ104)。そして制御結果(動作結果)を含むフィードバック信号がリモコン20に出力される(ステップ105)。リモコン20の制御部28により、制御結果や振動テーブル等に基づいて、振動を発生させるか否かが判定される(ステップ106)。
振動を発生させない場合には(ステップ106のNo)、ステップ101に戻り、リモコン操作の入力が監視される。
振動を発生させる場合には(ステップ106のNo)、触覚情報への変換が実行される。具体的には、振動を発生させるための振動制御信号が生成され、触覚情報変換部27に出力される(ステップ107)。触覚情報変換部27が触覚提示部26を駆動することで、振動が発生される。すなわちユーザにBDレコーダ10の動作に応じた触覚が提示される(ステップ108)
[遠隔制御の具体例]
図4〜図8は、リモコン20を用いた遠隔制御の具体例を説明するための図である。図4は、本技術に係る制御方法により音量制御が実行される場合の一例を示す模式図である。例えばボタン操作やリモコン20の向きを変化させる等のモーション操作により、音量制御モードが起動される。
矢印Nに示すように、ユーザがリモコン20を回転すると、回転方向に応じた音量制御の赤外線コマンドが出力される(ステップ101〜103)。例えばBDレコーダ10の実際のボリュームダイアル14の回転方向に合わせて、右回転=ボリュームアップ、左回転=ボリュームダウンとなるように、赤外線コマンドが送信される。これにより直感的な操作が可能となり、操作性が向上する。
なお図14は、回転方向と音量制御との関係を説明するために、ボリュームダイアル14が模式的に図示されている。しかしながら当該ボリュームダイアル14が画面16に表示され、ボリュームダイアル14にリモコン20を向けて回転させるという訳ではない。典型的には、番組コンテンツ等が表示されている状態で、リモコン20が回転され、音量制御が実行される。もちろんボリュームダイアル14がテレビジョン装置15の画面16に表示されてもよい。
BDレコーダ10により、音量制御が実行され、ボリュームアップ/ボリュームダウン及び音量の制御値(レベル)を含む制御結果がフィードバックされる(ステップ105)。リモコン20の制御部28により、ボリュームアップ/ボリュームダウン及び音量の制御値に応じた振動が発生される(ステップ106〜108)。
図4に示す例では、ボリュームアップ/ボリュームダウンの各々に応じて、異なる触覚が提示される。例えば図4に示すように、ボリュームの+方向、−方向に合わせた方向に力を発生させる触覚が生成される。あるいはリモコン20の回転を妨げる触覚(あるいは促すような触覚)が、リモコン20の回転方向に応じてそれぞれ提示されてもよい。これにより触覚を通じて、ボリュームアップ/ボリュームダウンの各々を把握することが可能となる。
また音量のレベルに応じて、触覚の強さ(振動の強さ)が変化されてもよい。例えば音量のレベルが大きいほど強い触覚が提示され、レベルが小さいほど弱い触覚が提示される。これにより触覚を通じて、音量レベルを把握することが可能となる。また不用意に音量を大きくしてしまうといったことを防止することも可能となる。
図5は、再生制御として早送り/巻き戻しが実行される場合の一例を示す模式図である。例えばテレビジョン装置15の画面16に、早送り/巻き戻し用の操作UI31が表示される。ここでは、拡大して表示された操作UI31aに対して、モーション操作が実行される場合を説明する。典型的には、コンテンツの表示を妨げることがないよう、画面16の端に表示される操作UI31に対してモーション操作が実行される。
例えば早送り/巻き戻しモードの起動時のリモコン20の位置を基準として、その基準位置が、通常再生の位置(早送り及び巻き戻しが実行されない位置)である「1」に合わせられる。当該基準位置から左右への動きに応じて、早送り/巻き戻しの赤外線コマンドが出力される(ステップ101〜103)。
例えば操作UI31aの早送り/巻き戻しの方向に合わせて、右方向への移動=早送り、左方向への移動=巻き戻しとなるように、赤外線コマンドが送信される。これにより直感的な操作が可能となり、操作性が向上する。
典型的には、通常再生の位置である「1」にリモコン20が向けられた状態で、早送り/巻き戻しモードが起動される。これにより図5に示すように、リモコン20の向きとスライダ32の位置とが対応した状態で遠隔制御をすることが可能である。もちろんこれに限定されず、画面16に表示された操作UI31の位置に関係なく、リモコン20を動かすことで、早送り/巻き戻しが実行されてもよい。これにより自由な体勢で遠隔制御が可能となる。
BDレコーダ10により、左右の移動量に応じた速度による早送り又は巻き戻しが実行される(ステップ104)。早送り/巻き戻し、及び速度を含む制御結果がフィードバックされる(ステップ105)。そして早送り/巻き戻し及び速度に応じた振動が発生される(ステップ106〜108)。
例えば左右方向のリモコン20の動きを妨げる(あるいは促すような触覚)が提示される。また速度が大きいほど強い触覚が提示される。これにより触覚を通じて操作性よく早送り/巻き戻しを実行することが可能となる。
なおリモコン20を左右方向に移動させる場合のみならず、リモコン20の向きを左右方向で変化させることで、早送り/巻き戻しを実行することも可能である。この場合、左右方向への回転角度に応じて早送り/巻き戻し及び速度が制御される。
リモコン20により、リモコン20の先端部がどの位置を指しているかが検出可能であってもよい。この場合、リモコン20が操作UI31aの「1」付近を指している場合に、早送り/巻き戻しモードが起動される。そしてリモコン20の左右方向の移動や向きの変化に応じて、リモコン20が指す位置にスライダ32が移動され、早送り/巻き戻しが実行される。リモコン20が指す位置を検出するために、テレビジョン装置15側にガイド光を出射する光源デバイスが設けられたり、リモコン20の先端に撮像デバイス等が設けられてもよい。
図6は、再生位置の選択として、チャプタの選択が実行される場合の一例を示す模式図である。例えばチャプタ選択モードが起動すると、各チャプタに含まれるシーンのサムネイル画像35が一覧表示される。
リモコン20の指している位置が用いられない場合には、予め定められたチャプタのサムネイル画像35が、選択状態となる(太枠等により強調表示される)(サムネイル画像35a参照)。リモコン20の指している位置が検出される場合には、当該位置に表示されているサムネイル画像35が選択状態となる。
ユーザにより左右及び上下方向において、リモコン20の位置及び向きが変化される。リモコン20の動きに応じて、チャプタ選択の赤外線コマンドが出力される(ステップ101〜103)。
例えばリモコン20の左右及び上下方向の移動や向きの変化に応じて、選択状態となるサムネイル画像35aが切替えられる。あるいはリモコン20の指す位置の変化に応じて、選択状態のサムネイル画像35aが切替えられる(ステップ104)。これにより直感的な操作が可能となる。以下、選択対象のサムネイル画像35aを、選択対象のチャプタと記載する場合がある。
BDレコーダ10により、選択対象のチャプタを切替えた旨を含む制御結果がフィードバックされる(ステップ105)。そして選択対象のチャプタが切替えられたタイミングに合わせて振動が発生される(ステップ106〜108)。従って、例えば選択対象となるチャプタが連続的に4回切替えられた場合には、切替えタイミングに応じて4回リモコン20が振動することになる。典型的には、リモコン20の指す位置が、サムネイル画像35の間に位置するタイミングで振動が発生する。
これによりユーザは、触覚を通じて、チャプタが切替えられたことを確実に把握することが可能となる。またチャプタの切替え回数を把握することが可能となり、切替えられた後の再生対象のチャプタを容易に把握することが可能となる。
なお右側のチャプタへの切替え(直後のチャプタへの切替え)、左側のチャプタへの切替え(直前のチャプタへの切替え)、下側のチャプタへの切替え(所定の時間後のチャプタへの切替え)、上側のチャプタへの切替え(所定の時間前のチャプタへの切替え)の各々に対して、互いに異なる触覚が提示されてもよい。これにより高い操作性を発揮することが可能となり、容易に再生位置を選択することが可能となる。
図7は、コンテンツ内の盛り上がり度に応じた再生位置の選択が実行される場合の一例を示す模式図である。例えば盛り上がり再生モードが起動すると、時間軸に沿って盛り上がり度が表示された操作UI37が表示される。
コンテンツ内の盛り上がり度は、例えば各放送局やコンテンツ配信会社等により生成され、メタデータとして、BDレコーダ10に配信される。あるいはBDレコーダ10により、盛り上がり度が算出されてもよい。
盛り上がり度は、例えば番組コンテンツの時間ごとの視聴率やSNS(Social Networking Service)等にアップロードされた番組に関連するコメントの数等により算出される。あるいはコンテンツ内の画像や音声等から盛り上がり度が算出されてもよい。例えばスポーツのコンテンツである場合、観客の盛り上がりを音量の大小にあてはめ、音量が大きいタイミングが、盛り上がり度が高いタイミングとして算出される。その他、盛り上がり度を算出するために、任意のコンテンツ解析技術が用いられてよい。
盛り上がり再生モードの起動時のリモコン20の向きを基準とし左右方向のリモコン20の動きに応じて、あるいはリモコン20の指す位置に応じて、再生位置を表すタイムバー38が移動される(ステップ101〜104)。BDレコーダ10からは、制御結果として、当該再生位置における盛り上がり度がフィードバックされる(ステップ105)。フィードバックされた盛り上がり度に応じた振動が発生される(ステップ106〜108)。
例えば盛り上がり度に応じた強さの振動が発生される。これによりユーザは、強く振動する位置で再生位置の選択を入力することで、十分に盛り上がったシーンからコンテンツを再生することが可能となる。なお選択された再生位置から若干戻された位置より、コンテンツが再生されてもよい。これにより盛り上がるシーンの直前からコンテンツを再生することが可能となる。
盛り上がり度に関する所定の閾値が設定され、盛り上がり度が閾値を超える場合にリモコンを振動させることも可能である。また盛り上がり度が高いシーンの種類が区別され、シーンの種類に応じて異なる触覚が提示されてもよい。これによりユーザが見たいシーンを精度よく探索することが可能となる。
また盛り上がり度が高い再生位置に誘導するような触覚が提示されてもよい。例えば盛り上がり度が高い位置に近づくほど、リモコン20の動きを妨げるような触覚が発生される。これにより盛り上がり度が高い位置を精度よく探し出すことや、その位置を過ぎてしまうこと等を防止することが可能となる。また盛り上がり度が高い位置を通り過ぎた際に、反対方向への力が感じられるような、すなわちリモコン20を戻すような触覚が提示されてもよい。
再生位置の選択についての他の例として、コンテンツ内のシーンの切替わり位置や、CM区間の位置等に応じた触覚が提示されてもよい。これにより触覚を通じて、見たい位置での再生や、CMが終わった位置での再生を、容易に行うことが可能となる。
図8は、コンテンツの削除が実行される場合の一例を示す模式図である。例えばデータの削除モードが起動されると、BDレコーダ10に記憶されているコンテンツが一覧表示される。例えば図6に示すチャプタ選択のように、モーション操作の入力に応じて、削除対象となるコンテンツが切替えられる。(ステップ101〜104)。
BDレコーダ10は、制御結果として、削除対象として選択されたコンテンツの重要度がフィードバックされる(ステップ105)。重要度は、例えばユーザにより設定される。あるいはBDレコーダ10により自動的に設定されてもよい。例えばコンテンツの種類や予約状況等に基づいて重要度が自動的に設定される。あるいは過去のユーザによる設定に基づいて、ユーザが重要だと思うコンテンツや、ユーザが好むコンテンツ等が判別され、適宜重要度が設定されてもよい。
フィードバックされた重要度に応じて、リモコン20が振動される(ステップ106〜108)。例えば重要度が高いほど、強い振動が発生される。これによりユーザは、触覚を通じて、削除対象となるコンテンツの重要度を容易に把握することが可能となる。この結果、操作性よくデータの削除が可能となり、重要度が高いコンテンツを誤って削除してしまうといった誤操作を防止することが可能となる。なおコンテンツの種類に応じて、異なる触覚が提示されてもよい。これにより高い操作性が発揮される。
なお削除対象のコンテンツが切替えられるごとに、あるいは所定のモーション操作の入力等により、図8に示すようなファイルの削除を確認するためのポップアップ39が表示されてもよい。これにより誤操作等を確実に防止することができる。
図4〜図8に示す各制御モードが組み合わされて実行されてもよい。例えば図5に示す早送り/巻き戻しと、図6及び図7に示す再生位置の選択が組み合わされてもよい。例えば早送りをしながら盛り上がり度の高い位置を探す、といったことも可能である。盛り上がり度に応じた触覚と、早送りの速度に応じた触覚とを異ならせることで、盛り上がり度及び早送りの速度の両方を把握することが可能となる。
以上、本実施形態に係る制御システム100では、リモコン20により、リモコン20の状態(位置、向き、姿勢、及び動き)に応じた赤外線コマンドが出力される。そしてBDレコーダ10により、当該赤外線コマンドに応じた所定の動作に関する、制御結果が出力される。制御結果を受け取ったリモコン20は、当該制御結果に基づいて、リモコン20に振動を発生させる。これによりリモコン20を操作するユーザは、視覚や聴覚のみならず、触覚に基づいてBDレコーダ10を遠隔制御することが可能となり、高い操作性が発揮される。
またモーション操作が入力される場合には、遠隔制御が適正に実行されているかを把握することが難しい。すなわち自分の手の動きと音量の制御等との対応を把握することが難しく、動かしているつもりでもなかなか制御ができないといったことや、自分が思っている以上に音量が大きくなってしまうといったことが起こりやすい。本実施形態では、制御に応じた触覚を得ることが可能であるので、モーション操作の操作性を非常に向上させることが可能である。
<第2の実施形態>
本技術に係る第2の実施形態の制御システムについて説明する。これ以降の説明では、上記の実施形態で説明した制御システム100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
図9は、第2の実施形態に係るリモコン220及びBDレコーダ210の機能的な構成例を示すブロック図である。図10は、本実施形態に係る制御方法の一例を示すフローチャートである。
本実施形態では、BDレコーダ210の制御部212により、動作に応じた振動の種類、及び振動の発生タイミングが決定される。そしてBDレコーダ210からリモコン220に、触覚関連情報として、振動の種類、及び発生タイミングが出力される。
図9に示すように、BDレコーダ210の動作と振動の種類とが関連付けられた振動テーブルは、BDレコーダ210の記憶部250に記憶される。なお振動の種類及び発生タイミングは、触覚の種類及び触覚の提示タイミングに相当する。
図10に示すように、モーション操作等に応じた赤外線コマンドが送信され、BDレコーダ210の動作が制御される(ステップ201〜204)。BDレコーダ210の制御部212により、振動テーブルに基づいて、振動を発生させるか否かが判定される(ステップ205)。振動を発生させない場合には(ステップ205のNo)、ステップ204に戻る。
振動を発生させる場合には(ステップ205のYes)、振動テーブルに基づいて、振動の種類、及び振動の発生タイミングが決定され、リモコン220に出力される(ステップ206)。
リモコン220の制御部228により、BDレコーダ210から出力された振動の種類及び発生タイミングに基づいて、振動を発生させるか否かが判定される(ステップ207)。典型的には、BDレコーダ210から振動の種類及び発生タイミングを受け取った場合には、その情報に基づいて、振動が発生される(ステップ207のYES〜ステップ209)。一方、振動を発生させない旨のユーザの設定や、リモコン220の状態により振動の発生を規制するといったことも有り得る(ステップ207のNo)。
このように、BDレコーダ210側で振動の種類や発生タイミングが決定されてもよい。この場合でも、図4〜図8に示す、音量制御、再生制御、再生位置の選択、データの削除等を実行することが可能である。以下、各制御における(振動の種類、発生タイミング)の例を挙げるが、これらに限定される訳ではない。
音量制御…(音量の制御値に応じた振動、音量が変化するタイミング)
早送り/巻き戻し…(速度に応じた振動、速度が変化するタイミング)
チャプタ選択…(切替えに応じた振動、チャプタの切替えタイミング)
盛り上がり再生…(盛り上がり度に応じた振動、再生位置の切替えタイミング)
データの削除…(重要度に応じた振動、削除対象となるデータの切替えタイミング)
<第3の実施形態>
図11は、第3の実施形態に係るリモコン320及びBDレコーダ310の機能的な構成例を示すブロック図である。図12は、本実施形態に係る制御方法の一例を示すフローチャートである。
本実施形態では、BDレコーダ310の制御部312により、動作に応じた振動の発生タイミングが決定され、触覚関連情報として、リモコン320に出力される。そのためにBDレコーダ310の記憶部350には、BDレコーダ310の動作と発生タイミングとが関連付けられたタイミングテーブルが記憶される。
図12に示すように、モーション操作等に応じた赤外線コマンドが送信され、BDレコーダ310の動作が制御される(ステップ301〜304)。BDレコーダ310の制御部312により、タイミングテーブルに基づいて、振動を発生させるか否かが判定される(ステップ305)。そして振動を発生させる場合には(ステップ305のYes)、振動の発生タイミングが出力される(ステップ306)。
リモコン320の制御部328により、BDレコーダ310から出力された発生タイミング、及び記憶部325に記憶された振動テーブルに基づいて、振動を発生させるか否かが判定される(ステップ307)。そし受け取った発生タイミングにて、所定の振動が発生される(ステップ307のYes〜ステップ309)。
このように、BDレコーダ310側で振動の発生タイミングが決定され、リモコン320側で振動の種類が決定されてもよい。この場合でも、図4〜図8に示す、音量制御、再生制御、再生位置の選択、データの削除等を実行することが可能である。特に、チャプタの切り替え等の、振動の発生タイミングが重要となる制御を、両装置の処理負担を抑えて実現することが可能となる。
もちろん音量制御や早送り/巻き戻しにも適用可能である。この場合、リモコン320側で、リモコン320の動きに応じた音量の制御値や早送り等の速度が算出され、適宜振動の強さ等が決定される。もちろんこれに限定される訳ではない。
<第4の実施形態>
図13は、第4の実施形態に係るリモコン420及びBDレコーダ410の機能的な構成例を示すブロック図である。図14は、本実施形態に係る制御方法の一例を示すフローチャートである。
本実施形態では、BDレコーダ410からリモコン420に、リモコン410の状態に関する触覚の提示条件が、触覚関連情報として出力される。リモコン420の状態に関する触覚の提示条件とは、例えばリモコン420の状態が所定の状態となる場合に、所定の種類の触覚を発生させる等の条件情報である。本実施形態では、リモコン420の動きに関する振動提示の条件情報が出力される。
図13に示すように、BDレコーダ410の記憶部450には、振動提示の条件情報が出力される。振動提示の条件情報は、再生制御や音量制御等の各制御モードに応じて設定されている。例えば各制御モードにおいて、図4〜図8を参照して説明したモーション操作が実行されて、BDレコーダ410の動作が制御されるとする。その際に、振動発生の対象となる制御を実行させるモーション操作(リモコンの動き)が、振動の発生条件として記憶される。
例えば再生制御に関する条件情報は、リモコン420を左右方向に所定の量だけ動かす(移動及び向きの変化を含む)と、早送り/巻き戻しに対応する振動を、移動量分の強さで発生させる等である。音量制御の条件情報は、例えばリモコン420の回転に応じて、ボリュームアップ/ボリュームダウンの各々に対応する振動を、リモコン420の回転量分の強さで発生させる。
チャプタの選択の場合は、左右及び上下の方向で、所定の移動量分だけリモコン420が動かされるごとに所定の振動を発生させる。盛り上がり再生の場合には、コンテンツの盛り上がり度に基づいて、リモコン420の左右の動きに対して盛り上がり度に応じた振動を発生させる。このような情報が、条件情報として出力される。
図15に示すように、ボタン操作又はモーション操作により、制御モードが選択される。BDレコーダ410により、選択された制御モードに応じた条件情報がリモコン420に送信される(ステップ401、402)。
モーション操作等に応じた赤外線コマンドが送信され、BDレコーダ410の動作が制御される(ステップ403〜406)。当該モーション操作について、条件情報に基づいて、振動を発生させるか否かが判定される(ステップ407、408)。振動を発生させる場合には(ステップ408のYes)、条件情報に応じた振動が発生される(ステップ408のYes〜ステップ410)。
なおこの際に、リモコン420の記憶部425に記憶された振動テーブルが参照されてもよい。すなわち振動発生の条件情報と、振動テーブルとがともに参照されて、振動が発生されてもよい。例えば条件情報として、早送り/巻き戻しに対応する振動を、移動量分に応じて発生させる旨が読み出される。振動テーブルから、「早送り/巻き戻しに対応する振動」及び「移動量分に応じた振動」の各々の具体的な種類が決定される。このような処理も可能である。
BDレコーダ410が配置される空間に、振動発生の条件情報がマッピングされた、マッピング情報が生成されてもよい。マッピング情報は、空間のXYZ座標に関連付けられた情報であり、例えばリモコン420の指す位置(XYZ座標)やその変化に応じて、発生させる振動の種類等が取得可能である。
例えばBDレコーダ410により、制御モードに応じた座標系を含むマッピング情報がリモコン420に出力される。リモコン420では、リモコン420の指す位置が検出可能であるとする。例えば図6に示すチャプタ選択画面に対応するマッピング情報が用いられることで、チャプタの切替えに応じた振動を発生することが可能となる。
本実施形態では、最初に振動発生の条件情報が送信され、以後は振動を発生させるためのフィードバックが不要である。リモコン420側でも、最初に受け取った条件情報に基づいて振動が発生される。従って簡単な処理で、BDレコーダ410の動作に応じた振動を発生させることが可能となる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することが
できる。
被制御装置の動作に応じてユーザに提示される触覚の種類は限定されない。例えば制御装置の温度、形状、及び硬さ等を変化させることで、触覚を提示することも可能である。例えば制御装置にヒータ等の熱源を備えることで、制御装置の温度を変化させることが可能である。あるいはファン装置等を含めた冷却機構の動作を制御することで、制御装置の温度を制御することが可能である。
制御装置の筐体部等に、形状記憶合金やワイヤ等を設けることで、制御装置の形状を変化させることが可能である。制御装置の硬さの制御は、例えば内部に構成された支持機構を制御することで実行可能である。あるいは硬度を制御可能な材料が用いられてもよい。
このように、本技術により提示される「触覚」は、接触する対象物から力を受けている感覚である「力覚」のみならず、対象物から感じられる熱(温度)、認識される形状や硬さ等を含む(形状や硬さは「力覚」に基づく感覚ともいえる)。すなわち本技術に係る「触覚」は、接触を介して感じられる種々の感覚を含む。また擬似触覚、仮想触覚、錯触覚等のように、錯覚的に感じられる触覚も含まれる。
上記では、制御装置の状態として、制御装置の位置、向き、姿勢、及び動きが検出され、検出結果に応じた制御信号が出力された。これに限定されず、制御装置の状態として、位置、向き、姿勢、及び動きのうちの1つ、あるいは任意の組み合わせのみが検出されてもよい。
また制御装置の状態として、位置、向き、姿勢、及び動きとは異なるパラメータが検出されてもよい。例えば制御装置の温度、形状、硬さ等が、制御装置の状態として検出され、それに応じた制御信号が出力されてもよい。例えば制御装置を強く握り締める、あるいはこすり付けることで、制御装置を暖めると、それに応じた制御信号が出力される。そして制御信号に応じた被制御装置の動作に応じた、制御装置の温度が制御される。あるいは制御装置の形状を変化させることで、所定の制御信号が出力され、動作結果に応じて制御装置の形状が変化する。このような制御も可能である。
被制御装置により、制御装置の状態が検出可能であってもよい。例えば被制御装置により、どのようなモーション操作が入力されたかが判定され、モーション操作に応じた所定の動作が実行される。被制御装置により、動作に応じた触覚関連情報が出力され、それに基づいて制御装置により触覚提示動作が実行される。被制御装置による制御装置の状態の検出は、例えば制御装置の状態を検出可能な撮像装置やセンサ装置等をも用いることで可能である。これにより制御装置の構成を簡素化することが可能となる。
制御信号を出力するための通信形態や、触覚関連情報を出力するための通信形態は、上記した赤外線通信に限定されない。例えばBluetooth(登録商標)等の近距離無線通信や、WiFi等の無線LAN通信が用いられてもよい。また制御信号及び触覚関連情報の各々の出力が、異なる通信形態により実行されてもよい。
上記では、制御装置及び被制御装置として、赤外線リモコン及びBDレコーダを例に挙げたが、これに限定される訳ではない。例えば制御装置として、本技術に係るプログラム(アプリケーション)がインストールされたスマートフォンやゲーム機器等のPDA(Personal Data Assistant)等が用いられてもよい。また被制御装置として、テレビジョン装置、ビデオレコーダ、DVDプレイヤ、CDプレイヤ、コンポ、エアコンディショナ、扇風機、照明機器等の任意の家電製品が用いられてよい。これら各装置の遠隔制御に、本技術は適用可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)制御装置と、被制御装置とを具備する制御システムであって、
前記被制御装置は、
前記制御装置から出力された制御信号に応じて、所定の動作を実行する第1の実行部と、
前記所定の動作に関する触覚関連情報を出力する第1の出力部とを有し、
前記制御装置は、
前記制御装置の状態を検出する検出部と、
前記検出された状態に応じた前記制御信号を出力する第2の出力部と、
前記第1の出力部から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する第2の実行部とを有する
制御システム。
(2)(1)に記載の制御システムであって、
前記制御装置の状態は、前記制御装置の位置、向き、姿勢及び動きの少なくとも1つを含む
制御システム。
(3)(1)又は(2)に記載の制御システムであって、
前記第1の出力部は、前記触覚関連情報として、前記被制御装置により実行される前記所定の動作の結果を出力し、
前記第2の実行部は、前記出力された所定の動作の結果に応じた触覚を提示するための前記触覚提示動作を実行する
制御システム。
(4)(1)から(3)のうちいずれか1つに記載の制御システムであって、
前記第1の出力部は、前記触覚関連情報として、前記触覚の提示タイミングを出力し、
前記第2の実行部は、前記出力された提示タイミングに基づいて、前記触覚提示動作を実行する
制御システム。
(5)(1)から(4)のうちいずれか1つに記載の制御システムであって、
前記第1の出力部は、前記触覚関連情報として、提示される触覚の種類を出力し、
前記第2の実行部は、前記出力された触覚の種類に基づいて、前記触覚提示動作を実行する
制御システム。
(6)(1)から(5)のうちいずれか1つに記載の制御システムであって、
前記第1の出力部は、前記触覚関連情報として、前記制御装置の状態に関する前記触覚の提示条件を出力し、
前記第2の実行部は、前記出力された触覚の提示条件に基づいて、前記触覚提示動作を実行する
制御システム。
(7)(1)から(6)のうちいずれか1つに記載の制御システムであって、
前記第1の実行部は、前記制御信号に応じて、音量の制御を実行し、
前記第1の出力部は、前記音量の制御に応じた前記触覚関連情報を出力する
制御システム。
(8)(1)から(7)のうちいずれか1つに記載の制御システムであって、
前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生制御を実行し、
前記第1の出力部は、前記コンテンツの再生制御に応じた前記触覚関連情報を出力する
制御システム。
(9)(1)から(8)のうちいずれか1つに記載の制御システムであって、
前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生位置の選択を実行し、
前記第1の出力部は、前記再生位置の選択に応じた前記触覚関連情報を出力する
制御システム。
(10)(1)から(9)のうちいずれか1つに記載の制御システムであって、
前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生位置の選択を実行し、
前記第1の出力部は、前記コンテンツ内の盛り上がり度に応じた前記触覚関連情報を出力する
制御システム。
(11)(1)から(10)のうちいずれか1つに記載の制御システムであって、
前記第1の実行部は、前記制御信号に基づいて、削除対象となるデータの選択を実行し、
前記第1の出力部は、前記選択されたデータの重要度に応じた前記触覚関連情報を出力する
制御システム。
(12)(1)から(11)のうちいずれか1つに記載の制御システムであって、
前記第2の実行部は、前記検出された状態に基づいて、提示する触覚を決定する
制御システム。
(13)(1)から(12)のうちいずれか1つに記載の制御システムであって、
前記実行部は、前記触覚提示動作として、前記被制御装置を振動させる
制御システム。
(14)(1)から(13)のうちいずれか1つに記載の制御システムであって、
前記実行部は、前記触覚提示動作として、前記被制御装置の温度、形状、及び硬さの少なくとも1つを変化させる
制御システム。
10、210、310、410…BDレコーダ
12、212、312…BDレコーダの制御部
20、220、320、420…リモコン
22…操作部
23…動き検出部
26…触覚提示部
27…触覚情報変換部
28、228、328…リモコンの制御部
100…制御システム

Claims (18)

  1. 制御装置と、被制御装置とを具備する制御システムであって、
    前記被制御装置は、
    前記制御装置から出力された制御信号に応じて、所定の動作を実行する第1の実行部と、
    前記所定の動作に関する触覚関連情報を出力する第1の出力部とを有し、
    前記制御装置は、
    前記制御装置の状態を検出する検出部と、
    前記検出された状態に応じた前記制御信号を出力する第2の出力部と、
    前記第1の出力部から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する第2の実行部とを有する
    制御システム。
  2. 請求項1に記載の制御システムであって、
    前記制御装置の状態は、前記制御装置の位置、向き、姿勢及び動きの少なくとも1つを含む
    制御システム。
  3. 請求項1に記載の制御システムであって、
    前記第1の出力部は、前記触覚関連情報として、前記被制御装置により実行される前記所定の動作の結果を出力し、
    前記第2の実行部は、前記出力された所定の動作の結果に応じた触覚を提示するための前記触覚提示動作を実行する
    制御システム。
  4. 請求項1に記載の制御システムであって、
    前記第1の出力部は、前記触覚関連情報として、前記触覚の提示タイミングを出力し、
    前記第2の実行部は、前記出力された提示タイミングに基づいて、前記触覚提示動作を実行する
    制御システム。
  5. 請求項1に記載の制御システムであって、
    前記第1の出力部は、前記触覚関連情報として、提示される触覚の種類を出力し、
    前記第2の実行部は、前記出力された触覚の種類に基づいて、前記触覚提示動作を実行する
    制御システム。
  6. 請求項1に記載の制御システムであって、
    前記第1の出力部は、前記触覚関連情報として、前記制御装置の状態に関する前記触覚の提示条件を出力し、
    前記第2の実行部は、前記出力された触覚の提示条件に基づいて、前記触覚提示動作を実行する
    制御システム。
  7. 請求項1に記載の制御システムであって、
    前記第1の実行部は、前記制御信号に応じて、音量の制御を実行し、
    前記第1の出力部は、前記音量の制御に応じた前記触覚関連情報を出力する
    制御システム。
  8. 請求項1に記載の制御システムであって、
    前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生制御を実行し、
    前記第1の出力部は、前記コンテンツの再生制御に応じた前記触覚関連情報を出力する
    制御システム。
  9. 請求項1に記載の制御システムであって、
    前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生位置の選択を実行し、
    前記第1の出力部は、前記再生位置の選択に応じた前記触覚関連情報を出力する
    制御システム。
  10. 請求項1に記載の制御システムであって、
    前記第1の実行部は、前記制御信号に基づいて、コンテンツの再生位置の選択を実行し、
    前記第1の出力部は、前記コンテンツ内の盛り上がり度に応じた前記触覚関連情報を出力する
    制御システム。
  11. 請求項1に記載の制御システムであって、
    前記第1の実行部は、前記制御信号に基づいて、削除対象となるデータの選択を実行し、
    前記第1の出力部は、前記選択されたデータの重要度に応じた前記触覚関連情報を出力する
    制御システム。
  12. 請求項1に記載の制御システムであって、
    前記第2の実行部は、前記検出された状態に基づいて、提示する触覚を決定する
    制御システム。
  13. 請求項1に記載の制御システムであって、
    前記実行部は、前記触覚提示動作として、前記被制御装置を振動させる
    制御システム。
  14. 請求項1に記載の制御システムであって、
    前記実行部は、前記触覚提示動作として、前記被制御装置の温度、形状、及び硬さの少なくとも1つを変化させる
    制御システム。
  15. 被制御装置を制御可能な制御装置であって、
    前記制御装置の状態を検出する検出部と、
    前記検出された状態に応じた制御信号を出力する出力部と、
    前記出力された制御信号に基づいて所定の動作を実行する前記被制御装置から出力された、前記所定の動作に関する触覚関連情報を受信する受信部と、
    前記受信された触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する実行部と
    を具備する制御装置。
  16. 制御装置と、被制御装置とを具備する制御システムであって、
    前記被制御装置は、
    前記制御装置の状態を検出する検出部と、
    前記検出された状態に基づいて所定の動作を実行する第1の実行部と、
    前記所定の動作に関する触覚関連情報を出力する出力部とを有し、
    前記制御装置は、
    前記出力部から出力された触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する第2の実行部を有する
    制御システム。
  17. 制御装置と、被制御装置とにより実行される制御方法であって、
    前記制御装置が、前記制御装置の状態に応じた制御信号を出力し、
    前記被制御装置が、前記制御装置から出力された制御信号に応じて所定の動作を実行し、
    前記被制御装置が、前記所定の動作に関する触覚関連情報を出力し、
    前記制御装置が、前記被制御装置から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する
    制御方法。
  18. 制御装置と、被制御装置とにより実行される制御方法であって、
    前記被制御装置が、前記制御装置の状態を検出し、当該検出された状態に基づいて所定の動作を実行し、
    前記被制御装置が、前記所定の動作に関する触覚関連情報を出力し、
    前記制御装置が、前記被制御装置から出力された前記触覚関連情報に基づいて、触覚を提示するための触覚提示動作を実行する
    制御方法。
JP2018535490A 2016-08-23 2017-06-26 制御システム、制御装置、及び制御方法 Active JP7002453B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016163020 2016-08-23
JP2016163020 2016-08-23
PCT/JP2017/023327 WO2018037699A1 (ja) 2016-08-23 2017-06-26 制御システム、制御装置、及び制御方法

Publications (2)

Publication Number Publication Date
JPWO2018037699A1 true JPWO2018037699A1 (ja) 2019-06-20
JP7002453B2 JP7002453B2 (ja) 2022-01-20

Family

ID=61246590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018535490A Active JP7002453B2 (ja) 2016-08-23 2017-06-26 制御システム、制御装置、及び制御方法

Country Status (4)

Country Link
US (1) US10916123B2 (ja)
EP (1) EP3506645B1 (ja)
JP (1) JP7002453B2 (ja)
WO (1) WO2018037699A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
JP7271171B2 (ja) * 2018-12-27 2023-05-11 株式会社コロプラ プログラム、方法および情報処理装置
EP4305507A1 (en) * 2021-03-12 2024-01-17 Telefonaktiebolaget LM Ericsson (publ) Button with mechanical switch, electromagnetic sensor and haptic feedback, and method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005317165A (ja) * 2004-04-30 2005-11-10 Sony Corp 信号処理装置及び方法
JP2006246287A (ja) * 2005-03-07 2006-09-14 Mitsubishi Electric Corp 遠隔制御装置
JP2009021644A (ja) * 2007-07-10 2009-01-29 Hitachi Ltd 情報処理装置及び情報処理方法
WO2013018310A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 電子機器
JP2013536660A (ja) * 2010-08-31 2013-09-19 ヴォルフガング・ブレンデル 位置センサシステムによる無線遠隔制御
JP2014027636A (ja) * 2012-07-30 2014-02-06 Sharp Corp 遠隔操作装置、サーバ装置、情報通信システム、プログラムおよび記録媒体
JP2015095264A (ja) * 2013-11-14 2015-05-18 イマージョン コーポレーションImmersion Corporation ハプティックトリガ制御システム
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060066569A1 (en) 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2007142513A (ja) 2005-11-15 2007-06-07 Funai Electric Co Ltd 操作システム
US9866924B2 (en) 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
WO2015151380A1 (ja) 2014-03-31 2015-10-08 ソニー株式会社 触覚提示装置、信号発生装置、触覚提示システム、および触覚提示方法
ES2552881B1 (es) 2014-06-02 2016-07-12 Samsung Electronics Iberia, S.A.U. Dispositivo portable y método de control mediante gestos
US10222868B2 (en) * 2014-06-02 2019-03-05 Samsung Electronics Co., Ltd. Wearable device and control method using gestures
US10871826B2 (en) * 2016-03-01 2020-12-22 DISH Technologies L.L.C. Haptic feedback remote control systems and methods

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005317165A (ja) * 2004-04-30 2005-11-10 Sony Corp 信号処理装置及び方法
JP2006246287A (ja) * 2005-03-07 2006-09-14 Mitsubishi Electric Corp 遠隔制御装置
JP2009021644A (ja) * 2007-07-10 2009-01-29 Hitachi Ltd 情報処理装置及び情報処理方法
JP2013536660A (ja) * 2010-08-31 2013-09-19 ヴォルフガング・ブレンデル 位置センサシステムによる無線遠隔制御
WO2013018310A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 電子機器
JP2014027636A (ja) * 2012-07-30 2014-02-06 Sharp Corp 遠隔操作装置、サーバ装置、情報通信システム、プログラムおよび記録媒体
JP2015095264A (ja) * 2013-11-14 2015-05-18 イマージョン コーポレーションImmersion Corporation ハプティックトリガ制御システム
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20190180607A1 (en) 2019-06-13
JP7002453B2 (ja) 2022-01-20
EP3506645A1 (en) 2019-07-03
EP3506645A4 (en) 2019-08-21
EP3506645B1 (en) 2023-09-06
US10916123B2 (en) 2021-02-09
WO2018037699A1 (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
US10820035B2 (en) Methods for controlling presentation of content using a multi-media table
JP5398719B2 (ja) ユーザ命令の入力方法及びこれを適用した映像機器と入力機器
KR101160600B1 (ko) 적어도 하나의 미디어 데이터 처리 디바이스를 제어할 수있게 하는 장치 및 그 방법
JP5413673B2 (ja) 情報処理装置および方法、並びにプログラム
US20120179967A1 (en) Method and Apparatus for Gesture-Based Controls
US20120179970A1 (en) Method and Apparatus For Controls Based on Concurrent Gestures
CN106471818B (zh) 电子设备及其控制方法
KR20120014020A (ko) 방향성 터치 원격 제어장치
JP5728235B2 (ja) 表示制御装置、表示制御方法、およびプログラム
JP2005339420A (ja) 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP2012252642A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7002453B2 (ja) 制御システム、制御装置、及び制御方法
CA2823388A1 (en) Method and apparatus for gesture based controls
MX2011004943A (es) Tecnicas para implementar un cursor para televisiones.
KR20120074196A (ko) 사용자 인터페이스 조작 방법, 컴퓨터 판독가능 기록매체 및 장치
JP5702411B2 (ja) 遠隔制御システム、遠隔制御方法及び遠隔制御プログラム
KR20150066132A (ko) 디스플레이 장치, 리모컨, 디스플레이 시스템, 및 디스플레이 방법
JP2010157252A (ja) 車載装置、車載装置の情報提供方法、車載装置の情報提供方法のプログラム及び車載装置の情報提供方法のプログラムを記録した記録媒体
JP4280776B2 (ja) 情報再生装置及び方法、並びにコンピュータプログラム
EP4352968A1 (en) User interfaces and associated systems and processes for controlling playback of content
KR101622765B1 (ko) 전자장치 및 그 데이터 제어방법
JP6287320B2 (ja) 画像処理装置および画像処理プログラム
JP2018085150A (ja) 電子機器およびプログラム
JP7009981B2 (ja) Vrコンテンツの操作・管理を支援するvrコンテンツ管理方法及び管理プログラム
JP4633029B2 (ja) 事前再生処理方法、プログラム、及び被選択コンテンツの予測装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210823

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210823

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7002453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150