以下、本発明を具体化した実施形態を図面に基づいて説明する。
(第1参考例)
図1〜図4を参照して、本発明の第1参考例による操作システム100の構成を説明する。
本発明の第1参考例による操作システム100は、図1に示すように、スマートフォン1と、TV2とを備えている。なお、スマートフォン1は、本発明の「情報処理機器」の一例である。また、TV2は、本発明の「画像音声出力機器」の一例である。
また、図1に示すように、スマートフォン1は、SOC(System On a chip)11と、表示部12と、タッチパネル13と、無線LAN(Local Area Network)通信部14と、音声制御回路15と、スピーカ16とを備えている。なお、SOC11は、本発明の「制御部」の一例である。また、タッチパネル13は、「操作受付部」の一例である。また、無線LAN通信部14は、「通信部」の一例である。
また、図1に示すように、TV2は、CPU21と、表示部22と、スピーカ23と、表示制御回路24と、音声制御回路25と、無線LAN通信部26と、放送受信部27と、通信I/F28と、受信I/F29とを備えている。なお、スピーカ23および音声制御回路25は、本発明の「画像音声出力機器側音声出力部」の一例である。また、無線LAN通信部26は、本発明の「画像音声出力機器側通信部」の一例である。
そして、図1に示すように、TV2の表示部22は、液晶パネル等で構成されており、CPU21から出力された画像データを、表示制御回路24を介して、表示可能に構成されている。また、スピーカ23は、CPU30から出力された音声データを、音声制御回路25を介して、音声出力可能に構成されている。また、無線LAN通信部26は、スマートフォン1と通信可能に構成されている。また、放送受信部27は、TV放送画像信号およびTV放送音声信号を受信可能に構成されている。そして、通信I/F28は、無線LAN通信部26とCPU21とを接続するように構成されている。また、受信I/F29は、放送受信部27とCPU21とを接続するように構成されている。
そして、TV2のCPU21は、無線LAN通信部26および通信I/F28を介して、スマートフォン1よりミラーリング用画像データおよびミラーリング用音声データを取得するように構成されており、取得したミラーリング用画像を表示部22に表示するとともに、取得したミラーリング用音声をスピーカ23に出力させるように構成されている。また、CPU21は、リモコン操作の操作情報に基づいて、操作制御を行うように構成されている。
そして、図1に示すように、スマートフォン1の表示部12は、液晶パネル等で構成されており、SOC11から出力された画像を表示するように構成されている。また、タッチパネル13は、透明の投影型静電容量式タッチパネルを含み、表示部12と一体的に構成されている。これにより、タッチパネル13は、表示部12に表示される操作部画像の位置に対応したタッチ操作を受け付け可能に構成されている。また、タッチ操作は、タッチペンやユーザの指などを用いて行われるように構成されている。そして、音声制御回路15は、SOC11から出力された音声信号を、スピーカ16によって音声出力させるための信号に変換するように構成されている。たとえば、スピーカ16は、他のスマートフォンとの通話時には、通話音声を出力し、画像音声コンテンツを再生時には、画像音声コンテンツの音声を出力するように構成されている。そして、無線LAN通信部14は、無線通信によって、TV2と通信可能に構成されている。
そして、図1に示すように、スマートフォン1のSOC11は、CPU(Central Processing Unit)30と、画像生成部31と、RAM(Random Access Memory)32と、フラッシュメモリ33と、座標情報生成部34と、表示制御回路35と、タッチパネルI/F(インターフェース)36と、通信I/F37と、音声I/F38と、内部バス39とを備えている。
そして、図1に示すように、スマートフォン1のSOC11内の部品は、内部バス39によってそれぞれ結合可能に構成されている。そして、タッチパネルI/F36は、タッチパネル13とSOC11とを接続するように構成されている。また、通信I/F37は、無線LAN通信部14とSOC11とを接続するように構成されている。また、音声I/F38は、音声制御回路15とSOC11とを接続するように構成されている。
また、図1に示すように、表示制御回路35は、表示部12に画像を表示させるための制御を行う回路である。たとえば、表示制御回路35は、画像信号に基づいて、表示部12の液晶パネルの液晶分子の向きを制御することにより、表示部12に画像を表示させる。
そして、スマートフォン1のフラッシュメモリ33には、オペレーティングシステムを構成するソフトと、無線LAN通信部14を介して、ミラーリング用画像およびミラーリング用音声を送信して、TV2にミラーリング用画像およびミラーリング用音声を出力させてミラーリング動作を行う画像音声アプリケーションソフト(以下、画像音声アプリとする)を構成するプログラムと、表示部12にリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン1自身に対する操作制御を行うとともに、TV2に対する操作制御を行うリモコンアプリケーションソフト(以下、リモコンアプリとする)を構成するプログラムとが予め記憶(インストール)されている。また、フラッシュメモリ33には、ミラーリング用画像と、ミラーリング用音声と、リモコン操作入力用画像とを含む、画像音声データが記憶されている。そして、スマートフォン1のCPU30は、フラッシュメモリ33に記憶されているオペレーティングシステムソフトおよびアプリケーションソフトを読み出して、実行することによって後述する処理が行われるように構成されている。なお、画像音声アプリは、本発明の「第1アプリケーションソフト」の一例である。また、リモコンアプリは、本発明の「第2アプリケーションソフト」の一例である。
また、第1参考例では、図2および図4に示すように、スマートフォン1のCPU30は、画像音声アプリを実行することによって、TV2にミラーリング用画像を表示させるミラーリング動作を行いながら、スマートフォン1自身に対する操作制御を行うように構成されている。具体的には、画像音声アプリは、スマートフォン1の表示部12およびTV2の表示部22にミラーリング用画像およびミラーリング用音声を出力させるミラーリング動作を行う際、スマートフォン1のタッチパネル13がユーザの操作により受け付けた操作情報に基づいて、画像音声の種類の選択や再生開始、停止などを操作可能に構成されている。
また、第1参考例では、図2および図4に示すように、スマートフォン1のCPU30は、リモコンアプリを実行することによって、スマートフォン1の表示部12にリモコン操作入力用画像を表示し、タッチパネル13が受け付けたリモコン操作の操作情報に基づいて、TV2に対する音声調整制御するように構成されている。たとえば、CPU30は、スマートフォン1の表示部12に表示される表示部画像である「音量大」ボタン(図2の符号A)に対するユーザのタッチ操作をタッチパネル13が受け付けた場合、TV2の音声出力を大きくする制御を行うためのリモコン操作情報信号を、無線LAN通信部14を介して、送信するように構成されている。そして、TV2のCPU21は、無線LAN通信部26を介して、TV2の音声出力を大きくする制御を行うためのリモコン操作情報信号を取得する。そして、TV2のCPU21は、取得したリモコン操作情報信号に基づいて、TV2の音声制御回路25の音声信号の増幅を大きくして、スピーカ23から出力される音声を大きくするように構成されている。なお、音声調整制御は、本発明の「操作制御」の一例である。
また、図1に示すように、スマートフォン1のRAM32は、第1フレームバッファ32aと、第2フレームバッファ32bと、第3フレームバッファ32cとを含み、画像生成部31によって、スマートフォン1の表示部12またはTV2の表示部22に適した形式(解像度等)に変換された画像データを記録可能に構成されている。
ここで、第1参考例では、図2および図4に示すように、スマートフォン1とTV2とが、ミラーリング動作を行っている場合には、スマートフォン1のCPU30は、スマートフォン1の表示部12に、ミラーリング用画像を表示せずに(バックグラウンドでミラーリング動作を実行して)、リモコン操作入力用画像を表示させるように構成されているとともに、TV2のCPU21は、TV2の表示部22にミラーリング用画像を表示させるように構成されている。
具体的には、図4(a)に示すように、画像生成部31は、フラッシュメモリ33に記憶されているミラーリング用画像をスマートフォン1の表示部12の表示に適したミラーリング用画像データに変換(スケーリング)するとともに、第1フレームバッファ32aに記録するように構成されている。そして、画像生成部31は、第1フレームバッファ32aに記憶されているスマートフォン1の表示部12の表示に適したミラーリング用画像データを、TV2の表示部22の表示に適したミラーリング用画像データに変換するとともに、第2フレームバッファ32bに記憶するように構成されている。そして、スマートフォン2のCPU30は、無線LAN通信部14を介して、第2フレームバッファ32bに記憶されているTV2の表示部22の表示に適したミラーリング用画像データをTV2に送信するように構成されている。
ここで、第1参考例では、画像生成部31は、フラッシュメモリ33に記憶されているリモコン操作入力用画像を、スマートフォン1の表示部12の表示に適したリモコン操作入力用画像データに変換するとともに第3フレームバッファ32cに記憶して、第3フレームバッファ32cに記憶されているスマートフォン1の表示部12の表示に適したリモコン操作入力用画像をスマートフォン1の表示部12に表示するように構成されている。
また、スマートフォン1のCPU30は、スマートフォン1の表示部12に表示されたリモコン操作入力用画像上の操作部画像に対して、ユーザのタッチ操作を受け付けた場合には、後述するミラーリング動作をしないでリモコンアプリを実行させた場合と同様に、操作部画像の所定の操作を行うように構成されている。たとえば、「音量大」の表示(図2の符号A)が操作された場合、スマートフォン1のCPU30は、無線LAN通信部14を介して、TV2の音声出力を大きくするためのリモコン操作情報信号を送信するように構成されている。TV2のCPU21は、無線LAN通信部26を介して、リモコン操作情報を取得して、取得したリモコン操作の操作情報に基づいて、音声制御回路25を制御して、スピーカ23による音声出力の大きさを大きくするように構成されている。
また、第1参考例では、図3および図4に示すように、スマートフォン1とTV2とが、非ミラーリング動作時には、スマートフォン1のCPU30は、スマートフォン1の表示部12にリモコン操作入力用画像を表示させるように構成されているとともに、TV2のCPU21は、TV2の表示部22に放送受信部27より受信したTV放送画像を表示させるように構成されている。
具体的には、図4(b)に示すように、スマートフォン1の画像生成部31は、フラッシュメモリ33に記憶されているリモコン操作入力用画像を、スマートフォン1の表示部12の表示に適したリモコン操作入力用画像データに変換するとともに第3フレームバッファ32cに記憶して、第3フレームバッファ32cに記憶されているスマートフォン1の表示部12の表示に適したリモコン操作入力用画像をスマートフォン1の表示部12に表示するように構成されている。一方、図1および図3に示すように、TV2のCPU21は、放送受信部27より受信したTV放送画像信号およびTV放送音声信号を受信I/F29を介して取得して、表示部22にTV放送画像を表示するとともに、スピーカ23に放送音声を出力するように構成されている。
次に、図5および図6を参照して、第1参考例による操作システム100の操作処理フローについて説明する。スマートフォン1における処理は、CPU30により行われる。また、TV2における処理は、CPU21により行われる。
まず、図5に示すように、スマートフォン1では、ステップS1において、画像音声アプリを起動するためのユーザの入力操作を受け付けたか否かが判断される。画像音声アプリを起動する入力操作を受け付けるまでこの判断は繰り返され、入力操作を受け付けた場合、ステップS2に進む。
次に、ステップS2において、フラッシュメモリ33に記憶されている画像音声アプリの読み出しが行われ、画像音声アプリが起動される。その後、ステップS3に進み、ステップS3において、フラッシュメモリ33に記憶されている画像音声データの読み出しが行われる。その後、ステップS4に進む。そして、ステップS4において、読み出された音声データがRAM32に記憶される。その後、ステップS5に進む。
次に、ステップS5において、画像データが第1フレームバッファ32aに記憶される。画像生成部31は、読み出された画像データをスマートフォン1の表示部12に適した形式に変換して、第1フレームバッファ32aに記憶を行う。その後、ステップS6に進む。そして、ステップS6において、画像データが第2フレームバッファ32bに記憶される。画像生成部31は、読み出された画像データをTV2の表示部22に適した形式に変換して、第2フレームバッファ32bに記憶を行う。その後、ステップS7に進む。
そして、ステップS7において、第2フレームバッファ32bに記憶された画像データ(ミラーリング用画像データ)およびRAM32に記憶された音声データ(ミラーリング用音声データ)がTV2に送信される。その後、ステップS8に進む。
そして、ステップS8において、フラッシュメモリ33に記憶されているリモコンアプリの読み出しが行われ、リモコンアプリが起動される。その後、ステップS9に進む。
そして、ステップS9において、フラッシュメモリ33に記憶されているリモコン操作入力用画像データの読み出しが行われる。その後、ステップS10に進む。そして、ステップS10において、読み出したリモコン操作入力用画像データが第3フレームバッファ32cに記憶される。その後、ステップS11(図6参照)に進む。
一方、TV2では、ステップS21において、画像音声データを受信したか否かが判断される。画像音声データを受信した場合、ステップS22に進み、画像音声データを取得しない場合、ステップS23(図6参照)に進む。
そして、ステップS22において、取得したミラーリング用画像がTV2の表示部22に表示され、取得したミラーリング用音声がTVのスピーカ23から出力される。その後、ステップS23(図6参照)に進む。
また、図6に示すように、スマートフォン1では、ステップS11において、第3フレームバッファ32cに記憶されているリモコン操作入力用画像が、スマートフォン1の表示部12に表示される。ここで、第1参考例では、ステップS7において行われた第2フレームバッファ32bに記憶された画像データ(ミラーリング用画像データ)およびRAM32に記憶された音声データ(ミラーリング用音声データ)のTV2への送信は、継続して行われている。そして、ステップS12に進む。
そして、ステップS12において、ユーザのリモコン操作入力を受け付けたか否かが判断される。リモコン操作入力を受け付けるまでこの判断は繰り返され、リモコン操作入力を受け付けた場合、ステップS13に進む。
そして、ステップS13において、TV2の操作制御を行うためのリモコン操作情報信号が送信される。その後、ステップS12に戻る。
一方、図6に示すように、TV2では、ステップS23において、スマートフォン1より送信されたリモコン操作情報信号を取得したか否かが判断される。リモコン操作情報信号を取得した場合、ステップS24に進み、リモコン操作情報信号を取得しない場合、ステップS21(図5参照)に戻る。
そして、ステップS24において、取得したリモコン操作入力信号に基づいて、スピーカ23からの音声出力が調整される。その後、ステップS21(図5参照)に戻る。
第1参考例では、以下のような効果を得ることができる。
第1参考例では、上記のように、スマートフォン1のSOC11を、無線LAN通信部14を介して、ミラーリング用画像およびミラーリング用音声を送信して、TV2にミラーリング用画像を表示させるミラーリング動作を行いながら、表示部12にはリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン1自身に対する操作制御を行うとともに、TV2に対する操作制御を行うように構成する。これにより、ユーザは、TV2に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を操作することができるとともに、TV2に対する操作制御を行うためのリモコン操作を行うことができる。その結果、スマートフォン1からTV2に付属のリモコン機器に持ち替えを行わなくても、TV2に対するミラーリング動作を行いながら、TV2に対する音声調整等の操作をすることができる。
また、第1参考例では、上記のように、スマートフォン1のSOC11を、非ミラーリング動作時には、ミラーリング動作時と同様、表示部12にリモコン操作入力用画像を表示可能であり、受け付けたリモコン操作の操作情報に基づいて、スマートフォン1自身に対する操作制御を行うとともに、TV2に対する操作制御を行うように構成する、これにより、ユーザは、非ミラーリング動作時、ミラーリング動作時に関わらず、同一の操作機器(スマートフォン1)および操作方法によって、スマートフォン1自身に対する操作制御およびTV2に対する操作制御を行うことができる。
また、第1参考例では、上記のように、スマートフォン1のタッチパネル13を、表示部12に表示されたリモコン操作入力用画像においてユーザによるタッチ操作を受け付けるように構成する。これにより、タッチパネル13は、ユーザの指の動きに合わせた操作を受け付けることができる。その結果、ユーザは、容易にリモコン操作入力を行うことができる。
また、第1参考例では、上記のように、スマートフォン1のSOC11を、無線LAN通信部14を介して、ミラーリング用画像およびミラーリング用音声を送信して、TV2にミラーリング用画像を表示させるミラーリング動作を行う画像音声アプリを実行しながら、表示部12にリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン1自身に対する操作制御を行うとともに、TV2に対する操作制御を行うリモコンアプリを実行するように構成する。これにより、画像音声アプリを実行して、ミラーリング動作しながら、並行してリモコンアプリを実行して、スマートフォン1自身に対する操作制御およびTV2に対する操作制御を行うことができる。
また、第1参考例では、上記のように、スマートフォン1のSOC11を、TV2にミラーリング用画像を表示させながら、表示部12に、ミラーリング用画像を表示せずに、リモコン操作入力用画像を表示してユーザによる操作を受け付けるように構成する。これにより、スマートフォン1の表示部12には、ミラーリング用画像を表示しないので、ユーザは、リモコン操作の際、スマートフォン1の表示部12に表示されたリモコン操作入力用画像を容易に視認することができ、操作性を向上させることができる。
(第1実施形態)
次に、図1、図7および図8を参照して、第1実施形態による操作システム101の構成ついて説明する。画像音声アプリとリモコンアプリとが異なるアプリケーションソフトとして構成されていた、第1参考例による操作システム100と異なり、画像音声アプリおよびリモコンアプリは、互いに一体化された単一のアプリケーションソフト(リモコン機能付き画像音声アプリ)により構成されている。
図1に示すように、第1実施形態による操作システム101は、スマートフォン5とTV2とを備えている。そして、スマートフォン5は、SOC51を含み、SOC51は、CPU52と、リモコン機能付き画像音声アプリが予め記憶(インストール)されたフラッシュメモリ53と、画像生成部54とを含む。
ここで、第1実施形態では、図7および図8に示すように、スマートフォン5とTV2とがミラーリング動作している場合(リモコン機能付き画像音声アプリを実行している場合)には、スマートフォン5のCPU52およびTV2のCPU21は、スマートフォン5の表示部12およびTV2の表示部22にミラーリング用画像を表示するように構成されている。そして、スマートフォン5の表示部12には、ミラーリング用画像に加えて、リモコン操作入力用画像が表示されるように構成されている。
具体的には、図7(a)に示すように、画像生成部54は、フラッシュメモリ53に記憶されているミラーリング用画像およびリモコン操作入力用画像をスマートフォン5の表示部12の表示に適した画像データに変換するとともに、第1フレームバッファ32aに記録するように構成されている。そして、画像生成部54は、第1フレームバッファ32aに記憶されているスマートフォン1の表示部12の表示に適した画像データを、TV2の表示部22に適したミラーリング用画像データに変換するとともに、第2フレームバッファ32bに記憶するように構成されている。
ここで、第1実施形態では、図8に示すように、リモコン機能付き画像音声アプリは、画像データの変換の際、TV2の表示部22には、リモコン操作入力用画像を表示しないように変換(スケーリング)するように構成されている。また、スマートフォン5とTV2とが非ミラーリング動作時には、第1参考例による操作システムの非ミラーリング動作時(図3参照)と同様に、スマートフォン5の表示部12には、リモコン操作入力用画像が表示され、TV2の表示部22には、TV放送画像が表示されるように構成されている。また、第1実施形態による操作システム101のその他の構成は、第1参考例における操作システム100と同様である。
次に、図9を参照して、第1実施形態による操作システム101の操作処理フローについて説明する。スマートフォン5における処理は、CPU52により行われる。また、TV2における処理は、CPU21により行われる。
まず、図9に示すように、スマートフォン5では、ステップS31において、リモコン機能付き画像音声アプリを起動するためのユーザの入力操作を受け付けたか否かが判断される。リモコン機能付き画像音声アプリを起動する入力操作を受け付けるまでこの判断は繰り返され、入力操作を受け付けた場合、ステップS32に進む。
次に、ステップS32において、フラッシュメモリ53に記憶されているリモコン機能付き画像音声アプリの読み出しが行われ、リモコン機能付き画像音声アプリが起動される。その後、ステップS33に進み、ステップS33において、フラッシュメモリ53に記憶されている画像音声データの読み出しが行われる。その後、ステップS34に進む。そして、ステップS34において、読み出された音声データがRAM32に記憶される。その後、ステップS35に進む。
次に、ステップS35において、画像データが第1フレームバッファ32aに記憶される。画像生成部54は、読み出された画像データをスマートフォン5の表示部12に適した形式に変換して、第1フレームバッファ32aに記憶を行う。その後、ステップS36に進む。そして、ステップS36において、画像データが第2フレームバッファ32bに記憶される。画像生成部54は、読み出された画像データをTV2の表示部22に適した形式に変換して、第2フレームバッファ32bに記憶を行う。その後、ステップS37に進む。
そして、ステップS37において、第1フレームバッファ32aに記憶された画像がスマートフォン5の表示部12に表示され、RAM32に記憶された音声がスマートフォン5のスピーカ16から出力される。その後、ステップS38に進む。そして、ステップS38において、第2フレームバッファ32bに記憶された画像データおよびRAM32に記憶された音声データがTV2に送信される。その後、ステップS39に進む。
そして、ステップS39において、TV2のリモコン操作のためのユーザのリモコン操作入力を受け付けたか否かが判断される。受け付けた場合、ステップS40に進み、受け付けない場合は、ステップS37に戻る。
次に、ステップS40において、TV2の操作制御を行うためのリモコン操作情報信号が送信される。その後、ステップS37に戻る。
一方、図9に示すように、TV2におけるステップS21〜S24では、第1参考例と同様の処理であるステップS21〜S24の処理が行われる。
第1実施形態では、以下のような効果を得ることができる。
第1実施形態では、上記のように、画像音声アプリおよびリモコンアプリを、互いに一体化された単一のアプリケーションソフト(リモコン機能付き画像音声アプリ)により構成する。これにより、2つのアプリケーションソフトを同時に動作させる必要がない分、SOC51が行う処理を簡略化することができる。第1実施形態による操作システム101のその他の効果は、第1参考例における操作システム100と同様である。
(第2参考例)
次に、図10〜図13を参照して、第2参考例による操作システム102の構成について説明する。第2参考例では、操作システム102は、タッチパネル73および表示部74を含むリモコン7をさらに備え、ユーザが、リモコン7を操作することによって、スマートフォン6とTV8とがミラーリング動作を行いながら、スマートフォン6に対する操作制御を行うとともに、TV8の操作制御を行うように構成されている。なお、リモコン7は、本発明の「第1情報処理機器」の一例である。
図10に示すように、第2参考例による操作システム102は、スマートフォン6とリモコン7とTV8とを備えている。そして、スマートフォン6は、SOC61を含み、SOC61は、CPU62と、画像生成部63とを含む。そして、スマートフォン6は、リモコン7と通信可能な無線LAN通信部64を含み、リモコン7は、SOC71と、スマートフォン6およびTV8と通信可能な無線LAN通信部72と、ユーザからのタッチ操作を受け付けるタッチパネル73と、表示部74とを備えている。また、TV8は、CPU81と、スマートフォン6およびリモコン7と通信可能な無線LAN通信部82とを含む。なお、SOC71は、本発明の「第1情報処理機器側制御部」の一例である。また、無線LAN通信部72は、本発明の「第1情報処理機器側通信部」の一例である。また、タッチパネル73は、本発明の「リモコン操作受付部」の一例である。
そして、リモコン7のSOC71は、タッチパネル73によって受け付けたユーザによるタッチ操作の操作情報を取得して、無線LAN通信部64および無線LAN通信部72を介して、スマートフォン6およびTV8に送信するように構成されている。すなわち、スマートフォン6とTV8とがミラーリング動作時は、リモコン7は、スマートフォン6およびTV8に対して操作可能に構成されており、スマートフォン6とTV8とが非ミラーリング動作時には、無線LAN通信部72および無線LAN通信部82を介して、リモコン操作情報信号を送信することによって、TV8に対してリモコン操作可能に構成されている。
ここで、第2参考例では、図11に示すように、スマートフォン6とTV8とが、ミラーリング動作している場合には、スマートフォン6のCPU62およびTV8のCPU81は、スマートフォン6の表示部12およびTV8の表示部22にミラーリング用画像を表示するように構成されている。一方、リモコン7のSOC71は、リモコン7の表示部74に、リモコン操作入力用画像を表示するように構成されている。
具体的には、図11および図13に示すように、スマートフォン6の画像生成部63は、フラッシュメモリ33に記憶されているミラーリング用画像をスマートフォン6の表示部12の表示に適したミラーリング用画像データに変換するとともに、第1フレームバッファ32aに記録するように構成されている。そして、画像生成部63は、第1フレームバッファ32aに記憶されているスマートフォン6の表示部12の表示に適したミラーリング用画像データを、TV8の表示部22の表示に適したミラーリング用画像データに変換するとともに、第2フレームバッファ32bに記憶するように構成されている。そして、スマートフォン6のCPU62は、無線LAN通信部64を介して、第2フレームバッファ32bに記憶されているTV8に表示部22の表示に適したミラーリング用画像データを送信するように構成されている。そして、TV8のCPU81は、表示部22にミラーリング用画像を表示するように構成されている。
そして、第2参考例では、図11および図13(a)に示すように、リモコン7のSOC71内の画像生成部は、SOC71内のフラッシュメモリに記憶されているリモコン操作入力用画像を、リモコン7の表示部74の表示に適したリモコン操作入力用画像データに変換するとともにSOC71内のフレームバッファに記憶するように構成されている。そして、リモコン7のSOC71は、SOC71内のフレームバッファに記憶されているリモコン7の表示部74の表示に適したリモコン操作入力用画像を表示するように構成されている。
また、図12および図13(b)に示すように、スマートフォン6とTV8とが、ミラーリング動作していない場合(非ミラーリング動作時)には、TV8のCPU81は、TV8の表示部22にTV放送画像を表示するように構成されている。一方、リモコン7のSOC71は、リモコン7の表示部74に、リモコン操作入力用画像を表示するように構成されている。第2参考例による操作システム102のその他の構成は、第1参考例における操作システム100と同様である。
次に、図14および図15を参照して、第2参考例による操作システム102の操作処理フローについて説明する。スマートフォン6における処理は、CPU62により行われる。また、TV8における処理は、CPU81により行われる。そして、リモコン7における処理は、SOC71により行われる。
まず、図14に示すように、スマートフォン6におけるステップS1〜S7、および、TV8のステップS21およびステップS22の処理は、第1参考例におけるスマートフォン1におけるステップS1〜S7、および、TV2のステップS21およびステップS22の処理と同様である。そして、ステップS7の処理の後、ステップS51(図15参照)に進む。
そして、図15に示すように、スマートフォン6では、ステップS51において、リモコンアプリを起動させるためのリモコンアプリ起動信号がリモコン7に送信される。その後、ステップS52に進む。そして、ステップS52において、リモコン7よりリモコン操作入力信号を取得したか否かが判断される。リモコン操作入力を取得するまでこの判断は繰り返され、リモコン操作入力を取得した場合には、ステップS53に進む。
そして、ステップS53において、リモコン操作情報信号(操作内容)に基づいた操作制御が実行され、ステップS52に戻る。
一方、図15に示すように、リモコン7では、ステップS61において、スマートフォン6により送信されたリモコンアプリ起動信号を受信したか否かが判断される。リモコンアプリ起動信号を受信するまでこの判断は繰り返され、リモコンアプリ起動信号を受信した場合、ステップS62に進む。そして、ステップS62において、SOC71内のフラッシュメモリに記憶されているリモコン操作入力用画像データの読み出しが行われ、リモコンアプリが起動される。そして、ステップS63に進む。
そして、ステップS63において、読み出されたリモコン操作入力用画像がリモコン7の表示部74に表示される。その後、ステップS64に進む。そして、ステップS64において、リモコン操作入力を受け付けたか否かが判断される。リモコン操作入力を受け付けるまでこの判断は繰り返され、リモコン操作入力を受け付けた場合、ステップS65に進む。そして、ステップS65において、リモコン操作情報信号がスマートフォン6およびTV8に送信される。その後、ステップS64に戻る。
また、図15に示すように、TV2では、ステップS23およびステップS24の処理がなされる。第2参考例におけるステップS23およびステップS24は、第1参考例におけるステップS23およびステップS24と同様の処理がなされる。
第2参考例では、以下のような効果を得ることができる。
第2参考例では、上記のように、リモコン7のSOC71を、スマートフォン6とTV2とが、ミラーリング動作を行っている場合には、タッチパネル73が受け付けたリモコン操作の操作情報に基づいて、スマートフォン6に対する操作制御を行うとともに、TV2のスピーカ23に対する操作制御を行うように構成する。これにより、ユーザは、TV2の表示部22に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を通常のリモコン操作と同様の操作でリモコン7を用いてリモコン操作することができるとともに、TV2のスピーカ23に対する操作制御を行うためのリモコン操作を通常のリモコン操作と同様の操作でリモコン7を用いて行うことができる。第2参考例による操作システム102のその他の効果は、第1参考例における操作システム100と同様である。
(第2実施形態)
次に、図1、図16および図17を参照して、第2実施形態による操作システム103の構成について説明する。第2実施形態では、ユーザによるタッチパネル95のタッチパネル95面上の空中での操作であるホバリング操作を受け付けるとともに、3次元の位置座標情報に対応した位置座標を示すホバリングカーソル(図16符号B)を、ミラーリング用画像に重畳させて、TV2に表示させるように構成されている。
図1に示すように、第2実施形態による操作システム103は、スマートフォン9を含み、スマートフォン9は、SOC91を含む。そして、SOC91は、CPU92と、座標情報生成部93と、画像生成部94と、タッチパネル95とを含む。
ここで、第2実施形態では、図1および図16に示すように、タッチパネル95は、投影型静電容量式タッチパネルを含み、静電容量を検出することによって、ユーザによるタッチパネル95のタッチパネル95面上の空中での操作であるホバリング操作を受け付けるように構成されている。
そして、図1および図16に示すように、座標情報生成部93は、タッチパネル13がホバリング操作を受け付けた場合には、3次元の位置座標情報(ユーザの指等の位置に対応するXYZ座標)を生成するように構成されている。そして、画像生成部94は、3次元の位置座標情報に対応した位置座標を示すホバリングカーソル(図16符号Bおよび図17符号C)を、ミラーリング用画像に重畳させるように構成されており、CPU92は、ミラーリング用画像およびホバリングカーソルをTV2に表示させる制御を行うように構成されている。
そして、図17に示すように、CPU92は、タッチパネル95面上をユーザによりタッチされた場合(Z座標が0の場合)には、2次元の位置座標情報に対応した位置座標を示すホバリングカーソル(図17符号C)を、ミラーリング用画像に重畳させるように構成されている。また、図17に示すように、CPU92は、音量大ボタン(図17符号A)上で、タッチパネル95面上をユーザによりタッチされた場合(Z座標が0の場合)には、TV2の音量を大きくする制御を行う一方、音量大ボタン(図17符号A)上で、タッチパネル95面上の空間で、ホバリング操作(Z座標が0以外の場合)されている場合には、TV2の音量を大きくしない制御を行うように構成されている。第2実施形態による操作システム103のその他の構成は、第1参考例における操作システム100と同様である。
第2実施形態では、以下のような効果を得ることができる。
第2実施形態では、上記のように、タッチパネル95を、表示部12に表示されたリモコン操作入力用画像において、ユーザによるタッチパネル95のタッチパネル95面上の空中での操作であるホバリング操作を受け付けるように構成して、SOC91を、ホバリング操作に対応した位置座標を示すホバリングカーソル(図16符号Bおよび図17符号C)を、ミラーリング用画像に重畳させて、TV2に表示させる制御を行うように構成する。これにより、TV2に表示されたホバリング操作に対応した位置座標を示すホバリングカーソルをユーザに視認させることができる。その結果、ユーザは、スマートフォン9の表示部12を視認しなくても、TV2に対して操作制御を行うことができる。第2実施形態による操作システム103のその他の効果は、第1参考例における操作システム100と同様である。
(第3実施形態)
次に、図1、図18および図19を参照して、第3実施形態による操作システム104の構成について説明する。第3実施形態では、ユーザによるタッチパネルのタッチパネル面上の空中での操作であるホバリング操作を受け付けるように構成されている第2実施形態による操作システム103と異なり、タッチパネル面上のタッチ操作に基づいて、3次元の位置座標情報を生成するように構成されている。
図1に示すように、第3実施形態による操作システム104は、スマートフォン9aを含み、スマートフォン9aは、SOC91aを含む。そして、SOC91aは、CPU92aと、座標情報生成部93aと、画像生成部94と、タッチパネル13とを含む。
図18に示すように、第1参考例による操作システム100と同様に、タッチパネル13は、表示部12に表示された画像において、ユーザによるタッチパネル13のタッチパネル13面上のタッチ操作を受け付けるように構成されている。
ここで、第3実施形態では、図18に示すように、座標情報生成部93aは、タッチパネル13が受け付けたタッチ操作の位置情報に基づいて、タッチパネル13面上の空中での操作であるホバリング操作として、3次元(XY座標はタッチ位置に対応して、Z軸座標は予め設定された0ではない値に対応する)の座標情報を生成するように構成されている。そして、所定の時間経過するまでは、座標情報生成部93aは、3次元の座標情報を生成するように構成されている一方、タッチパネル13がタッチ操作された後に、所定の時間継続して同じ位置へのタッチ操作が行われた場合には、タッチ操作を、タッチパネル13のタッチパネル13面上でのタッチ操作として2次元(XY座標はタッチ位置に対応して、Z軸座標は0とする)の位置座標情報を生成するように構成されている。なお、所定の時間継続して同じ位置へのタッチ操作することは、本発明の「所定の操作」の一例である。
また、図18および図19に示すように、第2実施形態による操作システム103と同様に、SOC91aは、3次元の位置座標情報(タッチパネル13から離間した位置)および2次元の位置座標情報(タッチパネル13と接する位置)に対応した位置座標を示すホバリングカーソル(図18符号Bおよび図19符号C)を、ミラーリング用画像に重畳させて、TV2に表示させる制御を行うように構成されている。第3実施形態による操作システム104のその他の構成は、第1参考例における操作システム100と同様である。
第3実施形態では、以下のような効果を得ることができる。
第3実施形態では、上記のように、SOC91aを、タッチパネル13がタッチ操作を検出した場合に、タッチ操作を、タッチパネル13のタッチパネル13面上の空中での操作であるホバリング操作として3次元の位置座標情報を生成するとともに、タッチ操作が検出された後に、所定の操作を受け付けた場合には、タッチ操作を、タッチパネル13のタッチパネル13面上でのタッチ操作として2次元の位置座標情報を生成する制御と、3次元の位置座標情報および2次元の位置座標情報のうちの少なくとも3次元の位置座標情報に対応した位置座標を示すホバリングカーソル(図18符号Bおよび図19符号C)を、ミラーリング用画像に重畳させて、TV2に表示させる制御を行うように構成する。これにより、タッチパネル13がタッチパネル13面上の空中にあるユーザの指を検出する性能を有しない場合であっても、ホバリング操作を受け付けることができる。その結果、TV2に表示されたホバリング操作に対応した位置座標を示すホバリングカーソルをユーザに視認させることができるので、ユーザは、スマートフォン9aの表示部12を視認しなくても、TV2に対して操作制御を行うことができる。第3実施形態による操作システム104のその他の効果は、第1参考例における操作システム100と同様である。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
たとえば、第1〜第3実施形態では、本発明を情報処理機器の一例として、スマートフォンに適用する例を示したが、本発明はこれに限らない。本発明は、スマートフォン以外の情報処理機器にも適用可能である。たとえば、タブレットなどにも適用可能である。
また、第1〜第3実施形態では、本発明を画像音声出力機器の一例として、TVに適用する例を示したが、本発明はこれに限らない。本発明は、TV以外の画像音声出力機器にも適用可能である。たとえば、プロジェクターや、セットトップボックスと表示機器と音声出力機器とを組み合わせた装置でもよい。
また、第1〜第3実施形態では、本発明の被操作機器側通信部および操作機器側通信部として、無線LAN通信部を用いる例を示したが、本発明はこれに限らない。たとえば、有線の通信部を含む構成にしてもよい。
また、第1〜第3実施形態では、本発明の操作受付部が受け付けるユーザの操作入力方法として、タッチ操作およびホバリング操作を用いる例を示したが、本発明はこれに限らない。たとえば、ジャイロセンサ等をさらに含んで、スマートフォン本体の動きを検知して操作を受け付けるように構成にしてもよい。
また、第1〜第3実施形態では、タッチパネル部として投影型静電容量式タッチパネルを含む例を示したが、本発明はこれに限られない。本発明では、投影型静電容量式タッチパネル以外のタッチパネルを用いて構成してもよい。たとえば、電磁誘導方式タッチパネルや抵抗膜方式タッチパネルを用いて構成してもよい。
また、第1〜第3実施形態では、スマートフォンまたはリモコンが、リモコン操作情報信号として、TVの音声調整を行うための信号を送信する例を示したが、本発明はこれに限られない。本発明では、リモコン操作情報信号がスマートフォン自身を制御する信号の場合には、リモコン操作情報信号がTV2に送信されないように構成してもよい。
また、第1〜第3実施形態では、スマートフォンまたはリモコンが、TVの操作制御として、TVの音声調整制御を行う例を示したが、本発明はこれに限られない。本発明では、TVの操作制御としてTVの音声調整以外の制御を行うように構成してもよい。たとえば、TVの画質調整を制御するように構成してもよい。
また、第1〜第3実施形態では、説明の便宜上、本発明の制御部の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベントごとに処理を実行するイベント駆動型(イベントドリブン型)の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。