以下、本発明の実施形態について図面を用いて説明する。
(実施形態1)
図1は、実施形態1における機器連携システム100の概略的な構成を示すブロック図である。図1に示すように、機器連携システム100は、携帯電話機1および車両用装置2を含んでいる。
機器連携システム100は、携帯電話機1と車両用装置2とをターミナルモードで接続中の場合には、携帯電話機1の画面に表示させるために携帯電話機1で生成した画像データを車両用装置2に送信し、車両用装置2でその画像データが示す画面を表示するとともに、車両用装置2への操作入力によって携帯電話機1を操作する。
上記のようにターミナルモードでは、携帯電話機1と同等の画面内容(携帯画面)を車両用装置2の画面に表示するが、当該携帯画面で、どのような種類の処理が実行されているのか、また、どのような種類のボタンがユーザーによって押されたのか、車両用装置2では、判別できない。
ターミナルモードでは、車両用装置2を、タッチパネル式携帯電話機の画面表示部および操作部として利用するのみである。それ故、タッチパネル式携帯電話機のアプリケーションを車両用装置2にインストールしなくても良い。タッチパネル式携帯電話機から車両用装置に送信されてくる情報は、基本的には、画素毎の色情報(以下、画素情報)のみである。ターミナルモードでは、タッチパネル式携帯電話機のアプリケーションを車両用装置にインストールしなくても、車両用装置2でタッチパネル式携帯電話機の機能を利用できることから、車両用装置2の処理負荷が軽減できる等の利点がある。
つまり、車両用装置2では、携帯電話機1の画面を車両用装置2の画面に合わせて縦横比を維持したまま拡大して表示したり、縦横比を変更して拡大表示したりする。この際、車両用装置2は、携帯電話機1で生成した画素情報や携帯電話機1の画面のサイズ情報などを受信する。
一方で、車両用装置2では、携帯電話機1で実行されているアプリケーションの種類や、画面中のテキスト情報、画面中のデータの属性、操作ボタンの有無、種類、表示位置、操作ボタンが押された場合に実行される処理内容など、携帯電話機1の画面で表示されている画面に関する詳細な情報は受信しない。
画像データ以外に詳細な情報を受信する場合には、車両用装置2と携帯電話機1との間のデータ通信量が増加するという問題がある。また、車両用装置2にて詳細な情報を分析するアプリケーションが必要となり、車両用装置2の処理負荷を軽減することは難しいためである。
そのため、本発明では、車両用装置2は、携帯電話機1から画素情報を受信する。一方で、画面の表示内容に関する詳細な情報は受信しないことを前提に説明する。ただし、これは画像データ以外の情報を受信することを否定するものではない。場合によっては、アプリケーションの種類などの情報を受信する場合も考えられる。
携帯電話機1は、タッチパネルを用いて操作入力を行う所謂タッチパネル式携帯電話機(つまり、操作部分を画面に集約したタッチパネルを搭載した多機能携帯電話機)であって、一般的なタッチパネル式携帯電話機と同様に、外部機器との通信機能、メール機能、インターネット接続機能(Web接続機能)、音楽プレーヤー機能、ピクチャビューア機能、動画像再生機能、ナビゲーション機能など様々な機能を有しているものである。
ここで、図2を用いて携帯電話機1の概略的な構成について説明を行う。なお、便宜上、一般的なタッチパネル式携帯電話機が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図2は、携帯電話機1の概略的な構成を示すブロック図である。図2に示すように携帯電話機1は、BT通信部11とUSB通信部12とからなる携帯側通信部13、携帯側表示部14と操作検出部15とからなるタッチパネル部16、携帯側音声入力部17、携帯側音声出力部18、および主制御部19を備えている。
携帯側通信部13は、車両用装置2との間で通信を行う。詳しくは、BT通信部11では、車両用装置2との間でBluetooth(登録商標)に従った通信(以下、BT通信)を行い、USB通信部12では、車両用装置2との間でUSB接続による有線通信(以下、USB通信)を行う。本実施形態では、BT通信部11はハンズフリー通話への切り替えの制御に関連する情報の送受信に用い、USB通信部12はターミナルモード接続中の画像データや位置情報の送受信に用いるものとする。ここで言うところの画像データはタッチパネル部16の画面の各画素の画素情報(例えば画素毎の色情報)であり、位置情報は携帯電話機1の画面上の位置情報であるものとする。画像データには、描画に必要な各画素のピクセル座標の情報も含んでいるものとする。
なお、本実施形態では、携帯電話機1と車両用装置2との間での通信を、BT通信とUSB通信とで行う構成を示したが、必ずしもこれに限らない。例えばZigBee(登録商標)等の近距離無線通信規格やIEEE802.11等の無線LAN規格などに従った無線通信によって行う構成としてもよいし、USB通信以外の有線通信によって行う構成としてもよい。
また、本実施形態では、ハンズフリー通話への切り替えの制御に関連する情報の送受信とターミナルモード接続中の画像データや位置情報の送受信とを2種類の通信(BT通信とUSB通信)によってそれぞれ行う構成を示したが、必ずしもこれに限らない。例えば、ハンズフリー通話への切り替えの制御に関連する情報の送受信とターミナルモード接続中の画像データや位置情報の送受信とを1種類の通信によって行う構成としてもよい。
携帯側表示部14は、携帯電話機1の各種アプリケーションプログラム(以下、アプリケーション)に応じた画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。
操作検出部15は、携帯側表示部14と一体になったタッチスイッチが用いられ、タッチ位置に対応するスイッチが操作されたことを検出し、その位置情報を主制御部19に入力する。言い換えると、操作検出部15は、携帯側表示部14に表示した画面上のどの位置に対して操作がされたかを検出して、その位置情報を主制御部19に入力する。ここで言うところの位置情報とは、本実施形態では、例えば携帯側表示部14の画面上の座標であるものとする。タッチパネル部16は、携帯側表示部14と操作検出部15とが一体化したものであって、主制御部19の指示に従って携帯側表示部14に例えばボタン表示を含む画面を表示させる。
なお、タッチスイッチは、静電容量方式によるものであってもよいし、抵抗膜方式によるものであってもよいし、他の方式によるものであってもよい。また、位置情報は、画面を所定数の領域に分割して扱う場合には、例えば各領域を特定するID等の識別子であってもよい。
携帯側音声入力部17は、マイクロフォン(以下、マイク)等から構成され、通話時にユーザが発話する音声等の音声を音声信号に変換して主制御部19へ出力する。携帯側音声出力部18は、スピーカ等から構成され、主制御部19の指示に基づいて、通話相手の音声や各種案内音声等を出力する。主制御部19は、通常のコンピュータとして構成されており、内部には例えば周知のCPU、ROM、EEPROM、RAM、I/Oおよびこれらの構成を接続するバスライン(いずれも図示せず)等が備えられている。主制御部19は、携帯側通信部13、タッチパネル部16、携帯側音声入力部17から入力された各種情報に基づき、各種処理を実行する。
例えば、主制御部19は、アプリケーションプログラム(以下、アプリケーション)を実行し、アプリケーションに従った画面をタッチパネル部16に表示させるための画像データを生成し、その画像データに従った画面をタッチパネル部16に表示させる。アプリケーションについては、ROMに予め記憶されている構成としてもよいし、図示しない通信部によってネットワーク等の通信網を介してサーバからダウンロードする構成としてもよい。
また、主制御部19は、タッチパネル部16から入力される位置情報をもとに、タッチパネル部16に表示中の画面上のどのボタン表示に対して操作が行われたかを判断し、操作が行われたボタン表示に応じた処理を実行する。一例を挙げると、携帯電話機1での通話を開始するためのボタン表示(以下、通話開始ボタン)の操作が行われたと判断した場合には、携帯電話機1での通話を開始する処理を行う。
さらに、主制御部19は、通話時には携帯側音声入力部17から入力された音声信号を公衆回線へ送信するのに加え、公衆回線から受信した音声信号を音声に変換して携帯側音声出力部18から出力させる。
また、主制御部19は、ターミナルモードで接続中の場合には、タッチパネル部16に表示させるために生成した画像データをUSB通信部12から車両用装置2へ送信させる。また、画像データをUSB通信部12から車両用装置2へ送信させる場合に、例えば携帯側表示部14の表示領域情報(画面サイズ=幅(Wピクセル)×高さ(Hピクセル)や解像度など)をUSB通信部12から車両用装置2へ送信させるものとする。本実施形態では、携帯電話機1と車両用装置2とがUSB通信部12を介してUSB接続された場合にターミナルモードで接続されるものとする。なお、例えばタッチパネル部16へのユーザからの操作入力によってターミナルモードでの接続の要否を選択可能な構成としてもよい。
後に詳述するが、ターミナルモードで接続中の場合には、主制御部19は、USB通信部12を介して車両用装置2から入力される位置情報をもとに、タッチパネル部16に表示中の画面上のどのボタン表示に対して操作が行われたかを判断し、操作が行われたボタン表示に応じた処理を実行する。
他にも、主制御部19は、電話の着信があった場合に電話の着信があったことを示す着信状態通知をBT通信部11から車両用装置2へ送信させたり、通話を開始した場合に通話を開始したことを示す通話状態通知をBT通信部11から車両用装置2へ送信させたりする。
また、主制御部19は、車両用装置2から送信される後述のハンズフリー切替要求をBT通信部11で受信した場合に、ハンズフリー通話への切替を行う。そして、ハンズフリー通話への切り替え後は、公衆回線から受信した音声信号をBT通信部11から車両用装置2へ送信させるとともに、BT通信部11で受信した車両用装置2から送信されてくる音声信号を公衆回線へ送信する。
図1に戻って、車両用装置2は、自動車等の車両に搭載されるものであって、画像の表示や音声の入出力を行うものである。車両用装置2としては、例えば車載ナビゲーション装置や車載のディスプレイ装置や所謂ディスプレイオーディオ等を利用することができる。ディスプレイオーディオとは、表示機能やオーディオ再生機能、携帯電話機1との通信機能といった基礎的な機能のみを実装し、携帯電話機1と連携することで多機能化する車両用装置を指している。
なお、ディスプレイと一体となった車載ナビゲーション装置を車両用装置2として用いてもよいし、ディスプレイを含まない車載ナビゲーション装置とディスプレイとの組を車両用装置2として用いてもよいものとする。本実施形態では、一例として車両用装置2はディスプレイと一体となった車載ナビゲーション装置であるものとして以降の説明を行う。
ここで、図3を用いて車両用装置2の概略的な構成について説明を行う。なお、便宜上、車両用装置2が有している機能に関する構成のうち、本発明の説明に不要なものについては説明を省略する。図3は、車両用装置2の概略的な構成を示すブロック図である。図3に示すように車両用装置2は、BT通信部21とUSB通信部22とからなる車両側通信部23、車両側表示部24、操作入力部25、車両側音声入力部26、車両側音声出力部27、記憶装置28、および制御装置29を備えている。
車両側通信部23は、携帯電話機1との間で通信を行う。よって、車両側通信部23が請求項の通信手段に相当する。詳しくは、BT通信部21では、携帯電話機1との間でBT通信を行い、USB通信部22では、携帯電話機1との間でUSB通信を行う。本実施形態では、BT通信部21はハンズフリー通話への切り替えの制御に関連する情報の送受信に用い、USB通信部22はターミナルモード接続中の画像データや位置情報の送受信に用いるものとする。なお、車両用装置2と携帯電話機1との間での通信は、前述したように無線通信によるものであってもよいし、有線通信によるものであってもよい。
USB通信部22は、携帯電話機1から送信された表示領域情報や画像データを受信して制御装置29に入力する。また、USB通信部22は、制御装置29からの指示に従って、制御装置29から出力される位置情報を携帯電話機1に送信する。
車両側表示部24は、制御装置29の指示に従った画面等を表示するものであって、例えばフルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。操作入力部25は、例えば車両側表示部24と一体になったタッチスイッチ、或いは、遠隔操作スイッチなどが用いられ、スイッチ操作により制御装置29へ各種機能の操作指示を行う。車両側表示部24および操作入力部25が車両用タッチパネルに相当する。また、操作入力部25は、前述の操作検出部15と同様にして、車両側表示部24に表示した画面上のどの位置に対して押下操作がされたかを検出して、その位置情報を制御装置29に入力するものとする。
車両側音声入力部26は、マイク等から構成され、ユーザが発話する音声を音声信号に変換して制御装置29へ出力する。車両側音声出力部27は、スピーカ等から構成され、制御装置29の指示に基づいて、ハンズフリー通話時の通話相手の音声や各種案内音声等を出力する。
記憶装置28は、携帯電話機1の画面上の携帯電話機1での通話を開始させるための通話開始表示領域についての画像特徴が記憶されている。よって、記憶装置28が請求項の通話領域画像特徴記憶手段に相当する。携帯電話機1での通話を開始させるための通話開始表示領域とは、携帯電話機1の画面上の通話を開始させるためのボタン表示(以下、通話開始ボタン)を示している。また、画像特徴とは、色、形状、同一の画素に対する画素情報の時間的な変化周期等を指標とした特徴を示している。
通話開始ボタンについての画像特徴を、色を指標とする特徴とした場合には、通話開始ボタンの図形の内部の色や当該通話開始ボタンの図形の枠の色などが記憶装置28に記憶されることになる。また、形状を指標とする特徴とした場合には、通話開始ボタンの図形の形状や当該通話開始ボタンに用いられている文字や記号の形状などが記憶装置28に記憶されることになる。さらに、同一の画素に対する画素情報(例えば色の情報)の時間的な変化周期を指標とする特徴とした場合には、点滅表示したり色や形状が変化したりする動画となっている通話開始ボタンの各画素の時間的な変化周期が記憶装置28に記憶されることになる。
通話開始ボタンの画像特徴は、通話開始ボタン以外のボタン表示(例えば保留ボタン)との区別が可能であることが必要である。一例としては、図4に示すように、保留ボタン(図中のA)の外枠の形状が1重線の長方形の場合に、通話開始ボタン(図中のB)の外枠の形状を2重線の長方形としたり、外枠で囲まれる内部の色を保留ボタンと異なる色としたりなどする。また、図4に示すように、通話開始ボタンに用いられる文字「開始ボタン」と保留ボタンに用いられる文字「保留ボタン」とを異ならせるなどの例もある。
制御装置29は、通常のコンピュータとして構成されており、内部には例えば周知のCPU、ROM、EEPROM、RAM、I/Oおよびこれらの構成を接続するバスライン(いずれも図示せず)等が備えられている。制御装置29は、車両側通信部23、操作入力部25、車両側音声入力部26から入力された各種情報に基づき、各種処理を実行する。
制御装置29は、携帯電話機1から車両側通信部23で受信した画像データ(以下、携帯由来画像データ)の入力を受け付けた場合に、その携帯由来画像データに従った画像を生成して車両側表示部24に出力し、その携帯由来画像データに従った画面(以下、携帯画面)を車両側表示部24で表示させる。
制御装置29では、例えば携帯電話機1から送信された表示領域情報をもとに、携帯由来画像データのサイズや解像度を、車両側表示部24の画面のサイズや解像度に変換した画像を生成して携帯画面を表示させるものとする。
なお、本実施形態では、携帯電話機1から送信された表示領域情報をもとに、携帯由来画像データのサイズや解像度を、車両側表示部24の画面のサイズや解像度に変換する構成を示したが、必ずしもこれに限らない。例えば、携帯由来画像データのサイズや解像度の変換の比率を固定値として予め制御装置29で保持しておき、この固定値に従って変換を行う構成としてもよい。この場合には、携帯電話機1から表示領域情報を送信する構成としなくてもよい。
また、制御装置29は、車両側表示部24に表示した画面上のどの位置に対して押下操作がされたかの位置情報の入力を操作入力部25から受け、その位置情報に対応する携帯電話機1のタッチパネル部16(詳しくは携帯側表示部12)の画面上の座標(つまり、画素領域)を操作対象領域として特定する。当該位置情報に対応する操作対象領域の特定方法としては、携帯由来画像データのサイズを変換して画像を生成したときの変換と逆の変換を行うことで特定する構成とすればよい。
そして、操作対象領域として特定した座標を示す信号をUSB通信部22から携帯電話機1に送信することによって、携帯電話機1のタッチパネル部16の画面上の当該操作対象領域を操作した場合と同様の入力を携帯電話機1で行わせる。よって、制御装置29が請求項の制御手段に相当する。
さらに、制御装置29は、BT通信部21で携帯電話機1から受信するハンズフリー通話への切り替えの制御に関連する情報やUSB通信部22で携帯電話機1から受信する画像データの入力を受け付け、ハンズフリー通話への切り替えの制御に関連する処理(以下、ハンズフリー通話切替関連処理)を実行する。
ここで、図5を用いて、制御装置29でのハンズフリー通話切替関連処理のフローについての説明を行う。図5は、制御装置29でのハンズフリー通話切替関連処理のフローを示すフローチャートである。本フローは、車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
なお、通常、ハンズフリー通話を行うためのハンズフリー通話プロトコル(BT通信では、ハンズフリー通話プロファイル、以下HFP)は、ターミナルモードの接続より前に接続している。つまり、車両用装置2は、電源がオンされている間、BT通信が可能な携帯電話機1を探索する探索信号を送信する。そして、携帯電話機1は、探索信号を受信し、探索応答信号を車両用装置2へ送信する。そして、車両用装置2は、探索応答信号を受信し、携帯電話機1との間でBT通信回線の接続を行う。そして、BT通信回線の接続が正常に終了した場合、次に、携帯電話機1との間でHFP接続を行う。そして、HFP接続が正常に終了した場合、HFP接続を継続する。この状態で、車両用装置2と携帯電話機1との間で、音声データを送受信し、当該音声データを車両用装置2のスピーカから出力したりすることにより、ハンズフリー通話を行う。
よって、本処理では、HFPが切断されていない限り、改めてHFPを接続する必要はなく、ハンズフリー通話の用途で使用できるようにマイクやスピーカの音声入力経路を切替えることにより、ハンズフリー通話を行うことができるものとして説明する。
まず、ステップS1では、タッチ操作検出判定処理を実行してステップS2に移る。タッチ操作検出判定処理では、車両用タッチパネルが押下操作されたか否かを判定する。車両用タッチパネルが押下操作されたか否かは、操作入力部25で操作を検出したか否かに応じて判定する構成とすればよい。
ステップS2では、タッチ操作検出判定処理で車両用タッチパネルが押下操作されたと判定した場合、つまり、タッチ操作ありの場合(ステップS2でYES)には、ステップS3に移る。また、タッチ操作検出判定処理で車両用タッチパネルが押下操作されたと判定しなかった場合、つまり、タッチ操作なしの場合(ステップS2でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS3では、通話開始ボタン操作判定処理を実行してステップS4に移る。通話開始ボタン操作判定処理では、携帯電話機1から取得した画像データと記憶装置28に記憶している通話開始ボタンの画像特徴とをもとに、通話開始ボタンの画像が車両用タッチパネルの画面上に表示される領域(つまり、画素領域)を特定する。
例えば画像特徴が色を指標とした特徴であった場合には、画面内で同一の色が連続している部分を1つの図形として認識する。また、そのようにして認識した図形が、線状であって閉じた形状となっている場合には、図形の枠であると認識し、その枠およびその内部を一つの図形と認識する。なお、図形には複数の色が使用されていることも多いが、この場合、図形内での比率が所定値以上の色をその図形の色とする。そして、これらのようにして認識した図形の枠やその内部が通話開始ボタンの画像特徴として記憶されている色と一致している場合には、その図形の位置する領域を通話開始ボタンの画像が車両用タッチパネルの画面上に表示される領域として特定する。
また、画像特徴が形状を指標とした特徴であった場合には、通話開始ボタンの画像特徴として記憶されている形状とのパターンマッチングを行い、マッチングする対象(文字、記号、図形等)が存在した場合にはその対象の位置する領域を通話開始ボタンの画像が車両用タッチパネルの画面上に表示される領域として特定する。なお、画像特徴が文字の場合には、画面上から文字認識処理により読み取った文字情報と、予め記憶しておいた文字情報とに基づいて特定してもよい。具体的には画面上に表示された画像情報より読み取られた文字情報が予め記憶された文字情報と一致する場合には、当該画面上における文字情報が描画されている領域の周囲の一定領域、或いは、周囲に枠線がある場合には当該枠線の内側領域を通話開始ボタンの画像が車両用タッチパネルの画面上に表示される領域として特定する。
さらに、画像特徴が同一の画素に対する画素情報の時間的な変化周期を指標とした特徴であった場合には、色を指標とする特徴の場合と同様に、画面内で同一の色が連続している部分を1つの図形として認識する。そして、認識した図形の枠やその内部の同一の画素に対する画素情報の時間的な変化周期が通話開始ボタンの画像特徴として記憶されている上記変化周期と一致している場合には、その図形の位置する領域を通話開始ボタンの画像が車両用タッチパネルの画面上に表示される領域として特定する。
また、通話開始ボタン操作判定処理では、操作入力部25から入力される位置情報をもとに、車両用タッチパネルの画面上のユーザによって操作が行われた領域(以下、操作領域)を特定する。よって、制御装置29が請求項のタッチ操作検出手段に相当する。操作領域は、位置情報が1点の座標のみの場合には、その座標が示す1点でとしてもよいし、その座標を中心とした所定範囲としてもよい。また、位置情報が複数点の座標を含んでいる場合には、それら複数点の座標が示す範囲を操作領域とすればよい。
そして、車両側表示部24の画面上に通話開始ボタンの画像が表示される領域を特定できた場合には、通話開始ボタンが表示される領域と上記操作領域とが一致するかを判断し、一致すると判断した場合には、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されたと判定する。よって、制御装置29が請求項の通話操作判定手段にも相当する。通話開始ボタンが表示される領域と上記操作領域とが一致するかについては、通話開始ボタンが表示される領域と上記操作領域との少なくとも一部が重なっている場合に一致すると判断する構成とすればよい。なお、通話開始ボタンの画像が車両側表示部24の画面上に表示される領域を特定できなかった場合には、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されたと判定しない。
なお、本実施形態では、通話開始ボタンが表示される領域を特定した後に、当該領域が操作領域と一致するか判断することで、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されたか否かを判定する構成を示したが、必ずしもこれに限らない。例えば、操作領域の画像特徴が記憶装置28に記憶している通話開始ボタンの画像特徴と一致するか判断することで、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されたか否かを判定する構成(変形例1)としてもよい。この場合には、通話開始ボタン操作判定処理では以下のように処理を行う構成とすればよい。
まず、操作入力部25から入力される位置情報をもとに、車両用タッチパネルの画面上のユーザによって操作が行われた領域(つまり、操作領域)を特定する。操作領域は、例えば位置情報が1点の座標のみの場合には、その座標を中心とした所定範囲に一部もしくは全部が含まれる図形の範囲とすればよいし、位置情報が複数点の座標を含んでいる場合には、それら複数点の座標が示す範囲に一部もしくは全部が含まれる図形の範囲とすればよい。なお、図形の認識は、前述したように画面内で同一の色が連続している部分を1つの図形として認識したり、線状であって閉じた形状となっている場合には、図形の枠であると認識してその枠およびその内部を1つの図形と認識したりすればよい。
続いて、携帯電話機1から取得した画像データと当該操作領域とをもとに、当該操作領域の画像特徴を決定する。例えば、画像特徴が色を指標とした特徴であった場合には、操作領域に一部もしくは全部が含まれる図形の枠や内部の色を操作領域の画像特徴と決定する。画像特徴が形状を指標とした特徴であった場合には、操作領域に一部もしくは全部が含まれる図形の外形や当該図形に含まれる文字や記号を操作領域の画像特徴と決定する。さらに、画像特徴が同一の画素に対する画素情報の時間的な変化周期を指標とした特徴であった場合には、操作領域に一部もしくは全部が含まれる図形の枠やその内部の同一の画素に対する画素情報の時間的な変化周期を操作領域の画像特徴と決定する。
そして、決定した画像特徴と記憶装置28に記憶している通話開始ボタンの画像特徴が一致するかを判断し、一致すると判断した場合には、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されたと判定する。画像特徴が形状を指標とした特徴であった場合には、例えばパターンマッチングを行い、マッチングした場合に一致すると判断する構成とすればよい。これによれば、画像特徴を求める必要のある領域を車両用タッチパネルの画面上の操作領域に絞り込むことができるので、車両用タッチパネルの画面の全領域の画像特徴を求めなくても、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されたと判定することが可能になる。従って、制御装置29での演算処理の負荷を低減することが可能になる。
ステップS4では、通話開始ボタン操作判定処理で操作されたのが通話開始ボタンと判定した場合(ステップS4でYES)には、ステップS5に移る。また、通話開始ボタン操作判定処理で操作されたのが通話開始ボタンと判定しなかった場合(ステップS4でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS5では、通話待ちタイマセット処理を実行してステップS6に移る。通話待ちタイマセット処理では、タイマのカウントを開始する。タイマとしては図示しないタイマ回路等を用いる構成とすればよい。
ステップS6では、時間内通話開始判定処理を実行してステップS7に移る。時間内通話開始判定処理では、ステップS5の通話待ちタイマセット処理でタイマのカウントを開始してから所定時間以内に、携帯電話機1が通話状態となったことを検出したか否かを判定する。詳しくは、携帯電話機1が通話状態となったことは、携帯電話機1からBT通信部21で受信した通話状態通知の入力が制御装置29に行われたことをもって検出する構成とすればよい。よって、制御装置29が請求項の通話状態検出手段に相当する。ここで言うところの所定時間とは、ターミナルモード接続中に車両用装置2への操作入力によって携帯電話機1を操作する場合の時差よりも長い時間であって、任意に設定可能な時間である。所定時間としては、例えば1〜数秒を設定すればよい。
なお、携帯電話機1が通話状態となったことは、携帯電話機1からBT通信部21で受信した音声信号の入力が制御装置29に行われたこと(つまり、音声信号を受信したこと)をもって検出する構成としてもよい。
また、携帯電話機1での通話中にタッチパネル部16に表示される画面(以下、通話画面)についての画像特徴を予め記憶装置28に記憶しておき、携帯電話機1から取得した画像データと記憶装置28に記憶している通話画面の画像特徴とをもとに、携帯電話機1から取得した画像データが示す画像特徴と通話画面の画像特徴とが一致すると判断した場合には、携帯電話機1が通話状態となったことを検出する構成としてもよい。よって、記憶装置28が請求項の通話画面画像特徴記憶手段に相当する。通話画面の画像特徴としては、例えば通話画面に特徴的なボタンの色や形状や文字(例えば「通話」との文字)や記号や図形(例えば通話ボタンに用いられるアイコンの図形)等がある。
ステップS7では、通話待ちタイマセット処理でタイマのカウントを開始してから所定時間以内に、携帯電話機1が通話状態となったことを検出した(つまり、所定時間内の通話開始検出)と判定した場合(ステップS7でYES)には、ステップS8に移る。また、所定時間内の通話開始検出と判定しなかった場合(ステップS7でNO)には、ステップS1に戻ってフローを繰り返す。
ステップS8では、ハンズフリー通話切替処理を実行してフローを終了する。ハンズフリー通話切替処理では、BT通信部21から携帯電話機1にハンズフリー通話への切替を要求するハンズフリー切替要求を送信させるとともに、車両用装置2でハンズフリー通話を開始する。よって、制御装置29が請求項の車両側通話切替手段に相当し、ハンズフリー切替要求が請求項の要求信号に相当する。
ここで言うところのハンズフリー通話とは、車両側音声入力部26から入力されてくる通話音声の音声信号をBT通信部21から携帯電話機1へ送信させるとともに、BT通信部21で受信した携帯電話機1から送信されてくる音声信号を車両側音声出力部27へ出力し、通話相手の音声を出力させることを示す。言い換えると、ユーザが発話した音声を携帯電話機1を介して公衆回線へ送信するのに加え、携帯電話機1が公衆回線から受信した音声を出力することを示す。なお、本フローは、車両用装置2と携帯電話機1とのターミナルモード接続が解消されたときにも終了する。
続いて、図6を用いて、携帯電話機1での電話の着信時にハンズフリー通話への切替を行うまでの携帯電話機1と車両用装置2との間での情報のやり取りについての説明を行う。ここでは、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されてから所定時間内に携帯電話機1が通話状態となるものとして説明を行う。また、図6中の1重線の矢印がBT通信での情報の流れを示しており、2重線の矢印がUSB通信での情報の流れを示している。
まず、携帯電話機1のタッチパネル部16に待ち受け画面を表示している場合(t1)には、この待ち受け画面の画像データをUSB通信によって携帯電話機1から車両用装置2へ送信する(t2)。車両用装置2では、この画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様の待ち受け画面を車両用タッチパネルに表示する(t3)。なお、待ち受け画面でなく、通話機能に関するアプリケーション以外のアプリケーションに従った画面であってもよい。
続いて、携帯電話機1で電話の着信があった場合(t4)には、着信状態通知をBT通信によって携帯電話機1から車両用装置2へ送信する(t5)。また、携帯電話機1で電話の着信があった場合には、携帯電話機1のタッチパネル部16に着信画面を表示し(t6)、この着信画面の画像データをUSB通信によって携帯電話機1から車両用装置2へ送信する(t7)。車両用装置2では、この画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様の着信画面を車両用タッチパネルに表示する(t8)。ここで、着信画面には前述の通話開始ボタンが含まれているものとする。
車両用タッチパネルに表示されている着信画面中の通話開始ボタンがユーザに操作された場合(t9)に、その操作領域の位置情報をUSB通信によって車両用装置2から携帯電話機1へ送信する(t10)。携帯電話機1では、その位置情報をもとに、携帯電話機1側の通話開始ボタンの操作を行い、通話を開始する(t11)。
通話を開始した場合、通話状態通知をBT通信によって携帯電話機1から車両用装置2へ送信する(t12)。また、通話を開始した場合、携帯電話機1のタッチパネル部16に通話画面を表示し(t13)、この通話画面の画像データをUSB通信によって携帯電話機1から車両用装置2へ送信する(t14)。車両用装置2では、この画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様の通話画面を車両用タッチパネルに表示する(t15)。
車両用装置2では、車両用タッチパネルの画面上に表示された通話開始ボタンが操作されてから所定時間内に携帯電話機1が通話状態となったことをもとに、ハンズフリー切替要求をBT通信によって車両用装置2から携帯電話機1へ送信する(t16)。そして、車両用装置2をハンズフリー通話に切り替える(t17)。また、ハンズフリー切替要求を受信した携帯電話機1もハンズフリー通話に切り替える(t18)。
なお、携帯電話機1からの電話の発信時にハンズフリー通話への切替を行う場合には、車両用タッチパネルの発信画面上に表示された通話開始ボタンが操作されてから所定時間内に携帯電話機1から通話状態通知を受信したことをもとに、ハンズフリー切替要求を車両用装置2から携帯電話機1に送信し、ハンズフリー通話への切替を行うことになる。
このように、本実施形態では、車両用タッチパネルの画面が操作されてから所定時間内に携帯電話機1から通話状態通知を受信したことをもとに、ハンズフリー通話への切替を行う。車両用タッチパネルの画面の操作を検出してから短時間に携帯電話機1が通話状態となった場合は、携帯電話機1での着信後の通話開始および発信による通話開始のいずれであっても、ユーザが車両用タッチパネルの画面上の通話開始ボタンを操作して通話開始された可能性が高い。また、車両用タッチパネルが操作されているため、ユーザがハンズフリー通話を必要としている可能性が高い。従って、以上の構成によれば、車両用装置2側でハンズフリー通話への切り替えの必要性を判断してハンズフリー通話に切り替えを行うことができる。
さらに、本実施形態では、携帯電話機1から取得した画像データと通話開始ボタンの画像特徴と制御装置29で特定した操作領域とから、通話開始ボタンが車両用装置2側で操作されたことも判定し、肯定判定したことをもとにハンズフリー通話に切り替える。従って、以上の構成によって、車両用装置2側でハンズフリー通話への切り替えの必要性をさらに精度良く判断してハンズフリー通話に切り替えを行うことが可能となっている。
なお、前述の実施形態では、車両用タッチパネルの画面が操作されてから所定時間内に携帯電話機1から通話状態通知を受信したこと、および通話開始ボタンが車両用装置2側で操作されたことの2つの条件が揃った場合にハンズフリー通話への切り替えを行う構成を示したが、必ずしもこれに限らない。例えば、上記の2つの条件のうちのいずれかを満たす場合にハンズフリー通話への切り替えを行う構成としてもよい。
例えば、車両用タッチパネルの画面が操作されてから所定時間内に携帯電話機1から通話状態通知を受信した場合にハンズフリー通話への切り替えを行う構成とする場合には、図5のフローのステップS3およびステップS4を省略し、ステップS2の処理の後にステップS5の処理に移行する構成とすればよい。また、通話開始ボタンが車両用装置2側で操作された場合にハンズフリー通話への切り替えを行う構成とする場合には、ステップS5〜ステップS7を省略し、ステップS4でYESであった場合にステップS8に移行する構成とすればよい。
その他、前述の実施形態では、車両用タッチパネルの画面の操作を検出してから所定時間内に携帯電話機1から通話状態通知を受信したことをもとに、ハンズフリー切替要求を車両用装置2から携帯電話機1に送信する構成を示したが、例えば、車両用タッチパネルの画面の操作を検出してから所定時間内に携帯電話機1から通話状態以外の着信状態通知、発信状態通知、呼出状態通知を受信したことをもとに、ハンズフリー切替要求を車両用装置2から携帯電話機1に送信する構成としてもよい。この場合には、携帯電話機1はハンズフリー切替要求を受信したことを一時記憶しておき、その後、通話状態となった場合にハンズフリー通話を行う。
(実施形態2)
本発明は上述の実施形態1に限定されるものではなく、次の実施形態2も本発明の技術的範囲に含まれる。以下では、実施形態2について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態2における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態2は、車両用装置2の制御装置29での処理が異なっている点を除けば、実施形態1と同様の構成である。
具体的には、実施形態2の制御装置29(以下、便宜上、制御装置29aとする)は、携帯電話機1から車両側通信部23で受信した携帯由来画像データの入力を受け付けた場合に、その携帯由来画像データに従った画像を生成して車両側表示部24に出力し、その携帯由来画像データに従った携帯画面を車両側表示部24の一部の領域に表示させる。
さらに、制御装置29aは、携帯画面とは別に、自装置で独自に生成した独自生成画面を、車両側表示部24の携帯画面を表示させる領域以外の領域に表示させる。また、制御装置29aは、この独自生成画面に、ハンズフリー通話とハンドセット通話との切り替えを指示するためのボタンのアイコン(以下、H/F切替ボタン)も表示させる。なお、H/F切替ボタンが請求項の切替ボタン画像に相当する。よって、制御装置29aが請求項の切替ボタン画像表示手段に相当する。
ハンドセット通話とは、携帯電話機1単独で行う通話を示す。車両用装置2にとってのハンドセット通話への切り替えとは、例えばハンズフリー通話プロトコルを終了させることや、音声を入出力する経路(音声経路)を自装置のスピーカおよびマイクを介さない経路に切り替えることを示している。
ここで、図7を用いて、H/F切替ボタンの表示例について説明を行う。図7のCが携帯画面を示し、Dが独自生成画面を示し、EがH/F切替ボタンを示している。また、Fが携帯画面中の通話開始ボタン、Gが携帯画面中の通話終了ボタンを示している。図7に示すように、独自生成画面は携帯画面の周囲に表示され、その独自生成画面中にH/F切替ボタンは含まれる。
H/F切替ボタンのデザインは、携帯画面上の通話開始ボタンのデザインとは異なっているものとする。例えば、携帯画面上の通話開始ボタンでは用いられない「ハンズフリー」といったテキスト等を含むボタン画像を予め用意しておき、このボタン画像をH/F切替ボタンの画像に用いる構成とすればよい。
他にも、H/F切替ボタンの画像として複数の候補を予め用意しておき、携帯画面上の通話開始ボタンのデザインとは異なる候補を選択してH/F切替ボタンの画像に用いる構成としてもよい。携帯画面上の通話開始ボタンのデザインは、例えば携帯画面上の図形の画像特徴を分析することで求める構成としてもよい。また、携帯電話機1の機種ごとのボタンデザインの情報を予め記憶装置28に格納しておき、接続中の携帯電話機1から得られる当該携帯電話機1の機種の情報と上記機種ごとのボタンデザインの情報とをもとに、携帯電話機1の通話開始ボタンのデザインを推測することで求める構成としてもよい。
これによれば、携帯画面上に表示されるハンドセット通話の開始を指示するための通話開始ボタンと、H/F切替ボタンとの区別をユーザが行い易くなる。
さらに、H/F切替ボタンの操作方法が、携帯画面上の通話開始ボタンの操作方法とは異なっている構成としてもよい。つまり、H/F切替ボタンに対応する操作入力部25で受け付ける操作入力が、携帯画面上の通話開始ボタンに対応する操作入力部25で受け付ける操作入力とは操作方法が異なっている構成としてもよい。例えば、通話開始ボタンについては1回のタッチ操作で操作を検出するのに対し、H/F切替ボタンについては2回のタッチ操作で操作を検出するなどの例が挙げられる。これによれば、携帯画面上に表示されるハンドセット通話の開始を指示するための通話開始ボタンと、H/F切替ボタンとの区別をユーザがさらに行い易くなる。
なお、H/F切替ボタンは、携帯画面上の通話開始ボタンと類似のデザインとなっている構成としてもよい。例えば、類似のデザインであっても別の方法によってH/F切替ボタンと携帯画面上の通話開始ボタンとが区別可能となっている構成としてもよい。一例としては、H/F切替ボタンと携帯画面上の通話開始ボタンとを車両用タッチパネルの表示領域内で区別しやすいように表示領域を分割することによって、各ボタンの区別をユーザが行い易くなるようにする構成とすればよい。
また、H/F切替ボタン(つまり、タッチスイッチ)による操作指示が行われた場合の対応動作を予め設定可能とする構成としてもよい。対応動作の設定は、例えば操作入力部25を介してユーザからの操作入力に従って行う構成とすればよい。
例えば、H/F切替ボタンによる操作指示によりハンズフリー通話を開始するか否かを問い合わせる画面を制御装置29aが車両ディスプレイに表示させることなく、自動的にハンズフリー通話へ切替える設定を行う構成としてもよい。
他にも、H/F切替ボタンによる操作指示によりハンズフリー通話を開始するか否かを問い合わせる画面を制御装置29aが車両ディスプレイに表示し、ハンズフリー通話への切り替えを要する旨のユーザからの操作入力を受け付けた場合に、自動的にハンズフリー通話に切り替える設定を行う構成としてもよい。なお、ハンズフリー通話への切り替えを要する旨のユーザからの操作入力は、例えば操作入力部25を介して制御装置29cが受け付ける構成とすればよい。
また、制御装置29aは、ハンズフリー通話への切り替えの制御に関連する処理(以下、ハンズフリー通話切替関連処理)を実行する。ここで、図8を用いて、制御装置29aでのハンズフリー通話切替関連処理のフローについての説明を行う。図8は、制御装置29aでのハンズフリー通話切替関連処理のフローを示すフローチャートである。本フローは、車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
まず、ステップS11では、ステップS1と同様にしてタッチ操作検出判定処理を実行し、ステップS12に移る。ステップS12では、タッチ操作検出判定処理で車両用タッチパネルが押下操作されたと判定した場合、つまり、タッチ操作ありの場合(ステップS12でYES)には、ステップS13に移る。また、タッチ操作検出判定処理で車両用タッチパネルが押下操作されたと判定しなかった場合、つまり、タッチ操作なしの場合(ステップS12でNO)には、ステップS11に戻ってフローを繰り返す。
ステップS13では、H/F切替ボタン操作判定処理を実行してステップS14に移る。H/F切替ボタン操作判定処理では、操作入力部25から入力される位置情報をもとに、車両用タッチパネルの画面上のユーザによって操作が行われた領域(以下、操作領域)を特定する。操作領域は、位置情報が1点の座標のみの場合には、その座標が示す1点でとしてもよいし、その座標を中心とした所定範囲としてもよい。また、位置情報が複数点の座標を含んでいる場合には、それら複数点の座標が示す範囲を操作領域とすればよい。
また、H/F切替ボタン操作判定処理では、車両用タッチパネル(詳しくは車両側表示部24)の表示領域上のH/F切替ボタンの画像が表示される領域と上記操作領域とが一致するか否かを判断する。そして、一致すると判断した場合には、車両用タッチパネルの画面上に表示されたH/F切替ボタンが操作されたと判定し、一致しないと判断した場合には、H/F切替ボタンが操作されていないと判定する。よって、操作入力部25が請求項の切替指示受付手段に相当する。
なお、H/F切替ボタンが表示される領域と上記操作領域とが一致するかについては、H/F切替ボタンが表示される領域と上記操作領域との少なくとも一部が重なっている場合に一致すると判断する構成とすればよい。
ステップS14では、H/F切替ボタンが操作されたと判定した場合(ステップS14でYES)には、ステップS15に移る。また、H/F切替ボタンが操作されていないと判定した場合(ステップS14でNO)には、ステップS11に戻ってフローを繰り返す。
ステップS15では、ハンズフリー通話切替処理を実行してフローを終了する。ハンズフリー通話切替処理では、BT通信部21から携帯電話機1にハンズフリー通話への切替を要求するハンズフリー切替要求を送信するとともに、車両用装置2でハンズフリー通話を開始する。よって、制御装置29aが請求項の車両側通話切替手段に相当する。
続いて、図9を用いて、携帯電話機1での電話の着信時にハンズフリー通話への切り替えを行うまでの携帯電話機1と車両用装置2との間での情報のやり取りについての説明を行う。ここでは、車両用タッチパネルの画面上に表示された通話開始ボタンおよびH/F切替ボタンが操作されるものとして説明を行う。また、図9中の1重線の矢印がBT通信での情報の流れを示しており、2重線の矢印がUSB通信での情報の流れを示している。
t21〜t34までの処理は、車両用装置2が車両用タッチパネルの表示領域のうちの待ち受け画面や着信画面の領域外に独自生成画面を表示させる点を除けば、図6のt1〜t14までの処理と同様に行われる。なお、待ち受け画面でなく、通話機能に関するアプリケーション以外のアプリケーションに従った画面であってもよい。
t34の処理の後、車両用装置2では、携帯電話機1から送信される画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様の通話画面を車両用タッチパネルに表示するとともに、H/F切替ボタンが含まれる独自生成画面の表示を開始する(t35)。
車両用装置2では、独自生成画面中のH/F切替ボタンがユーザに操作された場合(t36)に、ハンズフリー切替要求をBT通信によって携帯電話機1から車両用装置2へ送信する(t37)。そして、ハンズフリー通話プロファイルで携帯電話機1との間を接続して、車両用装置2をハンズフリー通話に切り替える(t38)。また、ハンズフリー切替要求を受信した携帯電話機1もハンズフリー通話に切り替える(t39)。
なお、図9の例では、通話が開始された場合にH/F切替ボタンの表示を開始する構成を示したが、必ずしもこれに限らない。例えば携帯電話機1で電話の着信があった場合にH/F切替ボタンの表示を開始する構成としてもよい。この場合、H/F切替ボタンが操作されたと判定した場合に、携帯画面中の通話ボタンの操作がされていなくても通話を開始し、ハンズフリー通話への切り替えを行う構成としてもよい。
また、携帯電話機1で電話の発信があった場合にH/F切替ボタンの表示を開始する構成としてもよいし、独自生成画面の表示中はH/F切替ボタンを常時表示する構成としてもよい。
独自生成画面中のH/F切替ボタンは、携帯画面に存在しない、車両用装置2に独自のボタンである。よって、独自生成画面中のH/F切替ボタンが表示されている領域に対するタッチ操作を操作入力部25で検出したことをもって、ハンズフリー通話への切り替えが必要であることを容易に判断できる。従って、本実施形態の構成によっても、車両用装置2側でハンズフリー通話への切り替えの必要性を判断してハンズフリー通話に切り替えを行うことが可能になる。
また、制御装置29aは、ハンズフリー通話中かハンドセット通話中かを識別する。そして、ハンズフリー通話中にH/F切替ボタンが操作されたと判定した場合には、ハンズフリー通話からハンドセット通話に切り替え、ハンドセット通話中にH/F切替ボタンが操作されたと判定した場合には、ハンドセット通話からハンズフリー通話に切り替える。このように、H/F切替ボタンの表示されている領域に対するタッチ操作を操作入力部25で受け付けるごとに、制御装置29aがハンズフリー通話とハンドセット通話とを交互に切り替える。
なお、H/F切替ボタンが操作されたか否かの判定は、H/F切替ボタン操作判定処理と同様にして行うものとする。これによれば、ユーザの意図に反してハンズフリー通話となった場合でも、H/F切替ボタンを操作することでハンズフリー通話を容易に中止することができる。
制御装置29aは、ハンズフリー通話かハンドセット通話かによらず、通話中は独自生成画面中にH/F切替ボタンを表示させ続ける構成とすることが好ましい。制御装置29aは、通話状態通知を携帯電話機1から受信してから、通話が終了したことを示す信号を携帯電話機1から受信するまでを通話中と検出する構成とすればよい。よって、制御装置29aが請求項の通話中検出手段に相当する。
これによれば、携帯電話機1のタッチパネル部16に表示されている画面が通話画面から通話画面以外の地図表示等の画面に切り替わり、車両用ディスプレイの携帯画面も切り替わった場合にも、通話中は切替ボタン画像を表示し続けることが可能になる。この場合、例えば通話が終了したときに、H/F切替ボタンの表示も終了させる構成すればよい。通話が終了したことは、通話が終了したことを示す信号を携帯電話機1から受信したことをもとに制御装置29aが検出する構成とすればよい。
さらに、制御装置29aは、接続されている携帯電話機1が、通話中にハンズフリー通話とハンドセット通話とを交互に切り替える機能を有していないものであった場合にも、H/F切替ボタンを表示させる構成としてもよい。通話中にハンズフリー通話とハンドセット通話とを交互に切り替える機能を有していない携帯電話機1とは、例えば通話中はハンドセット通話からハンズフリー通話への切り替えしか行うことができないものが挙げられる。これによれば、携帯電話機1の機種に限らず、H/F切替ボタンを表示できる。
この他、携帯電話機1の機種によっては携帯画面上に通話を切替える機能がなく、機械的なスイッチの操作(例えば通話キーを長押しする)により通話の切り替えを行うものもある。このような携帯電話機が接続されている場合でも、携帯電話機1の機種に限らず、H/F切替ボタンを表示できる。
また、車両用装置2が複数の携帯電話機1と通信によって接続できるものであって、複数の携帯電話機1と接続可能な状態にある(つまり、複数の携帯電話機1とハンズフリー通話を行うためのハンズフリー通信方法によって接続されている)場合には、以下のような構成としてもよい。ここでは、携帯電話機1と車両用装置2とが、ハンズフリー通話への切り替えの制御に関連する情報の送受信とターミナルモード接続中の画像データや位置情報の送受信との両方をBT通信によって行う場合を例に挙げて説明を行う。
車両用装置2と複数の携帯電話機1とは、複数の機器と同時に同じプロファイルで接続されるマルチポイント接続がされているものとする。また、車両用装置2と各携帯電話機1とのBT通信のペアリング処理時に、各携帯電話機1を特定するための情報(例えば機器IDとする)と各携帯電話機1の機種情報とが制御装置29aで登録されるものとする。なお、機種情報の他にも例えば携帯電話機1のユーザ名を登録する構成としてもよい。
例えば、制御装置29aが、車両用ディスプレイに携帯画面が表示されている(つまり、ターミナルモードで接続中の)携帯電話機1についてのみ、H/F切替ボタンを表示させ、ターミナルモードで接続されていない携帯電話機1については、H/F切替ボタンを表示させない構成としてもよい。なお、制御装置29aでの個々の携帯電話機1の特定は、ペアリング処理時に登録した機器IDをもとに行う構成とすればよい。
通常、ターミナルモードで接続中の携帯電話機1は、車両の運転手の携帯電話機1である可能性が高い。よって、以上のような構成とすることで、運転手の携帯電話機1についてのH/F切替ボタンを優先的に表示することが可能になる。また、これにより、車両用ディスプレイ上のH/F切替ボタンの領域に対してタッチ操作を行うだけで、携帯電話機1の機器IDを照合するなどの運転手の携帯電話機1を判別する特別な手段を設けることなく、簡易的に運転手の携帯電話機1におけるハンズフリー通話を開始することが可能となる。
なお、ターミナルモードで接続中の携帯電話機1についてH/F切替ボタンを表示させる場合に、H/F切替ボタンに加え、その携帯電話機1の機種名やユーザ名を表示させる構成としてもよい。携帯電話機1の機種名やユーザ名については、ペアリング処理時に登録した機種名やユーザ名を用いる構成とすればよい。
ターミナルモードで接続中でない携帯電話機1でのハンズフリー通話中は、ターミナルモードで接続中の携帯電話機1との音声通信を切断ないしミュート処理しても良い。これにより、ハンズフリー通話の音声とハンズフリー通話以外のターミナルモードで利用中のアプリケーションの音声(音楽や動画などの音声)とが混在(ミキシング)されることを防止できる。
また、マルチポイント接続されている携帯電話機1については、車両用ディスプレイに携帯画面が表示されていない(つまり、ターミナルモードで接続中でない)携帯電話機1についても、制御装置29aがH/F切替ボタンを各々表示させる構成としてもよい。なお、制御装置29aでの個々の携帯電話機1の特定は、ペアリング処理時に登録した機器IDをもとに行う構成とすればよい。
この場合、各携帯電話機1についてのH/F切替ボタンの表示される領域の位置情報と携帯電話機1の機器IDとを紐付けすることにより、どの携帯電話機1についてのH/F切替ボタンが操作されたかを制御装置29aで特定可能な構成とすればよい。そして、H/F切替ボタンが操作されるごとに、操作されたと判定したH/F切替ボタンに対応する携帯電話機1とのハンズフリー通話とハンドセット通話とを交互に切り替える構成とすればよい。操作されたH/F切替ボタンの判定については、H/F切替ボタン操作判定処理と同様にして制御装置29aで行う構成とすればよい。
マルチポイント接続されている各携帯電話機1についてH/F切替ボタンを各々表示させる態様としては、図10に示すように、独自生成画面中に各携帯電話機1についてのH/F切替ボタンを同時に表示させる態様がある。なお、図10のCが携帯画面を示し、Dが独自生成画面を示し、E1およびE2がH/F切替ボタンを示している。また、Fが携帯画面中の通話開始ボタン、Gが携帯画面中の通話終了ボタンを示している。ここでは、2台の携帯電話機1aと携帯電話機1bとが車両用装置2とマルチポイント接続されており、E1が携帯電話機1aについてのH/F切替ボタン、E2が携帯電話機1bについてのH/F切替ボタンであるものとする。
また、各携帯電話機1についてのH/F切替ボタンを表示させる場合、H/F切替ボタンに加え、その携帯電話機1の機種名やユーザ名を前述したのと同様にして表示させる構成としてもよい。さらに、各携帯電話機1についてのH/F切替ボタンのうちの1つが操作された場合には、操作された以外のH/F切替ボタンのアイコン表示を、ハンズフリー通話への切り替えを禁止する旨のアイコン表示に切り替える構成としてもよい。また、このとき、操作された以外のH/F切替ボタンの操作を受け付けないようにする構成としてもよい。
なお、独自生成画面中に各携帯電話機1についてのH/F切替ボタンを同時に表示させる場合には、独自生成画面中にH/F切替ボタンを複数表示させる構成に限らず、各携帯電話機1についてのH/F切替ボタンごとに独自生成画面を分割して表示させる構成(図11参照)としてもよい。図11は、各携帯電話機1についてのH/F切替ボタンごとに独自生成画面が分割されていることを除けば、図10と同様であるものとする。
他にも、マルチポイント接続されている各携帯電話機1についてH/F切替ボタンを各々表示させる態様としては、独自生成画面中に各携帯電話機1についてのH/F切替ボタンを例えば1つずつ順番に表示させる態様がある。
この場合には、各携帯電話機1についてのH/F切替ボタンを切り替えるためのボタン(以下、携帯切替ボタン)を独自生成画面中に表示させる構成(図12参照)とすればよい。なお、図12のCが携帯画面を示し、Dが独自生成画面を示し、EがH/F切替ボタンを示しており、Hが携帯切替ボタンを示している。また、Fが携帯画面中の通話開始ボタン、Gが携帯画面中の通話終了ボタンを示している。そして、この携帯切替ボタンの領域に対しての操作を検出するごとに、各携帯電話機1についてのH/F切替ボタンを順番に切り替えて表示させる構成とすればよい。
本実施形態では、ハンズフリー通話とハンドセット通話との切り替えを指示する旨のユーザからの操作入力を受け付ける操作入力部25として、車両側表示部24に表示する画像と一体になったタッチスイッチ(H/F切替ボタンの画像により生成されるタッチスイッチ)を用いる構成を示したが、必ずしもこれに限らない。
例えば、上記操作入力を受け付ける操作入力部25として、メカニカルな(機械的な)スイッチを用いる構成としてもよい。他にも、上記操作入力を受け付ける操作入力部25として、ユーザの発話した音声コマンドの音声認識を行うことによって操作入力を受け付ける周知の音声認識装置を用いる構成としてもよい。さらに、上記操作入力を受け付ける操作入力部25として、ユーザの所定のジェスチャー操作を検出する静電容量式パネルなどの近接スイッチやカメラなどの周知の装置を用いる構成としてもよい。なお、上述のメカニカルなスイッチや音声認識装置や近接スイッチやカメラなどが請求項の操作入力装置に相当する。
これによれば、H/F切替ボタンを車両用ディスプレイ上に表示しなくても、ハンズフリー通話への切り替えを指示する旨のユーザからの操作入力を受け付けることが可能になるので、車両用ディスプレイの表示領域を、携帯画面の表示に最大限割り当てることが可能になる。
本実施形態では、H/F切替ボタンに対する操作ごとにハンズフリー通話とハンドセット通話とを交互に切り替えることが可能な構成を示したが、必ずしもこれに限らない。例えば、H/F切替ボタンに対する操作によって、ハンドセット通話からハンズフリー通話への切り替えだけが可能な構成としてもよい。この場合には、通話終了時にハンズフリー通話プロトコルを終了する構成とすればよい。
また、H/F切替ボタンとはアイコンのデザインが異なる通話開始ボタンを独自生成画面中に表示させる構成としてもよい。通話開始ボタンについては、ハンドセット通話からハンズフリー通話への切り替えを指示するためだけのボタンとして、ハンズフリー通話とハンドセット通話とを交互に切り替えるH/F切替ボタンの代わりに表示させる構成としてもよいし、当該H/F切替ボタンと同時に表示させる構成としてもよい。他にも、当該H/F切替ボタンと同じ機能のボタンであって、アイコンのデザインだけが異なるものとする構成としてもよい。
(実施形態3)
以下では、実施形態3について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態3における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態3は、車両用装置2の制御装置29での処理が異なっている点を除けば、実施形態1と同様の構成である。
具体的には、実施形態3の制御装置29(以下、便宜上、制御装置29bとする)は、携帯電話機1から車両側通信部23で受信した携帯由来画像データの入力を受け付けた場合に、その携帯由来画像データに従った画像を生成して車両側表示部24に出力し、その携帯由来画像データに従った携帯画面を車両側表示部24の少なくとも一部の領域に表示させる。
さらに、制御装置29bは、接続されている携帯電話機1が着信状態となった場合に、携帯画面の表示に切り替えて、自装置で独自に生成した独自生成画面を車両側表示部24に表示させる。制御装置29bは、この独自生成画面に、ハンズフリー通話への切り替えを指示するためのボタンのアイコン(以下、H/F切替ボタン)も表示させる。
また、独自生成画面は、図17に示すように、H/F切替ボタンが表示される領域以外については、携帯画面を透過表示する構成としてもよい。なお、図17中のCが携帯画面、Dが独自生成画面、EがH/F切替ボタンを示している。また、H/F切替ボタンは実施形態1と同様に携帯画面上の通話開始ボタンと異なるデザインとしても良いし、類似のデザインとしてもよい。
制御装置29bは、携帯電話機1が着信状態となったことを、携帯電話機1から前述の着信状態通知を受信したことをもとに検出する構成とすればよい。よって、制御装置29bが請求項の車両側生成画面表示手段および着信状態検出手段に相当する。
また、制御装置29bは、実施形態1および2のハンズフリー通話切替関連処理と同様にして、独自生成画面上のH/F切替ボタンが操作されたか否かを判定し、H/F切替ボタンが操作されたと判定した場合にハンズフリー通話を開始する。よって、制御装置29bが請求項のハンズフリー切替操作検出手段に相当する。また、H/F切替ボタンが含まれる独自生成画面が請求項のハンズフリー切替画面に相当する。
続いて、図13を用いて、携帯電話機1での電話の着信時にハンズフリー通話への切り替えを行ってからハンドセット通話に切り替えを行うまでの携帯電話機1と車両用装置2との間での情報のやり取りについての説明を行う。なお、図13中の1重線の矢印がBT通信での情報の流れを示しており、2重線の矢印がUSB通信での情報の流れを示している。
ここでは、車両用タッチパネルの画面上に表示されたH/F切替ボタンおよび後述のH/S切替ボタンが操作されるものとして説明を行う。また、携帯電話機1は、電話の着信時に、通話機能に関するアプリケーション以外のアプリケーションに従った画面(以下、アプリ画面)を表示していた場合には、通話の開始後に着信画面からアプリ画面に復帰するものとして説明を行う。アプリ画面には、例えばナビゲーション機能における地図画面などがある。
まず、携帯電話機1のタッチパネル部16にアプリ画面を表示している場合(t41)には、このアプリ画面の画像データをUSB通信によって携帯電話機1から車両用装置2へ送信する(t42)。車両用装置2では、この画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様のアプリ画面を車両用タッチパネルに表示する(t43)。
続いて、携帯電話機1で電話の着信があった場合(t44)には、着信状態通知をBT通信によって携帯電話機1から車両用装置2へ送信する(t45)。携帯電話機1で電話の着信があった場合には、携帯電話機1のタッチパネル部16に着信画面を表示し(t46)、この着信画面の画像データをUSB通信によって携帯電話機1から車両用装置2へ送信する(t47)。
車両用装置2では、この画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様の着信画面を車両用タッチパネルに表示する(t48)。また、車両用装置2では、着信状態通知を受信したことをもとに、着信画面(つまり、携帯画面)の表示から、H/F切替ボタンが含まれる独自生成画面の表示に切り替える(t49)。
ここで、図14を用いて、車両用タッチパネルの表示の切り替わりの一例についての説明を行う。図14のC1が携帯画面としてのアプリ画面を示しており、C2が携帯画面としての着信画面を示しており、Dが独自生成画面を示している。また、I、J、Kが車両用タッチパネルの表示領域を示している。なお、ここでは、携帯画面の表示中も携帯画面の周囲に独自生成画面が表示される場合を例に挙げて説明を行う。
まず、携帯電話機1が電話を着信しておらず、アプリ画面を表示している場合には、図14のIに示すように、車両用装置2の車両用タッチパネルにもアプリ画面が表示されることになる。続いて、携帯電話機1で電話の着信があり、着信画面を表示した場合には、図14のJに示すように、車両用装置2の車両用タッチパネルにも着信画面が表示されることになる。その後、車両用装置2では、着信状態通知を受信したことをもとに、着信画面に替えて、H/F切替ボタンが含まれる独自生成画面(以下、ハンズフリー切替画面)を、車両用タッチパネルの表示領域の全域にわたって表示する(図14のK参照)。
図13に戻って、ハンズフリー切替画面中のH/F切替ボタンがユーザに操作された場合(t50)に、ハンズフリー切替要求をBT通信によって携帯電話機1から車両用装置2へ送信する(t51)。そして、ハンズフリー通話プロファイルで携帯電話機1との間を接続して、車両用装置2をハンズフリー通話に切り替える(t52)。また、ハンズフリー切替要求を受信した携帯電話機1もハンズフリー通話に切り替える(t53)。よって、制御装置29bが請求項の車両側通話切替手段に相当する。
続いて、携帯電話機1は、ハンズフリー通話が開始されると、着信時に実行中だったアプリケーションの画面(つまり、アプリ画面)の表示を再開(t54)し、このアプリ画面の画像データをUSB通信によって携帯電話機1から車両用装置2へ送信する(t55)。車両用装置2では、この画像データをもとに、携帯電話機1のタッチパネル部16に表示されるのと同様のアプリ画面を車両用タッチパネルに表示することで、アプリ画面の表示を再開する(t56)。よって、制御装置29bが請求項の携帯画面切替手段に相当する。
これによれば、アプリ画面の表示に戻すことで、ハンズフリー通話中であっても、通話以外の任意のアプリを作動させることが可能となる。
なお、t54で携帯電話機1が着信画面を閉じてアプリ画面を再開する方法は、自動で再開する方法と手動で再開する方法がある。自動で再開する方法としては、携帯電話機1が車両用装置2から通話開始要求又はハンズフリー切替要求を受信したことに基づいて、自動で着信画面を閉じてアプリ画面を再開する方法がある。また、手動で再開する方法としては、ユーザーが携帯電話機1のタッチパネル部16への操作入力によって、着信画面を閉じてアプリ画面を起動する方法がある。
また、車両用装置2は、表示を再開したアプリ画面に、ハンドセット通話への切り替えを指示するためのボタンのアイコン(以下、H/S切替ボタン)を重畳表示させる。詳しくは、制御装置29bが、H/S切替ボタンの画像を生成してアプリ画面に重畳して表示させる。よって、制御装置29bが請求項の重畳表示手段に相当する。
なお、H/S切替ボタンは、表示を再開したアプリ画面に重畳表示させる構成に限らず、アプリ画面の周囲に表示させる独自生成画面中に表示させる構成としてもよい。また、ハンズフリー通話開始時にハンズフリー切替画面からアプリ画面へ切り替えない構成とする場合には、このハンズフリー切替画面中にH/S切替ボタンを表示させる構成としてもよい。
車両用装置2では、表示されたH/S切替ボタンが操作された場合(t58)に、ハンドセット切替要求をBT通信によって車両用装置2から携帯電話機1へ送信する(t59)。車両用装置2の制御装置29bは、操作入力部25から入力される位置情報をもとに特定した操作領域と、H/S切替ボタンが表示されている領域とが一致するか否かを判断し、一致すると判断した場合に、H/S切替ボタンが操作されたことを検出するものとする。よって、制御装置29bが請求項のハンドセット切替操作検出手段に相当する。
続いて、ハンズフリー通話プロファイルを終了して、車両用装置2をハンドセット通話に切り替える(t60)。また、ハンドセット切替要求を受信した携帯電話機1もハンドセット通話に切り替える(t61)。
なお、図13の例では、携帯電話機1が着信状態となったことを制御装置29bで検出した場合に、携帯画面に替えてハンズフリー切替画面を表示する構成を示したが、必ずしもこれに限らない。例えば通話状態となったことを制御装置29bで検出した場合に、携帯画面に替えてハンズフリー切替画面を表示する構成としてもよい。携帯電話機1が通話状態となったことは、その携帯電話機1から通話状態通知を受信したことをもとにして制御装置29bが検出する構成とすればよい。よって、制御装置29bが請求項の通話状態検出手段に相当する。
電話の着信時や通話開始時に携帯画面から切り替えられる独自生成画面中のH/F切替ボタンは、携帯画面に存在しない、車両用装置2に独自のボタンである。よって、独自生成画面中のH/F切替ボタンが表示されている領域に対するタッチ操作を操作入力部25で検出したことをもって、ハンズフリー通話への切り替えが必要であることを容易に判断できる。従って、本実施形態の構成によっても、車両用装置2側でハンズフリー通話への切り替えの必要性を判断してハンズフリー通話に切り替えを行うことが可能になる。
さらに、本実施形態の構成によれば、ハンズフリー通話への切り替えが行われた場合にも、車両用ディスプレイの画面に表示させたH/S切替ボタンを操作すれば、ハンドセット通話へ切り替えることができる。よって、ユーザの意図に反してハンズフリー通話となった場合にも、ハンズフリー通話を容易に中止することができる。
また、車両用装置2が複数の携帯電話機1と通信によって接続できるものであって、複数の携帯電話機1とハンズフリー通話を行うためのハンズフリー通信方法によって接続される場合には、以下のような構成としてもよい。ここでは、携帯電話機1と車両用装置2とが、ハンズフリー通話への切り替えの制御に関連する情報の送受信とターミナルモード接続中の画像データや位置情報の送受信との両方をBT通信によって行う場合を例に挙げて説明を行う。
車両用装置2と複数の携帯電話機1とは、複数の機器と同時に同じプロファイルで接続されるマルチポイント接続がされているものとする。また、車両用装置2と各携帯電話機1とのBT通信のペアリング処理時に、各携帯電話機1を特定するための情報(例えば機器IDとする)と各携帯電話機1の機種情報とが制御装置29bで登録されるものとする。なお、機種情報の他にも例えば携帯電話機1のユーザ名を登録する構成としてもよい。
例えば、制御装置29bが、車両用ディスプレイに携帯画面が表示されている(つまり、ターミナルモードで接続中の)携帯電話機1が着信状態や通話状態となったことを検出した場合にのみ、ハンズフリー切替画面への表示の切り替えを行う構成としてもよい。なお、制御装置29bでの個々の携帯電話機1および個々の携帯電話機1の信号(機器IDが付加されて送信されるものとする)の特定は、ペアリング処理時に登録した機器IDをもとに行う構成とすればよい。
前述したように、ターミナルモードで接続中の携帯電話機1は、車両の運転手の携帯電話機1である可能性が高い。よって、以上のような構成とすることで、車両の運転手の携帯電話機1である可能性が高い携帯電話機1以外の携帯電話機1や、ターミナルモードで接続中でない運転手の携帯電話機1でのハンズフリー通話を制限することができる。
なお、ターミナルモードで接続中でない携帯電話機1が着信状態や通話状態となったことを検出した場合には、制御装置29bがその携帯電話機1を特定し、その携帯電話機1の機種名やユーザ名を、携帯画面に重畳表示させたり、独自生成画面中に表示させたりする構成とすればよい。
個々の携帯電話機1の特定は、前述したように、ペアリング処理時に登録した機器IDをもとに制御装置29bで行う構成とすればよい。よって、制御装置29bが請求項の特定手段に相当する。また、携帯電話機1の機種名やユーザ名については、ペアリング処理時に登録した機種名やユーザ名を用いる構成とすればよい。なお、表示以外にも、制御装置29bが車両側音声出力部27から音声出力させることで通知を行わせる構成としてもよい。よって、制御装置29bが請求項の通知手段に相当する。
また、マルチポイント接続されている携帯電話機1については、車両用ディスプレイに携帯画面が表示されていない(つまり、ターミナルモードで接続中でない)携帯電話機1についても、H/F切替ボタンが含まれる独自生成画面への表示の切り替えを行う構成としてもよい。なお、制御装置29bでの個々の携帯電話機1の特定は、ペアリング処理時に登録した機器IDをもとに行う構成とすればよい。
これによれば、車両の運転手の携帯電話機1である可能性が高い携帯電話機1以外の携帯電話機1や、車両用ディスプレイに携帯画面が表示されていない運転手の携帯電話機1でもハンズフリー通話を行うことが可能になる。
また、本実施形態では、接続中の携帯電話機1が着信状態や通話状態となったことを検出した場合に、携帯画面からハンズフリー切替画面への表示の切り替えを行う構成を示したが、必ずしもこれに限らない。例えば、接続中の携帯電話機1が着信状態や通話状態となったことを検出した場合に、携帯画面にハンズフリー切替画面を重畳表示させる構成(変形例2)としてもよい。
変形例2においては、接続中の携帯電話機1が着信状態や通話状態となったことを制御装置29bで検出した場合に、H/F切替ボタンを含む独自生成画面(つまり、ハンズフリー切替画面)を制御装置29bが生成し、携帯画面に重畳表示させるものとする。携帯画面にハンズフリー切替画面を重畳表示させる場合には、携帯画面の一部に重畳表示させる、所謂ポップアップ表示を行わせることが好ましい。これによれば、携帯画面とハンズフリー切替画面とを車両用ディスプレイ上に同時に表示することができる。
なお、変形例2は、携帯画面からハンズフリー切替画面への表示の切り替えを行う代わりに、携帯画面にハンズフリー切替画面を重畳表示させる点を除けば、実施形態3と同様の構成であるものとする。
また、制御装置29bは、携帯画面の一部に重畳表示させるハンズフリー切替画面を、当該ハンズフリー切替画面に対するユーザの操作に従って移動や拡大縮小させる。一例としては、ハンズフリー切替画面に対して、タッチ操作を行ったまま操作位置をスライドさせるスライド操作が行われたことを検出した場合に、スライド操作が行われた方向にハンズフリー切替画面を移動させる。スライド操作の検出は、操作入力部25を介して制御装置29bが行うものとする。
他にも、ハンズフリー切替画面に対して、2箇所のタッチ操作を行ったまま各操作位置の間隔を狭める方向にスライドさせるピンチイン操作が行われたことを検出した場合に、ハンズフリー切替画面を縮小させる。また、ハンズフリー切替画面に対して、2箇所のタッチ操作を行ったまま各操作位置の間隔を拡げる方向にスライドさせるピンチアウト操作が行われたことを検出した場合に、ハンズフリー切替画面を拡大させる。ピンチイン操作およびピンチアウト操作の検出についても、操作入力部25を介して制御装置29bが行うものとする。
これによれば、ハンズフリー切替画面を車両用ディスプレイの表示領域上の任意の場所に移動したり、縮小したりすることによって、携帯画面の視認性を向上させることが可能になる。
(実施形態4)
以下では、実施形態4について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態4における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態4は、車両用装置2の制御装置29での処理が異なっている点を除けば、実施形態1と同様の構成である。
具体的には、実施形態4の制御装置29(以下、便宜上、制御装置29cとする)は、接続されている携帯電話機1が通話状態となった場合に、ハンズフリー通話への切り替えの要否をユーザに問い合わせ、切り替えを必要とする旨を指示する操作入力(以下、切替指示操作入力)を操作入力部25で受け付けたときにハンズフリー通話へ切り替える。
なお、制御装置29cは、携帯電話機1のタッチパネル部16に表示される通話開始ボタンの操作によって通話状態となったか、車両用タッチパネルの携帯画面中の通話開始ボタンの操作によって通話状態となったかは区別せずに処理を行うものとする。
制御装置29cは、携帯電話機1が通話状態となったことを、携帯電話機1から前述の通話状態通知を受信したことをもとに検出する構成とすればよい。よって、制御装置29cが請求項の通話状態検出手段に相当する。また、制御装置29cは、ハンズフリー通話への切り替えの要否の問い合わせを、車両用タッチパネルへの表示によって行ってもよいし、車両側音声出力部27からの音声出力によって行ってもよい。
なお、操作入力部25は、タッチ操作による切替指示操作入力を受け付けるタッチスイッチであってもよいし、音声コマンドによる切替指示操作入力を受け付ける音声認識装置であってもよい。
また、制御装置29cは、ハンズフリー通話への切り替えの制御に関連する処理(以下、ハンズフリー通話切替関連処理)を実行する。ここで、図15を用いて、制御装置29cでのハンズフリー通話切替関連処理のフローについての説明を行う。図15は、制御装置29cでのハンズフリー通話切替関連処理のフローを示すフローチャートである。本フローは、車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
まず、ステップS31では、ターミナルモードで接続中の携帯電話機1から通話状態通知を受信した場合に、通話状態を検出したものとして(ステップS31でYES)、ステップS32に移る。また、ターミナルモードで接続中の携帯電話機1から通話状態通知を受信していない場合には、通話状態を検出していないものとして(ステップS31でNO)、ステップS31のフローを繰り返す。
ステップS32では、要否問い合わせ処理を行って、ステップS33に移る。要否問い合わせ処理では、ハンズフリー通話への切り替えの要否をユーザに問い合わせる。一例としては、ハンズフリー通話への切り替えの要否をそれぞれ選択するための2つのボタンを、車両用タッチパネルの携帯画面に重畳表示させる。例えば2つのボタンは、切り替えを必要とする「必要ボタン」と、切り替えを不要とする「不要ボタン」とする。なお、自装置で独自に生成した独自生成画面中にこれらのボタンを表示させる構成としてもよい。
ステップS33では、ハンズフリー通話への切り替えの要否を判定する。例えば、上述した「必要ボタン」の表示される領域に対するタッチ操作を操作入力部25で検出した場合に、切り替え必要と判定する。一方、上述した「不要ボタン」の表示される領域に対するタッチ操作を操作入力部25で検出した場合に、切り替え不要と判定する。そして、切り替え必要と判定した場合(ステップS33でYES)には、ステップS34に移る。また、切り替え不要と判定した場合(ステップS33でNO)には、フローを終了する。
ステップS34では、ハンズフリー通話切替処理を実行してフローを終了する。ハンズフリー通話切替処理では、BT通信部21から携帯電話機1にハンズフリー通話への切替を要求するハンズフリー切替要求を送信し、ハンズフリー通話プロファイルで携帯電話機1との間を接続して、車両用装置2でハンズフリー通話を開始する。よって、制御装置29cが請求項の車両側通話切替手段に相当する。
また、車両用装置2が複数の携帯電話機1と通信によって接続できるものであって、複数の携帯電話機1とハンズフリー通話を行うためのハンズフリー通信方法によって接続されている場合には、以下のような構成としてもよい。ここでは、携帯電話機1と車両用装置2とが、ハンズフリー通話への切り替えの制御に関連する情報の送受信とターミナルモード接続中の画像データや位置情報の送受信との両方をBT通信によって行う場合を例に挙げて説明を行う。
車両用装置2と複数の携帯電話機1とは、複数の機器と同時に同じプロファイルで接続されるマルチポイント接続がされているものとする。また、車両用装置2と各携帯電話機1とのBT通信のペアリング処理時に、各携帯電話機1を特定するための情報(例えば機器IDとする)と各携帯電話機1の機種情報とが制御装置29cで登録されるものとする。なお、機種情報の他にも例えば携帯電話機1のユーザ名を登録する構成としてもよい。
例えば、制御装置29cが、車両用ディスプレイに携帯画面が表示されている(つまり、ターミナルモードで接続中の)携帯電話機1が通話状態となったことを検出した場合にのみ、ハンズフリー通話への切り替えを可能とする構成としてもよい。なお、制御装置29cでの個々の携帯電話機1および個々の携帯電話機1の信号(機器IDが付加されて送信されるものとする)の特定は、ペアリング処理時に登録した機器IDをもとに行う構成とすればよい。
詳しくは、制御装置29cが、ターミナルモードで接続中の携帯電話機1が通話状態となったことを検出した場合にのみ、ハンズフリー通話の要否を問い合わせる。そして、切り替えを必要とする旨を指示する操作入力を受け付けたときに、ターミナルモードで接続中の携帯電話機1についてのハンズフリー通話を開始する。なお、ターミナルモードで接続中でない携帯電話機1が通話状態となったことを検出した場合には、その携帯電話機1についてのハンズフリー通話は許可しないものとする。
前述したように、ターミナルモードで接続中の携帯電話機1は、車両の運転手の携帯電話機1である可能性が高い。よって、以上のような構成とすることで、車両の運転手の携帯電話機1である可能性が高い携帯電話機1以外の携帯電話機1や、ターミナルモードで接続中でない運転手の携帯電話機1でのハンズフリー通話を制限することができる。
また、マルチポイント接続されている携帯電話機1については、車両用ディスプレイに携帯画面が表示されていない(つまり、ターミナルモードで接続中でない)携帯電話機1についても、ハンズフリー通話への切り替えを可能とする構成としてもよい。なお、制御装置29cでの個々の携帯電話機1の特定は、ペアリング処理時に登録した機器IDをもとに行う構成とすればよい。
詳しくは、制御装置29cが、ターミナルモードで接続中でない携帯電話機1が通話状態となったことを検出した場合にも、ハンズフリー通話の要否を問い合わせる。そして、切り替えを必要とする旨を指示する操作入力を操作入力部25で受け付けたときに、通話状態となったことを検出した携帯電話機1についてのハンズフリー通話を開始する。
なお、ハンズフリー通話の要否の問い合わせ、および切り替えを必要とする旨を指示する操作入力の受け付けについては、前述したのと同様にして行う構成とすればよい。よって、制御装置29cが請求項の問い合わせ手段に相当し、操作入力部25が請求項の要否指示受付手段に相当する。
これによれば、車両の運転手の携帯電話機1である可能性が高い携帯電話機1以外の携帯電話機1や、車両用ディスプレイに携帯画面が表示されていない運転手の携帯電話機1でもハンズフリー通話を行うことが可能になる。
なお、ハンズフリー通話を開始した場合に、車両用タッチパネルの画面にハンドセット通話への切り替えを指示するためのボタンのアイコン(以下、H/S切替ボタン)を重畳表示させ、H/S切替ボタンが操作されたときにハンズフリー通話からハンドセット通話に切り替える構成としてもよい。
本実施形態では、接続されている携帯電話機1が通話状態となった場合に、ハンズフリー通話への切り替えの要否をユーザに問い合わせる構成を示したが、必ずしもこれに限らない。例えば、接続されている携帯電話機1が通話状態となった場合に、ハンズフリー通話への切り替えの要否をユーザに問い合わせず、当該携帯電話機1についてのハンズフリー通話を自動的に開始する構成としてもよい。
また、本実施形態では、接続されている携帯電話機1が通話状態となった場合の対応動作を予め設定可能とする構成としてもよい。対応動作の設定は、例えば操作入力部25を介してユーザからの操作入力に従って行う構成とすればよい。
例えば、H/F切替ボタンによる操作指示によりハンズフリー通話を開始するか否かを問い合わせる画面を制御装置29cが車両ディスプレイに表示させることなく、自動的にハンズフリー通話へ切替える設定を行う構成としてもよい。
他にも、H/F切替ボタンによる操作指示によりハンズフリー通話を開始するか否かを問い合わせる画面を制御装置29cが車両ディスプレイに表示し、ハンズフリー通話への切り替えを要する旨のユーザからの操作入力を受け付けた場合に、自動的にハンズフリー通話に切り替える設定を行う構成としてもよい。なお、ハンズフリー通話への切り替えを要する旨のユーザからの操作入力は、例えば操作入力部25を介して制御装置29cが受け付ける構成とすればよい。
(実施形態5)
前述の実施形態1〜4では、車両用装置2側でハンズフリー通話への切り替えの必要性を判断してハンズフリー通話に切り替えを行う構成を示したが、必ずしもこれに限らない。例えば、次の実施形態5のように、携帯電話機1側でハンズフリー通話への切り替えの必要性を判断してハンズフリー通話に切り替えを行う構成としてもよい。
以下では、実施形態5について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態5における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態5は、車両用装置2の制御装置29での処理および携帯電話機1の主制御部19での処理が異なっている点を除けば、実施形態1と同様の構成である。
具体的には、実施形態5の制御装置29(以下、便宜上、制御装置29dとする)では、通話開始ボタン操作判定処理を行わず、車両用タッチパネルの携帯画面上の通話開始ボタンが操作された場合には、その操作位置に対応する操作対象領域の座標を示す信号を携帯電話機1に送信する。
実施形態5の携帯電話機1の主制御部19(以下、便宜上、主制御部19aとする)は、ハンズフリー通話への切り替えの制御に関連する処理(以下、ハンズフリー通話切替関連処理)を実行する。ここで、図16を用いて、主制御部19aでのハンズフリー通話切替関連処理のフローについての説明を行う。図16は、主制御部19aでのハンズフリー通話切替関連処理のフローを示すフローチャートである。本フローは、携帯電話機1が車両用装置2とターミナルモード接続されたときに開始される。
まず、ステップS41では、携帯電話機1が通話状態となった場合(ステップS41でYES)、ステップS42に移る。また、携帯電話機1が通話状態となっていない場合(ステップS41でNO)には、ステップS41のフローを繰り返す。
ステップS42では、操作入力識別処理を行って、ステップS43に移る。操作入力識別処理では、自機器に対するユーザの操作入力によって通話状態となったのか、車両用装置2の車両用ディスプレイに対するユーザの押下操作をもとに通話状態となったのかを識別する。よって、主制御部19aが請求項の識別手段に相当する。
詳しくは、タッチパネル部16の画面中の通話開始ボタンが操作されたとの判断に用いた位置情報(操作が検出された位置の位置情報)が、操作検出部15から入力された位置情報であった場合には、自機器に対するユーザの操作入力によって通話状態となったと識別する。一方、携帯側通信部13(例えばUSB通信部12)から入力された位置情報(車両用装置2から入力された位置情報)であった場合には、車両用装置2の車両用ディスプレイに対するユーザの押下操作をもとに通話状態となったと識別する。
ステップS43では、自機器に対するユーザの操作入力によって通話状態となった(つまり、自機器入力)と識別した場合(ステップS43でYES)には、フローを終了する。また、車両用装置2の車両用ディスプレイに対するユーザの押下操作をもとに通話状態となったと識別した場合(ステップS43でNO)には、ステップS44に移る。
ステップS44では、ハンズフリー通話切替処理を実行してフローを終了する。ハンズフリー通話切替処理では、BT通信部11から車両用装置2にハンズフリー通話への切替を要求するハンズフリー切替要求を送信し、携帯電話機1でハンズフリー通話を開始する。よって、主制御部19aが請求項の携帯側通話切替手段に相当する。ハンズフリー切替要求を受信した車両用装置2でも、この要求に従ってハンズフリー通話が開始される。
なお、制御装置29a・29b・29cは、ハンズフリー通話からハンドセット通話に切り替える場合に、ハンズフリー通話プロトコルを終了して切り替える構成としてもよい。また、ハンズフリー通話プロトコルを終了させずに、音声を入出力する経路(音声経路)を切り替えることでハンズフリー通話からハンドセット通話に切り替える構成としてもよい。
詳しくは、ハンズフリー通話プロトコルを終了させずに切り替える場合には、車両側音声入力部26に入力された音声データを携帯電話機1に送信していた経路を、送信しない経路にスイッチ回路等の物理的なスイッチによって切り替える。また、携帯電話機1から受信した音声データを車両側音声出力部27から出力していた経路を、出力しない経路にスイッチ回路等の物理的なスイッチによって切り替える。これにより、携帯電話機1を中継して公衆回線と車両用装置2とで音声データをやり取りしていた音声経路を、携帯電話機1と公衆回線とで音声データをやり取りする音声経路に切り替える。つまり、携帯側音声入力部17に入力された音声データを公衆回線に送信し、公衆回線から受信した音声データを携帯側音声出力部18から出力する音声経路に切り替える。
また、ステップS44では、ハンズフリー切替要求を携帯電話機1から車両用装置2へ送信せずに、通話音声信号を送信する構成としてもよい。この場合には、車両用装置2(詳しくは制御装置29)が、通話音声信号(通話音声データ)を受信したことに基づいてハンズフリー通話を開始する構成とすればよい。
(実施形態6)
前述の実施形態1では、車両用タッチパネルのタッチ操作から所定時間以内の通話開始をハンズフリー通話への切り替えの判断条件としていたが、本実施形態(以下、実施形態6)のように、携帯電話機1から通話音声データを受信したか否かも判断条件とする構成としてもよい。
以下では、実施形態6について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態6における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態6は、車両用装置2の制御装置29でのハンズフリー通話切替関連処理の一部が異なっている点を除けば、実施形態1と同様の構成である。
ここで、図18に示すフローチャートを用いて、実施形態6における制御装置29(以下、便宜上、制御装置29dとする)でのハンズフリー通話切替関連処理について説明を行う。本フローは、例えば車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
まず、ステップS51では、携帯電話機1から音声データを受信したか否かを判定する。音声データを受信したことは、車両側通信部23が携帯電話機1から受信した音声データが制御装置29dに入力されたことをもとに判定する構成とすればよい。そして、音声データを受信したと判定した場合(ステップS51でYES)には、ステップS52に移る。また、音声データを受信したと判定しなかった場合(ステップS51でNO)には、ステップS55に移る。
ステップS52では、携帯電話機1から受信した音声データが通話音声データであるかを判断するため、携帯電話機1の呼状態の検出を行って、ステップS53に移る。呼状態とは、携帯電話機の呼制御における状態を示すものである。
携帯電話機1の呼状態は、BT通信のハンズフリー通話プロファイル(HFP)を使用して検出する構成とすればよい。携帯電話機1の呼状態の変更時に、携帯電話機1から自動的に呼状態の通知が行われる構成となっている場合には、携帯電話機1から通知された呼状態に基づいて、携帯電話機1の呼状態を検出する構成とすればよい。
または、HFPでは、携帯電話機の呼状態を確認するためのコマンドとしてATコマンド+CIEVがあり、当該コマンドを判別することにより、着信(着呼、着呼受付)、発信(発呼受付)、呼出(呼出通知、呼出中)、通話中(通信中)、および回線切断(切断要求、切断通知)、待受け(所謂「空」の状態)等の複数の呼状態を検出することができる(特開2007−143119号公報参照)。
また、携帯電話機1の呼状態を検出する方法の別例としては、携帯電話機1から受信する画像データに関する属性データを使用する方法もある。つまり、画像データを受信するのと同時に、属性データとして、例えば、アプリケーションのID、バージョン、画面の種類、画面のタイトル、画像のサイズなどが取得できる場合には、例えば、画面のタイトルに、発信、呼出、着信といった呼状態に関するテキストが含まれることに基づいて、呼状態を判断してもよい。
なお、前述および後述の実施形態における通話状態や着信状態の検出を、上述した呼状態によって行う構成としてもよい。
ステップS53では、通話中であることを検出できた場合(ステップS53でYES)には、携帯電話機1から受信した音声データが通話音声データであるものと判断して、ステップS54に移る。また、通話中であることを検出できなかった場合(ステップS53でNO)には、携帯電話機1から受信した音声データが通話音声データでないものと判断して、ステップS51に戻ってフローを繰り返す。
ステップS54では、車両用装置2のスピーカ(つまり、車両側音声出力部27)やマイク(つまり、車両側音声入力部26)の入出力経路(音声の入出力経路)を変更することにより、ナビゲーション、オーディオ、音声認識などハンズフリー通話以外の用途からハンズフリー通話の用途へ車両用装置2のスピーカやマイクの用途を変更する。
なお、ステップS51の処理において、BT通信のハンズフリー通話プロファイル(HFP)を使用して携帯電話機1から音声データを受信した場合には、HFP上で通信される音声データは通話音声データであることがBT規格上明らかである。これは、音楽データなど通話音声データ以外の音声データは、通常、A2DPなどのHFP以外のプロファイルを使用して通信されるためである。従って、HFPを使用して携帯電話機1から音声データを受信した場合には、続くステップS52〜ステップS53の処理を省略し、ステップS54の処理によってハンズフリー通話を行う構成としてもよい。
また、ステップS51の処理で音声データを受信したと判定しなかった場合のステップS55〜ステップS59までの処理は、実施形態1におけるステップS1〜ステップS2、ステップS5〜ステップS7の処理と同様の処理を行うものとする。
簡単に説明を行うと、ステップS55では、タッチ操作検出判定処理を行ってステップS56に移る。ステップS56では、タッチ操作ありの場合(ステップS56でYES)には、ステップS57に移り、タッチ操作なしの場合(ステップS56でNO)には、ステップS51に戻ってフローを繰り返す。
ステップS57では、通話待ちタイマセット処理を行ってステップS58に移る。ステップS58では、時間内通話開始判定処理を実行してステップS59に移る。ステップS59では、所定時間内の通話開始検出と判定した場合(ステップS59でYES)には、ステップS60に移り、所定時間内の通話開始検出と判定しなかった場合(ステップS59でNO)には、ステップS51に戻ってフローを繰り返す。
ステップS60では、BT通信部21から携帯電話機1にハンズフリー通話への切替を要求するハンズフリー切替要求を送信させて、ステップS54に移る。
以上のステップS51〜ステップS54の一連の処理を行うことにより、特に欧州で多く見られる、HFP接続中の場合は通話開始と同時に音声パスを開き、音声データを車両用装置へ送信する仕様の携帯電話機1に対しては、通話音声データを受信したことを条件にして車両用装置2側でハンズフリー通話への切り替えの必要性を判断し、ハンズフリー通話に切り替えを行うことができる。なお、携帯電話機1側では、既にハンズフリー通話可能な状態となっているので、車両用装置2側から携帯電話機1へハンズフリー切替要求は送信しない。
また、特に北米や日本で多く見られるような、HFP接続中の場合に通話開始と同時に音声パスを開いて音声データを車両用装置に送信することのない仕様の携帯電話機に対しては、以上のステップS55〜ステップS60の一連の処理を行うことにより、車両用タッチパネルのタッチ操作に続く所定時間以内の通話開始を条件にして車両用装置側でハンズフリー通話への切り替えの必要性を判断し、ハンズフリー通話を行うことができる。
以下では、図19および図20を用いて、実施形態6におけるハンズフリー通話切替関連処理の概要の説明を行う。なお、図19および図20中のCが車両用タッチパネル上の携帯画面、Dが独自生成画面、Bが携帯画面上の通話開始ボタンを示している。また、Lが携帯電話機1における携帯画面、Mが携帯電話機1の携帯画面における通話開始ボタンを示している。
図19は、携帯電話機1から通話音声データが送信される場合を示す図であり、この場合、車両用装置2は車両用タッチパネルに対するタッチ操作の有無を判定することなく、ハンズフリー通話を行う。
図20は、携帯電話機1から通話音声データが送信されない場合を示す図であり、この場合、車両用装置2は車両用タッチパネルに対するタッチ操作から所定時間内に通話開始したことを条件に、ハンズフリー通話を行う。この際、車両用装置2は携帯電話機1へハンズフリー切替要求を送信する。
本実施形態の構成によれば、携帯電話機1から通話音声データを受信した場合は、実施形態1のようなハンズフリー切替え判断処理を行うことなく、ハンズフリー通話を行う。一方で、通話音声データを受信しない場合は、実施形態1と同様のハンズフリー切替え判断処理を行った上、ハンズフリー通話が必要と判断される場合に、ハンズフリー通話を行う。よって、接続される携帯電話機1の種類に応じて適切にハンズフリー通話を行うことが可能になる。
(実施形態7)
前述の実施形態6では、携帯電話機1から通話音声データを受信しなかった場合に車両用タッチパネルのタッチ操作から所定時間以内の通話開始をハンズフリー通話への切り替えの判断条件としていたが、本実施形態(以下、実施形態7)のように、タッチ操作された領域が前述の独自生成画面上のH/F切替ボタンの領域か否か、携帯電話機1が着信状態となったか否かも判断条件とする構成としてもよい。
以下では、実施形態7について図面を用いて説明を行う。なお、説明の便宜上、前述の実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態7における機器連携システム100は、実施形態6と同様に携帯電話機1および車両用装置2を含んでいる。実施形態6は、車両用装置2の制御装置29でのハンズフリー通話切替関連処理の一部が異なっている点を除けば、実施形態6と同様の構成である。
ここで、図21に示すフローチャートを用いて、実施形態7における制御装置29(以下、便宜上、制御装置29eとする)でのハンズフリー通話切替関連処理について説明を行う。本フローは、例えば車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
まず、ステップS61〜ステップS64までの処理は、実施形態6におけるステップS51〜ステップS54までの処理と同様の処理である。簡単に説明を行うと、ステップS61では、携帯電話機1から音声データを受信したか否かを判定する。そして、音声データを受信したと判定した場合(ステップS61でYES)には、ステップS62に移り、音声データを受信したと判定しなかった場合(ステップS61でNO)には、ステップS65に移る。
ステップS62では、携帯電話機1の呼状態の検出を行って、ステップS63に移る。ステップS63では、通話中であることを検出できた場合(ステップS63でYES)には、携帯電話機1から受信した音声データが通話音声データであるものと判断して、ステップS64に移る。また、通話中であることを検出できなかった場合(ステップS63でNO)には、携帯電話機1から受信した音声データが通話音声データでないものと判断して、ステップS61に戻ってフローを繰り返す。
ステップS64では、車両用装置2のスピーカやマイクの入出力経路を変更することにより、ハンズフリー通話以外の用途からハンズフリー通話の用途へ車両用装置2のスピーカやマイクの用途を変更する。
また、ステップS61の処理で音声データを受信したと判定しなかった場合のステップS65〜ステップS66、ステップS68〜ステップS71までの処理は、実施形態6におけるステップS55〜ステップS60の処理と同様の処理を行うものとする。
簡単に説明を行うと、ステップS65では、タッチ操作検出判定処理を行ってステップS66に移る。ステップS66では、タッチ操作ありの場合(ステップS66でYES)には、ステップS67に移り、タッチ操作なしの場合(ステップS66でNO)には、ステップS61に戻ってフローを繰り返す。
ステップS67では、制御装置29eが、前述の実施形態2で説明したのと同様にして、携帯画面とは別に、自装置で独自に生成した独自生成画面を、車両側表示部24の携帯画面を表示させる領域以外の領域に表示させるとともに、この独自生成画面にH/F切替ボタンも表示させる。
そして、実施形態2のH/F切替ボタン操作判定処理と同様の処理を行い、独自生成画面上のH/F切替ボタン(つまり、独自生成ボタン)が操作されたと判定した場合(ステップS67でYES)には、ステップS71に移る。また、独自生成画面上のH/F切替ボタンが操作されていないと判定した場合(ステップS67でNO)には、ステップS68に移る。
本実施形態では、独自生成画面にH/F切替ボタンを表示し、独自生成画面上のH/F切替ボタンが操作されたか否かを判定する構成を示したが、必ずしもこれに限らない。例えばH/F切替ボタンとはアイコンのデザインが異なる通話開始ボタンを独自生成画面中に表示させる構成としてもよい。通話開始ボタンについては、ハンドセット通話からハンズフリー通話への切り替えを指示するためだけのボタンとして、ハンズフリー通話とハンドセット通話とを交互に切り替えるH/F切替ボタンの代わりに表示させる構成としてもよいし、当該H/F切替ボタンと同時に表示させる構成としてもよい。他にも、当該H/F切替ボタンと同じ機能のボタンであって、アイコンのデザインだけが異なるものとする構成としてもよい。
ステップS68では、通話待ちタイマセット処理を行ってステップS69に移る。ステップS69では、時間内通話開始判定処理を実行してステップS70に移る。ステップS70では、所定時間内の通話開始検出と判定した場合(ステップS70でYES)には、ステップS71に移り、所定時間内の通話開始検出と判定しなかった場合(ステップS70でNO)には、ステップS61に戻ってフローを繰り返す。
ステップS71では、BT通信部21から携帯電話機1にハンズフリー通話への切替を要求するハンズフリー切替要求を送信させて、ステップS64に移る。
ここでは、ハンズフリー通話への切り替えを指示する旨のユーザからの操作入力を受け付ける操作入力部25として、車両側表示部24に表示する画像と一体になったタッチスイッチを用いる構成を示したが、必ずしもこれに限らない。実施形態3で説明したように、メカニカルなスイッチや音声認識装置や近接スイッチやカメラなどを用いる構成としてもよい。なお、当該タッチスイッチは、言い換えるとH/F切替ボタンの画像により生成されるタッチスイッチである。
実施形態6で説明した、HFP接続中の場合に通話開始と同時に音声パスを開いて音声データを車両用装置に送信することのない仕様の携帯電話機に対して、以上のステップS67〜ステップS71までの一連の処理を行うことにより、独自生成画面上のH/F切替ボタンのタッチ操作を条件にして車両用装置側でハンズフリー通話への切り替えの必要性を判断し、ハンズフリー通話を行うことができる。
また、ステップS72では、接続されている携帯電話機1が着信状態となった場合(ステップS72でYES)には、ステップS73に移る。一方、携帯電話機1が着信状態となっていない場合(ステップS72でNO)には、ステップS61に戻ってフローを繰り返す。
ステップS73では、ハンズフリー通話への切り替えの要否をユーザへ問い合わせる。例えば、前述のH/F切替ボタンを車両用タッチパネルの携帯画面に重畳表示させることで、ハンズフリー通話への切り替えの要否をユーザへ問い合わせる構成とすればよい。
この場合、制御装置29eでは、H/F切替ボタンの表示される領域に対するタッチ操作を一定時間以内に操作入力部25で検出した場合に切り替えが必要と判定し、一定時間以内に検出しなかった場合に切り替えが不要と判定する構成とすればよい。
また、ハンズフリー通話への切り替えの要否を選択するためのボタンのアイコン(以下、H/F要否ボタン)を、車両用タッチパネルの携帯画面に重畳表示させることで、ハンズフリー通話への切り替えの要否をユーザへ問い合わせる構成としてもよい。
この場合にも、制御装置29eでは、H/F要否ボタンの表示される領域に対するタッチ操作を一定時間以内に操作入力部25で検出した場合に切り替えが必要と判定し、一定時間以内に検出しなかった場合に切り替えが不要と判定する構成とすればよい。
また、H/F要否ボタンとして、切り替えを必要とする「必要ボタン」と、切り替えを不要とする「不要ボタン」との2つのボタンを表示する構成としてもよい。この場合には、必要ボタンの表示される領域に対するタッチ操作を検出した場合に切り替えが必要と判定し、不要ボタンの表示される領域に対するタッチ操作を検出した場合に切り替えが不要と判定する構成とすればよい。
他にも、独自生成画面中にH/F切替ボタンやH/F要否ボタンを表示させる構成としてもよい。本実施形態では、H/F要否ボタンを携帯画面に重畳表示させる場合を例に挙げて説明を行う。なお、制御装置29eが請求項の要否指示ボタン画像表示手段に相当し、H/F切替ボタンやH/F要否ボタンが請求項の要否指示ボタンに相当する。
また、ハンズフリー通話への切り替えの要否を指示する旨のユーザからの操作入力を受け付ける操作入力部25として、実施形態3で説明したのと同様に、メカニカルなスイッチや音声認識装置や近接スイッチやカメラなどを用いる構成としてもよい。
ステップS74では、ハンズフリー通話への切り替えが必要と判定した場合(ステップS74でYES)には、ステップS71へ移る。一方、不要と判定した場合(ステップS74でNO)には、通話状態が回線切断または待ち受け状態となるのを待って、つまり、着信状態、または通話状態が終了するのを待ってから、ステップS61に戻ってフローを繰り返す。
HFP接続中の場合に通話開始と同時に音声パスを開いて音声データを車両用装置に送信することのない仕様の携帯電話機(実施形態6の説明参照)に対して、以上のステップS72〜ステップS74とそれに続くステップS71までの一連の処理を行うことにより、携帯電話機1が着信状態となったことを条件にして車両用装置側でハンズフリー通話への切り替えの必要性を判断し、ハンズフリー通話を行うことができる。
以下では、図19、図20、図22、および図23を用いて、実施形態7におけるハンズフリー通話切替関連処理の概要の説明を行う。なお、図22および図23中のCが車両用タッチパネル上の携帯画面、Dが独自生成画面、Lが携帯電話機1における携帯画面を示している。また、図22中のEが独自生成画面中のH/F切替ボタンを示している。そして、図23のNが携帯画面に重畳表示されたH/F要否ボタンを示している。
携帯電話機1から通話音声データが送信される場合、車両用装置2は車両用タッチパネルに対するタッチ操作の有無を判定することなく、ハンズフリー通話を行う(図19参照)。
携帯電話機1から通話音声データが送信されない場合であって、且つ、独自生成画面上のH/F切替ボタンが操作されなかった場合には、車両用装置2は車両用タッチパネルに対するタッチ操作から所定時間内に通話開始したことを条件に、ハンズフリー通話を行う。この際、車両用装置2は携帯電話機1へハンズフリー切替要求を送信する(図20参照)。
図22は、携帯電話機1から通話音声データが送信されない場合であって、且つ、独自生成画面上のH/F切替ボタンが操作される場合を示す図であり、この場合、車両用装置2は独自生成画面上のH/F切替ボタンが操作されたことを条件に、ハンズフリー通話を行う。この際、車両用装置2は携帯電話機1へハンズフリー切替要求を送信する。
図23は、携帯電話機1から通話音声データが送信されない場合であって、且つ、車両用タッチパネルに対するタッチ操作が検出されない場合において、携帯電話機1の着信状態を検出した場合について説明するための図である。この場合、車両用装置2は車両用タッチパネル上の携帯画面に重畳表示されたH/F要否ボタンが操作されたことを条件に、ハンズフリー通話を行う。この際、車両用装置2は携帯電話機1へハンズフリー切替要求を送信する。
(実施形態8)
前述の実施形態1では、車両用タッチパネルのタッチ操作から所定時間以内の通話開始をハンズフリー通話への切り替えの判断条件とする処理を示したが、本実施形態(以下、実施形態8)のように、携帯電話機1が着信中か発信中(または呼出中)かによって異なった処理を行う構成としてもよい。
例えば、携帯電話機1が着信中である場合には、着信中における車両用タッチパネルのタッチ操作から所定時間内の通話開始を判断条件に、ハンズフリー通話への切り替えを行う着信時処理を行う。一方、携帯電話機1が着信中でない場合には、タッチ操作から所定時間内の発信開始後、通話状態になるのを待ってハンズフリー通話への切り替えを行う発信時処理を行う。
以下では、実施形態8について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態8における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態8は、車両用装置2の制御装置29でのハンズフリー通話切替関連処理の一部が異なっている点を除けば、実施形態1と同様の構成である。
ここで、図24に示すフローチャートを用いて、実施形態8における制御装置29(以下、便宜上、制御装置29fとする)でのハンズフリー通話切替関連処理について説明を行う。本フローは、例えば車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
まず、ステップS81では、携帯電話機1の呼状態を検出し、ステップS82に移る。呼状態の検出については、例えば実施形態6で説明したのと同様にして行うものとする。本フローの以降の処理においても同様であるものとする。
ステップS82では、検出した呼状態が着信中であった場合(ステップS82でYES)には、ステップS83に移る。一方、検出した呼状態が着信中でなかった場合(ステップS82でNO)には、ステップS92に移る。よって、制御装置29fが請求項の着信中検出手段に相当する。
ステップS83では、ステップS1と同様にしてタッチ操作検出判定処理を行って、ステップS84に移る。ステップS84では、タッチ操作ありの場合(ステップS84でYES)には、ステップS85に移り、タッチ操作なしの場合(ステップS84でNO)には、ステップS90に移る。
ステップS85では、通話待ちのタイマ値を設定し、ステップS86に移る。例えば、3秒をタイマ値として設定する。ここでは、このタイマ値に基づいて、タッチ操作から3秒以内に通話開始されるかを監視することになる。ステップS86では、携帯電話機1の呼状態を検出し、上記監視を行う。
ステップS87では、監視の結果、タイマ値に設定された所定時間内に、携帯電話機1の呼状態が通話中となったことを検出した場合に、所定時間内に通話開始したと判断(ステップS87でYES)して、ステップS88に移る。一方、所定時間内に携帯電話機1の呼状態が通話中となったことを検出しなかった場合には、所定時間内に通話開始しなかったと判断(ステップS87でNO)して、フローを終了する。
なお、ステップS85〜ステップS86の処理の代わりに、前述のステップS5〜ステップS6の処理を行う構成としてもよい。そして、所定時間内の通話開始検出と判定した場合に、ステップS88に移り、所定時間内の通話開始検出と判定しなかった場合に、ステップS81に戻ってフローを繰り返す構成としてもよい。
ステップS88では、BT通信部21から携帯電話機1に前述のハンズフリー切替要求を送信させて、ステップS89に移る。ステップS89では、ステップS54と同様にして、車両用装置2における音声の入出力の経路を、ハンズフリー通話以外の用途からハンズフリー通話の用途へ変更する処理を行う。
また、ステップS84においてタッチ操作なしと判定した場合のステップS90では、携帯電話機1の呼状態を検出し、ステップS91に移る。ステップS91では、携帯電話機1の呼状態が回線切断または待受けの状態であった場合(ステップS91でYES)、つまり着信状態でなくなった場合には、フローを終了する。一方、回線切断および待受けのいずれの状態でなかった場合(ステップS91でNO)には、ステップS83に戻ってフローを繰り返す。なお、制御装置29fが請求項の切断状態検出手段に相当する。
以上のステップS82〜ステップS91の一連の処理が、携帯電話機1の着信時にハンズフリー通話を行うか否かを判断する前述の着信時処理となる。また、前述したように、着信時処理の途中で携帯電話機1の呼状態が回線切断または待受けの状態となった場合には、ハンズフリー通話への切り替えを行わずに着信時処理を終了することになる。
また、ステップS82において呼状態が着信中でなかった場合のステップS92では、ステップS1と同様にしてタッチ操作検出判定処理を行って、ステップS93に移る。ステップS93では、タッチ操作ありの場合(ステップS93でYES)には、ステップS94に移る。一方、タッチ操作なしの場合(ステップS93でNO)には、フローを終了する。
ステップS94では、ステップS85と同様にして、通話待ちのタイマ値を設定し、ステップS95に移る。例えば、3秒をタイマ値として設定する。ここでは、このタイマ値に基づいて、タッチ操作から3秒間以内に、発信中または呼出中になったかを監視することになる。ステップS95では、携帯電話機1の呼状態を検出し、上記監視を行う。よって、制御装置29fが請求項の発呼状態検出手段に相当する。
ステップS96では、監視の結果、タイマ値に設定された所定時間内に、携帯電話機1の呼状態が発信中または呼出中になった場合に、所定時間内に発信/呼出開始したと判断(ステップS96でYES)して、ステップS97に移る。一方、所定時間内に携帯電話機1の呼状態が発信中および呼出中のいずれにもならなかった場合には、所定時間内に発信/呼出開始しなかったと判断(ステップS96でNO)して、ステップS81に戻ってフローを繰り返す。
ステップS97では、携帯電話機1の呼状態を検出し、ステップS98に移る。ステップS98では、検出した呼状態が通話中であった場合(ステップS98でYES)には、ステップS88に移る。一方、検出した呼状態が通話中でなかった場合(ステップS98でNO)には、ステップS99に移る。
ステップS99では、携帯電話機1の呼状態を検出し、ステップS100に移る。ステップS100では、携帯電話機1の呼状態が回線切断または待ち受けの状態であった場合(ステップS100でYES)、つまり、発信中および呼出中のいずれの状態でもなくなった場合には、フローを終了する。一方、回線切断および待ち受けのいずれの状態でもなかった場合(ステップS100でNO)には、ステップS97に戻ってフローを繰り返す。
ステップS92〜ステップ100、およびステップ88〜ステップS89の一連の処理が、携帯電話機1の発信時または呼出時にハンズフリー通話を行うか否かを判断する前述の発信時処理となる。また、前述したように、発信時処理の途中で携帯電話機1の呼状態が回線切断または待受けの状態となった場合には、ハンズフリー通話への切り替えを行わずに発信時処理を終了することになる。
本実施形態によれば、携帯電話機1の発信時と着信時との特徴に合わせて適切にハンズフリー通話への切り替えの判断を行うことができる。詳しくは、以下の通りである。着信時には、すぐにユーザが通話開始できるとは限らない。特に自動車の運転中には、車両用タッチパネルを操作して通話開始する場合に、自動車を安全な場所に停車させる必要もあるため、着信時には、タッチ操作があるかを着信状態でなくなるまで監視し、タッチ操作があってから所定時間以内に通話開始されたことを判断条件に、ハンズフリー通話を開始する。
また、発信時や呼出時についても、通話相手がすぐに応答するとは限らないため、ユーザがすぐに通話開始できるとは限らない。そのため、車両用タッチパネルに対するタッチ操作があるかを常時監視し、タッチ操作があってから所定時間以内に発信または呼出が開始された後、通話相手が応答して通話開始されたことを判断条件に、ハンズフリー通話を開始する。
なお、本実施形態において、実施形態6に説明したのと同様にして、携帯電話機1から通話音声データを受信したか否かも判断条件とする構成としてもよい。詳しくは、前述のステップS81の処理の前に、前述のステップS51と同様にして、携帯電話機1から音声データを受信したか否かを判定する。
続いて、音声データを受信したと判定した場合には、前述のステップS53と同様にして、携帯電話機1から受信した音声データが通話音声データであるかを判定する。そして、通話音声データであると判定した場合には、ステップS54と同様にして、車両用装置2における音声の入出力の経路を、ハンズフリー通話以外の用途からハンズフリー通話の用途へ変更する処理を行って、ハンズフリー通話を開始する。一方、音声データを受信したと判定しなかった場合には、前述のステップS81に移って、前述した着信時処理や発信時処理を行う。
(実施形態9)
前述の実施形態1では、車両用タッチパネルのタッチ操作から所定時間以内の通話開始をハンズフリー通話への切り替えの判断条件とする処理を示したが、本実施形態(以下、実施形態9)のように、最新の「タッチ操作」時刻(以下、最新タッチ時刻)を記録する処理を行うとともに、携帯電話機1が特定の呼状態であることをハンズフリー通話への切り替えの判断条件とする構成としてもよい。
例えば、携帯電話機1の呼状態が通話中である場合には、最新タッチ時刻から現在時刻までの時間が所定時間以内である場合に、ハンズフリー通話への切り替えを行う着信時処理を行う。一方、携帯電話機1の呼状態が発信中または呼出中である場合、且つ、最新タッチ時刻から現在時刻までの時間が所定時間以内である場合には、通話状態になるのを待ってハンズフリー通話への切り替えを行う発信時処理を行う。
以下では、実施形態9について図面を用いて説明を行う。なお、説明の便宜上、実施形態1の説明に用いた図に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
実施形態9における機器連携システム100は、実施形態1と同様に携帯電話機1および車両用装置2を含んでいる。実施形態9は、車両用装置2の制御装置29でのハンズフリー通話切替関連処理の一部が異なっている点を除けば、実施形態1と同様の構成である。
ここで、図25に示すフローチャートを用いて、実施形態9における制御装置29(以下、便宜上、制御装置29gとする)でのハンズフリー通話切替関連処理について説明を行う。本フローは、例えば車両用装置2が携帯電話機1とターミナルモード接続されたときに開始される。
まず、ステップS111では、携帯電話機1の呼状態を検出し、ステップS112に移る。よって、制御装置29gが請求項の呼状態検出手段に相当する。呼状態の検出については、例えば実施形態6で説明したのと同様にして行うものとする。本フローの以降の処理においても同様であるものとする。
ただし、携帯電話機1の呼状態の変更時に、携帯電話機1から自動的に呼状態の通知が行われる構成となっている場合には、携帯電話機1から通知された呼状態に基づいて、携帯電話機1の呼状態を検出する構成とすればよい。また、その場合、呼状態の通知がされたことをトリガにして、本フローチャートに示す処理を実行する構成としてもよい。
ステップS112では、検出した呼状態が発信中または呼出中であった場合(ステップS112でYES)には、ステップS113に移る。一方、検出した呼状態が発信中および呼出中のいずれでもなかった場合(ステップS112でNO)には、ステップS121に移る。
ステップS113では、最新タッチ時刻取得処理を行って、ステップS114に移る。最新タッチ時刻取得処理では、制御装置29gでの後述する最新タッチ時刻記録処理によって更新された最新タッチ時刻を取得する。
ここで、最新タッチ時刻記録処理について図26のフローチャートを用いて説明を行う。図26は、最新タッチ時刻記録処理の概略を示すフローチャートである。図26のフローは、例えば車両用装置2と携帯電話機1とのターミナルモード接続中において、周期的(例えば1秒毎)に実行されるものとする。
ステップS201では、ステップS1と同様にしてタッチ操作検出判定処理を行って、ステップS202に移る。ステップS202では、タッチ操作ありの場合(ステップS202でYES)には、ステップS203に移り、タッチ操作なしの場合(ステップS202でNO)には、フローを終了する。
ステップS203では、タッチ操作を検出した時刻を最新タッチ時刻として例えば制御装置29gのRAM等の電気的に書き換え可能なメモリに記録し、フローを終了する。ステップS203では、新たな最新タッチ時刻を記録する場合に、既に記録されているデータに上書きすることで最新タッチ時刻を更新していくものとする。よって、制御装置29が請求項の最新押下時刻記録手段に相当する。時刻については、図示しない周知の計時手段から取得する構成とすればよい。
図25に戻って、ステップS114では、ステップS113で取得した最新タッチ時刻が現在時刻から所定時間以内であるか否かを判定する。現在時刻についても、前述した周知の計時手段から取得する構成とすればよい。
そして、現在時刻から所定時間以内であると判定した場合(ステップS114でYES)には、ステップS115に移る。一方、現在時刻から所定時間以内でないと判定した場合(ステップS114でNO)には、フローを終了する。つまり、発信を指示した操作は、車両用装置2側ではなく、携帯電話機1側で行われたものと判断して、ハンズフリー通話を行わないことになる。
ステップS115では、携帯電話機1の呼状態を検出して、ステップS116に移る。ステップS116では、検出した呼状態が通話中であった場合(ステップS116でYES)には、ステップS119に移る。一方、通話中でなかった場合(ステップS116でNO)には、ステップS117に移る。
ステップS117では、BT通信部21から携帯電話機1に前述のハンズフリー切替要求を送信させて、ステップS118に移る。ステップS118では、ステップS54と同様にして、車両用装置2における音声の入出力の経路を、ハンズフリー通話以外の用途からハンズフリー通話の用途へ変更する処理を行う。
ステップS116において、検出した呼状態が通話中であった場合のステップS119では、携帯電話機1の呼状態を検出して、ステップS120に移る。ステップS120では、検出した呼状態が回線切断または待受けの状態であった場合(ステップS120でYES)、つまり、発信中および呼出中のいずれの状態でもなくなった場合には、フローを終了する。一方、回線切断および待受けのいずれの状態でもなかった場合(ステップS120でNO)には、ステップS115に戻ってフローを繰り返す。
以上のステップS112〜ステップS120までの一連の処理が、携帯電話機1の発信時または呼出時にハンズフリー通話を行うか否かを判断する前述の発信時処理となる。また、前述したように、発信時処理の途中で携帯電話機1の呼状態が回線切断または待受けの状態となった場合には、ハンズフリー通話への切り替えを行わずに発信時処理を終了することになる。
ステップS112において、検出した呼状態が発信中および呼出中のいずれでもなかった場合のステップS121では、検出した呼状態が通話中であった場合(ステップS121でYES)には、ステップS122に移る。一方、通話中でなかった場合(ステップS121でNO)には、フローを終了する。つまり、発信中でも呼出中でも通話中でもない、例えば、着信中の場合には、一旦、フローを終了し、呼状態が、着信中から通話中へ変化した場合に本フローを再び実行することにより、ハンズフリー通話を行うことができる。
ステップS122では、ステップS113と同様にして、最新タッチ時刻取得処理を行って、ステップS123に移る。ステップS123では、ステップS122で取得した最新タッチ時刻が現在時刻から所定時間以内であるか否かを判定する。
そして、現在時刻から所定時間以内と判定した場合(ステップS123でYES)には、ステップS117に移り、ハンズフリー通話を行う。一方、現在時刻から所定時間以内でないと判定した場合(ステップS123でNO)には、フローを終了する。つまり、着信を指示した操作は、車両用装置2側ではなく、携帯電話機1側で行われたものと判断して、ハンズフリー通話を行わないことになる。
以上のステップS121〜ステップS123、続くステップS117〜ステップS118の一連の処理が、携帯電話機1の通話時にハンズフリー通話を行うか否かを判断する前述の着信時処理となる。
本実施形態の構成によれば、携帯電話機1が特定の呼状態の場合にだけハンズフリー通話を行うように判断するため、呼状態に関わらずハンズフリー通話を行うか否かを判断する構成に比べ、処理負荷を抑えることができる。
なお、本実施形態において、実施形態6に説明したのと同様にして、携帯電話機1から通話音声データを受信したか否かも判断条件とする構成としてもよい。詳しくは、前述のステップS111の処理の前に、前述のステップS51と同様にして、携帯電話機1から音声データを受信したか否かを判定する。
続いて、音声データを受信したと判定した場合には、前述のステップS53と同様にして、携帯電話機1から受信した音声データが通話音声データであるかを判定する。そして、通話音声データであると判定した場合には、ステップS54と同様にして、車両用装置2における音声の入出力の経路を、ハンズフリー通話以外の用途からハンズフリー通話の用途へ変更する処理を行って、ハンズフリー通話を開始する。一方、音声データを受信したと判定しなかった場合には、前述のステップS111に移って、前述した着信時処理や発信時処理を行う。
前述の実施形態では、車両用装置2としてディスプレイと一体となった車載ナビゲーション装置を用いる構成を示したが、車両用装置2として車載のディスプレイ装置を用いる場合には、音声入力部と音声出力部(例えばマイクとスピーカ)とがセットになったハンズフリー通話用のヘッドセットなどのハンズフリー通話装置と組み合わせて用いる構成とすればよい。また、車両用装置2としてディスプレイオーディオを用いる場合には、音声入力用のマイクと組み合わせて用いる構成とすればよい。
前述の実施形態に関わるハンズフリー通話切替関連処理は、車両用装置2と携帯電話機1とがターミナルモード接続している間、例えば周期的(例えば1秒毎)に実行される構成とすればよい。但し、前回の処理が継続中の場合は、前回の処理を継続する構成とすればよい。また、既にハンズフリー通話を行っている場合は、ハンズフリー通話切替関連処理を行わない構成とすればよい。
他にも、携帯電話機1で実行中のアプリケーションの種類に関する情報を車両用装置2が取得できる場合には、携帯電話機1で実行中のアプリケーションの種類が、電話の受発信機能を含むアプリケーションである場合にだけ処理を行ってもよい。つまり、音楽再生アプリケーションの実行中などには処理を実行せず、電話アプリケーションの実行中だけ本処理を行ってもよい。これによれば、実行中のアプリケーションの種類に関係なく常に処理を実行する場合に比べて、車両用装置2での処理負荷を抑えることができる。
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。