JP4591798B2 - 端末装置及びプログラム - Google Patents

Description

この発明は、表示部及び操作部を備え、音関連機能を含む複数の機能を並行して動作可能な端末装置及びプログラムに関する。

近年、携帯電話機の処理能力が年々向上し、音楽を聴きながら受信メールを読んだり、Ｗｅｂアクセスをしたりといった並列処理が可能となってきている。この場合、メイン処理（フォアグランド処理）として、受信メールを閲覧する機能、あるいはインターネット上のｗｅｂページを閲覧する機能を動作させ、バックグラウンド処理として音楽プレイヤ機能を動作させている状態において、選曲のような音楽に関する操作を行なう場合には、音楽プレイヤ機能を一時的にメイン処理として切り替えたのち、バックグラウンド処理に戻すという手順を踏む必要があり、ユーザに負担をかけることになる。
そこで、従来では、第２の操作部を備えることでバックグラウンド処理での音楽プレイヤ機能でも操作可能となるようにした技術が開示されている（特許文献１参照）。
特開２００４−１７３１３７号公報

上述した先行技術にあっては、音楽再生とそれ以外の機能を並行して実行している場合、バックグラウンド処理として動作中の音楽に関連する機能に対する操作を可能とするために、専用の操作部を備えることで、音楽再生以外の機能を終了させることなく、音楽に関する操作を行うことができるが、専用の操作部を設けることは、コスト高を招くと共に、小型化の支障となる。

この発明の課題は、音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、タッチ画面を備える表示部および各種入力操作が為される操作部を有し、音関連機能を含む複数の機能を並行して動作可能な端末装置において、フォアグランド処理として動作中の機能に並行して音関連機能がバックグラウンド処理として動作中であるか否かを判別する判別手段と、使用者の動作として定義された仕方の異なる各種タッチ操作を表すデータと音関連機能に対する各種操作内容とを対応付けて記憶する記憶手段と、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、表示部への表示出力および操作部からの操作入力を、前記フォアグランド処理として動作中の機能に割り当てる第１の制御手段と、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、タッチ画面を備える表示部において行われるタッチ操作の仕方に基づいて使用者の動作を検出する検出手段と、前記検出手段により使用者の動作として検出されたタッチ操作の仕方を表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得する取得手段と、前記取得手段により取得された操作内容の実行を、バックグラウンド処理として動作中の音関連機能に指示する第２の制御手段とを具備したことを特徴とする。

請求項１に従属する請求項２に記載の発明では、使用者の動作として定義された各種身振りを表すデータと音関連機能に対する各種操作内容とを対応付けて前記記憶手段に記憶しておき、前記検出手段は、使用者を撮像した画像の解析結果に基づいて使用者の動作を検出し、前記取得手段は、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、前記検出手段により使用者の動作として検出された身振りを表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得することを特徴とする。

請求項１に従属する請求項３に記載の発明では、使用者の動作として定義された各種音声指示を表すデータと音関連機能に対する各種操作内容とを対応付けて前記記憶手段に記憶しておき、前記検出手段は、使用者の音声を集音して音声認識した結果に基づいて使用者の動作を検出し、前記取得手段は、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、前記検出手段により使用者の動作として検出された音声指示を表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得することを特徴とする。

請求項１に従属する請求項４に記載の発明では、使用者の動作として定義された装置筐体の各種振られ方を表すデータと音関連機能に対する各種操作内容とを対応付けて前記記憶手段に記憶しておき、前記検出手段は、装置筐体の振られ方に基づいて使用者の動作を検出し、前記取得手段は、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、前記検出手段により使用者の動作として検出された振られ方を表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得することを特徴とする。

この発明によれば、音関連機能を含む複数の機能が並行して動作している場合に、音関連機能に対して専用の操作部を設けなくても、バックグラウンド処理として動作中の音関連機能に対する操作を実行することができ、実用効果の高いものとなる。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
この実施形態は、端末装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機の基本的な構成要素を示したブロック図である。
この携帯電話機は、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、音楽再生機能、カメラ機能、録音機能、万歩計（登録商標）機能など、各種の
機能を備えている。制御部１は、二次電池を備えた電源部２からの電力供給によって動作
し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御するもので
、この制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図６〜図１０に示す動作手順に応じて本実施形態を実現するためのプログラムが格納され、また、そのデータ領域には、後述するフラグメモリＦＭ、動作テーブルＭＴなどが設けられている。なお、記憶部３としては、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよい。メイン操作部４は、ダイヤル入力、文字入力、コマンド入力などを行う主要な操作部であり、制御部１は、メイン操作部４からのキー操作信号に応じた処理として、例えば、発信処理など、各種の処理を実行する。

通信部５は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能の動作時に最寄りの基地局との間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、電話部６を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを電話部６から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。

音楽プレイヤ７は、音楽再生機能を構成するもので、再生対象としてユーザ操作によって任意に選択された音楽コンテンツを記憶部３から読み出して、サウンドスピーカ８から出力させる。表示部９は、例えば、高精細液晶あるいは有機ＥＬなどを使用し、アイコン、文字データ、待受画像、撮影画像などを表示するもので、その表示パネル上に指、器具などの物体の接触位置（座標位置）を検出する座標位置検出部（タッチ操作面を構成する透明な接触センサ）１０を積層配設することによってタッチスクリーン（タッチ画面）ＴＤを構成している。このタッチ画面ＴＤを構成する座標位置検出部１０は、タッチ画面ＴＤ（表示部９）上においてその座標位置を入力する座標入力操作（タッチ操作）を検出する座標入力手段である。

このタッチ画面ＴＤ上で行われる使用者（ユーザ）の動作として、後述する１点タップ、１点ダブルタップ、２点ダブルタップなどのタッチ操作が行われたことを座標位置検出部１０によって検出されると、制御部１は、この使用者の動作（１点タップ、１点ダブルタップ、２点ダブルタップなど）に応じた処理を実行する。また、タッチ画面ＴＤ上に必要に応じて配置されたタッチキー（ソフトフェアキー）へのタッチ操作で、そのタッチキーに対応するキー操作信号が座標位置検出部１０から出力されると、制御部１は、このキー操作信号に応じた処理を実行する。このように表示部９及び座標位置検出部１０によって構成されたタッチ画面ＴＤは、タッチキー操作部として利用されるほか、使用者の動作（タッチ）を検出する動作検出部としても利用される。

撮像部１１は、静止画撮影のほかに動画撮影も可能なカメラ機能を構成するもので、撮影レンズ、レンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動を制御したり、シャッター駆動を制御したり、露出、ホワイトバランスなどを制御したりする。制御部１は、撮像部１１によって撮像された画像を解析して、例えば、“指を上に振る”、“指を右に振る”などの使用者の動作を検出し、この使用者の動作（ジェスチャ）に応じた処理を実行するようにしている。このように撮像部１１は、カメラ機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。

集音部１２は、音楽コンテンツなどを録音する録音機能を構成するほか、使用者の音声を入力するマイクで、制御部１は、集音部１２からの入力音声を解析（音声認識）することによって、例えば、“うえ（上）”、“さいせい（再生）”、“ていし（停止）”などの音声指示を使用者の動作として検出し、この使用者の動作（音声指示）に応じた処理を実行するようにしている。このように集音部１２は、録音機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。

筐体動作検出部１３は、例えば、３軸タイプの加速度センサによって構成され、万歩計（登録商標）機能を構成するもので、制御部１は、この筐体動作検出部１３からの検出結果に応じて装置本体を振ったときの振り方向、例えば、“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”、“筐体を右に振る”、“筐体を左に振る”を使用者の動作として検出し、この使用者の動作（筐体の振り）に応じた処理を実行するようにしている。このように筐体動作検出部１３は、万歩計（登録商標）機能として利用されるほか、使用者の動作を検出する動作検出部としても利用される。スタイル検出部１４は、装置本体を構成する複数の筐体の連結状態に応じて装置本体のスタイルを検出するもので、例えば、磁気センサ、マイクロスイッチ、機械的スイッチなどを有する構成で、制御部１は、スタイル検出部１４からの各検出信号に基づいて装置本体の各スタイルを判別するようにしている。

図２は、携帯電話機の外観図である。
携帯電話機は、その装置本体を構成する複数の筐体の連結状態に応じて複数のスタイルに変更可能な２軸ヒンジタイプの電話装置であり、装置本体を構成する操作部筐体Ａと表示部を有する表示部筐体Ｂとを折り畳み開閉自在及び回動自在にヒンジ部Ｃを介して連結した２軸ヒンジタイプである。このヒンジ部Ｃには操作部筐体Ａと表示部筐体Ｂとを折り畳み開閉するための開閉用ヒンジ軸が設けられているほか、この開閉用ヒンジ軸と略直交して、一方の筐体を他方の筐体に対して回動するための回動用ヒンジ軸とが設けられており、このヒンジ部Ｃを介して操作部筐体Ａと表示部筐体Ｂとは折り畳み開閉自在及び回動自在に連結されている。

このような２軸ヒンジタイプの携帯電話機は、操作部筐体Ａと表示部筐体Ｂとが、どのように連結されているかに応じて携帯電話機の形態を複数のスタイル（クローズスタイル、オープンスタイル、ビュースタイルなど）に変更可能なもので、図２（１）は、操作部筐体Ａと表示部筐体Ｂとの折り畳みを開いた状態のオープンスタイルを示している。なお、操作部筐体Ａの内面側には、図１で示した操作部４が配置され、表示部筐体Ｂの内面側には、図１で示したタッチ画面ＴＤが配置されている。したがって、オープンスタイルでは操作部４及びタッチ画面ＴＤが使用可能となると共にその表示内容が視認可能となる。図２（２）は、上述のオープンスタイルから操作部筐体Ａに対して表示部筐体Ｂを１８０°回転させたのち、操作部筐体Ａに対して表示部筐体Ｂを折り畳んだ状態のビュースタイルを示し、このビュースタイルでは操作部４が表示部筐体Ｂによって覆い隠されるが、
タッチ画面ＴＤは露出した状態となる。

図３は、フラグメモリＦＭを説明するための図である。
フラグメモリＦＭは、動作中フラグＭＦ、検出部フラグＤＦ、スタイルフラグＳＦを記憶するもので、図３（１）〜（３）は、動作中フラグＭＦ、検出部フラグＤＦ、スタイルフラグＳＦの内容を示している。動作中フラグＭＦは、音関連機能（音関連アプリケーション）の動作状態を示すフラグである。すなわち、動作中フラグＭＦは、音楽プレイヤ７の動作状態を示すフラグで、図３（１）に示すように、その値が“０”のときには、音楽プレイヤ７が動作していないことを示し、その値が“１”のときには、音楽プレイヤ７がメイン処理（フォアグランド処理）として動作中であることを示し、その値が“２”のときには、音楽プレイヤ７がバックグランド処理として動作中であることを示している。

検出部フラグＤＦは、音楽プレイヤ７がバックグランド処理として動作している場合に、使用者の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた各種の操作手段のうち、どの操作手段をバックグランド処理に対する操作手段として使用するかを示すフラグである。すなわち、検出部フラグＤＦは、図３（２）に示すように、その値が“０”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作を行わないことを示し、その値が“１”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することを示している。また、検出部フラグＤＦの値が“２”のときには、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、撮像部１１からの検出結果を使用することを示し、その値が“３”のときには、集音部１２からの検出結果を使用することを示し、その値が“４”のときには、筐体動作検出部１３からの検出結果を使用することを示している。

スタイルフラグＳＦは、メイン操作部４が使用不可能となる特定スタイルであることを示すフラグで、図３（３）に示すように、その値が“０”のときには、ビュースタイル以外のスタイル（特定スタイル以外のスタイル）であることを示し、その値が“１”のときには、メイン操作部４が使用不可能となるビュースタイル（特定スタイル）であることを示している。なお、この実施形態では、２軸ヒンジタイプの携帯電話機に適用した場合を例示したが、操作部筐体Ａの上を表示部筐体Ｂがスライドすることによって開閉するスライドタイプの携帯電話機の場合、メイン操作部４が使用不可能となるのは、操作部筐体Ａの上に表示部筐体Ｂが重なる閉状態であるから、スタイルフラグＳＦの値が“０”のときには、操作部筐体Ａと表示部筐体Ｂとが開いている開状態を示し、“１”
のときには、閉状態を示す。

図４は、動作テーブルＭＴを説明するための図である。
動作テーブルＭＴは、バックグランド処理として動作している音関連機能（音関連アプリケーション）に対する操作手段として、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段をそれぞれ定義するためのテーブルである。この動作テーブルＭＴには、「音関連機能に対する操作内容」、「検出部フラグ別の使用者の動作」の項目を有している。ここで、検出部フラグＤＦの値が“１”の場合において、「使用者の動作」には“２点間拡大ドラッグ”、“２点間縮小ドラッグ”、“１点タップ”、“１点ダブルタップ”、“２点ダブルタップ”が設定されている。この“２点間拡大ドラッグ”は、タッチ画面ＴＤ上において２本の指の間隔を徐々に開きながらドラッグするタッチ動作で、これに対応する「操作内容」には音楽プレイヤ７の設定音量を上げることを指示する“音量アップ”が設定されている。

“２点間縮小ドラッグ”は、タッチ画面ＴＤ上において２本の指の間隔を徐々に狭めながらドラッグするタッチ動作で、これに対応する「操作内容」には音楽プレイヤ７の設定音量を下げることを指示する“音量ダウン”が設定されている。“１点タップ”は、タッチ画面ＴＤ上の１点を１回タッチする動作で、これに対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“１点タップ”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“１点タップ”
の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。“１点ダブルタップ”は、タッチ画面ＴＤ上の１点を２回連続してタッチする動作で、これに対応する「操作内容」には次の音楽コンテンツを再生対象として指定する“次コンテンツ”
が設定されている。“２点ダブルタップ”は、タッチ画面ＴＤ上の２点を２回連続してタッチする動作で、これに対応する「操作内容」には一つ前の音楽コンテンツを再生対象として指定する“前コンテンツ”
が設定されている。

また、検出部フラグＤＦの値が“２”の場合において、「使用者の動作」には“指を上に振る”、“指を下に振る”、“指を前に突き出す”、“指を右に振る”、“指を左に振る”が設定され、これに対応する「操作内容」には、“音量アップ”、“音量ダウン”、“再生”／“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。なお、“指を前に突き出す”に対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“指を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“指を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。

検出部フラグＤＦの値が“３”の場合において、「使用者の動作」には“音声（うえ）”、“音声（した）”、“音声（さいせい）”、“音声（ていし）”、“音声（つぎ）”、“音声（まえ）”が設定され、これに対応する「操作内容」には、“音量アップ”、“
音量ダウン”、“再生”、“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。検出部フラグＤＦの値が“４”の場合において、「使用者の動作」には“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”、“筐体を右に振る”、“筐体を左に振る”が設定され、これに対応する「操作内容」には、“音量アップ”、“
音量ダウン”、“再生”／“停止”、“次コンテンツ”、“前コンテンツ”が設定されている。なお、“筐体を前に突き出す”に対応する「操作内容」には“再生”、“停止”が設定されており、音楽プレイヤ７が停止している状態で“筐体を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生を指示し、音楽プレイヤ７の再生中に“筐体を前に突き出す”の動作が行われると、音楽プレイヤ７に対して再生の“停止”を指示する。

図５は、アプリケーション動作中での表示例を示した図である。
図５（１）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン（フォアグランド）処理として動作中の表示例を示した図である。この場合、メイン処理として動作中のアプリケーション（メール機能）に対する操作手段としては、メイン操作部４のほか、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段がそれぞれ使用可能となる。なお、図中、「メール」は、メイン処理でメール機能が動作中であることを示している。

図５（２）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン処理として動作中の場合に、そのバックグランド処理として音楽プレイヤ７が動作中である場合の表示例を示した図である。この場合、図中、音符マークは、バックグランド処理として音楽プレイヤ７が動作中であることを示している。この場合、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段としては、タッチ画面ＴＤの領域全体が割り当てられている。なお、図５（２）は、図５（１）に音符マークを追加したものとなる。

図５（３）は、ビュースタイルにおいて、音楽プレイヤ７以外のアプリケーション（メール機能）がメイン処理として動作中の場合に、バックグランド処理として音楽プレイヤ７が動作中である場合の表示例を示した図である。この場合、タッチ画面ＴＤ内にメイン処理に対する操作面として、各種のタッチキー（ソフトフェアキー）を割り当て配置したキー操作パネルＫＰを設け、このキー操作パネルＫＰ内のいずれかのタッチキーが接触された際に、制御部１は、そのキー操作信号に応じた処理を実行する。この場合、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段としては、タッチ画面ＴＤにおいてキー操作パネルＫＰ以外の領域全体が割り当てられている。

すなわち、メイン処理として動作中の機能に使用される操作面（キー操作パネルＫＰ）がタッチＴＤの一部に配置されている状態において、座標位置検出部１０によって検出されたタッチ操作がキー操作パネルＫＰ上で行われたものであれば、このタッチ操作をメイン処理として動作中の機能に割り当て、タッチ画面ＴＤの他の部分に対するものであれば、バックグラウンド処理として動作中の音楽プレイヤ７に割り当てるようにしている。

図５（４）は、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイルにおいて、音楽プレイヤ７がメイン処理として動作中の場合の表示例を示した図である。この場合、メイン処理として動作中のアプリケーション（音楽再生機能）に対する操作手段としては、メイン操作部４のほか、使用者の各種の動作（タッチ、音声指示、筐体の振り、ジェスチャ）に応じた操作手段がそれぞれ使用可能となる。なお、図示の例において、タッチ画面ＴＤは、音楽の進行に応じて表示状態が変化するグラフィックイコライザ画面となる。

次に、この実施形態における携帯電話機の動作概念を図６〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。

図６〜図９は、電源投入（オン）に伴って実行開始される携帯電話機の全体動作の概要を示したフローチャートである。
先ず、制御部１は、所定のメモリをクリアするなどの初期処理を行ったのち（図６のステップＡ１）、着信などの待ち受け状態となる（ステップＡ２）。そして、この待ち受け状態において、通信部５から電話の着信有無をチェックし（ステップＡ３）、着信が無ければ、スタイル検出部１４からの検出結果に基づいてスタイル変更操作が行われたかをチェックする（ステップＡ１３）。

いま、スタイル変更操作が行われなければ（ステップＡ１３でＮＯ）、図７のフローに移り、メイン操作部４からの操作有無を調べ（ステップＡ１９）、メイン操作部４からの操作を検出した場合に、それが音楽プレイヤ７の起動を指示する操作であれば（ステップＡ２０でＹＥＳ）、音楽プレイヤ７をメイン処理として起動させると共に（ステップＡ２１）、音楽プレイヤ７がメイン処理として動作中であることを示すために、動作中フラグＭＦに“１”をセットする（ステップＡ２２）。この場合、タッチ画面ＴＤは、図５（４）に示すような表示内容となる。その後、図６のステップＡ３に戻る。

このように音楽プレイヤ７がメイン処理として動作している状態において、メイン操作部４からの操作を検出すると（ステップＡ１９でＹＥＳ）、それがメイン処理として動作中の音楽プレイヤ７に対する操作であれば（ステップＡ２３でＹＥＳ）、音楽プレイヤ７の動作を終了させる操作であるかを調べる（ステップＡ２４）。いま、その他の操作であれば（ステップＡ２４でＮＯ）、例えば、音量調整処理、コンテンツ変更処理など、その他の操作に応じた処理を音楽プレイヤ７に対して実行するが（ステップＡ２７）、音楽プレイヤ７に対する終了操作であれば（ステップＡ２４でＹＥＳ）、音楽プレイヤ７の動作を終了させると共に（ステップＡ２５）、動作中フラグＭＦに“０”をセットする（ステップＡ２６）。

また、メイン操作部４からの操作がメイン処理として動作中の音楽プレイヤ７に対する操作でなければ（ステップＡ２３でＮＯ）、図８のフローに移り、音楽プレイヤ７以外のアプリケーションの起動を指示する操作であるかを調べ（ステップＡ２８）、起動操作であれば、当該アプリケーションをメイン処理として起動させる（ステップＡ２９）。この場合、タッチ画面ＴＤは、図５（１）に示すような表示内容となる。そして、動作中フラグＭＦが“１”であるかを調べる（ステップＡ３０）。

動作中フラグＭＦが“１”でなければ、つまり、音楽プレイヤ７がメイン処理として動作中でなければ（ステップＡ３０でＮＯ）、そのまま図６のステップＡ３に戻るが、動作中フラグＭＦが“１”で、音楽プレイヤ７がメイン処理として動作中であれば（ステップＡ３０でＹＥＳ）、音楽プレイヤ７をメイン処理からバックグランド処理に移動する（ステップＡ３１）。この場合、タッチ画面ＴＤは、図５（２）に示すような表示内容となる。そして、動作中フラグＭＦに“２”をセットしたのち（ステップＡ３２）、図６のステップＡ３に戻る。

このように音楽プレイヤ７以外のアプリケーションがメイン処理として動作している状態において、メイン操作部４からの操作を検出すると（図７のステップＡ１９でＹＥＳ）、上述のステップＡ２０、Ａ２３、Ａ２８ではその操作の種類を判別するが、それ以外の操作であれば（ステップＡ２８でＮＯ）、その操作はメイン処理として動作中の音楽プレイヤ７以外のアプリケーションに対する操作であるかを調べる（ステップＡ３３）。いま、そのアプリケーションに対する操作ではなく、例えば、電源オフ操作などであれば、その操作に応じた処理を実行したのち（ステップＡ４０）、図６のステップＡ３に戻る。

また、メイン操作部４からの操作がメイン処理として動作中の音楽プレイヤ７以外のアプリケーションに対する操作であれば（ステップＡ３３でＹＥＳ）、そのアプリケーションの動作を終了させる操作であるかを調べ（ステップＡ３４）、その他の操作であれば（ステップＡ３４でＮＯ）、その操作に応じた処理を当該アプリケーションに対して実行するが（ステップＡ３９）、終了操作であれば（ステップＡ３４でＹＥＳ）、メイン処理として動作中のアプリケーションの動作を終了させる（ステップＡ３５）。この場合、動作中フラグＭＦが“２”でなければ、つまり、音楽プレイヤ７がバックグランド処理として動作中でなければ（ステップＡ３６でＮＯ）、そのまま図６のステップＡ３に戻るが、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ３６でＹＥＳ）、音楽プレイヤ７をバックグランド処理からメイン処理に移動すると共に（ステップＡ３７）、動作中フラグＭＦに“１”をセットしたのち（ステップＡ３８）、図６のステップＡ３に戻る。

一方、スタイルが変更された場合には（図６のステップＡ１３でＹＥＳ）、それがビュースタイルへの変更であれば（ステップＡ１４でＹＥＳ）、スタイルフラグＳＦを“１”に変更したのち（ステップＡ１５）、メイン処理として動作中のアプリケーションに対する操作手段として、タッチ画面ＴＤ上にキー操作パネルＫＰを割り当て配置する（ステップＡ１６）。この場合、タッチ画面ＴＤは、図５（３）に示すような表示内容となる。また、ビュースタイルへの変更でなければ（ステップＡ１４でＮＯ）、スタイルフラグＳＦを“０”に変更したのち（ステップＡ１７）、タッチ画面ＴＤ上のキー操作パネルＫＰを閉鎖する（ステップＡ１８）。

いま、電話着信を検出したときには（ステップＡ３でＹＥＳ）、回線接続させるオフフック操作に応答して（ステップＡ４でＹＥＳ）、通話可能状態とする通話処理を実行する（ステップＡ５）。そして、通話中において動作中フラグＭＦの値は“１”か、つまり、音楽プレイヤ７がメイン処理として動作中であるかを調べ（ステップＡ６）、動作中フラグＭＦの値が“１”ではなく、音楽プレイヤ７が動作していない場合、あるいはバックグランド処理として動作している場合には（ステップＡ６でＮＯ）、後述するステップＡ９に移る。

動作中フラグＭＦの値が“１”で、音楽プレイヤ７がメイン処理として動作中であれば（ステップＡ６でＹＥＳ）、音楽プレイヤ７をメイン処理からバックグランド処理に移動すると共に（ステップＡ７）、動作中フラグＭＦの値を“２”に変更したのち（ステップＡ８）、次のステップＡ９に移り、座標位置検出部１０からの出力が有るかに基づいてタッチ操作の有無を調べる。ここで、タッチ操作が行われたときには（ステップＡ９でＹＥＳ）、後述する座標位置検出処理に移る（ステップＡ１０）。以下、回線接続を解除するオンフック操作が行われるまで（ステップＡ１１でＮＯ）、上述のステップＡ９に戻るが、オンフック操作が行われると（ステップＡ１１でＹＥＳ）、回線切断処理を実行したのち（ステップＡ１２）、上述のステップＡ３に戻る。

図１０は、タッチ操作に応答して実行される座標位置検出処理（図６のステップＡ１０、図９のステップＡ４２）を詳述するためのフローチャートである。
先ず、制御部１は、スタイルフラグＳＦを参照し、その値は“１”か（ビュースタイルか）を調べ（ステップＢ１）、ビュースタイルであれば、図５（３）に示したキー操作パネルＫＰ内の座標位置がタッチされたか、つまり、メイン用のキー操作パネルＫＰ内に割り当て配置されているタッチキーが操作されたかを調べ（ステップＢ２）、そのタッチキーが操作されたときには、そのタッチキーに対応する操作をメイン処理として動作中のアプリケーションに対して実行する（ステップＢ３）。

また、ビュースタイルにおいてメイン処理用のキー操作パネルＫＰ以外がタッチされた場合には（ステップＢ２でＮＯ）、動作中フラグＭＦを参照し、その値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＢ４）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回のタッチ操作に応じて予め決められている処理を実行する（ステップＢ３）。例えば、図５（１）に示すタッチ画面ＴＤ上で２点ダブルタップが行われた場合には、メイン処理として動作中のメール機能を終了させる処理を実行する。

また、ビュースタイルにおいて動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＢ４でＹＥＳ）、検出部フラグＤＦを参照し、その値は“１”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することが指定されているかを調べる（ステップＢ５）。いま、検出部フラグＤＦの値が“１”でなければ、この時点で図１０のフローから抜けるが、“１”であれば（ステップＢ５でＹＥＳ）、タッチ操作の仕方に基づいて使用者の動作を検出する（ステップＢ６）。

すなわち、タッチ操作の仕方は“２点間拡大ドラッグ”、“２点間縮小ドラッグ”、“１点タップ”、“１点ダブルタップ”、“２点ダブルタップ”のいずれであるかに基づいて使用者の動作を検出する。そして、検出した使用者の動作に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“１”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＢ７）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＢ８）。例えば、“２点間拡大ドラッグ”に応じて音量を１段階アップさせる処理を実行し、“１点タップ”に応じて再生動作を開始させる処理を実行する。

また、スタイルフラグＳＦの値が“１”でない場合、つまり、タッチ画面ＴＤが露出した状態となるビュースタイル以外のスタイル（例えば、オープンスタイル）において、タッチ操作が行われた場合には（ステップＢ１でＮＯ）、上述したステップＢ４に移って以下、同様の動作を行う。すなわち、音楽プレイヤ７がバックグランド処理として動作中であること（ステップＢ４でＹＥＳ）、この音楽プレイヤ７に対する操作手段として、座標位置検出部１０からの検出結果を使用することが指定されていることを条件に（ステップＢ５でＹＥＳ）、タッチ操作の仕方に基づいて使用者の動作を検出し、それに対応する「操作内容」に応じた処理をバックグランド処理として動作中の音楽プレイヤ７に対して実行する（ステップＢ６〜Ｂ８）。

他方、メイン操作部４からの操作が行われない場合には（図７のステップＡ１９でＮＯ）、図９のフローに移り、出力標位置検出部１０からの出力が有るかに基づいてタッチ操作の有無を調べ（ステップＡ４１）、タッチ操作が行われたときには、上述の座標位置検出処理に移り（ステップＡ４２）、タッチ入力に応じた操作としてメイン処理として動作中のアプリケーションに対する操作、あるいはバックグランド処理として動作中の音楽プレイヤ７に対する操作を実行する。

また、撮像部１１からの出力を検出した場合には（ステップＡ４３でＹＥＳ）、制御部１は、撮像部１１によって撮像された画像を解析して、例えば、“指を上に振る”、“指を右に振る”、などの使用者の動作（ジェスチャ）を検出する（ステップＡ４４）。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ４５）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（ジェスチャ）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ４５でＹＥＳ）、検出部フラグＤＦを参照し、その値は“２”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、撮像部１１からの検出結果を使用することが指定されているかを調べる（ステップＡ４６）。

検出部フラグＤＦの値が“２”でなければ（ステップＡ４６でＮＯ）、図６のステップＡ３に戻るが、その値が“２”であれば（ステップＡ４６でＹＥＳ）、上述のように検出した使用者の動作（ジェスチャ）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“２”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“指を上に振る”に応じて音量を１段階アップさせる処理を実行し、“指を右に振る”に応じて前コンテンツを再生対象とする処理を実行する。

また、集音部１２からの出力を検出した場合（ステップＡ４８でＹＥＳ）、制御部１は、集音部１２からの入力音声を解析（音声認識）することによって、例えば、“うえ（上）”、“さいせい（再生）”、“ていし（停止）”などの音声指示を使用者の動作として検出する（ステップＡ４９）。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ５０）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（音声指示）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。

また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド動作中であれば（ステップＡ５０でＹＥＳ）、検出部フラグＤＦを参照し、その値は“３”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、集音部１２からの検出結果を使用することが指定されているかを調べる（ステップＡ５１）。いま、検出部フラグＤＦの値が“３”でなければ（ステップＡ５１でＮＯ）、図６のステップＡ３に戻るが、その値が“３”であれば（ステップＡ５１でＹＥＳ）、上述のように検出した使用者の動作（音声指示）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“３”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“うえ（上）”に応じて音量を１段階アップさせる処理を実行し、“さいせい（再生）”に応じて再生動作を開始させる処理を実行する。

また、筐体動作検出部１３からの出力を検出した場合には（ステップＡ５２でＹＥＳ）、制御部１は、筐体動作検出部１３からの検出結果に応じて装置本体を振ったときの振り方向を使用者の動作として検出する（ステップＡ５３）。例えば、“筐体を上に振る”、“筐体を下に振る”、“筐体を前に突き出す”などを検出する。そして、動作中フラグＭＦの値は“２”か（音楽プレイヤ７はバックグランド処理として動作中か）を調べ（ステップＡ５４）、その値が“２”でなければ、メイン処理として動作中のアプリケーションに対して今回の使用者の動作（振り方向）に応じた処理を実行したのち（ステップＡ４７）、図６のステップＡ３に戻る。

また、動作中フラグＭＦが“２”で、音楽プレイヤ７がバックグランド処理として動作中であれば（ステップＡ５４でＹＥＳ）、検出部フラグＤＦを参照し、その値は“４”か、つまり、バックグランド処理として動作中の音楽プレイヤ７に対する操作手段として、筐体動作検出部１３からの検出結果を使用することが指定されているかを調べる（ステップＡ５５）。いま、検出部フラグＤＦの値が“４”でなければ（ステップＡ５５でＮＯ）、図６のステップＡ３に戻る。

また、検出部フラグＤＦの値が“４”であれば（ステップＡ５５でＹＥＳ）、上述のように検出した使用者の動作（振り方向）に基づいて動作テーブルＭＴを参照し、検出部フラグＤＦの値が“４”で、検出した使用者の動作に対応する「操作内容」を取得し（ステップＡ５６）、バックグランド処理として動作中の音楽プレイヤ７に対して当該「操作内容」に応じた処理を実行する（ステップＡ５７）。例えば、“筐体を上に振る”に応じて音量を１段階アップさせる処理を実行し、“筐体を下に振る”に応じて音量を１段階ダウンさせる処理を実行する。その後、図６のステップＡ３に戻る。

以上のように、この実施形態において制御部１は、メイン処理（フォアグランド処理）として動作中の機能に並行してバックグラウンド処理として音関連機能が動作中の場合に、メイン操作部４による操作をメイン処理として動作中の機能に割り当てた状態のままであっても、使用者の動作に基づいて音関連機能を操作することができ、音関連機能に対して専用の操作部を設けることなく、バックグラウンド処理として動作中の音関連機能を操作することができ、実用効果の高いものとなる。

バックグラウンド処理として音関連機能が動作中である場合に、表示部９による表示及びメイン操作部４による操作をフォアグランド処理として動作中の機能に割り当てるようにしたので、バックグラウンド処理として音関連機能が動作していても、メイン処理として動作中の機能用として表示部９、メイン操作部４を使用することが可能となる。

タッチ画面ＴＤを構成する座標位置検出部１０は、タッチ画面ＴＤ（表示部９）上においてその座標位置を入力する座標入力操作（タッチ操作）を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を座標位置の入力動作で行うことができると共に、既存のタッチ画面ＴＤを音関連機能の操作手段として活用することができる。

ビュースタイルのように、メイン操作部４が使用不可能な状態である場合には、バックグラウンド処理として音関連機能が動作中である場合でも、座標位置検出部１０によって検出された座標入力操作をフォアグランド動作中の機能に割り当てるようにしたので、メイン操作部４が使用できない状態であってもメイン処理として動作中の機能を座標位置検出部１０を介して操作することができる。

メイン操作部４が使用不可能な状態である場合には、メイン処理として動作中の機能に使用される操作面（キー操作パネルＫＰ）を表示部９の一部に設けた状態において、座標位置検出部１０によって検出された座標入力操作がキー操作パネルＫＰに対するものであれば、この座標入力動作をメイン処理として動作中の機能に割り当て、表示部９の他の部分に対するものであれば、バックグラウンド処理として動作中の音関連機能に割り当てるようにしたので、メイン操作部４が使用できない状態であっても、メイン処理として動作中の機能及びバックグラウンド処理として動作中の音関連機能のいずれに対しても操作することができる。

タッチ画面ＴＤの領域全体を音関連機能に割り当てるようにしたので、表示内容を目視しなくても、バックグラウンド処理として動作中の音関連機能に対する操作を行うことができる。

撮像部１１によって使用者を撮像した画像を解析し、その解析結果を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を使用者の指などを動かすことによって行うことができ、その動かし方によって操作の種類を変えることができると共に、カメラ機能を構成する既存の撮像部１１を音関連機能の操作手段として活用することができる。

集音部１２によって集音した使用者の音声を認識し、その認識結果を使用者の動作を検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を使用者の声や叩く音によって行うことができ、声の出し方や叩き方によって操作の種類を変えることができると共に、録音機能を構成する既存の集音部１２を音関連機能の操作手段として活用することができる。

筐体動作検出部１３によって装置本体が振られた場合に、その振り操作を使用者の動作として検出するようにしたので、バックグラウンド処理として動作中の音関連機能の操作を当該端末装置の振ることによって行うことができ、振り方によって操作の種類を変えることができると共に、万歩計（登録商標）機能を構成する既存の筐体動作検出部１３を音関連機能の操作手段として活用することができる。

なお、上述した実施形態においては、音関連機能として音楽プレイヤ７を例示したが、これに限らず、音関連機能例えば、アラーム機能、ラジオ機能、メールの音声読み上げ機能などであってもよい。

また、上述した実施形態においては、表示部９上の座標位置を入力する座標入力操作を使用者の動作として検出する手段として、表示部９と座標位置検出部１０とからなるタッチ画面ＴＤを例示したが、タッチパット、トラックボールなどの座標入力手段であってもよい。

また、上述した実施形態においては、２軸ヒンジタイプの携帯電話機に適用した場合を例示したが、上述したスライドタイプのほか、操作部筐体に対して表示部筐体を縦方向に開いた縦開き状態のオープンスタイルと、操作部筐体に対して表示部筐体Ｂを横方向に開いた横開き状態のオープンスタイルに変更可能な２ウエイオープンスタイルなどであってもよい。

その他、端末装置としては携帯電話機に限らず、例えば、ＰＤＡ（個人用の携帯情報端末）、デジタルカメラ、電子腕時計、音楽再生機などのであっても同様に適用可能である。

端末装置として適用した携帯電話機の基本的な構成要素を示したブロック図。 携帯電話機の外観図で、（１）は、操作部筐体Ａと表示部筐体Ｂとの折り畳みを開いた状態のオープンスタイルを示した図、（２）は、上述のオープンスタイルから操作部筐体Ａに対して表示部筐体Ｂを１８０°回転させたのち、操作部筐体Ａに対して表示部筐体Ｂを折り畳んだ状態のビュースタイルを示した図。 フラグメモリＦＭを説明するための図。 動作テーブルＭＴを説明するための図。 （１）は、メール機能がメインとして動作中の場合、（２）は、メール機能がメインで動作中の場合に、バックグランドとして音楽プレイヤ７が動作中である場合、（３）は、ビュースタイルにおいてメール機能がメインで動作中の場合に、バックグランドとして音楽プレイヤ７が動作中である場合、（４）は、音楽プレイヤ７がメインで動作中の場合の表示例を示した図。 電源投入（オン）に伴って実行開始される携帯電話機の全体動作の概要を示したフローチャート。 図６に続く動作を示したフローチャート。 図７に続く動作を示したフローチャート。 図７に続く動作を示したフローチャート。 タッチ操作に応答して実行される座標位置検出処理（図６のステップＡ１０、図９のステップＡ４２など）を詳述するためのフローチャート。

符号の説明

１ 制御部
３ 記憶部
４ メイン操作部
５ 通信部
７ 音楽プレイヤ
８ サウンドスピーカ
９ 表示部
１０ 座標位置検出部
１１ 撮像部
１２ 集音部
１３ 筐体動作検出部
１４ スタイル検出部
ＴＤ タッチ画面
ＦＭ フラグメモリ
ＭＴ 動作テーブル
ＭＦ 動作中フラグ
ＤＦ 検出部フラグ
ＳＦ スタイルフラグ

Claims (4)

1. タッチ画面を備える表示部および各種入力操作が為される操作部を有し、音関連機能を含む複数の機能を並行して動作可能な端末装置において、
   フォアグランド処理として動作中の機能に並行して音関連機能がバックグラウンド処理として動作中であるか否かを判別する判別手段と、
   使用者の動作として定義された仕方の異なる各種タッチ操作を表すデータと音関連機能に対する各種操作内容とを対応付けて記憶する記憶手段と、
   前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、表示部への表示出力および操作部からの操作入力を、前記フォアグランド処理として動作中の機能に割り当てる第１の制御手段と、
   前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、タッチ画面を備える表示部において行われるタッチ操作の仕方に基づいて使用者の動作を検出する検出手段と、
   前記検出手段により使用者の動作として検出されたタッチ操作の仕方を表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得する取得手段と、
   前記取得手段により取得された操作内容の実行を、バックグラウンド処理として動作中の音関連機能に指示する第２の制御手段と
   を具備したことを特徴とする端末装置。
2. 使用者の動作として定義された各種身振りを表すデータと音関連機能に対する各種操作内容とを対応付けて前記記憶手段に記憶しておき、
   前記検出手段は、使用者を撮像した画像の解析結果に基づいて使用者の動作を検出し、
   前記取得手段は、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、前記検出手段により使用者の動作として検出された身振りを表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得することを特徴とする請求項１記載の端末装置。
3. 使用者の動作として定義された各種音声指示を表すデータと音関連機能に対する各種操作内容とを対応付けて前記記憶手段に記憶しておき、
   前記検出手段は、使用者の音声を集音して音声認識した結果に基づいて使用者の動作を検出し、
   前記取得手段は、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、前記検出手段により使用者の動作として検出された音声指示を表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得することを特徴とする請求項１記載の端末装置。
4. 使用者の動作として定義された装置筐体の各種振られ方を表すデータと音関連機能に対する各種操作内容とを対応付けて前記記憶手段に記憶しておき、
   前記検出手段は、装置筐体の振られ方に基づいて使用者の動作を検出し、
   前記取得手段は、前記判別手段によって音関連機能がバックグラウンド処理として動作中であると判別された場合に、前記検出手段により使用者の動作として検出された振られ方を表すデータに対応付けられた音関連機能に対する操作内容を前記記憶手段から取得することを特徴とする請求項１記載の端末装置。

Images