JPWO2006046357A1 - 情報出力装置、情報出力制御方法、情報出力制御プログラム - Google Patents

情報出力装置、情報出力制御方法、情報出力制御プログラム Download PDF

Info

Publication number
JPWO2006046357A1
JPWO2006046357A1 JP2006542273A JP2006542273A JPWO2006046357A1 JP WO2006046357 A1 JPWO2006046357 A1 JP WO2006046357A1 JP 2006542273 A JP2006542273 A JP 2006542273A JP 2006542273 A JP2006542273 A JP 2006542273A JP WO2006046357 A1 JPWO2006046357 A1 JP WO2006046357A1
Authority
JP
Japan
Prior art keywords
output
information
state
media
media stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006542273A
Other languages
English (en)
Other versions
JP4384179B2 (ja
Inventor
浩司 幡野
浩司 幡野
哲也 牛島
哲也 牛島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006046357A1 publication Critical patent/JPWO2006046357A1/ja
Application granted granted Critical
Publication of JP4384179B2 publication Critical patent/JP4384179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)

Abstract

出力装置と接続する機器の違い、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させ、利便性を向上させる。 メディアストリームの状態を検知するメディア状態検知手段15、25、35、45が制御部90にメディア状態検知信号を送信し、出力手段51とメディアストリームを視認または聴取可能に提示する提示装置との接続状態を検知する接続状態検知手段62、72、82が制御部90に接続状態検知信号を送信する。制御部90はメディアストリームの優先的な出力状態を規定する優先出力情報931とメディア状態検知信号と接続状態検知信号に基づいて出力状態を決定し、出力手段51はメディアストリームを提示装置に出力する。

Description

本発明は映像音響データの出力機能を有する情報出力装置に関するものである。
近年、携帯電話端末の多機能化が進み、通話機能や電子メールの送受信機能以外に、テレビ放送やラジオ放送などを受信する機能が備えられ、テレビ放送やラジオ放送などのコンテンツを視聴する機能や、メモリーカードなどに記憶された映画や音楽などのコンテンツを再生する機能などを備えるようになってきている。このような携帯電話端末においては、コンテンツ再生中にも通話することができるので、コンテンツの再生を中断することなく通話によるコミュニケーションを行うことができる(例えば、特許文献1参照)。
このような従来のコンテンツ再生機能を備えた携帯電話端末においてコンテンツ再生中に着信があった場合、接続されたステレオヘッドホンの片側のスピーカーからコンテンツ再生音を出力し、もう一方のスピーカーから通話音声を出力するようにしたものである。
これによりユーザは、コンテンツ再生音と通話音声の両方を混乱なく同時に認識することが可能となっている。(例えば、特許文献1参照)。
特開2002−27029号公報
しかしながら、上記従来の携帯電話端末にあっては、携帯電話端末に接続された音響機器の種類によってはコンテンツ再生音と通話音声とを区別して、同時に聴取する事ができない場合があった。
たとえば上記携帯電話端末から再生される音声は、ステレオヘッドホンからモノラルイヤホンに変更した場合には、コンテンツ音と通話音声の両者が重畳されて再生されてしまう。あるいはコンテンツ再生音と通話音声のいずれか一方だけが再生されてしまう。このように、ユーザは、コンテンツ再生音と通話音声とを区別して、同時に聴取する事ができなかった。このため、ユーザは、再生コンテンツの聴取と通話とを同時に行うことが困難であった。
また、携帯電話端末に接続する音響機器の機能や性能に応じた最適な提示方法を自動的に選択するものではなかった。
たとえば、高性能なヘッドホンを接続した場合には音楽コンテンツをヘッドホンに、通話音声を端末の内蔵スピーカーに出力する。または、通話専用のモノラルヘッドホンとマイクがセットになったヘッドセットを接続した場合には通話音声をヘッドセットに、音楽コンテンツを端末の内蔵スピーカーに出力する。このように、接続する機器の機能や性能に応じて出力の状態を自動的に切替えることができなかった。
本発明は、上記従来の課題を解決するものであり、携帯電話端末と接続する音響機器、および出力するメディアストリームの組合せに応じて出力方法を最適にすることができることができる情報出力装置を提供することを目的としている。
また本発明は、上記従来の課題を解決するものであり、携帯電話端末と接続する音響機器、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させる出力制御方法を提供することを目的としている。
また本発明は、上記従来の課題を解決するものであり、携帯電話端末と接続する音響機器、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させる情報出力制御プログラムを提供することを目的としている。
なお、本明細書中に表記するメディアストリームとは、少なくとも画像または音または振動に変換可能で時系列に配置された一連のデータ列を指す。例として通話音声やテレビ放送やラジオ放送、メモリーカードなどに記憶した動画や音楽などの映像や音響やバイブレーションパターンなどが想定される。
前記従来の課題を解決するために、本発明の情報出力装置は、メディアストリームの状態を検知し第1の検知信号を送出するメディア状態検知手段と、前記メディアストリームを提示する提示装置の接続状態を検知し第2の検知信号を送出する接続状態検知手段と、前記メディア状態検知手段から出力された第1の検知信号と前記メディアストリーム接続状態検知手段から出力された第2の検知信号とに基づき前記メディアストリームの出力状態を決定するメディアストリーム出力状態決定手段と、前記メディアストリーム出力状態決定手段の指示に基づき前記メディアストリームを前記提示装置に出力する出力手段とを有する。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて変化させることができるため、利便性を向上させることができる。
また本発明の情報出力装置は、前記メディア状態検知手段が1ないしは複数のメディアストリームの状態を検知し第1の検知信号を送出することを特徴とするものである。上記構成によれば、メディアストリームそれぞれの状態に応じて、提示装置の出力を変化させることができるため、利便性を向上させることができる。
また本発明の情報出力装置は、前記接続状態検知手段が1ないしは複数の提示装置の接続状態を検知して第2の検知信号を送出し、前記メディアストリーム出力状態決定手段は、前記メディアストリームを前記複数の提示装置の一つに出力することを決定する構成をとる。上記構成によれば、1ないしは複数のメディアストリームを複数の提示装置のなかの一つの提示装置にまとめて出力させることができるため、1箇所に情報をまとめることができるため利便性を向上する。
また本発明の情報出力装置は、前記接続状態検知手段が複数の提示装置の接続状態を検知し第2の検知信号を送出し、前記メディアストリーム出力状態決定手段は前記メディアストリームを前記複数の提示装置に出力することを決定する構成を有する。上記構成によれば、1ないしは複数のメディアストリームをそれぞれの提示装置に出力することができるため、ひとつひとつのメディアストリームの情報がより明確に識別可能となる。
また、本発明の情報出力装置は、前記メディアストリームの出力状態を規定する優先出力情報に基づいて前記出力状態を決定することを特徴とするものである。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力装置は、前記優先出力情報を設定する設定手段を備えるものである。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの好みを反映して最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力装置は、前記情報出力装置への操作入力を検出して操作入力情報を出力する操作入力受付手段を備え、当該操作入力情報に基づいて前記出力状態を決定することを特徴とするものである。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの選択に応じて柔軟に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、メディアストリームを出力する出力制御方法であって、メディアストリームの状態を検知する工程と、検知した前記メディアストリームの状態を第1の検知信号として送出する工程と、前記メディアストリームを提示する提示装置の接続状態を検知する工程と、検知した前記提示装置の接続状態を第2の検知信号として送出する工程と、前記第1の検知信号と前記第2の検知信号とに基づき前記メディアストリームの出力状態を決定する工程と、前記メディアストリームを前記出力状態に基づき前記提示装置に出力する工程を有する。上記方法によればメディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、前記メディアストリームの出力状態を規定する優先出力情報に基づいて前記メディアストリームの出力状態を決定するものである。上記方法によれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、前記優先出力情報を変更する工程を含むものである。上記方法によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの好みを反映して最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、操作入力を検知して操作入力情報を出力する工程と、前記操作入力情報の出力に基づいて前記出力状態を決定するものである。上記方法によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの選択に応じて柔軟に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、メディアストリームを出力する情報出力制御プログラムであって、メディアストリームの状態を検知し、前記メディアストリームの状態を第1の検知信号として送出するステップと、前記メディアストリームを提示する提示装置の接続状態を検知するステップと前記提示装置の接続状態を第2の検知信号として送出するステップと、前記第1の検知信号と前記第2の検知信号とに基づき前記メディアストリームの出力状態を決定するステップと、前記メディアストリームを前記出力状態に基づき前記提示装置に出力するステップと、から成る情報出力制御プログラムである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、前記出力状態が、前記メディアストリームの優先的な出力状態を規定する優先出力情報に基づいて決定するものである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、前記優先出力情報を変更するステップを含むものである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、ユーザの好みを反映して最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、操作入力を検知するステップを有し、前記出力状態を、前記操作入力に基づいて決定するものである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、ユーザの選択に応じて柔軟に変化させることができるため、利便性を向上させることができる。
本発明によれば、情報出力装置に接続する提示装置の違い、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させることができ、利便性を向上させることができる。
本発明の実施の形態における携帯電話端末の簡略構成図 本発明の実施の形態における携帯電話端末の詳細構成図 本発明の実施の形態における携帯電話端末のフローチャート 本発明の実施の形態における携帯電話端末の優先出力情報を示す図 (a)本発明の実施の形態1における携帯電話端末で音楽コンテンツを再生しているイメージ図(b)音楽コンテンツを再生しながら通話を行うイメージ図 本発明の実施の形態1における携帯電話端末のシーケンス図 本発明の実施の形態1における携帯電話端末のメディア状態情報、接続状態情報、出力状態情報を示す図 本発明の実施の形態1における出力開始表示を示す図 (a)本発明の実施の形態2における携帯電話端末で音楽コンテンツを再生しているイメージ図(b)音楽コンテンツを再生しながら通話を行うイメージ図 本発明の実施の形態2における携帯電話端末シーケンス図 本発明の実施の形態2における携帯電話端末のメディア状態情報、接続状態情報、出力状態情報を示す図 本発明の実施の形態2における出力開始表示を示す図 (a)本発明の実施の形態3における携帯電話端末でTV放送受信のイメージ図(b)TV放送を受信しながら通話を行うイメージ図 本発明の実施の形態3における携帯電話端末のシーケンス図 本発明の実施の形態3における携帯電話端末のメディア状態情報、接続状態情報、出力状態情報を示す図 (a)本発明の実施の形態3における補助情報の表示を示す図(b)本発明の実施の形態3における出力開始表示を示す図 本発明の実施の形態3における操作入力情報の記述形式を示す図 (a)本発明の実施の形態4における「音質優先モード」を示す図(b)「外部出力優先モード」を示す図(c)「秘匿通話モード」を示す図 (a)本発明の実施の形態4における優先出力情報の選択画面図(b)設定処理画面図
符号の説明
1 携帯電話端末
102 接続状態検知手段
103 第2の検知信号
105 メディア状態検知手段
106 第1の検知信号
2 提示装置
10 無線通信部
11 無線通信手段
12 符号化手段
13 復号手段
15 第1メディア状態検知手段
20 着信音再生部
21 着信音再生手段
25 第2メディア状態検知手段
30 音楽再生部
31 音楽データ蓄積部
32 音楽再生手段
35 第3メディア状態検知手段
40 放送受信部
41 放送受信手段
42 分離手段
43 音声復号手段
44 画像復号手段
45 第4メディア状態検知手段
51 出力手段
52 内蔵マイク
53 表示手段
54 十字キー
55 操作入力受付手段
551 操作入力情報
56 設定手段
61 Bluetooth通信手段
62 第1接続状態検知手段
63 Bluetoothヘッドセット
71 ヘッドホンジャック
72 第2接続状態検知手段
73 ステレオヘッドホン
75 モノラルイヤホン
81 内蔵スピーカー
82 第3接続状態検知手段
90 制御部
91 出力先決定手段
92 状態情報保持手段
921 メディア状態情報
922 接続状態情報
923 出力状態情報
93 優先出力情報保持手段
931 優先出力情報
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。なお、実施の形態を説明するための全図において、同一の構成要素には同一符号を付与し、重複する説明は、省略する。
図1は、本発明の携帯電話端末の構成図である。図1に記載した構成要素のうち、携帯電話端末1が本発明の情報出力装置に該当する部分である。携帯電話端末1はメディア状態検知手段105、接続状態検知手段102、出力手段51、制御部90を備える。
提示装置2は携帯電話端末1に接続され、出力手段51が出力するメディアストリームを視認または聴取可能に提示する装置である。提示装置2は例えば、内蔵液晶ディスプレイ、外部接続したディスプレイ装置、LED、内蔵スピーカー、ヘッドセット、ステレオヘッドホンなどが考えられる。
メディア状態検知手段105は、出力手段51に入力されるメディアストリームの開始、再生中、終了などの状態を検知する。そして、メディア状態検知手段105は検知したメディアストリームの状態とメディアストリームの種類の情報を第1の検知信号106として制御部90に通知する。
接続状態検知手段102は、出力手段51と提示装置2との接続状態を検知する。そして、接続状態検知手段102は検知した接続状態と接続先の提示装置の種類などを第2の検知信号103として制御部90に通知する。接続状態とは、提示装置との接続が結合された状態、および離れた状態、また提示装置に備えられた音量調節器など調節器の状態など、提示装置と携帯電話端末1との接続状態である。
制御部90は、第1の検知信号106と第2の検知信号103に基づいて出力手段51の出力状態を決定して出力手段51に指示する。出力手段51は、入力されたメディアストリームを制御部90が決定した出力状態に基づいて提示装置2に出力する。
図2は、本発明の実施の形態を説明するための携帯電話端末1の内部構成をさらに詳しく示した構成図である。
無線通信部10は、無線回線網を介して他の情報装置との無線通信を司る部分である。
無線通信部10は、無線通信手段11、符号化手段12、復号手段13、第1メディア状態検知手段15を備える。無線通信手段11は、無線回線網との接続と切断および符号化した通話音声データの送受信を行うとともに、着信を検出して着信音再生手段21に通知する。また、無線通信手段11は、通話の開始と終了を検出し、第1メディア状態検知手段15に通知する。符号化手段12は、内蔵マイク52およびBluetooth通信手段61が出力する通話音声を符号化して無線通信手段11に出力する。復号手段13は、無線通信手段11が受信した通話音声データを復号し、得られた音声メディアストリームを出力手段51の入力チャンネルIN1に出力する。第1メディア状態検知手段15は、無線通信手段11からの通知に基づいて通話音声のメディア状態の情報を含むメディア状態検知信号16を出力先決定手段91に出力する。
着信音再生部20は、着信があったときに着信メロディ等の着信音を再生する機能をもつ部分である。着信音再生部20は着信音再生手段21、第2メディア状態検知手段25を備える。着信音再生手段21は、無線通信手段11からの着信の通知を受け、着信音を再生して出力手段51の入力チャンネルIN2に再生音のメディアストリームを出力するとともに、再生の開始と終了を第2メディア状態検知手段25に通知する。第2メディア状態検知手段25は、着信音再生手段21からの通知に基づいて着信音のメディア状態の情報を含むメディア状態検知信号26を出力先決定手段91に出力する。
音楽再生部30は、音楽コンテンツを再生する機能をもつ部分である。音楽再生部30は音楽データ蓄積部31、音楽再生手段32、第3メディア状態検知手段35を備える。
音楽データ蓄積部31は、音楽コンテンツのデータをAAC(Advanced Audio Coding)や、MP3(MPEG−1 Audio Layer3)などの圧縮形式で蓄積する。音楽再生手段32は、音楽データ蓄積部31が蓄積している音楽データを再生して出力手段51の入力チャンネルIN3に再生音のメディアストリームを出力するとともに、再生の開始と終了、および再生中のコンテンツのメディア種別を第3メディア状態検知手段35に通知する。第3メディア状態検知手段35は、音楽再生手段32からの通知に基づいて再生音のメディア状態の情報を含むメディア状態検知信号36を出力先決定手段91に出力する。
放送受信部40は、TVやラジオの放送を受信して再生する部分である。放送受信部40は放送受信手段41、分離手段42、音声復号手段43、画像復号手段44、第4メディア状態検知手段45を備える。放送受信手段41は、受信した放送波を検波して放送内容を含むMPEG4(Moving Picture Experts Group Phase 4)形式のプログラムストリームを分離手段42に出力する。分離手段42は、放送受信手段41が出力したプログラムストリームを音声データと画像データに分離し、音声復号手段43、画像復号手段44にそれぞれ出力する。音声復号手段43は、分離手段42が出力した音声データを復号して出力手段51の入力チャンネルIN4に復号音声のメディアストリームを出力するとともに、音声データの開始と終了、およびメディア種別を第4メディア状態検知手段45に通知する。画像復号手段44は、分離手段42が出力した画像データを復号して画像フレームごとのピックスマップデータを生成し、表示手段53に出力する。第4メディア状態検知手段45は、音声復号手段43からの通知に基づいて復号音声のメディア状態の情報を含むメディア状態検知信号46を出力先決定手段91に出力する。
なお、本発明の実施の形態において、第1メディア状態検知手段15、第2メディア状態検知手段25、第3メディア状態検知手段35、第4メディア状態検知手段45が図1のメディア状態検知手段105に該当する。メディア状態検知信号16、26、36、46が図1の第1の検知信号106に該当する。メディア状態検知信号16、26、36、46はメディア状態を含む。メディア状態は、メディアストリームが開始している/開始していないのいずれかの値と、メディアストリームのメディア種別との組合せによって定義される。前記の「メディア種別」とはメディアストリームの品質を分類した種別であり、「Hi−Fiステレオ」、「ステレオ」、「モノラル」、「モノラル通話」のいずれかの値をとる。
出力手段51は、出力先決定手段91が決定した出力状態の指示に従って、入力チャンネルIN1、IN2、IN3、IN4に入力されたメディアストリームを、出力チャンネルOUT1、OUT2、OUT3へ出力する。このとき、複数の入力チャンネルに入力されたメディアストリームを同一の出力チャンネルに同時に出力するよう指示された場合には、それらのメディアストリームを重畳して出力する。また、同一の入力チャンネルに入力されたメディアストリームを複数の出力チャンネルに同時に出力するよう指示された場合には、指定されたすべての出力チャンネルにそのメディアストリームを出力する。
なお、本発明の実施の形態において、出力状態は、入力されたメディアストリームをどの出力チャンネルに出力するか、すなわちメディアストリームの出力経路で定義される。
内蔵マイク52は、通話時にユーザが発する音声を電気信号に変換して符号化手段12に出力する。表示手段53は、画像復号手段44から出力されるピックスマップデータを表示したり、出力先決定手段91の指示により、メッセージや選択項目等を表示してユーザに提示する。十字キー54は、ユーザの操作を入力するための操作子である。操作入力受付手段55は、十字キー54の操作による操作入力を受け付けて操作入力情報551を出力先決定手段91に出力する。設定手段56は、十字キー54の操作による操作入力を受け付けて、優先出力情報保持手段93が保持する優先出力情報931を設定する。
Bluetooth通信手段61はBluetooth通信機能を有するヘッドセット63と通信し、出力手段51の出力チャンネルOUT1に出力される音声をヘッドセット63に、ヘッドセット63に入力された音声を符号化手段12にそれぞれ出力するとともに、ヘッドセット63との通信接続の開始と終了を第1接続状態検知手段62に通知する。第1接続状態検知手段62は、Bluetooth通信手段61からの通知に基づいてヘッドセット63の接続状態の情報を含む接続状態検知信号64を出力先決定手段91に出力する。
ヘッドホンジャック71は、ステレオヘッドホン73またはモノラルイヤホン75を出力手段51に接続するための端子であり、出力手段51の出力チャンネルOUT2に出力される音声を出力するとともに、ステレオヘッドホン73やモノラルイヤホン75が着脱されたことを第2接続状態検知手段72に通知する。第2接続状態検知手段72は、ヘッドホンジャック71からの通知に基づいて、ステレオヘッドホン73とモノラルイヤホン75の接続状態の情報を含む接続状態検知信号74を出力先決定手段91に出力する。
内蔵スピーカー81は、出力手段51の出力チャンネルOUT3に出力される音声メディアストリームを聴取可能な音声に変換して放音する。また、内蔵スピーカー81は、放音可能な状態であるかどうかを第3接続状態検知手段82に通知する。マナーモードの設定により内蔵スピーカー81がオフになった場合には、放音できないことを第3接続状態検知手段82に通知する。第3接続状態検知手段82は、内蔵スピーカー81からの通知に基づいて、内蔵スピーカー81の接続状態の情報を含む接続状態検知信号84を出力先決定手段91に出力する。
なお、本発明の実施の形態において、ヘッドセット63、ステレオヘッドホン73、モノラルイヤホン75、内蔵スピーカー81が図1の提示装置2に該当する。また、第1接続状態検知手段62、第2接続状態検知手段72、第3接続状態検知手段82が図1の接続状態検知手段102に該当する。また、接続状態は、出力手段51にどの提示装置が接続されているかで定義される。なお、提示装置は携帯電話端末に内蔵されるもの、アダプターを通して接続されるもの、Blootooth通信による接続されるものの他にUSB接続のヘッドセットやスピーカー、IrDAなどの近距離通信による接続のものなどでもよい。
制御部90は出力先決定手段91、状態情報保持手段92、優先出力情報保持手段93を備える。出力先決定手段は状態情報保持手段92、優先出力情報保持手段93の情報に基づいてメディアストリームの出力状態を決定し、決定した出力状態を出力手段51に出力する。
状態情報保持手段92は、携帯電話端末1の状態を表すメディア状態情報921、接続状態情報922、および出力状態情報923を保持する。メディア状態情報921は、出力手段51の入力チャンネルIN1〜IN4の全メディア状態を記述した情報であり、メディア状態検知信号16、26、36、46のメディア状態に基づいて作成、更新される。接続状態情報922は、出力手段51の出力チャンネルOUT1〜OUT3の全接続状態を記述した情報であり、接続状態検知信号64、74、84の接続状態に基づいて作成、更新される。出力状態情報923は、現在の出力状態を表す情報であり、出力手段51の入力チャンネルIN1〜IN4に入力されているメディアストリームがどの出力チャンネルに出力されているかを記述した情報である。優先出力情報保持手段93は、優先出力情報931を保持する。
出力先決定手段91は、メディア状態検知信号16、26、36、46のメディア状態と、接続状態検知信号64、74、84の接続状態と、優先出力情報保持手段93が保持する優先出力情報931と、操作入力受付手段55が出力する操作入力情報551に基づいて、出力手段51の出力状態を決定する。そして、出力先決定手段91は出力手段51に出力状態の更新を指示する。また、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、出力状態情報923の更新も行う。
図3は、本発明の実施の形態における携帯電話端末のメディア状態検知手段がメディア状態の変化を検知した時、または接続状態検知手段が提示装置と接続状態との変化を検知した時の制御動作手順を示すフローチャートである。出力先決定手段91は受信した信号がメディア状態検知信号か接続状態検知信号かにより処理を分岐する(ステップS1001)。メディア状態検知信号を検出した場合、状態情報保持手段92が保持するメディア状態情報921をメディア状態検知信号に基づいて更新する(ステップS1002)。接続状態検知信号を検出した場合、状態情報保持手段92が保持する接続状態情報922を接続状態検知信号に基づいて更新する(ステップ1003)。
ステップS1004〜ステップS1014では、出力状態を決定する処理を行う。まず、出力先決定手段91はチャンネルを表す変数Cに入力チャンネルIN1をセットする(ステップS1004)。次に、出力先決定手段91は状態情報保持手段92が保持するメディア状態情報921を参照し、チャンネルC、すなわち入力チャンネルIN1にメディアストリームが入力されている状態であるかどうかを調べる(ステップS1005)。入力されている状態とは、通話が開始されている状態、着信音が再生されている状態、音楽コンテンツが再生されている状態、音声データが開始されている状態などである。チャンネルCにメディアストリームが入力されている場合はメディア状態情報から入力中のメディアストリームの種別を取得し、メディアストリームの種別を変数Mに代入する(ステップS1006)。そして、状態情報保持手段92が保持する接続状態情報922と、優先出力情報保持手段93が保持する優先出力情報931を参照し、接続されている提示装置2のうちでメディア種別Mの優先度が最も高い提示装置を、提示装置を表す変数Dに代入する(ステップS1007)。このとき、メディア種別Mの優先度が最も高い装置Dが複数ある場合(ステップS1008)、そのメディアストリームをどの提示装置に出力するかの選択肢と入力を促すテキスト(=補助情報)の表示を表示手段53に指示する(ステップS1009)。
続いて、ユーザが十字キー54を操作することにより選択肢を選択すると、操作入力受付手段55が選択操作を受け付けて出力する操作入力情報551を受け取る(ステップS1010)。出力先決定手段91は受け取った操作入力情報551から提示装置名を抽出して変数Dに代入する(ステップS1011)。ここで、出力先決定手段91は、提示装置Dが接続されている出力手段51の出力チャンネル(OUT1〜OUT3のいずれか)に、入力チャンネルCに入力されているメディアストリームを出力するという情報を、状態情報保持手段92が保持する出力状態情報923に記憶する(ステップS1012)。
すべての入力チャンネルについてステップS1006〜ステップS1012の処理が完了していない場合は(ステップS1013)、出力先決定手段91は次の入力チャンネルをCとして(ステップS1014)、ステップS1005に戻り同様の処理を行う。
出力手段51のすべての入力チャンネルについてステップS1004〜ステップS1014の処理が完了すると、出力先決定手段91は出力状態情報923に従って出力状態を更新するよう出力手段51に指示する(ステップS1015)。また、出力先決定手段91はステップS1015の指示により新たに出力を開始した提示装置について、出力を開始した旨を表示するよう表示手段53に指示する(ステップS1016)。
図4は、本発明の実施の形態における優先出力情報931を示す図である。縦方向の見出しは出力手段51に接続される提示装置を示し、横方向の見出しは出力手段51の入力となるメディアストリームの種別を示す。各欄の数値は、各提示装置に対するメディアストリームの種別ごとの出力優先度を示す。数値0が最も低優先度であり、3が最も高優先度であることを表す。たとえば、ヘッドセットに対してはモノラル通話(優先度3)を最も優先的に出力し、Hi−Fiステレオ(優先度0)を最も低い優先度で出力することを示している。
以下では、本発明の実施の形態における携帯電話端末における、メディア状態および接続状態が変化した際の動作を、図5〜図17を用いて説明する。
(第1の実施の形態)
実施の形態1では、携帯電話端末で音楽コンテンツを再生している最中に着信があり、通話を行う。通話中に、Bluetoothヘッドセットを携帯電話端末に接続すると、音楽を内蔵スピーカーで、通話音声をヘッドセットで聴取することができるよう、出力状態を自動的に切り替えるものである。
図5は、本発明の実施の形態1における携帯電話端末の利用イメージの説明図である。
携帯電話端末1で再生している音楽が内蔵スピーカー81から放音され、ユーザがそれを聴いている(図5(a))時、着信がある。このとき、ユーザはBluetoothヘッドセット63の電源をオンすることによりヘッドセット63と携帯電話端末1との通信を確立し、ヘッドセット63から放音される通話音声を聴くとともに、内蔵スピーカー81から放音される音楽を継続して聴いている(図5(b))。
図6は、実施の形態1における携帯電話端末の処理シーケンス図である。図6の中で、斜線のハッチングを施した部分は、その箇所で制御部90が先に説明した図3のフローチャートを実行していることを表している。また、図7は、実施の形態1における携帯電話端末の処理において、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、および出力状態情報923が、処理が進むにつれてどう変化するかを示した図である。図7中に示す各ステップ番号は、図6のシーケンスに付与したステップ番号に対応している。空欄となっている箇所は、前ステップから内容が変化していないことを表す。また、メディア状態、接続されている装置、出力内容の欄の「−」は、値が設定されていないことを表す。
以下、図6、図7を用いて実施の形態1における携帯電話端末の処理の流れを説明する。まず、初期状態では、メディア状態情報921は図7の1100aに示す状態となっている。すなわち、出力手段51の入力チャンネルIN1〜IN4にメディアストリームは入力されていない。接続状態情報922は1100bに示す状態となっている。すなわち、出力手段51の出力チャンネルOUT3に内蔵スピーカーが接続されて放音可能となっており、その他の出力チャンネル(OUT1、OUT2)には提示装置は接続されていない。出力状態情報923は1100cに示す状態となっている。すなわち、出力チャンネルOUT1〜OUT3には何も出力されていない。
音楽再生の開始(ステップS101)により、音楽再生手段32が出力する音楽コンテンツ(メディア種別=「Hi−Fiステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN3に入力される(ステップS102、S103)。第3メディア状態検知手段35は、音楽再生が開始したことを検知し(ステップS104)、制御部90に対してメディア状態検知信号36を送信する(ステップS105)。ステップS106で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1106aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図7の1106cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN3に入力されているメディアストリームを出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報1106cに従って出力手段51に出力状態更新を指示すると(ステップS107)、出力手段51は出力状態を変更し(ステップS108)、出力チャンネルOUT3へ音楽コンテンツのメディアストリームを出力開始すると(ステップS109)、出力チャンネルOUT3に接続されている内蔵スピーカー81が音楽を放音する。図3のステップS1016では、内蔵スピーカー81に新たに出力を開始したので、その旨の表示を表示手段53に指示する(ステップS110)。
着信があると(ステップS111)、着信音再生手段21が着信音の再生を開始し、着信音(メディア種別=「ステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN2に入力される(ステップS112、S113)。第2メディア状態検知手段25は、着信音再生が開始したことを検知し(ステップS114)、制御部90に対してメディア状態検知信号26を送信する(ステップS115)。ステップS116で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1116aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図7の1116cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN2とIN3に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報1116cに従って出力手段51に出力状態更新を指示すると(ステップS117)、出力手段51は出力状態を変更し(ステップS118)、出力チャンネルOUT3へ音楽コンテンツと着信音のメディアストリームを重畳して出力開始すると(ステップS119)、内蔵スピーカー81が音楽と着信音を重畳した状態で放音する。
オフフック操作があると(ステップS120)、復号手段13が出力する通話音声(メディア種別=「モノラル通話」)のメディアストリームが、出力手段51の入力チャンネルIN1に入力される(ステップS121)とともに、着信音の再生が停止する(ステップS122)。第1メディア状態検知手段15は、通話の開始を検知し(ステップS124)、制御部90に対してメディア状態検知信号16を送信する(ステップS125)。ステップS126で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1126aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図7の1126cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1とIN3に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報1126cに従って出力手段51に出力状態更新を指示すると(ステップS127)、出力手段51は出力状態を変更し(ステップS128)、出力チャンネルOUT3へ音楽コンテンツと通話音声のメディアストリームを重畳して出力開始すると(ステップS129)、内蔵スピーカー81が音楽と通話音声を重畳した状態で放音する。
Bluetoothヘッドセット63の電源がオンとなり、Bluetooth通信手段61がヘッドセット63との通信の確立を第1接続状態検知手段62に通知すると(ステップS130)、第1接続状態検知手段62は制御部90に対して接続状態検知信号64を送信する(ステップS131)。ステップS132で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1132bに示すよう接続状態情報922を更新する。すなわち、出力手段51の出力チャンネルOUT1にヘッドセットが、OUT3に内蔵スピーカーがそれぞれ接続されて放音可能となっていることを示すよう更新する。
続いて、ステップS1004〜S1014の処理を実行するが、C=IN1の場合のステップS1007の処理において、メディア種別M(=「モノラル通話」)の優先度が最も高い装置Dとしてヘッドセットが選択される。なぜなら、図4の優先出力情報931の「モノラル通話」の列に記されているヘッドセットの優先度「3」は、内蔵スピーカーの優先度「2」に比較して高い優先度を示しているからである。以上の判断に基づいて出力状態を決定し、図7の1132cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1に入力されている通話音声のメディアストリームを出力チャンネルOUT1へ、入力チャンネルIN3に入力されている音楽のメディアストリームを出力チャンネルOUT3へそれぞれ出力するよう更新する。
ステップS1015の処理で、出力状態情報1132cに従って出力手段51に出力状態更新を指示すると(ステップS133)、出力手段51は出力状態を変更し、出力チャンネルOUT1へ通話音声のメディアストリームを(ステップS134)、出力チャンネルOUT3へ音楽のメディアストリームを(ステップS135)それぞれ出力開始する。
その結果、ヘッドセット63から通話音声が、内蔵スピーカー81から音楽がそれぞれ放音される。ヘッドセット63が新たに出力を開始したので、ステップS1016でその旨の表示を表示手段53に指示する(ステップS136)。ステップS136における表示手段53の表示出力を図8に示す。
以上、本発明の実施の形態1では、携帯電話端末で音楽コンテンツを再生している最中に着信があり通話を行う際に、Bluetoothヘッドセットを携帯電話端末に接続すると、音楽を内蔵スピーカーで、通話音声をヘッドセットで聴取することができるよう、出力状態を自動的に切り替える。
このように本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、出力手段に入力されるメディアストリームの状態を検知し、提示装置と出力手段との接続状態を検知し、検知の結果と優先出力情報に基づいて出力手段の出力状態を決定している。これにより、出力するメディアストリームの組合せと提示装置の接続の状態に応じて、メディアストリームの提示状態を自動的に変化させることができるので、ユーザはわずらわしい切替え操作をせずに最適な状態で視聴を続けることができ、利便性が向上する。
また、本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、音楽再生音と着信音の二つのストリーミングを同一の提示装置である内蔵スピーカーに重畳して出力することにより、音楽再生中であっても着信が合ったことに気がつきやすくなり、ユーザの利便性が向上する。
また、本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、音楽再生音と通話音の二つのストリーミングを内蔵スピーカーとBluetoothヘッドセットに分けて出力することにより、音楽再生中であっても通話音を明瞭に聞き分けて通話することができ、ユーザの利便性が向上する。
(第2の実施の形態)
本発明の実施の形態2では、携帯電話端末で音楽コンテンツを再生してステレオヘッドホンで聴いている最中に着信があり、ユーザがオフフックボタンを押すと、音楽をステレオヘッドホンで聴きながら通話音声を内蔵スピーカーで聴くことができるよう、出力状態を自動的に切り替えるものである。
図9は、本発明の実施の形態2における携帯電話端末の利用イメージの説明図である。
携帯電話端末1で再生している音楽がステレオヘッドホン73から放音され、ユーザがそれを聴いている(図9(a))時、着信があり、ユーザはオフフックボタンを押し、携帯電話端末1を耳に当てた状態で、内蔵スピーカー81から放音される通話音声をステレオヘッドホン73ごしに聴きながら通話している(図9(b))。
図10は、実施の形態2における携帯電話端末の処理シーケンス図である。また、図11は、実施の形態2における携帯電話端末の処理において、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、および出力状態情報923が、処理が進むにつれてどう変化するかを示した図である。
以下、図10、図11を用いて実施の形態2における携帯電話端末の処理の流れを説明する。まず、初期状態では、メディア状態情報921は図11の2200aに示す状態となっている。すなわち、出力手段51の入力チャンネルIN1〜IN4にメディアストリームは入力されていない。接続状態情報922は2200bに示す状態となっている。すなわち、出力手段51の出力チャンネルOUT2にステレオヘッドホンが、OUT3に内蔵スピーカーがそれぞれ接続されて放音可能となっており、その他の出力チャンネル(OUT1)には提示装置は接続されていない。出力状態情報923は2200cに示す状態となっている。すなわち、出力チャンネルOUT1〜OUT3には何も出力されていない。
音楽再生の開始(ステップS201)により、音楽再生手段32が出力する音楽コンテンツ(メディア種別=「Hi−Fiステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN3に入力される(ステップS202、S203)。第3メディア状態検知手段35は、音楽再生が開始したことを検知し(ステップS204)、制御部90に対してメディア状態検知信号36を送信する(ステップS205)。ステップS206で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図11の2206aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図11の2206cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN3に入力されているメディアストリームを出力チャンネルOUT2へ出力するよう更新する。
ステップS1015の処理で、出力状態情報2206cに従って出力手段51に出力状態更新を指示すると(ステップS207)、出力手段51は出力状態を変更し(ステップS208)、出力チャンネルOUT2へ音楽コンテンツのメディアストリームを出力開始すると(ステップS209)、出力チャンネルOUT2に接続されているステレオヘッドホン73が音楽を放音する。図3のステップS1016では、ヘッドホン73に新たに出力を開始したので、その旨の表示を表示手段53に指示する(ステップS210)。
着信があると(ステップS211)、着信音再生手段21が着信音の再生を開始し、着信音(メディア種別=「ステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN2に入力される(ステップS212、S213)。第2メディア状態検知手段25は、着信音再生が開始したことを検知し(ステップS214)、制御部90に対してメディア状態検知信号26を送信する(ステップS215)。ステップS216で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図11の2216aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図11の2216cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN2とIN3に入力されているメディアストリームを重畳して出力チャンネルOUT2へ出力するよう更新する。
ステップS1015の処理で、出力状態情報2216cに従って出力手段51に出力状態更新を指示すると(ステップS217)、出力手段51は出力状態を変更し(ステップS218)、出力チャンネルOUT2へ音楽コンテンツと着信音のメディアストリームを重畳して出力開始すると(ステップS219)、ステレオヘッドホン73が音楽と着信音を重畳した状態で放音する。
オフフック操作があると(ステップS220)、復号手段13が出力する通話音声(メディア種別=「モノラル通話」)のメディアストリームが、出力手段51の入力チャンネルIN1に入力される(ステップS221)とともに、着信音の再生が停止する(ステップS222)。第1メディア状態検知手段15は、通話の開始を検知し(ステップS224)、制御部90に対してメディア状態検知信号16を送信する(ステップS225)。ステップS226で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図11の2226aに示すようメディア状態情報921を更新する。
続いて、ステップS1004〜S1014の処理を実行するが、C=IN1の場合のステップS1007の処理において、メディア種別M(=「モノラル通話」)の優先度が最も高い装置Dとして内蔵スピーカーが選択される。なぜなら、図4の優先出力情報931の「モノラル通話」の列に記されている内蔵スピーカーの優先度「2」は、ステレオヘッドホンの優先度「1」に比較して高い優先度を示しているからである。以上の判断に基づいて出力状態を決定し、図11の2226cに示すよう出力状態情報923を更新する。
すなわち、入力チャンネルIN1に入力されているメディアストリームを出力チャンネルOUT3へ、IN3に入力されているメディアストリームをOUT2へ、それぞれ出力するよう更新する。
ステップS1015の処理で、出力状態情報2226cに従って出力手段51に出力状態更新を指示すると(ステップS227)、出力手段51は出力状態を変更し(ステップS228)、出力チャンネルOUT2へ音楽コンテンツのメディアストリームを(ステップS229)、OUT3へ通話音声のメディアストリームを(ステップS230)それぞれ出力開始すると、内蔵スピーカー81が通話音声を放音し、ヘッドホン73が音楽を放音する。内蔵スピーカー81が新たに出力を開始したので、ステップS1016でその旨の表示を表示手段53に指示する(ステップS231)。このときの表示出力を図12に示す。
以上、本発明の実施の形態における実施の形態2では、携帯電話端末で音楽コンテンツを再生してステレオヘッドホンで聴いている最中に着信があり、ユーザがオフフックボタンを押すと、音楽をステレオヘッドホンで聴きながら通話音声を内蔵スピーカーで聴くことができるよう、出力状態を自動的に切り替える。
(第3の実施の形態)
本発明の実施の形態3では、提示装置の接続状態を変更した際、優先度の競合する出力状態を選択肢としてユーザに提示して選択させ、ユーザの選択に基づいて出力状態を切り替えるものである。
図13は、本発明の実施の形態3における携帯電話端末の利用イメージの説明図である。携帯電話端末1がTV放送を受信し、TV音声が内蔵スピーカー81から放音され、ユーザがそれを聴いている(図13(a))時、着信があり、ユーザはモノラルイヤホン75を携帯電話端末1のヘッドホンジャック71に接続し、モノラルイヤホン75から放音される通話音声を聴くとともに、内蔵スピーカー81から放音されるTV音声を継続して聴いている(図13(b))。
図14は、実施の形態3における携帯電話端末の処理シーケンス図である。また、図15は、実施の形態3における携帯電話端末の処理において、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、および出力状態情報923が、処理が進むにつれてどう変化するかを示した図である。
以下、図14、図15を用いて実施の形態3における携帯電話端末の処理の流れを説明する。まず、初期状態では、メディア状態情報921は図15の3300aに示す状態となっている。すなわち、出力手段51の入力チャンネルIN1〜IN4にメディアストリームは入力されていない。接続状態情報922は3300bに示す状態となっている。すなわち、出力手段51の出力チャンネルOUT3に内蔵スピーカーが接続されて放音可能となっており、その他の出力チャンネル(OUT1、OUT2)には提示装置は接続されていない。出力状態情報923は3300cに示す状態となっている。すなわち、出力チャンネルOUT1〜OUT3には何も出力されていない。
TV放送受信の開始(ステップS301)により、音声復号手段43が出力するTV音声(メディア種別=「モノラル」)のメディアストリームが、出力手段51の入力チャンネルIN4に入力される(ステップS302、S303)。第4メディア状態検知手段45は、TV音声の出力が開始したことを検知し(ステップS304)、制御部90に対してメディア状態検知信号46を送信する(ステップS305)。ステップS306で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3306aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図15の3306cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN4に入力されているメディアストリームを出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報3306cに従って出力手段51に出力状態更新を指示すると(ステップS307)、出力手段51は出力状態を変更し(ステップS308)、出力チャンネルOUT3へTV音声のメディアストリームを出力開始すると(ステップS309)、出力チャンネルOUT3に接続されている内蔵スピーカー81がTV音声を放音する。図3のステップS1016では、内蔵スピーカー81に新たに出力を開始したので、その旨の表示を表示手段53に指示する(ステップS310)。
着信があると(ステップS311)、着信音再生手段21が着信音の再生を開始し、着信音(メディア種別=「ステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN2に入力される(ステップS312、S313)。第2メディア状態検知手段25は、着信音再生が開始したことを検知し(ステップS314)、制御部90に対してメディア状態検知信号26を送信する(ステップS315)。ステップS316で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3316aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図15の3316cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN2とIN4に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報3316cに従って出力手段51に出力状態更新を指示すると(ステップS317)、出力手段51は出力状態を変更し(ステップS318)、出力チャンネルOUT3へTV音声と着信音のメディアストリームを重畳して出力開始すると(ステップS319)、内蔵スピーカー81がTV音声と着信音を重畳した状態で放音する。
オフフック操作があると(ステップS320)、復号手段13が出力する通話音声(メディア種別=「モノラル通話」)のメディアストリームが、出力手段51の入力チャンネルIN1に入力される(ステップS321)とともに、着信音の再生が停止する(ステップS322)。第1メディア状態検知手段15は、通話の開始を検知し(ステップS324)、制御部90に対してメディア状態検知信号16を送信する(ステップS325)。ステップS326で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3326aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図15の3326cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1とIN4に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報3326cに従って出力手段51に出力状態更新を指示すると(ステップS327)、出力手段51は出力状態を変更し(ステップS328)、出力チャンネルOUT3へTV音声と通話音声のメディアストリームを重畳して出力開始すると(ステップS329)、内蔵スピーカー81がTV音声と通話音声を重畳した状態で放音する。
モノラルイヤホン75がヘッドホンジャック71に接続されると、第2接続状態検知手段72がそれを検知し(ステップS330)、第2接続状態検知手段72は制御部90に対して接続状態検知通知74を送信する(ステップS331)。ステップS332で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3332bに示すよう接続状態情報922を更新する。すなわち、出力手段51の出力チャンネルOUT2にモノラルイヤホンが、OUT3に内蔵スピーカーがそれぞれ接続されて放音可能となっていることを示すよう更新する。
続いて、ステップS1004〜S1014の処理を実行するが、C=IN1の場合のステップS1007の処理において、メディア種別M(=「モノラル通話」)の優先度が最も高い装置Dにモノラルイヤホンと内蔵スピーカーの2個が該当する。なぜなら、図4の優先出力情報931の「モノラル通話」の列に記されているモノラルイヤホンの優先度「2」と、内蔵スピーカーの優先度「2」とが同じ優先度を示しているからである。従って、ステップS1008の条件である「Dに該当する装置が2個以上ある」に合致するためステップS1009〜S1011の処理を実行することとなる。ステップS1009で制御部90は出力状態(装置)の選択肢と入力を促すテキストから成る補助情報の表示を表示手段53に指示する(ステップS333)。
ステップS333における表示手段53の表示出力を図16(a)に示す。入力を促すテキストの下に、出力状態の3通りの選択肢を表示している。「イヤホン」は通話音声をモノラルイヤホン75に出力する選択肢、「内蔵スピーカー」は内蔵スピーカー81に出力する選択肢、「イヤホン+内蔵スピーカー」はモノラルイヤホン75と内蔵スピーカー81の両方に出力する選択肢をそれぞれ示している。このとき、最後に出力手段51に接続された提示装置を接続状態情報922に基づいて求め、その提示装置に出力する選択肢の項目をフォーカスした(矩形で囲んだ)状態で表示する。本実施の形態では、モノラルイヤホンが最後に接続されたので、項目「イヤホン」をフォーカスした状態で表示している。ユーザは十字キー54の上端と下端を押下する操作により項目のフォーカスを移動することができる。さらに、十字キー54の中央部分を押下することでフォーカス状態の項目を選択決定することができる。ここでは、ユーザが項目「イヤホン」を選択決定したものとして以下の処理を説明する。
ユーザが選択肢を選択することで出力状態を選択する操作を行うと(ステップS334)、操作入力受付手段55が操作入力を検知して操作入力情報551を制御部90に通知する(ステップS335)。通知された操作入力情報551を図17に示す。操作入力情報551は、「select=」の文字列と、選択された項目に対応する提示装置名をダブルクオーテーションで囲んだ文字列とで構成された文字列である。図3のステップS1010で、制御部90は操作入力情報551を受け取り、ステップS1011で、受け取った操作入力情報551から提示装置名「モノラルイヤホン」を抽出して変数Dに代入する。
以上の処理により出力状態を決定し、図15の3332cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1に入力されている通話音声のメディアストリームを出力チャンネルOUT2へ、入力チャンネルIN4に入力されているTV音声のメディアストリームを出力チャンネルOUT3へそれぞれ出力するよう更新する。
ステップS1015の処理で、出力状態情報3332cに従って出力手段51に出力状態更新を指示すると(ステップS336)、出力手段51は出力状態を変更し、出力チャンネルOUT2へ通話音声のメディアストリームを(ステップS338)、出力チャンネルOUT3へTV音声のメディアストリームを(ステップS339)それぞれ出力開始する。その結果、モノラルイヤホン75から通話音声が、内蔵スピーカー81からTV音声がそれぞれ放音される。モノラルイヤホンが新たに出力を開始したので、ステップS1016でその旨の表示を表示手段53に指示する(ステップS340)。このときの表示出力を図16(b)に示す。
以上、本発明の実施の形態3においては、提示装置の接続状態を変更した際、優先度の競合する出力状態を選択肢としてユーザに提示して選択させ、ユーザの選択に基づいて出力状態を切り替える。
本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、メディアストリームの状態と、提示装置と出力手段との接続状態と、優先出力情報と、から求められる優先的な出力状態が2以上あるとき、出力状態の選択肢を提示して選択操作の操作入力を受け付け、入力結果に基づいて出力状態を決定している。これにより、優先的な出力状態の競合が生じた場合にユーザの判断に基づいて出力状態を決定できるので、状況に応じてユーザが視聴方法を柔軟に選択することができ、利便性が向上する。
(第4の実施の形態)
本発明の実施の形態4では、提示装置の優先出力情報931を設定する処理について図18と図19を用いて説明する。図18は互いに異なる優先出力情報931のバリエーションを示す図である。図18(a)は「音質優先モード」、図18(b)は「外部出力優先モード」、図18(c)は「秘匿通話モード」の優先出力情報である。
図18(a)の優先出力情報は、Hi−Fiステレオに対してステレオヘッドホンの優先度を他より極端に高く設定したもので、高音質のメディアストリームだけを他のメディアストリームと分離してステレオヘッドホンで再生する、音質重視の優先出力情報となっている。図18(b)の優先出力情報は、内蔵スピーカー以外の提示装置、すなわちメディアストリームを携帯電話端末の外部へ出力する提示装置の優先度を全体的に高く設定してあり、外部出力する提示装置が接続された場合には優先的に外部へ出力する、外部出力優先型の優先出力情報となっている。図18(c)の優先出力情報は、モノラル通話に対して外部出力する提示装置の優先度を高く設定したもので、外部出力する提示装置が接続されている場合には内蔵スピーカーから通話音声を出力せずに秘匿する優先出力情報となっている。
図18(a)、(b)、(c)の優先出力情報は設定手段56が保持しており、表示手段53に表示された優先出力情報の選択肢を、ユーザが十字キー54の操作により選択することで、優先出力情報931を所望のものに設定することができる。
図19(a)は、優先出力情報の選択画面である。「音質優先モード」は図18(a)の優先出力情報に対応し、「外部出力優先モード」は図18(b)の優先出力情報に対応し、「秘匿通話モード」は図18(c)の優先出力情報に対応する。ユーザは十字キー54の上端と下端を押下することでフォーカスを上下に移動することができ、十字キー54の中央部分を押下することでフォーカス状態の項目を選択決定することができる。選択操作は設定手段56が受け付け、選択結果に対応する優先出力情報を優先出力情報保持手段93に格納するとともに、設定処理が完了したことを知らせる図19(b)の表示を表示手段55に指示する。
本実施形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、設定手段によって優先出力情報を設定・変更することが可能になっている。これにより、ユーザが優先出力情報を設定・変更することができるので、ユーザの好みに応じた視聴方法を選ぶことができ、利便性が向上する。
なお、本実施の形態において、出力手段の入出力となるメディアストリームとしてオーディオメディアストリームを用いたが、これに限るものではなく、MIDI等の楽音シーケンス、パラメトリックオーディオや合成音声の生成パラメータ列等、聴覚的情報を含むストリームであれば何でもよい。また、映像、動画像、アニメーション、字幕等、視覚的情報を含むメディアストリームや、バイブレーターなど触感の情報を含むものであっても同様の効果が得られる。
なお、本実施の形態において、出力状態は、メディアストリームの出力経路で定義されるとしたが、これに限るものではなく、メディアストリームの音量、音質、チャンネル毎の出力バランス、主音声/副音声のどちらを出力するか、ステレオ/モノラルのどちらで出力するか、等で定義されるものであってもよい。また、映像の輝度、大きさ、フレームレートなどで定義されるものであってもよい。
なお、本実施の形態において、提示装置として内蔵スピーカー、ヘッドセット、ステレオヘッドホン、モノラルイヤホンを用いたが、これに限るものではなく、外部スピーカー、骨伝導モジュール、ディスプレイ、プロジェクター、バイブレーションモジュール等、メディアストリームを視覚的または聴覚的または触覚的に認知可能に提示する装置であれば何でもよい。
なお、本実施の形態において、提示装置を出力手段に接続する方法を、Bluetooth通信による方法と、ヘッドホンジャックによる方法としたが、これに限るものではなく、ピンジャック、モジュラージャック、オプティカル端子、USB端子、シリアル端子、パラレル端子、VGA端子、AV出力端子、外部バスのコネクタ、IEEE1394端子、バランス出力端子、DIN端子、MIDI端子、導線、導電性の筐体等による有線接続や、可視光線、赤外線、紫外線等の電磁波、超音波、磁気伝送、静電容量伝送等による無線接続であってもよい。
なお、本実施の形態において、接続状態は、出力手段にどの提示装置が接続されているかで定義されるとしたが、これに限るものではなく、ステレオとモノラル、主音声と副音声等の提示装置における出力モードの選択状態、提示装置に付随するボリューム設定の値等のパラメータ等で定義されるものであってもよい。また、色数、解像度、表示サイズ、周波数特性など、提示性能を表したものであってもよい。
なお、本実施の形態において、接続状態検知手段はヘッドホンジャックへの着脱状態が変化する時、Bluetoothの通信状態が変化する時に接続状態を通知するとしたが、これに限るものではなく、提示装置のスイッチのオン/オフ、無線到達圏内/圏外移動等の物理的な状態が変化する時や、機器間認証の完了等の論理的な状態が変化する時や、スピーカーの外蓋の開閉等、提示装置の外形的な変化を伴って提示可能/不可能の状態が変化する時や、ステレオ/モノラル、主音声/副音声の切替え等、提示出力のモードが変化する時や、提示装置に付随するボリュームの増減等、提示出力のパラメータが変化する時であってもよい。
なお、本実施の形態において、提示装置を出力手段に直接に接続するものとしたが、これに限るものではなく、出力手段と提示装置との接続状態が検知可能であれば、出力手段と提示装置との間にアンプ、音声合成モジュール、音源モジュール、通信モジュール等、別の機器を介在させてもよい。
なお、本実施の形態において、メディア状態はメディアストリームが開始している/開始していないのいずれかの値と、メディアストリームのメディア種別との組合せによって定義されるとしたが、これに限るものではなく、メディアの音量、バランス等で定義されるものであってもよい。
なお、本実施の形態において、メディア種別は、Hi−Fiステレオ、ステレオ、モノラル、モノラル通話のうちのいずれかであるとしたが、これに限るものではなく、通話音声、音楽、TV、映画、TV電話画像、字幕、着信通知等、メディアストリームの内容を表す種別であってもよいし、ADPCM、MPEG、AVI、WMV、RAM、MOV、WAV、MP3、AAC、AMR、ATRAC、μーLAW、A−LAW、AIFF等、圧縮形式やフォーマットの違いを表す種別であってもよいし、MIDI等のシーケンスオーディオ、AMR等のパラメトリックオーディオ、AACなどの波形データといった違いを表す種別であってもよいし、画像/音声/振動といった表層上の違いを表す種別であってもよいし、周波数特性の違いを表す種別であってもよいし、ファイルサイズの違いによる種別であってもよいし、ビットレートの違いによる種別であってもよいし、サンプリングレートの違いによる種別であってもよいし、解像度の違いによる種別であってもよい。
なお、本実施の形態において、出力状態を決定する処理(ステップS1004〜S1014)で、各々の入力チャンネルごとに出力状態を順次決定するようにしたが、これに限るものではなく、出力チャンネルごと、接続されている装置ごとに決定するようにしてもよい。
なお、本実施の形態において、ステップS1009で、出力状態の選択肢をテキスト表示するようにしたが、これに限るものではなく、映像、グラフィックス、アニメーション等の視覚的手段で表示してもよいし、音声によって通知してもよいし、提示装置または提示装置の接続部分近辺を光らせる、振動させる、変形させる等の方法で通知してもよい。
なお、本実施の形態においてステップS1008〜S1012で、装置の優先度が競合した場合にユーザに問い合わせた後に出力状態を決定するようにしたが、これに限るものではなく、競合する複数の装置に出力を一旦開始した後に、出力を継続すべき装置または出力を停止すべき装置をユーザに選択させるようにしてもよい。
なお、本実施の形態において、ステップS1010で、操作入力受付手段は十字キーの操作入力を受け付けるとしたが、これに限るものではなく、十字キー以外にも、ボタン、キー、マウス、タブレット、ジョイスティック、タッチパネル、リモコン等の操作入力や、視線、音声、ジャスチャー、ダイヤルトーン等による操作入力を受け付けるようにしてもよい。
なお、本実施の形態において、操作入力情報は図17に示す形式のテキストデータであるとしたが、これに限るものではなく、ユーザが選択した出力状態が同定できるデータであればよく、HTML、XML、SGML等のマークアップ言語による表現であってもよいし、バイナリデータや電文であってもよい。
なお、本実施の形態において、優先出力情報は図4に示す形式であるとしたが、これに限るものではなく、メディア状態と接続状態との組合せに対する優先的な出力状態を規定するデータであればどのような形式であってもよい。
なお、本実施の形態において、優先出力情報のバリエーションは設定手段が保持するとしたが、これに限るものではなく、優先出力情報保持手段が保持していてもよいし、着脱可能な蓄積メディア、インターネット、公衆回線網、データ放送等を介して外部から取り込んだものを設定手段が選択・設定するようにしてもよい。
なお、本実施の形態において、情報出力装置として携帯電話端末を例に説明したが、これに限るものではなく、固定電話、PDA、電子ブック、ゲーム機、テレビ、ラジオ、DVDプレーヤー、ヘッドホンステレオ、半導体プレーヤー、CDプレーヤー、ハードディスク内蔵音楽プレーヤー、オーディオアンプ、AVアンプでも良い。さらに、これらに限定されず、メディアストリームの出力機能を持つ機器であればよい。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2004年10月26日出願の日本特許出願(特願2004−311402)に基づくものであり、その内容はここに参照として取り込まれる。
本発明は、出力する映像や音声等のメディアストリームの組合せと、ヘッドホンやヘッドセット等の提示装置の接続状態に応じて、どのようにメディアストリームを出力するかを自動的に決定する場合に利用可能である。
本発明は映像音響データの出力機能を有する情報出力装置に関するものである。
近年、携帯電話端末の多機能化が進み、通話機能や電子メールの送受信機能以外に、テレビ放送やラジオ放送などを受信する機能が備えられ、テレビ放送やラジオ放送などのコンテンツを視聴する機能や、メモリーカードなどに記憶された映画や音楽などのコンテンツを再生する機能などを備えるようになってきている。このような携帯電話端末においては、コンテンツ再生中にも通話することができるので、コンテンツの再生を中断することなく通話によるコミュニケーションを行うことができる(例えば、特許文献1参照)。
このような従来のコンテンツ再生機能を備えた携帯電話端末においてコンテンツ再生中に着信があった場合、接続されたステレオヘッドホンの片側のスピーカーからコンテンツ再生音を出力し、もう一方のスピーカーから通話音声を出力するようにしたものである。
これによりユーザは、コンテンツ再生音と通話音声の両方を混乱なく同時に認識することが可能となっている。(例えば、特許文献1参照)。
特開2002−27029号公報
しかしながら、上記従来の携帯電話端末にあっては、携帯電話端末に接続された音響機器の種類によってはコンテンツ再生音と通話音声とを区別して、同時に聴取する事ができない場合があった。
たとえば上記携帯電話端末から再生される音声は、ステレオヘッドホンからモノラルイヤホンに変更した場合には、コンテンツ音と通話音声の両者が重畳されて再生されてしまう。あるいはコンテンツ再生音と通話音声のいずれか一方だけが再生されてしまう。このように、ユーザは、コンテンツ再生音と通話音声とを区別して、同時に聴取する事ができなかった。このため、ユーザは、再生コンテンツの聴取と通話とを同時に行うことが困難であった。
また、携帯電話端末に接続する音響機器の機能や性能に応じた最適な提示方法を自動的に選択するものではなかった。
たとえば、高性能なヘッドホンを接続した場合には音楽コンテンツをヘッドホンに、通話音声を端末の内蔵スピーカーに出力する。または、通話専用のモノラルヘッドホンとマイクがセットになったヘッドセットを接続した場合には通話音声をヘッドセットに、音楽コンテンツを端末の内蔵スピーカーに出力する。このように、接続する機器の機能や性能に応じて出力の状態を自動的に切替えることができなかった。
本発明は、上記従来の課題を解決するものであり、携帯電話端末と接続する音響機器、および出力するメディアストリームの組合せに応じて出力方法を最適にすることができることができる情報出力装置を提供することを目的としている。
また本発明は、上記従来の課題を解決するものであり、携帯電話端末と接続する音響機器、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させる出力制御方法を提供することを目的としている。
また本発明は、上記従来の課題を解決するものであり、携帯電話端末と接続する音響機器、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させる情報出力制御プログラムを提供することを目的としている。
なお、本明細書中に表記するメディアストリームとは、少なくとも画像または音または振動に変換可能で時系列に配置された一連のデータ列を指す。例として通話音声やテレビ放送やラジオ放送、メモリーカードなどに記憶した動画や音楽などの映像や音響やバイブレーションパターンなどが想定される。
前記従来の課題を解決するために、本発明の情報出力装置は、メディアストリームの状態を検知し第1の検知信号を送出するメディア状態検知手段と、前記メディアストリームを提示する提示装置の接続状態を検知し第2の検知信号を送出する接続状態検知手段と、前記メディア状態検知手段から出力された第1の検知信号と前記メディアストリーム接続状態検知手段から出力された第2の検知信号とに基づき前記メディアストリームの出力状態を決定するメディアストリーム出力状態決定手段と、前記メディアストリーム出力状態決定手段の指示に基づき前記メディアストリームを前記提示装置に出力する出力手段とを有する。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて変化させることができるため、利便性を向上させることができる。
また本発明の情報出力装置は、前記メディア状態検知手段が1ないしは複数のメディアストリームの状態を検知し第1の検知信号を送出することを特徴とするものである。上記構成によれば、メディアストリームそれぞれの状態に応じて、提示装置の出力を変化させることができるため、利便性を向上させることができる。
また本発明の情報出力装置は、前記接続状態検知手段が1ないしは複数の提示装置の接続状態を検知して第2の検知信号を送出し、前記メディアストリーム出力状態決定手段は、前記メディアストリームを前記複数の提示装置の一つに出力することを決定する構成をとる。上記構成によれば、1ないしは複数のメディアストリームを複数の提示装置のなかの一つの提示装置にまとめて出力させることができるため、1箇所に情報をまとめることができるため利便性を向上する。
また本発明の情報出力装置は、前記接続状態検知手段が複数の提示装置の接続状態を検知し第2の検知信号を送出し、前記メディアストリーム出力状態決定手段は前記メディアストリームを前記複数の提示装置に出力することを決定する構成を有する。上記構成によれば、1ないしは複数のメディアストリームをそれぞれの提示装置に出力することができるため、ひとつひとつのメディアストリームの情報がより明確に識別可能となる。
また、本発明の情報出力装置は、前記メディアストリームの出力状態を規定する優先出力情報に基づいて前記出力状態を決定することを特徴とするものである。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力装置は、前記優先出力情報を設定する設定手段を備えるものである。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの好みを反映して最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力装置は、前記情報出力装置への操作入力を検出して操作入力情報を出力する操作入力受付手段を備え、当該操作入力情報に基づいて前記出力状態を決定することを特徴とするものである。上記構成によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの選択に応じて柔軟に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、メディアストリームを出力する出力制御方法であって、メディアストリームの状態を検知する工程と、検知した前記メディアストリームの状態を第1の検知信号として送出する工程と、前記メディアストリームを提示する提示装置の接続状態を検知する工程と、検知した前記提示装置の接続状態を第2の検知信号として送出する工程と、前記第1の検知信号と前記第2の検知信号とに基づき前記メディアストリームの出力状態を決定する工程と、前記メディアストリームを前記出力状態に基づき前記提示装置に出力する工程を有する。上記方法によればメディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、前記メディアストリームの出力状態を規定する優先出力情報に基づいて前記メディアストリームの出力状態を決定するものである。上記方法によれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、前記優先出力情報を変更する工程を含むものである。上記方法によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの好みを反映して最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御方法は、操作入力を検知して操作入力情報を出力する工程と、前記操作入力情報の出力に基づいて前記出力状態を決定するものである。上記方法によれば、メディアストリームをどのように提示装置に出力するかを、ユーザの選択に応じて柔軟に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、メディアストリームを出力する情報出力制御プログラムであって、メディアストリームの状態を検知し、前記メディアストリームの状態を第1の検知信号として送出するステップと、前記メディアストリームを提示する提示装置の接続状態を検知するステップと前記提示装置の接続状態を第2の検知信号として送出するステップと、前記第1の検知信号と前記第2の検知信号とに基づき前記メディアストリームの出力状態を決定するステップと、前記メディアストリームを前記出力状態に基づき前記提示装置に出力するステップと、から成る情報出力制御プログラムである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、前記出力状態が、前記メディアストリームの優先的な出力状態を規定する優先出力情報に基づいて決定するものである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、メディアストリームの組合せと提示装置の接続状態に応じて最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、前記優先出力情報を変更するステップを含むものである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、ユーザの好みを反映して最適に変化させることができるため、利便性を向上させることができる。
また、本発明の情報出力制御プログラムは、操作入力を検知するステップを有し、前記出力状態を、前記操作入力に基づいて決定するものである。上記プログラムによれば、メディアストリームをどのように提示装置に出力するかを、ユーザの選択に応じて柔軟に変化させることができるため、利便性を向上させることができる。
本発明によれば、情報出力装置に接続する提示装置の違い、および出力するメディアストリームの組合せに応じて出力方法を最適に変化させることができ、利便性を向上させることができる。
以下本発明を実施するための最良の形態について、図面を参照しながら説明する。なお、実施の形態を説明するための全図において、同一の構成要素には同一符号を付与し、重複する説明は、省略する。
図1は、本発明の携帯電話端末の構成図である。図1に記載した構成要素のうち、携帯電話端末1が本発明の情報出力装置に該当する部分である。携帯電話端末1はメディア状態検知手段105、接続状態検知手段102、出力手段51、制御部90を備える。
提示装置2は携帯電話端末1に接続され、出力手段51が出力するメディアストリームを視認または聴取可能に提示する装置である。提示装置2は例えば、内蔵液晶ディスプレイ、外部接続したディスプレイ装置、LED、内蔵スピーカー、ヘッドセット、ステレオヘッドホンなどが考えられる。
メディア状態検知手段105は、出力手段51に入力されるメディアストリームの開始、再生中、終了などの状態を検知する。そして、メディア状態検知手段105は検知したメディアストリームの状態とメディアストリームの種類の情報を第1の検知信号106として制御部90に通知する。
接続状態検知手段102は、出力手段51と提示装置2との接続状態を検知する。そして、接続状態検知手段102は検知した接続状態と接続先の提示装置の種類などを第2の検知信号103として制御部90に通知する。接続状態とは、提示装置との接続が結合された状態、および離れた状態、また提示装置に備えられた音量調節器など調節器の状態など、提示装置と携帯電話端末1との接続状態である。
制御部90は、第1の検知信号106と第2の検知信号103に基づいて出力手段51の出力状態を決定して出力手段51に指示する。出力手段51は、入力されたメディアストリームを制御部90が決定した出力状態に基づいて提示装置2に出力する。
図2は、本発明の実施の形態を説明するための携帯電話端末1の内部構成をさらに詳しく示した構成図である。
無線通信部10は、無線回線網を介して他の情報装置との無線通信を司る部分である。
無線通信部10は、無線通信手段11、符号化手段12、復号手段13、第1メディア状態検知手段15を備える。無線通信手段11は、無線回線網との接続と切断および符号化した通話音声データの送受信を行うとともに、着信を検出して着信音再生手段21に通知する。また、無線通信手段11は、通話の開始と終了を検出し、第1メディア状態検知
手段15に通知する。符号化手段12は、内蔵マイク52およびBluetooth通信手段61が出力する通話音声を符号化して無線通信手段11に出力する。復号手段13は、無線通信手段11が受信した通話音声データを復号し、得られた音声メディアストリームを出力手段51の入力チャンネルIN1に出力する。第1メディア状態検知手段15は
、無線通信手段11からの通知に基づいて通話音声のメディア状態の情報を含むメディア状態検知信号16を出力先決定手段91に出力する。
着信音再生部20は、着信があったときに着信メロディ等の着信音を再生する機能をもつ部分である。着信音再生部20は着信音再生手段21、第2メディア状態検知手段25を備える。着信音再生手段21は、無線通信手段11からの着信の通知を受け、着信音を再生して出力手段51の入力チャンネルIN2に再生音のメディアストリームを出力するとともに、再生の開始と終了を第2メディア状態検知手段25に通知する。第2メディア状態検知手段25は、着信音再生手段21からの通知に基づいて着信音のメディア状態の情報を含むメディア状態検知信号26を出力先決定手段91に出力する。
音楽再生部30は、音楽コンテンツを再生する機能をもつ部分である。音楽再生部30は音楽データ蓄積部31、音楽再生手段32、第3メディア状態検知手段35を備える。
音楽データ蓄積部31は、音楽コンテンツのデータをAAC(Advanced Audio Coding)や、MP3(MPEG−1 Audio Layer3)などの圧縮形式で蓄積する。音楽再生手段32は、音楽データ蓄積部31が蓄積している音楽データを再生して出力手段51の入力チャンネルIN3に再生音のメディアストリームを出力するとともに、再生の開始と終了、および再生中のコンテンツのメディア種別を第3メディア状態検知手段35に通知する。第3メディア状態検知手段35は、音楽再生手段32からの通知に基づいて再生音のメディア状態の情報を含むメディア状態検知信号36を出力先決定手段91に出力する。
放送受信部40は、TVやラジオの放送を受信して再生する部分である。放送受信部40は放送受信手段41、分離手段42、音声復号手段43、画像復号手段44、第4メディア状態検知手段45を備える。放送受信手段41は、受信した放送波を検波して放送内容を含むMPEG4(Moving Picture Experts Group Phase 4)形式のプログラムストリームを分離手段42に出力する。分離手段42は、放送受信手段41が出力したプログラムストリームを音声データと画像データに分離し、音声復号手段43、画像復号手段44にそれぞれ出力する。音声復号手段43は、分離手段42が出力した音声データを復号して出力手段51の入力チャンネルIN4に復号音声のメディアストリームを出力するとともに、音声データの開始と終了、およびメディア種別を第4メディア状態検知手段45に通知する。画像復号手段44は、分離手段42が出力した画像データを復号して画像フレームごとのピックスマップデータを生成し、表示手段53に出力する。第4メディア状態検知手段45は、音声復号手段43からの通知に基づいて復号音声のメディア状態の情報を含むメディア状態検知信号46を出力先決定手段91に出力する。
なお、本発明の実施の形態において、第1メディア状態検知手段15、第2メディア状態検知手段25、第3メディア状態検知手段35、第4メディア状態検知手段45が図1のメディア状態検知手段105に該当する。メディア状態検知信号16、26、36、46が図1の第1の検知信号106に該当する。メディア状態検知信号16、26、36、46はメディア状態を含む。メディア状態は、メディアストリームが開始している/開始していないのいずれかの値と、メディアストリームのメディア種別との組合せによって定義される。前記の「メディア種別」とはメディアストリームの品質を分類した種別であり、「Hi−Fiステレオ」、「ステレオ」、「モノラル」、「モノラル通話」のいずれかの値をとる。
出力手段51は、出力先決定手段91が決定した出力状態の指示に従って、入力チャンネルIN1、IN2、IN3、IN4に入力されたメディアストリームを、出力チャンネルOUT1、OUT2、OUT3へ出力する。このとき、複数の入力チャンネルに入力されたメディアストリームを同一の出力チャンネルに同時に出力するよう指示された場合には、それらのメディアストリームを重畳して出力する。また、同一の入力チャンネルに入力されたメディアストリームを複数の出力チャンネルに同時に出力するよう指示された場合には、指定されたすべての出力チャンネルにそのメディアストリームを出力する。
なお、本発明の実施の形態において、出力状態は、入力されたメディアストリームをどの出力チャンネルに出力するか、すなわちメディアストリームの出力経路で定義される。
内蔵マイク52は、通話時にユーザが発する音声を電気信号に変換して符号化手段12に出力する。表示手段53は、画像復号手段44から出力されるピックスマップデータを表示したり、出力先決定手段91の指示により、メッセージや選択項目等を表示してユーザに提示する。十字キー54は、ユーザの操作を入力するための操作子である。操作入力受付手段55は、十字キー54の操作による操作入力を受け付けて操作入力情報551を出力先決定手段91に出力する。設定手段56は、十字キー54の操作による操作入力を受け付けて、優先出力情報保持手段93が保持する優先出力情報931を設定する。
Bluetooth通信手段61はBluetooth通信機能を有するヘッドセット63と通信し、出力手段51の出力チャンネルOUT1に出力される音声をヘッドセット63に、ヘッドセット63に入力された音声を符号化手段12にそれぞれ出力するとともに、ヘッドセット63との通信接続の開始と終了を第1接続状態検知手段62に通知する。第1接続状態検知手段62は、Bluetooth通信手段61からの通知に基づいてヘッドセット63の接続状態の情報を含む接続状態検知信号64を出力先決定手段91に出力する。
ヘッドホンジャック71は、ステレオヘッドホン73またはモノラルイヤホン75を出力手段51に接続するための端子であり、出力手段51の出力チャンネルOUT2に出力される音声を出力するとともに、ステレオヘッドホン73やモノラルイヤホン75が着脱されたことを第2接続状態検知手段72に通知する。第2接続状態検知手段72は、ヘッドホンジャック71からの通知に基づいて、ステレオヘッドホン73とモノラルイヤホン75の接続状態の情報を含む接続状態検知信号74を出力先決定手段91に出力する。
内蔵スピーカー81は、出力手段51の出力チャンネルOUT3に出力される音声メディアストリームを聴取可能な音声に変換して放音する。また、内蔵スピーカー81は、放音可能な状態であるかどうかを第3接続状態検知手段82に通知する。マナーモードの設定により内蔵スピーカー81がオフになった場合には、放音できないことを第3接続状態検知手段82に通知する。第3接続状態検知手段82は、内蔵スピーカー81からの通知に基づいて、内蔵スピーカー81の接続状態の情報を含む接続状態検知信号84を出力先決定手段91に出力する。
なお、本発明の実施の形態において、ヘッドセット63、ステレオヘッドホン73、モノラルイヤホン75、内蔵スピーカー81が図1の提示装置2に該当する。また、第1接続状態検知手段62、第2接続状態検知手段72、第3接続状態検知手段82が図1の接続状態検知手段102に該当する。また、接続状態は、出力手段51にどの提示装置が接続されているかで定義される。なお、提示装置は携帯電話端末に内蔵されるもの、アダプターを通して接続されるもの、Blootooth通信による接続されるものの他にUSB接続のヘッドセットやスピーカー、IrDAなどの近距離通信による接続のものなどでもよい。
制御部90は出力先決定手段91、状態情報保持手段92、優先出力情報保持手段93を備える。出力先決定手段は状態情報保持手段92、優先出力情報保持手段93の情報に基づいてメディアストリームの出力状態を決定し、決定した出力状態を出力手段51に出力する。
状態情報保持手段92は、携帯電話端末1の状態を表すメディア状態情報921、接続状態情報922、および出力状態情報923を保持する。メディア状態情報921は、出力手段51の入力チャンネルIN1〜IN4の全メディア状態を記述した情報であり、メディア状態検知信号16、26、36、46のメディア状態に基づいて作成、更新される。接続状態情報922は、出力手段51の出力チャンネルOUT1〜OUT3の全接続状態を記述した情報であり、接続状態検知信号64、74、84の接続状態に基づいて作成、更新される。出力状態情報923は、現在の出力状態を表す情報であり、出力手段51の入力チャンネルIN1〜IN4に入力されているメディアストリームがどの出力チャンネルに出力されているかを記述した情報である。優先出力情報保持手段93は、優先出力情報931を保持する。
出力先決定手段91は、メディア状態検知信号16、26、36、46のメディア状態と、接続状態検知信号64、74、84の接続状態と、優先出力情報保持手段93が保持する優先出力情報931と、操作入力受付手段55が出力する操作入力情報551に基づいて、出力手段51の出力状態を決定する。そして、出力先決定手段91は出力手段51に出力状態の更新を指示する。また、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、出力状態情報923の更新も行う。
図3は、本発明の実施の形態における携帯電話端末のメディア状態検知手段がメディア状態の変化を検知した時、または接続状態検知手段が提示装置と接続状態との変化を検知した時の制御動作手順を示すフローチャートである。出力先決定手段91は受信した信号がメディア状態検知信号か接続状態検知信号かにより処理を分岐する(ステップS1001)。メディア状態検知信号を検出した場合、状態情報保持手段92が保持するメディア状態情報921をメディア状態検知信号に基づいて更新する(ステップS1002)。接続状態検知信号を検出した場合、状態情報保持手段92が保持する接続状態情報922を接続状態検知信号に基づいて更新する(ステップ1003)。
ステップS1004〜ステップS1014では、出力状態を決定する処理を行う。まず、出力先決定手段91はチャンネルを表す変数Cに入力チャンネルIN1をセットする(ステップS1004)。次に、出力先決定手段91は状態情報保持手段92が保持するメディア状態情報921を参照し、チャンネルC、すなわち入力チャンネルIN1にメディアストリームが入力されている状態であるかどうかを調べる(ステップS1005)。入力されている状態とは、通話が開始されている状態、着信音が再生されている状態、音楽コンテンツが再生されている状態、音声データが開始されている状態などである。チャンネルCにメディアストリームが入力されている場合はメディア状態情報から入力中のメディアストリームの種別を取得し、メディアストリームの種別を変数Mに代入する(ステップS1006)。そして、状態情報保持手段92が保持する接続状態情報922と、優先出力情報保持手段93が保持する優先出力情報931を参照し、接続されている提示装置2のうちでメディア種別Mの優先度が最も高い提示装置を、提示装置を表す変数Dに代入する(ステップS1007)。このとき、メディア種別Mの優先度が最も高い装置Dが複数ある場合(ステップS1008)、そのメディアストリームをどの提示装置に出力するかの選択肢と入力を促すテキスト(=補助情報)の表示を表示手段53に指示する(ステップS1009)。
続いて、ユーザが十字キー54を操作することにより選択肢を選択すると、操作入力受付手段55が選択操作を受け付けて出力する操作入力情報551を受け取る(ステップS1010)。出力先決定手段91は受け取った操作入力情報551から提示装置名を抽出して変数Dに代入する(ステップS1011)。ここで、出力先決定手段91は、提示装置Dが接続されている出力手段51の出力チャンネル(OUT1〜OUT3のいずれか)に、入力チャンネルCに入力されているメディアストリームを出力するという情報を、状態情報保持手段92が保持する出力状態情報923に記憶する(ステップS1012)。
すべての入力チャンネルについてステップS1006〜ステップS1012の処理が完了していない場合は(ステップS1013)、出力先決定手段91は次の入力チャンネルをCとして(ステップS1014)、ステップS1005に戻り同様の処理を行う。
出力手段51のすべての入力チャンネルについてステップS1004〜ステップS1014の処理が完了すると、出力先決定手段91は出力状態情報923に従って出力状態を更新するよう出力手段51に指示する(ステップS1015)。また、出力先決定手段91はステップS1015の指示により新たに出力を開始した提示装置について、出力を開始した旨を表示するよう表示手段53に指示する(ステップS1016)。
図4は、本発明の実施の形態における優先出力情報931を示す図である。縦方向の見出しは出力手段51に接続される提示装置を示し、横方向の見出しは出力手段51の入力となるメディアストリームの種別を示す。各欄の数値は、各提示装置に対するメディアストリームの種別ごとの出力優先度を示す。数値0が最も低優先度であり、3が最も高優先度であることを表す。たとえば、ヘッドセットに対してはモノラル通話(優先度3)を最も優先的に出力し、Hi−Fiステレオ(優先度0)を最も低い優先度で出力することを示している。
以下では、本発明の実施の形態における携帯電話端末における、メディア状態および接続状態が変化した際の動作を、図5〜図17を用いて説明する。
(第1の実施の形態)
実施の形態1では、携帯電話端末で音楽コンテンツを再生している最中に着信があり、通話を行う。通話中に、Bluetoothヘッドセットを携帯電話端末に接続すると、音楽を内蔵スピーカーで、通話音声をヘッドセットで聴取することができるよう、出力状態を自動的に切り替えるものである。
図5は、本発明の実施の形態1における携帯電話端末の利用イメージの説明図である。
携帯電話端末1で再生している音楽が内蔵スピーカー81から放音され、ユーザがそれを聴いている(図5(a))時、着信がある。このとき、ユーザはBluetoothヘッドセット63の電源をオンすることによりヘッドセット63と携帯電話端末1との通信を確立し、ヘッドセット63から放音される通話音声を聴くとともに、内蔵スピーカー81から放音される音楽を継続して聴いている(図5(b))。
図6は、実施の形態1における携帯電話端末の処理シーケンス図である。図6の中で、斜線のハッチングを施した部分は、その箇所で制御部90が先に説明した図3のフローチャートを実行していることを表している。また、図7は、実施の形態1における携帯電話端末の処理において、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、および出力状態情報923が、処理が進むにつれてどう変化するかを示した図である。図7中に示す各ステップ番号は、図6のシーケンスに付与したステップ番号に対応している。空欄となっている箇所は、前ステップから内容が変化していないことを表す。また、メディア状態、接続されている装置、出力内容の欄の「−」は、値が設定されていないことを表す。
以下、図6、図7を用いて実施の形態1における携帯電話端末の処理の流れを説明する。まず、初期状態では、メディア状態情報921は図7の1100aに示す状態となっている。すなわち、出力手段51の入力チャンネルIN1〜IN4にメディアストリームは入力されていない。接続状態情報922は1100bに示す状態となっている。すなわち、出力手段51の出力チャンネルOUT3に内蔵スピーカーが接続されて放音可能となっており、その他の出力チャンネル(OUT1、OUT2)には提示装置は接続されていない。出力状態情報923は1100cに示す状態となっている。すなわち、出力チャンネルOUT1〜OUT3には何も出力されていない。
音楽再生の開始(ステップS101)により、音楽再生手段32が出力する音楽コンテンツ(メディア種別=「Hi−Fiステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN3に入力される(ステップS102、S103)。第3メディア状態検知手段35は、音楽再生が開始したことを検知し(ステップS104)、制御部90に対してメディア状態検知信号36を送信する(ステップS105)。ステップS106で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1106aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図7の1106cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN3に入力されているメディアストリームを出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報1106cに従って出力手段51に出力状態更新を指示すると(ステップS107)、出力手段51は出力状態を変更し(ステップS108)、出力チャンネルOUT3へ音楽コンテンツのメディアストリームを出力開始すると(ステップS109)、出力チャンネルOUT3に接続されている内蔵スピーカー81が音楽を放音する。図3のステップS1016では、内蔵スピーカー81に新たに出力を開始したので、その旨の表示を表示手段53に指示する(ステップS110)。
着信があると(ステップS111)、着信音再生手段21が着信音の再生を開始し、着信音(メディア種別=「ステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN2に入力される(ステップS112、S113)。第2メディア状態検知手段25は、着信音再生が開始したことを検知し(ステップS114)、制御部90に対してメディア状態検知信号26を送信する(ステップS115)。ステップS116で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1116aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図7の1116cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN2とIN3に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報1116cに従って出力手段51に出力状態更新を指示すると(ステップS117)、出力手段51は出力状態を変更し(ステップS118)、出力チャンネルOUT3へ音楽コンテンツと着信音のメディアストリームを重畳して出力開始すると(ステップS119)、内蔵スピーカー81が音楽と着信音を重畳した状態で放音する。
オフフック操作があると(ステップS120)、復号手段13が出力する通話音声(メディア種別=「モノラル通話」)のメディアストリームが、出力手段51の入力チャンネルIN1に入力される(ステップS121)とともに、着信音の再生が停止する(ステップS122)。第1メディア状態検知手段15は、通話の開始を検知し(ステップS124)、制御部90に対してメディア状態検知信号16を送信する(ステップS125)。ステップS126で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1126aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図7の1126cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1とIN3に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報1126cに従って出力手段51に出力状態更新を指示すると(ステップS127)、出力手段51は出力状態を変更し(ステップS128)、出力チャンネルOUT3へ音楽コンテンツと通話音声のメディアストリームを重畳して出力開始すると(ステップS129)、内蔵スピーカー81が音楽と通話音声を重畳した状態で放音する。
Bluetoothヘッドセット63の電源がオンとなり、Bluetooth通信手段61がヘッドセット63との通信の確立を第1接続状態検知手段62に通知すると(ステップS130)、第1接続状態検知手段62は制御部90に対して接続状態検知信号64を送信する(ステップS131)。ステップS132で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図7の1132bに示すよう接続状態情報922を更新する。すなわち、出力手段51の出力チャンネルOUT1にヘッドセットが、OUT3に内蔵スピーカーがそれぞれ接続されて放音可能となっていることを示すよう更新する。
続いて、ステップS1004〜S1014の処理を実行するが、C=IN1の場合のステップS1007の処理において、メディア種別M(=「モノラル通話」)の優先度が最も高い装置Dとしてヘッドセットが選択される。なぜなら、図4の優先出力情報931の「モノラル通話」の列に記されているヘッドセットの優先度「3」は、内蔵スピーカーの優先度「2」に比較して高い優先度を示しているからである。以上の判断に基づいて出力状態を決定し、図7の1132cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1に入力されている通話音声のメディアストリームを出力チャンネルOUT1へ、入力チャンネルIN3に入力されている音楽のメディアストリームを出力チャンネルOUT3へそれぞれ出力するよう更新する。
ステップS1015の処理で、出力状態情報1132cに従って出力手段51に出力状態更新を指示すると(ステップS133)、出力手段51は出力状態を変更し、出力チャンネルOUT1へ通話音声のメディアストリームを(ステップS134)、出力チャンネルOUT3へ音楽のメディアストリームを(ステップS135)それぞれ出力開始する。
その結果、ヘッドセット63から通話音声が、内蔵スピーカー81から音楽がそれぞれ放音される。ヘッドセット63が新たに出力を開始したので、ステップS1016でその旨の表示を表示手段53に指示する(ステップS136)。ステップS136における表示手段53の表示出力を図8に示す。
以上、本発明の実施の形態1では、携帯電話端末で音楽コンテンツを再生している最中に着信があり通話を行う際に、Bluetoothヘッドセットを携帯電話端末に接続すると、音楽を内蔵スピーカーで、通話音声をヘッドセットで聴取することができるよう、出力状態を自動的に切り替える。
このように本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、出力手段に入力されるメディアストリームの状態を検知し、提示装置と出力手段との接続状態を検知し、検知の結果と優先出力情報に基づいて出力手段の出力状態を決定している。これにより、出力するメディアストリームの組合せと提示装置の接続の状態に応じて、メディアストリームの提示状態を自動的に変化させることができるので、ユーザはわずらわしい切替え操作をせずに最適な状態で視聴を続けることができ、利便性が向上する。
また、本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、音楽再生音と着信音の二つのストリーミングを同一の提示装置である内蔵スピーカーに重畳して出力することにより、音楽再生中であっても着信が合ったことに気がつきやすくなり、ユーザの利便性が向上する。
また、本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、音楽再生音と通話音の二つのストリーミングを内蔵スピーカーとBluetoothヘッドセットに分けて出力することにより、音楽再生中であっても通話音を明瞭に聞き分けて通話することができ、ユーザの利便性が向上する。
(第2の実施の形態)
本発明の実施の形態2では、携帯電話端末で音楽コンテンツを再生してステレオヘッドホンで聴いている最中に着信があり、ユーザがオフフックボタンを押すと、音楽をステレオヘッドホンで聴きながら通話音声を内蔵スピーカーで聴くことができるよう、出力状態を自動的に切り替えるものである。
図9は、本発明の実施の形態2における携帯電話端末の利用イメージの説明図である。
携帯電話端末1で再生している音楽がステレオヘッドホン73から放音され、ユーザがそれを聴いている(図9(a))時、着信があり、ユーザはオフフックボタンを押し、携帯電話端末1を耳に当てた状態で、内蔵スピーカー81から放音される通話音声をステレオヘッドホン73ごしに聴きながら通話している(図9(b))。
図10は、実施の形態2における携帯電話端末の処理シーケンス図である。また、図11は、実施の形態2における携帯電話端末の処理において、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、および出力状態情報923が、処理が進むにつれてどう変化するかを示した図である。
以下、図10、図11を用いて実施の形態2における携帯電話端末の処理の流れを説明する。まず、初期状態では、メディア状態情報921は図11の2200aに示す状態となっている。すなわち、出力手段51の入力チャンネルIN1〜IN4にメディアストリームは入力されていない。接続状態情報922は2200bに示す状態となっている。すなわち、出力手段51の出力チャンネルOUT2にステレオヘッドホンが、OUT3に内蔵スピーカーがそれぞれ接続されて放音可能となっており、その他の出力チャンネル(OUT1)には提示装置は接続されていない。出力状態情報923は2200cに示す状態となっている。すなわち、出力チャンネルOUT1〜OUT3には何も出力されていない。
音楽再生の開始(ステップS201)により、音楽再生手段32が出力する音楽コンテンツ(メディア種別=「Hi−Fiステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN3に入力される(ステップS202、S203)。第3メディア状態検知手段35は、音楽再生が開始したことを検知し(ステップS204)、制御部90に対してメディア状態検知信号36を送信する(ステップS205)。ステップS206で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図11の2206aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図11の2206cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN3に入力されているメディアストリームを出力チャンネルOUT2へ出力するよう更新する。
ステップS1015の処理で、出力状態情報2206cに従って出力手段51に出力状態更新を指示すると(ステップS207)、出力手段51は出力状態を変更し(ステップS208)、出力チャンネルOUT2へ音楽コンテンツのメディアストリームを出力開始すると(ステップS209)、出力チャンネルOUT2に接続されているステレオヘッドホン73が音楽を放音する。図3のステップS1016では、ヘッドホン73に新たに出力を開始したので、その旨の表示を表示手段53に指示する(ステップS210)。
着信があると(ステップS211)、着信音再生手段21が着信音の再生を開始し、着信音(メディア種別=「ステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN2に入力される(ステップS212、S213)。第2メディア状態検知手段25は、着信音再生が開始したことを検知し(ステップS214)、制御部90に対してメディア状態検知信号26を送信する(ステップS215)。ステップS216で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図11の2216aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図11の2216cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN2とIN3に入力されているメディアストリームを重畳して出力チャンネルOUT2へ出力するよう更新する。
ステップS1015の処理で、出力状態情報2216cに従って出力手段51に出力状態更新を指示すると(ステップS217)、出力手段51は出力状態を変更し(ステップS218)、出力チャンネルOUT2へ音楽コンテンツと着信音のメディアストリームを重畳して出力開始すると(ステップS219)、ステレオヘッドホン73が音楽と着信音を重畳した状態で放音する。
オフフック操作があると(ステップS220)、復号手段13が出力する通話音声(メディア種別=「モノラル通話」)のメディアストリームが、出力手段51の入力チャンネルIN1に入力される(ステップS221)とともに、着信音の再生が停止する(ステップS222)。第1メディア状態検知手段15は、通話の開始を検知し(ステップS224)、制御部90に対してメディア状態検知信号16を送信する(ステップS225)。ステップS226で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図11の2226aに示すようメディア状態情報921を更新する。
続いて、ステップS1004〜S1014の処理を実行するが、C=IN1の場合のステップS1007の処理において、メディア種別M(=「モノラル通話」)の優先度が最も高い装置Dとして内蔵スピーカーが選択される。なぜなら、図4の優先出力情報931の「モノラル通話」の列に記されている内蔵スピーカーの優先度「2」は、ステレオヘッドホンの優先度「1」に比較して高い優先度を示しているからである。以上の判断に基づいて出力状態を決定し、図11の2226cに示すよう出力状態情報923を更新する。
すなわち、入力チャンネルIN1に入力されているメディアストリームを出力チャンネルOUT3へ、IN3に入力されているメディアストリームをOUT2へ、それぞれ出力するよう更新する。
ステップS1015の処理で、出力状態情報2226cに従って出力手段51に出力状態更新を指示すると(ステップS227)、出力手段51は出力状態を変更し(ステップS228)、出力チャンネルOUT2へ音楽コンテンツのメディアストリームを(ステップS229)、OUT3へ通話音声のメディアストリームを(ステップS230)それぞれ出力開始すると、内蔵スピーカー81が通話音声を放音し、ヘッドホン73が音楽を放音する。内蔵スピーカー81が新たに出力を開始したので、ステップS1016でその旨の表示を表示手段53に指示する(ステップS231)。このときの表示出力を図12に示す。
以上、本発明の実施の形態における実施の形態2では、携帯電話端末で音楽コンテンツを再生してステレオヘッドホンで聴いている最中に着信があり、ユーザがオフフックボタンを押すと、音楽をステレオヘッドホンで聴きながら通話音声を内蔵スピーカーで聴くことができるよう、出力状態を自動的に切り替える。
(第3の実施の形態)
本発明の実施の形態3では、提示装置の接続状態を変更した際、優先度の競合する出力状態を選択肢としてユーザに提示して選択させ、ユーザの選択に基づいて出力状態を切り替えるものである。
図13は、本発明の実施の形態3における携帯電話端末の利用イメージの説明図である。携帯電話端末1がTV放送を受信し、TV音声が内蔵スピーカー81から放音され、ユーザがそれを聴いている(図13(a))時、着信があり、ユーザはモノラルイヤホン75を携帯電話端末1のヘッドホンジャック71に接続し、モノラルイヤホン75から放音される通話音声を聴くとともに、内蔵スピーカー81から放音されるTV音声を継続して聴いている(図13(b))。
図14は、実施の形態3における携帯電話端末の処理シーケンス図である。また、図15は、実施の形態3における携帯電話端末の処理において、状態情報保持手段92が保持するメディア状態情報921、接続状態情報922、および出力状態情報923が、処理が進むにつれてどう変化するかを示した図である。
以下、図14、図15を用いて実施の形態3における携帯電話端末の処理の流れを説明する。まず、初期状態では、メディア状態情報921は図15の3300aに示す状態となっている。すなわち、出力手段51の入力チャンネルIN1〜IN4にメディアストリームは入力されていない。接続状態情報922は3300bに示す状態となっている。すなわち、出力手段51の出力チャンネルOUT3に内蔵スピーカーが接続されて放音可能となっており、その他の出力チャンネル(OUT1、OUT2)には提示装置は接続されていない。出力状態情報923は3300cに示す状態となっている。すなわち、出力チャンネルOUT1〜OUT3には何も出力されていない。
TV放送受信の開始(ステップS301)により、音声復号手段43が出力するTV音声(メディア種別=「モノラル」)のメディアストリームが、出力手段51の入力チャンネルIN4に入力される(ステップS302、S303)。第4メディア状態検知手段45は、TV音声の出力が開始したことを検知し(ステップS304)、制御部90に対してメディア状態検知信号46を送信する(ステップS305)。ステップS306で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3306aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図15の3306cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN4に入力されているメディアストリームを出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報3306cに従って出力手段51に出力状態更新を指示すると(ステップS307)、出力手段51は出力状態を変更し(ステップS308)、出力チャンネルOUT3へTV音声のメディアストリームを出力開始すると(ステップS309)、出力チャンネルOUT3に接続されている内蔵スピーカー81がTV音声を放音する。図3のステップS1016では、内蔵スピーカー81に新たに出力を開始したので、その旨の表示を表示手段53に指示する(ステップS310)。
着信があると(ステップS311)、着信音再生手段21が着信音の再生を開始し、着信音(メディア種別=「ステレオ」)のメディアストリームが、出力手段51の入力チャンネルIN2に入力される(ステップS312、S313)。第2メディア状態検知手段25は、着信音再生が開始したことを検知し(ステップS314)、制御部90に対してメディア状態検知信号26を送信する(ステップS315)。ステップS316で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3316aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図15の3316cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN2とIN4に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報3316cに従って出力手段51に出力状態更新を指示すると(ステップS317)、出力手段51は出力状態を変更し(ステップS318)、出力チャンネルOUT3へTV音声と着信音のメディアストリームを重畳して出力開始すると(ステップS319)、内蔵スピーカー81がTV音声と着信音を重畳した状態で放音する。
オフフック操作があると(ステップS320)、復号手段13が出力する通話音声(メディア種別=「モノラル通話」)のメディアストリームが、出力手段51の入力チャンネルIN1に入力される(ステップS321)とともに、着信音の再生が停止する(ステップS322)。第1メディア状態検知手段15は、通話の開始を検知し(ステップS324)、制御部90に対してメディア状態検知信号16を送信する(ステップS325)。ステップS326で制御部は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3326aに示すようメディア状態情報921を更新し、図3のステップS1004〜S1014の処理により、出力状態を決定し、図15の3326cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1とIN4に入力されているメディアストリームを重畳して出力チャンネルOUT3へ出力するよう更新する。
ステップS1015の処理で、出力状態情報3326cに従って出力手段51に出力状態更新を指示すると(ステップS327)、出力手段51は出力状態を変更し(ステップS328)、出力チャンネルOUT3へTV音声と通話音声のメディアストリームを重畳して出力開始すると(ステップS329)、内蔵スピーカー81がTV音声と通話音声を重畳した状態で放音する。
モノラルイヤホン75がヘッドホンジャック71に接続されると、第2接続状態検知手段72がそれを検知し(ステップS330)、第2接続状態検知手段72は制御部90に対して接続状態検知通知74を送信する(ステップS331)。ステップS332で制御部90は図3のフローチャートに示す処理を開始し、図3のステップS1001とS1002の処理により、図15の3332bに示すよう接続状態情報922を更新する。すなわち、出力手段51の出力チャンネルOUT2にモノラルイヤホンが、OUT3に内蔵スピーカーがそれぞれ接続されて放音可能となっていることを示すよう更新する。
続いて、ステップS1004〜S1014の処理を実行するが、C=IN1の場合のステップS1007の処理において、メディア種別M(=「モノラル通話」)の優先度が最も高い装置Dにモノラルイヤホンと内蔵スピーカーの2個が該当する。なぜなら、図4の優先出力情報931の「モノラル通話」の列に記されているモノラルイヤホンの優先度「2」と、内蔵スピーカーの優先度「2」とが同じ優先度を示しているからである。従って、ステップS1008の条件である「Dに該当する装置が2個以上ある」に合致するためステップS1009〜S1011の処理を実行することとなる。ステップS1009で制御部90は出力状態(装置)の選択肢と入力を促すテキストから成る補助情報の表示を表示手段53に指示する(ステップS333)。
ステップS333における表示手段53の表示出力を図16(a)に示す。入力を促すテキストの下に、出力状態の3通りの選択肢を表示している。「イヤホン」は通話音声をモノラルイヤホン75に出力する選択肢、「内蔵スピーカー」は内蔵スピーカー81に出力する選択肢、「イヤホン+内蔵スピーカー」はモノラルイヤホン75と内蔵スピーカー81の両方に出力する選択肢をそれぞれ示している。このとき、最後に出力手段51に接続された提示装置を接続状態情報922に基づいて求め、その提示装置に出力する選択肢の項目をフォーカスした(矩形で囲んだ)状態で表示する。本実施の形態では、モノラルイヤホンが最後に接続されたので、項目「イヤホン」をフォーカスした状態で表示している。ユーザは十字キー54の上端と下端を押下する操作により項目のフォーカスを移動することができる。さらに、十字キー54の中央部分を押下することでフォーカス状態の項目を選択決定することができる。ここでは、ユーザが項目「イヤホン」を選択決定したものとして以下の処理を説明する。
ユーザが選択肢を選択することで出力状態を選択する操作を行うと(ステップS334)、操作入力受付手段55が操作入力を検知して操作入力情報551を制御部90に通知する(ステップS335)。通知された操作入力情報551を図17に示す。操作入力情報551は、「select=」の文字列と、選択された項目に対応する提示装置名をダブルクオーテーションで囲んだ文字列とで構成された文字列である。図3のステップS1010で、制御部90は操作入力情報551を受け取り、ステップS1011で、受け取った操作入力情報551から提示装置名「モノラルイヤホン」を抽出して変数Dに代入する。
以上の処理により出力状態を決定し、図15の3332cに示すよう出力状態情報923を更新する。すなわち、入力チャンネルIN1に入力されている通話音声のメディアストリームを出力チャンネルOUT2へ、入力チャンネルIN4に入力されているTV音声のメディアストリームを出力チャンネルOUT3へそれぞれ出力するよう更新する。
ステップS1015の処理で、出力状態情報3332cに従って出力手段51に出力状態更新を指示すると(ステップS336)、出力手段51は出力状態を変更し、出力チャンネルOUT2へ通話音声のメディアストリームを(ステップS338)、出力チャンネルOUT3へTV音声のメディアストリームを(ステップS339)それぞれ出力開始する。その結果、モノラルイヤホン75から通話音声が、内蔵スピーカー81からTV音声がそれぞれ放音される。モノラルイヤホンが新たに出力を開始したので、ステップS1016でその旨の表示を表示手段53に指示する(ステップS340)。このときの表示出力を図16(b)に示す。
以上、本発明の実施の形態3においては、提示装置の接続状態を変更した際、優先度の競合する出力状態を選択肢としてユーザに提示して選択させ、ユーザの選択に基づいて出力状態を切り替える。
本実施の形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、メディアストリームの状態と、提示装置と出力手段との接続状態と、優先出力情報と、から求められる優先的な出力状態が2以上あるとき、出力状態の選択肢を提示して選択操作の操作入力を受け付け、入力結果に基づいて出力状態を決定している。これにより、優先的な出力状態の競合が生じた場合にユーザの判断に基づいて出力状態を決定できるので、状況に応じてユーザが視聴方法を柔軟に選択することができ、利便性が向上する。
(第4の実施の形態)
本発明の実施の形態4では、提示装置の優先出力情報931を設定する処理について図18と図19を用いて説明する。図18は互いに異なる優先出力情報931のバリエーションを示す図である。図18(a)は「音質優先モード」、図18(b)は「外部出力優先モード」、図18(c)は「秘匿通話モード」の優先出力情報である。
図18(a)の優先出力情報は、Hi−Fiステレオに対してステレオヘッドホンの優先度を他より極端に高く設定したもので、高音質のメディアストリームだけを他のメディアストリームと分離してステレオヘッドホンで再生する、音質重視の優先出力情報となっている。図18(b)の優先出力情報は、内蔵スピーカー以外の提示装置、すなわちメディアストリームを携帯電話端末の外部へ出力する提示装置の優先度を全体的に高く設定してあり、外部出力する提示装置が接続された場合には優先的に外部へ出力する、外部出力優先型の優先出力情報となっている。図18(c)の優先出力情報は、モノラル通話に対して外部出力する提示装置の優先度を高く設定したもので、外部出力する提示装置が接続されている場合には内蔵スピーカーから通話音声を出力せずに秘匿する優先出力情報となっている。
図18(a)、(b)、(c)の優先出力情報は設定手段56が保持しており、表示手段53に表示された優先出力情報の選択肢を、ユーザが十字キー54の操作により選択することで、優先出力情報931を所望のものに設定することができる。
図19(a)は、優先出力情報の選択画面である。「音質優先モード」は図18(a)の優先出力情報に対応し、「外部出力優先モード」は図18(b)の優先出力情報に対応し、「秘匿通話モード」は図18(c)の優先出力情報に対応する。ユーザは十字キー54の上端と下端を押下することでフォーカスを上下に移動することができ、十字キー54の中央部分を押下することでフォーカス状態の項目を選択決定することができる。選択操作は設定手段56が受け付け、選択結果に対応する優先出力情報を優先出力情報保持手段93に格納するとともに、設定処理が完了したことを知らせる図19(b)の表示を表示手段55に指示する。
本実施形態の情報出力装置、または情報出力制御方法、または情報出力制御プログラムによれば、設定手段によって優先出力情報を設定・変更することが可能になっている。これにより、ユーザが優先出力情報を設定・変更することができるので、ユーザの好みに応じた視聴方法を選ぶことができ、利便性が向上する。
なお、本実施の形態において、出力手段の入出力となるメディアストリームとしてオーディオメディアストリームを用いたが、これに限るものではなく、MIDI等の楽音シーケンス、パラメトリックオーディオや合成音声の生成パラメータ列等、聴覚的情報を含むストリームであれば何でもよい。また、映像、動画像、アニメーション、字幕等、視覚的情報を含むメディアストリームや、バイブレーターなど触感の情報を含むものであっても同様の効果が得られる。
なお、本実施の形態において、出力状態は、メディアストリームの出力経路で定義されるとしたが、これに限るものではなく、メディアストリームの音量、音質、チャンネル毎の出力バランス、主音声/副音声のどちらを出力するか、ステレオ/モノラルのどちらで出力するか、等で定義されるものであってもよい。また、映像の輝度、大きさ、フレームレートなどで定義されるものであってもよい。
なお、本実施の形態において、提示装置として内蔵スピーカー、ヘッドセット、ステレオヘッドホン、モノラルイヤホンを用いたが、これに限るものではなく、外部スピーカー、骨伝導モジュール、ディスプレイ、プロジェクター、バイブレーションモジュール等、メディアストリームを視覚的または聴覚的または触覚的に認知可能に提示する装置であれば何でもよい。
なお、本実施の形態において、提示装置を出力手段に接続する方法を、Bluetooth通信による方法と、ヘッドホンジャックによる方法としたが、これに限るものではなく、ピンジャック、モジュラージャック、オプティカル端子、USB端子、シリアル端子、パラレル端子、VGA端子、AV出力端子、外部バスのコネクタ、IEEE1394端子、バランス出力端子、DIN端子、MIDI端子、導線、導電性の筐体等による有線接続や、可視光線、赤外線、紫外線等の電磁波、超音波、磁気伝送、静電容量伝送等による無線接続であってもよい。
なお、本実施の形態において、接続状態は、出力手段にどの提示装置が接続されているかで定義されるとしたが、これに限るものではなく、ステレオとモノラル、主音声と副音声等の提示装置における出力モードの選択状態、提示装置に付随するボリューム設定の値等のパラメータ等で定義されるものであってもよい。また、色数、解像度、表示サイズ、周波数特性など、提示性能を表したものであってもよい。
なお、本実施の形態において、接続状態検知手段はヘッドホンジャックへの着脱状態が変化する時、Bluetoothの通信状態が変化する時に接続状態を通知するとしたが、これに限るものではなく、提示装置のスイッチのオン/オフ、無線到達圏内/圏外移動等の物理的な状態が変化する時や、機器間認証の完了等の論理的な状態が変化する時や、スピーカーの外蓋の開閉等、提示装置の外形的な変化を伴って提示可能/不可能の状態が変化する時や、ステレオ/モノラル、主音声/副音声の切替え等、提示出力のモードが変化する時や、提示装置に付随するボリュームの増減等、提示出力のパラメータが変化する時であってもよい。
なお、本実施の形態において、提示装置を出力手段に直接に接続するものとしたが、これに限るものではなく、出力手段と提示装置との接続状態が検知可能であれば、出力手段と提示装置との間にアンプ、音声合成モジュール、音源モジュール、通信モジュール等、別の機器を介在させてもよい。
なお、本実施の形態において、メディア状態はメディアストリームが開始している/開始していないのいずれかの値と、メディアストリームのメディア種別との組合せによって定義されるとしたが、これに限るものではなく、メディアの音量、バランス等で定義されるものであってもよい。
なお、本実施の形態において、メディア種別は、Hi−Fiステレオ、ステレオ、モノラル、モノラル通話のうちのいずれかであるとしたが、これに限るものではなく、通話音声、音楽、TV、映画、TV電話画像、字幕、着信通知等、メディアストリームの内容を表す種別であってもよいし、ADPCM、MPEG、AVI、WMV、RAM、MOV、WAV、MP3、AAC、AMR、ATRAC、μーLAW、A−LAW、AIFF等、圧縮形式やフォーマットの違いを表す種別であってもよいし、MIDI等のシーケンスオーディオ、AMR等のパラメトリックオーディオ、AACなどの波形データといった違いを表す種別であってもよいし、画像/音声/振動といった表層上の違いを表す種別であってもよいし、周波数特性の違いを表す種別であってもよいし、ファイルサイズの違いによる種別であってもよいし、ビットレートの違いによる種別であってもよいし、サンプリングレートの違いによる種別であってもよいし、解像度の違いによる種別であってもよい。
なお、本実施の形態において、出力状態を決定する処理(ステップS1004〜S1014)で、各々の入力チャンネルごとに出力状態を順次決定するようにしたが、これに限るものではなく、出力チャンネルごと、接続されている装置ごとに決定するようにしてもよい。
なお、本実施の形態において、ステップS1009で、出力状態の選択肢をテキスト表示するようにしたが、これに限るものではなく、映像、グラフィックス、アニメーション等の視覚的手段で表示してもよいし、音声によって通知してもよいし、提示装置または提示装置の接続部分近辺を光らせる、振動させる、変形させる等の方法で通知してもよい。
なお、本実施の形態においてステップS1008〜S1012で、装置の優先度が競合した場合にユーザに問い合わせた後に出力状態を決定するようにしたが、これに限るものではなく、競合する複数の装置に出力を一旦開始した後に、出力を継続すべき装置または出力を停止すべき装置をユーザに選択させるようにしてもよい。
なお、本実施の形態において、ステップS1010で、操作入力受付手段は十字キーの操作入力を受け付けるとしたが、これに限るものではなく、十字キー以外にも、ボタン、キー、マウス、タブレット、ジョイスティック、タッチパネル、リモコン等の操作入力や、視線、音声、ジャスチャー、ダイヤルトーン等による操作入力を受け付けるようにしてもよい。
なお、本実施の形態において、操作入力情報は図17に示す形式のテキストデータであるとしたが、これに限るものではなく、ユーザが選択した出力状態が同定できるデータであればよく、HTML、XML、SGML等のマークアップ言語による表現であってもよいし、バイナリデータや電文であってもよい。
なお、本実施の形態において、優先出力情報は図4に示す形式であるとしたが、これに限るものではなく、メディア状態と接続状態との組合せに対する優先的な出力状態を規定するデータであればどのような形式であってもよい。
なお、本実施の形態において、優先出力情報のバリエーションは設定手段が保持するとしたが、これに限るものではなく、優先出力情報保持手段が保持していてもよいし、着脱可能な蓄積メディア、インターネット、公衆回線網、データ放送等を介して外部から取り込んだものを設定手段が選択・設定するようにしてもよい。
なお、本実施の形態において、情報出力装置として携帯電話端末を例に説明したが、これに限るものではなく、固定電話、PDA、電子ブック、ゲーム機、テレビ、ラジオ、DVDプレーヤー、ヘッドホンステレオ、半導体プレーヤー、CDプレーヤー、ハードディスク内蔵音楽プレーヤー、オーディオアンプ、AVアンプでも良い。さらに、これらに限定されず、メディアストリームの出力機能を持つ機器であればよい。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2004年10月26日出願の日本特許出願(特願2004−311402)に基づくものであり、その内容はここに参照として取り込まれる。
本発明は、出力する映像や音声等のメディアストリームの組合せと、ヘッドホンやヘッドセット等の提示装置の接続状態に応じて、どのようにメディアストリームを出力するかを自動的に決定する場合に利用可能である。
本発明の実施の形態における携帯電話端末の簡略構成図 本発明の実施の形態における携帯電話端末の詳細構成図 本発明の実施の形態における携帯電話端末のフローチャート 本発明の実施の形態における携帯電話端末の優先出力情報を示す図 (a)本発明の実施の形態1における携帯電話端末で音楽コンテンツを再生しているイメージ図(b)音楽コンテンツを再生しながら通話を行うイメージ図 本発明の実施の形態1における携帯電話端末のシーケンス図 本発明の実施の形態1における携帯電話端末のメディア状態情報、接続状態情報、出力状態情報を示す図 本発明の実施の形態1における出力開始表示を示す図 (a)本発明の実施の形態2における携帯電話端末で音楽コンテンツを再生しているイメージ図(b)音楽コンテンツを再生しながら通話を行うイメージ図 本発明の実施の形態2における携帯電話端末シーケンス図 本発明の実施の形態2における携帯電話端末のメディア状態情報、接続状態情報、出力状態情報を示す図 本発明の実施の形態2における出力開始表示を示す図 (a)本発明の実施の形態3における携帯電話端末でTV放送受信のイメージ図(b)TV放送を受信しながら通話を行うイメージ図 本発明の実施の形態3における携帯電話端末のシーケンス図 本発明の実施の形態3における携帯電話端末のメディア状態情報、接続状態情報、出力状態情報を示す図 (a)本発明の実施の形態3における補助情報の表示を示す図(b)本発明の実施の形態3における出力開始表示を示す図 本発明の実施の形態3における操作入力情報の記述形式を示す図 (a)本発明の実施の形態4における「音質優先モード」を示す図(b)「外部出力優先モード」を示す図(c)「秘匿通話モード」を示す図 (a)本発明の実施の形態4における優先出力情報の選択画面図(b)設定処理画面図
符号の説明
1 携帯電話端末
102 接続状態検知手段
103 第2の検知信号
105 メディア状態検知手段
106 第1の検知信号
2 提示装置
10 無線通信部
11 無線通信手段
12 符号化手段
13 復号手段
15 第1メディア状態検知手段
20 着信音再生部
21 着信音再生手段
25 第2メディア状態検知手段
30 音楽再生部
31 音楽データ蓄積部
32 音楽再生手段
35 第3メディア状態検知手段
40 放送受信部
41 放送受信手段
42 分離手段
43 音声復号手段
44 画像復号手段
45 第4メディア状態検知手段
51 出力手段
52 内蔵マイク
53 表示手段
54 十字キー
55 操作入力受付手段
551 操作入力情報
56 設定手段
61 Bluetooth通信手段
62 第1接続状態検知手段
63 Bluetoothヘッドセット
71 ヘッドホンジャック
72 第2接続状態検知手段
73 ステレオヘッドホン
75 モノラルイヤホン
81 内蔵スピーカー
82 第3接続状態検知手段
90 制御部
91 出力先決定手段
92 状態情報保持手段
921 メディア状態情報
922 接続状態情報
923 出力状態情報
93 優先出力情報保持手段
931 優先出力情報

Claims (15)

  1. メディアストリームの状態を検知し第1の検知信号を送出するメディア状態検知手段と、
    前記メディアストリームを提示する提示装置の接続状態を検知し第2の検知信号を送出する接続状態検知手段と、
    前記メディア状態検知手段から出力された第1の検知信号と前記接続状態検知手段から出力された第2の検知信号とに基づき前記メディアストリームの出力状態を決定するメディアストリーム出力状態決定手段と、
    前記メディアストリーム出力状態決定手段の指示に基づき前記メディアストリームを前記提示装置に出力する出力手段と、
    を有する情報出力装置。
  2. 請求項1記載の情報出力装置であって、
    前記メディア状態検知手段は、1ないしは複数のメディアストリームの状態を検知し第1の検知信号を送出する情報出力装置。
  3. 前記接続状態検知手段は1ないしは複数の提示装置の接続状態を検知し第2の検知信号を送出し、
    前記メディアストリーム出力状態決定手段は、前記メディアストリームを前記複数の提示装置の一つに出力することを決定する、請求項2に記載の情報出力装置。
  4. 前記接続状態検知手段は複数の提示装置の接続状態を検知し第2の検知信号を送出し、
    前記メディアストリーム出力状態決定手段は前記メディアストリームを前記複数の提示装置に出力することを決定する、請求項2または請求項3に記載の情報出力装置。
  5. 請求項1ないしは4いずれか一項記載の情報出力装置であって、
    前記メディアストリームの出力状態を規定する優先出力情報に基づいて前記メディアストリームの出力状態を決定することを特徴とする情報出力装置。
  6. 請求項5記載の情報出力装置であって、
    前記優先出力情報を設定する設定手段を備える情報出力装置。
  7. 請求項1ないし6のいずれか一項記載の情報出力装置であって、
    前記情報出力装置への操作入力を検出して操作入力情報を出力する操作入力受付手段を備え、
    当該操作入力情報に基づいて前記出力状態を決定することを特徴とする情報出力装置。
  8. メディアストリームを出力する出力制御方法であって、
    メディアストリームの状態を検知する工程と
    検知した前記メディアストリームの状態を第1の検知信号として送出する工程と、
    前記メディアストリームを提示する提示装置の接続状態を検知する工程と
    検知した前記提示装置の接続状態を第2の検知信号として送出する工程と、
    前記第1の検知信号と前記第2の検知信号とに基づき前記メディアストリームの出力状態を決定する工程と、
    前記メディアストリームを前記出力状態に基づき前記提示装置に出力する工程と、を含む情報出力制御方法。
  9. 請求項8記載の情報出力制御方法であって、
    前記メディアストリームの出力状態を規定する優先出力情報に基づいて前記メディアストリームの出力状態を決定する情報出力制御方法。
  10. 請求項9項記載の情報出力制御方法であって、
    前記優先出力情報を変更する工程を含む情報出力制御方法。
  11. 請求項8ないし10のいずれか一項記載の情報出力制御方法であって、
    操作入力を検知して操作入力情報を出力する工程と、
    前記操作入力情報の出力に基づいて前記出力状態を決定する情報出力制御方法。
  12. メディアストリームを出力する情報出力制御プログラムであって、
    メディアストリームの状態を検知し、
    前記メディアストリームの状態を第1の検知信号として送出するステップと、
    前記メディアストリームを提示する提示装置の接続状態を検知するステップと
    前記提示装置の接続状態を第2の検知信号として送出するステップと、
    前記第1の検知信号と前記第2の検知信号とに基づき前記メディアストリームの出力状態を決定するステップと、
    前記メディアストリームを前記出力状態に基づき前記提示装置に出力するステップと、から成る情報出力制御プログラム。
  13. 請求項12記載の情報出力制御プログラムであって、
    前記メディアストリームの出力状態を規定する優先出力情報を有し、
    前記優先出力情報に基づいて前記メディアストリームの出力状態を決定するステップを有する情報出力制御プログラム。
  14. 請求項13項記載の情報出力制御プログラムであって、
    前記優先出力情報を変更するステップを含む情報出力制御プログラム。
  15. 請求項12ないし14のいずれか一項記載の情報出力制御プログラムであって、
    操作入力を検知して操作入力情報を出力するステップと、
    前記操作入力情報の出力に基づいて前記出力状態を決定するステップを含む情報出力制御プログラム。
JP2006542273A 2004-10-26 2005-09-08 情報出力装置、情報出力制御方法、情報出力制御プログラム Expired - Fee Related JP4384179B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004311402 2004-10-26
JP2004311402 2004-10-26
PCT/JP2005/016533 WO2006046357A1 (ja) 2004-10-26 2005-09-08 情報出力装置、情報出力制御方法、情報出力制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2006046357A1 true JPWO2006046357A1 (ja) 2008-05-22
JP4384179B2 JP4384179B2 (ja) 2009-12-16

Family

ID=36227608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006542273A Expired - Fee Related JP4384179B2 (ja) 2004-10-26 2005-09-08 情報出力装置、情報出力制御方法、情報出力制御プログラム

Country Status (4)

Country Link
US (1) US7904188B2 (ja)
JP (1) JP4384179B2 (ja)
CN (1) CN1985497B (ja)
WO (1) WO2006046357A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060591B1 (en) 2005-09-01 2011-11-15 Sprint Spectrum L.P. Automatic delivery of alerts including static and dynamic portions
US7653418B1 (en) * 2005-09-28 2010-01-26 Sprint Spectrum L.P. Automatic rotation through play out of audio-clips in response to detected alert events
WO2007037149A1 (ja) * 2005-09-29 2007-04-05 Nikon Corporation 再生装置、ヘッドマウントディスプレイ装置およびその再生装置を実現するプログラム
US8713191B1 (en) 2006-11-20 2014-04-29 Sprint Spectrum L.P. Method and apparatus for establishing a media clip
US7747290B1 (en) * 2007-01-22 2010-06-29 Sprint Spectrum L.P. Method and system for demarcating a portion of a media file as a ringtone
KR100827613B1 (ko) 2007-05-04 2008-05-07 삼성전자주식회사 휴대용 단말기의 마이크 제어 장치 및 방법
US8068925B2 (en) * 2007-06-28 2011-11-29 Apple Inc. Dynamic routing of audio among multiple audio devices
WO2009077005A1 (en) * 2007-12-17 2009-06-25 Vodafone Holding Gmbh Connector for connecting a rendering device to at least one output device and method for managing output
EP2282258B1 (en) * 2009-07-24 2019-09-18 Lg Electronics Inc. Method for executing menu in mobile terminal and mobile terminal thereof
KR101608650B1 (ko) * 2009-07-24 2016-04-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US9819710B2 (en) * 2011-08-25 2017-11-14 Logitech Europe S.A. Easy sharing of wireless audio signals
JP2015076837A (ja) * 2013-10-11 2015-04-20 ソニー株式会社 機器制御装置および機器制御方法
JP6071866B2 (ja) * 2013-12-18 2017-02-01 キヤノン株式会社 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
JP6357970B2 (ja) * 2014-08-20 2018-07-18 ヤマハ株式会社 放音装置およびヘッドホン
KR102289474B1 (ko) 2015-02-27 2021-08-13 삼성전자주식회사 오디오를 출력하는 방법 및 이를 위한 전자 장치
US9781502B2 (en) * 2015-09-09 2017-10-03 Hand Held Products, Inc. Process and system for sending headset control information from a mobile device to a wireless headset
US9749766B2 (en) * 2015-12-27 2017-08-29 Philip Scott Lyren Switching binaural sound
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
JP6364054B2 (ja) 2016-10-31 2018-07-25 シャープ株式会社 光出力システム
US11417135B2 (en) 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
JP6446571B2 (ja) * 2018-01-17 2018-12-26 シャープ株式会社 光出力システム
US10212472B1 (en) * 2018-02-05 2019-02-19 Mcleanics Technology Corporation Record me-a-stream
JP7170851B2 (ja) * 2019-04-26 2022-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、情報処理装置の制御方法、及びプログラム
US11880633B2 (en) 2019-04-26 2024-01-23 Sony Interactive Entertainment Inc. Information processing system, information processing apparatus, control method for information processing apparatus, and program
US20210125594A1 (en) * 2019-10-23 2021-04-29 Qrs Music Technologies, Inc. Wireless midi headset
CN111124351B (zh) * 2019-12-24 2021-11-16 RealMe重庆移动通信有限公司 音频输出方法、装置、电子设备以及存储介质
JP7318587B2 (ja) * 2020-05-18 2023-08-01 トヨタ自動車株式会社 エージェント制御装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169435A (ja) * 1992-11-30 1994-06-14 Sanyo Electric Co Ltd Avシステム
JP3284661B2 (ja) * 1993-05-21 2002-05-20 松下電器産業株式会社 Avシステム機器
JPH0730971A (ja) 1993-07-09 1995-01-31 Hitachi Ltd Avシステム制御装置
JP3262727B2 (ja) * 1997-01-08 2002-03-04 松下電器産業株式会社 イヤホン
SE9800697L (sv) 1998-03-05 1999-09-06 Ericsson Telefon Ab L M Förfarande och anordning för trådlös kommunikation
WO2000064129A2 (en) * 1999-04-19 2000-10-26 Sanyo Electric Co.,Ltd. Portable telephone set
JP3065744U (ja) * 1999-07-13 2000-02-08 ホリ電機株式会社 Avセレクタ装置
JP2001251697A (ja) * 2000-03-06 2001-09-14 Aiwa Co Ltd 音響装置
JP2001333161A (ja) * 2000-05-18 2001-11-30 Nec Corp 携帯端末
JP2002027029A (ja) 2000-07-03 2002-01-25 Sony Corp 通信端末装置
JP2002171314A (ja) * 2000-11-29 2002-06-14 Casio Comput Co Ltd 音声入力機能付き情報機器
JP2003032333A (ja) * 2001-07-12 2003-01-31 Toshiba Corp 携帯端末装置
JP2003032800A (ja) 2001-07-17 2003-01-31 Nippon Hoso Kyokai <Nhk> スピーカ接続回路装置
JP2003101611A (ja) * 2001-09-26 2003-04-04 Kanebo Ltd 信号切換ユニット
JP2003204600A (ja) 2002-01-08 2003-07-18 Mitsubishi Electric Corp マルチチャンネル再生音響機器
JP2003283599A (ja) 2002-03-27 2003-10-03 Nec Access Technica Ltd 無線携帯電話端末及びそれに用いるスピーカ制御方法
JP2004015166A (ja) * 2002-06-04 2004-01-15 Sharp Corp 携帯電話装置

Also Published As

Publication number Publication date
CN1985497A (zh) 2007-06-20
US20070233905A1 (en) 2007-10-04
WO2006046357A1 (ja) 2006-05-04
JP4384179B2 (ja) 2009-12-16
US7904188B2 (en) 2011-03-08
CN1985497B (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
JP4384179B2 (ja) 情報出力装置、情報出力制御方法、情報出力制御プログラム
JP6702451B2 (ja) 車載装置、車載装置の制御方法および制御プログラム
JP2010141892A (ja) オーディオ機器及びその信号補正方法
WO2019191953A1 (zh) 一种屏幕发声方法及终端设备
KR20110054609A (ko) 블루투스 디바이스의 원격 제어 방법 및 장치
CN107197348A (zh) 显示装置、电子设备、交互式系统及其控制方法
CN102474698A (zh) 在装置处的中侧立体声重现
CN102419997A (zh) 声音处理装置、声音数据选择方法和声音数据选择程序
CN108780382A (zh) 创建并控制提供对来自各个音频提供者服务的内容的访问的频道
JP2022050516A (ja) 端末、音声連携再生システム及びコンテンツ表示装置
CN210777819U (zh) 一种多功能无线录音直播卡拉ok蓝牙音响舞台灯
JP4201791B2 (ja) 携帯電話内蔵形音声変換システム
CN101458951A (zh) 具有多功能的影音节目信号处理系统
CN111190568A (zh) 一种音量调节方法及装置
JP2004206581A (ja) 音響装置、音響装置における音声情報取得方法
US20110216915A1 (en) Providing audible information to a speaker system via a mobile communication device
CN116347413B (zh) 音频传送装置及方法
JP2009124271A (ja) オーディオ装置およびこのオーディオ装置に用いられる外部アダプタ
KR100556915B1 (ko) 휴대단말기의 우퍼 내장장치 및 구조 및 방법
KR101113491B1 (ko) 음원 재생 시스템 및 그 동작 방법
JP2005151067A (ja) 通信端末装置および再生方法
JP6733751B2 (ja) 車載装置、車載装置の制御方法および制御プログラム
KR100703923B1 (ko) 멀티미디어기기를 위한 입체음향 최적화 장치 및 방법
JP2008071060A (ja) Avアンプリファイア、制御方法、プログラム、および記録媒体
WO2011037204A1 (ja) コンテンツ再生装置、音声パラメータ設定方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060623

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090924

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees