JP7213170B2 - 配信補助装置および配信補助方法 - Google Patents

Description

本発明は、携帯電話やタブレットなどの携帯端末、パーソナルコンピュータ（以下「ＰＣ」という）等の配信装置を使用したインターネット配信を、簡易に行うことのできる配信補助装置に関するものである。

近年、インターネットを介したライブ配信が盛り上がりを見せている。ライブ配信は、インターネットに接続可能な携帯電話やタブレットなどの携帯端末、ＰＣ等を介して行われる。ライブ配信では、配信者のトークに、拍手やドラムロール等の効果音をミックスしたり、ＢＧＭや動画、静止画をミックスすることで、配信を盛り上げる。

非特許文献１の『ＴＡＳＣＡＭ社「ＭｉＮｉＳＴＵＤＩＯ ＣＲＥＡＴＯＲ ＵＳ－４２」の取扱説明書』は、かかるライブ配信装置（オーディオインターフェイス）の取扱説明書である。

本装置には、入力音声に音響効果を付与するＥＦＦＥＣＴボタンと、効果音を出力するＰＯＮボタンとが設けられている。ＥＦＦＥＣＴボタンが操作されると、マイクなどを介して本装置へ入力された音声に、その操作に応じた音響効果が本装置内で施される。音響効果が施された音声信号は、ＰＣ等へ出力され、ＰＣ等を介してインターネット配信される。またＰＯＮボタンが押下されると、予め当該ＰＯＮボタンに割り当てられ且つ本装置に内蔵された効果音が、ＰＣ等へ出力され、ＰＣ等を介してインターネット配信される。

ＴＡＳＣＡＭ社「ＭｉＮｉＳＴＵＤＩＯ ＣＲＥＡＴＯＲ ＵＳ－４２」の取扱説明書

しかしながら、ＥＦＦＥＣＴボタンによる音響効果は、予め本装置に内蔵されたプログラムによって本装置内で施され、また、ＰＯＮボタンによる効果音は予め本装置に内蔵されたものなので、音響効果や効果音の自由度が小さかった。また本装置を複雑化させ、装置コストを上昇させてしまっていた。

そこで、本願出願人は、インターネットを介したライブ配信を補助する配信補助装置においては、音響効果を施すプログラムや効果音を内蔵することなく、配信補助装置からは、どのボタンが操作されたかの信号をＰＣ等へ出力し、音響効果や効果音はＰＣ内で生成してインターネット配信することとした（未公知）。

しかしながら、マイクなどを介して本装置へ入力された音声をＰＣへ出力し、その音声にＰＣ内で音響効果を施し、それをインターネット配信すると共に、本装置へフィードバックしてモニター出力すると、そのモニター出力にレイテンシー（遅れ）が生じ、配信者（マイク入力者）に違和感を抱かせてしまうという問題点があった。

本発明は、上記問題点を解決するためになされたものであり、入力音声にＰＣ等の配信装置内で音響効果を施した場合にも、レイテンシーを生じさせることなくモニター出力することができる配信補助装置および配信補助方法を提供することを目的としている。

この目的を達成するために本発明の配信補助装置は、インターネットに接続されて音声や映像をインターネット配信する配信装置へ、各種の配信指示を行い、前記配信装置を使用してインターネット配信を簡易に行わせるものであり、音声を入力する音声入力手段と、その音声入力手段へ入力された音声を前記配信装置へ送信する音声送信手段と、その音声送信手段から前記配信装置へ送信された音声にエフェクト処理を施してインターネット配信することを前記配信装置へ指示するエフェクト指示手段と、そのエフェクト指示手段による指示によって前記配信装置でエフェクト処理された音声信号を受信する音声受信手段と、その音声受信手段で受信した音声信号と、前記音声入力手段へ入力された音声とを当該配信補助装置から出力する音声出力手段とを備えている。

また、本発明の配信補助方法は、インターネットに接続されて音声や映像をインターネット配信する配信装置へ、各種の配信指示を行い、前記配信装置を使用してインターネット配信を簡易に行わせる配信補助装置が実行する方法であり、音声を入力する音声入力ステップと、その音声入力ステップによって入力された音声を前記配信装置へ送信する音声送信ステップと、その音声送信ステップによって前記配信装置へ送信された音声にエフェクト処理を施してインターネット配信することを前記配信装置へ指示するエフェクト指示ステップと、そのエフェクト指示ステップによる指示によって前記配信装置でエフェクト処理された音声信号を受信する音声受信ステップと、その音声受信ステップによって受信した音声信号と、前記音声入力ステップによって入力された音声とを当該配信補助装置から出力する音声出力ステップとを備えている。

（ａ）は、一実施形態である入出力ＩＦ及び携帯端末の外観図であり、（ｂ）は、（ａ）のＩｂ方向における入出力ＩＦの側面図である。 （ａ）は、入出力ＩＦ及び携帯端末の電気的構成を示すブロック図であり、（ｂ）は、付加処理テーブルを模式的に示した図である。 （ａ）は、音声入力回路の回路図であり、（ｂ）は、プラグを挿入した場合の音声入力回路の回路図である。 （ａ）は、ＨＳミュート回路の回路図であり、（ｂ）は、音声処理装置を模式的に示した図である。 （ａ）は、ジャックに対してプラグの挿入が不完全な場合の音声入力回路の回路図であり、（ｂ）は、（ａ）のＶｂ部の拡大図である。 （ａ）は、入出力ＩＦにおけるメイン処理のフローチャートであり、（ｂ）は、入出力ＩＦにおけるマイクミュート処理のフローチャートである。 入出力ＩＦにおける操作子処理のフローチャートである。 携帯端末におけるメイン処理のフローチャートである。 携帯端末におけるイベント処理のフローチャートである。 （ａ）は、入出力ＩＦと携帯端末のＬＣＤとを表す図であり、（ｂ）は、入出力ＩＦの付加ボタンがオンの場合の入出力ＩＦと携帯端末のＬＣＤとを表す図であり、（ｃ）は、使用者がＬＣＤの付加ボタンを操作する場合の入出力ＩＦと携帯端末のＬＣＤとを表す図であり、（ｄ）は、入出力ＩＦの付加ボタンがオフされた場合の入出力ＩＦと携帯端末のＬＣＤとを表す図である。 （ａ）は、第２実施形態における入出力ＩＦの電気的構成を示すブロック図であり、（ｂ）は、第２実施形態における音声入力回路の回路図である。 （ａ）は、内蔵マイクから音声信号の入力を行う場合の音声処理装置を模式的に示した図であり、（ｂ）は、ＨＳマイクから音声信号の入力を行う場合の音声処理装置を模式的に示した図であり、（ｃ）は、音声信号の入力を遮断する場合の音声処理装置を模式的に示した図である。 第２実施形態における入出力ＩＦのマイクミュート処理のフローチャートである。

以下、好ましい実施例について、添付図面を参照して説明する。図１（ａ）は、一実施形態である入出力インターフェイス１（以下「入出力ＩＦ１」と略す）及び携帯端末３０の外観図であり、図１（ｂ）は、図１（ａ）のＩｂ方向における入出力ＩＦ１の側面図である。

入出力ＩＦ１は、後述の内蔵マイク２やヘッドセット５０から入力された音声を携帯端末３０へ送信し、携帯端末３０から入出力ＩＦ１に入力された後述の配信データの音声をヘッドセット５０へ出力する装置（配信補助装置、信号処理装置）である。入出力ＩＦ１は、音声を入力する内蔵マイク２と、付加ボタン３ａ～３ｆと、操作ボタン４と、付加音量つまみ５と、マイク音量つまみ６と、後述のヘッドセット５０のプラグ５５が挿入されるジャック７とが設けられる。

付加ボタン３ａ～３ｆは、携帯端末３０に対して、入出力ＩＦ１で入力された音声に効果音やＢＧＭ等を付加する付加処理の適用を指示する操作子である。付加ボタン３ａ～３ｆにはそれぞれ、効果音、ＢＧＭ、静止画、動画、あるいは文字列（テキスト）等の付加処理が割り当てられる（図２（ｂ）参照）。

操作ボタン４は、付加処理以外の各種操作を指示する操作子であり、カメラ切替ボタン４ａ、配信開始ボタン４ｂ、ミュートボタン４ｃ及びエフェクトボタン４ｄで構成される。カメラ切替ボタン４ａは、携帯端末３０における画像取得の取得先を切り替える指示であるカメラ切替情報を携帯端末３０に送信する操作子である。カメラ切替情報には、「内蔵カメラ３１から画像取得」、「外部カメラ６０から画像取得」或いは「画像取得を行わない」の３つの設定値が設けられ、カメラ切替ボタン４ａを押すごとに、これらの設定値が切り替わって携帯端末３０に送信される。

配信開始ボタン４ｂは、インターネットＮＴへの配信の開始指示および終了指示を携帯端末３０に送信する操作子であり、ミュートボタン４ｃは、内蔵マイク２やヘッドセット５０から入力される音声の音量をミュートする操作子である。エフェクトボタン４ｄは、携帯端末３０に対して入出力ＩＦ１から入力された音声に対して、ディレイやリバーブ等のエフェクト（音響効果）の付加を指示する、エフェクト指示情報を送信する操作子である。

付加音量つまみ５は、付加ボタン３ａ～３ｆによって指示された付加処理の音量である付加音量を設定する操作子であり、マイク音量つまみ６は、内蔵マイク２や後述のヘッドセット５０から入力される音声の音量を設定する操作子である。

携帯端末３０は、入出力ＩＦ１に接続され、使用者Ｈ等の画像（映像）を取得する内蔵カメラ３１と、画像を出力するＬＣＤ３２とを有する情報処理装置（配信装置）であり、スマートフォンが例示される。携帯端末３０にはまた、内蔵カメラ３１とは異なる画像を取得する外部カメラ６０とインターネットＮＴとが、無線通信を介して接続される。

携帯端末３０は、内蔵カメラ３１又は外部カメラ６０から取得された画像と入出力ＩＦ１から入力された音声とに、上記した付加処理等を付加した配信データを作成する。作成された配信データを、インターネットＮＴに送信（配信）し、入出力ＩＦ１に出力すると共に、配信データの画像を携帯端末３０のＬＣＤ３２に表示する。

ヘッドセット５０は、入出力ＩＦ１に接続される音声入出力装置であり、音声を出力する左スピーカ５０ａ及び右スピーカ５０ｂと、音声を入力するヘッドセットマイク５０ｃ（以下「ＨＳマイク５０ｃ」と略す）と、プラグ５５とが設けられる。プラグ５５は、ＣＴＩＡ（Cellular Telephone Industry Association）規格の端子であり、その先端から左スピーカ５０ａが接続される左端子５５Ｌと、右スピーカ５０ｂが接続される右端子５５Ｒと、グランドＧＮＤ（図３（ａ）参照）が接続される接地端子５５Ｇと、ＨＳマイク５０ｃが接続されるマイク端子５５Ｍとが設けられる。

入出力ＩＦ１はまた、ヘッドセット５０からＨＳマイク５０ｃを省略したヘッドホン５７も使用可能に構成される。ヘッドホン５７が入出力ＩＦ１に接続された場合は、使用者Ｈ等の音声がＨＳマイク５０ｃの代わりに入出力ＩＦ１の内蔵マイク２から入力される。

次に図２～図５を参照して、入出力ＩＦ１及び携帯端末３０の電気的構成を説明する。図２（ａ）は、入出力ＩＦ１及び携帯端末３０の電気的構成を示すブロック図である。入出力ＩＦ１は、その各部を制御する演算装置であるＭＣＵ１０を有し、そのＭＣＵ１０には、音声処理装置１１と、内蔵ミュート回路１２と、ＨＳミュート回路１３と、プラグ検知回路１４と、ＨＳマイク検知回路と、付加ボタン３ａ～３ｆと、操作ボタン４と、付加音量つまみ５と、マイク音量つまみ６と、携帯端末３０（具体的には後述の通信装置３８）との通信を行う通信装置１６とが接続される。

音声処理装置１１は、音声信号の入出力を制御する装置である。音声処理装置１１には、ヘッドセット５０の左スピーカ５０ａ、右スピーカ５０ｂ及びＨＳマイク５０ｃが、プラグ５５の左端子５５Ｌ、右端子５５Ｒ及びマイク端子５５Ｍ（図１（ｂ）参照）を介して接続され、内蔵マイク２も接続される。

内蔵ミュート回路１２は、ＭＣＵ１０からの指示に基づいて内蔵マイク２からの音声信号を遮断することで、内蔵マイク２をミュートする回路であり、ＨＳミュート回路１３は、ＭＣＵ１０からの指示に基づいてＨＳマイク５０ｃからの音声信号を遮断することで、ＨＳマイク５０ｃをミュートする回路である。プラグ検知回路１４は、入出力ＩＦ１へのプラグ５５の挿入を検知する回路であり、ＨＳマイク検知回路１５は、後述のジャック７におけるマイク接点ＣＭの接続を検知する回路である。

これら内蔵マイク２、音声処理装置１１、内蔵ミュート回路１２、ＨＳミュート回路１３、プラグ検知回路１４及びＨＳマイク検知回路１５によって構成される回路が音声入力回路Ｓｉとされる。ここで図３，図４を参照して、音声入力回路Ｓｉの詳細を説明する。

図３（ａ）は、音声入力回路Ｓｉを示す回路図であり、図３（ｂ）は、プラグ５５を挿入した場合の音声入力回路Ｓｉを示す回路図である。図３（ａ）に示す通り、音声入力回路Ｓｉは、主にジャック７と、内蔵マイク２と、ＭＣＵ１０と、音声処理装置１１と、内蔵ミュート回路１２と、ＨＳミュート回路１３とで構成される。

ジャック７には、プラグ５５の左端子５５Ｌと接続される左接点ＣＬと、右端子５５Ｒと接続される右接点ＣＲと、接地端子５５Ｇ及びグランドＧＮＤに接続される接地接点ＣＧと、マイク端子Ｍと接続されるマイク接点ＣＭとが設けられる。

音声処理装置１１には、左右の音声信号が出力される出力ポートである、左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔと、音声信号が入力される入力ポートである第１入力ポートＭ１、第２入力ポートＭ２及び第３入力ポートＭ３とが設けられる。本実施形態では、第１入力ポートＭ１には、内蔵マイク２及びマイク接点ＣＭが接続され、第２入力ポートＭ２及び第３入力ポートＭ３には、内蔵マイク２及びマイク接点ＣＭや他の入力装置が接続されない。

ジャック７の左接点ＣＬには、アンプａ１を介して音声処理装置１１の左出力ポートＬｏｕｔと接続され、右接点ＣＲには、アンプａ２を介して音声処理装置の右出力ポートＲｏｕｔと接続される。これにより、音声処理装置１１の左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔからの音声信号が左端子５５Ｌ及び右端子５５Ｒに出力される。

ジャック７のマイク接点ＣＭは、アンプａ３を介して音声処理装置１１の第１入力ポートＭ１に接続される。内蔵マイク２にはアンプａ４が接続され、更にそのアンプａ４がアンプａ３と第１入力ポートＭ１との間に接続される。これにより、プラグ５５のマイク端子５５Ｍ及び内蔵マイク２からの音声信号が、第１入力ポートＭ１に入力される。

ジャック７の右接点ＣＲは、絶縁体Ｅを介して端子Ｄに機械的に接続される。その端子ＤはＭＣＵ１０に接続され、端子ＤとＭＣＵ１０との間には、抵抗Ｒ１を介してバイアス電圧Ｂ１（例えば３．３Ｖ）が接続される。また、端子Ｄ上には、グランドＧＮＤと接続される接点Ｃ１が配置される。図３（ａ），図３（ｂ）に示す通り、接点Ｃ１は、プラグ５５が抜去され右接点ＣＲがプラグ５５と非接触である場合は、端子Ｄと接触し、プラグ５５が挿入され右接点ＣＲがプラグ５５と接触した場合は、端子Ｄと非接触となるように構成される。

従って、ジャック７にプラグ５５が抜去された場合は、接点Ｃ１が端子Ｄと接触することで、バイアス電圧Ｂ１からの電圧が端子Ｄ及び接点Ｃ１を介してグランドＧＮＤに入力され、ＭＣＵ１０へは「ロー」の電圧が入力される。一方でジャック７にプラグ５５が挿された場合は、接点Ｃ１が端子Ｄと非接触となり、端子ＤがグランドＧＮＤから切断されることで、バイアス電圧Ｂ１からの「ハイ」の電圧がＭＣＵ１０に入力される。この際、右接点ＣＲと、端子Ｄ及びＭＣＵ１０とは、絶縁体Ｅによって電気的に絶縁されているので、右接点ＣＲからの電圧がＭＣＵ１０に入力されることはなく、またバイアス電圧Ｂ１からの電圧が端子Ｄを介して右接点ＣＲに入力されることはない。

そして、ＭＣＵ１０において、バイアス電圧Ｂ１からの電圧がハイかローかを確認することで、プラグ５５の挿入がされたか否かを判断できる。このような、抵抗Ｒ１、バイアス電圧Ｂ１及び接点Ｃ１による検知回路が、図２（ａ）における「プラグ検知回路１４」に該当する。

マイク接点ＣＭとアンプａ３との間には、抵抗Ｒ２を介してバイアス電圧Ｂ２（例えば２．５Ｖ）が接続される。更にアンプａ３と抵抗Ｒ２との接続点は、オペアンプＯＰを介してＭＣＵ１０と接続される。ＨＳマイク５０ｃ（図１，図２（ａ）参照）を有し、プラグ５５にマイク端子Ｍを有する場合は、そのマイク端子Ｍがジャック７のマイク接点ＣＭと接続される。この場合は、バイアス電圧Ｂ２からの電圧が、抵抗Ｒ２とＨＳマイク５０ｃのインピーダンスとによって分圧されてＭＣＵ１０に入力される。

一方でＨＳマイク５０ｃを有しない場合のプラグ５５では、プラグ５５の接地端子５５Ｇがマイク端子５５Ｍと一体となり、ショート状態となっているので、接地端子５５Ｇがジャック７の接地接点ＣＧと接続されると共に、マイク接点ＣＭとも接続される。従って、バイアス電圧Ｂ２からＭＣＵ１０に入力される電圧は、０Ｖとなる。

従って、バイアス電圧Ｂ２からＭＣＵ１０に入力される電圧値が、閾値（例えば１．０Ｖ）を超えるか超えないかを判断することで、ＨＳマイク５０ｃを有するか／有しないか、即ちマイク接点ＣＭへのマイク端子Ｍの接続／非接続を検知できる。このような、抵抗Ｒ２及びバイアス電圧Ｂ２による検知回路が、図２（ａ）における「ＨＳマイク検知回路１５」に該当する。

また、内蔵マイク２とアンプａ４との間には、内蔵ミュート回路１２が接続され、アンプａ３と第１入力ポートＭ１との間には、ＨＳミュート回路１３が接続される。内蔵ミュート回路１２と、ＨＳミュート回路１３とは、それぞれＭＣＵ１０に接続される。図４（ａ）を参照して、内蔵ミュート回路１２およびＨＳミュート回路１３の詳細を説明する。

図４（ａ）は、ＨＳミュート回路１３の回路図である。なお、内蔵ミュート回路１２とＨＳミュート回路１３とは同一の構成なので、以下ではＨＳミュート回路１３のみの説明とし、内蔵ミュート回路１２の説明を省略する。ＨＳミュート回路１３、抵抗Ｒ３と、バイアス電圧Ｂ３（例えば３．３Ｖ）と、トランジスタＴ１と、トランジスタＴ２とで構成される。

ＭＣＵ１０は抵抗Ｒ３を介して、トランジスタＴ１のベースに接続される。そのトランジスタＴ１のエミッタにはバイアス電圧Ｂ３が接続され、トランジスタＴ１のコレクタはトランジスタＴ２のベースと接続される。トランジスタＴ２のコレクタがジャック７のマイク接点ＣＭと音声処理装置１１の第１入力ポートＭ１との間（具体的には、図３（ａ）におけるアンプａ３と第１入力ポートＭ１との間）に接続され、トランジスタＴ２のエミッタはグランドＧＮＤと接続される。

このように構成されたＨＳミュート回路１３において、ＭＣＵ１０からトランジスタＴ１のベースにローの電圧を与えると、バイアス電圧Ｂ３からの電圧が、トランジスタＴ１のコレクタ及びエミッタを介して、トランジスタＴ２のベースに入力される。そうすると、マイク接点ＣＭから入力された音声信号は、トランジスタＴ２のコレクタ及びエミッタを介してグランドＧＮＤに入力される。これにより、マイク接点ＣＭからの入力される音声信号が、第１入力ポートＭ１から遮断される。一方で、ＭＣＵ１０からトランジスタＴ１のベースに電圧を入力されない場合は、マイク接点ＣＭからの音声信号が第１入力ポートＭ１に入力される。

このように、ＨＳミュート回路１３はマイク接点ＣＭから入力される音声信号のみ、遮断できるように構成されるので、ＨＳミュート回路１３によって、マイク接点ＣＭの音声信号の第１入力ポートＭ１への入力と遮断とを切り替えても、内蔵マイク２等の音声処理装置１１への他の入出力に影響を及ぼすことはない。同様に、内蔵ミュート回路１２も内蔵マイク２から入力される音声信号のみ遮断できるように構成されるので、内蔵マイク２からの音声信号の、第１入力ポートＭ１への入力と遮断とを切り替えても、音声処理装置１１への他の入出力に影響を及ぼすことはない。

次に図４（ｂ）を参照して、音声処理装置１１の第１入力ポートＭ１と、左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔとの入出力の関係について説明する。図４（ｂ）は、音声処理装置１１を模式的に示した図である。図４（ｂ）に示す通り、本実施形態の音声処理装置１１は、第１入力ポートＭ１からの音声信号が、左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔから出力可能に構成される。これにより、ヘッドセット５０のＨＳマイク５０ｃから入力された音声を、即時に左スピーカ５０ａ及び右スピーカ５０ｂから出力できる。

また図示はしないが、音声処理装置１１においては、左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔは、第１入力ポートＭ１から入力された音声信号を出力だけでなく、他の音声信号、例えば後述する携帯端末３０から受信した配信データの音声信号を、第１入力ポートＭ１から入力された音声信号と混合（ミキシング）して出力可能に構成される。

このように、第１入力ポートＭ１からの音声信号を左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔから出力可能とした場合において、プラグ５５のジャック７への挿入が不完全な場合に、ヘッドセット５０の左スピーカ５０ａ及び右スピーカ５０ｂからノイズが出力されることがある。図５を参照して、このようなノイズ発生のメカニズムを説明する。

図５（ａ）は、ジャック７に対してプラグ５５の挿入が不完全な場合の音声入力回路Ｓｉの回路図であり、図５（ｂ）は、図５（ａ）のＶｂ部の拡大図である。ジャック７に対してプラグ５５を抜き差ししている最中では、ジャック７にプラグ５５を挿入されているにもかかわらず、プラグ５５の左端子５５Ｌ、右端子５５Ｒ、接地端子５５Ｇ及びマイク端子Ｍが、それぞれジャック７の左接点ＣＬ、右接点ＣＲ、接地接点ＣＧ及びマイク接点ＣＭと完全には接続しない。

特に図５（ａ）に示すように、左端子５５Ｌが右接点ＣＲと接続され、左端子５５Ｌと右端子５５Ｒとの間の絶縁体に接地接点ＣＧが接続され、接地端子５５Ｇがマイク接点ＣＭに接続する場合がある。このような場合、音声処理装置１１の右出力ポートＲｏｕｔからの音声信号が、右接点ＣＲから左端子５５Ｌに入力される。

ここで図５（ｂ）に示す通り、プラグ５５の左端子５５Ｌと接地端子５５Ｇとは、左スピーカ５０ａ（図１，図２（ａ）参照）に基づく仮想的な抵抗５５ＶＲ１を介して接続される。従って、左端子５５Ｌからの音声信号が、抵抗５５ＶＲ１を介して接地端子５５Ｇに入力され、接地端子５５Ｇからマイク接点ＣＭに入力され、更にマイク接点ＣＭから第１入力ポートＭ１に入力される。図４（ｂ）で上記した通り、第１入力ポートＭ１から入力された音声信号は右出力ポートＲｏｕｔに出力され、再び右接点ＣＲ及び左端子５５Ｌに入力される。

このように、左端子５５Ｌからの音声信号がマイク接点ＣＭに繰り返し入力されることで「ハウリング」が発生し、これによって音声信号は、雑音を含んだ不正な音声信号となってしまう。かかる不正な音声信号が左端子５５Ｌから左スピーカ５０ａに出力されるので、左スピーカ５０ａからは使用者Ｈにとって不快なノイズが出力される。

そこで本実施形態では、プラグ検知回路１４によってプラグ５５が検知され、更にＨＳマイク検知回路１５によってマイク接点ＣＭの接続が検知された場合は、２秒間、ＨＳミュート回路を動作させることで、マイク接点ＣＭから入力される不正な音声信号を遮断し、不正な音声信号によるノイズが使用者Ｈに出力されるのを抑制する。

図２（ａ）に戻る。上記した付加ボタン３ａ～３ｆには、それぞれＬＥＤ３ａ１～ＬＥＤ３ｆ１が設けられる。ＬＥＤ３ａ１～ＬＥＤ３ｆ１は、点灯および消灯が制御可能に構成され、携帯端末３０から受信した点灯指示または消灯指示に応じて、ＬＥＤ３ａ１～ＬＥＤ３ｆ１の点灯および消灯が制御される。

携帯端末３０は、ＣＰＵ３３と、フラッシュＲＯＭ３４と、ＲＡＭ３５とを有し、これらはバスライン３６を介して入出力ポート３７にそれぞれ接続されている。入出力ポート３７には、更に、入出力ＩＦ１の通信装置１６との通信を行う通信装置３８と、インターネットＮＴ及び外部カメラ６０と無線通信を行う無線通信装置３９と、内蔵カメラ３１と、ＬＣＤ３２と、タッチパネル４０とが接続されている。

ＣＰＵ３３は、バスライン３６により接続された各部を制御する演算装置である。フラッシュＲＯＭ３４は、ＣＰＵ１０により実行されるプログラムや固定値データ等を格納した書き換え可能な不揮発性の記憶装置であり、制御プログラム３４ａと、付加ボタンテーブル３４ｂとが記憶される。ＣＰＵ３３によって制御プログラム３４ａが実行されると、図８のメイン処理が実行される。付加ボタンテーブル３４ｂは、付加ボタン３ａ～３ｆそれぞれのオンオフ状態と、割り当てられている付加処理とが記憶されるデータテーブルである。図２（ｂ）を参照して付加ボタンテーブル３４ｂを説明する。

図２（ｂ）は、付加ボタンテーブル３４ｂを模式的に示した図である。図４（ｂ）に示す通り、付加ボタンテーブル３４ｂには、付加ボタン３ａ～３ｆ及び、付加ボタン３ａ～３ｆとＬＣＤ３２上で対応する後述の付加ボタン３２ａ～３２ｆ（図１０参照）のそれぞれにおける、オンオフの状態と付加処理とが記憶される。

図２（ｂ）においては、付加ボタン３ａ，３２ａの付加処理として「ＢＧＭ１」が、付加ボタン３ｂ，３２ｂの付加処理として「動画１」が、付加ボタン３ｃ，３２ｃの付加処理として「効果音１」が、付加ボタン３ｄ，３２ｄの付加処理として「静止画１」が、付加ボタン３ｅ，３２ｅの付加処理として「効果音１」とは異なる効果音である「効果音２」が、そして付加ボタン３ｆ，３２ｆの付加処理として「テキスト１」が、それぞれ割り当てられている。

図２（ａ）に戻る。ＲＡＭ３５は、ＣＰＵ３３が制御プログラム３４ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するメモリであり、入出力ＩＦ１から受信した音声が記憶される入力音声メモリ３５ａと、上記の配信データが記憶される配信データメモリ３５ｂと、入出力ＩＦ１から受信した上記のカメラ切替情報が記憶されるカメラモードメモリ３５ｃと、入出力ＩＦ１から受信した上記の付加音量が記憶される付加音量メモリ３５ｄとが設けられる。

タッチパネル４０は、使用者Ｈによるタッチ操作に応じて、タッチされた位置信号を、携帯端末３０へ入力する入力装置であり、上記したＬＣＤ３２とタッチパネル４０とは、重ね合わせて設けられる。

次に図６～図１０を参照して、入出力ＩＦのＭＣＵ１０で実行される処理および携帯端末３０のＣＰＵ３３で実行される処理を説明する。図６（ａ）は、入出力ＩＦ１におけるメイン処理のフローチャートである。入出力ＩＦ１のメイン処理は、入出力ＩＦ１の電源投入後に実行される処理である。入出力ＩＦ１のメイン処理はまず、マイクミュート処理（Ｓ１）を行う。図６（ｂ）を参照して、マイクミュート処理を説明する。

図６（ｂ）は、入出力ＩＦ１におけるマイクミュート処理のフローチャートである。マイクミュート処理は、まず、プラグ検知回路１４がプラグ５５の挿入を検知しているかを確認する（Ｓ１０）。Ｓ１０の処理において、プラグ検知回路１４がプラグ５５の挿入を検知している場合は（Ｓ１０：Ｙｅｓ）、ＨＳマイク検知回路１５が、マイク接点ＣＭの接続を検知しているかを確認する（Ｓ１１）。

Ｓ１１の処理において、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知している場合は（Ｓ１１：Ｙｅｓ）、更にＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後かを確認する（Ｓ１２）。具体的には、前回のマイクミュート処理においてＨＳマイク検知回路１５でマイク接点ＣＭの接続が検知されておらず、且つ今回のマイクミュート処理においてＨＳマイク検知回路１５でマイク接点ＣＭの接続が検知されたか否かを確認する。

Ｓ１２の処理において、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後である場合は（Ｓ１２：Ｙｅｓ）、音声処理装置１１の音声の入力先を、内蔵マイク２からＨＳマイク５０ｃに切り替えるタイミングであるので、まず内蔵ミュート回路１２を動作させ、内蔵マイク２をミュートする（Ｓ１３）。

Ｓ１３の処理の後、ＨＳミュート回路１３を動作させ、マイク接点ＣＭから入力される音声信号を第１入力ポートＭ１から遮断し、ＨＳマイク５０ｃをミュートする（Ｓ１４）。Ｓ１４の処理の後、２秒間ウェイト処理を行い（Ｓ１５）、その後、ＨＳミュート回路１３を停止させて、マイク接点ＣＭからの第１入力ポートＭ１への音声信号の入力を回復させて、ＨＳマイク５０ｃのミュートを解除する（Ｓ１６）。

即ちＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後（Ｓ１１：Ｙｅｓ）においては、図５で上記した通り、プラグ５５のジャック７への抜き差しにおいて、マイク接点ＣＭがプラグ５５のマイク端子５５Ｍに接続されず、接地端子５５Ｇ等の他の端子と接続されている虞がある。

このような場合に、ＨＳミュート回路１３によって、マイク接点ＣＭから入力される音声信号を、音声処理装置１１の第１入力ポートＭ１から２秒間遮断することで、マイク接点ＣＭからの不正な音声信号が右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔを介して、ヘッドセット５０の左スピーカ５０ａ及び右スピーカ５０ｂから出力されるのを抑制できる。これにより、不正な音声信号に起因する不快なノイズが、使用者Ｈに出力されるのを抑制できる。

また、マイク接点ＣＭからの音声信号の遮断から、その遮断の解除まで時間が２秒間に設定される。従って、かかる２秒間によってジャック７へのプラグ５５の抜き差しに要する時間が確保できるので、かかる抜き差し中にマイク接点ＣＭからの不正な音声信号が入力されても、それが不快なノイズとなって使用者Ｈに出力されるのを十分に抑制できる。

ここで、後述するようにＳ１のマイクミュート処理は繰り返し処理されるので、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後にのみ（Ｓ１２：Ｙｅｓ）、Ｓ１４～Ｓ１６によるＨＳマイク５０ｃのミュート及びその２秒後のミュート解除を行うことで、マイク接点ＣＭの接続が検知されている状態で、ＨＳマイク５０ｃのミュート及びその解除が繰り返し実行されるのを防止できる。

Ｓ１０の処理において、プラグ検知回路１４がプラグ５５の挿入を検知してない場合（Ｓ１０：Ｎｏ）、又は、Ｓ１１の処理において、ＨＳマイク検知回路１５が、マイク接点ＣＭの接続を検知していない場合は（Ｓ１１：Ｎｏ）、プラグ５５がジャック７から完全に引き抜かれる等によって、音声処理装置１１の音声の入力先を、ＨＳマイク５０ｃから内蔵マイク２に切り替えるタイミングであるので、ＨＳミュート回路１３を動作させて、ＨＳマイク５０ｃをミュートし（Ｓ１７）、内蔵ミュート回路１２を停止させて、内蔵マイク２のミュートを解除する（Ｓ１８）。

Ｓ１２の処理において、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後ではない場合は（Ｓ１２：Ｎｏ）、Ｓ１３～Ｓ１６の処理をスキップする。Ｓ１２，Ｓ１６，Ｓ１８の処理の後、マイクミュート処理（Ｓ１）を終了し、図６（ａ）のメイン処理に戻る。

Ｓ１のマイクミュート処理（Ｓ１）の後、操作子処理（Ｓ２）を実行する。図７を参照して、操作子処理を説明する。

図７は、入出力ＩＦ１における操作子処理のフローチャートである。操作子処理はまず、付加ボタン３ａ～３ｆのいずれかが押されたかを確認する（Ｓ３０）。Ｓ３０の処理において、付加ボタン３ａ～３ｆが押された場合は（Ｓ３０：Ｙｅｓ）、押された付加ボタン３ａ～３ｆの押下情報を携帯端末３０に送信する（Ｓ３１）。Ｓ３０の処理において、付加ボタン３ａ～３ｆが押されていない場合は（Ｓ３０：Ｎｏ）、Ｓ３１の処理をスキップする。

Ｓ３０，Ｓ３１の処理の後、携帯端末３０から付加ボタン３ａ～３ｆの点灯指示または消灯指示を受信したかを確認する（Ｓ３２）。Ｓ３２の処理において、付加ボタン３ａ～３ｆの点灯指示を受信した場合は（Ｓ３２：「点灯指示」）、点灯指示がされた付加ボタン３ａ～３ｆのＬＥＤ３ａ１～ＬＥＤ３ｆ１を点灯させ（Ｓ３３）、付加ボタン３の消灯指示を受信した場合は（Ｓ３２：「消灯指示」）、消灯指示がされたＬＥＤ３ａ１～ＬＥＤ３ｆ１を消灯させる（Ｓ３４）。Ｓ３２の処理において、点灯指示または消灯指示を受信していない場合は（Ｓ３２：「受信なし」）、Ｓ３３，Ｓ３４の処理をスキップする。

Ｓ３２～Ｓ３４の処理の後、エフェクトボタン４ｄが押されたかを確認する（Ｓ３５）。Ｓ３５の処理において、エフェクトボタン４ｄが押された場合は（Ｓ３５：Ｙｅｓ）、携帯端末３０にエフェクト指示情報を送信し（Ｓ３６）、エフェクトボタン４ｄが押されていない場合は（Ｓ３５：Ｎｏ）、Ｓ３６の処理をスキップする。

Ｓ３５，Ｓ３６の処理の後、カメラ切替ボタン４ａが押されたかを確認する（Ｓ３７）。Ｓ３７の処理において、カメラ切替ボタン４ａが押された場合は（Ｓ３７：Ｙｅｓ）、携帯端末３０に上記のカメラ切替情報を送信する（Ｓ３８）。かかるＳ３８の処理で送信されるカメラ切替情報の設定値はカメラ切替ボタン４ａが押されるごとに切り替わり、具体的には「内蔵カメラ３１から画像取得」→「外部カメラ６０から画像取得」→「画像取得を行わない」「内蔵カメラ３１から画像取得」→・・・の順に繰り返し切り替わる。一方で、カメラ切替ボタン４ａが押されていない場合は（Ｓ３７：Ｎｏ）、Ｓ３８の処理をスキップする。

Ｓ３７，Ｓ３８の処理の後、付加音量つまみ５の音量、即ち付加音量が、前回の操作子処理の実行時から変化したかを確認する（Ｓ３９）。Ｓ３９の処理において、付加音量が変化した場合は（Ｓ３９：Ｙｅｓ）、携帯端末３０に付加音量を送信し（Ｓ４０）、付加音量が変化していない場合は（Ｓ３９：Ｎｏ）、Ｓ４０の処理をスキップする。Ｓ３９，Ｓ４０の処理の後、操作子処理を終了し、図６（ａ）のメイン処理に戻る。

Ｓ２の操作子処理の後、音声処理装置１１に入力された音声、即ちヘッドセット５０のＨＳマイク５０ｃ又は内蔵マイク２から入力された音声を、携帯端末３０に送信する（Ｓ３）。なお、Ｓ３の処理において、音声処理装置１１に入力された音声をＭＣＵ１０を介さずに携帯端末３０へ送信しても良い。Ｓ３の処理の後、携帯端末３０から後述の配信データを受信する（Ｓ４）。

Ｓ４の処理の後、受信した配信データの音声に、音声処理装置１１で入力された音声を追加した音声を音声処理装置１１から出力する（Ｓ５）。具体的には、受信した配信データから音声信号を抽出して音声処理装置１１に入力し、音声処理装置１１においてその音声信号と、第１入力ポートＭ１から入力された音声信号とを混合した音声信号を、左出力ポートＬｏｕｔ及び右出力ポートＲｏｕｔから出力する。Ｓ５の処理の後、Ｓ１以下の処理を繰り返す。

次に図８～図１０を参照して、携帯端末３０の処理を説明する。図８は、携帯端末３０におけるメイン処理のフローチャートである。携帯端末３０のメイン処理は、タッチパネル４０から制御プログラム３４ａの実行指示があった場合に実行される。

携帯端末３０のメイン処理はまず、タッチパネル４０から付加ボタンテーブル３４ｂの付加処理の変更指示があったかを確認する（Ｓ５０）。Ｓ５０の処理において、付加処理の変更指示があった場合は（Ｓ５０：Ｙｅｓ）、タッチパネル４０から取得された変更後の付加処理を、付加ボタンテーブル３４ｂの該当する付加ボタン３ａ～３ｆ，３２ａ～３２ｆの付加処理に設定する（Ｓ５１）。Ｓ５０の処理において、付加処理の変更指示がなかった場合は（Ｓ５０：Ｎｏ）、Ｓ５１の処理をスキップする。

Ｓ５０，Ｓ５１の処理の後、入出力ＩＦ１から音声を取得し、入力音声メモリ３５ａ及び配信データメモリ３５ｂに保存する（Ｓ５２）。Ｓ５２の処理の後、イベント処理を実行する（Ｓ５３）。図９を参照して、イベント処理を説明する。

図９は、携帯端末におけるイベント処理のフローチャートである。イベント処理はまず、入出力ＩＦ１から付加ボタン３ａ～３ｆの押下情報を受信したか、又はＬＣＤ３２上の付加ボタン３２ａ～３２ｆがタッチパネル４０で押されたかを確認する（Ｓ７０）。ここで図１０（ａ）を参照して、入出力ＩＦ１の付加ボタン３ａ～３ｆと、ＬＣＤ３２上の付加ボタン３２ａ～３２ｆとの関係を説明する。

図１０（ａ）は、入出力ＩＦ１と携帯端末３０のＬＣＤ３２とを表す図である。ＬＣＤ３２の下部には、付加ボタン３２ａ～３２ｆが表示される。付加ボタン３２ａ～付加ボタン３２ｆは、それぞれ上記した入出力ＩＦ１の付加ボタン３ａ～３ｆと対応している。図９のＳ７０の処理では、入出力ＩＦ１の付加ボタン３ａ～３ｆが押されることで、図７のＳ３１の処理で送信される押下情報を受信したか、又はＬＣＤ３２上の付加ボタン３２ａ～３２ｆがタッチパネル４０を介して押されたかを確認する。

図９に戻る。Ｓ７０の処理において、入出力ＩＦ１から付加ボタン３ａ～３ｆの押下情報を受信した場合、又はＬＣＤ３２上の付加ボタン３２ａ～３２ｆが押された場合は（Ｓ７０：Ｙｅｓ）、該当する付加ボタンテーブル３４の付加ボタン３ａ～３ｆ，３２ａ～３２ｆの状態を確認する（Ｓ７１）。

Ｓ７１の処理において、該当する付加ボタンテーブル３４の付加ボタン３ａ～３ｆ，３２ａ～３２ｆの状態がオフの場合は（Ｓ７１：「オフ」）、該当する付加ボタンテーブル３４の付加ボタン３ａ～３ｆ，３２ａ～３２ｆの状態をオンに設定する（Ｓ７２）。そして、該当するＬＣＤ３２上の付加ボタン３２ａ～付加ボタン３２ｆを選択表示し（Ｓ７３）、該当する付加ボタン３ａ～３ｆの点灯指示を入出力ＩＦ１に送信する（Ｓ７４）。

一方でＳ７１の処理において、該当する付加ボタンテーブル３４の付加ボタン３ａ～３ｆ，３２ａ～３２ｆの状態がオンの場合は（Ｓ７１：「オン」）、該当する付加ボタンテーブル３４の付加ボタン３ａ～３ｆ，３２ａ～３２ｆの状態をオフに設定し（Ｓ７５）、該当するＬＣＤ３２上の付加ボタン３２ａ～付加ボタン３２ｆの選択表示を解除し（Ｓ７６）、該当する付加ボタン３ａ～３ｆの消灯指示を入出力ＩＦ１に送信する（Ｓ７７）。Ｓ７１～Ｓ７７の処理を、再び図１０を参照して説明する。

図１０（ｂ）は、入出力ＩＦ１の付加ボタン３ｆがオンの場合の入出力ＩＦ１と携帯端末３０のＬＣＤ３２とを表す図であり、図１０（ｃ）は、使用者ＨがＬＣＤ３２の付加ボタン３２ｆを操作する場合の入出力ＩＦ１と携帯端末３０のＬＣＤ３２とを表す図であり、図１０（ｄ）は、入出力ＩＦ１の付加ボタン３ｆがオフされた場合の入出力ＩＦ１と携帯端末３０のＬＣＤ３２とを表す図である。

まず、図１０（ａ）において、使用者Ｈが、付加ボタン３ｆに割り当てられているテキスト表示処理を施すため、入出力ＩＦ１の付加ボタン３ｆを押す。これにより、図９のＳ７２の処理によって付加ボタンテーブル３４の付加ボタン３ｆ，３２ｆの状態がオンに設定される。

そして、Ｓ７３の処理によって、付加ボタン３ｆに対応するＬＣＤ３２上の付加ボタン３２ｆが選択表示となる（図１０（ｂ））。ＬＣＤ３２上には、後述の図８のＳ５８の処理によってテキストＴが表示される。更に図９のＳ７４の処理によって入出力ＩＦ１に付加ボタン３ｆの点灯指示が送信され、この点灯指示を受信した入出力ＩＦ１は、図７のＳ３３の処理によって付加ボタン３ｆのＬＥＤ３ｆ１を点灯させる。付加ボタン３ｆのＬＥＤ３ｆ１の点灯およびＬＣＤ３２上の付加ボタン３２ｆが選択表示によって、使用者Ｈは、テキスト表示処理が施されていることを、入出力ＩＦ１及び携帯端末３０の双方から確認できる。

その後、使用者Ｈがテキスト表示処理を解除するため、ＬＣＤ３２上の付加ボタン３２ｆを押す（図１０（ｃ））。これにより、図９のＳ７５の処理によって付加ボタンテーブル３４における付加ボタン３ｆ，３２ｆの状態がオフに設定され、Ｓ７６の処理によって、付加ボタン３２ｆの選択表示が解除され（図１０（ｄ））、更に後述の図８のＳ５８の処理によって、ＬＣＤ３２上からテキストＴが非表示にされる。そして、図９のＳ７７の処理によって入出力ＩＦ１に付加ボタン３ｆの消灯指示が送信され、図７のＳ３４の処理によってＬＥＤ３ｆ１を消灯させる。

付加ボタンテーブル３４によって付加ボタン３ａ～３ｆ，３２ａ～３２ｆのオンオフ状態が一元管理されるので、付加ボタン３ａ～３ｆ，３２ａ～３２ｆに割り当てられている付加処理のオンオフ状態と、それらに対応する付加ボタン３ａ～３ｆのＬＥＤ３ａ１～ＬＥＤ３ｆ１の点灯／消灯状態および付加ボタン３２ａ～３２ｆの選択表示状態とを、同期させることができる。これにより、付加ボタン３ａ～３ｆを押した場合でも、ＬＣＤ３２上の付加ボタン３２ａ～３２ｆを押した場合でも、それぞれ同等の動作をするので、入出力ＩＦ１及び携帯端末３０の使い勝手を向上できる。

図９に戻る。Ｓ７０の処理において、入出力ＩＦ１から付加ボタン３ａ～３ｆの押下情報を受信していない場合、かつＬＣＤ３２上の付加ボタン３２ａ～３２ｆが押されていない場合は（Ｓ７０：Ｎｏ）、Ｓ７１～Ｓ７７の処理をスキップする。

Ｓ７０，Ｓ７４，Ｓ７７の処理の後、入出力ＩＦ１から、上記したエフェクト指示情報を受信したかを確認する（Ｓ７８）。Ｓ７８の処理において、エフェクト指示情報を受信した場合は（Ｓ７８：Ｙｅｓ）、入力音声メモリ３５ａの音声に、リバーブ、ディレイ等のエフェクト（音響効果）処理を行った音声を配信データメモリ３５ｂに追加する（Ｓ７９）。一方でエフェクト指示情報を受信していない場合は（Ｓ７８：Ｎｏ）、Ｓ７９の処理をスキップする。

Ｓ７８，Ｓ７９の処理の後、入出力ＩＦ１から上記したカメラ切替情報を受信したかを確認する（Ｓ８０）。Ｓ８０の処理において、カメラ切替情報を受信した場合は（Ｓ８０：Ｙｅｓ）、受信したカメラ切替情報をカメラモードメモリ３５ｃに保存する（Ｓ８１）。Ｓ８０の処理において、カメラ切替情報を受信していない場合は（Ｓ８０：Ｎｏ）、Ｓ８１の処理をスキップする。

Ｓ８０，Ｓ８１の処理の後、入出力ＩＦ１から付加音量を受信したかを確認する（Ｓ８２）。Ｓ８２の処理において、付加音量を受信した場合は（Ｓ８２：Ｙｅｓ）、受信した付加音量を付加音量メモリ３５ｄに保存し（Ｓ８３）、付加音量を受信していない場合は（Ｓ８２：Ｎｏ）、Ｓ８３の処理をスキップする。Ｓ８２，Ｓ８３の処理の後、イベント処理を終了し、図８のメイン処理に戻る。

Ｓ５３のイベント処理の後、カメラモードメモリ３５ｃの値に該当するカメラから画像を取得する（Ｓ５４）。具体的には、カメラモードメモリ３５ｃに「内蔵カメラ３１から画像取得」が設定されている場合は、内蔵カメラ３１から画像が取得され、「外部カメラ６０から画像取得」が設定されている場合は、外部カメラ６０から画像が取得される。一方で「画像取得を行わない」場合は、内蔵カメラ３１及び外部カメラ６０からの画像に代わり、黒一色の画像、即ちブランク画像が取得される。かかるカメラモードメモリ３５ｃの値は、入出力ＩＦ１のカメラ切替ボタン４ａが押されるごとに切り替わるので、携帯端末３０への複雑な操作をすることなく、容易に画像の取得先を切り換えることができる。

Ｓ５４の処理の後、Ｓ５４の処理で取得された画像を配信データメモリ３５ｂに追加する（Ｓ５５）。Ｓ５５の処理の後、付加ボタンテーブル３４ｂにおいて有効な付加処理、即ち付加ボタンテーブル３４ｂにおける付加ボタン３ａ～３ｆ，３２ａ～３２ｆのうち、状態がオンである付加処理があるかを確認する（Ｓ５６）。

Ｓ５６の処理において、有効な付加処理がある場合は（Ｓ５６：Ｙｅｓ）、付加ボタンテーブル３４ｂから有効な付加処理を取得し、その付加処理の音量を付加音量メモリ３５ｄの付加音量に調節した上で、配信データメモリ３５ｂの配信データに適用する（Ｓ５７）。一方で、Ｓ５６の処理において有効な付加処理がない場合は（Ｓ５６：Ｎｏ）、Ｓ５７の処理をスキップする。

Ｓ５６，Ｓ５７の処理の後、配信データメモリ３５ｂの配信データを無線通信装置３９を介してインターネットＮＴ上に配信し、入出力ＩＦ１に送信すると共に、配信データの画像をＬＣＤ３２上に表示する（Ｓ５８）。Ｓ５８の処理の後、Ｓ５０以下の処理を繰り返す。

Ｓ５８の処理によって、入出力ＩＦ１に送信された配信データの音声信号は、上記した図６（ａ）のＳ５の処理によって、ＨＳマイク５０ｃや内蔵マイク２から入力された音声と混合されて出力される。ＨＳマイク５０ｃや内蔵マイク２から入力された音声が、携帯端末３０において配信データとして加工され、入出力ＩＦ１に出力されるまでには、付加処理やエフェクトを施す処理時間を要する。従って、音声が入出力ＩＦ１に入力されてから、その音声に基づく配信データの音声が入出力ＩＦ１から出力されるまでにレイテンシー（遅れ）が生じる。

そこで、ＨＳマイク５０ｃや内蔵マイク２から入力された音声を、配信データの音声信号と混合して出力することで、携帯端末３０で配信データに付加処理やエフェクトを施した場合でも、その時点でＨＳマイク５０ｃや内蔵マイク２から入力された音声を、レイテンシーを生じさせることなくモニター出力できる。これにより、使用者Ｈはかかるモニター出力を聞くことで、違和感なく話したり、歌うことができる。

これと同時に配信データの音声信号もモニター出力されるので、使用者Ｈはかかるモニター出力を確認することで、配信データの付加処理やエフェクトのかかり具合を随時確認できる。これらのモニター出力を同一の左スピーカ５０ａ及び右スピーカ５０ｂで行えるので、使用者Ｈの入出力ＩＦ１及び携帯端末３０に対する使い勝手を向上できる。

次に、図１１～図１３を参照して、第２実施形態を説明する。上記した第１実施形態では、ＨＳミュート回路１３によってマイク接点ＣＭから入力される音声信号を音声処理装置１１から遮断することで、マイク接点ＣＭからの不正な音声信号が、音声処理装置１１の右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔから出力されるのを抑制した。

これに対し第２実施形態では、内蔵マイク２とＨＳマイク５０ｃとを、それぞれ音声処理装置１１における別の入力ポートに接続し、音声処理装置１１に対して音声を入力する入力ポートを適宜切り替えることで、マイク接点ＣＭから入力される音声信号が、右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔから出力されるのを抑制する。第２実施形態において、上記した第１実施形態と同一の部分については、同一の符号を付し、その説明は省略する。

図１１（ａ）は、第２実施形態における入出力ＩＦ１００の電気的構成を示すブロック図であり、図１１（ｂ）は、第２実施形態における入出力ＩＦ１００の音声入力回路Ｓｉの回路図である。図１１（ａ），図１１（ｂ）に示す通り、第２実施形態の音声入力回路Ｓｉにおいては、図２（ａ），図３（ａ）の第１実施形態の音声入力回路Ｓｉから、内蔵ミュート回路１２及びＨＳミュート回路１３が省略される。そして内蔵マイク２は、アンプａ４を介して音声処理装置１１の第１入力ポートＭ１に接続され、マイク接点ＣＭは、アンプａ３を介して音声処理装置１１の第２入力ポートＭ２に接続される。一方で第３入力ポートＭ３には、内蔵マイク２、マイク接点ＣＭ及び他の入力装置が非接続とされる。

次に図１２を参照して、音声処理装置１１における入力ポートの切り替えを説明する。図１２（ａ）は、内蔵マイク２から音声信号の入力を行う場合の音声処理装置１１を模式的に示した図であり、図１２（ｂ）は、ＨＳマイク５０ｃから音声信号の入力を行う場合の音声処理装置１１を模式的に示した図であり、図１２（ｃ）は、音声信号の入力を遮断する場合の音声処理装置１１を模式的に示した図である。

図１２に示す通り、音声処理装置１１には、音声処理装置１１から音声信号を入力する入力ポートを、第１入力ポートＭ１、第２入力ポートＭ２及び第３入力ポートＭ３のうちの１のポートに切り替える入力切替ＳＷが設けられる。

入力切替ＳＷを第１入力ポートＭ１に切り替えた場合は（図１２（ａ））、音声処理装置１１には内蔵マイク２から入力された音声信号が入力され、入力切替ＳＷを第２入力ポートＭ２に切り替えた場合は（図１２（ｂ））、音声処理装置１１にはＨＳマイク５０ｃから入力された音声信号が入力され、入力切替ＳＷを第３入力ポートＭ３に切り替えた場合は（図１２（ｃ））、音声信号の入力が遮断される。

第２実施形態では、後述のマイクミュート処理において適宜入力切替ＳＷを切り換えることで、音声処理装置１１へ音声信号の入力を内蔵マイク２から行うか、ＨＳマイク５０ｃから行うか、或いは音声処理装置１１への音声信号の入力自体を遮断するかを切り替える。

次に、図１３を参照して、第２実施形態における入出力ＩＦ１００のマイクミュート処理のフローチャートである。第２実施形態におけるマイクミュート処理は、Ｓ１２の処理において、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後である場合は（Ｓ１２：Ｙｅｓ）、入力切替ＳＷによって音声処理装置１１の入力ポートを第３入力ポートＭ３に切り替える（Ｓ１００）。これによって、音声処理装置１１への音声信号の入力を遮断され、内蔵マイク２及びＨＳマイク５０ｃがミュートされる。

Ｓ１００の処理の後、２秒間のウェイト処理を行い（Ｓ１５）、その後、入力切替ＳＷによって音声処理装置１１の入力ポートを第２入力ポートＭ２に切り替える（Ｓ１０１）。これにより、音声処理装置１１へマイク接点ＣＭからの音声信号の入力が入力されるので、ＨＳマイク５０ｃのミュートのみが解除される。

Ｓ１２の処理において、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後ではない場合は（Ｓ１２：Ｎｏ）、Ｓ１００～Ｓ１０１の処理をスキップする。

Ｓ１１の処理において、ＨＳマイク検知回路１５が、マイク接点ＣＭの接続を検知していない場合は（Ｓ１１：Ｎｏ）、入力切替ＳＷによって音声処理装置１１の入力ポートを第１入力ポートＭ１に切り替える（Ｓ１０２）。これによって、内蔵マイク２のミュートのみが解除される。

以上説明した通り、第２実施形態の入出力ＩＦ１００では、即ち第２実施形態の入出力ＩＦ１００では、ＨＳマイク検知回路１５がマイク接点ＣＭの接続を検知した直後に、音声処理装置１１において音声信号を入力する入力ポートを第３入力ポートＭ３に切り替えることで、マイク接点ＣＭから入力される音声信号が遮断される。これにより、マイク接点ＣＭから入力された不正な音声信号が、ヘッドセット５０の左スピーカ５０ａ及び右スピーカ５０ｂから出力されるのを抑制できる。

このようにマイク接点ＣＭから入力される音声信号の遮断が、音声処理装置１１内において音声信号を入力する入力ポートを切り替えるのみで実現できる。これにより、第１実施形態の内蔵ミュート回路１２やＨＳミュート回路１３等の他の回路や装置を設ける必要がないので、入出力ＩＦ１００の製造コストを低減できる。

以上、上記実施形態に基づき説明したが、種々の改良変更が可能であることは容易に推察できるものである。

上記実施形態では、マイク接点ＣＭから入力される音声信号を遮断することで、不正な音声信号が右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔを介して、ヘッドセット５０の左スピーカ５０ａ及び右スピーカ５０ｂから出力されるのを抑制した。しかし、必ずしもこれに限られず、右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔから出力される音声信号を、左接点ＣＬ及び右接点ＣＲから遮断することで、不正な音声信号がヘッドセット５０の左スピーカ５０ａ及び右スピーカ５０ｂから出力されるのを抑制しても良い。

かかる場合、例えば、第１実施形態のように、右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔと左接点ＣＬ及び右接点ＣＲとの間に、それぞれＨＳミュート回路１３と同等の回路を設けることで、右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔから出力される音声信号を、左接点ＣＬ及び右接点ＣＲから遮断しても良い。

また、第２実施形態のように、音声処理装置１１における出力ポートを右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔとは異なる出力ポートに切り替えることで、右出力ポートＲｏｕｔ及び左出力ポートＬｏｕｔから出力される音声信号を、左接点ＣＬ及び右接点ＣＲから遮断しても良い。

上記実施形態では、図８のＳ５８の処理において、配信データメモリ３５ｂの配信データをそのまま入出力ＩＦ１に送信した。しかし、必ずしもこれに限られず、Ｓ５８の処理において、配信データメモリ３５ｂの配信データから入力音声メモリ３５ａの音声を除外した配信データを、入出力ＩＦ１に送信しても良い。これにより、図６（ａ）の入出力ＩＦ１のＳ５の処理において、配信データの音声に音声処理装置１１で入力された音声を混合して出力する場合に、音声処理装置１１で入力された音声と同じ音声が除外されているので、音声処理装置１１で入力された音声と同じ音声が二重に出力される事態を抑制できる。

上記実施形態では、携帯端末３０で作成した配信データをインターネットＮＴに配信したが、これに限られず、例えば、配信データを携帯端末３０のフラッシュＲＯＭ３４やＲＡＭ３５に蓄積しても良い。更にフラッシュＲＯＭ３４やＲＡＭ３５に蓄積された配信データを編集した上で、インターネットＮＴに配信しても良い。

上記実施形態では、入出力ＩＦ１，１００に対して内蔵マイク２が設けられ、ＨＳマイク５０ｃが接続可能に構成した。しかし、必ずしもこれに限られず、入出力ＩＦ１，１００から内蔵マイク２を省略して、ＨＳマイク５０ｃのみから音声入力する構成としても良いし、入出力ＩＦ１，１００にＨＳマイク５０ｃとは異なる他の音声入力装置を、接続可能に構成しても良い。

上記実施形態では、図６（ｂ），図１３におけるＳ１５の処理において、２秒間ウェイト処理を行った。しかし、ウェイト処理をする時間は２秒に限られるものではなく、２秒以上でも２秒以下でも良いが、１～２秒の間に設定されるのが好ましい。

上記実施形態では、携帯端末３０において、内蔵カメラ３１又は外部カメラ６０のいずれかから画像を取得する構成とした。しかし、これに限られず、内蔵カメラ３１と外部カメラ６０との両方から画像を取得し、取得された２つの画像を並べる等した画像を配信データの作成に用いても良い。

上記実施形態では、付加ボタン３ａ～３ｆにＬＥＤ３ａ１～３ｆ１を設けた。しかし、これに限られるものではなく、付加ボタン３ａ～３ｆからＬＥＤ３ａ１～３ｆ１を省略しても良い。また、カメラ切替ボタン４ａ、配信開始ボタン４ｂ、ミュートボタン４ｃ及びエフェクトボタン４ｄにＬＥＤを設け、これらのボタンの状態に応じてＬＥＤの点灯または消灯を切り替えても良い。

上記実施形態では、情報処理装置（配信装置）としてスマートフォンである携帯端末３０を例示したが、これに限られず、タブレット端末やパーソナル・コンピュータ等の他の情報処理装置を用いても良い。

上記実施形態では、入出力ＩＦ１，１００に音声入力回路Ｓｉが設けられたが、これに限られず、例えば、音声入力回路Ｓｉを携帯電話や携帯型の電子ゲーム機等の、ヘッドセット５０のプラグ５５を介して音声を入力する他の装置に設けても良い。

上記実施形態では、プラグ５５としてＣＴＩＡ規格の端子を例示したが、これに限られず、例えば、ＯＭＴＰ（Open Mobile Terminal Platform）規格の端子を用いても良いし、他の規格の端子を用いても良い。

１，１００ 入出力ＩＦ（配信補助装置）
２ 内蔵マイク（音声入力手段の一部）
３ａ～３ｆ 付加ボタン（楽音出力指示手段、動画出力指示手段、静止画出力指示手段、文字列表示指示手段）
４ａ カメラ切替ボタン（カメラ切替指示手段）
４ｂ 配信開始ボタン（配信開始指示手段）
４ｄ エフェクトボタン（エフェクト指示手段）
５ 付加音量つまみ（音量調節手段）
３０ 携帯端末（配信装置）
３１ 内蔵カメラ（カメラ）
５０ｃ ＨＳマイク（音声入力手段の一部）
６０ 外部カメラ（カメラ）
ＮＴ インターネット
Ｓ３ 音声入力手段の一部、音声入力ステップ、音声送信手段、音声送信ステップ
Ｓ４ 音声受信手段、音声受信ステップ
Ｓ５ 音声出力手段、音声出力ステップ
Ｓ３６ エフェクト指示手段の一部、エフェクト指示ステップ

Claims (5)

1. インターネットに接続されて音声や映像をインターネット配信する配信装置へ、各種の配信指示を行い、前記配信装置を使用してインターネット配信を簡易に行わせる配信補助装置において、
   音声を入力する音声入力手段と、
   その音声入力手段へ入力された音声を前記配信装置へ送信する音声送信手段と、
   その音声送信手段から前記配信装置へ送信された音声にエフェクト処理を施してインターネット配信することを前記配信装置へ指示するエフェクト指示手段と、
   そのエフェクト指示手段による指示によって前記配信装置でエフェクト処理された音声信号を受信する音声受信手段と、
   その音声受信手段で受信した音声信号と、前記音声入力手段へ入力された音声とを当該配信補助装置から出力する音声出力手段とを備えていることを特徴とする配信補助装置。
2. 前記配信装置へインターネット配信に音楽または効果音の楽音を出力指示する楽音出力指示手段と、
   その楽音出力指示手段により前記配信装置へ出力指示された楽音の音量を調節する音量調節手段とを備え、
   前記音声受信手段は、前記楽音出力指示手段により前記配信装置へ出力指示された楽音であって前記音量調節手段により音量調節された楽音を音声信号として受信し、
   前記音声出力手段は、その音声受信手段で受信した音声信号を当該配信補助装置から出力するものであることを特徴とする請求項１記載の配信補助装置。
3. 前記配信装置は、その配信装置の内外に設けられた合計２以上のカメラから入力した画像をインターネット配信可能に構成されており、
   前記配信装置へインターネット配信に使用されるカメラの切り替えを指示するカメラ切替指示手段を備えていることを特徴とする請求項１又は２に記載の配信補助装置。
4. 前記配信装置へ指示する配信指示として、インターネット配信の開始を指示する配信開始指示手段と、インターネット配信に動画の出力を指示する動画出力指示手段と、インターネット配信に静止画の出力を指示する静止画出力指示手段と、インターネット配信に文字列の表示を指示する文字列表示指示手段とを備え、
   各指示手段には、その指示する機能を視認できる表示が施されていることを特徴とする請求項１から３のいずれかに記載の配信補助装置。
5. インターネットに接続されて音声や映像をインターネット配信する配信装置へ、各種の配信指示を行い、前記配信装置を使用してインターネット配信を簡易に行わせる配信補助装置が実行する配信補助方法において、
   音声を入力する音声入力ステップと、
   その音声入力ステップによって入力された音声を前記配信装置へ送信する音声送信ステップと、
   その音声送信ステップによって前記配信装置へ送信された音声にエフェクト処理を施してインターネット配信することを前記配信装置へ指示するエフェクト指示ステップと、
   そのエフェクト指示ステップによる指示によって前記配信装置でエフェクト処理された音声信号を受信する音声受信ステップと、
   その音声受信ステップによって受信した音声信号と、前記音声入力ステップによって入力された音声とを当該配信補助装置から出力する音声出力ステップとを備えていることを特徴とする配信補助方法。

Images