JP6800930B2 - 通信装置、その制御方法、およびそのプログラム - Google Patents

Description

本発明は、無線通信が可能な通信装置に関する。

近年、ユーザは、テレビの生放送のように、リアルタイムにカメラで撮影した動画をインターネット上のＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等で配信（ライブ配信）できる。さらにユーザは複数のカメラで撮影した複数の動画を同じ画面に並べてライブ配信できる。また、複数の動画を並べてライブ配信するユーザは、自宅等に構築した１つのローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）にその複数のカメラを接続してライブ配信することが考えられる。この場合、複数のカメラが同時にＬＡＮの帯域を利用するため、輻輳が発生してしまい、ライブ配信している動画に遅延が発生しやすくなる。輻輳を防ぐための技術として、特許文献１では、同時に複数のデータを通信ネットワークに送信する場合、それぞれのデータ長に基づいてデータの送信順序を入れ替える装置が開示されている。

特開２００６−４２７９号公報

しかしながら、ライブ配信ではカメラは動画データを時系列順に送信しないと動画が遅延する可能性が高くなるため、データの送信順序を入れ替える特許文献１の技術では、データ通信の輻輳を解消してもライブ配信の動画の遅延を低減することはできない。

そこで、本発明は、複数のカメラを利用したライブ配信において、ライブ配信の遅延を低減することを目的とする。

上記課題を解決するために、本発明の通信装置は、外部装置およびローカルエリアネットワークの内にある他の通信装置と通信する通信手段と、表示手段と、制御手段と、を有する前記ローカルエリアネットワークの内にある通信装置であって、前記制御手段は、複数の通信装置によるライブ配信に関する情報を、前記通信手段を介して前記外部装置から受信し、前記制御手段は、前記ライブ配信に関する情報に基づいて、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うか否かを前記通信手段を介して検出し、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うことを検出しなかった場合は、前記制御手段は動画データを第一のビットレートで前記外部装置に送信し、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うことを検出した場合は、前記制御手段は前記動画データを前記第一のビットレートより低い第二のビットレートで前記外部装置に送信し、前記制御手段は、前記動画データを前記第一のビットレートよりも低い前記第二のビットレートで前記外部装置に送信する場合、前記動画データを前記第一のビットレートよりも低い前記第二のビットレートで送信することを示す警告を表示するよう前記表示手段を制御することを特徴とする。

本発明によれば、複数のカメラを利用したライブ配信において、遅延を低減することができる。

第１の実施形態におけるデジタルカメラの構成の一例を示すブロック図。 （ａ）第１の実施形態におけるデジタルカメラの前面の外観図。（ｂ）第１の実施形態におけるデジタルカメラの背面の外観図。 （ａ）第１の実施形態におけるマルチカメラライブ配信中のＷｅｂページにおいて、カメラ１の動画を再生している画面の一例を示す図。（ｂ）第１の実施形態におけるマルチカメラライブ配信中のＷｅｂページにおいて、カメラ２の動画を再生している画面の一例を示す図。 第１の実施形態におけるマルチカメラライブ配信のシステム構成図。 （ａ）第１の実施形態におけるデジタルカメラの機能を選択する画面の一例を示す図。（ｂ）第１の実施形態におけるデジタルカメラのイベントを選択する画面の一例を示す図。（ｃ）第１の実施形態におけるデジタルカメラのライブ配信前の待機画面の一例を示す図。（ｄ）第１の実施形態におけるデジタルカメラの待機画面に警告を表示した場合の一例を示す図。（ｅ）第１の実施形態におけるデジタルカメラのライブ配信中の画面の一例を示す図。 第１の実施形態におけるマルチカメラライブ配信を実現する際のシーケンス図。 第１の実施形態におけるデジタルカメラの動作を示すフローチャート。

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。

なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

ここで輻輳は、ローカルエリアネットワーク（ＬＡＮ）内で送受信されるすべてのパケットの容量の合計が大きく、ＬＡＮ内の通信に遅延が発生し得るほど帯域が利用されている状況のこととする。

［第１の実施形態］
＜デジタルカメラの構成＞
図１は、本実施形態の通信装置の一例であるデジタルカメラ１００の構成例を示すブロック図である。なお、ここでは通信装置の一例としてデジタルカメラについて述べるが、通信装置はこれに限られない。例えば通信装置は、パーソナルコンピュータ、携帯電話、スマートフォン、タブレットデバイス、デジタルビデオカメラなどの情報処理装置であってもよい。

制御部１０１は、入力された信号や、後述のプログラムに従ってデジタルカメラ１００の各部を制御する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

撮像部１０２は、例えば、光学レンズユニットと絞り・ズーム・フォーカスなど制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子などで構成される。撮像素子としては、一般的には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）や、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）が利用される。撮像部１０２は、制御部１０１に制御されることにより、撮像部１０２に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理などを行いデジタルデータを画像データや動画データとして出力する。本実施形態では、当該画像データまたは動画データを撮像し出力するための一連の処理を「撮影」という。本実施形態のデジタルカメラ１００では、画像データは、ＤＣＦ（Ｄｅｓｉｇｎ Ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）の規格に従って、記録媒体１１０に記録される。

不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１で実行される後述のプログラム等が格納される。

作業用メモリ１０４は、撮像部１０２で撮像された画像データや動画データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリ、制御部１０１の作業領域等として使用される。

操作部１０５は、ユーザがデジタルカメラ１００に対する指示をユーザから受け付けるために用いられる。操作部１０５は例えば、ユーザがデジタルカメラ１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、撮影を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタンを含む。さらに、後述の通信部１１１を介して外部機器との通信を開始するための専用の接続ボタンなどの操作部材を含む。また、後述する表示部１０６に形成されるタッチパネルも操作部１０５に含まれる。なお、レリーズスイッチは、ＳＷ１およびＳＷ２を有する。レリーズスイッチが、いわゆる半押し状態となることにより、ＳＷ１がＯＮとなる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備を行うための指示を受け付ける。また、レリーズスイッチが、いわゆる全押し状態となることにより、ＳＷ２がＯＮとなる。これにより、撮影を行うための指示を受け付ける。

表示部１０６は、撮影の際のビューファインダー画像の表示、撮影した画像データの表示、対話的な操作のための文字表示などを行う。なお、表示部１０６は必ずしもデジタルカメラ１００が内蔵する必要はない。デジタルカメラ１００は内部又は外部の表示部１０６と接続することができ、表示部１０６の表示を制御する表示制御機能を少なくとも有していればよい。

記録媒体１１０は、撮像部１０２から出力された画像データや動画データを記録することができる。記録媒体１１０は、デジタルカメラ１００に着脱可能なよう構成してもよいし、デジタルカメラ１００に内蔵されていてもよい。すなわち、デジタルカメラ１００は少なくとも記録媒体１１０にアクセスする手段を有していればよい。

通信部１１１は、外部装置と接続するためのインターフェースである。本実施形態のデジタルカメラ１００は、通信部１１１を介して、外部装置とデータを送受信できる。例えば、撮像部１０２で生成した動画データを、通信部１１１を介して外部装置に送信することができる。なお、本実施形態では、通信部１１１はＩＥＥＥ８０２．１１の規格に準拠した、いわゆる無線ＬＡＮで通信するためのインターフェースを含む。制御部１０１は、通信部１１１を制御することで外部装置との無線通信を実現する。なお、通信方式は無線通信方式に限定されるものではなく、例えば既存の有線通信方式も含む。

次に、デジタルカメラ１００の外観について説明する。図２（ａ）、および図２（ｂ）はそれぞれデジタルカメラ１００の前面と後面の外観の一例を示す図である。レリーズスイッチ１０５ａや再生ボタン１０５ｂ、方向キー１０５ｃ、タッチパネル１０５ｄは、前述の操作部１０５に含まれる操作部材である。また、表示部１０６には、撮像部１０２による撮像の結果得られた画像が表示される。

以上がデジタルカメラ１００の説明である。

＜マルチカメラライブ配信のシステム構成＞
ライブ配信とは、テレビ放送の生放送のように、ストリーミング技術によってユーザがインターネット上でリアルタイムに動画を配信することである。さらに、ユーザは一つのＷｅｂページ上に複数の動画をライブ配信でき、その視聴者は複数の動画を切り替えてライブ配信を視聴することができる。以降、複数のカメラを用いたライブ配信をマルチカメラライブ配信という。本実施形態において、デジタルカメラ１００はマルチカメラライブ配信に対応している通信装置の一例である。マルチカメラライブ配信とは、複数のデジタルカメラ１００はそれぞれ撮影している動画データを外部サーバへ送信し、外部サーバがその動画データを１つのＷｅｂページで視聴できるように配信するライブ配信の手法である。

ユーザはライブ配信を開始する前に、パソコンやスマートフォン等を用いてイベントをサーバに作成する。イベントは、例えばライブ配信の識別子、ライブ配信のタイトル、映像のビットレート、およびライブ配信に使用するデジタルカメラの数等のライブ配信に関する設定を含むデータである。ユーザはこのイベントをサーバに複数作成することができる。デジタルカメラはこのイベントをサーバから取得し、イベントに従ってライブ配信の処理を行う。また本実施形態において、マルチカメラライブ配信のイベントは、デジタルカメラごとに作成されるものとする。例えば３台のデジタルカメラでマルチカメラライブ配信を行う設定の場合、イベントは３つ作成される。ただし、本実施形態において、この３つのイベントにおいて、ライブ配信の識別子は共通であるとする。３台のデジタルカメラ１００がこの３つのイベントをそれぞれサーバから受信することで、ユーザはその３台のデジタルカメラ１００を用いてマルチカメラライブ配信することができる。

図３（ａ）および図３（ｂ）は２台のデジタルカメラ１００によってマルチカメラライブ配信されているＷｅｂページの一例である。以降、この２台のデジタルカメラ１００を、それぞれカメラ１およびカメラ２と区別する。ここで、図３（ａ）に示す画面が、ユーザがマルチカメラライブ配信をしているＷｅｂページを開いたとき、最初に表示される画面であるとする。Ｗｅｂページ上のマルチカメラライブ配信を視聴する画面において、ユーザが主に視聴する画面をメイン画面と称し、それ以外の画面をサブ画面と称する。メイン画面３０１では、カメラ１で撮影された動画が再生されており、サブ画面３０２およびサブ画面３０３ではそれぞれカメラ１およびカメラ２が撮影した動画がメイン画面３０１より小さい画面で再生されている。図３（ａ）の状態において、ユーザは主にメイン画面３０１に映る動画を視聴することになる。ここでユーザがサブ画面３０３をクリックすると、図３（ｂ）に示すように、Ｗｅｂページ上でサブ画面３０３において再生されている動画がメイン画面３０１に再生される。さらに、ユーザは、図３（ｂ）の状態でサブ画面３０２をクリックすると、図３（ａ）の状態に戻り、Ｗｅｂページ上でサブ画面３０２において再生されている動画がメイン画面３０１に再生される。このようにマルチカメラライブ配信では、視聴者は複数のデジタルカメラ１００において撮影された動画を自由に切り替えて視聴することができる。以降、カメラ１をメインカメラ４０１、カメラ２をサブカメラ４０２として説明する。なお、本実施形態におけるマルチカメラライブ配信において、ユーザがデジタルカメラ１００を３台以上用いてマルチカメラライブ配信を行ったとしても、メイン画面にはメインカメラ４０１で撮影した動画が映るものとする。

図４はマルチカメラライブ配信のシステム構成図である。メインカメラ４０１およびサブカメラ４０２はデジタルカメラ１００と同じ構成である。またアクセスポイント４０３およびサーバ４０４とサーバ４０４およびパソコン４０５とがインターネットを介して接続している。

メインカメラ４０１およびサブカメラ４０２はアクセスポイント４０３が形成するＬＡＮに無線接続しており、撮影している動画データをアクセスポイント４０３を経由してサーバ４０４へ送信する。ここでアクセスポイント４０３が形成するＬＡＮの範囲に、サーバ４０４およびパソコン４０５は含まれないものとする。また、本実施形態において、メインカメラ４０１が送信した動画データは、ユーザがライブ配信しているＷｅｂページを開いたときに最初に再生される。サブカメラ４０２が送信した動画データは、ユーザがＷｅｂページを操作して再生する動画を切り替えることで再生される。例えば、図３（ａ）において、カメラ１の動画はメインカメラ４０１によって撮影された動画であり、カメラ２の動画はサブカメラ４０２によって撮影された動画である。

サーバ４０４はメインカメラ４０１およびサブカメラ４０２からインターネットを介して動画データを受信する。また、サーバ４０４はパソコン４０５からマルチカメラライブ配信の要求を受信すると、パソコン４０５へ動画データを送信する。

以上が、マルチカメラライブ配信のシステム構成図についての説明である。

＜マルチカメラライブ配信の手順＞
続いて第１の実施形態におけるマルチカメラライブ配信を行う手順について説明する。

図５はマルチカメラライブ配信をする場合におけるメインカメラ４０１およびサブカメラ４０２の表示部１０６に表示される画面の一例を説明するための図である。また、図６はマルチカメラライブ配信をする場合における、メインカメラ４０１、サブカメラ４０２、およびサーバ４０４のシーケンス図である。図５を参照しながら図６のシーケンス図を説明する。

ステップＳ６０１では、ユーザは操作部１０５によってメインカメラ４０１のライブ配信のための機能を起動する。例えば、図５（ａ）において、ユーザはメインカメラ４０１の画面のライブ配信５０１を選択する。

ステップＳ６０２では、メインカメラ４０１はサーバ４０４にライブ配信のイベントを要求する。

ステップＳ６０３では、サーバ４０４はメインカメラ４０１にイベントを送信する。ここで、イベントが複数ある場合、サーバ４０４はすべて送信する。

ステップＳ６０４では、メインカメラ４０１はステップＳ６０３において受信したイベントの一覧を表示する。例えば、メインカメラ４０１は図５（ｂ）のようにイベントに含まれるタイトルの一覧を表示する。ユーザは図５（ｂ）において、イベント５０２を選択する。イベント５０２は、デジタルカメラがマルチカメラライブ配信におけるメインカメラ（図３におけるカメラ１）として動画を送信するイベントである。メインカメラ４０１はイベント５０２に従ってライブ配信の処理を行う。ここで、イベント５０２に含まれる動画データのビットレートの設定を１０Ｍｂｐｓとする。

ステップＳ６０５からステップＳ６０７の処理は、それぞれステップＳ６０１からステップＳ６０３までのメインカメラ４０１の処理と同様に、サブカメラ４０２が処理を行う。

ステップＳ６０８では、サブカメラ４０２はステップＳ６０３において受信したイベントの一覧を表示する。サブカメラ４０２は図５（ｂ）のようにイベントに含まれるタイトルの一覧を表示する。ユーザは図５（ｂ）において、イベント５０３を選択する。イベント５０３は、デジタルカメラがマルチカメラライブ配信においてサブカメラ（図３におけるカメラ２）として動画を送信するイベントである。サブカメラ４０２はイベント５０３に従ってライブ配信の処理を行う。なお、このイベントは、イベント５０２によるマルチカメラライブ配信と同じライブ配信において、デジタルカメラ１００がサブカメラとしてライブ配信するイベントである。ここで、イベント５０３に含まれる動画データのビットレートの設定を８Ｍｂｐｓとする。

ステップＳ６０９ではユーザはメインカメラ４０１の操作部１０５を操作し、イベントを選択する。ユーザがイベント５０２を選択すると、メインカメラ４０１は図５（ｃ）のようにライブ配信前の待機画面を表示する。図５（ｃ）のダイアログボックス５０４は現在のライブ配信の設定を表示している。

ステップＳ６１０では、メインカメラ４０１はマルチカメラライブ配信することをＬＡＮ内に接続する機器に通知する。例えば、メインカメラ４０１はイベント５０２に含まれるライブ配信の識別子を送信する。ここで、メインカメラ４０１はユーザによってライブ配信が開始されるまで、この通知を繰り返し送信する。なお、サブカメラ４０２はマルチカメラライブ配信に設定される前であるため、メインカメラ４０１による通知を無視する。

ステップＳ６１１では、ユーザはサブカメラ４０２の操作部１０５を操作し、イベントを選択する。ユーザがイベント５０３を選択すると、サブカメラ４０２は図５（ｃ）と同様のＵＩによってライブ配信前の待機画面を表示する。

ステップＳ６１２では、サブカメラ４０２はマルチカメラライブ配信することをＬＡＮ内に接続する機器に通知を送信する。例えば、サブカメラ４０２はイベント５０３に含まれるライブ配信の識別子を送信する。ここで、イベント５０２に含まれるライブ配信の識別子とイベント５０３に含まれるライブ配信の識別子は同一であるとする。メインカメラ４０１はこの通知を受信し、同じＬＡＮ内に同じマルチカメラライブ配信する他のデジタルカメラ１００があることを検出する。例えば、メインカメラ４０１はステップＳ６０９において選択されたイベントのライブ配信の識別子と受信したライブ配信の識別子とを比較して、一致するか否か判断する。２つの識別子が一致した場合、メインカメラ４０１はサブカメラ４０２が同じライブ配信を行うと判断する。ここでメインカメラ４０１は図５（ｄ）のように、ビットレートを下げることを示す警告５０５を画面に表示する。これによってユーザはライブ配信する動画のビットレートが自動で変更されたことを認識できる。ここで、サブカメラ４０２はユーザによってライブ配信が開始されるまで、この通知を繰り返し送信する。

ここで、ステップＳ６１３において、ステップＳ６１０と同様にメインカメラ４０１はマルチカメラライブ配信することをＬＡＮ内に接続する機器に通知を送信する。本ステップにおいて送信される通知は、ステップＳ６１２において受信したサブカメラ４０２の通知への応答ではなく、ステップＳ６１０から繰り返し送信される通知である。サブカメラ４０２はステップＳ６１１においてマルチカメラライブ配信の設定が為されたため、この通知を受信し、同じＬＡＮ内に同じマルチカメラライブ配信する他のデジタルカメラ１００があることを検出する。例えば、サブカメラ４０２は設定されているイベントのライブ配信の識別子と受信したライブ配信の識別子とを比較して、一致するか否か判断する。２つの識別子が一致した場合、サブカメラ４０２はメインカメラ４０１が同じライブ配信を行うと判断する。また、サブカメラ４０２は図５（ｃ）と同様のＵＩによって警告を表示する。

なお、ステップＳ６１２およびステップＳ６１３の処理の後も、メインカメラ４０１およびサブカメラ４０２はそれぞれステップＳ６１０およびステップＳ６１２の処理を繰り返し、ライブ配信が開始されるまで通知を送信し続ける。この通知を受信している間、メインカメラ４０１およびサブカメラ４０２はＬＡＮ内に同じマルチカメラライブ配信するカメラがいると認識できる。逆に、この通知が受信できない場合、メインカメラ４０１およびサブカメラ４０２はＬＡＮ内に同じマルチカメラライブ配信するカメラがいないと認識する。

ステップＳ６１４では、メインカメラ４０１は、ステップＳ６１１においてサブカメラ４０２から同じライブ配信に動画を送信する通知を受信したため、サーバ４０４へ送信する動画データのビットレートを変更する。例えば、メインカメラ４０１は送信する動画のビットレートを１０Ｍｂｐｓから５Ｍｂｐｓに下げる。

ステップＳ６１５では、サブカメラ４０２はステップＳ６１１においてメインカメラ４０１から同じライブ配信に動画を送信する通知を受信したため、サーバ４０４へ送信する動画データのビットレートを変更する。例えば、サブカメラ４０２は送信する動画のビットレートを８Ｍｂｐｓから４Ｍｂｐｓに下げる。

このように、メインカメラ４０１およびサブカメラ４０２は同じライブ配信するカメラの総数でビットレートを除算する。この場合におけるすべてのカメラから送信される動画データのデータ量の合計は、最もビットレートの高い１台のカメラからビットレートを下げずに送信される動画データのデータ量以下となる。これにより、デジタルカメラ１００はデータ通信の輻輳を抑え、ライブ配信の遅延を低減できる。

ステップＳ６１６では、ユーザはメインカメラ４０１を操作部１０５によって操作してライブ配信を開始する。本ステップにおいて、メインカメラ４０１は図５（ｅ）のように、メインカメラでライブ配信中であることを示す画面を表示する。ここでアイコン５０６は、このライブ配信においてメインカメラ４０１が送信した動画を視聴している人数を示している。メインカメラ４０１は後述するステップＳ６１７のライブ配信中にこの情報をサーバ４０４から受信する。

ステップＳ６１７では、メインカメラ４０１はサーバ４０４にライブ配信を開始するための要求パケットを送信し、ライブ配信を開始する。メインカメラ４０１はライブ配信が開始されたことをトリガに、撮影した動画データを逐次（リアルタイムに）サーバ４０４へ送信する。ライブ配信中において、メインカメラ４０１はサーバ４０４からメインカメラ４０１が送信した動画を視聴している人数の情報を受信し、この情報をアイコン５０６に反映する。例えば、ライブ配信においてメインカメラ４０１が送信した動画を視聴している人数が５人だった場合、アイコンの上に５という数字を表示する。

ステップＳ６１８およびステップＳ６１９では、それぞれステップＳ６１４およびステップＳ６１５のメインカメラ４０１の処理と同様に、サブカメラ４０２が処理を行う。

ステップＳ６２０では、ユーザはメインカメラ４０１を操作部１０５によって、ライブ配信を終了するための操作を行う。

ステップＳ６２１では、メインカメラ４０１はサーバ４０４にライブ配信を終了するための要求を送信し、ライブ配信を終了する。

ステップＳ６２２およびステップＳ６２３は、それぞれステップＳ６２０およびステップＳ６２１のメインカメラ４０１の処理と同様に、サブカメラ４０２が処理を行う。

以上が、マルチカメラライブ配信を行う手順の説明である。

また、本実施形態ではライブ配信開始の要求を送信するサーバとライブ動画を送信するサーバを同一と想定しているが、それぞれ別のサーバを有していてもよい。

また、ステップＳ６１４およびステップＳ６１５において、メインカメラ４０１とサブカメラ４０２はそれぞれのビットレートがどちらも同じになるように設定してもよい。メインカメラ４０１およびサブカメラ４０２のビットレートの設定を変更する方法は、メインカメラ４０１またはサブカメラ４０２の低い方のビットレートの設定に統一する方法や、任意のビットレートの設定に統一する方法等がある。なお、ステップＳ６１２およびステップＳ６１３において、メインカメラ４０１とサブカメラ４０２を特に区別せず、メインカメラ４０１およびサブカメラ４０２のビットレートの設定を所定の割合もしくは所定のビットレート値ずつ低くする方法もある。例えば、メインカメラ４０１はマルチカメラライブ配信するカメラが１台増えるごとにビットレートを１０％もしくは１Ｍｂｐｓ低くする。この場合、マルチカメラライブ配信するデジタルカメラ１００が増えるほど送信される動画データのデータ量の合計は増加するが、ユーザは動画データのビットレートの低下をなるべく抑え、動画の画質をある程度維持しながらもライブ配信できる。

また、ステップＳ６１２およびステップＳ６１３において、メインカメラ４０１はサブカメラ４０２よりもビットレートが高くなるように動画のビットレートを変更してもよい。この方法はライブ配信するユーザはメインカメラで撮影した動画をサブカメラで撮影した動画よりも画質を優先したい場合に有効である。この場合、メインカメラ４０１およびサブカメラ４０２はステップＳ６１２およびステップＳ６１３において、それぞれお互いのビットレートの値を送受信し、取得する。これによりメインカメラ４０１およびサブカメラ４０２は他のカメラのビットレートと自身のビットレートを比較し、メインカメラ４０１のほうがサブカメラ４０２よりもビットレートが高くなるようにビットレートを変更する。

ステップＳ６１６において、メインカメラ４０１はライブ配信を視聴している人数を表示したが、他のライブ配信に関するデータを表示してもよい。たとえば、メインカメラ４０１はお気に入り登録しているユーザ数、コメント数、および高評価・低評価の数等を表示する。なお、サブカメラ４０２も同様のことができる。さらに、メインカメラ４０１およびサブカメラ４０２はこの情報をライブ配信中にお互いに通知することで、この情報をもとにビットレートを動的に変化させてもよい。例えば、メインカメラ４０１およびサブカメラ４０２のうち、ライブ配信を視聴している人が多い方のカメラはビットレートを上げ、もう片方のカメラはビットレートを下げる。このようにデジタルカメラ１００が視聴者の評価や人気よってビットレートを調整することで、ユーザはライブ配信の視聴者にとって快適なライブ配信の提供が可能になる。

なお、本実施形態ではメインカメラ４０１とサブカメラ４０２の２台のデジタルカメラを利用したマルチカメラライブ配信を説明したが、マルチカメラライブ配信に利用するデジタルカメラ１００の数は複数であればよい。この場合、デジタルカメラ１００が増えるほど、デジタルカメラ１００は外部サーバに送信する動画データのビットレートを変化させる量を増やす。例えば、１０Ｍｂｐｓで動画データを送信する設定において、デジタルカメラ１００はマルチカメラライブ配信を２台で行う場合は５Ｍｂｐｓで動画データを送信し、３台で行う場合は約３．３Ｍｂｐｓで動画データを送信する。

また、本実施形態では、デジタルカメラ１００の関係にメインカメラとサブカメラという役割を設定した。この役割は、例えばライブ配信するために必要な情報に含まれる。メインカメラであるデジタルカメラ１００は、ステップＳ６１１において、サブカメラであるデジタルカメラ１００に対してサブカメラのビットレートを指示してもよい。例えば、メインカメラであるデジタルカメラ１００はサブカメラであるデジタルカメラ１００に対して、３Ｍｂｐｓの動画データを外部サーバに送信するよう指示する。なお、この役割はデジタルカメラ１００を区別するための設定であり、デジタルカメラ１００の優先順位等を必ずしも定めるものではない。

＜マルチカメラライブ配信のフローチャート＞
図７はデジタルカメラ１００の処理手順の一例を説明するフローチャートである。この処理は、不揮発性メモリ１０３に記録されたソフトウェアを作業用メモリ１０４に展開して制御部１０１が実行することで実現する。本実施形態において、メインカメラ４０１およびサブカメラ４０２はデジタルカメラ１００と同じ動作をする。本フローチャートの処理は、図５（ａ）のようにユーザによりライブ配信機能の選択が行われることで開始される。

ステップＳ７０１において、制御部１０１はサーバ４０４に対して、イベントを取得するための要求パケットを送信する。この要求パケットに応じて、サーバ４０４は記録しているイベントをすべてデジタルカメラ１００に送信する。本ステップは図６のステップＳ６０２およびステップＳ６０６に対応する。

ステップＳ７０２において、制御部１０１はサーバ４０４から送信されたイベントをすべて受信する。本ステップは図６のステップＳ６０３およびステップＳ６０７に対応する。

ステップＳ７０３において、制御部１０１はサーバ４０４から受信したイベントの一覧を表示部１０６に表示する。例えば、制御部１０１は表示部１０６に図５（ｂ）のようにイベントに含まれるタイトルの一覧を表示する。本ステップは図６のステップＳ６０４およびステップＳ６０８に対応する。

ステップＳ７０４において、制御部１０１は操作部１０５によってマルチカメラライブ配信のイベントが選択されたか否かを判断する。制御部１０１はマルチカメラライブ配信ではないイベントが選択されたと判断した場合、ステップＳ７０８へ進む。制御部１０１はマルチカメラライブ配信のライブ配信イベントが選択されたと判断した場合、ステップＳ７０５へ進む。本ステップは図６のステップＳ６０９およびステップＳ６１１に対応する。

ステップＳ７０５において、制御部１０１はマルチカメラライブ配信を行うことをブロードキャストでＬＡＮ内に通知する。例えば、制御部１０１はＳｉｍｐｌｅ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌ（ＳＳＤＰ）という通信プロトコルに従って、同じＬＡＮ内にマルチカメラライブ配信する他のデジタルカメラ１００へ通知を送信する。この通知はライブ配信の識別子を含む。本ステップは図６のステップＳ６１０、ステップＳ６１２、およびステップＳ６１３に対応する。

ステップＳ７０６において、制御部１０１は同じＬＡＮ内に同じマルチカメラライブ配信を行うことを通知している別のデジタルカメラ１００があるか否かを判断する。例えば、制御部１０１は他のデジタルカメラ１００からライブ配信の識別子を含む通知を受信する。制御部１０１はステップＳ７０４において選択されたイベントのライブ配信の識別子と受信したライブ配信の識別子とを比較して、一致するか否か判断する。２つの識別子が一致した場合、制御部１０１は同一ＬＡＮ内に同じライブ配信を行う別のデジタルカメラ１００があると判断する。同じＬＡＮ内に同じマルチカメラライブ配信を行うことを通知しているデジタルカメラ１００が無いと判断した場合、処理はステップＳ７０８に進む。同一ＬＡＮ内に同じマルチカメラライブ配信を行うことを通知しているデジタルカメラ１００があると判断した場合、処理はステップＳ７０７に進む。なお、制御部１０１は同一ＬＡＮ内に同じマルチカメラライブ配信を行うことを通知しているデジタルカメラ１００があると判断した場合、そのデジタルカメラ１００の台数も本ステップで計算する。また加えて、制御部１０１は表示部１０６にビットレートを下げることを示す警告を表示する。

ステップＳ７０７において、制御部１０１はサーバ４０４へ送信する動画のビットレートを変更する処理を行う。例えば、制御部１０１は、ステップＳ７０６において取得したマルチカメラライブ配信するデジタルカメラ１００の合計数でビットレートの設定値を除算した値にビットレートを設定する。本ステップにより、同一ＬＡＮ内に同じマルチカメラライブ配信を行うデジタルカメラが複数台ある場合でも、デジタルカメラが送信する動画のパケットがネットワーク帯域を超えることは少なく、輻輳の発生を低減できる。本ステップは図６のステップＳ６１４およびステップＳ６１５に対応する。

ステップＳ７０８において、制御部１０１は操作部１０５によってライブ配信を開始する操作がなされたか否かを判断する。ライブ配信を開始する操作がなされてないと判断した場合、ステップＳ７０９へ進む。ライブ配信を開始する操作がなされたと判断した場合、ステップＳ７１０へ進み、ライブ配信を開始する。本ステップは図６のステップＳ６１６およびステップＳ６１８に対応する。

ステップＳ７０９において、制御部１０１は、イベントがマルチカメラライブ配信か否かを判断する。イベントがマルチカメラライブ配信ではないと判断した場合は、ステップＳ７０８の処理を繰り返し、ユーザによる指示を待機する。イベントがマルチカメラライブ配信であると判断した場合は、ステップＳ７０５に戻り、再度、同一ＬＡＮ内に同じマルチカメラライブ配信を行うデジタルカメラ１００が存在するかの判定を行う。

ステップＳ７１０において、制御部１０１はサーバ４０４に対して、撮像部１０２において逐次撮影した動画データを逐次送信し、ライブ配信する。ここでサーバ４０４は、この動画を視聴者に配信する。本ステップは図６のステップＳ６１７およびステップＳ６１９に対応する。ここで制御部１０１はライブ配信中において、サーバ４０４からデジタルカメラ１００が送信した動画を視聴している人数の情報を受信し、この情報に基づいて表示部１０６の表示を更新する。

ステップＳ７１１において、制御部１０１は操作部１０５によってライブ配信を終了する操作がなされたか否かを判断する。ライブ配信を終了する操作がなされてないと判断した場合、ステップＳ７１０に戻り、ライブ配信を継続する。ライブ配信を終了する操作がなされたと判断した場合、ステップＳ７１２へ進む。本ステップは図６のステップＳ６２０およびステップＳ６２２に対応する。

ステップＳ７１２において、制御部１０１はサーバ４０４に対して、ライブ配信を終了するための要求パケットを送信し、ライブ配信を終了する。本ステップは図６のステップＳ６２１およびステップＳ６２３に対応する。

以上、本実施形態のマルチカメラライブ配信におけるデジタルカメラ１００の動作について説明した。

なお、本実施形態では、イベントをサーバ４０４が記録している場合について説明したが、デジタルカメラ１００がイベントを記録していてもよい。また、イベントは、サーバ４０４およびデジタルカメラ１００のいずれでも作成可能である。デジタルカメラ１００がイベントを記録または作成した場合、デジタルカメラ１００はサーバ４０４からイベントを取得しなくてもよい。

また、本実施形態においてデジタルカメラ１００はマルチカメラライブ配信のイベントが選択されてからライブ配信が開始されるまで、他のカメラに通知を繰り返し送信したが（例えば図６のステップＳ６１０）、通知を送信する方法はこれに限られない。例えば、メインカメラが通知を送信し続け、その応答を受け取った数でメインカメラおよびサブカメラの数を計算する。そして、メインカメラは次に送信する通知に計算した数を含めて送信すればよい。

本実施形態では、複数台のデジタルカメラ１００が同一ＬＡＮ内でマルチカメラライブ配信を行う場合、デジタルカメラ１００が送信する動画のビットレートを下げるため、輻輳の発生を低減することができる。また、輻輳の発生が低減されるため、デジタルカメラ１００は動画の再送や送信待ちをする可能性が減る。この結果、複数台のデジタルカメラが同一ＬＡＮ内でマルチカメラライブ配信を行う場合でも、ライブ配信の動画の遅延を発生しにくくできる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (21)

1. 外部装置およびローカルエリアネットワークの内にある他の通信装置と通信する通信手段と、
   表示手段と、
   制御手段と、を有する前記ローカルエリアネットワークの内にある通信装置であって、
   前記制御手段は、複数の通信装置によるライブ配信に関する情報を、前記通信手段を介して前記外部装置から受信し、
   前記制御手段は、前記ライブ配信に関する情報に基づいて、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うか否かを前記通信手段を介して検出し、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うことを検出しなかった場合は、前記制御手段は動画データを第一のビットレートで前記外部装置に送信し、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うことを検出した場合は、前記制御手段は前記動画データを前記第一のビットレートより低い第二のビットレートで前記外部装置に送信し、
   前記制御手段は、前記動画データを前記第一のビットレートよりも低い前記第二のビットレートで前記外部装置に送信する場合、前記動画データを前記第一のビットレートよりも低い前記第二のビットレートで送信することを示す警告を表示するよう前記表示手段を制御する
   ことを特徴とする通信装置。
2. 前記制御手段は、前記ライブ配信を行う場合、前記動画データを表示するよう前記表示手段を制御し、
   前記制御手段は、前記警告を前記動画データに重畳して表示するよう前記表示手段を制御することを特徴とする請求項１に記載の通信装置。
3. 前記制御手段は、前記警告を示す情報を前記外部装置へ送信しないことを特徴とする請求項１または２に記載の通信装置。
4. 前記ライブ配信に関する情報は、前記ライブ配信において使用される通信装置の数に関する情報を含み、
   前記制御手段は、前記ライブ配信において使用される通信装置の数に関する情報に基づいて、前記ライブ配信において使用される通信装置の数が複数あると判断した場合、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うか否かを前記通信手段を介して検出する処理を実行する
   ことを特徴とする請求項１から３のいずれか１項に記載の通信装置。
5. 前記制御手段は、前記ライブ配信を行う場合、複数の通信装置によるライブ配信であることを示す通知を表示することを特徴とする請求項１から４のいずれか１項に記載の通信装置。
6. 前記制御手段は、前記通知を示す情報を前記外部装置へ送信しないことを特徴とする請求項５に記載の通信装置。
7. 前記制御手段は、前記動画データを前記外部装置へ送信しているか否かを表示するよう前記表示手段を制御することを特徴とする請求項１から６のいずれか１項に記載の通信装置。
8. 前記制御手段は、前記通信手段を介して検出した前記ライブ配信を行う前記他の通信装置の数に応じて前記第二のビットレートを変更することを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. 前記制御手段は、前記通信手段を介して検出した前記ライブ配信を行う前記他の通信装置の数が増えるごとに、前記第二のビットレートを低くする
   ことを特徴とする請求項１から８のいずれか１項に記載の通信装置。
10. 前記制御手段は、前記通信手段を介して前記他の通信装置から前記他の通信装置が行うライブ配信の識別子を受信し、
    前記通信手段を介して前記他の通信装置から受信した前記他の通信装置が行うライブ配信の識別子と、前記ライブ配信に関する情報に含まれるライブ配信の識別子とが一致すると判断した場合、前記制御手段は、前記他の通信装置が前記通信装置と同じライブ配信を行うことを検出する
    ことを特徴とする請求項１から９のいずれか１項に記載の通信装置。
11. 前記制御手段は、前記ライブ配信に関する情報に基づいて、前記ライブ配信における前記通信装置の役割を判断し、
    前記制御手段は、前記役割ごとに前記第二のビットレートを異ならせる
    ことを特徴とする請求項１から１０のいずれか１項に記載の通信装置。
12. 前記役割が前記ライブ配信を視聴するための画面のメインカメラの場合における前記第二のビットレートは、前記役割がサブカメラの場合における前記第二のビットレートよりも高いことを特徴とする請求項１１に記載の通信装置。
13. 前記制御手段は、前記通信手段を介して前記ライブ配信を行う前記他の通信装置のビットレートを取得し、
    前記制御手段は、前記通信手段を介して取得した前記ライブ配信を行う前記他の通信装置のビットレートおよび前記役割に基づいて前記動画データのビットレートを前記第二のビットレートに変更する
    ことを特徴とする請求項１１または１２に記載の通信装置。
14. 前記制御手段は、前記役割を表示するよう前記表示手段を制御することを特徴とする請求項１１から１３のいずれか１項に記載の通信装置。
15. 前記制御手段は、前記通信手段を介して前記ライブ配信を行う前記他の通信装置に対して所定のビットレートで配信するよう指示する
    ことを特徴とする請求項１から１４のいずれか１項に記載の通信装置。
16. さらに撮像手段を有し、
    前記制御手段は、前記ライブ配信が開始された場合、前記撮像手段によって逐次撮像される動画データを、前記通信手段を介して前記外部装置へ逐次送信する
    ことを特徴とする請求項１から１５のいずれか１項に記載の通信装置。
17. ライブ配信を実行している状態において、前記制御手段は、前記通信手段を介して前記外部装置から受信した前記ライブ配信の視聴者の情報に基づいて、前記第二のビットレートを変更する
    ことを特徴とする請求項１から１６のいずれか１項に記載の通信装置。
18. 前記制御手段は、前記ライブ配信を行う他の通信装置と比較して、前記ライブ配信の視聴者の情報に含まれる視聴者の評価や人気が高い場合、前記ライブ配信を行う他の通信装置よりもビットレートを上げ、
    前記ライブ配信を行う他の通信装置と比較して、前記ライブ配信の視聴者の情報に含まれる視聴者の評価や人気が低い場合、前記ライブ配信を行う他の通信装置よりもビットレートを下げる
    ことを特徴とする請求項１７に記載の通信装置。
19. 前記ライブ配信の視聴者の情報は、お気に入り登録しているユーザ数、コメント数、および高評価・低評価の数のうち少なくとも一つであることを特徴とする請求項１７または１８に記載の通信装置。
20. 外部装置およびローカルエリアネットワークの内にある他の通信装置と通信する通信手段と、表示手段と、を有する通信装置の制御方法であって、
    複数の通信装置によるライブ配信に関する情報を、前記通信手段を介して前記外部装置から受信ステップと、
    前記ライブ配信に関する情報に基づいて、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うか否かを前記通信手段を介して検出し、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行うことを検出しなかった場合は、動画データを第一のビットレートで前記外部装置に送信し、前記ローカルネットワークの内にある前記他の通信装置が前記ライブ配信を行う場合は、前記動画データを前記第一のビットレートより低い第二のビットレートで前記外部装置に送信するステップと、
    前記制御手段は、前記動画データを前記第一のビットレートよりも低い前記第二のビットレートで前記外部装置に送信する場合、前記動画データを前記第一のビットレートよりも低い前記第二のビットレートで送信することを示す警告を表示するよう前記表示手段を制御するステップと、
    を有することを特徴とする制御方法。
21. コンピュータを請求項１から１９のいずれか１項に記載の通信装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。

Images