JP4479414B2 - 映像配信システム及び映像受信装置 - Google Patents

Description

本発明は、学校や企業の教育や研修に使用され、或る地点からネットワークで結ばれた遠隔の他の地点へ映像を配信するシステムおよび映像を受信して表示する映像受信装置に関する。

従来の映像配信システムにおいては、例えば企業の研修において、研修場所で講師がプレゼンテーション資料を見ながら説明する様子をカメラで撮影し、撮影した映像を資料の画像とともに遠隔にある支店等に配信し、支店等で講師の講義を資料を見ながら聴くことができるようになっている。このような従来の映像配信システムを図２に示す。

図２において、従来の映像配信システムは、映像送信装置１がＬＡＮ（ローカルエリアネットワーク）またはインターネット１０９を介して映像受信装置としての複数のクライアントＰＣ１０８またはセットトップボックス（ＳＴＢ）１１０に接続されて構成されている。映像送信装置１は、制御部１０１、メディアサーバー１０２、通信部１０３、ビデオカメラ１０４、ビデオオーディオエンコーダ部１０５、表示部１０６および表示切り替え入力部１０７から構成される。

制御部１０１はデータ線１１１によりメディアサーバー１０２、通信部１０３、ビデオエンコーダ部１０５、表示部１０６および表示切り替え入力部１０７と接続され、通信部１０３は通信線１１２によりＬＡＮまたはインターネット１０９と接続されている。またビデオカメラ１０４およびマイク１１４はビデオオーディオエンコーダ部１０５と映像線１１３により接続されている。

企業の研修において講師の講義の様子を配信する場合の動作を説明する。講師２は、プレゼンテーション資料３を見ながら説明するものとする。まず、制御部１０１からの指示でビデオカメラ１０４で撮影した映像信号およびマイク１１４で収音した音声信号をビデオオーディオエンコーダ部１０５へ送り、ここで映像データを圧縮する。圧縮された映像データは通信部１０３へ送られ、ＬＡＮまたはインターネット１０９を介してクライアントＰＣ１０８またはセットトップボックス１１０に順次送信される。

プレゼンテーション資料３のデータは、メディアサーバー１０２に予め蓄積されており、講師２が表示切り替え入力部１０７の専用ボタンを押下することにより、その入力のタイミングに同期してメディアサーバー１０２に蓄積された静止画や文章ファイル（例えばパワーポイントプレゼンテーションファイルやワード文書ファイル）を通信部１０３からＬＡＮまたはインターネット１０９を介してクライアントＰＣ１０８またはセットトップボックス１１０に送信する。

カメラの映像データを受信したクライアントＰＣ１０８またはセットトップボックス１１０は、順次送信されてくる圧縮された映像信号を復号化処理して画面上の映像ウィンドウに表示する。また逐次送信されてくる静止画や文章ファイルを資料ウィンドウに表示し、これにより講師２による研修を遠隔地で視聴することができる。

また学校教育においても、遠隔地にある教室をオンライン接続し、リアルタイムに双方向でインタラクティブに授業を行なうシステムが開発されている。このようなシステムを開示するものとして例えば、特開平１０−２０７５７号公報が挙げられる。

上記公報には、２つの教室をオンラインで結んだ遠隔協同授業システムにおいて、会話状態ボタンを押すことにより、表示画面の切り替えを行なう技術が開示されている。表示画面は大画面とウィンドウ画面を有し、どちらの画面に何を表示するかを会話状態ボタンの押下により行なうものである（上記公報段落[００３４]乃至段落[００３６]参照）。
特開平１０−２０７５７号公報

しかしながら従来のシステムにおいては、映像受信装置としてのクライアントＰＣ１０８またはセットトップボックス１１０において、資料ウィンドウに説明資料を表示し、映像ウィンドウに講師が表示される。この場合、映像ウィンドウにおける講師の顔の向きの反対側に資料ウィンドウが表示されることがある。即ち、講師の顔が画面上で右を向いていて、資料ウィンドウが映像ウィンドウの左側になる場合があり、このような場合は視聴者に違和感を与え、聴講に集中できないことになる。

また上記従来のシステムでは、資料ウィンドウと映像ウィンドウの大小表示切り替え、即ち、講師が受講者に問い掛けている時は映像ウィンドウを大表示に切り替え、資料について説明しているときは資料ウィンドウを大表示に切り替えることが可能であるが、この表示切り替えは講師あるいはアシスタントが手動で行なうようになっており、表示にタイムラグが発生するという問題があった。上記公報に記載のシステムにおいても、表示の切り替えはボタンの押下により行なわれており、同様の問題があった。

上記課題を解決するために、本発明は、映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、映像受信装置は、被撮影者を表示する映像ウィンドウと映像送信装置から受信した資料画像を表示する資料ウィンドウとを表示する表示画面を有し、被撮影者の顔の横向きを検出する検出手段を設け、前記検出手段が被撮影者の顔の横向きを検出すると、映像受信装置の前記表示画面における前記映像ウィンドウと前記資料ウィンドウの配置を、前記映像ウィンドウにおける被撮影者の顔の向きが前記資料ウィンドウの側になるように設定したことを特徴とする。

また他の発明は、映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、映像受信装置は被撮影者を表示する表示画面の他に映像送信装置から受信した資料画像を表示する表示画面とを有し、被撮影者の顔の横向きを検出する検出手段を設け、映像受信装置側において被撮影者の映像と資料画像を表示する際に、前記検出手段の検出結果に基づいて被撮影者の表示の大きさを決定することを特徴とする。

さらに他の発明は、映像送信装置から被撮影者の映像を受信し、受信した被撮影者の映像を表示する映像受信装置において、被撮影者を表示する映像ウィンドウと映像送信装置から受信した資料画像を表示する資料ウィンドウとを表示する表示画面を有し、被撮影者の顔の横向きを検出する検出手段を設け、前記検出手段が被撮影者の顔の横向きを検出すると、前記表示画面における前記映像ウィンドウと前記資料ウィンドウの配置を、前記映像ウィンドウにおける被撮影者の顔の向きが前記資料ウィンドウの側になるように設定したことを特徴とする。

上記構成の本発明によれば、被撮影者の顔の横向きを検出する検出手段を設け、前記検出手段が被撮影者の顔の横向きを検出すると、映像受信装置の前記表示画面における前記映像ウィンドウと前記資料ウィンドウの配置を、前記映像ウィンドウの位置を該映像ウィンドウにおける被撮影者の顔の向きが前記資料ウィンドウの側になるように設定したので、資料ウィンドウに対して被撮影者を違和感のない位置に表示することができる。また被撮影者の表示位置の決定を自動的に行なうので、表示にタイムラグは発生しない。

以下、本発明を実施するための形態を図面に従って説明する。図１は本発明の第１実施の形態の映像配信システムを示すブロック図である。図１において、第１の実施の形態の映像配信システム２０は、映像送信装置２１がＬＡＮ（ローカルエリアネットワーク）またはインターネット２０９を介して映像受信装置としての複数のクライアントＰＣ２０８またはセットトップボックス（ＳＴＢ）２１１に接続されて構成されている。映像送信装置２１は、制御部２０１、メディアサーバー２０２、通信部２０３、ビデオカメラ２０４、マイク２１２、ビデオオーディオエンコーダ部２０５、表示部２０６、表示切り替え入力部２０７および目画像抽出部２１０から構成される。

制御部２０１はデータ線１１１によりメディアサーバー２０２、通信部２０３、ビデオエンコーダ部２０５、表示部２０６、表示切り替え入力部２０７および目画像抽出部２１０と接続され、通信部２０３は通信線１１２によりＬＡＮまたはインターネット２０９と接続されている。またビデオカメラ２０４およびマイク２１２はビデオエンコーダ部２０５および目画像抽出部２１０と映像線１１３により接続されている。メディアサーバー２０２には予めプレゼンテーション資料のデータが蓄積されている。

次に第１の実施の形態の動作を説明するが、ここでは企業の研修において講師の講義の様子を配信する場合の動作を説明する。講師（被撮影者）２は、プレゼンテーション資料３を見ながら説明するものとする。映像送信装置２１において、制御部２０１からの指示でビデオカメラ２０４で撮影した映像信号およびマイク２１２で収音した音声信号をビデオオーディオエンコーダ部２０５へ送り、ここで映像データを圧縮する。ここでは例えば、ＭＰＥＧ４規格フォーマットに変換される。圧縮された映像データは通信部２０３へ送られ、ＬＡＮまたはインターネット２０９を介してクライアントＰＣ２０８またはセットトップボックス２１１に順次送信される。

このとき、制御部２０１は目画像抽出部２１０に対して目の抽出開始を指示する。目画像抽出部２１０では、ビデオカメラ２０４から入力される映像信号から目画像の抽出を行い、抽出した目の位置情報を制御部２０１に返信する。ここで目画像を抽出して講師の顔の向きを判定する動作を説明する。図３は顔向き判定動作を示すフローチャートである。

まずビデオカメラ２０４から入力される映像信号から目画像の抽出を行う（ステップ１）。図４はビデオカメラ２０４で撮影された撮影画像を示す説明図である。講師２を撮影した撮影画像は、目画像抽出部２１０へ送られる。目画像抽出部２１０は、送られてきた画像の中から目の領域の候補を抽出する。図４に示す例では、両目（（１）、（２））とマイクロフォン２１２（３）が候補として抽出される。このとき各候補の位置座標が位置情報として算出される。位置座標は、図４に示す画面において、左上隅を原点とし、右方向へＸ軸をとり、下方向へＹ軸を取ったときの座標値で表される。

ここで候補が３つあるので、何れか１つが目ではないことになり、目の位置を特定するために各候補のＹ座標値を比較する。この比較により、候補（３）が他の候補（１）、（２）とＹ座標値が大きく異なり、候補（１）と候補（２）はＹ座標値が近似していることから、候補（１）と候補（２）が目であると判定される。目であると判定された位置の位置情報は制御部２０１へ送られる。

次にまばたき除去処理を行う（ステップ２）。ビデオカメラ２０４からは撮影画像が順次目画像抽出部２１０へ送信されてくる。目画像抽出部２１０では、送られてくる画像のうち、講師２がまばたきしている画像を除去する。図５はまばたき除去動作を示す説明図である。図５（ａ）から（ｂ）を経て（ｃ）へと時間的に変化していくものとする。

図５（ａ）は目を開いている状態である。ステップ１で目の位置を特定しているので、その位置において目の輪郭の中に瞳孔及び虹彩に対応する黒画像と、白目に対応する白画像があるか否かにより、目が閉じられているか否かを判断する。図５（ｂ）では両方の目が閉じられていると判断され、その後図５（ｃ）に示すように両方の目が開いていると判断されたとき、まばたきしていると判定される。まばたきと判定された場合、図５（ｂ）に示す画像は除去され（ステップ３）、その後の顔の向きの判定には使用されない。

次に講師の顔の向きを判定する（ステップ４）。図６は目の移動を検出して顔の向きを判定するための説明図である。図６（ａ）から（ｂ）を経て（ｃ）へと時間的に変化していくものとする。目画像抽出部２１０は、目の位置情報を連続して算出し、制御部２０１へ送る。制御部２０１では前後する位置情報を比較して目がどちら側へ移動しているかを判定する。図６において、Ｘ₁は右目のＸ座標を示し、Ｘ₂は左目のＸ座標を示す。図６（ａ）と図６（ｂ）とを比較すると、両目ともＸ座標が増加しており、図６（ａ）から図６（ｂ）への変化は、講師２が顔を画面上の右側へ移動させたと判定される。そして図６（ｃ）においては講師２の片方の目が消失し、消失しない目のＸ座標は図６（ｂ）における右目Ｘ₁のＸ座標よりも増加している。

制御部２０１は、片方の目の消失を確認すると（ステップ５）、図６（ｃ）において残っている目のＸ座標が、仮に右目Ｘ₁としてみると、図６（ａ）から図６（ｂ）を経てさらに図６（ｃ）と、増加傾向にあり、また仮に左目Ｘ₂としてみると、図６（ｂ）から図６（ｃ）にかけて減少していることから、図６（ｃ）において残っている目は、右目であると推定する（ステップ６）。したがって消失した目は左目と推定されるから、これにより講師２は左を向いた（画面上は右を向いた）と判定する（ステップ７）。ステップ６において残っている目が左目であると推定した場合は、講師２は右を向いた（画面上は左を向いた）と判定する（ステップ８）。

制御部２０１は、講師２の向きを判定すると、この被撮影者（講師）向き情報を通信部２０３からＬＡＮまたはインターネット２０９を介してクライアントＰＣ２０８またはセットトップボックス２１０に順次送信する。

またプレゼンテーション資料３のデータは、講師２が表示切り替え入力部２０７の専用ボタンを押下することにより、その入力のタイミングに同期してメディアサーバー２０２に蓄積された静止画や文章ファイル（例えばパワーポイントプレゼンテーションファイルやワード文書ファイル）を通信部２０３からＬＡＮまたはインターネット２０９を介してクライアントＰＣ２０８またはセットトップボックス２１１に送信する。

被撮影者向き情報およびプレゼンテーション資料データを受信した受信側のクライアントＰＣ２０８またはセットトップボックス２１１は、順次送信されてくる圧縮された画像信号を復号化処理し、被撮影者向き情報から、画面上の映像ウィンドウを資料ウィンドウの左右どちら側に表示するかを決定する。

図７はクライアントＰＣ２０８またはセットトップボックス２１１の表示画面を示す説明図である。図７において、表示画面２２０にはビデオカメラ２０４で撮影した映像を表示する映像ウィンドウ２２１と資料データを表示する資料ウィンドウ２２２が表示される。制御部２０１から送信されてくる被撮影者向き情報が、講師２が左向き（画面上は右向き）である場合、図７に示すように、映像ウィンドウ２２１は資料ウィンドウ２２２の左側に表示される。このように映像ウィンドウ２２１を表示することにより、受講者から見ると、講師２が資料の方を向いているように見える。講師２が右向き（画面上は左向き）である場合は、映像ウィンドウ２２１は資料ウィンドウ２２の右側に表示される。

以上のように第１の実施の形態によれば、映像送信装置において被撮影者（講師）の向きを検出し、受信側装置において、被撮影者向き情報により映像ウィンドウを資料ウィンドウに対して適切な位置に表示するようにしたので、被撮影者が資料ウィンドウの反対側を向いているという不自然さが解消される。これにより視聴者が発表の内容に集中でき、理解向上に寄与できる。また被撮影者もどちらを向いたらよいかを気にする必要が無くなる。

なお上記実施の形態の変形例として、装置の左右にそれぞれ音声出力部を持っている受信側装置において、被撮影者向き情報を受信した場合、被撮影者を表示する映像ウィンドウを表示した側の音声出力部の音量を反対側の音声出力部の音量より大きくなるように制御してもよい。図７の例でいえば、映像ウィンドウ２２１が表示されている左側の音声出力部の音量を大きくするようにする。このように映像ウィンドウの表示位置に応じて音声出力部の音量を変えることにより、視聴者に対して現実感または臨場感を与えることができ、発表内容に対して視聴者がより集中可能になる。

なお上記実施の形態では、被撮影者の顔の向きを映像送信装置側で検出するようにしているが、これに限らず、目画像抽出部等を映像受信側装置にもたせて、受信側の装置で被撮影者の顔の向きを検出するようにしてもよい。この場合、映像送信装置は被撮影者の撮影画像を送信するだけとなる。

次に第２の実施の形態を説明する。図８は第２実施の形態の映像配信システムを示すブロック図である。図８において、第２の実施の形態の映像配信システム３０は、映像送信装置３１がＬＡＮまたはインターネット３０９を介して映像受信装置としての複数のクライアントＰＣ３０８またはセットトップボックス（ＳＴＢ）３１１に接続されて構成されている。映像送信装置３１は、制御部３０１、メディアサーバー３０２、通信部３０３、ビデオカメラ３０４、マイク３１３、ビデオエンコーダ部３０５、表示部３０６、表示切り替え入力部３０７、目画像抽出部３１０および顔向き検出部３１２から構成される。

制御部３０１はデータ線１１１によりメディアサーバー３０２、通信部３０３、ビデオエンコーダ部３０５、表示部３０６、表示切り替え入力部３０７、目画像抽出部３１０および顔向き検出部３１２と接続され、通信部３０３は通信線１１２によりＬＡＮまたはインターネット３０９と接続されている。またビデオカメラ３０４はビデオエンコーダ部３０５、目画像抽出部２１０および顔向き検出部３１２と映像線１１３により接続されている。メディアサーバー３０２には予めプレゼンテーション資料のデータが蓄積されている。

次に第２の実施の形態の動作を説明する。この場合も企業の研修において講師の講義の様子を配信する場合の動作を説明する。講師２は、プレゼンテーション資料３を見ながら説明するものとする。映像送信装置３１において、制御部３０１からの指示でビデオカメラ３０４で撮影した映像信号をビデオエンコーダ部３０５へ送り、ここで映像データを圧縮する。圧縮された映像データは通信部３０３へ送られ、ＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に順次送信される。

ここからは図９に示すフローチャートにしたがって説明する。図９は第２の実施の形態の動作を示すフローチャートである。制御部３０１は顔向き検出部３１２に対して講師２の顔向きの検出開始を指示する（ステップ１１）。

制御部３０１からの指示を受けると、顔向き検出部３１２では、ビデオカメラ３０４から入力される映像信号から顔の輪郭を切り出し、被撮影者（講師２）が前を向いているか否かを検出し、制御部３０１に通知する（ステップ１２）。制御部３０１では、顔向き検出部３１２から、被撮影者が正面を向いているという検出結果を受けると（ステップ１３のＹ）、映像ウィンドウ拡大指示を通信部３０３からＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に送信する（ステップ１４）。

また制御部３０１は、顔向き検出部３１２から、被撮影者が横を向いているという検出結果を受けると（ステップ１３のＮ）、目画像抽出部３１０に対して目の抽出開始を指示する（ステップ１５）。目画像抽出部３１０では、ビデオカメラ３０４から入力される映像信号から目画像の抽出を行い、抽出した目の位置情報を制御部２０１に返信する。

制御部３０１は目画像抽出部３１０から目の位置情報を受信すると（ステップ１６）、第１の実施の形態で説明したように、目画像抽出部３１０からの目の位置情報を連続して取得することにより、左右どちらの目が見えなくなったかにより講師２の顔がどちらを向いているかを判定する（ステップ１７）。そして判定結果を被撮影者向き情報として、通信部３０３からＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に送信する（ステップ１８）。

またプレゼンテーション資料３のデータは、講師２が表示切り替え入力部３０７の専用ボタンを押下することにより、その入力のタイミングに同期してメディアサーバー３０２に蓄積された静止画や文章ファイル（例えばパワーポイントプレゼンテーションファイルやワード文書ファイル）を通信部３０３からＬＡＮまたはインターネット３０９を介してクライアントＰＣ３０８またはセットトップボックス３１１に送信する。

映像ウィンドウ拡大指示または被撮影者向き情報およびプレゼンテーション資料データを受信した受信側のクライアントＰＣ２０８またはセットトップボックス２１０は、順次送信されてくる圧縮された画像信号を復号化処理し、映像ウィンドウ拡大指示により、表示画面における映像ウィンドウを拡大する。図１０は映像ウィンドウを拡大する場合の表示画面を示す説明図である。

図１０（ａ）は表示画面３２０に映像ウィンドウ３２１と資料ウィンドウ３２２が表示されている表示画面３２０を示し、図１０（ｂ）は映像ウィンドウの拡大表示を示す。クライアントＰＣ２０８またはセットトップボックス２１０は、映像ウィンドウ拡大指示を受けると、図１０（ｂ）に示すように、小サイズの表示３２１ａから最大サイズの表示３２１ｂに変更する。なおこのとき、資料ウィンドウは表示されない。

またクライアントＰＣ２０８またはセットトップボックス２１０は、被撮影者向き情報を受けると、この情報から、第１の実施の形態と同様に、画面上の映像ウィンドウを資料ウィンドウの左右どちら側に表示するかを決定する。即ち、制御部３０１から送信されてくる被撮影者向き情報が、講師２が左向き（画面上は右向き）である場合、図１１（ａ）に示すように、映像ウィンドウ３２１は資料ウィンドウ３２２の左側に表示される。講師２が右向き（画面上は左向き）である場合は、図１１（ｂ）に示すように、映像ウィンドウ３２１は資料ウィンドウ３２２の右側に表示される。図１１は映像ウィンドウの位置の変更を示す説明図である。

以上のように第２の実施の形態では、映像送信装置３１に顔向き検出部３１２を設けて被撮影者が正面を向いているかを検出し、正面を向いている場合には受信側装置で拡大表示するようにしたので、受信側装置における表示画面の表示を被撮影者の姿勢に応じて適正に行なうことが可能になる。これにより映像配信システムの利便性の向上が図れる。

第１実施の形態の映像配信システムを示すブロック図である。 従来の映像配信システムを示すブロック図である。 顔向き判定動作を示すフローチャートである。 ビデオカメラで撮影された撮影画像を示す説明図である。 まばたき除去動作を示す説明図である。 目の移動を検出して顔の向きを判定するための説明図である。 表示画面を示す説明図である。 第２実施の形態の映像配信システムを示すブロック図である。 第２の実施の形態の動作を示すフローチャートである。 映像ウィンドウを拡大する場合の表示画面を示す説明図である。 映像ウィンドウの位置の変更を示す説明図である。

符号の説明

２０ 映像配信システム
２１ 映像送信装置
２０１ 制御部
２０８ クライアントＰＣ
２１０ 目画像抽出部
２２０ 表示画面
２２１ 映像ウィンドウ
２２２ 資料ウィンドウ

Claims (5)

1. 映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、
   映像受信装置は、被撮影者を表示する映像ウィンドウと映像送信装置から受信した資料画像を表示する資料ウィンドウとを表示する表示画面を有し、
   被撮影者の顔の横向きを検出する検出手段を設け、
   前記検出手段が被撮影者の顔の横向きを検出すると、映像受信装置の前記表示画面における前記映像ウィンドウと前記資料ウィンドウの配置を、前記映像ウィンドウにおける被撮影者の顔の向きが前記資料ウィンドウの側になるように設定したことを特徴とする映像配信システム。
2. 映像送信装置と該映像送信装置から遠隔の映像受信装置とを有し、映像送信装置から映像受信装置へ被撮影者の映像を送信し、映像受信装置で受信した被撮影者の映像を表示する映像配信システムにおいて、
   映像受信装置は被撮影者を表示する表示画面の他に映像送信装置から受信した資料画像を表示する表示画面とを有し、
   被撮影者の顔の向きを検出する検出手段を設け、
   前記検出手段の検出結果に基づいて映像受信装置における被撮影者の表示の大きさを決定することを特徴とする映像配信システム。
3. 前記検出手段が被撮影者が正面を向いていることを検出した場合、映像受信装置における被撮影者の表示を拡大して表示する請求項２記載の映像配信システム。
4. 前記検出手段が、被撮影者の顔が横向きであると検出した場合、さらに被撮影者の顔が左右どちらの向きかを検出し、その検出結果により、映像受信装置における被撮影者の表示画面の位置を、該画面における被撮影者の顔の向きが前記資料の表示画面の側になるように設定する請求項２記載の映像配信システム。
5. 映像送信装置から被撮影者の映像を受信し、受信した被撮影者の映像を表示する映像受信装置において、
   被撮影者を表示する映像ウィンドウと映像送信装置から受信した資料画像を表示する資料ウィンドウとを表示する表示画面を有し、
   被撮影者の顔の横向きを検出する検出手段を設け、
   前記検出手段が被撮影者の顔の横向きを検出すると、前記表示画面における前記映像ウィンドウと前記資料ウィンドウの配置を、前記映像ウィンドウにおける被撮影者の顔の向きが前記資料ウィンドウの側になるように設定したことを特徴とする映像受信装置。

Images