JPWO2006121123A1 - 画像切替システム - Google Patents
画像切替システム Download PDFInfo
- Publication number
- JPWO2006121123A1 JPWO2006121123A1 JP2007528319A JP2007528319A JPWO2006121123A1 JP WO2006121123 A1 JPWO2006121123 A1 JP WO2006121123A1 JP 2007528319 A JP2007528319 A JP 2007528319A JP 2007528319 A JP2007528319 A JP 2007528319A JP WO2006121123 A1 JPWO2006121123 A1 JP WO2006121123A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image switching
- unit
- output
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本発明は、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。 本発明の画像切替システムは、複数のカメラ11と、前記複数のカメラ11により撮像した画像を切り替えて出力する計算機1と、を含んで構成される画像切替システムであって、前記計算機1は、前記複数のカメラ11により撮像した画像をそれぞれ、所定の時間分、記憶する映像遅延部12と、前記複数のカメラ11のうちの少なくとも1つにより撮像している第1の撮像対象に、第1の事象が発生したことを検出するマイク14と、前記映像遅延部12により所定の時間分画像を記憶した後、前記第1の撮像対象を撮像した画像のうち、前記マイク14により前記第1の事象を検出した時点を少なくとも含む画像を、前記映像遅延部12から読み出して出力する出力画像切替部13と、を備える、ものである。
Description
本発明は、複数の撮像対象のうちの特定の撮像対象に、カメラを切り替えて撮像する際、撮像する画像の切り替えをスムーズに行うことができる画像切替システムに関する。
複数の撮像対象のうちの特定の撮像対象に自動的にカメラを切り替え、その特定の撮像対象を撮像する撮像対象切替システムは、その撮像がなされている撮像環境に応じて、その切替処理が大きく2つに分けられる。
その1つの撮像環境は、撮像対象となる人物が予め決められたシナリオに沿って何らかの行為を行うシナリオ型の環境であり、例えば、演奏会、テレビドラマ等の撮像環境が挙げられる。この例の場合、演奏会の場合は楽曲、譜面を事前知識として利用することによって、テレビドラマの場合は台本を事前知識として利用することによって、次にカメラを向けるべき人物を予め特定し易く、従って、その撮像環境における場面の切り替えをスムーズに行うことができる。
もう1つの撮像環境は、上述のシナリオ型の環境のようにシナリオが用意されておらず、なんらかのイベントが発生したことを検知するとそのイベント場面にカメラを切り替えるイベント型の環境であり、例えば、スポーツ、講義、会議等の撮像環境が挙げられる。画像認識技術や音声認識技術を利用してイベントが発生したことを検知することにより、不測のイベントも撮像することができる。
ところで、上述のイベント型の環境での撮像対象切替システムには、次のような課題がある。すなわち、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでに時間差が発生してしまうということである。この点を、複数の話者により行われている会議の様子を、1台のカメラによりその発話者を捉えて撮像を行う撮像対象切替システムを例に考える。
上述の例の撮像対象切替システムでは、発話者の音声をマイクで検出した場合に、その発話者の方向にカメラを回転させる。このため、カメラを回転させる回転処理に時間がかかると、カメラで撮像した画像を見ている視聴者にとっては、発話者の音声が聞こえ始めてから回転処理にかかった時間経過後にようやく発話者の画像が表示されることになる。すなわち、カメラにより撮像している画像と発話者の音声とが一致しない場合が考えられ、その会議における場面の切り替えをスムーズに行うことが困難である。
この例以外にも、複数の話者をそれぞれ別々のカメラで撮像する撮像対象切替システムも考案されている。図9に、従来の撮像対象切替システムにおける処理動作の概略図を示す。図9の上段では、各話者(a、b、c)が発話している区間を長方形で示しており、中段では、マイクにより収音した各話者の音声をシステムが出力している区間を同じく長方形で示しており、下段では、発話者に割り当てられたカメラにより撮像した画像をシステムが出力している区間を同じく長方形で示している。このシステムでも、発話者の音声をマイクで検出してからその発話者の撮像を開始するまでに時間差(t1〜t1’、t2〜t2’、t3〜t3’の区間)を0にすることは困難である。
イベント発生後の場面の切り替えをスムーズに行うために、特許文献1の撮像対象切替システムが提案されている。特許文献1では、ある話者が発話したことを検知してからその発話者をカメラにより撮像開始するまでの間、予め録画しておいた、その発話者の静止画像を撮像画像として表示させ、カメラによる発話者の撮像を開始すると実際の撮像画像を表示させるものが提案されている。
しかしながら、特許文献1の撮像対象切替システムでは、発話前にカメラにより撮像していた画面と、予め録画しておいた、発話者の静止画像と、切り替え後にカメラにより撮像する発話者の画面と、を違和感無く、スムーズに視聴者に見せることは困難である。また、イベント型の環境での撮像対象切替システムにおける、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでに時間差が発生してしまうという課題は、解決していない。
また、現在のイベント型の環境での撮像対象切り替えは、専門の人間(イベントが発生することを経験上予測することができる人)が機器を操作して、その切り替え行うことが多い。しかし、経験を積んだ専門の人間による切替操作であっても、特許文献1の撮像対象切替システムと同様、時間差が発生する可能性は以前残ったままである。
本発明は、上記事情に鑑みてなされたものであって、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。
本発明の画像切替システムは、複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、前記複数のカメラのうちの少なくとも1つにより撮像している第1の撮像対象に、第1の事象が発生したことを検出する検出部と、前記記憶部により所定の時間分画像を記憶した後、前記第1の撮像対象を撮像した画像のうち、前記検出部により前記第1の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する出力部と、を備える、ものである。
この構成により、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継することができ、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、視聴者が飽きることがない映像を作り出すことができる。
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第1の撮像対象を撮像した画像を、前記検出部により前記第1の事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、ものを含む。
この構成により、予め第1の事象が起きる前の第1の撮像対象に画像を切り替えておくことにより、その第1の撮像対象に対する注意を視聴者に促すことができ、その結果、その第2の事象に視聴者を惹き付ける効果がある。
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記検出部が前記第1の事象を一定期間継続して検出している場合、前記第1の撮像対象を撮像した画像のうち、前記検出部により前記第1の事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、ものである。
この構成によれば、第1の事象が短時間のものである場合には第1の撮像対象を撮像した画像を出力しないため、短時間の画像切替が発生してしまうことにより視聴者に不快感を与えることを未然に防止することができる。
画像切替システム。
画像切替システム。
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第1の撮像対象を撮像した画像を一定期間出力した場合、別のカメラにより撮像した第2の撮像対象の画像を、前記記憶部から読み出して出力する、ものである。
この構成により、視聴者が同一画像に飽きてしまうことを防ぐことができる。
また、本発明の画像切替システムは、前記画像切替システムの検出部が、前記第1の事象が発生していることを検出中に、別のカメラにより撮像している第2の撮像対象に第2の事象が発生したことを検出し、前記画像切替システムの出力部が、前記第1の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第2の撮像対象を撮像した画像のうち、前記検出部により前記第2の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、ものを含む。
この構成により、複数の事象が複数の撮像対象で起こる場合でも、効果的に画像切替を行うことができる。
また、本発明の画像切替システムは、前記複数のカメラのうちの1つが、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像範囲に捉えた、第3の撮像対象を撮像し、前記画像切替え装置の出力部が、前記検出部により前記第1の事象を検出した後に一定期間経過した場合、前記第3の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、ものを含む。
この構成により、第1の事象が発生してからの経過間が短い場面では、全体を捉えた第3の撮像対象の画像を出力しないことにより、視聴者が画像切替により不快感を覚えるのを防止することができる。
本発明の画像切替システムによれば、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることが無いため、視聴者にとって快適な視聴環境を提供することができる。
1 計算機
11a〜11c カメラ
11d シーンカメラ
12 映像遅延部
12a〜12d メモリ
13 出力画像切替部
14a〜14c マイク
14d センターマイク
15 音声遅延部
16 話者特定部
17 画像切替決定部
18 ミキシング部
19 話者重み情報保持部
11a〜11c カメラ
11d シーンカメラ
12 映像遅延部
12a〜12d メモリ
13 出力画像切替部
14a〜14c マイク
14d センターマイク
15 音声遅延部
16 話者特定部
17 画像切替決定部
18 ミキシング部
19 話者重み情報保持部
以下、本発明の実施形態の画像切替システムについて、図面を用いて説明する。図1に、本発明の実施形態の画像切替システムを示す。
図1の画像切替システムは、計算機1、複数台のカメラ11a〜11d、複数台のマイク14a〜14d、とを含んで構成される。計算機1は、対になったカメラ11Xとマイク14X(X=a、b、c、d)から出力される画像情報と音情報に対して次段落以降に述べる処理を行い、その画像情報と音情報から構成される映像を例えばモニターに出力する。カメラ11a〜11cはそれぞれ、複数の話者(本発明の実施形態では話者が3人の場合を想定している)を別々に撮像するように設置されており、シーンカメラ11dはその複数の話者全員を同時に撮像するシーンカメラとして使用される。マイク14a〜14cはそれぞれ、複数の話者毎の音声をそれぞれ別々に収音できるように設置されており、センターマイク14dはその複数の話者全員を同時に収音できる。以下、計算機1について詳細に説明する。
図1の画像切替システムは、計算機1、複数台のカメラ11a〜11d、複数台のマイク14a〜14d、とを含んで構成される。計算機1は、対になったカメラ11Xとマイク14X(X=a、b、c、d)から出力される画像情報と音情報に対して次段落以降に述べる処理を行い、その画像情報と音情報から構成される映像を例えばモニターに出力する。カメラ11a〜11cはそれぞれ、複数の話者(本発明の実施形態では話者が3人の場合を想定している)を別々に撮像するように設置されており、シーンカメラ11dはその複数の話者全員を同時に撮像するシーンカメラとして使用される。マイク14a〜14cはそれぞれ、複数の話者毎の音声をそれぞれ別々に収音できるように設置されており、センターマイク14dはその複数の話者全員を同時に収音できる。以下、計算機1について詳細に説明する。
計算機1は、映像遅延部12、出力映像切替部13、音声遅延部15、話者特定部16、画像切替決定部17、ミキシング部18、とを含んで構成される。
映像遅延部12は、カメラ11a〜11dが撮像した画像情報を入力し、それぞれのカメラ11から入力する画像情報を、それぞれ別々に、所定の時間分(Δt秒間)、記憶する。図1では、映像遅延部12は、上記の画像情報をそれぞれ異なるメモリ12a〜12dに記憶するようにしている。メモリの記憶容量が少ない場合は、所定の時間分画像情報を記憶した後、既に記憶したその画像情報を次の所定の時間分の新しい画像情報により上書きして記憶するようにしても良い。
音声遅延部15は、マイク14dが収音した音情報を入力し、その音情報を所定の時間分(Δt秒間)記憶する。
話者特定部16は、複数の話者それぞれから個別のマイク14a〜14cで集音した各音声にもとづき、複数の話者のうちの誰が発話しているか、いつ発話を開始したか、どのくらいの期間発話を継続しているか、または、発話の無い状態がどのくらいの期間継続しているか、など、音声の有無から判定される話者の発話状況を特定するものである。複数の話者のうちの発話者を特定する方法としては、ある閾値を越える強度の音がマイクに入力されたときにそのマイクを割り当てられている話者を発話者とする方法が挙げられる。また、発話の開始時点、発話の継続期間、あるいは、無音状態の継続期間を算出する方法は、ある閾値を越えるまたは下回る強度の音がマイクに入力されたときを起点または終点とする方法などが挙げられる。なお、本発明の話者の発話状況を特定するための方法は、上記の例に限らない。話者特定部16は、話者の発話状況を画像切替決定部17に通知する。
画像切替決定部17は、話者特定部16により特定された話者の発話状況に基づいて、映像遅延部12のメモリ12a〜12dに記憶した画像情報のうちの、出力画像切替部13が読み出すすべき画像情報を決定する。例えば、話者特定部16がマイク14aによる音声入力を検知したことと、その検知した時刻とを、画像切替決定部17に通知すると、画像切替決定部17は、マイク14aに対応するカメラ11aが撮像した画像情報を、その検知した時刻を開始点として、映像遅延部12のメモリ12aから読み出すよう出力画像切替部13に指示する。画像切替決定部17が出力画像切替部13に指示する内容の詳細については、後述する。
出力画像切替部13は、映像遅延部12のメモリ12a〜12dに所定の時間分の画像情報を蓄積後、そのメモリ12a〜12dの少なくとも1つから画像情報を読み出して、ミキシング部18に出力する。このとき、出力画像切替部13は、画像切替決定部17から条件(少なくとも、どのメモリ12a〜12cから、どの区間の画像情報を読み出すかという条件を含む)を指示されている場合は、読み出しを指示された区間の画像情報を指示されたメモリから読み出し、指示された区間以外の画像情報をメモリ12dから読み出して、その画像情報をミキシング部18に出力する。
ミキシング手段18は、出力画像切替部13により読み出した画像情報と、音声遅延部15で所定の時間遅延した音情報との同期を取り、その画像情報と音情報とから構成される映像情報を出力する。
次に、本発明の実施形態の画像切替システムにおける処理動作について説明する。図2に、本発明の実施形態の画像切替システムにおける処理動作の概要を示す説明図を示す。
本発明の実施形態の画像切替システムを利用すると、各話者の発話は、所定の間隔Δt(順にΔt1、Δt2、Δt3・・・)で時間的に区切ることができる。本発明の実施形態の画像切替システムは、実際の各話者の発話からΔt後に映像(出力音声と出力画像から成る)を出力することになるが、このΔtの間に発話状況を把握することにより、次に出力すべき画像を予め特定することができ、従って、イベント型の環境での画像切替をスムーズに行うことができる。
図2を参照して説明すると、画像切替システムは、実際に話者により発話されているΔt1(図面上段、各話者の発話)において、カメラにより撮像した画像とマイクにより収音した音声とを記憶しつつ、発話状況を特定する。Δt1終了後、画像切替システムは、引き続き実際に話者により発話されているΔt2において、カメラにより撮像した画像とマイクにより収音した音声とを記憶しつつ発話状況を特定すると同時に、記憶しておいたΔt1の区間の出力を開始する。ここで、実際に話者により発話されている区間をΔt1、2、3・・・として、Δt後に画像切替システムが画像および音声を出力する区間をΔT1、2・・・として、区別する。ΔT1の区間の出力では、発話が無い区間(長方形で囲まれる区間が存在していない区間)は、例えば複数の話者全員を同時に撮像した画像と音声とを読み出して出力するようにし、発話がなされている区間(長方形で囲まれる区間)はその発話者(図2では話者a)を撮像した画像と音声とを読み出して出力する。ΔT2、ΔT3の区間の映像の出力も、帰納的に可能となる。画像切替システムは、ΔT1の映像を出力する前に、どの話者が、どの時点から、発話を開始したかを把握しているため、発話が開始される時点からの時間差無しで映像の出力を行うことが可能となる。このため、図2の中段の出力音声、下段の出力画像に示すように、音声と画像とを同時(t1、t2、t3の時点)に出力することができる。以下、本発明の実施形態の画像切替システムにおける各部の処理の流れを説明する。
まず、映像遅延部12は、カメラ11a〜11dで会議等の参加者である話者を、発話中、非発話中によらず撮影し、そのカメラ11a〜11d毎に撮影された複数の映像を入力し、メモリ12a〜12dにそれぞれΔt秒間蓄積する(図2のΔt1の区間に相当)。
一方、話者特定部16は、この映像蓄積開始時からΔt秒を経過するまでの間(Δt1の区間)にマイク14a〜14cにより収音した音声から、発話者の特定を行う。話者特定部16は、発話者がマイク14a〜14cに向って話した音声を、例えば0.5秒間で4000回のサンプリングを行い、ある閾値以上の音声の入力が連続していることを検出した区間で、そのマイクを割り当てられている話者が発話中であることを特定する。話者特定部16は、発話者が利用しているマイクと、発話中であることを特定した区間と、を画像切替決定部17に通知する。
画像切替決定部17は、話者特定部16からの通知を受け付けると、発話者が利用しているマイクに対応するカメラが撮像した画像情報のうち、発話中であることを特定した区間を、映像遅延部12のメモリ12aから読み出すよう出力画像切替部13に指示する。
また、音声遅延部15は、センターマイク14dにより収音した音声を入力し、メモリ15aにΔt秒間蓄積する。
Δt1終了後のΔt2の区間においても、映像遅延部12、話者特定部16、画像切替決定部17、音声遅延部15は、上述の処理を行う。一方、出力画像切替部13は、Δt2の区間になると、映像遅延部12に記憶したΔt1の区間の画像情報を読み出し、ミキシング部18に出力する。このとき、発話が無い区間は、メモリ12dに記憶した、複数の話者全員が含まれる画像を読み出して出力し、発話がなされている区間は、メモリ12aに記憶した、その発話者(図2では話者a)を撮像した画像を読み出して出力する。また、音声遅延部15も、Δt2の区間になると、音声遅延部12に記憶したΔt1の区間の音情報を読み出し、ミキシング部18に出力する。
ミキシング部18は、出力画像切替部13から入力する画像情報と、音声遅延部12から入力する音情報と、の同期を取り、映像出力する(ΔT1)。この後、ΔT2、ΔT3の区間を次々映像出力することにより、各カメラ11a〜11dで撮影した画像を、1本の映像ストリームとして出力されることになる。
本発明の実施形態の画像切替システムによれば、所定の時間分、カメラにより撮像した画像とマイクにより収音した音声とを記憶しつつ、発話状況を特定し、その所定の時間終了後、発話がなされている区間の画像と音声を読み出して出力することにより、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることなしに、映像を出力することができる。
なお、本発明の実施形態の画像切替システムでは、カメラ11Xとマイク14X(X=a、b、c、d)が対になっているものが複数の話者毎に割り当てられている場合について説明するが、必ずしも、対になっている必要は無い。その場合の実施形態について説明する。
カメラ11a〜cだけを複数の話者に割り当てておき(マイクを複数の話者に割り当てない)、さらに、複数の話者毎の音声の波形を予め話者特定部16に記憶しておく。話者特定部16は、マイクから音情報を入力すると、その音情報の波形から発話者を特定する。話者特定部16は、発話者に割り当てられたカメラと、発話中であることを特定した区間と、を画像切替決定部17に通知する。これ以外の各部の処理は、上述したものと共通である。
この構成によれば、話者の人数分だけマイクを用意する必要がなくなるため、本発明の画像切替システムを実現することが容易になる。
また、本発明の実施形態の画像切替システムでは、マイク14a〜14cにより収音した音声から、カメラ11の撮像対象である発話者の特定を行うように記載したが、マイクにより収音した音声に限るものではなく、発話が発生したことを検知できるあらゆる装置を適用することができる。例えば、マイクのスイッチのオン・オフにより発話者を特定したり、カメラ11が撮像する画像から発話者を特定したり、する方法が挙げられる。
また、本発明の実施形態の画像切替システムでは、カメラ11により複数の話者を撮像し、そのうちの発話者の映像を出力する例について説明したが、これに限るものではない。本発明の画像切替システムは、上述の項目「背景技術」で述べたイベント型の環境に適用することができる。例えば、スポーツであれば、画像認識技術、音声認識技術または各種認識技術を利用してイベント(得点場面、勝敗が決定した場面など)が発生したことを検知することにより、不測のイベントも撮像することができる。
以下、本発明の実施形態の画像切替システムを利用した、出力画像切替例を詳細に説明する。その際、上述した、複数の話者を撮像しそのうちの発話者の映像を出力する例を参照して、説明する
(第1実施形態)
「映像のずり上げ切替」
映像のずり上げ切替とは、図3の映像のずり上げ切替の説明図に示すように、ある話者が発話を開始する例えば数秒前(ずり上げ間隔と呼ぶ。図3では、t1a、t2a、t3aの時点。なお、t1、t2、t3の時点は、発話開始の時点。)からその話者の画像を出力するものである。これによれば、予め発話前の話者に画像を切り替えておくことにより、その話者に対する注意を視聴者に促すことができ、その結果、その話者の発話内容に視聴者を惹き付ける効果がある。
「映像のずり上げ切替」
映像のずり上げ切替とは、図3の映像のずり上げ切替の説明図に示すように、ある話者が発話を開始する例えば数秒前(ずり上げ間隔と呼ぶ。図3では、t1a、t2a、t3aの時点。なお、t1、t2、t3の時点は、発話開始の時点。)からその話者の画像を出力するものである。これによれば、予め発話前の話者に画像を切り替えておくことにより、その話者に対する注意を視聴者に促すことができ、その結果、その話者の発話内容に視聴者を惹き付ける効果がある。
この映像のずり上げ切替を実施する、本発明の第1実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
画像切替決定部17は、映像遅延部12のメモリ12a〜12dに記憶したΔt1の区間の画像情報を以下に述べる条件により読み出し、ミキシング部18に出力するよう出力画像切替部13に指示する。このとき、出力画像切替部13は、読み出しを指示された区間(図3の長方形のうちの塗りつぶしされた区間)と、その区間の先頭t1からずり上げ間隔分の前の時点t1aまでの区間(図3の長方形のうちの塗りつぶしされていない区間)と、の画像情報を、指定されたメモリから読み出し、ミキシング部18に出力する。それ以外の区間は、メモリ12dに記憶した、複数の話者全員が含まれる画像を読み出して出力する。
その後、ミキシング部18は、出力画像切替部13から入力する画像情報と、音声遅延部12から入力する音情報と、の同期を取り、映像出力する(ΔT1)。この後、ΔT2、ΔT3の区間を次々映像出力することにより、各カメラ11a〜11dで撮影した画像を、1本の映像ストリームとして出力されることになる。
(第2実施形態)
「シーンカメラへの切替」
上述の画像切替システムでは、発話の無い区間(沈黙時)では、シーンカメラ11dにより撮像した画像を、映像として出力するように説明した。話者全員が同時に発話する区間においても、このシーンカメラ11dにより撮像した画像を、映像として出力するようにしても良い。しかしながら、この方法では、沈黙時間(あるいは、同時発話時間)が短い場合にもシーンカメラの映像に切り替えることがあり、短時間に頻繁に切替が発生することにより、視聴者に不快感を感じさせることがある。このような不快感を感じさせないようにするシーンカメラへの切替方法について、図4のシーンカメラへの切替方法の説明図を参照して説明する。なお、本発明の第2実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
「シーンカメラへの切替」
上述の画像切替システムでは、発話の無い区間(沈黙時)では、シーンカメラ11dにより撮像した画像を、映像として出力するように説明した。話者全員が同時に発話する区間においても、このシーンカメラ11dにより撮像した画像を、映像として出力するようにしても良い。しかしながら、この方法では、沈黙時間(あるいは、同時発話時間)が短い場合にもシーンカメラの映像に切り替えることがあり、短時間に頻繁に切替が発生することにより、視聴者に不快感を感じさせることがある。このような不快感を感じさせないようにするシーンカメラへの切替方法について、図4のシーンカメラへの切替方法の説明図を参照して説明する。なお、本発明の第2実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
図4の上段では、各話者(a、b、c)が発話している区間を長方形で示し、発話の無い区間を沈黙区間1、2、3として矢印により示している。画像切替決定部17は、映像遅延部12に記憶したΔt1の区間の画像情報を以下に述べる条件により読み出し、ミキシング部18に出力するよう出力画像切替部13に指示する。このとき、出力画像切替部13は、発話が無い区間(沈黙区間)が所定の時間よりも長い場合(図4では沈黙区間1に該当)は、メモリ12dに記憶した、複数の話者全員が含まれる画像を読み出して出力する。さらに、発話がなされている区間は、メモリ12aに記憶した、その発話者(図4では話者a)を撮像した画像を読み出して出力する。
また、出力画像切替部13は、Δt3の区間になると、映像遅延部12のメモリ12a〜12dに記憶したΔt2の区間の画像情報を読み出し、ミキシング部18に出力する。このとき、発話が無い区間(沈黙区間)が所定の時間よりも短い場合(図4では沈黙区間2に該当)は、その沈黙区間後に発話する予定の話者の画像を読み出して出力する(図4の長方形のうちの塗りつぶしされていない区間における、話者bの画像を読み出す)。なお、沈黙区間2前に発話していた話者の画像を引き続き読み出して出力するようにしても良い。さらに、発話がなされている区間は、メモリ12bに記憶した、その発話者(図4では話者b)を撮像した画像を読み出して出力する。
その後、ミキシング部18は、出力画像切替部13から入力する画像情報と、音声遅延部12から入力する音情報と、の同期を取り、映像出力する(ΔT1)。この後、ΔT2、ΔT3の区間を次々映像出力することにより、各カメラ11a〜11dで撮影した画像を、1本の映像ストリームとして出力されることになる。
なお、第2実施形態では、沈黙区間におけるシーンカメラの切替方法について説明したが、話者全員が同時に発話する区間においても同様に切り替えることができる。
(第3実施形態)
「オーバラップ時の切替」
会議などでは、複数の話者が同時に発話する場合も考えられる。この場合を、オーバラップと呼ぶ。オーバラップ時の画像切替について、図5のオーバラップ時の切替方法の説明図を参照して説明する。なお、本発明の第3実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
「オーバラップ時の切替」
会議などでは、複数の話者が同時に発話する場合も考えられる。この場合を、オーバラップと呼ぶ。オーバラップ時の画像切替について、図5のオーバラップ時の切替方法の説明図を参照して説明する。なお、本発明の第3実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
画像切替決定部17は、映像遅延部12のメモリ12a〜12dに記憶したΔt2の区間の画像情報を以下に述べる条件により読み出し、ミキシング部18に出力するよう出力画像切替部13に指示する。このとき、出力画像切替部13は、発話がなされている区間のうち、話者b、cの発話がオーバラップしている区間(時点t4〜t5の区間)は、メモリ12cに記憶した、その発話者(図5では話者c)を撮像した画像を読み出して出力する。オーバラップしている区間前後(時点t4以前、時点t5以後)は、メモリ12bに記憶した、その発話者(図5では話者b)を撮像した画像を読み出して出力する。出力画像切替部13は、画像切替決定部17から通知される、発話中であることを特定した区間の始点・終点毎に、画像情報を読み出すメモリ12a〜12dを切り替えることになる。
このように処理することにより、オーバラップする場合でも、画像切替を行うことができる。
また、本発明の第3実施形態の画像切替システムでは、話者b、cの発話がオーバラップしている区間(時点t4〜t5の区間)は、話者cを撮像した画像を優先して読み出し出力するようにしたが、各話者a、b、cに優先順位を設定しておき、話者a、b、cの少なくとも2者からの発話がオーバラップしている区間は、その優先順位が最も高い話者を撮像した画像を優先して読み出し出力するようにしても良い。この場合、図5に示す切替方法は、話者cの優先順位が話者bの優先順位よりも高かった場合の切替方法に相当することになる。
図10に、本発明の実施形態における、各話者に優先順位を設定する画像切替システムの構成を示す。話者重み情報保持部19には、マイク14X(X=a、b、c)毎に設定された優先順位がメモリ等に記憶されている。話者特定部16は、マイク14への音情報の入力から複数の発話者を特定した場合、そのマイク14に割り当てられたカメラ11と、発話中であることを特定した各発話者毎の区間と、を画像切替決定部17に通知する。画像切替決定部17は、複数の発話者によって発話がなされている区間のうち、マイク14b、cからの発話がオーバラップしている区間(時点t4〜t5の区間)は、優先順位の高いマイク14cを利用している発話者を撮像した画像(図5ではマイク14cと対になっているカメラ11cによって撮像した画像)を読み出してミキシング部18に出力するよう、出力画像切替部13に指示する。このとき、出力画像切替部13は、発話がなされている区間のうち、話者b、cの発話がオーバラップしている区間(時点t4〜t5の区間)は、メモリ12cに記憶した、話者cを撮像した画像を読み出して出力する。
あるいは、各話者に優先順位を設定する本発明の実施形態の画像切替システムの構成としては、カメラ11a〜cだけを複数の話者に割り当てておき(マイクを複数の話者に割り当てない)、複数の話者毎の音声の波形を予め話者特定部16に記憶しておき、さらに、その複数の話者毎に設定された優先順位を予め話者重み情報保持部19に記憶しておく。話者特定部16は、マイクから音情報を入力すると、その音情報の波形から発話者を特定する。話者特定部16は、その音情報の波形から複数の発話者を特定した場合、その複数の発話者に割り当てられたカメラと、発話中であることを特定した各発話者毎の区間と、を画像切替決定部17に通知する。画像切替決定部17は、複数の発話者によって発話がなされている区間のうち、話者b、cの発話がオーバラップしている区間(時点t4〜t5の区間)は、優先順位の高い発話者を撮像した画像(図5では話者cに割り当てられたカメラ11cによって撮像した画像)を読み出し、ミキシング部18に出力するよう、出力画像切替部13に指示する。このとき、出力画像切替部13は、発話がなされている区間のうち、話者b、cの発話がオーバラップしている区間(時点t4〜t5の区間)は、メモリ12cに記憶した、話者cを撮像した画像を読み出して出力する。
このように、複数の発話者による発話がオーバラップする場合でも、予め設定した優先順位に応じて、優先順位の高い話者を撮像した画像に適宜切り替えることができるため、本発明の実施形態の画像切替システムを利用する際の利便性が向上する。
(第4実施形態)
「短時間の発話時の切替」
会話の中には、発話の伴う相槌を打つことが頻繁にある。上述の画像切替では、ある話者が上記の相槌を打つと、その話者に画像が瞬間的に切り替えられることになる。このような画像切替は、視聴者に不快感を与えてしまう。第4実施形態の画像切替システムは、短時間の発話により画像切替が発生してしまうことにより、視聴者に不快感を与えることを防止するものである。この短時間の発話時の画像切替について、図6の短時間の発話時切替方法の説明図を参照して説明する。図6では、話者bの発話と、話者cの相槌がオーバラップする場合である。なお、本発明の第4実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
「短時間の発話時の切替」
会話の中には、発話の伴う相槌を打つことが頻繁にある。上述の画像切替では、ある話者が上記の相槌を打つと、その話者に画像が瞬間的に切り替えられることになる。このような画像切替は、視聴者に不快感を与えてしまう。第4実施形態の画像切替システムは、短時間の発話により画像切替が発生してしまうことにより、視聴者に不快感を与えることを防止するものである。この短時間の発話時の画像切替について、図6の短時間の発話時切替方法の説明図を参照して説明する。図6では、話者bの発話と、話者cの相槌がオーバラップする場合である。なお、本発明の第4実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
画像切替決定部17は、映像遅延部12のメモリ12a〜12dに記憶したΔt2の区間の画像情報を以下に述べる条件により読み出し、ミキシング部18に出力するよう指示する。このとき、出力画像切替部13は、各話者の発話がなされている区間のうち、所定の時間(オーバラップ間隔)よりも短いものがあれば(話者cの時点t4〜t5の区間に該当)、その話者の画像を読み出さず、オーバラップ間隔よりも長いもの(話者a、cの発話区間に該当)があれば、その話者に対応するメモリから画像を読み出して出力する。
その後、ミキシング部18は、出力画像切替部13から入力する画像情報と、音声遅延部12から入力する音情報と、の同期を取り、映像出力する(ΔT1)。この後、ΔT2、ΔT3の区間を次々映像出力することにより、各カメラ11a〜11dで撮影した画像を、1本の映像ストリームとして出力する。ミキシング部18は、話者cの相槌を省いた画像を出力することになる。
第4実施形態の画像切替システムによれば、短時間の発話により画像切替が発生してしまうことにより、視聴者に不快感を与えることを防止することができる。
なお、本発明の第3実施形態の画像切替システムは、時間間隔Δtのうちの複数の発話者による発話がオーバラップしている区間では、所定の時間よりも長い時間発話を行った話者の画像を読み出し、所定の時間よりも短い時間発話を行った話者の画像を読み出さないように説明したが、時間間隔Δtのうちの発話がなされている各発話者毎の時間を比較し、最も長い期間発話している話者の画像を読み出し、それ以外の話者の画像を読み出さないように画像切替決定部17が処理するようにしてもよい。この処理により、複数の発話者による発話がオーバラップする場合でも、より長い時間発話を行った話者を撮像した画像に適宜切り替えることができるため、本発明の実施形態の画像切替システムを利用する際の利便性が向上する。
(第5実施形態)
「映像の持続時間切替」
視聴者は同一カメラにより撮像した画像を一定時間見続けると、その画像に飽きてしまう傾向にある。この映像の持続時間切替は、同一のカメラにより撮像した画像を出力して一定時間が経過する前に、別のカメラにより撮像した画像を出力するものである。
「映像の持続時間切替」
視聴者は同一カメラにより撮像した画像を一定時間見続けると、その画像に飽きてしまう傾向にある。この映像の持続時間切替は、同一のカメラにより撮像した画像を出力して一定時間が経過する前に、別のカメラにより撮像した画像を出力するものである。
第5実施形態の画像切替システムでは、同一のカメラにより撮像した発話者の画像を一定時間出力すると、別のカメラにより撮像した、その発話を聞いている話者(聞き手)の画像を出力する。ここでは、その聞き手を特定する方法の1例を説明する。この映像の持続時間切替について、図7の映像の持続時間切替方法の説明図を参照して説明する。図7では、発話者aの画像を一定時間出力したため、その一定時間終了後次の発話者である話者bの画像に切り替える場合である。なお、本発明の第5実施形態の画像切替システムの構成は、図1と同じ構成である。出力画像切替部13、画像切替決定部17の機能が一部異なるが、それ以外の各部の機能は同じであるため、出力画像切替部13、画像切替決定部17以外の機能についての説明を省略する。
図7の上段では、各話者(a、b、c)が発話している区間を長方形で示し、上記の一定時間を矢印により示している。画像切替決定部17は、映像遅延部12に記憶したΔt2の区間の画像情報を読み出し、ミキシング部18に出力するよう指示する。このとき、出力画像切替部13は、発話がなされている区間(図7では話者aの発話区間)が所定の時間よりも長い場合は、メモリ12aに記憶した話者aの画像を発話開始から一定時間分読み出して出力し、さらに、メモリ12bに記憶した話者bの画像をその一定時間の終点から読み出して出力する。
第5実施形態の画像切替システムによれば、視聴者が同一画像に飽きてしまうことを防ぐことができる。
(第6実施形態)
次に、本発明の第1〜第6実施形態の画像切替システムによる画像切替処理を、組み合わせた処理の流れを、図8に示すフローチャートに従って説明する。この処理においては、話者(参加者)を3人、所定の時間Δtを8(秒)、ずり上げ間隔を1(秒)、沈黙時間を5(秒)、オーバラップ間隔を2(秒)、とする。
次に、本発明の第1〜第6実施形態の画像切替システムによる画像切替処理を、組み合わせた処理の流れを、図8に示すフローチャートに従って説明する。この処理においては、話者(参加者)を3人、所定の時間Δtを8(秒)、ずり上げ間隔を1(秒)、沈黙時間を5(秒)、オーバラップ間隔を2(秒)、とする。
話者特定部16は、マイク14a〜14cから入力される音情報にもとづき、話者毎の音声が連続した発話時間と、3人の発話区間が全くない無音時間と、に分解する(ステップS1)。話者特定部16からこの分解結果を受け付けた画像切替決定部17は、3人の沈黙時間が5秒以上か否かを調べ(ステップS2)、5秒以上である場合には、無音時間の開始時にシーンカメラ11dへ切替えるよう出力画像切替部13に指示する(ステップS3)。ステップS3の処理後、話者特定部16は、ステップS1の処理を繰り返す。
画像切替決定部17は、ステップS2の処理で5秒以上で無い場合には、発話箇所の前に1秒以上の無音時間が3人にあるのか否かを調べる(ステップS4)。ある場合には、画像切替決定部17は、発話の1秒前にずり上げ切替を行うよう出力画像切替部13に指示し(ステップS5)、一方、ない場合には、その発話時の発話切替を出力画像切替部13に指示する(ステップS6)。
また、画像切替決定部17は、ステップS5、6の処理後に、その発話箇所内の発話が、1人か否かを調べる(ステップS7)。1人である場合にはステップS10へ進み、1人でない場合には、さらにその発話箇所内の発話が2人か否かを調べる(ステップS8)。2人である場合には、その発話箇所内で2人の発話が2秒以上重なるか否かを調べ(ステップS9)、重ならない場合には、ステップS10へ移行する。
一方、画像切替決定部17は、ステップS8で、発話箇所の発話が2人でないとした場合には、さらにその発話箇所内で2秒以上、3人の発話が重なるか否かを調べる(ステップS11)。
画像切替決定部17は、3人の発話が重なるとされた場合には、その3人の発話の重なり時にシーンカメラの映像に切り替えるよう出力画像切替部13に指示した後(ステップS12)、ステップS4以下の処理を繰り返し実行する。
一方、画像切替決定部17は、ステップS9で、2人の発話が重なると判定した場合には、2人目の発話時にオーバラップ切替をセットし、2人目の発話終了時にオーバラップ戻し切替を出力画像切替部13に指示し(ステップS13)、再びステップS4以下の処理を実行する。
画像切替決定部17は、ステップS10では、1人の発話または2人の重なった発話が、退屈しない一定の持続時間を経過したか否かを調べ、一定の持続時間を経過した場合には、その持続時間後に適切な切替対象へ切り替えるよう出力画像切替部13に指示し(ステップS14)、ステップS4以下の処理を再実行する。
このような実施形態の画像切替システムによれば、発話状況および会話空間のレイアウトにもとづいて、画像切替決定部17が画像切替のためのスイッチングアルゴリズムを決定し、映像遅延部12に蓄積された複数の映像の中から、出力画像切替部13が前記スイッチングアルゴリズムに従って少なくとも1つの画像を選択し、ミキシング部18によって前記出力画像切替部13で選択した映像を、音声遅延手段15で遅延された音声とミキシングするように構成したことにより、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることが無いため、視聴者にとって快適な視聴環境を提供することができる。
また、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継する場合で利用でき、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、飽きることがない映像を作り出すことができる。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2005年5月12日出願の日本特許出願(特願2005−139985)に基づくものであり、その内容はここに参照として取り込まれる。
以上のように、本発明の画像切替システムによれば、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることが無いため、視聴者にとって快適な視聴環境を提供することができるという効果を奏し、収録後の番組編集で用いられる場合と同様の質の高い自動的なカメラワークを、リアルタイムに中継する場合やシナリオのない番組にも利用する技術分野において有用である。
【0003】
[0011]
また、現在のイベント型の環境での撮像対象切り替えは、専門の人間(イベントが発生することを経験上予測することができる人)が機器を操作して、その切り替えを行うことが多い。しかし、経験を積んた専門の人間による切替操作であっても、特許文献1の撮像対象切替システムと同様、時間差が発生する可能性は以前残ったままである。
[0012]
本発明は、上記事情に鑑みてなされたものであって、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。
課題を解決するための手段
[0013]
本発明の画像切替システムは、複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、前記複数のカメラのうちの少なくとも1つにより撮像している第1の撮像対象に、ある事象が発生したことを検出する検出部と、前記記憶部により所定の時間分画像を記憶した後、前記第1の撮像対象を撮像した画像のうちの、前記検出部により前記第1の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して一定期間出力した場合、別のカメラにより撮像した画像を前記記憶部から読み出して出力する出力部と、を備える、ものである。
[0014]
この構成により、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継することができ、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、視聴者が飽きることがない映像を作り出すことができる。
[0015]
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第1の撮像対象を撮像した画像を、前記検出部により前記第1の撮像対象に発生した前記事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、ものを含む。
[0016]
この構成により、予め事象が起きる前の第1の撮像対象に画像を切り替えておくことにより、その第1の撮像対象に対する注意を視聴者に促すことができ、その結果、その事象に視聴者を惹き付ける効果がある。
[0017]
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記検出部
[0011]
また、現在のイベント型の環境での撮像対象切り替えは、専門の人間(イベントが発生することを経験上予測することができる人)が機器を操作して、その切り替えを行うことが多い。しかし、経験を積んた専門の人間による切替操作であっても、特許文献1の撮像対象切替システムと同様、時間差が発生する可能性は以前残ったままである。
[0012]
本発明は、上記事情に鑑みてなされたものであって、なんらかのイベントが発生したことを検知してそのイベント場面にカメラを切り替える場合であっても、イベントが発生したことを検知してからそのイベント場面の撮像を開始するまでの時間差を視聴者に感じさせることのない画像切替システムを提供することを目的とする。
課題を解決するための手段
[0013]
本発明の画像切替システムは、複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、前記複数のカメラのうちの少なくとも1つにより撮像している第1の撮像対象に、ある事象が発生したことを検出する検出部と、前記記憶部により所定の時間分画像を記憶した後、前記第1の撮像対象を撮像した画像のうちの、前記検出部により前記第1の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して一定期間出力した場合、別のカメラにより撮像した画像を前記記憶部から読み出して出力する出力部と、を備える、ものである。
[0014]
この構成により、カメラマンやディレクタといったカメラを制御する人材が不要で、映像提供のためのコストを抑えることができ、質の高いカメラワークをリアルタイムで会議等を中継することができ、これによってリアルタイムの討論番組やパネルディスカッションの視聴で、視聴者が飽きることがない映像を作り出すことができる。
[0015]
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記第1の撮像対象を撮像した画像を、前記検出部により前記第1の撮像対象に発生した前記事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、ものを含む。
[0016]
この構成により、予め事象が起きる前の第1の撮像対象に画像を切り替えておくことにより、その第1の撮像対象に対する注意を視聴者に促すことができ、その結果、その事象に視聴者を惹き付ける効果がある。
[0017]
また、本発明の画像切替システムは、前記画像切替装置の出力部が、前記検出部
【0004】
が前記第1の撮像対象に発生した前記事象を一定期間継続して検出している場合、前記第1の撮像対象を撮像した画像のうちの、前記検出部により前記第1の撮像対象に発生した前記事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、ものである。
[0018]
この構成によれば、事象が短期間のものである場合には第1の撮像対象を撮像した画像を出力しないため、短時間の画像切替が発生してしまうことにより視聴者に不快感を与えることを未然に防止することができる。
[0019]
[0020]
[0021]
また、本発明の画像切替システムは、前記画像切替システムの検出部が、前記第1の撮像対象に前記事象が発生していることを検出中に、別のカメラにより撮像している第2の撮像対象に前記事象が発生したことを検出し、前記画像切替システムの出力部が、前記第1の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第2の撮像対象を撮像した画像のうちの、前記検出部により前記第2の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、ものを含む。
[0022]
この構成により、複数の事象が複数の撮像対象で起こる場合でも、効果的に画像切替を行うことができる。
[0023]
また、本発明の画像切替システムは、前記複数のカメラのうちの1つが、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像し、前記画像切替え装置の出力部が、前記検出部により前記第1の撮像対象に発生した前記事象を検出した後に一定期間経過した場合、前記複数の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、ものを含む。
[0024]
この構成により、事象が発生してからの経過間が短い場面では、全体を捉えた画像を出力しないことにより、視聴者が画像切替により不快感を覚えるのを防止することができる。
が前記第1の撮像対象に発生した前記事象を一定期間継続して検出している場合、前記第1の撮像対象を撮像した画像のうちの、前記検出部により前記第1の撮像対象に発生した前記事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、ものである。
[0018]
この構成によれば、事象が短期間のものである場合には第1の撮像対象を撮像した画像を出力しないため、短時間の画像切替が発生してしまうことにより視聴者に不快感を与えることを未然に防止することができる。
[0019]
[0020]
[0021]
また、本発明の画像切替システムは、前記画像切替システムの検出部が、前記第1の撮像対象に前記事象が発生していることを検出中に、別のカメラにより撮像している第2の撮像対象に前記事象が発生したことを検出し、前記画像切替システムの出力部が、前記第1の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第2の撮像対象を撮像した画像のうちの、前記検出部により前記第2の撮像対象に発生した前記事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、ものを含む。
[0022]
この構成により、複数の事象が複数の撮像対象で起こる場合でも、効果的に画像切替を行うことができる。
[0023]
また、本発明の画像切替システムは、前記複数のカメラのうちの1つが、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像し、前記画像切替え装置の出力部が、前記検出部により前記第1の撮像対象に発生した前記事象を検出した後に一定期間経過した場合、前記複数の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、ものを含む。
[0024]
この構成により、事象が発生してからの経過間が短い場面では、全体を捉えた画像を出力しないことにより、視聴者が画像切替により不快感を覚えるのを防止することができる。
Claims (12)
- 複数のカメラと、前記複数のカメラにより撮像した画像を切り替えて出力する画像切替装置と、を含んで構成される画像切替システムであって、前記画像切替装置は、
前記複数のカメラにより撮像した画像をそれぞれ、所定の時間分、記憶する記憶部と、
前記複数のカメラのうちの少なくとも1つにより撮像している第1の撮像対象に、第1の事象が発生したことを検出する検出部と、
前記記憶部により所定の時間分画像を記憶した後、前記第1の撮像対象を撮像した画像のうち、前記検出部により前記第1の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する出力部と、を備える、
画像切替システム。 - 請求項1記載の画像切替システムであって、
前記画像切替装置の出力部は、前記第1の撮像対象を撮像した画像を、前記検出部により前記第1の事象を検出した時点よりも一定時間前の時点から、前記記憶部から読み出して出力する、
画像切替システム。 - 請求項1または2記載の画像切替システムであって、
前記画像切替装置の出力部は、前記検出部が前記第1の事象を一定期間継続して検出している場合、前記第1の撮像対象を撮像した画像のうち、前記検出部により前記第1の事象を検出した一定期間を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。 - 請求項1から3のいずれか1項に記載の画像切替システムであって、
前記画像切替装置の出力部は、前記第1の撮像対象を撮像した画像を一定期間出力した場合、別のカメラにより撮像した第2の撮像対象の画像を、前記記憶部から読み出して出力する、
画像切替システム。 - 請求項1から4のいずれか1項に記載の画像切替システムであって、
前記画像切替システムの検出部は、前記第1の事象が発生していることを検出中に、別のカメラにより撮像している第2の撮像対象に第2の事象が発生したことを検出し、
前記画像切替システムの出力部は、前記第1の撮像対象を撮像した画像の一部を前記記憶部から読み出して出力する代わりに、前記第2の撮像対象を撮像した画像のうち、前記検出部により前記第2の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。 - 請求項1から5のいずれか1項に記載の画像切替システムであって、
前記複数のカメラのうちの1つは、その他のカメラがそれぞれ撮像する複数の撮像対象を撮像範囲に捉えた、第3の撮像対象を撮像し、
前記画像切替え装置の出力部は、前記検出部により前記第1の事象を検出した後に一定期間経過した場合、前記第3の撮像対象を撮像した画像を、前記記憶部から読み出して出力する、
画像切替システム。 - 請求項1記載の画像切替システムであって、前記画像切替装置は、
前記検出部により第1の事象が発生したことを検出した第1の撮像対象についての画像を読み出して出力するか否かを判定する判定部を備え、
前記画像切替装置の出力部は、前記記憶部により所定の時間分画像を記憶した後、前記第1の撮像対象を撮像した画像のうち、前記判定部により出力可と判定され、かつ、前記検出部により前記第1の事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像切替システム。 - 請求項7記載の画像切替システムであって、
前記画像切替システムの検出部は、前記第1の事象が発生していることを検出中に、別のカメラにより撮像している第2の撮像対象に第2の事象が発生したことを検出し、
前記画像切替装置の判定部は、前記第1の撮像対象についての画像または前記第2の撮像対象についての画像のいずれを読み出して出力するかを判定し、
前記画像切替装置の出力部は、前記記憶部により所定の時間分画像を記憶した後、前記判定部により出力すると判定された撮像対象を撮像した画像のうちの、前記検出部により当該撮像対象に発生した事象を検出した時点を少なくとも含む画像を、前記記憶部から読み出して出力する、
画像システム。 - 請求項8記載の画像切替システムであって、
前記画像切替装置の判定部は、前記第1の撮像対象および前記第2の撮像対象に設定された優先順位に基づいて、前記第1の撮像対象についての画像または前記第2の撮像対象についての画像のいずれを読み出して出力するかを判定する、
画像システム。 - 請求項8記載の画像切替システムであって、
前記画像切替装置の判定部は、前記検出部が前記第1の事象が発生していることを検出している期間および前記第2の事象が発生していることを検出している期間に基づいて、前記第1の撮像対象についての画像または前記第2の撮像対象についての画像のいずれを読み出して出力するかを判定する、
画像システム。 - 請求項1から10のいずれか1項に記載の画像切替システムは、さらに、マイクを含んで構成されるものであって、
前記画像切替装置の検出部は、前記マイクにより収音した音により、前記第1の撮像対象に第1の事象が発生したことを検出する、
画像切替システム。 - 請求項11記載の画像切替システムであって、
前記複数のカメラはそれぞれ、異なる人を撮像し、
前記画像切替え装置の検出部は、前記マイクにより収音した音声により、前記複数のカメラにより撮像する異なる人のうちの、少なくとも1人が発話していることを検出する、
画像切替システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005139985 | 2005-05-12 | ||
JP2005139985 | 2005-05-12 | ||
PCT/JP2006/309500 WO2006121123A1 (ja) | 2005-05-12 | 2006-05-11 | 画像切替システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2006121123A1 true JPWO2006121123A1 (ja) | 2008-12-18 |
Family
ID=37396631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007528319A Pending JPWO2006121123A1 (ja) | 2005-05-12 | 2006-05-11 | 画像切替システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2006121123A1 (ja) |
WO (1) | WO2006121123A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5152045B2 (ja) | 2009-03-09 | 2013-02-27 | ブラザー工業株式会社 | 電話装置、画像表示方法及び画像表示処理プログラム |
JP6953221B2 (ja) * | 2017-07-31 | 2021-10-27 | グリー株式会社 | 画像表示システム、画像表示プログラム、画像表示方法及びサーバ |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3785078B2 (ja) * | 2001-10-17 | 2006-06-14 | 日本電信電話株式会社 | 画面切替出力制御装置及びその方法と、画面切替出力制御プログラム及びそのプログラムの記録媒体 |
JP2005020520A (ja) * | 2003-06-27 | 2005-01-20 | Brother Ind Ltd | テレビ会議システム |
-
2006
- 2006-05-11 WO PCT/JP2006/309500 patent/WO2006121123A1/ja active Application Filing
- 2006-05-11 JP JP2007528319A patent/JPWO2006121123A1/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2006121123A1 (ja) | 2006-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733574B2 (en) | Systems and methods for logging and reviewing a meeting | |
US10848889B2 (en) | Intelligent audio rendering for video recording | |
US20180232129A1 (en) | Accelerated instant replay for co-present and distributed meetings | |
US6611281B2 (en) | System and method for providing an awareness of remote people in the room during a videoconference | |
JP4380524B2 (ja) | 情報処理装置及び情報処理方法 | |
US9148625B2 (en) | Transition control in a videoconference | |
US8082571B2 (en) | Methods, apparatus, and program products to close interaction loops for social tv | |
JP2005124143A (ja) | 複数のカメラ出力の編集装置及びその編集方法 | |
CN113676693B (zh) | 画面呈现方法、视频会议系统及可读存储介质 | |
US7984010B2 (en) | Action agenda determining apparatus | |
JP5727777B2 (ja) | 会議支援装置および会議支援方法 | |
US20240119731A1 (en) | Video framing based on tracked characteristics of meeting participants | |
CN111355973B (zh) | 数据播放方法、装置、电子设备及存储介质 | |
JPWO2006121123A1 (ja) | 画像切替システム | |
JP2013183280A (ja) | 情報処理装置、撮像装置、及びプログラム | |
JP2007251355A (ja) | 対話システム用中継装置、対話システム、対話方法 | |
WO2011158399A1 (ja) | コンテンツ再生装置、コンテンツ再生方法、およびコンテンツ再生プログラム | |
JP5213630B2 (ja) | 映像信号再生装置 | |
JP4288108B2 (ja) | 議事状況出力システム | |
JP2022016997A (ja) | 情報処理方法、情報処理装置及び情報処理プログラム | |
JP2011087074A (ja) | 遠隔会話システムの出力制御装置、その方法、およびコンピュータが実行可能なプログラム | |
JP2000333150A (ja) | テレビ会議システム | |
JP5391175B2 (ja) | 遠隔会議方法、遠隔会議システム及び遠隔会議プログラム | |
JPH05260463A (ja) | 会議相手映像切替方式 | |
KR20100010151A (ko) | 음원 재생 기능을 갖는 휴대용 촬영 장치 및 그 제어 방법 |