JP4631126B2

JP4631126B2 - Video / audio data transmission system

Info

Publication number: JP4631126B2
Application number: JP2000114873A
Authority: JP
Inventors: 新生野岸; 有希村上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-04-17
Filing date: 2000-04-17
Publication date: 2011-02-16
Anticipated expiration: 2020-04-17
Also published as: JP2001298695A

Description

【０００１】
【発明の属する技術分野】
本発明は映像音声データ伝送システムに関するものである。
【０００２】
【従来の技術】
一般に、映像音声信号を伝送する（例えば放送など）場合、送信側と受信側で時間軸が同期していることが通常である。すなわち、送信側で発信した映像が、受信側でそのまま再生される。この結果、一般放送においては、しばしば予め編集されて、映像記録時の時間進行とは異なった映像が発信されることがある。
ところが、放送内容によっては、記録された時間で放送した方が、視聴者にとって有益であるにもかかわらず、やむを得ず編集された映像を発信する場合がある。
【０００３】
例えば、料理番組においては、しばしば料理の過程を編集で割愛することがある（30分煮込む、など）が、視聴者がこの番組を録画しておき、この再生映像を見ながら料理を作る場合、再生される映像の時間経過は、実際に料理が作られていく時間経過と一致することが望ましい。即ち、途中映像が割愛されたとしても、再生はあくまで記録された時の時間進行に従う方式が望まれる。
【０００４】
これに対する既存の手法を用いた解として、記録された全映像をデジタルデータに変換し、その後データ圧縮手段（例えばMPEG圧縮など）を用いて圧縮し、データ放送等の仕組みを利用して放送するという方法が考えられる。
【０００５】
以下、従来例について、その動作を図を用いて説明する。
【０００６】
図7は従来の映像放送送受信システムの動作を示すブロック図である。図７(a)において、701はシステムの送信側全体、702はカメラ・マイクを含む、送信すべき映像・音声を記録するための映像音声撮影手段、703はカメラ・マイク702で撮影した映像・音声を記録する映像・音声信号記録手段、704は映像・音声信号記録手段703で記録された映像・音声データのうち、不要部分等を割愛するデータ編集手段、705はデータ編集手段704の出力をデータ放送として送出するデータ送信手段を表す。
【０００７】
また、図７(b)において、711はシステムの受信側全体、712はデータ受信手段、713は受信したデータを蓄積しておく蓄積手段、714はデータ付帯情報抽出手段から出力された付帯情報がない映像・音声を再生する映像・音声信号再生手段、715はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。従来システムにおいて、上記課題を解決するためには、データ編集手段704において、再生時に必要な映像を作成しておく必要があった。即ち、料理番組を実時間経過で再生するためには、調理途中の全映像を、割愛することなく送信しなければならない。
【０００８】
【発明が解決しようとする課題】
しかしながら、これらの方法では、本来割愛し得る部分の映像も伝送データに含まれることとなり、データが圧縮されているとはいえ、そこには冗長性が含まれる。また、この映像をテレビジョンなどの一般放送で放送する場合には、改めて編集作業を行い、冗長箇所を割愛する手間が発生する。
【０００９】
本発明は、かかる実情に鑑み、送信側では冗長箇所を割愛したデータを放送し、なおかつ受信側では、記録時の付帯情報に同期した再生を実現する映像音声データ伝送システムを提供しようとするものである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明の映像音声データ伝送システムは、映像と音声信号を記録する映像音声信号記録手段と、記録された映像音声データに対する付帯情報記録手段と、記録された映像音声信号と付帯情報を合成するデータ合成手段と、複合したデータの、必要部分のみを断片的に連結するデータ編集手段と、編集後データ送信するデータ送信手段とを備える送信側と、データ受信手段と、
受信したデータを蓄積しておくデータ蓄積手段と、そこから付帯情報を抜き出すデータ付帯情報抽出手段と、外部から入力される受信側の環境情報を計測する付帯情報計測手段、受信データから抽出した付帯情報および受信側の付帯情報から映像音声の再生制御を行う映像・音声信号制御手段と、前記制御手段の制御を受け、前記付帯情報と同期して映像音声データを再生する映像・音声信号再生手段とを備える受信側を有することを特徴とするものである。
【００１１】
また、前記付帯情報が、映像音声データ記録時の経過時間を表す連続した刻印であり、これによりデータ付帯情報抽出部で記録時の経過時間を得、この時間に同期して映像音声信号を再生する映像・音声信号制御手段を持つことで、記録時の時間経過に同期した再生を実表する映像音声データ伝送システムを提供する。
【００１２】
また、前記付帯情報が、映像音声データ中の任意の2点と、繰り返し回数であり、これによりデータ付帯情報抽出部で、映像音声データに付帯する情報を抽出し、送信側で指定された任意回数の、任意の2点間の映像音声データを繰り返し再生しむることを特徴とする映像音声データ伝送システムを提供する。
【００１３】
また、前記付帯情報が、映像音声データ記録時の経過時間を表す連続した刻印と文字列であり、これによりデータ付帯情報抽出部で記録時の経過時間を得、この時間に同期して、記録された映像音声信号を再生する映像・音声信号制御手段と、文字列の内容を音声合成して発話する音声合成再生手段を備えることで、映像を補足する情報を再生時に音声にて視聴者に伝達できる映像音声データ伝送システムを提供する。
【００１４】
また、前記付帯情報が、映像音声データ記録時の経過時間を表す連続した刻印と外部機器制御命令列であり、これによりデータ付帯情報抽出部で記録時の経過時間を得、この時間に同期して、記録された映像音声信号を再生する映像・音声信号制御手段と、前記外部機器制御命令列の内容に従って機器を制御する外部機器制御手段を備えることで、再生映像に同期した外部機器制御を可能にする映像音声データ伝送システムを提供する。
【００１５】
また、前記付帯情報が、映像音声データ記録時の記録装置の移動距離を表す連続した刻印であり、これによりデータ付帯情報抽出部で記録時の移動距離を得、これと受信機の移動距離に同期して映像音声信号を再生する映像・音声信号制御手段を持つことで、視聴者の移動に同期した映像再生を実現する映像音声データ伝送システムを提供する。
【００１６】
【発明の実施の形態】
本発明の請求項１に記載の発明は、映像と音声信号を記録する映像音声信号記録手段と、記録された映像音声データに対する付帯情報記録手段と、記録された映像音声信号と付帯情報を合成するデータ合成手段と、合成したデータの、必要部分のみを断片的に連結するデータ編集手段と、編集後データ送信する手段とを備える送信側と、
データ受信手段と、受信したデータを蓄積しておくデータ蓄積手段と、そこから付帯情報を抜き出すデータ付帯情報抽出手段と、受信側の付帯情報を計測する付帯情報計測手段と、受信データから抽出した付帯情報および受信側の付帯情報から映像音声の再生制御を行う映像・音声信号制御手段と、前記制御手段の制御を受け、前記付帯情報と同期して映像音声データを再生する映像・音声信号再生手段とを備える受信側を有することを特徴とする映像音声データ伝送システムとしたもので、
付帯情報記録手段により再生時に必要な情報を記録することにより、データ編集手段により、映像の一部を自由に削除したとしても、映像・音声信号制御手段により、記録時の付帯情報を再生時点の付帯情報に同期させて表示することができる作用を有する。
本発明の請求項２に記載の発明は、請求項１に記載の付帯情報が、映像音声データ記録時の経過時間を表す連続した刻印であり、これによりデータ付帯情報抽出部で記録時の経過時間を得、この時間に同期して映像音声信号を再生する映像・音声信号制御手段を持つことを特徴としたもので、時刻印を付帯情報として記録しておくことで、送信前の編集により映像の一部が削除された場合でも、記録時の時間経過で再生を実現する作用を有する。
【００１７】
本発明の請求項３に記載の発明は、請求項１に記載の付帯情報が、映像音声データ中の任意の2点と、繰り返し回数であり、これによりデータ付帯情報抽出部で、映像音声データに付帯する情報を抽出し、送信側で指定された任意回数の、任意の2点間の映像音声データを繰り返し再生せしむることを特徴としたもので、編集時に特定箇所の映像データを繰返し繋ぐことなく、付帯情報の編集のみで、送信データを不必要に増大させずに、繰返し再生を可能にする作用を有する。
本発明の請求項４に記載の発明は、
請求項１に記載の付帯情報が、映像音声データ記録時の経過時間を表す連続した刻印と文字列であり、これによりデータ付帯情報抽出部で記録時の経過時間を得、この時間に同期して、記録された映像音声信号を再生する映像・音声信号制御手段と、文字列の内容を音声合成して発話する音声合成再生手段を備えることを特徴としたもので、
請求項２に記載の発明の作用に加え、再生映像に同期して音声を合成することで、編集時に新たな音声を記録することなく、映像を補足する情報を送信できるという作用を有する。
【００１８】
本発明の請求項５に記載の発明は、請求項１に記載の付帯情報が、映像音声データ記録時の経過時間を表す連続した刻印と外部機器制御命令列であり、これによりデータ付帯情報抽出部で記録時の経過時間を得、この時間に同期して、記録された映像音声信号を再生する映像・音声信号制御手段と、前記外部機器制御命令列の内容に従って機器を制御する外部機器制御手段を備えることを特徴としたもので、請求項２に記載の発明の作用に加え、再生映像に同期して、外部機器の動作を制御できるという作用を有する。
【００１９】
本発明の請求項６に記載の発明は、請求項１に記載の付帯情報が、映像音声データ記録時の記録手段の移動距離を表す連続した刻印であり、これによりデータ付帯情報抽出部で記録時の移動距離を得、これと受信機の移動距離に同期して映像音声信号を再生する映像・音声信号制御手段を持つことを特徴としたもので、受信者の移動距離と記録時の移動距離を同期させることで、移動する受信者が記録者の移動を追跡できる作用を有する。
【００２０】
（実施の形態１）
図1は本発明の請求項１による映像音声データ伝送システムの動作を示すブロック図である。
【００２１】
図1(a)において、101はシステムの送信側全体、102はカメラ・マイクを含む、送信すべき映像・音声を記録するための撮影手段、103はカメラ・マイク102で撮影した時の付帯情報を記録する付帯情報記録手段、104はカメラ・マイク102で撮影した映像・音声を記録する映像・音声信号記録手段、105は記録された映像・音声データと付帯情報とを合成するデータ合成手段、106はデータ合成手段105で合成された映像・音声データのうち、不要部分等を割愛するデータ編集手段、107はデータ編集手段106の出力をデータ放送として送出するデータ送信手段を表す。
【００２２】
また、図1(b)において、111はシステムの受信側全体、112は放送された付帯情報を持つデータを受信するデータ受信手段、113はデータ受信手段112によって受信したデータを蓄積しておくデータ蓄積手段、114はデータ蓄積手段113によって蓄積しているデータより、送信側で合成された付帯情報を抜き出すデータ付帯情報抽出手段、115は再生時に必要となる受信側の付帯情報を計測する付帯情報計測手段、116はデータ付帯情報抽出手段から出力された付帯情報がない映像・音声を再生する映像・音声信号再生手段、117はデータ付帯情報抽出手段114で抜き出した送信側付帯情報と付帯情報計測手段115によって計測された受信側の付帯情報との同期をとり、再生手段116の動作を制御する映像・音声信号制御手段、118はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。
【００２３】
（実施の形態２）
図２は本発明の請求項2による映像音声データ伝送システムの動作を示すブロック図である。
【００２４】
図２(a)において、201はシステムの送信側全体、202はカメラ・マイクを含む、送信すべき映像・音声を記録するための撮影手段、203はカメラ・マイク202で撮影した時の経過時間情報を記録する付帯情報記録手段、204はカメラ・マイク202で撮影した映像・音声を記録する映像・音声信号記録手段、205は記録された映像・音声データと付帯情報とを合成するデータ合成手段、206はデータ合成手段205で合成された映像・音声データのうち、不要部分等を割愛するデータ編集手段、207はデータ編集手段206の出力をデータ放送として送出するデータ送信手段を表す。
【００２５】
また、図２(b)において、211はシステムの受信側全体、212は放送された付帯情報を持つデータを受信するデータ受信手段、213はデータ受信手段212によって受信したデータを蓄積しておくデータ蓄積手段、214はデータ蓄積手段213によって蓄積しているデータより、送信側で合成された付帯情報を抜き出すデータ付帯情報抽出手段、215は再生時の経過時間（付帯情報）を計測する付帯情報計測手段、216はデータ付帯情報抽出手段から出力された付帯情報がない映像・音声を再生する映像・音声信号再生手段、217はデータ付帯情報抽出手段214で抜き出した送信側経過時間と付帯情報計測手段215によって計測された受信側の経過時間との同期をとり、再生手段216の動作を制御する映像・音声信号制御手段、218はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。
【００２６】
次に、本発明の実施の形態の動作を図示例と共に説明する。
（本発明の請求項２記載の映像音声データ伝送システム実施例）
図8は本発明の実施の形態2による映像音声データ伝送システムの動作を示す実施例であり、例として料理番組を放送する状況を想定している。図８において、801は従来の料理番組の放送フローを、802は本システムにおける送信データを、803は本システムにおける、受信側の映像再生フローを表している。また、804は時間軸を表し、図の左から右に向かって時間が経過することを示す。
【００２７】
以下、この図８および図2、図７に基づき動作を説明する。料理番組の場合、調理中の比較的冗長である部分は、放送時間の都合などもあり、省略されることが常である。即ち、一つの作業に時間がかかる下ごしらえや、実際には火に掛けた状態で待つだけの煮込み時間などの映像は放送上割愛される。
【００２８】
図8に示す本例においては、従来放送フロー801において、映像１と映像２の間の下ごしらえの10分間や、映像3と映像４の間にある煮込みの30分間がそれである。これについて、料理番組の映像を作る側の作業を考察してみる。図8の放送映像801を作成するためには、図７(a)の映像・音声撮影手段702によって撮影を行う前に、予め下ごしらえや煮込みをすませておき、撮影中に段取り良く準備された食材に切り換えることで、冗長な時間を割愛する方法１と、撮影時には実際に調理にかかる時間だけかけて料理を作り、その全体を記録しておき、これを図７(a)のデータ編集手段706によって冗長部分を削除する方法２、の大きく２通りが考えられる。
【００２９】
しかし、このいずれの方法によっても、従来システムでは、再生時の映像は既に冗長部分が省略されたものとなっている。一方で料理を作る側の立場で考えれば、映像は実際に料理を作っていく時間通り経過していくことが望ましい。つまり、図8の従来放送フロー801の映像1の後、実際の下ごしらえの時間中もそのまま放送が進行し、10分後、続きの映像２が始まる、という具合である。
【００３０】
本発明の実施の形態2による映像音声データ伝送システムでは、映像音声の記録とともに、図２(a)の付帯情報（経過時間）記録手段203によって、映像の記録開始からの経過時間を記録し、データ合成手段205によって、映像・音声データと合成することで、送信データの基礎を作っている。
【００３１】
このため、その後のデータ編集手段206において、冗長と思われる部分を削除しても（図8の送信データ802）、受信側において、図２(b)のデータ付帯情報抽出手段214によって抽出された送信側の経過時間情報と、受信側の経過時間計測手段215によって測定された視聴者側の実経過時間とを同期させて映像の再生を実行するため、たとえ送信側で編集された映像であっても、調理の進行が実時間で進行し、視聴者は再生を継続しながら、実際の調理を進めることができる。
【００３２】
再生側の動作を再度詳細に説明すると、図２(b)のデータ受信手段によって受信された映像データは、データ付帯情報抽出手段214によって送信側の経過時間情報と、映像・音声情報とに分けられる。一方受信側も経過時間計測手段215により再生開始時からの時間経過情報を計測しており、これら２つの経過時間情報が映像・音声信号制御手段217に入力され、制御手段217では、この２つの経過時間の同期がとれるよう、映像・音声信号再生手段216を制御する。２つの経過時間の同期を取るとは、送信側の経過時間情報が途切れたとき、それまでの時間と、次に再生する映像の経過時間との時間差を受信側で吸収することである。
【００３３】
例えば、図8の再生映像803において、映像１と、映像２は映像信号としては連続しているが、送信側の経過時間では10分間の間隔が空いている。このとき、制御手段217では、映像１を再生した後、受信側の経過時間が10分間経つのを待ってから、映像２の再生を開始する。同様に映像３の再生の後、30分間あけてから映像4を再生する。この映像再生の制御をシステム内で実施することで、視聴者は、再生映像の制御を意識することなく、手本映像の調理映像と、自らが行っている調理の進行を一致させることができるのである。
【００３４】
（実施の形態3）
図3は本発明の請求項3による映像音声データ伝送システムの動作を示すブロック図である。
【００３５】
図3(a)において、301はシステムの送信側全体、302はカメラ・マイクを含む、送信すべき映像・音声を記録するための撮影手段、303はカメラ・マイク302で撮影した映像の、どの2点間を何回繰り返すかを記録する付帯情報記録手段、304はカメラ・マイク302で撮影した映像・音声を記録する映像・音声信号記録手段、305は記録された映像・音声データと付帯情報とを合成するデータ合成手段、306はデータ合成手段305で合成された映像・音声データのうち、不要部分等を割愛するデータ編集手段、307はデータ編集手段306の出力をデータ放送として送出するデータ送信手段を表す。
【００３６】
また、図3(b)において、311はシステムの受信側全体、312は放送された付帯情報を持つデータを受信するデータ受信手段、313はデータ受信手段312によって受信したデータを蓄積しておくデータ蓄積手段、314はデータ蓄積手段313によって蓄積しているデータより、送信側で合成された繰返し制御情報を抜き出す、データ付帯情報抽出手段、315は再生時の経過時間（付帯情報）を計測する付帯情報計測手段である。
【００３７】
316はデータ付帯情報抽出手段から抽出された、繰返し情報がない映像・音声を再生する映像・音声信号再生手段、317はデータ付帯情報抽出手段314で抽出した繰返し情報に基づき、再生手段316の動作を制御する映像・音声信号制御手段、318はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。
【００３８】
次に、本発明の実施の形態の動作を図示例と共に説明する。
（本発明の請求項３記載の映像音声データ伝送システム実施例）
図９は本発明の実施の形態３による映像音声データ伝送システムの動作を示す実施例であり、例としてテニスの練習番組を放送する状況を想定している。図９において、901は記録時の映像フローを、902は本システムにおける送信データを、903は本システムにおける、受信側の映像再生フローを表している。また、904は時間軸を表し、図の左から右に向かって時間が経過することを示す。
【００３９】
以下、この図9および図3、図７に基づき動作を説明する。記録映像901において、映像1の後、実際の練習においてはテニスの素振りを30回繰り返すことを期待して送信側の映像を作っている。記録時には同じ素振りの映像を30回分収録することはしない。ここで、従来のシステムでは、データ編集手段706において、素振りの映像を30回繰返し挿入することで送信データを作成する。
【００４０】
ところが、これでは映像データとして30回の繰返し部分という冗長性が生まれることになる。本発明の請求項３記載の映像音声データ伝送システムにおいては、繰返情報記録手段303において、映像２および、映像３は30回繰り返すという情報をデータ合成手段305により映像信号に加える。この結果データ送信手段307によって、送信データ902を送信する。このデータには、上で述べた従来システムの持つ冗長性はみられない。
【００４１】
一方、受信側311においては、データ付帯情報抽出手段314によって、映像２から映像3にかけての繰返し情報が抽出され、制御手段317によって、再生手段316が制御され、再生映像903のフローに見られるように再生が行われる。即ち、映像1の再生後、映像２から映像3の素振り映像が30回繰返された後、映像4の再生が開始される。つまり、本システムの利用により、繰返し映像データを冗長性なしに伝送することができる。
【００４２】
（実施の形態４）
図４は本発明の請求項４による映像音声データ伝送システムの動作を示すブロック図である。
【００４３】
図４(a)において、401はシステムの送信側全体、402はカメラ・マイクを含む、送信すべき映像・音声を記録するための撮影手段、403はカメラ・マイク402で撮影した時の経過時間情報を記録する付帯情報記録手段、404はカメラ・マイク402で撮影した映像・音声を記録する映像・音声信号記録手段、405は記録された映像・音声データと付帯情報とを合成するデータ合成手段、406はデータ合成手段405で合成された映像・音声データのうち、不要部分等を割愛するデータ編集手段、407はデータ編集手段406の出力をデータ放送として送出するデータ送信手段を表す。
【００４４】
また、図４(b)において、411はシステムの受信側全体、412は放送された付帯情報を持つデータを受信するデータ受信手段、413はデータ受信手段412によって受信したデータを蓄積しておくデータ蓄積手段、414はデータ蓄積手段413によって蓄積しているデータより、送信側で合成された経過時間情報を抜き出す、データ付帯情報抽出手段、415は再生時の経過時間（付帯情報）を計測する付帯情報計測手段、416はデータ付帯情報抽出手段を経た、付帯情報がない映像・音声を再生する映像・音声信号再生手段、417はデータ付帯情報抽出手段414で抽出した付帯情報に基づき、映像・音声再生手段416、および音声合成再生手段418（後述する）の動作を制御する映像・音声信号制御手段、418は映像・音声信号制御手段417の制御を受け、送信側401で指定された文字列を指定された映像と同期して音声合成して再生する音声合成再生手段、419はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。
【００４５】
次に、本発明の実施の形態の動作を図示例と共に説明する。
（本発明の請求項４記載の映像音声データ伝送システム実施例）
図10は本発明の実施の形態４による映像音声データ伝送システムの動作を示す実施例であり、例として、時間制限付きの試験を実施する教育番組を放送する状況を想定している。図10において、1001は記録時の映像フローを、1002は本システムにおける送信データを、1003は本システムにおける、受信側の映像再生フローを表している。また、1004は時間軸を表し、図の左から右に向かって時間が経過することを示す。
【００４６】
以下、この図10および図4、図７に基づき動作を説明する。記録映像1001では、映像１、映像２において、これから始める試験についての諸注意などが収録されており、映像２の最後の部分で試験開始の合図が入っているとする。その後時間制限10分の試験を行い、（試験は途中、5分前、3分前、１分前に音声で合図する必要があるとする）、映像3の始めには、試験終了の合図が入っているとする。
【００４７】
従来のシステムにおいて、この記録映像1001を再生しながら実際に試験を実施しようとした場合、再生側において、映像２再生後に再生を一時停止、その後、手動にて10分間を計時する。このとき、5分前、3分前、１分前に、それぞれ肉声にて合図を送る必要がある。そして、10分経過後に一時停止を解除し、映像3の再生を開始するのである。
【００４８】
あるいは、従来のシステムの場合、試験中の10分間も実時間でそのまま記録しておく方法も考えられる。しかし、このときは試験中の10分間はほとんど冗長な時間となる。
【００４９】
本発明の請求項４記載の映像音声データ伝送システム（以下、本システムとする）においては、本発明の請求項２記載の映像音声データ伝送システム同様、図４(a)の付帯情報記録手段403において、記録時の経過時間を記録、この時、映像3の記録開始時の経過時間情報を映像２記録終了時の経過時間の10分後にしておくことで、受信側411での、再生時の映像２と映像3間の10分間の時間間隔を確保している。
【００５０】
また、図10の送信データ1002において、試験中に発せられる合図を文字列１〜３として付帯情報に加えておく。受信側411では、データ付帯情報抽出手段414によって抽出された文字列１〜３に従って、制御手段417が音声合成再生手段418を制御し、経過時間指定に同期して必要な指示を音声で再生することが可能である。この結果、再生映像1003にあるごとく、映像２再生終了後、5分目に音声指示１、8分後に音声指示２、9分後に音声指示3を発し、10分後に映像3の再生を開始する。
【００５１】
すなわち、本システムを利用すれば、送信側において10分間の試験中の冗長な映像記録をなくした上に、受信側において、再生時の試験の開始、終了での映像の一時停止・解除動作が不要となる映像データ伝送が実現できる。
【００５２】
（実施の形態5）
図5は本発明の請求項5による映像音声データ伝送システムの動作を示すブロック図である。
【００５３】
図5(a)において、501はシステムの送信側全体、502はカメラ・マイクを含む、送信すべき映像・音声を記録するための撮影手段、503はカメラ・マイク502で撮影した時の経過時間情報を記録する付帯情報記録手段、504はカメラ・マイク502で撮影した映像・音声を記録する映像・音声信号記録手段、505は記録された映像・音声データと付帯情報とを合成するデータ合成手段、506はデータ合成手段405で合成された映像・音声データのうち、不要部分等を割愛するデータ編集手段、507はデータ編集手段506の出力をデータ放送として送出するデータ送信手段を表す。
【００５４】
また、図5(b)において、511はシステムの受信側全体、512は放送された付帯情報を持つデータを受信するデータ受信手段、513はデータ受信手段512によって受信したデータを蓄積しておくデータ蓄積手段、514はデータ蓄積手段513によって蓄積しているデータより、送信側で合成された経過時間情報、および外部機器制御情報を抜き出す、データ付帯情報抽出手段、515は再生時の経過時間（付帯情報）を計測する付帯情報計測手段、516はデータ付帯情報抽出手段514を経た、付帯情報がない映像・音声を再生する映像・音声信号再生手段である。
【００５５】
517はデータ付帯情報抽出手段514で抽出した外部機器制御情報に基づき、外部機器を制御する外部機器制御手段、518はデータ付帯情報抽出手段514によって抽出された経過時間情報（付帯情報）に基づき、映像・音声信号再生を制御する映像・音声信号再生手段、 519はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。
【００５６】
次に、本発明の実施の形態の動作を図示例と共に説明する。
（本発明の請求項５記載の映像音声データ伝送システム実施例）
図11は本発明の実施の形態5による映像音声データ伝送システム（以下本システムと記述する）の動作を示す実施例であり、例としてピアノの練習番組を放送する状況を想定している。図11において、1101は記録時の映像フローを、1102は本システムにおける送信データを、1103は本システムにおける、受信側の映像再生フローを表している。また、1104は時間軸を表し、図の左から右に向かって時間が経過することを示す。
【００５７】
以下、この図11および図５、図７に基づき動作を説明する。図11の記録映像フロー1101では、映像１および映像２で練習の前置き部分が、映像3において実際の演習部分を、映像4以降で練習のまとめが収録されているとする。データ放送受信者は受信環境の他に、外部機器として、練習用の電子ピアノを所有しており、これと受信側511の外部機器制御手段517とが正しく接続されていて、制御手段517の制御によって、電子ピアノの鍵盤のランプが点灯する仕組みになっているものとする（ここで、制御手段517と外部機器である電子ピアノとの接続手法は本発明の本質とは無関係であるため、説明を省略する）。
【００５８】
本システムでは、送信側501の付帯情報記録手段503において、映像3の練習映像に同期して、叩くべき電子ピアノの鍵盤の位置情報をピアノデータとして記録し、図11の送信データ1102に見られるように、データ合成手段505にて、映像３のデータと合成し、送信データとする。
【００５９】
受信側511では、データ付帯情報抽出手段514にて抽出されたピアノデータと経過時間情報（同期データ）を入力として、外部機器制御手段517が外部機器である電子ピアノを制御し、映像に同期して弾くべき鍵盤の位置を鍵盤のランプを点灯させることで受信者に伝える。この結果、再生映像1103では、映像３の再生の期間中、画面に同期して電子ピアノの鍵盤が点灯し、これに合わせて弾くことで受信者のピアノ練習が実現できる。すなわち、本システムを利用することで、映像・音声信号に同期して受信者の所有する外部機器を制御できる映像・音声データ伝送を実現できる。
【００６０】
（実施の形態６）
図６は本発明の請求項６による映像音声データ伝送システムの動作を示すブロック図である。
【００６１】
図６(a)において、601はシステムの送信側全体、602はカメラ・マイクを含む、送信すべき映像・音声を記録するための撮影手段、603はカメラ・マイク602で撮影した時の記録手段の移動距離を記録する付帯情報記録手段、604はカメラ・マイク602で撮影した映像・音声を記録する映像・音声信号記録手段、605は記録された映像・音声データと付帯情報とを合成するデータ合成手段、606はデータ合成手段605で合成された映像・音声データのうち、不要部分等を割愛するデータ編集手段、607はデータ編集手段606の出力をデータ放送として送出するデータ送信手段を表す。
【００６２】
また、図６(b)において、611はシステムの受信側全体、612は放送された付帯情報を持つデータを受信するデータ受信手段、613はデータ受信手段612によって受信したデータを蓄積しておくデータ蓄積手段、614はデータ蓄積手段613によって蓄積しているデータより、送信側で合成された付帯情報を抜き出すデータ付帯情報抽出手段、615は再生時の放送視聴者の移動距離（付帯情報）を計測する付帯情報計測手段、616はデータ付帯情報抽出手段から出力された付帯情報がない映像・音声を再生する映像・音声信号再生手段、617はデータ付帯情報抽出手段614で抜き出した映像記録時の移動距離と付帯情報計測手段615によって計測された放送視聴者の移動距離との同期をとり、再生手段616の動作を制御する映像・音声信号制御手段、618はブラウン管やスピーカなどの映像・音声を再生するための映像・音声表示手段を表す。
【００６３】
次に、本発明の実施の形態の動作を図示例と共に説明する。
（本発明の請求項６記載の映像音声データ伝送システム実施例）
図12は本発明の実施の形態6による映像音声データ伝送システムの動作を示す実施例であり、車で走行中に見る旅ガイド番組をデータ放送する状況を想定している。図12において、1201は記録時の映像フローを、1202は本システムにおける送信データを、1203は本システムにおける、受信側の映像再生フローを表している。また、1204は(移動)距離軸を表し、図の左から右に向かって(移動)距離が増えることを示す。
【００６４】
以下、この図12および図6、図７に基づき動作を説明する。
【００６５】
旅ガイド番組は、未知の土地への旅行には有効である。未知の土地を訪れた人は、普通その土地のことを少しでも多く知りたいと思う。しかし、従来のテレビ番組を見ているだけでは、リアルタイムに見たい場所を映し出すのではなく、送信側の時間進行で映像が再生される。また、いわゆるカーナビゲーションシステムで映し出される映像は、情報の新鮮さという点で問題がある。
【００６６】
これに対して本発明の移動距離を認識するシステムを利用することにより、リアルタイムに見たい映像(今訪れている場所の映像)を視聴することができるようになる。図12に示す本例においては、記録時の映像フロー1201において、映像１の京都駅出発の場面や映像２の西本願寺が見えてくる場面や、また映像３の西本願寺の説明が始まる場面がそれにあたる。これにつき、旅ガイド番組の映像を作る側の作業を考察してみる。
【００６７】
図12の放送映像1201を作成するためには、従来の手法では、図７(a)の映像音声撮影手段702によって、目的地と考えられる場所(図12の例では西本願寺)のみを重点的に撮影し、さらに決められた放送時間内に抑えるために図7(a)のデータ編集手段706によって冗長部分を削除するという手順をとる。従って、従来システムにおいては、再生時の映像も冗長部分が省略されたものになっている。一方で、車で旅行をしている側の立場で考えれば、映像は訪れているその時に、その場所のものが放映されていることが望ましい。即ち、図12の映像フロー1201の映像1、2、3、4、5を、移動距離に合わせて放映させるのが望ましい。
【００６８】
本発明の実施の形態6による映像音声データ伝送システムでは、映像音声の記録とともに、図６(a)の付帯情報（移動距離）記録手段603によって、映像の記録開始からの移動距離を記録し、データ合成手段605によって、映像・音声データと合成することで、送信データの基礎を作っている。このため、その後のデータ編集手段606において、冗長と思われる部分を削除しても（図12の送信データ1202）、受信側において、図６(b)のデータ付帯情報抽出手段614によって抽出された送信側の移動距離情報と、受信側の移動距離測定手段615によって測定された視聴者側の実移動距離とを同期させて映像の再生を実行するため、たとえ送信側で編集された映像であっても、再生映像は観光者の移動に同期して進行するため、観光者は再生を継続しながら観光を進めることができる。
【００６９】
再生側の動作を再度詳細に説明すると、図6の(b)のデータ受信手段によって受信された映像データは、データ付帯情報抽出手段614によって送信側の移動距離情報と、映像・音声情報とに分けられる。一方受信側も移動距離計測手段615により再生開始時からの移動距離情報を計測しており、これら２つの移動距離情報が映像・音声信号制御手段617に入力され、制御手段617では、この２つの移動距離の同期がとれるよう、映像・音声信号再生手段616を制御する。２つの移動距離の同期を取るとは、送信側の移動距離情報が途切れたとき、それまでの距離と、次に再生する映像の移動距離との距離の差を受信側で吸収することである。
【００７０】
例えば、図12の再生映像1203において、映像1と、映像2、そして映像3は映像信号としては連続しているが付帯情報である移動距離は途切れている。制御手段617では、観光者の移動距離に同期した映像1の再生がが終了すると、次の映像２の再生を開始しようとするが、この時、移動距離計測手段615によって計測された観光者の移動距離移動距離が、映像２開始時の付帯情報（移動距離）に達していない場合、再生を一時停止する。その後、観光者の移動距離が、映像２開始時の移動距離情報と一致した時、再生を開始する。この制御を伝送システム内で実施することで、視聴者は、再生映像の制御を意識することなく、京都観光の映像と、自らが訪れている場所を一致させることができる。
【００７１】
また、本発明のデータ伝送システムにおける、送信側から受信側までのデータ伝搬媒体については、有線、無線を問わず、特にこれを特定しない。尚、本発明の映像音声データ伝送システムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００７２】
【発明の効果】
以上、説明したように本発明の請求項１〜6記載の映像音声データ伝送システムによれば、送信データに付帯情報を含むことにより、記録時の映像音声の持つ付帯情報に同期した再生を実現することができる。この付帯情報を経過時間情報、繰返し情報、合成音声文字列、外部機器制御情報のいずれか、もしくはこれらを組み合わせた情報とすることで、データ放送視聴者側には操作の負担をかけない、種々の性質の放送番組内容に対応した映像音声再生を実現するという優れた効果を奏し得る。
【図面の簡単な説明】
【図１】この発明の実施の形態１による映像音声データ伝送システムの構成を示すブロック図
【図２】この発明の実施の形態２による映像音声データ伝送システムの構成を示すブロック図
【図３】この発明の実施の形態３による映像音声データ伝送システムの構成を示すブロック図
【図４】この発明の実施の形態４による映像音声データ伝送システムの構成を示すブロック図
【図５】この発明の実施の形態５による映像音声データ伝送システムの構成を示すブロック図
【図６】この発明の実施の形態６による映像音声データ伝送システムの構成を示すブロック図
【図７】従来例における映像音声データ伝送システムの構成を示すブロック図
【図８】実施の形態２における映像音声データ伝送システムの一例を示す図
【図９】実施の形態３における映像音声データ伝送システムの一例を示す図
【図１０】実施の形態４における映像音声データ伝送システムの一例を示す図
【図１１】実施の形態５における映像音声データ伝送システムの一例を示す図
【図１２】実施の形態６における映像音声データ伝送システムの一例を示す図
【符号の説明】
１０１送信側
１０２映像音声撮影手段
１０３付帯情報記録手段
１０４映像・音声信号記録手段
１０５データ合成手段
１０６データ編集手段
１０７データ送信手段
１１１受信側
１１２データ蓄積手段
１１３データ受信手段
１１４データ付帯情報抽出手段
１１５付帯情報計測手段
１１６映像・音声信号再生手段
１１７映像・音声信号制御手段
１１８映像・音声表示手段
２０３付帯情報（経過時間）記録手段
２１５付帯情報（経過時間）計測手段
３０３付帯情報（繰返情報）記録手段
４１８音声合成再生手段
５１７外部機器制御手段
６０３付帯情報（移動距離）記録手段
６１５付帯情報（移動距離）計測手段
８０１従来放送再生フロー
８０２本システムにおける送信データ
８０３本システムにおける受信側の映像再生フロー
８０４時間軸
９０１記録時の映像フロー
１２０４移動距離軸[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video / audio data transmission system.
[0002]
[Prior art]
In general, when transmitting a video / audio signal (for example, broadcasting), the time axis is usually synchronized between the transmission side and the reception side. That is, the video transmitted on the transmission side is reproduced as it is on the reception side. As a result, in general broadcasting, video that is often edited in advance and is different from the time progress during video recording may be transmitted.
However, depending on the content of the broadcast, although it is more beneficial for the viewer to broadcast at the recorded time, the edited video may be unavoidably transmitted.
[0003]
For example, in a cooking program, the cooking process is often omitted from editing (cooking for 30 minutes, etc.), but if the viewer records this program and cooks while watching this video, It is desirable that the time lapse of the reproduced video coincides with the time lapse of actual cooking. That is, even if a video is omitted during the process, reproduction is desired to follow the time progress when recorded.
[0004]
As a solution to this problem, all recorded video is converted to digital data, then compressed using data compression means (eg MPEG compression), and broadcast using a mechanism such as data broadcasting. The method can be considered.
[0005]
The operation of the conventional example will be described below with reference to the drawings.
[0006]
FIG. 7 is a block diagram showing the operation of a conventional video broadcast transmission / reception system. In FIG. 7 (a), 701 is the entire transmission side of the system, 702 is a video / audio photographing means for recording video / audio to be transmitted, including a camera / microphone, 703 is a video / audio photographed by the camera / microphone 702. A video / audio signal recording means for recording audio, 704 is a data editing means for omitting unnecessary portions of the video / audio data recorded by the video / audio signal recording means 703, and 705 is an output of the data editing means 704. Data transmission means for transmitting data broadcasting is shown.
[0007]
In FIG. 7 (b), 711 is the entire receiving side of the system, 712 is data receiving means, 713 is storage means for storing received data, 714 is auxiliary information output from the data auxiliary information extracting means. Reference numeral 715 denotes a video / audio display means for reproducing video / audio such as a cathode ray tube or a speaker. In the conventional system, in order to solve the above-described problem, the data editing unit 704 has to create a video necessary for reproduction. In other words, in order to play a cooking program in real time, all the images being cooked must be transmitted without being omitted.
[0008]
[Problems to be solved by the invention]
However, in these methods, a part of the video that can be omitted is included in the transmission data, and the data is compressed, but includes redundancy. Further, when this video is broadcast on a general broadcast such as a television, the editing work is performed again, and the trouble of omitting redundant portions is generated.
[0009]
In view of such circumstances, the present invention intends to provide a video / audio data transmission system that broadcasts data with redundant portions omitted on the transmission side, and realizes reproduction synchronized with auxiliary information at the time of recording on the reception side. It is.
[0010]
[Means for Solving the Problems]
In order to solve the above problems, a video / audio data transmission system according to the present invention comprises a video / audio signal recording means for recording video and audio signals, an auxiliary information recording means for the recorded video / audio data, and a recorded video / audio signal. A data synthesizing unit that synthesizes the incidental information, a data editing unit that fragmentally connects only necessary portions of the combined data, a data transmission unit that transmits the edited data, a data receiving unit,
Data accumulating means for accumulating received data, data incidental information extracting means for extracting incidental information therefrom, incidental information measuring means for measuring environmental information on the receiving side inputted from the outside, incidental extracted from received data Video / audio signal control means for controlling reproduction of video and audio from information and auxiliary information on the receiving side, and video / audio signal reproduction means for reproducing video / audio data in synchronization with the auxiliary information under the control of the control means It has the receiving side provided with these.
[0011]
Further, the incidental information is a continuous indicia indicating the elapsed time at the time of recording the video / audio data, whereby the data additional information extraction unit obtains the elapsed time at the time of recording, and the video / audio signal is reproduced in synchronization with this time. Provided is a video / audio data transmission system which has a video / audio signal control means for performing reproduction synchronized with the passage of time during recording.
[0012]
Further, the incidental information is any two points in the video / audio data and the number of repetitions. With this, the data incidental information extraction unit extracts information incidental to the video / audio data, and the arbitrary information specified on the transmission side. Provided is a video / audio data transmission system characterized by repeatedly reproducing video / audio data between two arbitrary points.
[0013]
Further, the incidental information is a continuous stamp and a character string representing the elapsed time at the time of recording the video / audio data, whereby the elapsed time at the time of recording is obtained by the data incidental information extracting unit, and recording is performed in synchronization with this time. Video / audio signal control means for reproducing the recorded video / audio signal and voice synthesis / playback means for speech synthesis by synthesizing the contents of the character string, so that the information supplemented to the video can be transmitted to the viewer by voice during playback. A video / audio data transmission system capable of transmission is provided.
[0014]
Further, the incidental information is a continuous inscription indicating the elapsed time at the time of recording the video / audio data and an external device control command sequence, whereby the data incidental information extraction unit obtains the elapsed time at the time of recording and synchronizes with this time. Video / audio signal control means for reproducing the recorded video / audio signal and external equipment control means for controlling the equipment in accordance with the contents of the external equipment control instruction sequence, thereby controlling external equipment synchronized with the reproduced video. A video / audio data transmission system is provided.
[0015]
Further, the incidental information is a continuous inscription indicating the moving distance of the recording device when recording the video / audio data, whereby the moving distance at the time of recording is obtained by the data incidental information extracting unit, and this is added to the moving distance of the receiver. Provided is a video / audio data transmission system that has video / audio signal control means for reproducing video / audio signals in synchronization, thereby realizing video reproduction synchronized with the movement of the viewer.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
According to the first aspect of the present invention, a video / audio signal recording means for recording video and audio signals, an auxiliary information recording means for the recorded video / audio data, and the recorded video / audio signal and the auxiliary information are synthesized. A data synthesizer, a data editing unit that synthesizes only necessary portions of the synthesized data, and a transmission side including a unit that transmits the edited data,
Data reception means, data storage means for storing received data, data supplementary information extraction means for extracting supplementary information therefrom, supplementary information measurement means for measuring supplementary information on the receiving side, and extraction from reception data Video / audio signal control means for controlling video / audio reproduction from the auxiliary information and the auxiliary information on the receiving side, and video / audio signal reproduction for reproducing video / audio data in synchronization with the auxiliary information under the control of the control means And a video / audio data transmission system characterized by having a receiving side comprising:
By recording necessary information at the time of reproduction by the auxiliary information recording means, even if a part of the video is freely deleted by the data editing means, the auxiliary information at the time of reproduction is recorded by the video / audio signal control means. It has the effect of being able to display in synchronization with the accompanying information.
In the invention according to claim 2 of the present invention, the supplementary information according to claim 1 is a continuous stamp indicating the elapsed time at the time of video / audio data recording. It is characterized by having a video / audio signal control means that obtains time and reproduces the video / audio signal in synchronization with this time. By recording time stamp as auxiliary information, it can be edited by editing before transmission. Even when a part of the video is deleted, it has an effect of realizing reproduction with the passage of time at the time of recording.
[0017]
In the invention according to claim 3 of the present invention, the supplementary information according to claim 1 is any two points in the video / audio data and the number of repetitions. The information attached to is extracted, and the video / audio data between two arbitrary points specified by the transmission side is repeatedly played back. The video data at a specific location is repeated during editing. There is an effect of enabling repetitive reproduction without unnecessarily increasing transmission data by simply editing incidental information without connection.
The invention according to claim 4 of the present invention is
The supplementary information according to claim 1 is a continuous stamp and a character string representing the elapsed time at the time of recording the video / audio data, whereby the elapsed time at the time of recording is obtained by the data supplementary information extracting unit and synchronized with this time. The video / audio signal control means for reproducing the recorded video / audio signal and the voice synthesis / playback means for synthesizing the contents of the character string by voice synthesis,
In addition to the operation of the invention according to the second aspect, by synthesizing audio in synchronism with the reproduced video, it is possible to transmit information supplementing the video without recording new audio during editing.
[0018]
In the invention according to claim 5 of the present invention, the supplementary information according to claim 1 is a continuous stamp indicating an elapsed time at the time of recording the video / audio data and an external device control instruction sequence, whereby data supplementary information extraction is performed. The video / audio signal control means for reproducing the recorded video / audio signal in synchronization with this time, and the external device control for controlling the device according to the content of the external device control command sequence In addition to the operation of the invention according to claim 2, the operation of the external device can be controlled in synchronization with the reproduced video.
[0019]
In the invention according to claim 6 of the present invention, the supplementary information according to claim 1 is a continuous indicia indicating the moving distance of the recording means at the time of recording the video / audio data, and is recorded by the data supplementary information extracting unit. It is characterized by having a video / audio signal control means that reproduces the video / audio signal in synchronization with the moving distance of the receiver and the moving distance of the receiver. By synchronizing the distance, the moving receiver can track the movement of the recording person.
[0020]
(Embodiment 1)
FIG. 1 is a block diagram showing the operation of a video / audio data transmission system according to claim 1 of the present invention.
[0021]
In FIG. 1 (a), 101 is the entire transmission side of the system, 102 is a photographing means for recording video / audio to be transmitted, including a camera / microphone, and 103 is incidental information when photographing with the camera / microphone 102 Auxiliary information recording means for recording, 104 is a video / audio signal recording means for recording video / audio taken by the camera / microphone 102, 105 is a data synthesis means for synthesizing the recorded video / audio data and auxiliary information, Reference numeral 106 denotes data editing means for omitting unnecessary portions of the video / audio data synthesized by the data synthesizing means 105, and 107 denotes data transmission means for sending the output of the data editing means 106 as a data broadcast.
[0022]
In FIG. 1 (b), 111 is the whole receiving side of the system, 112 is a data receiving means for receiving broadcast data having supplementary information, 113 is data for storing data received by the data receiving means 112 Storage means 114 is data supplementary information extracting means for extracting supplementary information synthesized on the transmission side from the data stored in the data storage means 113, and 115 is supplementary information for measuring the supplementary information on the reception side required during playback. Measuring means 116 is a video / audio signal reproducing means for reproducing video / audio without the auxiliary information output from the data auxiliary information extracting means, and 117 is a transmission side auxiliary information extracted by the data auxiliary information extracting means 114 and an auxiliary information measurement. The video / audio signal control means 118 controls the operation of the reproduction means 116 in synchronization with the auxiliary information on the receiving side measured by the means 115, and 118 is a video / sound such as a cathode ray tube or a speaker. It represents video / audio display means for reproducing voice.
[0023]
(Embodiment 2)
FIG. 2 is a block diagram showing the operation of the video / audio data transmission system according to claim 2 of the present invention.
[0024]
In FIG. 2 (a), 201 is the entire transmission side of the system, 202 is a photographing means for recording video / audio to be transmitted, including a camera / microphone, and 203 is an elapsed time when photographing with the camera / microphone 202. Auxiliary information recording means for recording information, 204 is a video / audio signal recording means for recording video / audio captured by the camera / microphone 202, and 205 is a data synthesis means for synthesizing the recorded video / audio data with the auxiliary information. , 206 represents data editing means for omitting unnecessary portions of the video / audio data synthesized by the data synthesizing means 205, and 207 represents data transmission means for sending the output of the data editing means 206 as a data broadcast.
[0025]
In FIG. 2 (b), 211 is the entire receiving side of the system, 212 is a data receiving means for receiving broadcast data having supplementary information, 213 is data for storing data received by the data receiving means 212 Storage means 214, data supplementary information extraction means for extracting supplementary information synthesized on the transmission side from data stored in the data storage means 213, and 215 supplementary information measurement for measuring elapsed time (incident information) at the time of reproduction Means 216 is a video / audio signal reproducing means for reproducing video / audio without the auxiliary information outputted from the data auxiliary information extracting means, and 217 is a transmission side elapsed time extracted by the data auxiliary information extracting means 214 and auxiliary information measuring means 218 is a video / audio signal control means for controlling the operation of the playback means 216 in synchronization with the elapsed time on the receiving side measured by 215, and 218 is a video / audio signal such as a cathode ray tube or a speaker. Representing the video and audio display means to live.
[0026]
Next, the operation of the embodiment of the present invention will be described together with examples shown in the drawings.
(Example of video / audio data transmission system according to claim 2 of the present invention)
FIG. 8 is an example showing the operation of the video / audio data transmission system according to the second embodiment of the present invention. As an example, it is assumed that a cooking program is broadcast. In FIG. 8, 801 represents a conventional cooking program broadcast flow, 802 represents transmission data in the present system, and 803 represents a video reproduction flow on the receiving side in the present system. Reference numeral 804 denotes a time axis, which indicates that time elapses from the left to the right in the figure.
[0027]
The operation will be described below with reference to FIG. 8, FIG. 2, and FIG. In the case of a cooking program, a relatively redundant part during cooking is usually omitted because of the broadcast time. In other words, images such as preparation that takes time for one work, and the actual cooking time that is simply waited in a fired state are omitted in broadcasting.
[0028]
In the present example shown in FIG. 8, in the conventional broadcast flow 801, 10 minutes of preparation between video 1 and video 2 and 30 minutes of cooking between video 3 and video 4 are the same. In this regard, consider the work on the side of the cooking program video. In order to create the broadcast video 801 shown in FIG. 8, before the video / audio shooting means 702 shown in FIG. By switching to, the method 1 for omitting redundant time, and during the shooting, the cooking is actually performed over the time required for cooking, and the whole is recorded, and this is recorded as the data editing means 706 in FIG. There are two main methods of deleting the redundant part by method 2.
[0029]
However, in any of these methods, in the conventional system, the redundant portion of the video during reproduction has already been omitted. On the other hand, from the standpoint of cooking, it is desirable for the video to pass on time as it actually cooks. That is, after the video 1 of the conventional broadcast flow 801 in FIG. 8, the broadcast proceeds as it is during the actual preparation time, and the subsequent video 2 starts 10 minutes later.
[0030]
In the video / audio data transmission system according to the second embodiment of the present invention, along with the recording of video / audio, the incidental information (elapsed time) recording means 203 in FIG. 2 (a) records the elapsed time from the start of video recording, The data synthesizing means 205 synthesizes it with the video / audio data, thereby creating the basis of the transmission data.
[0031]
For this reason, in the subsequent data editing means 206, even if a portion that seems to be redundant is deleted (transmission data 802 in FIG. 8), it is extracted by the data supplementary information extraction means 214 in FIG. Even if the video is edited on the transmission side in order to execute playback of the video by synchronizing the elapsed time information on the transmission side and the actual elapsed time on the viewer side measured by the elapsed time measurement means 215 on the reception side. However, the progress of cooking proceeds in real time, and the viewer can proceed with the actual cooking while continuing the reproduction.
[0032]
The operation on the playback side will be described again in detail. The video data received by the data receiving means in FIG. 2B is divided into the elapsed time information on the transmitting side and the video / audio information by the data supplementary information extracting means 214. It is done. On the other hand, the receiving side also measures the elapsed time information from the start of reproduction by using the elapsed time measuring means 215, and these two elapsed time information are input to the video / audio signal control means 217, and the control means 217 The video / audio signal reproducing means 216 is controlled so that the elapsed times can be synchronized. Synchronizing the two elapsed times means that when the transmission side elapsed time information is interrupted, the receiving side absorbs the time difference between the previous time and the elapsed time of the video to be reproduced next.
[0033]
For example, in the playback video 803 of FIG. 8, video 1 and video 2 are continuous as video signals, but there is an interval of 10 minutes in the elapsed time on the transmission side. At this time, the control means 217 waits for the elapsed time on the receiving side to pass 10 minutes after the video 1 is played, and then starts playing the video 2. Similarly, after video 3 is played, video 4 is played after 30 minutes. By performing this video playback control in the system, the viewer can match the cooking video of the model video with the progress of the cooking performed by himself / herself without being aware of the control of the playback video. It is.
[0034]
(Embodiment 3)
FIG. 3 is a block diagram showing the operation of the video / audio data transmission system according to claim 3 of the present invention.
[0035]
In FIG. 3 (a), 301 is the entire transmission side of the system, 302 is a camera / microphone including photographing means for recording video / audio to be transmitted, and 303 is a video photographed by the camera / microphone 302. Ancillary information recording means for recording how many times between two points is recorded, 304 is a video / audio signal recording means for recording video / audio taken by the camera / microphone 302, 305 is recorded video / audio data and auxiliary information 306 is data editing means for omitting unnecessary portions of the video / audio data synthesized by the data synthesizing means 305, and 307 is data for sending the output of the data editing means 306 as a data broadcast. Represents a transmission means.
[0036]
In FIG. 3 (b), reference numeral 311 denotes the entire receiving side of the system, 312 denotes data receiving means for receiving broadcast data having accompanying information, and 313 denotes data for storing data received by the data receiving means 312. Accumulating means 314 extracts the repetitive control information synthesized on the transmission side from the data accumulated by the data accumulating means 313. Data auxiliary information extracting means 315 measures the elapsed time (relevant information) during reproduction. Information measuring means.
[0037]
316 is a video / audio signal reproducing means for reproducing video / audio without the repetitive information extracted from the data auxiliary information extracting means, and 317 is an operation of the reproducing means 316 based on the repetitive information extracted by the data auxiliary information extracting means 314. 318 represents video / audio signal control means for reproducing video / audio such as a cathode ray tube or a speaker.
[0038]
Next, the operation of the embodiment of the present invention will be described together with examples shown in the drawings.
(Example of video / audio data transmission system according to claim 3 of the present invention)
FIG. 9 is an example showing the operation of the video / audio data transmission system according to the third embodiment of the present invention. As an example, it is assumed that a tennis practice program is broadcast. In FIG. 9, 901 represents a video flow during recording, 902 represents transmission data in this system, and 903 represents a video reproduction flow on the receiving side in this system. Reference numeral 904 denotes a time axis, which indicates that time elapses from left to right in the figure.
[0039]
The operation will be described below with reference to FIG. 9, FIG. 3, and FIG. In the recorded video 901, after the video 1, in the actual practice, the video on the transmission side is made in the hope of repeating the tennis swing 30 times. When recording, do not record 30 images of the same swing. Here, in the conventional system, the data editing unit 706 creates transmission data by repeatedly inserting the raw image 30 times.
[0040]
However, this results in a redundancy of 30 repetitions of video data. In the video / audio data transmission system according to claim 3 of the present invention, in the repetitive information recording means 303, information that the video 2 and video 3 are repeated 30 times is added to the video signal by the data synthesizing means 305. The transmission data 902 is transmitted by the result data transmission means 307. This data does not have the redundancy of the conventional system described above.
[0041]
On the other hand, on the receiving side 311, repetitive information from video 2 to video 3 is extracted by the data supplementary information extracting unit 314, and the playback unit 316 is controlled by the control unit 317 so that it can be seen in the flow of the playback video 903. Playback is performed. That is, after the video 1 is reproduced, the video 2 to the video 3 are repeated 30 times, and then the video 4 starts to be reproduced. In other words, by using this system, repeated video data can be transmitted without redundancy.
[0042]
(Embodiment 4)
FIG. 4 is a block diagram showing the operation of the video / audio data transmission system according to claim 4 of the present invention.
[0043]
In FIG. 4A, 401 is the entire transmission side of the system, 402 is a photographing means for recording video / audio to be transmitted, including a camera / microphone, and 403 is an elapsed time when the camera / microphone 402 is photographed. Auxiliary information recording means for recording information, 404 is a video / audio signal recording means for recording video / audio captured by the camera / microphone 402, and 405 is a data synthesis means for synthesizing the recorded video / audio data with the auxiliary information. 406 denotes data editing means for omitting unnecessary portions of the video / audio data synthesized by the data synthesizing means 405, and 407 denotes data transmission means for sending the output of the data editing means 406 as a data broadcast.
[0044]
In FIG. 4B, reference numeral 411 denotes the entire receiving side of the system, reference numeral 412 denotes data receiving means for receiving broadcast data having supplementary information, and reference numeral 413 denotes data for storing data received by the data receiving means 412. The storage means 414 extracts the elapsed time information synthesized on the transmission side from the data stored in the data storage means 413. The data supplementary information extraction means 415 measures the elapsed time (accompanying information) at the time of reproduction. Information measuring means, 416 is a video / audio signal reproducing means for reproducing video / audio without supplementary information after passing through the data supplementary information extracting means, and 417 is a video / audio based on the supplementary information extracted by the data supplementary information extracting means 414. The video / audio signal control means 418 controls the operation of the reproduction means 416 and the voice synthesis / reproduction means 418 (described later), and is designated by the transmission side 401 under the control of the video / audio signal control means 417. Speech synthesis reproduction means for reproducing and speech synthesis in synchronism with the video to the specified string, 419 denotes a video and audio display means for reproducing video and audio, such as a cathode ray tube and a speaker.
[0045]
Next, the operation of the embodiment of the present invention will be described together with examples shown in the drawings.
(Example of video / audio data transmission system according to claim 4 of the present invention)
FIG. 10 is an example showing the operation of the video / audio data transmission system according to the fourth embodiment of the present invention. As an example, it is assumed that an educational program for performing a test with a time limit is broadcast. In FIG. 10, 1001 represents a video flow during recording, 1002 represents transmission data in this system, and 1003 represents a video reproduction flow on the receiving side in this system. Reference numeral 1004 denotes a time axis, which indicates that time elapses from the left to the right in the figure.
[0046]
The operation will be described below with reference to FIG. 10, FIG. 4, and FIG. In the recorded video 1001, it is assumed that the video 1 and video 2 contain various notes about the test to be started, and that the test start signal is entered at the last part of the video 2. After that, a test with a time limit of 10 minutes was performed (assuming that the test needs to be signaled by voice 5 minutes before, 3 minutes before, and 1 minute before the test). Suppose it is in.
[0047]
In the conventional system, when the test is actually performed while reproducing the recorded video 1001, the reproduction is paused after the reproduction of the video 2 on the reproduction side, and then manually counted for 10 minutes. At this time, it is necessary to send a signal in real voice 5 minutes ago, 3 minutes ago and 1 minute ago. Then, after 10 minutes, the pause is canceled and playback of video 3 is started.
[0048]
Alternatively, in the case of a conventional system, a method of recording it as it is in real time for 10 minutes during the test can be considered. However, at this time, 10 minutes during the test is almost redundant.
[0049]
In the video / audio data transmission system according to claim 4 of the present invention (hereinafter referred to as the present system), as with the video / audio data transmission system according to claim 2 of the present invention, the auxiliary information recording means 403 of FIG. In this case, the elapsed time at the time of recording is recorded, and at this time, the elapsed time information at the start of video 3 recording is kept 10 minutes after the elapsed time at the end of video 2 recording, A time interval of 10 minutes between video 2 and video 3 is secured.
[0050]
Further, in the transmission data 1002 of FIG. 10, cues issued during the test are added to the incidental information as character strings 1 to 3. On the receiving side 411, the control unit 417 controls the voice synthesis / playback unit 418 according to the character strings 1 to 3 extracted by the data supplementary information extraction unit 414, and plays back necessary instructions in voice in synchronization with the elapsed time designation. It is possible. As a result, as shown in the playback video 1003, after the video 2 playback is finished, the voice instruction 1 is given 5 minutes later, the voice instruction 2 is given 8 minutes later, the voice instruction 3 is given 9 minutes later, and the playback of the video 3 is started 10 minutes later. .
[0051]
In other words, if this system is used, redundant video recording during a 10-minute test is eliminated on the transmission side, and video playback is paused / released at the start and end of playback testing on the reception side. Unnecessary video data transmission can be realized.
[0052]
(Embodiment 5)
FIG. 5 is a block diagram showing the operation of the video / audio data transmission system according to claim 5 of the present invention.
[0053]
In FIG. 5 (a), 501 is the entire transmission side of the system, 502 is a photographing means for recording video / audio to be transmitted, including a camera / microphone, 503 is an elapsed time when photographing with the camera / microphone 502 Auxiliary information recording means for recording information, 504 is a video / audio signal recording means for recording video / audio taken by the camera / microphone 502, 505 is a data synthesis means for synthesizing the recorded video / audio data and the auxiliary information 506 represents data editing means for omitting unnecessary portions of the video / audio data synthesized by the data synthesizing means 405, and 507 represents data transmission means for sending the output of the data editing means 506 as a data broadcast.
[0054]
In FIG. 5 (b), 511 is the entire receiving side of the system, 512 is a data receiving means for receiving data having broadcast supplementary information, and 513 is data for storing data received by the data receiving means 512. The storage means 514 extracts the elapsed time information synthesized on the transmission side and the external device control information from the data stored in the data storage means 513. The data supplementary information extraction means 515 is the elapsed time at the time of reproduction (supplied Attached information measuring means 516 for measuring information), and 516 is a video / audio signal reproducing means for reproducing video / audio without accompanying information, which has passed through the data-attached information extracting means 514.
[0055]
517 is an external device control means for controlling the external device based on the external device control information extracted by the data supplementary information extraction means 514, 518 is based on the elapsed time information (additional information) extracted by the data supplementary information extraction means 514, Reference numeral 519 denotes a video / audio display means for reproducing video / audio such as a cathode ray tube or a speaker.
[0056]
Next, the operation of the embodiment of the present invention will be described together with examples shown in the drawings.
(Example of video / audio data transmission system according to claim 5 of the present invention)
FIG. 11 is an example showing the operation of the video / audio data transmission system (hereinafter referred to as the present system) according to the fifth embodiment of the present invention. As an example, it is assumed that a piano practice program is broadcast. In FIG. 11, 1101 represents a video flow at the time of recording, 1102 represents transmission data in this system, and 1103 represents a video reproduction flow on the receiving side in this system. Reference numeral 1104 denotes a time axis, which indicates that time elapses from left to right in the figure.
[0057]
The operation will be described below with reference to FIG. 11, FIG. 5, and FIG. In the recorded video flow 1101 in FIG. 11, it is assumed that the first part of practice is recorded in video 1 and video 2, the actual exercise part is recorded in video 3, and the summary of practice is recorded after video 4. In addition to the reception environment, the data broadcasting receiver owns an electronic piano for practice as an external device, and this is properly connected to the external device control means 517 on the receiving side 511. Therefore, it is assumed that the keyboard lamp of the electronic piano is turned on (the connection method between the control means 517 and the external electronic piano is irrelevant to the essence of the present invention. Is omitted).
[0058]
In this system, in the incidental information recording means 503 on the transmission side 501, the position information of the keyboard of the electronic piano to be hit is recorded as piano data in synchronization with the practice video of video 3, and can be seen in the transmission data 1102 in FIG. As described above, the data synthesizing unit 505 synthesizes with the data of the video 3 to obtain transmission data.
[0059]
On the receiving side 511, the external device control unit 517 controls the electronic piano as an external device and synchronizes with the video by using the piano data extracted by the data supplementary information extraction unit 514 and the elapsed time information (synchronization data) as inputs. The position of the keyboard to be played is communicated to the receiver by lighting the keyboard lamp. As a result, in the playback video 1103, during the playback of the video 3, the keyboard of the electronic piano is lit in synchronization with the screen, and the piano practice of the receiver can be realized by playing along with this. That is, by using this system, it is possible to realize video / audio data transmission capable of controlling an external device owned by the receiver in synchronization with the video / audio signal.
[0060]
(Embodiment 6)
FIG. 6 is a block diagram showing the operation of the video / audio data transmission system according to claim 6 of the present invention.
[0061]
In FIG. 6A, 601 is the entire transmission side of the system, 602 is a photographing means for recording video / audio to be transmitted, including a camera / microphone, and 603 is a recording means when photographing with the camera / microphone 602. Information recording means for recording the moving distance of the camera, 604 is a video / audio signal recording means for recording the video / audio taken by the camera / microphone 602, and 605 is data for synthesizing the recorded video / audio data and the auxiliary information. A synthesizing unit 606 represents a data editing unit that omits unnecessary portions of the video / audio data synthesized by the data synthesizing unit 605, and 607 represents a data transmitting unit that transmits the output of the data editing unit 606 as a data broadcast.
[0062]
In FIG. 6 (b), 611 is the entire receiving side of the system, 612 is a data receiving means for receiving data having accompanying information broadcasted, and 613 is data for storing data received by the data receiving means 612. Storage means 614 is a data supplementary information extraction means for extracting supplementary information synthesized on the transmission side from the data stored in the data storage means 613. 615 is a measure of the distance traveled by the broadcast viewer during reproduction 616 is a video / audio signal reproducing means for reproducing video / audio without the auxiliary information output from the data auxiliary information extracting means, 617 is a movement during video recording extracted by the data auxiliary information extracting means 614 The video and audio signal control means 618 controls the operation of the playback means 616 by synchronizing the distance with the moving distance of the broadcast viewer measured by the auxiliary information measurement means 615. Representing the video and audio display means for playing video and audio, such as mosquitoes.
[0063]
Next, the operation of the embodiment of the present invention will be described together with examples shown in the drawings.
(Example of video / audio data transmission system according to claim 6 of the present invention)
FIG. 12 is an example showing the operation of the video / audio data transmission system according to the sixth embodiment of the present invention, and assumes a situation in which a travel guide program to be viewed while traveling in a car is data-broadcasted. In FIG. 12, 1201 represents a video flow during recording, 1202 represents transmission data in this system, and 1203 represents a video playback flow on the receiving side in this system. Reference numeral 1204 represents a (movement) distance axis, and indicates that the (movement) distance increases from the left to the right in the figure.
[0064]
The operation will be described below with reference to FIG. 12, FIG. 6, and FIG.
[0065]
Travel guide programs are useful for trips to unknown lands. People who visit an unknown land usually want to know as much as possible about that land. However, just watching a conventional television program does not show the place you want to see in real time, but plays the video as time progresses on the sending side. In addition, video displayed by a so-called car navigation system has a problem in terms of freshness of information.
[0066]
On the other hand, by using the system for recognizing the moving distance according to the present invention, it is possible to view a video that the user wants to see (video of a place he / she is currently visiting) in real time. In this example shown in FIG. 12, in the video flow 1201 at the time of recording, there are scenes of the departure from Kyoto station of video 1, the scene where Nishi Honganji of video 2 can be seen, and the scene where explanation of Nishi Honganji of video 3 begins. That's it. In this regard, let us consider the work on the side of making a video for a travel guide program.
[0067]
In order to create the broadcast video 1201 of FIG. 12, in the conventional method, only the place considered as the destination (Nishi Honganji in the example of FIG. 12) is focused by the video / audio photographing means 702 of FIG. Then, in order to keep the image within a predetermined broadcast time, the redundant part is deleted by the data editing means 706 in FIG. 7 (a). Therefore, in the conventional system, the redundant part is also omitted in the video during reproduction. On the other hand, from the standpoint of traveling by car, it is desirable that the video is broadcast at the place when it is visited. That is, it is desirable that the images 1, 2, 3, 4, and 5 in the image flow 1201 in FIG. 12 are broadcast according to the moving distance.
[0068]
In the video / audio data transmission system according to Embodiment 6 of the present invention, the moving distance from the start of video recording is recorded by the auxiliary information (moving distance) recording means 603 in FIG. The data synthesizing means 605 synthesizes the video / audio data to form the basis of the transmission data. For this reason, even in the subsequent data editing means 606, even if a portion that seems redundant is deleted (transmission data 1202 in FIG. 12), it is extracted by the data supplementary information extraction means 614 in FIG. In order to reproduce the video by synchronizing the moving distance information on the transmitting side and the actual moving distance on the viewer side measured by the moving distance measuring means 615 on the receiving side, even if the video is edited on the transmitting side. However, since the playback video proceeds in synchronization with the movement of the tourist, the tourist can proceed with sightseeing while continuing the playback.
[0069]
The operation on the playback side will be described again in detail. The video data received by the data receiving means in FIG. 6 (b) is converted into the moving distance information on the transmitting side and the video / audio information by the data supplementary information extracting means 614. Divided. On the other hand, the receiving side also measures the moving distance information from the start of reproduction by the moving distance measuring means 615, and these two moving distance information is input to the video / audio signal control means 617. The video / audio signal reproduction means 616 is controlled so that the movement distance can be synchronized. To synchronize two moving distances means that when the moving distance information on the transmission side is interrupted, the receiving side absorbs the difference in distance between the distance up to that point and the moving distance of the next video to be reproduced. .
[0070]
For example, in the playback video 1203 of FIG. 12, video 1, video 2, and video 3 are continuous as video signals, but the moving distance as supplementary information is interrupted. When the reproduction of the video 1 synchronized with the travel distance of the tourist is finished, the control means 617 tries to start the playback of the next video 2. At this time, the tourist's measurement measured by the travel distance measurement means 615 If the moving distance has not reached the incidental information (moving distance) at the start of video 2, playback is paused. Thereafter, when the travel distance of the tourist matches the travel distance information at the start of the video 2, playback is started. By performing this control in the transmission system, the viewer can match the video of Kyoto sightseeing with the place where he / she is visiting without being aware of the control of the playback video.
[0071]
In the data transmission system of the present invention, the data propagation medium from the transmission side to the reception side is not particularly specified regardless of whether it is wired or wireless. The video / audio data transmission system of the present invention is not limited to the above-described illustrated examples, and various modifications can be made without departing from the scope of the present invention.
[0072]
【The invention's effect】
As described above, according to the video / audio data transmission system according to the first to sixth aspects of the present invention, reproduction is synchronized with the auxiliary information of the video / audio at the time of recording by including the auxiliary information in the transmission data. can do. By making this incidental information one of elapsed time information, repetition information, synthesized speech character string, external device control information, or a combination of these, various operations are not imposed on the data broadcast viewer. It is possible to achieve an excellent effect of realizing video / audio reproduction corresponding to the broadcast program content of the nature.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a video / audio data transmission system according to Embodiment 1 of the present invention;
FIG. 2 is a block diagram showing a configuration of a video / audio data transmission system according to a second embodiment of the present invention;
FIG. 3 is a block diagram showing a configuration of a video / audio data transmission system according to Embodiment 3 of the present invention;
FIG. 4 is a block diagram showing a configuration of a video / audio data transmission system according to Embodiment 4 of the present invention;
FIG. 5 is a block diagram showing a configuration of a video / audio data transmission system according to a fifth embodiment of the present invention;
FIG. 6 is a block diagram showing a configuration of a video / audio data transmission system according to Embodiment 6 of the present invention;
FIG. 7 is a block diagram showing a configuration of a video / audio data transmission system in a conventional example.
FIG. 8 is a diagram illustrating an example of a video / audio data transmission system according to a second embodiment;
FIG. 9 is a diagram illustrating an example of a video / audio data transmission system according to a third embodiment;
10 is a diagram showing an example of a video / audio data transmission system in Embodiment 4. FIG.
11 shows an example of a video / audio data transmission system in Embodiment 5. FIG.
12 is a diagram illustrating an example of a video / audio data transmission system in Embodiment 6. FIG.
[Explanation of symbols]
101 Sender
102 Video / audio photographing means
103 Attached information recording means
104 Video / audio signal recording means
105 Data composition means
106 Data editing means
107 Data transmission means
111 Receiver
112 Data storage means
113 Data receiving means
114 Data supplementary information extraction means
115 Attached information measuring means
116 Video / audio signal reproduction means
117 Video / Audio Signal Control Means
118 Video / audio display means
203 Attached information (elapsed time) recording means
215 Additional information (elapsed time) measuring means
303 Attached information (repeat information) recording means
418 Speech synthesis reproduction means
517 External device control means
603 Auxiliary information (movement distance) recording means
615 Auxiliary information (movement distance) measuring means
801 Conventional broadcast playback flow
802 Transmission data in this system
803 Video playback flow on the receiving side in this system
804 time axis
901 Video flow during recording
1204 Travel distance axis

Claims

Video / audio signal recording means for recording video and audio signals as video / audio data;
Shooting time elapsed time information recording means for recording shooting time elapsed time information corresponding to the video and audio data recorded by the video / audio signal recording means;
Data combining means for combining said video and audio signals recorded by the recording means the audio and visual data and the shooting time lapse information recording means recorded shooting elapsed time information,
To partition the output of said data synthesizer means in chronological Classification, the division has been taken out of any segment from a plurality of sections, and a data editing means for time-sequentially connecting any partitioning taken out above,
Data transmission means for transmitting the output of the data editing means as a data broadcast;
A transmitter comprising:
Data receiving means for receiving a data broadcast from the data transmitting means on the transmitting side;
Data storage means for storing data received by the data receiving means;
Data shooting elapsed time information extracting means for extracting shooting time elapsed information and video / audio data from the data stored in the data storage means;
And playback elapsed time information measuring means for measuring the elapsed time information at the time of reproduction,
Synchronized with the data captured during the elapsed time information extraction means with the extracted photographing elapsed time information and the playback elapsed time information measuring unit in the measuring reception side reproduction elapsed time information, the time-series manner When playing back the first segment that is the connected segment and the second segment that follows, the elapsed time information at the time of shooting at the end of shooting of the first segment and the time of shooting at the start of shooting of the second segment When there is a time difference between the elapsed time information and the elapsed time information, the playback time elapsed time information at the start of playback of the second section after the time difference has elapsed from the playback time elapsed time information at the end of playback of the first section. Video / audio signal control means for setting and controlling the operation of the video / audio signal reproduction means to be described later so as to start the reproduction of the second section based on the elapsed time information at the time of reproduction start ,
Under the control of the video / audio signal control means, video / audio signal reproduction means for reproducing the video / audio data output from the data shooting elapsed time information extraction means,
A receiving side comprising:
A video / audio data transmission system.