JP6921966B2 - 物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステム - Google Patents

物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステム Download PDF

Info

Publication number
JP6921966B2
JP6921966B2 JP2019541180A JP2019541180A JP6921966B2 JP 6921966 B2 JP6921966 B2 JP 6921966B2 JP 2019541180 A JP2019541180 A JP 2019541180A JP 2019541180 A JP2019541180 A JP 2019541180A JP 6921966 B2 JP6921966 B2 JP 6921966B2
Authority
JP
Japan
Prior art keywords
image data
image
video
physical display
viewer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019541180A
Other languages
English (en)
Other versions
JP2020505869A (ja
Inventor
ハンス−ペーター ボル
ハンス−ペーター ボル
ブラウン マックス フォン
ブラウン マックス フォン
Original Assignee
アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー
アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP17153512.3A external-priority patent/EP3355586A1/en
Application filed by アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー, アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー filed Critical アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー
Publication of JP2020505869A publication Critical patent/JP2020505869A/ja
Application granted granted Critical
Publication of JP6921966B2 publication Critical patent/JP6921966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

本発明は、物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステムに関する。
発光ダイオード(LED)ディスプレイ等のアクティブ・ディスプレイは、視聴者に情報または広告を伝える広告掲示板または看板として広く使用されている。通常、その種のディスプレイは、スポーツまたはエンターテインメントのイベントに使用される。その結果として、テレビジョン放送(TV)またはビデオ・ストリームの中にしばしばその種のディスプレイが現れることになるが、それらは、非常に多様な異なる視聴者、すなわち典型的な例としては、異なる母国語または異なる文化的背景を伴う異なる国々の視聴者に指向される。これらのディスプレイ上に示される情報/広告のねらいをそれらの視聴者の特定のサブセットに定めるために、テレビジョン放送またはビデオ・ストリームを介してディスプレイを見る視聴者の間でディスプレイのコンテンツを変える方法がすでに開発されている。たとえば、特許文献1は、広告チャンネルのねらいを定めた広告をグループ化するための方法および装置を記述している。
より優雅なアプローチは、ビデオ・シーケンスの統合された部分として広告を挿入すること、たとえば、ビデオ・シーケンスの中で示される広告掲示板上に広告を表示することである。特許文献2は、ビデオ画像内の広告掲示板の自動的な電子的置換のための装置を記述している。同様に、特許文献3は、テレビジョン放送システムにおいて使用するための電子広告掲示板置換システムを記述している。しかしながら、良好な印象を作り出し、かつ合成画像の自然な見え方を維持するために、広告を、ビデオ・シーケンス内の残りのシーンに適応させる必要がある。通常、このアプローチは、良質な結果を獲得するために人間の介入を必要とする。概して言えば、これらの電子またはソフトウエア・ベースのアプローチは、視聴者の経験が配慮されない限り、特に、放送スキームが広告掲示板を部分的に覆い隠す動的なシーンを伴うとき、しばしば満足の得られるものとはならない。
特許文献4には、テレビジョン放送においてディスプレイのコンテンツを視聴者の間で変えることを可能にする方法が記述されている。この先行技術文献は、複数の視聴者が、単一のビデオ・ディスプレイ上に同時に表示されるいくつかのビデオ・ストリームのうちの1つを見ることを可能にする方法を記述している。しかしながら、視聴者が、そのディスプレイ上に示されるビデオ・ストリームのうちの1つと同期されたシャッタ観察眼鏡を使用することが要求される。その種のシステムは、ディスプレイ自体がテレビジョン放送されることに適してない。
これらの問題点は、特許文献5に記述されている解決策によって緩和される。この先行技術文献は、テレビジョン放送内のシーンの部分として現れる物理ディスプレイのコンテンツを、テレビジョン放送の異なる視聴者の間において変化させるための方法およびデバイスを記述している。ディスプレイのコンテンツは、イベント、たとえばスポーツ・イベントにいる視聴者に指向される直接視聴者ディスプレイ画像およびテレビジョン視聴者に指向される放送視聴者ディスプレイ画像を包含する。物理ディスプレイは、2つ以上の時間的にインターリーブされるデータ・コンテンツ・インスタンスを表示し、それにおいて放送視聴者のためのディスプレイ画像は、前記データ・コンテンツ・インスタンスのうちの1つを示すために同期される。カメラが、看板等の物理ディスプレイを含むイベントのシーンの記録に使用され、カメラと看板の同期にコントロール・システムが使用される。すべての異なるデータ・コンテンツ・インスタンスを包含するカメラによって記録されたビデオ・ストリームがデマルチプレクサに供給され、それが、物理ディスプレイ上に示される特定のデータ・コンテンツ・インスタンスに対応する個別のフィードを生成する。特許文献5に記述された方法およびシステムは、看板に表示される各画像を取り込むことがカメラに要求されることから、テレビジョンまたはビデオ放送のために使用される通常のフレーム・レートよりはるかに高いフレーム・レートでの記録を可能にする専用カメラ・テクノロジを必要とする。個別のビデオ・フィードを生成するデマルチプレクサの計算処理能力もまた、相応じて高くなければならない。このように、特許文献5に記述された方法は、新しい専用の器材を必要とし、スポーツおよびエンターテインメント・イベントにおいてその種のテクノロジを設定するための相応じたコストは高い。それに加えて、特許文献5の方法を用いると、画像が示される時間間隔が非常に短く、視聴者が画像コンテンツを意識的に知覚することができない場合でさえ、放送視聴者のための専用画像の挿入が結果として不安定な看板のちらつきをもたらすことから、イベントの直接視聴者の視聴経験が減じられる。
米国特許出願公開第2002/0144263号明細書 英国特許出願公開第2305051号明細書 英国特許出願公開第2305049号明細書 国際公開第2005/112476号パンフレット 国際公開第2007/125350号パンフレット
したがって、本発明の技術的な課題は、物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための、既存のカメラおよびディスプレイ・テクノロジに基づくことが可能な方法およびシステムを提供し、それによって本発明の方法が、世界中の多くのスポーツおよびイベント・アリーナにおいて容易かつコスト効果的に展開されることを可能にすることとする。それに加えて、本発明の方法は、イベントの直接視聴者のためのユーザ経験も同様に向上させるものとする。
この技術的な課題は、請求項1の方法によって解決される。本発明の方法の好ましい実施態様は、従属請求項の対象となる。
したがって、本発明は、物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法に関し、当該方法は、
画像データの各セットが個別の画像のシーケンスを包含する、画像データの少なくとも2つの異なるセットを生成することと、
画像データの前記少なくとも2つのセットの画像を前記物理ディスプレイ上にタイムスライス多重化態様で表示することと、
前記物理ディスプレイを含むシーンの少なくとも1つのビデオ・ストリームを生成することであって、前記ビデオ・ストリームが、前記物理ディスプレイ上の画像データの前記少なくとも2つのセットのうちの1つの画像の表示と同期して取り込まれたビデオ・フレームからなるとすることと、
前記ビデオ・ストリームを前記視聴者のサブセットに送信することと、
を包含し、画像データの少なくとも1つのセットが、画像および反転画像のシーケンスを包含する。
本発明の方法は、物理ディスプレイ上に示される画像データの少なくとも2つの異なるセットのうちの1つに、視聴者のサブセット、たとえば、実際にスポーツ・スタジアムに入る来訪者(直接視聴者)によって直接見られることが意図され、画像データの追加のセットに、視聴者の1つまたは複数の異なるサブセット(放送視聴者)によってビデオ・ストリームとして見られることが意図されている場合に特に有利である。
したがって、異なる画像データの少なくとも2つのセットが、前記物理ディスプレイ上においてユーザの1つのサブセット(直接視聴者)によって直接見られることになる画像データのセットを包含する。
注意を要するが、当然のことながら、本発明においては、直接視聴者のために意図されたものではないあらゆる画像をブロックするシャッタ眼鏡またはその類を直接視聴者が使用しないことから、物理ディスプレイ上に示されるすべての画像データは、直接視聴者によって見られることになる。むしろ、本発明の方法においては、直接視聴者のために意図された画像のセットを直接視聴者が人間の目の生理学的制約に従って知覚可能となるように画像データの異なるセットのフレームのフレーム・レートおよび表示期間が選択され、一方、放送視聴者のみによって知覚されることになる前記ビデオ・ストリームを介して送信されることが意図された画像のほかのサブセットは、物理ディスプレイ上を直接見るときには、それらが人間の目によって知覚されないが、それにもかかわらずビデオ・カメラが前記画像を取り込むことが可能であるように選択されたフレーム・レートおよび画像表示期間を有する。
国際公開第2007/125350号パンフレットに記述された先行技術の方法においては、ビデオ・ストリーム送信のみのために意図された画像を物理ディスプレイ上において直接視聴者が意識的に知覚することが可能でない場合でさえ、それにもかかわらず、それらの画像が強度および/または色の変動を物理ディスプレイ上に生成し、それが、直接視聴者のための画像の提示と干渉して直接視聴者の経験を乱す可能性がある。
先行技術とは対照的に、本発明によれば、異なる画像データの前記少なくとも2つのセットのうちの画像データの少なくとも1つのセットが画像および反転画像のシーケンスを包含することが提案される。画像および反転画像を包含する画像データの前記セットの画像は、ビデオ・ストリームを介して視聴者のサブセットに、すなわち、放送視聴者に送信されることが意図されており、直接視聴者によって意識的に知覚されない。画像データの前記セットの反転画像は、ビデオ・ストリームの生成時に取り込まれないが、そのビデオ・ストリームを生成するべく取り込まれた対応する画像の少し前または後に物理ディスプレイ上に表示される。取り込まれるべき画像と対応する反転画像の表示の間の時間期間は、それらの画像が、人間の目、すなわち物理ディスプレイの直接視聴者の目によって解像可能でないように充分に短くする必要がある。したがって、直接視聴者は、ビデオ・ストリームのために意図された画像と対応する反転画像の平均画像を知覚し、その結果、物理ディスプレイの直接視聴者が経験する強度および/または色の変動が低減される。
本発明の好ましい実施態様においては、画像データのセットの各先行および/または後続画像の反転画像が、組み合わされた画像と反転画像が結果として均質な強度および/または均質なグレイ値を有する、直接視聴者に知覚される画像をもたらすような態様で生成される。したがって、直接視聴者にとっての強度または色の変動をさらに減ずることが可能になる。
1つの実施態様においては、ビデオ・ストリーム内において送信されることが意図された各画像のために反転画像が生成される。この実施態様においては、画像および対応する反転画像が直接連続して物理ディスプレイ上に表示される。1つの実施態様においては、対応する画像に基づいて、たとえば、(たとえば、各色値RGBについての)最大強度値と、ビデオ・ストリームを介して送信されるべき画像についての対応する強度値(RGB)の間の差(ImaxR,G,B−IimageR,G,B =Icomp.imageR,G,B)を計算することによって、反転画像が生成される。物理ディスプレイ(たとえば、LEDディスプレイ)上の強度がパルス幅変調(PWM)によって生成される場合には、LEDの電流/強度特性またはグラデーション設定のいずれも反転画像の生成に影響を与えないことから、完全な反転または相補画像を生成することが可能である。別の実施態様においては、計算された反転画像が、さらに、時間的な減衰率によって修正され、その後に続く反転画像の間における突然の強度変化を回避し得る。
本発明の1つの実施態様においては、画像データの1つより多くのセットの先行および/または後続画像の反転画像は、前記1つより多くのセットの画像データと対応する反転画像が組み合わされた画像が結果として均質な強度および/または均質なグレイ値を有する知覚される画像をもたらすように生成される。この実施態様においては、画像データの1つより多くのセットの画像のための反転画像が生成される。したがって、送信しなければならない反転画像が少なくなり、より多くの時間スロットがビデオ・ストリームのための画像を送信するために利用可能になる。より多くの画像の組み合わせは、さらに、反転画像の効果が適用される前の初期平均を結果としてもたらすことが可能である。しかしながら、組み合わされることになる画像の強度が合計されることもあるため、結果として得られる反転画像によって補償されるべき最大強度値が増加する。したがって、この実施態様においては、基礎となる実画像の強度より反転画像の可能強度が高くなることから、LEDの電流/強度特性もまた考慮に入れる必要がある。
本発明の方法の1つの実施態様においては、反転画像が、前記物理ディスプレイ上においてユーザの前記サブセットによって直接見られることになる画像データの前記セットからの画像データを含めることによって生成される。したがって、物理ディスプレイ上に表示される反転画像は、直接視聴者によって見られることになる画像データと、1つまたは複数のビデオ・ストリームを介して放送される画像に適応する補正画像データの組み合わせを包含する。この実施態様においては、より低い強度を用いて補正画像データをLEDディスプレイ上に表示することが可能になるように、直接視聴者によって見られることになる画像と同じ長さで補正画像データを表示することが可能である。それでもなお、LEDの電流/強度特性を考慮に入れなければならない。
1つの実施態様においては、異なる画像データの前記少なくとも2つのセットのうちの少なくとも1つは、モノクローム画像データのセットを包含することが可能である。したがって、物理ディスプレイ上のモノクローム画像が環境内の物理ディスプレイの場所の識別に使用され、適切な画像処理テクノロジを介して、ビデオ・ストリームの視聴者によって見られることになるコンテンツによってモノクローム画像が置き換えられるソフトウエア・ベースのソリューション(キーイング・テクノロジ)のためにこの方法を採用することも可能である。
この実施態様においては、モノクローム画像データに基づいて反転画像を生成することが可能である。したがって、色つきフラッシュが直接視聴者によって知覚される従来的なキーイング・テクノロジとは対照的に、対応する反転画像の挿入は、直接視聴者にとって迷惑な注意散漫を回避する。
本発明の方法の1つの実施態様においては、直接視聴者のための画像データのセットが、放送視聴者のための画像データのセット(または、セットのそれぞれ)より高いフレーム・レートにおいて提示される。いわゆる『ちらつき融合スレッショルド』(または、ちらつき融合レート)、すなわち、平均的な人間の観察者にとって間欠的な光刺激が完全に一様に見える周波数は、ほかのパラメータの中でもとりわけ、変調の周波数、変調の振幅または深度(すなわち、照度強度におけるピークの値からの減少の最大パーセント)および平均(または、最大)照度によることが生理学から知られている(フェリー・ポーターの法則)。したがって、本発明の方法においては、直接視聴者のための画像データが放送視聴者のための画像データによって反復的に割り込まれるが、直接視聴者のための画像データがより高い周波数で物理ディスプレイに示されるとき、ちらつきを減ずることが可能である。したがって、所定のフレーム・レートについて、直接視聴者のための画像データの各フレームを、物理ディスプレイ上に複数回にわたって表示することが可能であり、たとえば、直接視聴者のための画像データの各フレームを、放送視聴者のための画像データの各フレームの前および/または後の複数の時間スロットの中で示すことが可能である。
本発明によれば、物理ディスプレイ上に示される画像データの少なくとも2つの異なるセットが、静止画または動画、たとえばフィルムを包含することが可能である。物理ディスプレイ上に静止画が示されるときには、画像データの1つのセットの画像が本質的にまったく等しくなる。画像データの1つのセットがフィルムを包含するときには、動きのあるシーケンスが表示されるように、画像データの1つのセットの画像が互いに異なってもよい。したがって、以下の説明においては、ビデオ・ストリームおよびテレビジョン放送という用語が、相互交換可能に使用され、追加のオーディオ・データを伴うか、または伴わない静止画、動画、ビデオを含め、画像データを視聴者に伝えるための多様なスキームを含むことが意図される。
本発明によれば、物理ディスプレイを含むシーンの少なくとも1つのビデオ・ストリームが、通常、ビデオ・カメラを用いてそのシーンを記録することによって生成される。ビデオ・カメラは、ビデオ・ストリームが、物理ディスプレイ上の画像データの前記少なくとも2つのセットのうちの1つの画像の表示と同期して取り込まれるビデオ・フレームから構成されるような態様でトリガされる。したがって、文献国際公開2007/125350号パンフレットに記述されている方法とは対照的に、ビデオ・カメラが、物理ディスプレイ上に示される画像データの全セットの全画像を取り込む必要はなく、物理ディスプレイ上に示される画像データのセットのうちの1つの画像だけでよい。したがって、本発明の方法において使用されるビデオ・カメラの最小フレーム・レートは、画像データの1つのセットのフレーム・レートと同じ高さで足りる。その結果、この分野で周知の従来的なビデオ・カメラを本発明の方法に採用することが可能になる。
この出願の意味において『画像データのセット』は、視聴者の1つの特定のサブセットに示される画像(静止画またはフィルム)に対応する。本発明によれば、画像データの少なくとも2つのセットが物理ディスプレイ上に示され、画像データの前記2つのセットのうちの1つのセットを包含する少なくとも1つのビデオ・ストリームが生成される。もっとも単純な形式において、本発明の方法は、イベントの直接視聴者、たとえば、スポーツまたはエンターテインメント・イベントに実際にいる視聴者のために意図された画像データの1つのセットを包含する。画像データの第2のセットは、ビデオ・ストリームの視聴者に指向される。より一般的に述べれば、物理デバイス上に示される画像データのセットが直接視聴者のための画像データを含む場合には、生成されるビデオ・ストリームの数が、画像データのセットの数から1を減じた値に対応する。
本発明の1つの実施態様においては、『画像データのセット』が、ブランク画像、すなわち物理ディスプレイ上に画像がまったく表示されない時間間隔をまた含み得る。これは、たとえば、イベントの直接視聴者または、サッカーもしくはバスケットボールのプレーヤ等のイベントの参加者が、物理ディスプレイ上に示されるコンテンツによって、すなわち、この実施態様においてはビデオ・スクリーンを介して放送視聴者だけに送信される広告によって注意散漫になることがあってはならない場合に望ましいとし得る。
本発明の別の実施態様においては、『画像データのセット』が、従来的なソフトウエア・ベースのキーイング・テクノロジを使用してビデオ・ストリーム内における物理ディスプレイのエリア内に所望の広告を挿入するためにビデオ・ストリーム内における物理ディスプレイの場所の識別に使用することが可能なモノクローム着色されたフレームを包含し得る。
本発明のさらに別の実施態様においては、直接視聴者のための画像データの専用セットがまったく必要なく、ビデオ・スクリーンの数が物理ディスプレイ上に示される画像データのセットの数に対応する。その結果、物理デバイス上に表示される画像データの各セットのためにビデオ・ストリームが生成される。本発明は、最先端ビデオ・カメラ・テクノロジを使用して実装することが可能であり、各ビデオ・ストリームのために専用ビデオ・カメラが使用される。したがって、視聴者の全サブセットのためのすべての画像データを包含する単一のビデオ・ストリームの逆多重化が、本発明の方法の実装時には必要とされない。
本発明の方法の好ましい実施態様によれば、画像データの前記少なくとも2つのセットのうちの1つの画像の表示と同期して取り込まれるビデオ・フレームからなるビデオ・ストリームが、同時に生じる、前記物理デバイス上の画像データの前記少なくとも1つのセットの画像の表示と画像データの前記セットに関連付けされたビデオ・ストリームのビデオ・フレームの取り込みをトリガする同期信号を生成することによって達成される。たとえば、画像データの特定のセットの特定の画像の表示をトリガするトリガ・インパルスが物理ディスプレイの画像バッファに送信され、ビデオ・カメラによるシーンのビデオ・フレームの取り込みをトリガする同時発生のインパルスがビデオ・カメラに送信される。
本発明の1つの実施態様においては、前記物理ディスプレイを含むシーンの少なくとも1つのビデオ・スクリーンが、単一カメラ・ユニットを用いて高フレーム・レートで前記シーンの高フレーム・レート・ビデオ信号を記録することによって生成され、前記高フレーム・レートは、標準フレーム・レートの整数倍になる。従来的なプロフェッショナル・ビデオ放送テクノロジにおいては、カメラ・ユニットがカメラ・コントロール・ユニット(CCU)によってコントロールされ、カメラ・ユニットからのビデオ信号が直接CCUに送信されている。本発明のこの実施態様の文脈においては、カメラからのビデオ信号が、カメラ・ユニットとCCUの間に配された中間処理ユニットに送信される。中間処理ユニットは、カメラから到来する前記高フレーム・レート・ビデオ信号のための入力、および複数のビデオ出力を有する少なくとも1つの接続ユニットを包含し、それにおいて前記複数のビデオ出力の数は、少なくとも、高フレーム・レート・ビデオ信号が生成される標準フレーム・レートの前記整数倍に対応する。中間処理ユニットにおいては、前記高フレーム・レートの入力ビデオ信号の連続するフレームをビデオ出力の前記整数の連続するビデオ出力に循環して送信することによって、高フレーム・レート・ビデオ信号を標準フレーム・レート・ビデオ信号に変換することが可能である。したがって、標準フレーム・レートに対応する時間期間内の前記高フレーム・レート・ビデオ信号の各フレームが、同一の物理的なビデオ出力に送信される。したがって、前記整数のビデオ出力の1つにおいて、標準フレーム・レートの前記少なくとも1つのビデオ・ストリームを獲得することが可能である。
『標準フレーム・レート』という用語は、1つのチャンネル、すなわち物理的なビデオ出力のうちの1つからのビデオ信号が送信されるフレーム・レートを意味する。1つの実施態様においては、標準フレーム・レートが、視聴者にビデオ信号が送信されるフレーム・レートに対応する。これらの場合においては、標準フレーム・レートが、通常、25Hzまたは50Hzまたは60Hz(すなわち、毎秒25フレーム、毎秒50フレーム、または毎秒60フレーム)のいずれかになる。別の実施態様においては、標準フレーム・レートを、スローモーション・フレーム・レート、たとえば、150Hz(毎秒150フレーム)または180Hz(毎秒180フレーム)のフレーム・レートにすることが可能である。これらの実施態様においては、少なくとも1つのビデオ・ストリームのそれぞれが、すでにスローモーション・ビデオ信号を包含することになる。これらの信号は、通常、中程度のスローモーション信号になり、たとえば、150Hzは、50Hzのテレビジョン・スクリーンにおいて再生される場合に3倍の遅さの動きを結果としてもたらす。
『整数倍』という用語は、標準フレーム・レートから高フレーム・レートを導出するための整数をいう。この数、すなわち整数倍は、好ましくは4と32の間を包含する。たとえば、標準フレーム・レートが50Hzに対応する場合には、整数倍を4とすると、カメラ・ユニットが4×50Hz=200Hzの高フレーム・レートにおいてオリジナルのビデオ信号を取り込むことになる。この例においては、高フレーム・レート・ビデオ信号の各4つの連続するフレームが、4つの異なる物理的なビデオ出力に連続的に循環して送信されることになる。
本発明の特に好ましい実施態様においては、中間処理ユニットが、商的に入手可能なベースバンド処理ユニットになる。
商的に入手可能なベースバンド処理ユニットは、カメラ・ユニットから高解像度(たとえば、4K)および/または高フレーム・レート(たとえば、100Hz、150Hz、200Hz、400Hz、800Hz等)の入力ビデオ・ストリームを受信するビデオ入力を有し、入力ビデオ・ストリームを1つより多くの3G−SDIまたはHD−SDIビデオ・ストリームに変換するためのビデオ・プロセッサを包含する。したがって、ベースバンド処理ユニットは、標準3G−SDIまたはHD−SDI出力として構成された対応する数のビデオ出力を包含し、たとえば、4Kカメラ・ユニットを、局外バンの標準SDI器材またはスポーツ・スタジアムにおいてすでに利用可能なSDI器材に接続することを可能にする。
従来的なSDI器材の帯域幅要件に応じるために、商的に入手可能な中間処理ユニットが、通常、意外にも、4Kの高フレーム・レート・ビデオ信号の連続するビデオ・フレームが循環態様で中間処理ユニットの連続する物理的なビデオ出力に送信されるような方法で構成されていることがわかった。たとえば、50Hzの標準フレーム・レート・ビデオ信号の単一フレームの時間間隔の間に記録される200Hzの高フレーム・レート・ビデオ信号の各4つのフレームが、中間処理ユニットの4つの連続する個別のビデオ出力に送信される。したがって、好ましい実施態様においては、ベースバンド処理ユニットが少なくとも1つの4K高フレーム・レート・ビデオ入力および少なくとも3G−SDIおよび/またはHD−SDIビデオ出力を包含する。
注意しなければならないが、出力の数を、上で述べた整数倍より高くすることは可能である。たとえば、中間処理ユニットは、各ビデオ信号のために2つの物理的な出力を包含することが可能であり、たとえば、各フレームを2つのビデオ出力に送信し、それにより異なるビデオ処理経路を介して同一のビデオ信号を処理することを可能にできる。
特定の実施態様においては、ベースバンド処理ユニットが、カメラ・ユニットとカメラ・コントロール・ユニットの間に配される。一般にプロフェッショナル・カメラ・ユニットは、専用カメラ・コントロール・ユニット(CCU)を介してコントロールされる。HDカメラ・ユニットは、通常、それの専用HD−CCUを有し、同様に4Kカメラ・ユニットは、それの専用4K−CCUを有する。コストを下げるため、および共通運用性のために、Sony Corporation(ソニー・コーポレーション)等のカメラ製造者は、第1の接続ユニットおよび第2の接続ユニットを包含する『ベースバンド処理ユニット』(BPU)を意味する中間処理ユニットを開発した。第1の接続ユニットは、空間方向および/または時間方向に第1の分解能を有するカメラ・ユニットに接続される。第2の接続ユニットは、空間方向および/または時間方向に第2の分解能を有するカメラ・コントロール・ユニットに接続される。中間処理ユニットは、第1の接続ユニットと第2の接続ユニットの間に介挿される情報ブリング・ユニットを包含する。情報ブリッジ・ユニットによって、カメラ・ユニットとカメラ・コントロール・ユニットの間において交換される情報がブリッジされる。たとえば、情報ブリッジ・ユニットは、カメラ・ユニットから第1の接続ユニットに入力された第1の解像度のビデオ信号を、第2の解像度のビデオ信号に変換し、その信号を第2の接続ユニットに出力できる。この場合において、情報ブリッジ・ユニットは、第1の解像度のビデオ信号に対してカメラ信号処理を、カメラ・ユニットから第1の接続ユニットに入力される第1の解像度のビデオ信号が第2の解像度のビデオ信号に変換される前に実行することができる。その結果として、4K解像度のカメラをHDカメラ・コントロール・ユニットに接続することが可能になる。
代表的な中間処理ユニットが、米国特許第9,413,923号の中に記述されている。その種の中間処理ユニットには、たとえば、Sony Corporation(ソニー・コーポレーション)によって商品化された、たとえば、ベースバンド処理ユニットBPU 4000またはBPU 4800がある。本質的にこれらのSony(ソニー)デバイスは、4Kカメラ・ユニットをHDカメラ・コントロール・ユニットとともに運用すること、およびSDI出力を介して高フレーム・レートの4K信号を送信することを可能にする。SDIチャンネルが、高フレーム・レートの4K信号の帯域幅要件を満たさないことから、高フレーム・レートの4Kを送信するために、上に述べた態様でいくつかのSDI出力を組み合わせることをBPUが可能にする。
このほかの会社も類似する器材を提供している。たとえば、カナダ、モントリオールのGrass Valley(グラス・バレー)によって商品化されているXCU UXF/XFファイバ・ベース・ステーションも同様に本発明の処理に使用することが可能である。
したがって、本発明は、少なくとも、カメラ・ユニットからの高解像度および/または高フレーム・レート・ビデオ信号のための入力を有する第1の接続ユニット、高解像度および/または高フレーム・レートの入力ビデオ信号を1つより多くの、たとえば4つ以上の、3G−SDIまたはHD−SDIビデオ・ストリームに変換するためのビデオ・プロセッサ、および少なくとも2つの3G−SDIおよび/またはHD−SDIビデオ出力を上で述べた方法において包含する4Kベースバンド処理ユニット等の中間処理ユニットの使用にも指向される。
好ましくは、中間処理ユニットが、少なくとも、カメラ・コントロール・ユニット、たとえばHDカメラ・コントロール・ユニットを接続するための第2の接続ユニットをさらに包含する。
好ましくは、中間処理ユニットが、少なくとも8、特に好ましくは少なくとも16の3G−SDIおよび/またはHD−SDIビデオ出力を包含する。いずれの場合においても、ビデオ出力の数は、標準フレーム・レートを高フレーム・レートのカメラ・ユニットに関係させる整数倍に等しいか、それより大きい。
特に好ましくは、中間処理ユニットが、Sony BPU 4000またはSony BPU 4800等のSony(ソニー)の4Kベースバンド処理ユニット、またはXCU UXF/XFファイバ・ベース・ステーション等のGrass Valley(グラス・バレー)のファイバ・ベース・ステーションになる。
本発明の1つの実施態様においては、少なくとも2つのビデオ・ストリームが、前記物理ディスプレイ上に表示される画像データの少なくとも2つのセットのために生成される。
別の好ましい実施態様においては、前記物理ディスプレイ上に表示される画像データの各セットのためにビデオ・ストリームが生成される。
1つより多くのビデオ・ストリームが生成されるとき、これらのビデオ・ストリームを送信するための帯域幅要件が、特にこれらのビデオ・ストリームがHD、4K、および/またはスローモーション・コンテンツを含む場合に実質的に高くなる。しかしながら、本発明の方法においては、ビデオ・ストリームが、ビデオ・ストリーム内に記録される物理ディスプレイのコンテンツ、および異なるビデオ・ストリーム内の対応するフレームが、採用された高フレーム・レートのカメラ・ユニットのフレーム・レートに従って特定の遅延を伴って記録されるという事実に帰する記録されるシーン内の、軽微ではあるが、動きの効果においてだけ異なる。したがって、異なる出力チャンネル内のフレーム間におけるデルタ・エンコーディング、または完全ビデオ情報を用いて1つの出力チャンネルのビデオ信号の転送を可能にする一方、オリジナルのチャンネル信号の再構成を可能にする差分データだけがほかのビデオ・チャンネルのために送信される動き補償テクニックといった従来的なビデオ圧縮テクニックを使用することが可能である。送信されるデータの量を低減するために変換エンコーディング等の従来的な圧縮テクニックをこのチャンネルに適用することも可能であるため、『完全に』送信されるビデオ・チャンネル自体が無圧縮ビデオ信号でなければならない必然性はない。
好ましくは、同期信号が、ビデオ・ストリームのフレーム・レート、たとえば上で定義した標準フレーム・レートに対応するマスタ・クロックに基づく。ビデオまたはフィルム制作に使用される任意の従来的なフレーム・レートを採用することが可能である。たとえば、50pビデオ・ストリーム(毎秒50フル・フレーム)が生成される場合には、50Hzのマスタ・クロックを採用することが可能である。
通例に従えば、マスタ・クロック信号が、直接またはCCUを介するかのいずれかでカメラ・ユニットに供給される。
複数の異なるビデオ出力の生成に単一のカメラ・ユニットだけが使用される本発明の実施態様においては、マスタ・クロック信号が、物理ディスプレイ上に表示されることになる画像データを受信し、かつ上で定義した、カメラ・ユニットがビデオ信号を記録する高フレーム・レートに対応するレートでトリガ信号を生成するインターフェースに供給される。画像データは、このトリガ信号に従って物理ディスプレイ上に表示される。
各ビデオ・ストリームのために専用のカメラ・ユニットが使用される別の好ましい実施態様によれば、マスタ・クロックが使用されて、画像データの各個別のセットのための専用のスレーブ・クロックが生成される。スレーブ・クロックは、各ビデオ・スクリーンのための特定の遅延によりマスタ・クロックをシフトすることによって獲得される。たとえば、画像データのnセットが物理デバイス上に表示される場合には、スレーブ・クロックi(n)が、遅延D=(n−1)×Δtを用いてマスタ・クロックをシフトすることによって獲得される。したがって、画像データの第1セットのための同期信号は、マスタ・クロックに対応し、その後に続く画像データのセットのための同期信号は、マスタ・クロックの周期内において位相シフトされる。たとえば、特定のビデオ・スクリーンに関連付けされた各カメラのfrdシャッタ時間が、物理ディスプレイ上に表示可能な、専用のビデオ・ストリームを介して送信されるチャンネル(画像データのセット)の最大数を決定する。したがって、シャッタ時間がΔs(秒)であれば、画像データの最大セット数nは、式、n×Δs≦1/fによって決定される。同様に、物理ディスプレイは、n×fの必要フレーム・レートにおいて画像を示すことが可能でなければならない。スポーツ・アリーナで使用されるような商的に入手可能なディスプレイは、1200Hzまたは2400Hzにさえ至るフレーム・レートを有し、その結果、少なくとも24の画像データのセットを提示することが可能である。
本発明の1つの実施態様によれば、画像データの第1のセットが、直接視聴者に提示される画像に対応する。この実施態様によれば、画像データの第1のセットが、ビデオ・ストリームのためのその後に続く同期信号の間のΔtの遅延期間内に示される。本発明の方法の特に好ましい実施態様においては、マスタ・クロックのフレーム期間内の時間の概ね90パーセントで直接視聴者に指向される画像の第1のセットの画像が示されるようにシャッタ時間Δsおよび遅延期間Δtが選択される(n×Δs≦0.1×(n−1)×Δt)。
本発明の別の実施態様によれば、画像データの少なくとも1つのセットが、実像およびそれぞれの実像の反転または相補画像のシーケンスを包含する。この好ましい実施態様によれば、実像とそれぞれの反転画像が、人間の目によって解像可能でない周波数において間を置かずに連続して示される。したがって、直接視聴者は、実像とその反転画像のシーケンスを中間色の特徴のない画像として知覚する。本発明によれば、ビデオ・ストリームのために意図された画像データの各セットがこの態様で、すなわち実像と対応する反転/相補画像のシーケンスとして提示される一方、指向された視聴者のために意図された画像データのセットは、画像のみとして提示される。イベントにいる視聴者が、物理ディスプレイ上に示されるすべての画像を見るとき、画像および反転画像のシーケンスが本質的に相殺されることから、挿入されるビデオ・ストリームのために意図された画像のセットが殆ど邪魔にならない。
ビデオを記録するためのフレーム・レートが、一般に、人間の目の時間分解能より高く、たとえば20Hz(毎秒20フレーム)より高いことから、物理ディスプレイに提示される各画像の後に反転/相補画像を挿入することは必要でない。したがって、本発明の別の実施態様によれば、1つより多くの実像を包含する実像のグループに基づいて反転/相補画像が計算される。反転/相補画像の提示は、この実像のグループの提示に関連付けされ、たとえば、実像のグループが提示される前または後、または実像のグループの中でさえ、それが示される。1つの実施態様においては、実像のグループが、マスタ・クロックの1つの時間期間(1/(フレーム・レート))内に示されるすべての画像を包含し、その結果、各時間期間内に反転/相補画像が1つだけ示される。
1つの実施態様によれば、ディスプレイがカラー・ディスプレイのとき、画像および反転画像のシーケンスが、基本画像をそれの色反転画像とともにピクセル毎ベースで時間多重化することによって設定され、それによって結果として得られる、ディスプレイの直接視聴者にとって実質的に特徴のない合成画像をディスプレイ上に生成する。各反転色データ成分は、基本画像信号の対応する色データ成分から、かつそれの関数として生成することが可能であり、したがって、基本画像の同一の色成分を表す。信号振幅が画像の色強度に直接、非線形ではあるが、関連付けされることから、各反転色データ成分の振幅は、それの対応する色データ成分の振幅の関数として、すべての色データ成分および対応する反転色データ成分の振幅に対応する色強度の時間重み付けされた平均が、同一のピクセルに対応する各合成色データ成分について実質的に同じになるように決定される。所定の表示フレームの間の各反転色データ成分の計算される振幅は、結果として得られる合成画像の各対応する色成分の強度が、ほかのすべての色成分と実質的に同じになるように設定される。基本および反転色データ成分が、それらの間を人間の目で見分けることが不可能な充分に高い周波数において時間多重化されることから、合成画像信号によって生成される結果の画像のすべての色成分の強度が、各ピクセルについて実質的に同一に現れることになる。その結果としてピクセルからピクセルへの色または強度における視認可能な変動がなくなり、結果として得られる合成画像は、実質的に特徴なく現れる。したがって、基本画像信号の個別の色データ成分を対応する反転色データ成分とともにピクセル毎ベースで時間多重化することによって、基本画像が、それの計算後の色反転画像とともに本質的に時間多重化され、結果として得られる、観察者の裸眼には実質的に中間色で特徴のない合成画像を生成する。
この反転画像の提示の好ましい実施態様によれば、それぞれの先行および/または後続画像の反転画像が、組み合わされた画像と反転画像が結果として均質な強度を有するとして知覚される画像をもたらすような方法で生成される。
本発明のさらなる好ましい実施態様によれば、物理ディスプレイが発光ダイオード(LED)アレイ/ディスプレイである。好ましくは、LEDディスプレイは、看板または広告掲示板である。
本発明のさらなる実施態様によれば、1つまたは複数のビデオ・ストリームに記録されるシーンは、スポーツ・イベントまたはエンターテインメント・イベントの部分である。
本発明は、さらに、本発明の方法を実行するべく構成されるコントロール・インターフェースに関し、前記コントロール・インターフェースは、マスタ・クロック信号を受信するか、または生成するための手段と、2つまたはそれより多くの時間シフトされたスレーブ・クロック信号を生成するための手段と、前記2つまたはそれより多くの時間シフトされたスレーブ・クロック信号との関係でトリガ信号を生成するための手段と、を包含する。
好ましくはコントロール・インターフェースが、さらに、外部マスタ・クロック信号を受信する少なくとも1つの入力と、前記スレーブ・クロック信号を1つまたは複数の、1つの実施態様においては2つまたはそれより多くのカメラに送信するための少なくとも2つのスレーブ出力と、画像データの異なるセットを物理ディスプレイ上にタイムスライス多重化態様で表示するためのトリガ信号を前記物理ディスプレイに送信するための少なくとも1つのトリガ出力と、を包含する。
1つの実施態様によれば、コントロール・インターフェースが専用ハードウエア・インターフェースであり、マスタ・クロック信号を受信するか、または生成するための前記手段、2つまたはそれより多くの時間シフトされたスレーブ・クロック信号を生成するための手段、および前記2つまたはそれより多くの時間シフトされたスレーブ・クロック信号との関係でトリガ信号を生成するための手段が、専用マイクロコントローラまたはFPGA内に少なくとも部分的にハードウエア実装される。
別の実施態様によれば、コントロール・インターフェースが完全にソフトウエア実装される。したがって、マスタ・クロック信号を受信するか、または生成するための前記手段、2つまたはそれより多くの時間シフトされたスレーブ・クロック信号を生成するための手段、および前記2つまたはそれより多くの時間シフトされたスレーブ・クロック信号との関係でトリガ信号を生成するための手段は、実行可能プログラムとして汎用コンピュータまたはハードウエア構成要素(FPGA、マイクロコントローラ、送信カード、グラフィック・カード等)内に実装される。
最後に、本発明は、物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるためのシステムに指向され、当該システムは、少なくとも1つの物理ディスプレイと、画像データの少なくとも第1および第2のセットを前記物理ディスプレイ上にタイムスライス多重化態様で表示するための、上で述べたとおりのコントロール・インターフェースと、画像データの前記第1のセットとの関係で前記物理ディスプレイを含むシーンを記録するための少なくとも1つのカメラと、前記少なくとも1つのカメラによって提供されるビデオ・データから少なくとも1つのビデオ・ストリームを生成するための手段と、前記ビデオ・ストリームを前記視聴者のサブセットに送信することを包含する。
次に、添付図面を参照して、本発明の好ましい実施態様をさらに詳細に説明する。図面は、以下のとおりである。
本発明の方法を実装するシステムを略図的に示した概要図である。 本発明の方法の第1の実施態様に従って生成されたマスタおよびスレーブのクロックのタイムラインである。 本発明の方法の第2の実施態様に従って生成されたスレーブのクロックのタイムラインである。 本発明の方法の別の実施態様を実装するシステムを略図的に示した概要図である。 図4の実施態様において使用される単一カメラ・ユニットのフレーム・シーケンスを示した説明図である。 図5のビデオ・ストリームから生成されたビデオ・ストリームのフレーム・シーケンスを示した説明図である。 本発明の方法における物理ディスプレイとカメラの同期を実装するための3つの代替実施態様を示した概要図である。 反転画像データを使用する本発明の第1の実施態様を示した説明図である。 反転画像データを使用する本発明の第2の実施態様を示した説明図である。 反転画像データを使用する本発明の方法の第3の実施態様を示した説明図である。 物理ディスプレイ上のちらつきを減ずるための改良を示した説明図である。
以下、本発明を、典型的な例、すなわちスポーツ・イベントのテレビジョン放送に関連してより詳細に説明する。
図1に図示されている本発明の実施態様においては、各ビデオ・ストリームのために専用カメラ・ユニットが使用される。したがって、複数のカメラC1、C2、C3、C4が使用され、サッカー競技場10(部分的に図示)によって例示されるスポーツ・イベントのビデオ映像が提供される。競技場10のサイド・ライン11には、LEDディスプレイ13を有する広告掲示板12が設置されている。広告掲示板12は、LEDアレイ13への静止および/または動画の引き渡しをコントロールするコントローラ14を包含する。従来的なマルチカメラ放送スキームにおいては、1つのカメラから別のカメラへのシームレスな切り換えを可能にするために、カメラC1、C2、C3、およびC4が同期されなければならない。このため、カメラC1、C2、C3、C4は、たとえば、局外ユニット(OBユニット)、たとえばOBバン16内に収容されるテレビジョン・コントロール・ユニットの部分であるマスタ・クロック15から同期信号を受信する。従来的なテレビジョン放送においては、まったく等しいマスタ・クロック信号M1、M2、M3、M4(すなわちM1=M2=M3=M4)を用いてカメラC1、C2、C3、およびC4が同期される。これらの同期信号は、それぞれラインL1、L2、L3、およびL4を介してカメラC1、C2、C3、C4に送信することが可能である。矢印によって示されるとおり、ラインL1、L2、L3、およびL4は、双方向とすることが可能であり、カメラC1、C2、C3、およびC4への同期信号の送信だけでなく、それらのカメラからOBバン16にビデオ信号を供給することも可能にする。当然のこととして、OBバン16とカメラC1、C2、C3、およびC4の間における双方向通信は、有線ベースまたは無線またはこれら両方の組み合わせとすることが可能である。
従来的なテレビジョン放送においては、カメラからのビデオ・フィードが一般に組み合わされ、視聴者に配信される単一のビデオ・ストリームが生成される。これとは対照的に、本発明に従った方法においては、カメラC1、C2、C3、およびC4が、異なる視聴者のサブセット、たとえば、異なる国々の視聴者のための異なるビデオ・フィードV1、V2、V3、V4を生成するべく使用される。これらの異なるビデオ・フィードは、本質的にイベントの同一シーンを示すが、LEDアレイ13上に表示される情報が異なる。異なるカメラが、LEDアレイ上に表示される異なる情報を記録することを可能にするために、それぞれのカメラC1、C2、C3、およびC4には、マスタ・クロック15から発せられる同時発生のマスタ・クロック信号M1、M2、M3、およびM4が直接供給されない。むしろ、これらの同時発生のマスタ・クロック信号は、インターフェース17に供給され、それが、それぞれのカメラに引き渡される同期信号の間にあらかじめ決定済みの時間遅延(位相シフト)を導入することを可能にする。位相シフトされた信号は、それぞれスレーブ・クロック信号S1、S2、S3、およびS4として指定され、その後それが双方向ラインL1’、L2’、L3’、およびL4’を介してカメラC1、C2、C3、およびC4に送信される。この場合においては、スレーブ信号S1がマスタ・クロック信号M1に対応し、信号S2、S3、およびS4は、それぞれ対応するマスタ・クロック信号M2、M3、およびM4に関して遅延Δt、2×Δtおよび3×Δtによって位相シフトされる。
それに加えて、インターフェース17は、カメラC1、C2、C3、およびC4のそれぞれの(位相シフトされた)トリガ時間において、視聴者の特定のサブセットに指向された画像が広告掲示板12のLEDアレイ13上に示されることを確実にするために、スレーブ・クロック信号S1、S2、S3、およびS4と同時に、トリガ信号T1、T2、T3、およびT4を生成し、それがラインL5を介してLEDアレイ13のコントローラ14に送信される。
本発明の1つの実施態様においては、カメラのうちの1つを使用して、そのイベントにいる直接視聴者のために意図された同一セットの画像データを示し得る。この場合においては、画像データのセットの数が、互いに関して位相シフトされたカメラの数に対応することになる。しかしながら、図に記述された例においては、追加のセットの画像データが直接視聴者に提示される。したがって、コントローラ14を介し、インターフェース17によって決定される特定の時間においてLEDアレイ13上に表示することが可能な合計で5セットの画像データが提供される。このため、インターフェース17は、トリガ信号T1、T2、T3、T4だけでなく、直接視聴者に指向される画像データのセットの画像を示すために使用されるトリガ信号T5も生成する。
具体的には、LEDアレイ13上の専用の情報または広告を受信してスポーツ・イベントを見ることが可能な視聴者のそれぞれ4つのサブセットに指定された画像データのセットが4つある。カメラC1は、視聴者の第1のサブセットのためのビデオ・ストリームV1を生成し、カメラC2、C3、およびC4は、それぞれ、視聴者の第2、第3、および第4のサブセットのためのビデオ・フィードV2、V3、V4を生成する。
画像データの第5のセットは、スポーツ・イベントにいる直接視聴者のために意図された画像の描写に使用される。上で述べたとおり、本発明の好ましい実施態様では、殆どの時間において、直接視聴者のために意図された画像がLEDアレイ13上に表示されるような態様でLEDアレイがコントロールされる。
図2は、本発明の方法に使用されるそれぞれの同期信号を図示する。図2aは、たとえば、毎秒50フレームのビデオ記録に指向された50Hzのレートで発せられるマスタ・クロック信号を示す。図2b、2c、2dおよび2eは、インターフェース17によって生成されるスレーブ・クロック信号S1、S2、S3、およびS4に対応する。図2から理解可能なとおり、各スレーブ信号は、それぞれ、n=0、1、2、および3とするとき、遅延n×Δtによって位相シフトされる。信号S1、S2、S3、およびS4は、それぞれのカメラC1、C2、C3、C4のシャッタ時間をトリガする。
カメラのシャッタが開かれている間、LEDアレイ13は、トリガ・パルスT1、T2、T3、およびT4によってそれぞれトリガされるときに、画像データのそれぞれのセットの画像を示す。
図2fは、直接視聴者に指向された画像データの第5のサブセットのためのトリガ・パルスT5を図示している。現在説明している実施態様においては、いずれのカメラもアクティブでないとき、これらの画像だけがLEDアレイに示されるが、このほかの実施態様においては、カメラ(1つまたは複数)も同様にアクティブにすることが可能である。図2から理解可能なとおり、LEDアレイのフレーム・レートは、カメラのフレーム・レートよりはるかに高い。
図3は、図2の同期スキームの変形を図示しており、それにおいては、各スレーブ・クロック・パルスに対して2つのLEDアレイ・トリガ・パルスが生成される。リーディング・パルスT1、T2、T3およびT4は、それぞれのカメラによって記録されるべき実画像をトリガする。ビデオ・フレームが記録された直後に、すなわちスレーブ信号S1、S2、S3、およびS4のそれぞれの終了後に、T1、T2、T3およびT4において示されたそれぞれの画像の反転画像の表示をトリガするパルスT1i、T2i、T3iおよびT4iが生成される。画像および反転画像は、裸眼による解像が不可能なレートで示され、したがって、直接視聴者のためのより滑らかな視聴経験が生成される。
注意されるものとするが、本発明の文脈においては、各カメラC1、C2、C3、およびC4が、カメラのグループを表すことが可能であり、グループの各カメラは、同一の同期信号によってトリガされる。各グループのカメラによって生成されるビデオ・ストリームV1、V2、V3、V4は、したがって、たとえば異なる角度からイベントを見せる、たとえばマルチカメラ・フィードからなるとすることが可能である。
また、同期信号、マスタ・クロック信号、スレーブ・クロック信号またはトリガ信号という用語およびコントロール・インターフェースにおける対応する入力および出力は、広く解釈されるものとする。これらの信号は、アナログ信号、デジタル信号、または両方の組み合わせとすることが可能である。これらの信号は、有線ベースまたは無線の信号とすることが可能である。特に、デジタル信号を伴う場合には、これらの信号が、タイミング/トリガ情報に加えて、さらなる情報を伝えることが可能である。たとえば、トリガ信号は、特定セットの画像データにおける特定の画像の表示に関する情報を伝えることが可能である。また、専用ラインを介してカメラC1、C2、C3、およびC4がインターフェースに接続されることが示されているが、インターフェースのスレーブ・クロック出力を単一出力、たとえば単一データ・バスとすることも可能であり、データ・バスにリンクされたカメラC1、C2、C3、およびC4に、デジタル的にアドレスされたスレーブ・クロック信号S1、S2、S3、およびS4を伝えることが可能である。
図4は、本発明のさらなる実施態様を略図的に図示しており、これは、サッカー競技場10のサイド・ライン11に配される広告掲示板12のLEDディスプレイ13を含み、図1の概略図と類似しているが、この実施態様においては、単一のカメラ・ユニットCが使用されてシーンの初期高フレーム・レートのビデオ・ストリームが取り込まれる点が異なる。この実施態様に採用することが可能な代表的なカメラ・ユニットCは、高いフレーム・レートでシーンの記録を可能にするSony Corporation(ソニー・コーポレーション)によって商品化されたHDC 4300カメラである。高いフレーム・レートのビデオ・ストリームHFR(図5参照)は、第1の光ケーブル20を介して中間処理ユニット22の第1の接続21に伝えられる。中間処理ユニット22は、第1の接続21を、第2の光ケーブル25を介して中間処理ユニット22をカメラ・コントロール・ユニット(CCU)26に接続するべく使用が可能な第2の接続24に接続する情報ブリッジ23を包含する。カメラ・コントロール・ユニット26は、外部カメラ・コントロール、得点、プロンプタ、リターン・ビデオ等の信号のための追加の入力/出力28を有する。適切な中間処理ユニット22は、たとえば、Sony Corporation(ソニー・コーポレーション)によって商品化されたBPU 4000等のベースバンド処理ユニット(BPU)である。さらに中間処理ユニット22は、初期高フレーム・レートのビデオ・ストリームを複数の物理的なSDI出力O1、O2、O3等に変換し、かつルーティングするビデオ・プロセッサ27を包含する。SDI出力O1、O2、O3等は、ノーマル・フレーム・レートのビデオ・ストリームNFR(図6参照)を提供する。
カメラ・ユニットCは、マスタ・クロック信号Mをマスタ・クロック15から直接(図示せず)、またはマスタ・クロック15をカメラ・コントロール・ユニット26および光ケーブル25、20に接続するライン29を介して受信する。
マスタ・クロック信号Mは、ライン30を介してインターフェース17にも供給される。インターフェース17は、画像データ入力31を介して画像データを受信し、トリガ信号Tを生成し、それに従って画像データが、ライン32を介してLEDディスプレイ13に送信され、そこでトリガ信号Tに従って画像データが示される。トリガ信号Tは、カメラ・ユニットによって記録されるその後に続くフレームが、LEDディスプレイ13上に示される異なる画像データとともに記録されるシーンを示すことが可能となるように選択される。当然のことながら、画像データをディスプレイ13および/またはインターフェース17のストレージ媒体に送信し、あらかじめストアしておくことも可能である。それに加えて、インターフェース17は、広告掲示板12の部分とすることが可能であり、その結果、ライン32が、広告掲示板12の内部回路の部分になる。
しかしながら、注意を要するが、カメラ・ユニットCがそれの専用コントロール・ユニットを採用することまたは必要なコントロールを中に実装することさえ可能であることから、カメラ・コントロール・ユニット26は、本発明の方法にとって本質的ではない。中間処理ユニット22の主な目的は、高フレーム・レートのカメラ・ユニットCから到来するフレームを、以下により詳細を説明するとおり、中間処理ユニット22のSDI出力O1、O2、O3等における別々のビデオ・ストリームに分割することである。
図5は、ノーマル(50Hz)の3倍、すなわち150Hzのフレーム・レートを用いてカメラ・ユニットCによって記録された高フレーム・レート・ビデオHFRのフレーム・シーケンスを示している。したがって、3つのフレームfi.1、fi.2、fi.3が、1/50秒(20ミリ秒)の時間間隔の間に記録される。図5は、60ミリ秒の期間の間に記録されたフレーム(すなわち、i=1、2、3)を示している。これらのフレームは、光ケーブル20を介して中間処理ユニット22(BPU)に送信される。
図6に示されているとおり、中間処理ユニット22のビデオ・プロセッサ27が、HFRストリームを3つのNFRストリームに分割し、HFRビデオ・ストリームの連続するフレームをnとするとき、フレーム(f n.i)が出力Oi(i=1、2、3)にルーティングされるような態様で、それらのフレームを3つの異なるSDI出力O1、O2、O2にルーティングする。図6から理解可能であるとおり、初期高フレーム・レートのビデオ・スクリーンのフレーム1.1、2.1、3.1等は、SDI出力O1における50Hzのフレーム・レートの第1のノーマル(標準)フレーム・レートのビデオ・ストリームNFRを生成する。類似のNFRビデオ・ストリームが、出力O2、O3において生成される。したがって、初期HFRビデオ・ストリームの帯域幅要件が、3つのSDI出力O1、O2、O3において3つのNFRビデオ・ストリームに分配される。従来的な放送スキームにおいては、3つのストリームが、標準SDI送信ラインを介した送信の後に再び組み合わされる。しかしながら、本発明の文脈においては、フレームn.1、n.2、およびn.3(n=1、2、3、4、5、…)がそれぞれ記録されるときにディスプレイ上に異なるコンテンツが示されるように、広告掲示板のLEDディスプレイがトリガされる。したがって、異なるSDI出力において生成されるNFRストリームが、異なる視聴者のための異なるビデオ・ストリームとして使用される。
図7は、本発明の方法における物理ディスプレイと1つまたは複数のカメラの同期を実装するための3つの代替方法を図示している。図7a、7bおよび7cに示されている実施態様においては、図1および4の概要図の中にすでに図示されていたいくつかの要素が再度示されている。図7の実施態様は、LEDディスプレイ13およびカメラC(1つまたは複数のカメラを表す)を、LEDディスプレイ13を含むスキームを記述するために示している。また、図1および4にもそれぞれ示されているとおり、インターフェース17が提供され、データ・ライン31を介してLEDディスプレイ13上に示されることになる画像データを受信する。図7の実施態様においては、画像データが、コンピュータ・ユニット40によって提供され、たとえばそれは、1つまたは複数のグラフィック・カード42および1つまたは複数のコントロール・ディスプレイ43を包含する処理およびストレージ構成要素41を含み得る。またコンピュータ・ユニット40は、処理およびストレージ構成要素41のグラフィック・カード(1つまたは複数)から画像情報を受け取り、インターフェース17の対応する受信カード17aに画像データを送信する専用送信カード44も包含する。インターフェース17は、さらに、LEDディスプレイ13の関連付けされたLEDドライバ13aに部分画像データを送信するべく構成されたフィールド・プログラマブル・ゲート・アレイ(FPGA)を包含する。複数のディスプレイまたはパネル13が、広告掲示板(図1および4の参照記号12)の完全なディスプレイを形成する。
図7a−7cの実施態様は、LEDディスプレイ13上に描画される画像データのシーケンスがカメラCと同期される態様が異なっている。図7aの実施態様においては、マスタ・クロック15がカメラCおよびインターフェース17のFPGAをトリガする。注意する必要があるが、各FPGAは、対応する配線がコスト高になり、複雑になるような形でマスタ・クロックに接続されなければならない。図7bの好ましい実施態様においては、マスタ・クロック15のトリガ信号がカメラCおよび送信カード44に指向され、続いてそれが、インターフェース17に、画像データだけでなく、多様なFPGAによって受信されることになる対応するトリガ信号も送信する。したがって、クロック信号のための対応する配線が、はるかに簡単になる。図7cに示されているとおり、マスタ・クロック信号を、コンピュータ・ユニット40の処理およびストレージ構成要素41のグラフィック・カード42に送信することも可能である。しかしながら、これは、送信カードに対し、画像データだけでなく、追加のトリガ情報も送信することを可能にする特化されたグラフィック・カードを必要とする。
次に、物理ディスプレイ上に表示される画像データのセット内に反転画像を含める構想について、より詳細に、それぞれ図8、9、および10に示されている本発明の方法の3つの実施態様の関係から説明する。
図8は、図8aにおいて、異なるフィードF0、F1、F2、およびF3(画像データの異なるセットの画像フレーム)が上に述べた方法に従って物理ディスプレイ上に表示される時間スロットの表現を示している。この例においては、画像が50Hzのフレーム・レートで表示され、言い換えると各フィードが、前記フレーム・レートにおいて送信される画像を包含し、したがって、20ミリ秒の時間スロット内に各フィードのうちの1つの画像が表示される。フィード1、2および3(F1、F2、F3)の画像は、ビデオ・ストリームを介して放送視聴者の異なるサブセットに送信することが意図されており、一方フィード0(F0)は、直接視聴者によって意識的に見られることになる画像を包含する。当然のことながら、実際においては、直接視聴者フィードF0の画像を放送視聴者フィードF1、F2、およびF3より長く、かつ/またはより明るく示すことになる。それに加えて、直接視聴者によって知覚されるフィードF0の画像に対するフィードF1、F2、およびF3の効果を制限するために、本発明の方法は、画像C1、C2、およびC3として描画されるフィードF1、F2、およびF3の反転/相補画像を含めることを提案する。カメラ(1つまたは複数)は、C1、C2、およびC3を記録せず、その結果、放送フィードは影響を受けないが、直接視聴者は、短いグレイ画像の挿入を結果としてもたらすF1およびC2およびF2およびC2およびF3およびC3の組み合わせを見ることになる。
本発明によれば、図8b、8cおよび8dに関連してより詳細を述べるとおり、反転画像(相補画像)が挿入される。したがって、各フィードは、ビデオ・カメラによって取り込まれる実画像データだけでなく、ビデオ・カメラによって取り込まれることは意図されてないが、直接視聴者のみによって見られることになる対応する反転(補正/相補)画像(C1、C2、C3)も包含する。図8bには、これが、対応する反転画像(C1)が続くフィード1(F1)の画像フレームについて例示されている。図4cおよび4dから理解可能なとおり、図4dに示されている反転画像(C1)は、図4cに示されている送信される、最大値(Imax)まで満たされる画像(F1)に基づいて計算される。
注意を要するが、図8b、c、およびdにおいては、その後に続く時間スロットがその後に続く時間を表し、各時間スロットのディスプレイ・エリア内の、2次元空間ベクトルxによって示される空間的な強度変動が略図的に描かれているが、この略図表現においては1つの次元のみが描かれている。
図9は、反転画像データを使用する本発明の方法の第2の実施態様を示しており、1つより多くのフィードの画像データに基づいて反転画像が計算される。図9の例においては、フィード1および2(F1、F2)が組み合わされ、フィード1と2を加算し、均質な最大強度値の獲得に必要な差に基づいて反転画像C1+2を計算することによって対応する反転画像が生成される(図9a)。この例においては、フィードF1およびF2の和の画像が作成され、最大強度値Imaxが決定される(図9b)。この組み合わされた和の画像から、反転/相補画像C1+2が計算される(図9c)。
図10は、反転画像が、直接視聴者のために意図された画像データ(フィードF0)のセットの画像とともに表示される実施態様を示している。したがって、図10aから理解可能なとおり、反転画像corrC1+2は、延長した時間期間にわたって表示することが可能であり、反転画像のためのより低い強度を使用することを可能にする。図10aおよび10bから理解可能なとおり、この実施態様においては、補正画像データcorrC1+2を伴わないフィードF0も送信されており、したがって、直接視聴者によって見られる画像データもまた、擾乱のないビデオ・チャンネル内において、ビデオ視聴者に対して送信されることを可能にする。直接視聴者によって見られる画像データがビデオ・ストリームを介して送信される必要がないときには、擾乱のないフィードF0が必要とされない。
図10c、10d、および10eから理解可能なとおり、フィードF1およびF2のための組み合わされた補正反転画像データ、すなわち直接視聴者によって知覚されない画像データは、当初、図9の実施態様と類似に計算し、すなわち両方のフィードの和F1+F2を計算し(図10c)、最大強度Imaxとの差として反転画像C1+2を導出することが可能である(図10d)。延長された時間期間にわたってC1+2が表示されることから、C1+2は、結果としてもたらされる強度を補正画像データcorrC1+2にわたってより低くすることが可能となるように、時間期間および反転画像の送信に使用される電流強度によって除する(図10e)。図10a−10eの表現において4番目の時間スロットに送信される実画像データは、フィードF0の画像データを図10dの反転画像データの重み付け画像データ(図10e)に加算することによって獲得される信号である。
図11は、直接視聴者に対するちらつきを最小限まで減ずる態様で画像データおよび反転画像データを提供する改良されたスキームを示している。
図11の実施態様は、本発明の方法を用いて送信されるビデオ・スクリーンのノーマル・フレーム・レートが50Hzに対応するという前提に基づいている。この実施態様においては、4つの異なるセットの画像データが採用される。画像データのセットのうちの1つ(フィードF0)は、直接視聴者によって意識的に見られることが意図されている。3つの追加のフィード(F1、F2、F3)は、放送視聴者のみによって意識的に見られることが意図されている。図示されている実施態様においては、フィードF0の画像データが、放送視聴者のサブセットに対しても送信される。したがって、50Hzの標準フレーム・レートの20ミリ秒の時間期間内にカメラによって4つの異なるフレーム(送信されることになる各ビデオ・スクリーンについて1つの画像フレーム)が取り込まれることが可能となるように、200Hzのフレーム・レートにおけるビデオの取り込みを可能にするカメラ(または、複数のカメラ)が採用される。
直接視聴者によるフィードF0の知覚に対する影響を最小限まで減ずるために、本発明は、放送視聴者のみによって見られることが意図された各フレームに、たとえば図8に関連して説明したとおりに生成される反転画像を描画するフレームを続けることを提案する。しかしながら、それでも50Hzのフレーム・レートにおいては、直接視聴者によって意識的に見られることが意図されたフィードF0がちらつく傾向にある。
図11に図示されている本発明の方法の実施態様は、直接視聴者に示されるフィードF0の画像のセットの画像の知覚されるフレーム・レートを増加することによって直接視聴者に示される画像のちらつきが最小化することを可能にする。示されているとおり、直接視聴者のための画像データの各フレームが、放送視聴者のための画像データの各フレームの終了前または後の複数の時間フラッドで示される。図11の実施態様においては、50Hzの標準フレーム・レートの時間期間20ミリ秒が、フラッドS1、S2、S3、S4・・・、S15、およびS16として示されている16の時間スロットに細分される。したがって、各時間フラッドは、1.25ミリ秒の長さを有し、4つの時間スロットが5ミリ秒の期間、すなわちこの実施態様に採用されるカメラの200Hzのフレーム・レートになる。したがって、直接視聴者によって意識的に見られることが意図されたフィードF0の画像データが、時間スロットS1、S2、S3、S4内に示される。時間スロットS1は、同様にカメラによって記録される3番目の時間スロットである。カメラの記録がアクティブとなる時間スロットは、記号『R』によって図11内に示されている。時間スロットS5においては、放送視聴者のみによって見られることが意図されたフィードF1の画像フレームが物理ディスプレイ13上に描画され、カメラによっても記録される(記号『R』参照)。時間スロットS6は、フィードF1の画像の相補/反転画像C1を示し、カメラはそれを記録しない。しかしながら、直接視聴者にとっては、フレームF1とC1の迅速な組み合わせが、結果として知覚しにくいグレイ画像になり、それが、直接視聴者のために意図されたメイン・フィードF0の知覚を乱すことはない。次に、スロットS9およびS10において画像データF2および相補画像データC2が示される前に、スロットS7およびS8において再びフィードF0の2つのフレームが提供される。スロットS11およびS12は、再びフィードF0の画像データを描画するが、スロットS13およびS14は、放送視聴者のための3番目のフィードの画像データF3および相補画像データC3を示す。その後、スロットS15およびS16が、再び放送視聴者のためのフィードF0に指定される。
このように直接視聴者によって見られることが意図されたフィードF0の画像データがより高いフレーム・レートで与えられ、したがって、ちらつきが最小化される。
物理ディスプレイ13上に示される最小強度を暗いグレイ/ほぼ黒の値(採用されているカメラの感度が充分に高いことを前提とする)まで減ずるために、直接視聴者に提供される画像データ(F0)の強度が放送視聴者に提供される画像(F1、F2、F3)の強度より高いとさらに有利である。このことはまた、直接視聴者にとっての知覚の歪みをよりいっそう減ずることにもなる。その種の実施態様においては、フィードF0に基づくビデオ・ストリームのために特別なカメラ適合が必要とされないように、スロットS1において提供される画像の強度を、放送視聴者のために意図された画像の強度と同じレベルまで減ずることも可能である。直接視聴者のための画像データを有する10のスロットのうちの1つのスロットの強度を減ずることは、直接視聴者によって知覚される全体的な強度に目立った影響を及ぼさない。
当然のことながら、25Hzまたは60Hz等の異なる標準フレーム・レートのために類似のスキームを考えることは可能である。
10 サッカー競技場、競技場
11 サイド・ライン
12 広告掲示板
13 LEDディスプレイ、LEDアレイ
13a LEDドライバ
14 コントローラ
15 マスタ・クロック
16 OBバン
17 インターフェース
17a 受信カード
20 第1の光ケーブル
21 第1の接続
22 中間処理ユニット
23 情報ブリッジ
24 第2の接続
25 第2の光ケーブル
26 カメラ・コントロール・ユニット(CCU)
27 ビデオ・プロセッサ
28 入力/出力
29 ライン
30 ライン
31 画像データ入力、データ・ライン
32 ライン
40 コンピュータ・ユニット
41 処理およびストレージ構成要素
42 グラフィック・カード
43 コントロール・ディスプレイ
44 送信カード
C1、C2、C3、C4 カメラ
L1、L2、L3、L4 ライン
L1’、L2’、L3’、L4’ 双方向ライン
L5 ライン
M1 マスタ・クロック信号
M1、M2、M3、M4 クロック信号
O1、O2、O3 SDI出力
S1 スレーブ信号
S1、S2、S3、S4 スレーブ・クロック信号
T1、T2、T3、T4 トリガ信号
T1i、T2i、T3i、T4i パルス
T5 トリガ信号、トリガ・パルス
V1、V2、V3、V4 ビデオ・フィード、ビデオ・ストリーム

Claims (20)

  1. 物理ディスプレイの代替画像コンテンツを異なるサブセットの視聴者に伝えるための方法であって、
    一つのサブセットの前記視聴者は画像コンテンツを物理ディスプレイで直接目視する直接視聴者を含み、
    他の一つのサブセットの前記視聴者は前記物理ディスプレイを含むシーンのビデオ・ストリームを視聴する放送視聴者を含み、
    画像データの各セットが個別の画像のシーケンスを包含する、画像データの少なくとも2つの異なるセットを生成することと;
    画像データの前記少なくとも2つのセットの前記画像を前記物理ディスプレイ上にタイムスライス多重化態様で表示することと;
    前記画像データの少なくとも2つのセットのうちの画像データの第一セットが、前記直接視聴者に見られるイメージのシーケンスを含み、
    前記画像データの前記2つのセットのうちの画像データの少なくとも第二セットが、前記直接視聴者に見られない画像および反転画像のシーケンスを包含することと
    前記物理ディスプレイを含むシーンの少なくとも1つのビデオ・ストリームを生成することであって、前記ビデオ・ストリームが、20Hzより高いフレーム・レートで、前記物理ディスプレイ上の画像データの前記少なくとも2つのセットのうちの1つの前記画像の表示と同期して取り込まれたビデオ・フレームからなり、前記ビデオ・ストリームが前記反転画像を含まないことと、
    前記ビデオ・ストリームを前記放送視聴者送信することと、を包含する方法。
  2. 画像データのセットの各先行および/または後続画像の前記反転画像が、組み合わされた画像と反転画像が結果として均質な強度および/または均質なグレイ値を有する知覚される画像をもたらすように生成される、請求項1に記載の方法。
  3. 画像データの1つより多くのセットの先行および/または後続画像の前記反転画像は、組み合わされた前記画像データの1つより多くのセットの画像と対応する反転画像が結果として均質な強度および/または均質なグレイ値を有する知覚される画像をもたらすように生成される、請求項1に記載の方法。
  4. 前記反転画像は、前記物理ディスプレイ上において前記直接視聴者によって直接見られることになる画像データの前記セットからの画像データを含めることによって生成される、請求項1から3のいずれか一項に記載の方法。
  5. 異なる画像データの前記少なくとも2つのセットのうちの少なくとも1つは、モノクローム画像データのセットを包含する、請求項1からのいずれか一項に記載の方法。
  6. 前記反転画像の少なくとも1つのサブセットが、モノクローム画像データの前記セットに基づいて生成される、請求項に記載の方法。
  7. 前記直接視聴者のための画像データの前記セットは、前記放送視聴者のための画像データの前記セット(または、前記セットのそれぞれ)より高い周波数において前記物理ディスプレイ上に表示される、請求項1からのいずれか一項に記載の方法。
  8. 前記直接視聴者のための画像データの各フレームは、前記放送視聴者のための画像データの各フレームの前および/または後の複数の時間スロットの中で示される、請求項に記載の方法。
  9. 前記物理ディスプレイ上に表示される画像データの各セットのためにビデオ・ストリームが生成される、請求項1からのいずれか一項に記載の方法。
  10. 同時に生じる、前記物理ディスプレイ上の画像データの前記少なくとも1つのセットの画像の表示と画像データの前記セットに関連付けされた前記ビデオ・ストリームのビデオ
    ・フレームの取り込みをトリガする同期信号を生成することを包含する、請求項1からのいずれか一項に記載の方法。
  11. 前記同期信号は、前記ビデオ・ストリームの前記フレーム・レートに対応するマスタ・クロックに基づく、請求項1に記載の方法。
  12. 前記同期信号は、各ビデオ・ストリームのための特定の遅延により前記マスタ・クロックをシフトさせることによって獲得されるスレーブ・クロックを包含する、請求項1に記載の方法。
  13. 前記物理ディスプレイは、LEDディスプレイである、請求項1から1のいずれか一項に記載の方法。
  14. 前記LEDディスプレイは、看板または広告掲示板である、請求項1に記載の方法。
  15. 前記シーンは、スポーツ・イベントまたはエンターテインメント・イベントの部分である、請求項1から1のいずれか一項に記載の方法。
  16. 請求項1から1のいずれか一項に記載の方法を実行するべく構成され、マスタ・クロック信号を受信するか、または生成するための手段と、2つまたはそれより多くの時間シフトされたスレーブ・クロック信号を生成するための手段と、前記2つまたはそれより多くの時間シフトされたスレーブ・クロック信号との関係でトリガ信号を生成するための手段と、を包含するコントロール・インターフェース(17)。
  17. さらに、外部マスタ・クロック信号を受信する少なくとも1つの入力(M1、M2、M3、M4)と、前記スレーブ・クロック信号を2つまたはそれより多くのカメラ(C1、C2、C3、C4)に送信するための少なくとも2つのスレーブ出力(S1、S2、S3、S3、S4)と、画像データの異なるセットを物理ディスプレイ(12,13)上にタイムスライス多重化態様で表示するためのトリガ信号を前記物理ディスプレイ(12,13)に送信するための少なくとも1つのトリガ出力(T1、T2、T3、T4、T5)と、を包含する、請求項1に記載のコントロール・インターフェース。
  18. マスタ・クロック信号を受信するか、または生成するための前記手段、2つまたはそれより多くの時間シフトされたスレーブ・クロック信号を生成するための手段、および前記2つまたはそれより多くの時間シフトされたスレーブ・クロック信号との関係でトリガ信号を生成するための手段は、専用マイクロコントローラ内に少なくとも部分的にハードウエア実装される、請求項1または1に記載のコントロール・インターフェース。
  19. マスタ・クロック信号を受信するか、または生成するための前記手段、2つまたはそれより多くの時間シフトされたスレーブ・クロック信号を生成するための手段、および前記2つまたはそれより多くの時間シフトされたスレーブ・クロック信号との関係でトリガ信号を生成するための手段は、実行可能プログラムとして汎用コンピュータ内に実装される、請求項1または1に記載のコントロール・インターフェース。
  20. 物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるためのシステムであって、
    少なくとも1つの物理ディスプレイ(12,13)と、
    画像データの少なくとも第1および第2のセットを前記物理ディスプレイ(12,13)上にタイムスライス多重化態様で表示するための、請求項1から19のいずれか一項に記載のコントロール・インターフェース(17)と、
    画像データの前記第1のセットとの関係で前記物理ディスプレイ(12,13)を含むシーンを記録するための少なくとも1つのカメラ(C1、C2、C3、C4)と、
    前記少なくとも1つのカメラ(C1、C2、C3、C4)によって提供されるビデオ・データから少なくとも1つのビデオ・ストリームを生成するための手段と、
    前記ビデオ・ストリームを前記視聴者のサブセットに送信することと、
    を包含するシステム。
JP2019541180A 2017-01-27 2018-01-29 物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステム Active JP6921966B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP17153512.3A EP3355586A1 (en) 2017-01-27 2017-01-27 Method and system for transmitting alternative image content of a physical display to different viewers
EP17153512.3 2017-01-27
EP17206147.5 2017-12-08
EP17206147 2017-12-08
EP17210553.8 2017-12-22
EP17210553 2017-12-22
PCT/EP2018/052177 WO2018138366A1 (en) 2017-01-27 2018-01-29 Method and system for transmitting alternative image content of a physical display to different viewers

Publications (2)

Publication Number Publication Date
JP2020505869A JP2020505869A (ja) 2020-02-20
JP6921966B2 true JP6921966B2 (ja) 2021-08-18

Family

ID=61017943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019541180A Active JP6921966B2 (ja) 2017-01-27 2018-01-29 物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステム

Country Status (8)

Country Link
US (3) US11457252B2 (ja)
EP (2) EP3574652A1 (ja)
JP (1) JP6921966B2 (ja)
CN (1) CN110226329B (ja)
AU (1) AU2018211533B2 (ja)
CA (1) CA3049732C (ja)
ES (1) ES2899651T3 (ja)
WO (2) WO2018138367A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012038009A1 (de) 2010-09-20 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
JP6178099B2 (ja) 2013-04-05 2017-08-09 ソニー株式会社 中間ユニットおよびカメラシステム
WO2018155670A1 (ja) * 2017-02-27 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
JP7447077B2 (ja) 2018-07-27 2024-03-11 アパリオ グローバル ソリューションズ (アーゲーエス) アーゲー 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
WO2020021068A1 (en) 2018-07-27 2020-01-30 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
CN112689992B (zh) * 2018-09-13 2023-04-14 阿帕里奥全球咨询股份有限公司 使数码摄影相机与物理显示器上所示的替换图像内容同步的方法和装置
JP6800930B2 (ja) * 2018-09-28 2020-12-16 キヤノン株式会社 通信装置、その制御方法、およびそのプログラム
KR102622082B1 (ko) * 2018-11-19 2024-01-09 삼성전자주식회사 디스플레이 장치, 서버, 전자 장치 및 그 제어 방법들
EP3748945A1 (en) * 2019-06-07 2020-12-09 Stereyo BV Method for optimizing the dynamic range of a led screen
CN110225265A (zh) * 2019-06-21 2019-09-10 深圳市奥拓电子股份有限公司 视频转播过程中的广告替换方法、系统及存储介质
CN110677559B (zh) * 2019-09-10 2021-07-09 深圳市奥拓电子股份有限公司 一种区别显示转播视频的方法、装置及存储介质
DE102019220278A1 (de) * 2019-12-19 2021-06-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Anzeige von Videos
WO2021160703A1 (en) 2020-02-10 2021-08-19 Appario Global Solutions (AGS) AG Method and device for reducing motion blur on displays
WO2022112579A2 (en) * 2020-11-29 2022-06-02 Appario Global Solutions (AGS) AG Method and system for capturing images
US11423828B2 (en) * 2020-12-28 2022-08-23 Texas Instruments Incorporated Light-emitting diode (LED) brightness non-uniformity correction for LED display driver circuit
CN113115073B (zh) * 2021-04-12 2022-09-02 宜宾市天珑通讯有限公司 可降干扰的图像编码方法、系统、设备及介质
WO2022233799A2 (en) * 2021-05-02 2022-11-10 Appario Global Solutions (AGS) AG Method and system for operating an active display
EP4131234A1 (en) * 2021-08-05 2023-02-08 Appario Global Solutions (AGS) AG Method and system for operating an active display
US11651518B2 (en) * 2021-06-03 2023-05-16 Meta Platforms Technologies, Llc System for determining an expected field of view
EP4120669B1 (en) * 2021-07-14 2023-12-13 Stereyo BV Methods for improved camera view in studio applications
WO2023175114A1 (en) 2022-03-16 2023-09-21 Pucki Gmbh Method for producing a video stream
EP4287630A1 (en) 2022-06-02 2023-12-06 Pucki GmbH Method for producing a video stream
TWI820832B (zh) * 2022-07-28 2023-11-01 大陸商北京集創北方科技股份有限公司 可與拍攝同步之led顯示方法、led顯示驅動晶片及led顯示裝置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2305049B (en) * 1995-09-08 2000-06-07 Orad Hi Tec Systems Ltd Electronic billboard replacement switching system
GB9601101D0 (en) * 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
GB2305051B (en) 1995-09-08 2000-06-21 Orad Hi Tec Systems Ltd Method and apparatus for automatic electronic replacement of billboards in a video image
US20020144263A1 (en) 2000-08-31 2002-10-03 Eldering Charles A. Grouping of advertisements on an advertising channel in a targeted advertisement system
US20060244839A1 (en) * 1999-11-10 2006-11-02 Logitech Europe S.A. Method and system for providing multi-media data from various sources to various client applications
JP2002041955A (ja) * 2000-07-27 2002-02-08 Mitsubishi Electric Corp スポーツ中継における広告配信システム及び広告配信方法
JP3910537B2 (ja) * 2001-03-26 2007-04-25 富士通株式会社 マルチチャネル情報処理装置
US6980177B2 (en) * 2001-08-03 2005-12-27 Waterstrike Incorporated Sequential inverse encoding apparatus and method for providing confidential viewing of a fundamental display image
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
WO2004066620A1 (en) * 2003-01-20 2004-08-05 Nexvi Corporation Device and method for outputting a private image using a public display
CN2671257Y (zh) * 2003-12-10 2005-01-12 深圳创维-Rgb电子有限公司 彩电agc自动调节装置
WO2005112476A1 (en) * 2004-03-08 2005-11-24 Robert Gibson Multi-play theatre
GB2437575A (en) * 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
JP5029608B2 (ja) * 2006-08-02 2012-09-19 日本電気株式会社 画像処理装置及び表示装置並びに画像表示システム
JP5047607B2 (ja) 2006-12-26 2012-10-10 パナソニック株式会社 ストリーム記録装置、ストリーム記録方法、記録システム、および記録再生システム
CN101236717B (zh) * 2007-02-01 2010-09-15 明基电通股份有限公司 动态图像数据序列产生方法及动态图像显示装置
US20100079676A1 (en) * 2008-09-29 2010-04-01 International Business Machines Corporation Providing Multi-User Views
US9342814B2 (en) * 2009-04-07 2016-05-17 Clearslide, Inc. Presentation access tracking system
CN101572819B (zh) * 2009-06-03 2011-09-14 北京航空航天大学 一种基于量化dct系数零值索引的可逆图像水印方法
CN102065060B (zh) * 2009-11-16 2013-09-11 华为技术有限公司 媒体流切换同步方法和流媒体服务器
US20110134231A1 (en) * 2009-11-20 2011-06-09 Hulvey Robert W Method And System For Synchronizing Shutter Glasses To A Display Device Refresh Rate
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
CN102834763B (zh) * 2010-02-02 2015-07-22 皮克斯特罗尼克斯公司 用于制造填充冷密封流体的显示装置的方法
JP2013537381A (ja) * 2010-09-10 2013-09-30 トムソン ライセンシング ビデオ圧縮のための動き補償学習型超解像を用いてビデオ信号を復号する方法と装置
WO2012038009A1 (de) 2010-09-20 2012-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie
JP5853151B2 (ja) 2011-01-24 2016-02-09 パナソニックIpマネジメント株式会社 撮像装置
US9521398B1 (en) * 2011-04-03 2016-12-13 Gopro, Inc. Modular configurable camera system
US8674736B2 (en) * 2012-07-31 2014-03-18 Fujitsu Limited Clock synchronization circuit
CN102984592B (zh) * 2012-12-05 2018-10-19 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法、装置和系统
EP2787741A1 (en) * 2013-04-05 2014-10-08 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video processing system and method
US9373306B2 (en) * 2014-03-25 2016-06-21 Intel Coporation Direct viewer projection
JP6378606B2 (ja) * 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
EP3043558B1 (en) * 2014-12-21 2022-11-02 Production Resource Group, L.L.C. Large-format display systems having color pixels and white pixels
US9270941B1 (en) 2015-03-16 2016-02-23 Logitech Europe S.A. Smart video conferencing system
EP3274986A4 (en) * 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
US10291681B2 (en) 2015-06-18 2019-05-14 Ericsson Ab Directory limit based system and method for storing media segments
CN105472399B (zh) * 2015-11-20 2019-04-05 深圳市奥拓电子股份有限公司 一种转播视频与现场显示视频分离方法及装置
CN106921456B (zh) * 2015-12-24 2018-06-19 中国科学院沈阳自动化研究所 基于ptp协议的多跳无线回程网络时间同步误差补偿方法
CN105704655A (zh) * 2016-03-29 2016-06-22 北京小米移动软件有限公司 终端之间的媒体数据共享方法及装置
FR3066671B1 (fr) * 2017-05-18 2020-07-24 Darmon Yves Procede d'incrustation d'images ou de video au sein d'une autre sequence video
KR20200077517A (ko) * 2017-11-02 2020-06-30 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2019229926A1 (ja) * 2018-05-31 2019-12-05 Necディスプレイソリューションズ株式会社 表示システム、表示方法およびプログラム
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method

Also Published As

Publication number Publication date
ES2899651T3 (es) 2022-03-14
JP2020505869A (ja) 2020-02-20
US20190364309A1 (en) 2019-11-28
US20190394504A1 (en) 2019-12-26
CN110226329A (zh) 2019-09-10
CA3049732A1 (en) 2018-08-02
AU2018211533B2 (en) 2020-08-27
EP3574651B8 (en) 2021-12-15
WO2018138367A1 (en) 2018-08-02
CN110226329B (zh) 2021-09-21
CA3049732C (en) 2021-11-23
EP3574652A1 (en) 2019-12-04
WO2018138366A1 (en) 2018-08-02
AU2018211533A1 (en) 2019-07-25
US11457252B2 (en) 2022-09-27
US10834443B2 (en) 2020-11-10
US20230020750A1 (en) 2023-01-19
EP3574651A1 (en) 2019-12-04
EP3574651B1 (en) 2021-09-01
US11825137B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
JP6921966B2 (ja) 物理ディスプレイの代替画像コンテンツを異なる視聴者に伝えるための方法およびシステム
JP7391936B2 (ja) 物理ディスプレイの代替画像コンテンツを異なる視聴者へ送信するための方法およびシステム
US8773519B2 (en) Image display apparatus, glasses for image observation, image display control method, and program
US11336813B2 (en) Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display
AU2007245421A1 (en) A method and means for varying the content of a display
JP2011139222A (ja) 立体画像処理装置、tv受信機及び立体画像処理方法
EP3355586A1 (en) Method and system for transmitting alternative image content of a physical display to different viewers
US11997410B2 (en) Method for transferring at least one image content to at least one viewer
JP2024521230A (ja) アクティブディスプレイを作動させる為の方法及びシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210728

R150 Certificate of patent or registration of utility model

Ref document number: 6921966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150