JP7288641B1 - 遠隔撮影システム及び遠隔撮影方法 - Google Patents

Abstract

【課題】多数の視聴者に対する撮影サービスであっても、各視聴者が望む撮影操作の指示に応じて対処できるようにすること、及び最適なシャッタータイミングの調整を図ることを可能にする遠隔撮影システムを提供することを目的とする。【解決手段】ライブ動画の配信開始時から所定のタイム間隔毎に、撮影会場のカメラとサーバとユーザの画像表示端末との間でライブ動画のアップロード及びダウンロードを繰り返し、その間に複数からのユーザシャッター操作を受信すると、対応する動画像をショット画像として抽出してユーザの画像表示端末に表示するよう構成している。そのため、ユーザはシャッターした画像が思い通りに取得しているかを動画像配信中に確認することが可能であって、気に入らなければ直ちに撮り直しすることができる。よって、ライブ配信終了後になって、気に入った画像が撮れていないという状況を回避することができる。【選択図】図１

Description

本発明は、遠隔撮影システム及び遠隔撮影方法に関する。

近年、カメラで撮影されたライブ動画をネットワークを介して受信して視聴しながら、視聴中の所望のタイミングでシャッター押下に相当する指示を送ることで、あたかも自分が被写体を撮影しているような体験を得られるアプリケーションが出現してきた。

視聴者が撮影場所に実際に行かなくても、遠隔操作によって撮影行為を疑似体験できることから、視聴者は自分で被写体を撮影しているかのような臨場感を得ることができる。しかも、遠隔操作なので物理的にどんなに遠方の場所であっても撮影可能であるし、撮影現場での人数制限により撮影不可となってしまうこともない。したがって、遠隔撮影のニーズは今後ますます大きくなることが予想される。

類似の構想に基づく先行文献として、例えば下記の特許文献がある（特許文献１参照）。特許文献１に記載の撮影会システムは、撮影現場において被写体を実際に撮影する撮影代行者（人間或いは装置）に対してズームアップ等の撮影条件を送ると、代理撮影者は当該撮影指示に基づき撮影条件を調整するように構成されている。

特開２００３－２０９７４１公報

特許文献１に記載の発明は、基本的に視聴者が極少数の撮影会を対象としている。それゆえ、代理撮影者は視聴者からの要求を受け入れて撮影条件をその都度変更することが可能である。
しかしながら、本願発明が対象とする遠隔撮影会システムは、多数の視聴者が参加することを前提としているので、それぞれの視聴者からの多種多様な要望にあわせた撮影条件を受け付けることは現実的には不可能である。特許文献１とは異なり、撮影会システムに参加する視聴者の数が多くなるにつれ、視聴者全員の希望どおりに撮影対象の指定や撮影アングルや倍率などに応えていては撮影会を進行することができなくなってしまう。

また、視聴者は、リアルタイムで変化するライブ動画を見ながら撮影タイミングを自分で決めるので、例えば目つぶりのときを撮影タイミングにしてしまうなど、視聴者が狙った静止画（なお、静止画は、いわゆる「コマ画像」を意味する。以下同じ。）を切り出すことが実現できなかったりする。保存された録画画像からシャッターするのであれば何度でも録画再生すればよいが、本願発明はライブ動画の視聴中にシャッターするので、保存された録画画像の再生とは異なりシャッター押下のやり直しができない。したがって、撮影技術に関しては素人である視聴者のための支援として、最適シャッターチャンスに近づける工夫をする必要がある。

そこで、本発明は、多数の視聴者に対する撮影サービスであっても、各視聴者が望む撮影角度、位置、拡大/縮小などの撮影操作の指示に応じて対処できるようにすること、及び最適なシャッタータイミングの調整を図ることを可能にする遠隔撮影システム及び遠隔撮影方法を提供することを目的とする。

前記目的を達成するために、本発明に係る遠隔撮影システムは、撮影手段により撮影された動画像を通信ネットワークを介して複数のユーザの画像表示端末に配信するシステムであって、前記通信ネットワークに接続するサーバが、前記動画像の配信開始時から所定のタイム間隔毎に、(a)前記通信ネットワークにアップロードされた前記動画像を受信して、前記複数のユーザの画像表示端末にダウンロードし、(b)前記配信された動画像に対する前記複数からのユーザシャッター操作時の撮影時刻を前記複数のユーザの画像表示端末から受信し、(c)直前の前記タイム間隔に受信した前記撮影時刻に対応する、前記動画像から抽出される静止画像を前記動画像の配信開始時を基準にして特定し、(d)前記ユーザ毎に、前記ユーザシャッター操作時の撮影時刻の前記静止画像を抽出すると、前記画像表示端末に表示することを繰り返すよう構成されていることを特徴とする。

また、本発明に係る遠隔撮影システムはさらに複数の前記撮影手段を備え、各撮影手段に対応する動画像が前記ユーザの画像表示端末上で同時に表示された中から、所望の撮影手段からの動画像を選択できると共に、前記動画像の配信中における前記各ユーザからの指定により前記動画像の表示可能領域がユーザ毎に動的に切り替わるよう構成されていることを特徴とする。また、複数の前記撮影手段から配信される動画像に対して他のユーザがシャッター操作している状況をリアルタイムに認識できるインジケータが、前記撮影手段からの動画像毎に表示されるよう構成されていることを特徴とする。

さらに、本発明に係る遠隔撮影システムは、前記ユーザシャッター操作に基づき抽出された静止画像の画像解析によって目つぶりを含んでいる場合、当該静止画像に対応する撮影時刻を基準にした前後の所定時間内に前記目つぶりを含んでいない画像を自動的に選択して前記ユーザの画像表示端末に表示することを特徴とする。また、プロカメラマンが動画像から撮影して切り出された膨大な静止画像の中から選択しておいた所定の静止画像の撮影環境又は撮影指示を教師データとして記憶した学習データベースを備え、撮影会における撮影環境を特定するパラメータに類似するパラメータを前記学習データベースから抽出し、当該抽出したパラメータに紐付けられた静止画像に使用されているシャッタータイミングを用いて前記ユーザシャッター操作に対応する撮影時刻を補正することを特徴とする。

前記目的を達成するために、本発明に係る方法は撮影手段により撮影された動画像を通信ネットワーク経由で配信するサーバが実行する方法であって、前記通信ネットワークを介して前記動画像を受信する処理と、複数のユーザ端末に対する前記動画像の配信開始時刻を記録する処理と、前記配信開始時刻に前記動画像を前記複数のユーザ端末に配信する処理と、前記動画像の配信中に、前記配信開始時刻を起点とする各ユーザ端末上のフィンガーアクション発生時刻を前記通信ネットワークを介して受信する処理と、前記動画像の配信をしながら、前記動画像の配信フレームレートに基づき決定される前記動画像の静止画像群のうち前記フィンガーアクション発生時刻に対応する一の静止画像を特定する処理と、前記動画像の配信をしながら、前記特定した静止画像を各ユーザ端末に送信する処理とを含むことを特徴とする。

また、本発明に係る方法は、前記動画像を受信する処理は所定の時間間隔毎に実行され、前記静止画像を特定する処理は、前記動画像が配信されている時間間隔の直前の時間間隔内に受信したフィンガーアクション発生時刻に基づき実行されることを特徴とする。

本発明に係る遠隔撮影システム及び方法は、ライブ動画の配信開始時から所定のタイム間隔毎に、撮影会場のカメラとサーバとユーザの画像表示端末との間でライブ動画のアップロード及びダウンロードを繰り返し、その間に複数からのユーザシャッター操作を受信すると、対応する動画像をショット画像として抽出してユーザの画像表示端末に表示するよう構成している。そのため、ユーザはシャッターした画像が思い通りに取得しているかを動画像配信中に確認することが可能であって、気に入らなければ直ちに撮り直しすることができる。よって、ライブ配信終了後になって、気に入った画像が撮れていないという状況を回避することができる。

また、本発明に係る遠隔撮影システム及び方法は、ライブ動画の配信中において各ユーザからの指定により動画像の表示可能領域がユーザ毎に動的に変化するよう構成されている。このため、多数の視聴者に向けて配信される１つの動画ストリームが、視聴者すべてからの要求、例えば、拡大/縮小によるフレーミング調整などの撮影操作の指示に応えることができるようになる。また、再生可能な画像とは異なる、ライブ動画という１回限りの視聴であることの特性が視聴者に及ぼす種々のマイナス影響をできるだけ回避しながら、視聴者が最適なショットの画像切り出しができるよう支援することができる。

遠隔撮影システムの一実施形態における全体構成を示した図である。 アプリ運営会社と撮影会運営会社とユーザとの間において送受信される情報を示した図である。 遠隔撮影システムで実行される処理の流れを示すフローチャートである。 視聴者が押下したシャッター時刻に対応する画像を静止（コマ）画像として切り出す処理を説明するための図である。 複数の視聴者のシャッター時刻と配信動画の各静止（コマ）画像との関係を説明するための図である。 視聴者端末に表示されるマルチアングル画面の一例を示した図である。 同一の動画像を基に異なる表示領域を切替えることを説明するための図である。 シャッターインジケータの一例を示す図である。

以下に図面を参照しながら、本発明に係る遠隔撮影システムの一実施形態について説明する。図１は、遠隔撮影システム１００の全体構成を示す。
遠隔撮影システム１００は、アプリ運営会社１と撮影会運営会社２と複数のユーザ３との相互関係で構成され、インターネットなどの通信ネットワーク４を介して各種のデータを送受信するよう構成されている。

アプリ運営会社１は、遠隔撮影システム１００のプラットフォームを提供する事業体である。アプリ運営会社１と事前に契約した撮影会運営会社２が遠隔撮影会を開催したい場合、撮影会運営会社２は遠隔撮影会の開催希望を、撮影会の開催日時、撮影会場で被写体になるモデルやアーティストなどの撮影会に関する告知情報をアプリ運営会社１に送信する。これを受けて、アプリ運営会社１は、ホームページやＳＮＳなどを通じてユーザ向けに遠隔撮影会が開催されることを告知する。なお、ユーザへの開催案内は、アプリ運営会社１に代わって撮影会運営会社２が行うことでもよい。

アプリ運営会社１は、通信ネットワーク４を介してユーザから遠隔撮影会の参加申し込みを受け付ける。このアプリ運営会社１は、ライブ動画が参加登録したユーザに配信されるよう制御するサーバを管理する。サーバはアプリ運営会社１が保有する場合に限らず、クラウド上にある仮想サーバであってもよい。以下、サーバは「クラウドサーバ」とも言う。）

撮影会運営会社２などの遠隔撮影システム１００のプラットフォームの提供を受けた者は撮影会が行われる現場を取り仕切り、撮影会場で被写体を撮影するための１以上の撮影装置６（以下、「カメラ６」という。）の設置やライブ動画の配信準備を行う。なお、撮影会場では、人間がカメラ６を保持して撮影してもよいし、サーバからの指令信号で人手を介さずにカメラ６を自動制御するよう司ってもよい。また、本実施形態では、複数のカメラ６で被写体を撮影する（例えば、１８０度や３６０度など被写体の周囲にわたり複数のカメラを設置することを含む。）場合の例を示すが、１台のカメラ６による撮影であってもよい。

撮影会に参加する参加者３は、通信ネットワーク４経由でライブ動画を視聴し、シャッター操作に相当する画面上のアイコン７の押下が可能な視聴者端末３－１～３－Ｎ（以下、「視聴者端末３Ｎ」とあらわす。）を有するものとする。ライブ動画の配信を受ける際には、視聴者端末３Ｎを通信ネットワーク４に接続しておく。ライブ動画の配信が開始すると、参加登録したユーザ３が各自の視聴者端末３Ｎで配信動画を視聴しながら、任意のタイミングでいわゆるシャッター操作する。

各ユーザ３に対して配信する動画の開始時刻は通信ネットワーク４に繋がるサーバ（クラウドサーバ）で一元管理され、各ユーザ３のシャッター操作時刻は配信動画の開始時刻との関係で管理される。つまり、配信動画の開始時刻からの経過時間がシャッター操作時刻をあらわす。ライブ動画は、原則として、参加者全員に同時に配信するので、サーバは各参加者に共通の１つの開始時刻を管理することになるが、参加者ごとに開始時刻をずらして配信する場合にはサーバは各参加者に対応する開始時刻を管理するものとする。

撮影会に参加する参加者３が各自の視聴者端末３Ｎで受信する動画に対してシャッター操作をした時刻は、リアルタイムでサーバへ送信されてサーバ側で記録される。当該時刻はUNIX（登録商標）タイムスタンプとして秒又はミリ秒単位のフォーマットとして扱い、上記配信動画の開始時刻（同様に、UNIX（登録商標）タイムスタンプとして記録しておく。）を起点とする経過時間を基に、参加者３がシャッター操作した時刻に対応する動画中のショット画像を特定することが可能である。

また、視聴者端末３Ｎの通信環境によってレイテンシ遅延が発生した場合であっても、本実施形態の遠隔撮影システム１００においてはシャッター操作時刻の記録のための通信はミリ秒内に抑えられるように低レイテンシを維持している。もし参加者側がライブ配信中にシャッター操作した際に、例えば移動中であったり、通信環境が悪い建物等の空間に入ってインターネットとの接続が切断するというトラブルが発生した場合でも、動画配信のために視聴者端末３Ｎにインストールしたアプリが、視聴者端末側でシャッター操作時刻を一時キャッシュして、接続が回復したら自動的に再度同期を取る仕組みになっている。したがって、参加者がシャッター操作したにもかかわらず、サーバがその操作時刻を記録漏れしてしまうことが無いよう対策している。

なお、図１に示す遠隔撮影システム１００は、アプリ運営会社と撮影会運営会社２を別主体として扱い、撮影会運営会社２が撮影会の告知情報や金額設定をしてアプリ運営会社１にユーザへの宣伝広告を依頼するようにし、参加ユーザからの参加料金の一部が撮影会運営会社へ支払われる形態である。ただし、アプリ運営会社１及び撮影会運営会社２が同一主体として遠隔撮影システム１００を構成することでも本発明の作用効果において何ら変わりはない。

図３は、本実施形態の遠隔撮影システム１００で実行される処理の流れを示すフローチャートであり、図２はアプリ運営会社と撮影会運営会社とユーザとの間において送受信される情報を示した図である。
まず、撮影会に参加したいユーザ３は、遠隔撮影システム１００が提供する所定のアプリを自分の視聴者端末３Ｎにダウンロードし（図３のステップＳ３１）、メールアドレス等の入力をしてユーザ登録を行う（図３のステップＳ３２）。ユーザ登録したユーザ３は、開催される予定の又は開催中の撮影会に関する情報を視聴者端末３Ｎから閲覧できるようになる（図３のステップＳ３３）。撮影会に関する情報は、契約した撮影会運営会社２から提供される（図２の２１）。ユーザ３は、所望の撮影会に参加をするため、撮影会チケットの購入費用をクレジット等で払い込んでおく（図２の２２）。なお、ユーザ３の参加を促すために、過去の撮影会の実績や評判（口コミ）等についても閲覧できるようにしてもよい。

ユーザ３が所望の撮影会を選択して参加チケットを購入すると（無料で参加できることもある。）、当該ユーザは撮影会によるライブ動画の視聴者としての資格を得ることになる（以下、「視聴者３」ともいう。）撮影会の開始時刻前になり、参加チケット購入時の引き換えに受信したアクセスコードやパスワードなどの情報を入力すると、撮影会運営会社２のカメラ６で撮影されるライブ動画を視聴者端末３Ｎに配信する準備が整う。

撮影会運営会社２のカメラ６で撮影されたライブ動画がサーバに送られ（図２の２３）、サーバが視聴者端末３Ｎに向けて一斉に動画の配信を開始する（図３のステップＳ３５、図２の２４）。このとき、サーバは配信開始時刻を記録しておく（図３のステップＳ３６）。各視聴者３は、動画配信中のお気に入りのシーンに対して、視聴者端末３Ｎの画面上にアプリが表示するシャッターボタンに相当するアイコン７の箇所を押下することによって、シャッター操作に相当するアクションを行う。押下したタイミングの時刻は、サーバに送られる（図２の２５）。図４は、撮影会における一人のユーザのシャッター操作時点の一例を示したタイミングチャート図である。図中の黒丸で示す時点は一人の視聴者３がシャッター操作をしたタイミングを示している。

さらに、図５は、複数の視聴者３からシャッタータイミングの時刻と配信動画の各コマ画像との関係をあらわした一例である。以下では、複数のコマ画像で動画が構成されるものとして説明する。配信動画が４Ｋ画像で、２４fps（１秒間が２４枚の画像で構成されるフレームレート）である４Ｋ２４fpsの場合、図５のように、視聴者３によるシャッター操作のタイミングは、２４枚のコマ画像のうちのいずれかに対応する。具体的には、２４fpsなので、動画配信の開始時刻から１/２４＝0.0417秒を加算した経過時間により各コマ画像を識別することができる。

上述したように、サーバは複数の視聴者３のそれぞれからUNIX（登録商標）タイムスタンプ形式のマイクロ秒単位でシャッタータイミングの時刻を受信/記録しているので、当該シャッタータイミングの時刻に合致（或いは最も近似）する時刻をもつコマ画像を切り出す。このようにして、クラウドサーバは、ライブ動画の各コマ画像を識別する時刻と、受信したシャッター７の押下のタイミング時刻とを突き合わせれば、視聴者３がシャッターを押下した時点の画像を特定できる。なお、本願発明は、複数の視聴者３を前提としているため、各視聴者に対して割当てた視聴者ＩＤ、配信されたライブ動画を識別するセッションＩＤ、及び撮影会の開始時刻、シャッター７の押下タイミングを関連づけながらデータベースに記憶する（図３のステップＳ３９）。

また、遠隔撮影システム１００のサーバの更なる特徴は、各視聴者のシャッター操作の時刻情報を受信しながら、同時に配信動画からシャッター操作の時刻に対応するコマ画像を抽出する処理を並行して実行することである（図３のステップＳ４１）。

遠隔撮影した動画を通信ネットワーク４で配信する構成であるため、撮影会場のカメラ６で撮影された動画データが通信ネットワーク４にアップロードされてサーバが受信し、それから視聴者端末３Ｎに向けて当該動画データがダウンロードされるように構成されている（図２の２３,２４）。アップロードは、所定の時間間隔で順次で行われる（図３のステップＳ４０）。図４に示す例の場合は、午前１１時に撮影会が開始し、３０秒ごとにライブ動画がアップロードされるケースである。複数のシャッタータイミング時刻は、押下する度ごとにサーバにリアルタイムでアップロードされ、視聴者ごとに管理されることになる。なお、図４の例では、３０秒ごとにライブ動画がアップロードされるとしたが、通信環境に応じて設定した時間（例えば、１５秒、５秒、１秒など）を設定する。

また、アップロードの設定時間は、遠隔撮影システム１００のクラウドサーバが受信したライブ動画からコマ画像を抽出する開始のトリガーでもある。従来の遠隔撮影会の場合、撮影会が終了した後に、撮影会の各視聴者が押下したシャッター時刻に対応する画像をコマ画像として切り出す作業を後処理として一括して行うものであるが、上述したように本願発明は撮影中に同時進行で画像切り出しが行われる。すなわち、３０秒で設定した場合、３０秒ごとに撮影動画を通信ネットワーク上にアップロードして各視聴者端末へ配信する処理に並行して、直前の３０秒間にシャッターされた分のコマ画像の書き出しを開始する（図３のステップＳ４１、図２の２６）。

より詳細にみると、図４の例の場合、１１時００秒から３０秒ごとのアップロードによる配信がされ、１１時１分の配信時では、１１時３０秒～１１時１分の間に発生していたシャッター時刻２（11：00：33）及び時刻３（11：00：44）に対応するコマ画像を切り出すことになる。したがって、設定時間を１秒などの短時間にした場合、ほぼリアルタイムでライブ動画の配信と、視聴者３がシャッターして切り出されたコマ画像の受信が行われるということになる。
このようなライブ動画の配信とコマ画像の切り出しを同時並行で行うことにより、視聴者３はリアルタイムで自分がシャッターした画像をみることができる。

撮影終了後ではなく、撮影中にシャッター操作した時刻における画像切り出しを実行しているのは、視聴者３が切り出したコマ画像を視聴者端末３Ｎで確認し、想定する画像が撮れていなかった場合に直ちに撮り直しができることを可能にするためである。ライブ配信終了後にシャッタータイミングが想定したものでなかったことに気づいても撮り直しができない不便さを解決できる。また、デジタルカメラで普通に撮影した場合にカメラの液晶モニタで撮影直後の画像を確認できることと同じ感覚を、本実施形態の遠隔撮影システム１００における撮影操作においても体験でき、撮影の臨場感を得ることが可能である。

なお、視聴者３が所望のタイミングでシャッター７を押下すると、シャッター回数に応じた課金がされたり、１のライブ動画配信において例えば１００回、２００回などのシャッター回数制限を設けるようにしてもよい。また、シャッター料金は無料の場合や、例えば１００回ごとのバルク料金設定であってもよい。

図６は、撮影会に参加してライブ動画を視聴する視聴者の視聴者端末３Ｎに表示される画面の一例を示している。本実施形態の遠隔撮影システム１００は、複数のカメラ６で被写体を撮影する。したがって、カメラの数に相当する数のアングルで被写体を撮影した複数本のライブ動画が視聴者端末３Ｎに表示されるようにする。具体的には図６に示すように、画面上には、複数の区画６１-６５に分けられた異なるライブ動画が映し出される。つまり、視聴者端末に複数のカメラからのライブ動画が同時に画面分割して表示されているマルチアングル画面例である。これは、撮影会で使用するカメラの数に整合し、それぞれのカメラの被写体に対する位置・向きや角度が異なるので異なるライブ動画となる。

視聴者３は、視聴者端末３Ｎに表示される複数のカメラ６のライブ動画の中から所望のカメラによる画像の表示領域をタップするなどして選び、そのカメラの画像のみが画面全部又は一部に拡大表示６５され、視聴者３は好きなタイミングでシャッターボタン７を押下することができる。異なるカメラ６からの画像を選択したければ、再度図６に示す複数のライブ動画からクリック操作をして繰り返すことができる。

図６のようなマルチアングルによる画面表示は、多数の視聴者３を前提とする撮影会において非常に都合がよい。各視聴者が、自分の好きなアングル（撮影角度や位置）のカメラからの動画を選択すれば、ほぼ視聴者全員の好みに適応させることができるからである。さらに本願発明は、多数の視聴者のニーズに的確に応えるという観点から、表示可能領域の切替えによるアングル調整を行う。つまり、ユーザの視聴者端末上の画面解像度は一般的にＦＨＤ（1920×1080ピクセル）設定であるが、実際の動画撮影では、例えば、8Ｋの（7680×4320ピクセル）或いは4Ｋ（3840×2160ピクセル）の超高解像度・高精細映像の画質をベースに撮影をしておくことで、表示可能領域の変更ができるようにしている。

図７は、ＦＨＤ、４Ｋ、８Ｋそれぞれによる画像範囲を示した例である。各視聴者３は視聴者端末上で領域変更のためのタップやピンチなどの指操作やマウス操作をすることによって、第１領域であるＦＨＤ範囲７１外である第２領域（４Ｋ）７２や第３領域（８Ｋ）７３まで表示可能領域を行き来することができるため、各視聴者が所望する画角（広角、標準、望遠）に柔軟に対応できる。その結果、視聴者自身が撮影現場でカメラ６を使って画角調整をしているかのような体験を提供できる。

従来の遠隔撮影システムの場合、動画像のアップロードの時間を短縮するという理由で、視聴者端末３Ｎの液晶画面がＦＨＤ対応であれば、あえて高画質の動画像をアップロードするということは行なっていない。これに対し、本実施形態の遠隔撮影システム１００は、視聴者端末３Ｎの液晶画面がＦＨＤ画質であっても、実際に配信される撮影画像は８Ｋや４Ｋの高解像度の動画にしているので、第３領域（８Ｋ）７３まで表示範囲を拡大して指定した場合であっても画質の低下が問題となることはない。各視聴者それぞれが８Ｋ画質内の領域において任意の広角～望遠サイズの切り出しが可能である。
したがって、本願発明の画像切出しは従来のようなスクリーンショットとは異なる。スクリーンショットの場合、画像を拡大表示させていくと解像度が低下し粗い描画で表示されてしまうのに対し、本願発明は高画質の映像動画データによるコマ画像から切り出されるため当該映像動画データの高画質がそのまま維持されることになり、極めて高精細な静止画像を視聴者３に提供することができる。

なお、撮影する動画の解像度は８Kもしくは４Kに固定又は限定するものではなく、通信技術や液晶表示技術などの発展にあわせてより増大されることは言うまでもない。さらに、視聴者が視聴者端末上で表示可能領域を変更する際の撮影サイズやフレーミングの比率の設定は、視聴者端末の液晶モニタのフレーミングに合わせて、各視聴者が所望する任意の値に変更することができるものである。

上述した画質切替えによる表示可能領域の変更は、特に、複数の視聴者がカメラ１台で撮影した画像を基にシャッターする場合に顕著な利便性を生じさせる。カメラ１台対視聴者多の撮影会である。１台のカメラの固定的なアングルでは多数の視聴者の希望に応じることが難しいが、本願発明によれば１台のカメラによる動画像を基に各視聴者が視聴者端末上で自由に領域サイズを選べることになるからである。
ただし、これは本実施形態のような複数の撮影カメラを使用するケースであっても有効である。複数台のカメラが更にＮ倍化されて撮影することに相当するため、視聴者数がどんなに多くなっても、各視聴者が望む拡大/縮小などの撮影操作の指示にきめ細かく対応できることになる。

（第２の実施形態）
本願発明は、ライブ動画の配信から視聴者が好きなタイミングでシャッターするものであるが、録画再生ではないライブ動画（したがって、撮り逃したタイミングの動画を後でシャッターできない）であると共に、多数の視聴者が同時に視聴していることを前提とする。
このような視聴状況にあっては、多数の視聴者３がシャッターしているタイミングの画像は、多くの場合はシャッターすべき、すなわち切り出し画像として最適なシーンであると考えられる。

しかしながら、遠隔撮影によるライブ動画の各視聴者は、他の視聴者がどのタイミングでシャッターしているかを把握しているわけではない。実際の撮影会場に行って撮影する場合であれば、自分以外の多くの者がシャッターするのが分かるので自分も今が良いシャッターチャンスであると認識してシャッターすることができる。しかし本願発明のような遠隔撮影システムの場合、他人のシャッターチャンスを知らないので、あとでシャッターしておくべきだったと後悔する可能性がある。

そこで、第２の実施形態の遠隔撮影システムは、各視聴者のシャッター操作の時刻がリアルタイムでサーバに送信されることを利用し、他の視聴者のシャッター状況がリアルタイムで視認可能な表示で把握できるようにする構成を含む。例えば、図８に示すように、マルチアングル画面６１－６５のそれぞれにシャッターインジケータ８１－８５が設けられ、現在のシャッター数の総数をあらわすインジケータ値が表示されるようにする。これは、例えば現時点から５秒前までの間における総シャッター数を示し、５秒毎に更新される。ここで、５秒は一例であって任意の秒数に設定可能であってよい。
視聴者Ａは例えばカメラ６－１のアングルによるライブ動画からシャッターをすると計画していたが、マルチアングル画面でカメラ６－２によるライブ動画に多くの視聴者がシャッターしてることがインジケータ８２から分かったとする。視聴者Ａは、注視するカメラをカメラ６－１からカメラ６－２に切り替え、他の視聴者が着目しているシーンに対して同じ様にシャッターすることができるようになる。

図８に示す以外のインジケータの表示方法としては、例えば、参加視聴者数の所定の割合（例えば半数以上）がシャッターしているカメラがあると、そのカメラに対応するマルチアングル画面上の画面枠６１－６５をハイライト表示したり、画面枠６１－６５のサイズを相対的に大きくして目立つように表示するなどがある。

ライブ動画を視聴中の視聴者のシャッター回数は、視聴者３の現実のアクションに基づく統計データとなるので、アプリ運営会社１はサーバに送信されたシャッター回数を販売することが可能である。例えば、撮影会がファションショーの場合、スタイリングデータの集計が可能になるため、視聴者が好みの洋服の傾向を把握することが可能になる。また、撮影会が公開モデルオーディションの場合、人気データの集計ができるし、インフルエンサーが出場する撮影会の場合はシャッターが多い表情やポージングを見て、人気ポイント分析をすることで、他のモデルに適用することが可能になる。

（第３の実施形態）
プロカメラマンであれば、目つぶり等のない最適ショットをシャッターして撮影することが期待できる。一方、遠隔撮影会に参加する視聴者は撮影技術において必ずしも卓越しているとは限らないので、シャッタータイミング時の画像に目つぶりが含まれる可能性が高い。しかも、ライブ動画であるため被写体に動きを伴うことから、想定外の画像として切り出されることも頻発すると思われる。

そこで、プロのカメラマンの撮影を学習しておいた学習データを基にシャッタータイミングの調整を図るようにしてもよい。これは、主に、ポートレート写真のようなあまり動きが大きくなく、且つ撮影者の指示に基づき被写体がその位置や向き（角度）等を変えるような撮影するのに有効である。
また、学習データとは、プロカメラマンが動画像から撮影して切り出された膨大な静止画像のうち、発表作品や販売作品などとして最終的に選定された静止画像であり、シャッタータイミングとして最適であると識別し得るものである。選定された静止画像は、撮影場所（室内又は野外の区別）、そのときの背景や光の当たり方、撮影場所の広さ、被写体の位置や方向、撮影開始からの経過時間、カメラマンとの会話状況、グループ被写体であれば互いの位置関係などの複数のパラメータが紐づけられているものである。

第３の実施形態の遠隔撮影システムは、実際の視聴者のシャッタータイミングに対応するコマ画像をそのまま採用しないことに特徴がある。最も単純な手法は、視聴者によるシャッタータイミングのコマ画像を画像解析して目つぶりを含んでいることが判別できた場合、そのシャッタータイミングの前後数秒のコマ画像を自動的に採用するようにする。より高度な手法は、撮影会における撮影環境に類似するものを、上述した複数のパラメータを基に学習ＤＢの学習データ中から抽出し、視聴者が決めたシャッタータイミングを自動補正することである。

例えば、プロカメラマンからの指示に従い被写体が動くライブ動画に対して視聴者が、指示後Ｔ秒後にシャッターしたとする。第３の実施形態の遠隔撮影システムは、教師データとして記録していた学習ＤＢから同様の指示がある画像を検出し、その検出画像が指示されてから何秒後にシャッターされたものであるかをコマ画像に紐づいている撮影開始からの経過時間から識別する。それが、例えば、Ｔ’秒後にシャッターされていたとする。その結果、ＴとＴ’が所定の範囲内であれば、指示後Ｔ秒後のシャッターに対応するカットのコマ画像よりも、指示後Ｔ’秒後のシャッターに対応するカットのコマ画像を選んで、プロが撮影したものに近い静止画像を得ることにする。ここで、ＴとＴ’が所定の範囲内という条件をつけているのは、所定の範囲を超えているケースでは、視聴者が学習データの撮影時とは異なる好みや主観の下にシャッターしたと想定され、プロが選ぶ学習データを採用するべきではないと考えられるからである。

このような学習データを利用したシャッタータイミングの自動調整によって、目つぶり等のない画像が最終的に選択される可能性が格段に高くなり、撮影技術が高くない素人の視聴者がプロカメラマンと同等の画像切り出しを自動的に行うことができるようになる。

（第４の実施形態）
第４の実施形態の遠隔撮影システムは、ボリュメトリック技術により、被写体の周囲３６０度を複数のカメラ６で撮影した動画データから、サーバが３Ｄデータを生成して視聴者端末３Ｎに配信することを特徴とする。
ボリュメトリック技術は、撮影背景を３６０度グリーンバックで設営して被写体を撮影し、撮影後直ちに３Ｄデータを生成する。グリーンバックによる撮影にすることで、VR（仮想現実）、AR（拡張現実）、MR（複合現実）といったバーチャルな背景が描画された中に被写体の動画データを合成し、画像の加工やエフェクト追加も自在に行うことができる。

これにより、視聴者はあらゆる角度と視点から前後左右上下を自在に動き回れる自由度を体感しながらシャッター操作が可能になる。ボリュメトリック撮影データを使えば、まるでゲームの中のようにカメラが被写体と被写体の間をすり抜け、中空からそれらを俯瞰するといった、自由視点映像や複数の自由視点映像の切り替えが可能である。

上述した複数の実施形態による遠隔撮影システムによって、多数の視聴者に向けて配信される１つの動画ストリームが、視聴者すべての要求、例えば、撮影角度、位置、拡大/縮小などの撮影操作の指示に応えることができるようになる。また、再生可能な画像とは異なる、ライブ動画という１回限りの視聴であることの特性が視聴者に及ぼす種々のマイナス影響をできるだけ回避しながら、視聴者が自由視点で最適なショットの画像切り出しができるよう支援することができる。
さらに、仮想現実世界(メタバースなど)によるバーチャル撮影会、及びその写真館の経営をすることを可能にする。

本発明は、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードしたプログラム、及びこれら記憶媒体を発明の範疇として含む。

さらに、通信ネットワークを介して遠隔撮影システムと通信する視聴者端末は、インターネットや専用線等のネットワークに接続されたコンピュータである。具体的には、例えばＰＣ（Personal Computer）、携帯電話やスマートフォン、ＰＤＡ（Personal Digital Assistants）、タブレット、ウェアラブル（Wearable）端末等が挙げられる。通信ネットワークに有線又は無線で接続されたＰＣ端末及び携帯端末が互いに通信可能に設定されることにより、遠隔撮影システムを含むビジネススキームを構成する。

１ アプリ運営会社
２ 撮影会運営会社
３ 参加者
３Ｎ 視聴者端末
４ 通信ネットワーク
６ カメラ
７ シャッターアイコン
１００ 遠隔撮影システム

Claims (9)

1. 撮影手段により撮影された動画像を通信ネットワークを介して複数のユーザの画像表示端末に配信する遠隔撮影システムであって、
   前記通信ネットワークに接続するサーバが、前記動画像の配信開始時から所定のタイム間隔毎に、
   (a)前記通信ネットワークにアップロードされた前記動画像を受信して、前記複数のユーザの画像表示端末にダウンロードし、
   (b)前記配信された動画像に対する前記複数のユーザによる各ユーザシャッター操作時の撮影時刻を前記複数のユーザの各々の画像表示端末から受信し、
   (c)直前の前記タイム間隔に受信した前記撮影時刻に対応する、前記動画像から抽出される１以上の静止画像を前記動画像の配信開始時を基準にして特定し、
   (d)前記ユーザ毎に、前記ユーザシャッター操作時の撮影時刻の前記静止画像を抽出すると、前記画像表示端末に表示する、
   ことを繰り返すよう構成されていることを特徴とする遠隔撮影システム。
2. 複数の前記撮影手段を備え、
   各撮影手段に対応する動画像が前記複数のユーザの各々の画像表示端末上で同時に表示された中から、所望の撮影手段からの動画像を選択できると共に、前記動画像の配信中における前記複数のユーザの各々の指定により前記動画像の表示可能領域がユーザ毎に動的に切り替わる、請求項１に記載の遠隔撮影システム。
3. 複数の前記撮影手段から配信される動画像に対して他のユーザがシャッター操作している状況をリアルタイムに認識できるインジケータが、前記撮影手段からの動画像毎に表示される、請求項２に記載の遠隔撮影システム。
4. 前記ユーザシャッター操作に基づき抽出された静止画像の画像解析によって目つぶりを含んでいる場合、当該静止画像に対応する撮影時刻を基準にした前後の所定時間内に前記目つぶりを含んでいない画像を自動的に選択して前記ユーザの画像表示端末に表示する、請求項１に記載の遠隔撮影システム。
5. 前記ユーザシャッター操作によるシャッター回数を基に、前記複数のユーザの嗜好を分析することを含む、請求項１に記載の遠隔撮影システム。
6. 任意の背景を表示するデジタル仮想空間内に、前記撮影手段で撮影した動画像を合成させて前記画像表示端末に配信する、請求項１に記載の遠隔撮影システム。
7. プロカメラマンが動画像から撮影して切り出された膨大な静止画像の中から選択しておいた所定の静止画像の撮影環境又は撮影指示を教師データとして記憶した学習データベースを備え、
   撮影会における撮影環境を特定するパラメータに類似するパラメータを前記学習データベースから抽出し、当該抽出したパラメータに紐付けられた静止画像に使用されているシャッタータイミングを用いて前記ユーザシャッター操作に対応する撮影時刻を補正する、請求項１～６の何れか１項に記載の遠隔撮影システム。
8. 撮影手段により撮影された動画像を通信ネットワーク経由で配信するサーバが実行する方法であって、
   前記通信ネットワークを介して前記動画像を受信する処理と、
   複数のユーザ端末に対する前記動画像の配信開始時刻を記録する処理と、
   前記配信開始時刻に前記動画像を前記複数のユーザ端末に配信する処理と、
   前記動画像の配信中に、前記配信開始時刻を起点とする各ユーザ端末上のフィンガーアクション発生時刻を前記通信ネットワークを介して受信する処理と、
   前記動画像の配信をしながら、前記動画像の配信フレームレートに基づき決定される前記動画像の静止画像群のうち前記フィンガーアクション発生時刻に対応する静止画像を特定する処理と、
   前記動画像の配信をしながら、前記特定した静止画像を各ユーザ端末に送信する処理と、
   を含む方法。
9. 前記動画像を受信する処理は所定の時間間隔毎に実行され、
   前記静止画像を特定する処理は、前記動画像が配信されている時間間隔の直前の時間間隔内に受信したフィンガーアクション発生時刻に基づき実行される、請求項８に記載の方法。

Images