JP6904673B2

JP6904673B2 - 画像配信装置

Info

Publication number: JP6904673B2
Application number: JP2016155148A
Authority: JP
Inventors: 奥山　敦; 奥山　　敦
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-08-08
Filing date: 2016-08-08
Publication date: 2021-07-21
Anticipated expiration: 2036-08-08
Also published as: JP2018026603A

Description

本発明は、画像配信装置に関する。

従来イベントなどを複数の撮影装置で撮影し、撮影した画像をサーバー等に集め、ネットワークを介して利用者に配信する装置があった。

特開2011-182160号公報特開2006-53758号公報

特許文献１に開示されている画像配信装置においては、撮影場所とは異なる場所にいる利用者が特定の被写体を自動で追従して映像を鑑賞することができるようになっているが、任意の位置を選択して記録用の静止画を記録することができなかった。

また、特許文献２に開示されている画像配信装置においては、イベントに参加した複数の人が撮影した画像を共有し、利用者が見ていない視点からの写真も記録用として配信することができるが、利用者が撮影の時間と位置を任意に指定することができなかった。

本発明は、利用者が任意の時間の任意の場所から撮影した記録画像の配信を実現することが可能な画像配信装置を提供することを目的とする。

所定の撮影時点において撮影された複数の画像に基づく第１の仮想視点画像を画像処理装置から取得する第１取得手段と、前記第１取得手段により取得された前記第１の仮想視点画像を表示部に表示させる表示制御手段と、前記所定の撮影時点において撮影された複数の画像に基づく第２の仮想視点画像の生成に係る仮想視点を、前記表示制御手段により前記表示部に表示された前記第１の仮想視点画像に対応する仮想視点から変更するためのユーザ指示であって、特定の被写体を指定するユーザ指示に基づいて、前記第２の仮想視点画像の生成に係る仮想視点に関するパラメータを決定する決定手段と、前記決定手段により決定された前記パラメータを示す情報を前記画像処理装置へ送信する送信手段と、前記送信手段により送信された前記情報が示す前記パラメータに応じた仮想視点に対応する前記第２の仮想視点画像であって、前記ユーザ指示により指定された前記特定の被写体を含む前記第２の仮想視点画像を前記画像処理装置から取得する第２取得手段と、を有することを特徴とする情報処理装置。

本発明によれば、利用者が任意の時間の任意の場所から撮影した記録画像の配信を実現することが可能な画像配信装置を提供することができる。

実施例１におけるブロック図実施例１の多視点移動を説明する図実施例２におけるブロック図実施例２の多視点移動を説明する図実施例２における変形例のブロック図

［実施例１］
以下、図１を参照して、本発明の第1の実施例について説明する。ここでは1次画像としての動画から二次画像としての静止画を配信する例を説明する。図1は第1の実施例を構成するブロック図である。

１は配信装置で、２は視聴装置で、１１は複数のカメラからなる多視点カメラで、１２は多視点カメラからの画像を保存、出力するサーバー部で、１３はサーバー部に記録された一次画像（ここでは動画）を映像信号として送信する画像配信部で、１４は受け取った映像信号をモニタ等に表示する画像視聴部で、１５は視聴の視点を指示する視点指示部で、１６は視点指示に従って画像を変換する視点処理部、１７は画像の撮影タイミングを指示する撮影指示部で、１８は撮影のタイミングの情報と視点の情報を撮影情報として送信する撮影情報送信部で、１９は撮影情報に基づき二次画像（ここでは静止画）を生成する撮影画像生成部で、２０は生成した静止画を配信する撮影画像配信部である。

動作の説明
多視点カメラ（１１a、１１b、１１c）は、図２に示すように撮影対象のイベントに対して盲点がないように撮影範囲（点線）がオーバーラップするように配置し、撮影時刻のタイミングを合わせて撮影する。撮影された画像は、サーバー部１２に送られサーバーに複数の動画像として記録される。多視点カメラ１１とサーバー部１２で多視点撮影手段を構成している。

利用者からの視聴指示に従い画像配信部１３はサーバー部１２から撮影された画像を読みだし、映像信号として視聴装置２に向けて送信する。はじめは適当なカメラ（例えば撮影の中央に位置するカメラ１１b）で撮影した画像を送信する。画像配信部１３が画像配信手段である。画像配信部１３が配信する画像は多視点カメラ１１で撮影した画像から画素数を間引きし、少ないデーター量で高速な配信ができるようにしてもよい。

利用者はネットワークを介して映像信号を受け取り、モニタ等の画像視聴部１４に表示して視聴する。画像視聴部１４が画像視聴手段である。利用者の注目するイベントに参加している特定の人（主被写体とする）がモニタに表示されていないときは、リモコンなどの視点指示部１５により左右を指示してカメラの視点を変える。視点指示部１５が視点指示手段となる。

図２において主被写体がAだとすると、主被写体Aは多視点カメラ11cにしか映っていないので、多視点カメラ11bの画像には映っていない。利用者が視点指示部１５で右を指示すると、視点処理部１６がサーバーから読みだす画像を多視点カメラ11cに切り替える。これにより利用者は主被写体Aをみつけることができる。視点処理部１６が視点処理手段である。視点指示部１５はリモコンに限らず、画面を直接操作してもよいし、マウスによる操作や音声操作、視線操作などでもよい。

利用者は視聴中に記録に残したいと思ったシーンがあったときに、撮影指示部１７から静止画保存の指示を出す。撮影指示部１７はたとえばリモコンの決定ボタンである。撮影指示部１７が撮影指示手段である。撮影情報送信部１８は、視点指示部１５で指示された視点情報と撮影指示部１７で指示された撮影のタイミング情報から撮影情報を生成し、ネットワークを介して配信装置１に送信する。撮影情報送信部が撮影情報送信手段である。

配信装置１の撮影画像生成部１９は、視聴装置２からの撮影情報に基づいてサーバー１２から画像情報を呼び出し、画像を生成する。ここでは静止画像を生成する。撮影画像生成部１９が撮影画像生成手段である。生成された静止画像は、撮影画像配信部２０によりネットワークを介して利用者に送信される。撮影画像配信部２０が撮影画像配信手段となる。

［実施例２］
以下、図３を参照して、本発明の第1の実施例について説明する。図３は第２の実施例を構成するブロック図である。実施例１と同じ構成には同じ番号がついている。１０１は配信装置で、１０２は視聴装置で、２１は視聴する画像の大きさを指示する倍率指示部で、２２は配信する画像の範囲を変更する倍率処理部で、２３は視聴の許可を認証する認証部で、２４は配信した画像の情報を記録する撮影情報記録部である。

動作の説明
実施例１と同じように多視点カメラ１１とサーバー部１２で多視点撮影手段を構成している。利用者は視聴指示とときに事前に配信側から送られているパスコードを送信して、視聴を開始する。認証部２３は利用者から送付されたパスコードが正しいか否かを判断し、正しいときのみ画像配信部１３に画像の配信を許可する。認証部２３が認証手段となる。実施例１と同じように画像配信部１３が画像配信手段で、画像視聴部１４が画像視聴手段で、視点指示部１５が視点指示手段となる。

実施例１とおなじように主被写体が視聴している画像に見つからないときには視点指示部１５を操作して視聴の画像を切り替える。視点処理部１６は図４に示すように撮影したカメラ（１１ｂ、１１ｃ）の間に仮想のカメラ５０を設け、カメラ１１ｂとカメラ１１ｃの画像から仮想カメラ５０で撮影した画像を生成する。生成された仮想視点の画像も画像配信部１３に送られ、画像配信部１３から視聴装置２に配信される。

これにより視点の移動の指示に対して連続的に仮想のカメラ５０の位置を変えながら画像を生成することで、滑らかな視点移動が可能となる。ここまでは視点の移動はすべて利用者が視点指示部１５から行ってきたが、利用者が主被写体を指定し、指定された主被写体を画像から抽出し、そのあとは自動的に主被写体を追従するようにしてもよい。このときは視点指示部１５では主被写体が常に画面内に入るように（例えば画面の中央になるように）視点指示が自動で行われる。

視聴中に利用者が主被写体を大きくしたいときは、画像の示サイズの変更の指示をリモコンなどの倍率指示部２１により指示して表示倍率の変更を指示する。倍率指示部２１からの倍率情報は倍率処理部２２に送られ、倍率処理部２２は視点処理部１６で生成される画像から一部分を切り出す処理を行う。倍率処理部２２が切り出した画像が、画像送信部１３に送られ、画像配信部１３から視聴装置２に配信される。

倍率指示部２１が倍率指示手段で、倍率処理部２２が倍率処理手段である。これにより、図４に示すように仮想カメラ６０でかつ画角を狭くして撮影したような画像を利用者は視聴することが可能となる。

一旦拡大した後、再び画像を小さくしたいときも、同じように倍率指示部２１で指示を出し、倍率処理部２２が画像の切り出し範囲を広くなるように変更することで、広い範囲の視聴に戻すことも可能となる。

撮影指示部１７から撮影指示がなされると、同画像は一時停止して撮影準備状態になる。このとき視点指示手段を使って視点の調整を行うことができる。さらに拡大指示手段で画像の大きさも調整することができる。再び撮影指示部１７から撮影指示を行うと、動画像の時刻、視点の位置、画像の拡大のそれぞれの情報を撮影情報として取得される。

取得された撮影情報は撮影情報送信部１８によってネットワークを介して配信装置に送られる。実施例１と同じように撮影指示部１７が撮影指示手段であり、撮影情報送信部１８が撮影情報送信手段である。

撮影画像生成部１９は視聴装置２からの撮影情報を受け取ると、一旦撮影情報を記録し、利用者の視聴が終了したとき、撮影情報に基づいてサーバー１２から画像情報を呼び出し、一括して画像を生成する。ここでは静止画像を生成している。撮影画像生成部１９が撮影画像生成手段である。

生成された静止画像は、撮影画像配信部２０によりプリントアウトされ紙媒体として配信される。配信される形態はアルバムに製本したものでもよい。撮影画像配信部２０が撮影画像配信手段となる。撮影情報記録部２４は、いつのイベントのどのような静止画を誰に配信したかの履歴をあとからいつでも確認できるように、利用者と配信した静止画の関係情報を記録する。撮影情報記録部２４が撮影情報記録手段である。

ここで視点処理と拡大処理は配信装置側で行うように説明したが、図５に示すように視聴装置側でこれらの処理を行うようにしてもよい。また視聴装置は複数あってもよく、さらには同じ動画像を同時に複数の視聴装置で鑑賞できるようにし、別の利用者と一緒に動画像を共有できるようにしてもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。以上では配信する画像は動画から静止画を生成する例を示したが、撮影指示に従う動画でも構わない。このときは撮影指示のタイミングに対して前後に適当な時間（例えば5秒）を抜き出して動画と知るのが望ましい。さらには抜き出した全ての動画合成し、一つのムービーとしてもよい。

１配信装置、２視聴装置、１１多視点カメラ、１２サーバー部、１３画像配信部、１４画像視聴部、１５視点指示部、１６視点処理部、１７撮影指示部で、１８撮影情報送信部、１９撮影画像生成部、２０撮影画像配信部

Claims

所定の撮影時点において撮影された複数の画像に基づく第１の仮想視点画像を画像処理装置から取得する第１取得手段と、
前記第１取得手段により取得された前記第１の仮想視点画像を表示部に表示させる表示制御手段と、
前記所定の撮影時点において撮影された複数の画像に基づく第２の仮想視点画像の生成に係る仮想視点を、前記表示制御手段により前記表示部に表示された前記第１の仮想視点画像に対応する仮想視点から変更するためのユーザ指示であって、特定の被写体を指定するユーザ指示に基づいて、前記第２の仮想視点画像の生成に係る仮想視点に関するパラメータを決定する決定手段と、
前記決定手段により決定された前記パラメータを示す情報を前記画像処理装置へ送信する送信手段と、
前記送信手段により送信された前記情報が示す前記パラメータに応じた仮想視点に対応する前記第２の仮想視点画像であって、前記ユーザ指示により指定された前記特定の被写体を含む前記第２の仮想視点画像を前記画像処理装置から取得する第２取得手段と、を有することを特徴とする情報処理装置。
前記決定手段により決定されるパラメータは、仮想視点の位置、向き、画角、及び拡大倍率の少なくとも何れかに関するパラメータであることを特徴とする請求項１に記載の情報処理装置。
前記第１取得手段は、前記所定の撮影時点を含む撮影期間に対応する動画であって前記第１の仮想視点画像を含む動画を前記画像処理装置から取得し、
前記表示制御手段は、前記第１取得手段により取得された前記動画を前記表示部に表示させ、
前記決定手段は、前記動画に対応する前記撮影期間内の前記所定の撮影時点をユーザ指示に基づいて指定し、且つ、指定された前記所定の撮影時点に対応する仮想視点に関する前記パラメータを決定し、
前記送信手段は、前記決定手段により指定された前記所定の撮影時点と前記決定手段により決定された前記パラメータとを示す前記情報を前記画像処理装置へ送信することを特徴とする請求項１又は２に記載の情報処理装置。
前記決定手段は、前記動画の再生を一時停止するためのユーザ指示に基づいて前記所定の撮影時点を指定することを特徴とする請求項３に記載の情報処理装置。
前記決定手段は、前記動画の再生の一時停止中におけるユーザ指示に基づいて前記パラメータを決定することを特徴とする請求項４に記載の情報処理装置。
前記第２取得手段は、前記第２の仮想視点画像を静止画として取得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
前記第２取得手段は、前記第２の仮想視点画像を含む動画を取得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
前記第１取得手段による前記画像処理装置からの前記第１の仮想視点画像の取得と、前記送信手段による前記画像処理装置への前記情報の送信と、前記第２取得手段による前記画像処理装置からの前記第２の仮想視点画像の取得は、ネットワークを介して行われることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記ユーザ指示により指定された前記特定の被写体は、前記第２の仮想視点画像の中央に位置するように、前記第２の仮想視点画像に含まれることを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
前記送信手段は、画像の送信要求と、前記画像処理装置が認証を行うための情報と、を前記画像処理装置に送信し、
前記第１取得手段は、前記送信手段により送信された前記画像処理装置が認証を行うための情報に基づいて送信を許可した画像処理装置から、前記第１の仮想視点画像を取得することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
前記画像処理装置が認証を行うための情報は、前記画像処理装置から取得されることを特徴とする請求項１０に記載の情報処理装置。
所定の撮影時点において撮影された複数の画像に基づく第１の仮想視点画像を情報処理装置へ送信する第１送信手段と、
前記第１送信手段により前記第１の仮想視点画像が送信された後に、前記所定の撮影時点において撮影された複数の画像に基づく第２の仮想視点画像の生成に係る仮想視点であって、特定の被写体を指定するユーザ指示に基づく仮想視点に関するパラメータを示す情報を前記情報処理装置から取得する取得手段と、
前記取得手段により取得された前記情報が示す前記パラメータに応じた仮想視点に対応する前記第２の仮想視点画像であって、前記ユーザ指示により指定された前記特定の被写体を含む前記第２の仮想視点画像を前記情報処理装置へ送信する第２送信手段と、を有することを特徴とする画像処理装置。
複数の画像に基づいて前記第１の仮想視点画像を生成する第１生成手段と、
複数の画像と前記取得手段により取得された前記情報とに基づいて前記第２の仮想視点画像を生成する第２生成手段と、を有することを特徴とする請求項１２に記載の画像処理装置。
前記第１送信手段は、前記所定の撮影時点を含む撮影期間に対応する動画であって前記第１の仮想視点画像を含む動画を前記情報処理装置へ送信し、
前記取得手段は、前記動画に対応する前記撮影期間内の前記所定の撮影時点と前記所定の撮影時点に対応する仮想視点に関する前記パラメータとを示す前記情報を前記情報処理装置から取得し、
前記第２送信手段は、前記取得手段により取得された前記情報が示す前記所定の撮影時点に対応する前記第２の仮想視点画像を前記画像処理装置へ送信することを特徴とする請求項１２又は１３に記載の画像処理装置。
前記取得手段は、画像の送信配信要求と、前記画像処理装置が認証を行うための情報と、を前記情報処理装置から取得し、
第１送信手段は、前記取得手段により取得された前記画像処理装置が認証を行うための情報に基づいて送信が許可された情報処理装置に、前記第１の仮想視点画像を送信することを特徴とする請求項１２乃至１４の何れか１項に記載の画像処理装置。
前記第２送信手段により送信された第２の仮想視点画像と、当該第２の仮想視点画像の送信対象である前記情報処理装置とを関連付けた情報を記憶する記憶手段を、さらに有することを特徴とする請求項１２乃至１５の何れか１項に記載の画像処理装置。
所定の撮影時点において撮影された撮影画像を取得する第１取得手段と、
前記第１取得手段により取得された前記撮影画像を表示部に表示させる表示制御手段と、
前記所定の撮影時点において撮影された複数の画像に基づく仮想視点画像の生成に係る仮想視点を、前記表示制御手段により前記表示部に表示された前記撮影画像に対応する視点から変更するためのユーザ指示であって、特定の被写体を指定するユーザ指示に基づいて、前記仮想視点画像の生成に係る仮想視点に関するパラメータを決定する決定手段と、
前記決定手段により決定された前記パラメータに応じた仮想視点に対応する前記仮想視点画像であって、前記ユーザ指示により指定された前記特定の被写体を含む仮想視点画像を取得する第２取得手段と、を有することを特徴とする情報処理装置。
前記決定手段により決定された前記パラメータを示す情報を画像処理装置へ送信する送信手段を有し、
前記第１取得手段は、前記撮影画像を前記画像処理装置から取得し、
前記第２取得手段は、前記送信手段により送信された前記情報が示す前記パラメータに基づいて前記画像処理装置により生成された前記仮想視点画像を取得することを特徴とする請求項１７に記載の情報処理装置。
所定の撮影時点において撮影された複数の画像に基づく第１の仮想視点画像を画像処理装置から情報処理装置へ送信する第１送信工程と、
前記所定の撮影時点において撮影された複数の画像に基づく第２の仮想視点画像の生成に係る仮想視点であって、特定の被写体を指定するユーザ指示に基づく仮想視点に関するパラメータを示す情報を前記情報処理装置から前記画像処理装置へ送信する第２送信工程と、
前記第２送信工程において送信された前記情報が示す前記パラメータに応じた仮想視点に対応する前記第２の仮想視点画像であって、前記ユーザ指示により指定された前記特定の被写体を含む前記第２の仮想視点画像を前記画像処理装置から前記情報処理装置へ送信する第３送信工程と、を有することを特徴とする情報処理方法。
前記第１送信工程において送信された前記第１の仮想視点画像を表示部に表示させる表示制御工程と、
前記第２の仮想視点画像の生成に係る仮想視点を、前記表示制御工程において前記表示部に表示された前記第１の仮想視点画像に対応する仮想視点から変更するためのユーザ指示であって、前記特定の被写体を指定するユーザ指示に基づいて、前記第２の仮想視点画像の生成に係る仮想視点に関する前記パラメータを決定する決定工程と、を有し、
前記第２送信工程は、前記決定工程において決定された前記パラメータを示す前記情報を送信することを特徴とする請求項１９に記載の情報処理方法。
前記第１送信工程は、前記所定の撮影時点を含む撮影期間に対応する動画であって前記第１の仮想視点画像を含む動画を送信し、
前記第２送信工程は、前記動画に対応する前記撮影期間のうち前記画像処理装置において指定された前記所定の撮影時点と前記パラメータとを示す前記情報を送信することを特徴とする請求項１９又は２０に記載の情報処理方法。
所定の撮影時点において撮影された撮影画像を画像処理装置から情報処理装置へ送信する第１送信工程と、
前記所定の撮影時点において撮影された複数の画像に基づく仮想視点画像の生成に係る仮想視点であって、特定の被写体を指定するユーザ指示に基づく仮想視点に関するパラメータを示す情報を前記情報処理装置から前記画像処理装置へ送信する第２送信工程と、
前記第２送信工程において送信された前記情報が示す前記パラメータに応じた仮想視点であって、前記特定の被写体を指定するユーザ指示に基づく仮想視点に対応する前記仮想視点画像を前記画像処理装置から前記情報処理装置へ送信する第３送信工程と、を有することを特徴とする情報処理方法。
前記第１送信工程において送信された前記撮影画像を表示部に表示させる表示制御工程と、
前記仮想視点画像の生成に係る仮想視点を、前記表示制御工程において前記表示部に表示された前記撮影画像に対応する視点から変更するためのユーザ指示に基づいて、前記仮想視点画像の生成に係る仮想視点に関する前記パラメータを決定する決定工程と、を有し、
前記第２送信工程は、前記決定工程において決定された前記パラメータを示す前記情報を送信することを特徴とする請求項２２に記載の情報処理方法。
コンピュータを、請求項１乃至１１、１７、１８の何れか１項に記載の情報処理装置、又は請求項１２乃至１６の何れか１項に記載の画像処理装置として機能させるためのプログラム。