JP7163257B2 - 移動可能な画像生成元の画像を用いて多視点画像を生成する方法、装置及びプログラム - Google Patents

Description

本発明は、複数の画像生成元からの画像を用いて多視点画像を生成する技術に関する。

現在、街中に設置された監視カメラや、スタジアムのような施設内に設置されたイベント撮影用のカメラ等の普及に伴い、複数の設置カメラで撮影された映像データを取り扱い、そこから新たな映像を生成する技術が注目されている。例えば、複数の映像データから多視点映像を生成し、さらにこの多視点映像から、高い臨場感を提供可能なメディアとして注目されている自由視点映像を生成して配信する技術の開発が盛んに進められている。

このような映像技術の例として、特許文献１には、２次元画像（参照画像）を、フレーム毎に予め作成しておいた背景マスクと照合して背景領域を抽出し、これにより自由視点映像を生成する技術が開示されている。この技術では、背景マスクをＪＢＩＧによって圧縮した上で奥行データに加えて伝送することによって、自由視点映像における必要なデータ伝送量の低減を図っている。

また、例えば特許文献２には、複数対象の撮影された多視点のカメラ画像における各カメラ画像から、対象を包含する１つ以上の画像領域を抽出し、各カメラ画像において抽出された１つ以上の画像領域が複数対象のいずれに該当するかを、カメラ画像間での対象の対応関係と共に決定し、決定された対応関係で結ばれる各カメラ画像における、抽出された画像領域に基づいて、対応関係にある対象を包含する空間領域を抽出する技術が開示されている。

この特許文献２では、上述したような処理によって、複数対象が撮影された多視点カメラ画像において対象のオクルージョンが発生するような場合であっても、ビジュアルハル生成及びこれに基づく自由視点映像生成に好適となる個別対象の空間領域を抽出することができるとしている。

さらに、例えば特許文献３には、撮影領域を含む施設内における表示端末の位置情報に基づいて定まる仮想視点情報であって仮想視点の位置に関する情報を含む仮想視点情報を判定し、判定された仮想視点情報に応じた自由視点画像を前記表示端末へ送信する技術が開示されている。この技術では、ユーザが配信された映像と実空間との関係をより容易に認識できるような映像を配信することを目的としているのである。

特開２００６－３０２０１１号公報 特開２０１８－１２５６４２号公報 特開２０１９－０１２５３３号公報

以上説明した特許文献１～３に記載された技術を含む従来技術では、いずれにしても、多視点映像（自由視点映像）を生成するため、撮影対象の周囲に設置された複数のカメラを使用し、これらのカメラによる撮影によって生成された映像（画像）データを収集して加工することを基本としている。

これに対し現在、自動車、ロボットやドローン等の移動体に搭載されたカメラで生成された映像（画像）データを利用して種々の情報を形成し、様々なサービスを提供する技術の開発が盛んに進められている。このような状況の下、本願発明者等は、上述したような移動体に搭載されたカメラの映像（画像）データを利用して多視点映像や自由視点映像を生成できないかと考えた。

例えば従来、道路の交差点や中央分離帯といった所定の地点、さらには事故現場等についての自由視点映像を生成することは、映像構成に好適な位置に複数のカメラが予め都合よく存在していない限り、非常に困難であった。しかしながら、例えば車載カメラを上手く利用すれば、そのような従来取得困難であった自由視点映像も生成可能となると考えたのである。

そこで、本発明は、車載カメラ等の移動し得る画像生成元を利用して、多視点画像を生成することを可能にする多視点画像生成方法、装置及びプログラムを提供することを目的とする。

本発明によれば、複数の画像生成元で生成された、所定対象を含む生成元画像から、多視点画像を生成する多視点画像生成装置であって、
複数の画像生成元のうち少なくとも１つは移動可能な画像生成元であってその位置に係る情報が決定可能となっており、本多視点画像生成装置は、
当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する位置に係る情報に基づいて、当該所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲であって、当該所定の対象を原点とした方位角が互いに所定条件を満たすまでに離隔又は離散することになる複数の位置若しくは位置範囲に存在する複数の画像生成元を選定する画像生成元選定手段と、
選定された当該画像生成元より取得された当該生成元画像から、当該所定対象を含む多視点画像を生成する多視点画像生成手段と
を有することを特徴とする多視点画像生成装置が提供される。この本発明による多視点画像生成装置において、画像生成元選定手段は、当該方位角が互いに所定条件を満たすまでに離散することになる所定の数の画像生成元を選定することも好ましい。

また、この本発明による多視点画像生成装置における画像生成元選定手段は、当該移動可能な画像生成元を含む当該画像生成元の各々における画像生成の際の視線向きに係る情報にも基づいて、当該画像生成元を選定することも好ましい。

さらに、この画像生成元選定手段は、当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する１つの時点又は時間範囲での位置に係る情報に基づいて、当該画像生成元を選定し、
多視点画像生成手段は、選定された当該画像生成元から取得された、上記の１つの時点又は時間範囲での生成元画像を含む当該生成元画像から、当該多視点画像を生成することも好ましい。

また、本発明による多視点画像生成装置は、一実施形態として、当該画像生成元の各々における当該所定対象に対する位置に係る情報を、当該画像生成元の各々で生成された生成元画像における当該所定対象の画像内での位置に基づいて決定する位置情報取得手段を更に有することも好ましい。

さらに、本発明による多視点画像生成装置の他の実施形態として、少なくとも１つの移動体に、画像生成の際の視線向きが互いに異なっている複数の移動可能な画像生成元が設けられており、
画像生成元選定手段は、複数の移動可能な画像生成元を含む当該画像生成元の各々における当該視線向きに係る情報にも基づいて、当該画像生成元を選定することも好ましい。

また、この（複数の画像生成元を備えた移動体に係る）実施形態において、当該移動体は通行エリアを進行する移動手段であって、当該所定対象は当該通行エリア内又はその近傍に存在する対象であり、当該移動体に設けられた当該画像生成元は、進行向きの状況を撮影可能なカメラ、及び反進行向きの状況を撮影可能なカメラを少なくとも含み、
画像生成元選定手段は、当該移動体から画像生成元であるカメラを選定する場合において、当該移動体が当該所定対象に近づくように当該通行エリアを進行する際、進行向きの状況を撮影可能なカメラを選定し、当該移動体が当該所定対象から遠ざかるように当該通行エリアを進行する際、反進行向きの状況を撮影可能なカメラを選定することも好ましい。

本発明によれば、また、複数の画像生成元で生成された、所定対象を含む生成元画像から、多視点画像を生成するコンピュータによって実施される多視点画像生成方法であって、
複数の画像生成元のうち少なくとも１つは移動可能な画像生成元であってその位置に係る情報が決定可能となっており、本多視点画像生成方法は、
当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する位置に係る情報に基づいて、当該所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲であって、当該所定の対象を原点とした方位角が互いに所定条件を満たすまでに離隔又は離散することになる複数の位置若しくは位置範囲に存在する複数の画像生成元を選定するステップと、
選定された当該画像生成元より取得された当該生成元画像から、当該所定対象を含む多視点画像を生成するステップと
を有することを特徴とする多視点画像生成方法が提供される。

本発明によれば、さらに、複数の画像生成元で生成された、所定対象を含む生成元画像から、多視点画像を生成するコンピュータを機能させるプログラムであって、
複数の画像生成元のうち少なくとも１つは移動可能な画像生成元であってその位置に係る情報が決定可能となっており、本プログラムは、
当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する位置に係る情報に基づいて、当該所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲であって、当該所定の対象を原点とした方位角が互いに所定条件を満たすまでに離隔又は離散することになる複数の位置若しくは位置範囲に存在する複数の画像生成元を選定する画像生成元選定手段と、
選定された当該画像生成元より取得された当該生成元画像から、当該所定対象を含む多視点画像を生成する多視点画像生成手段と
してコンピュータを機能させることを特徴とする多視点画像生成プログラムが提供される。

本発明の多視点画像生成方法、装置及びプログラムによれば、車載カメラ等の移動し得る画像生成元を利用して、多視点画像を生成することができる。

本発明に係る多視点画像生成システムの一実施形態を説明するための模式図及び機能ブロック図である。 クラウドサーバ（画像生成元選定部）における本発明に係る画像生成元選定処理の具体例を説明するための模式図である。 クラウドサーバにおける多視点画像生成処理及び自由視点画像生成処理の具体例を説明するための模式図である。 本発明による多視点画像生成方法における一実施形態の概略を示すシーケンス図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［多視点画像生成システム］
図１は、本発明に係る多視点画像生成システムの一実施形態を説明するための模式図及び機能ブロック図である。

図１に示した本実施形態の多視点映像生成システムは、
（ａ）移動可能なクライアントである複数の端末２０Ａ～２０Ｄ（以後、総称して「端末２０」とする場合もあることに留意）と、
（ｂ）これらの端末２０から画像データを取得可能なサーバであるクラウドサーバ１と
を有し、クラウドサーバ１において、複数の端末２０より取得された画像データから、多視点画像（映像）が生成可能となっており、さらに生成された多視点画像（映像）から自由視点映像が生成可能となっている。

ここで、上記（ａ）の端末２０は本実施形態において、通信機能を有するドライブレコーダであり自動車２に設置されている。このドライブレコーダ（端末２０）は、
（ａ１）自動車２の車両前方を撮影可能な前方カメラ２０３ａ、及び
（ａ２）自動車２の車両後方を撮影可能な後方カメラ２０３ｂ
と接続されており、又はこれらのカメラ２０３ａ及び２０３ｂ（以後、総称して「カメラ２０３」とする場合もあることに留意）を備えており、これらのカメラ２０３によって自動車２の進行向き及び反進行向きの状況を常時撮影して画像（映像）データを生成し、さらに、自身に設けられたメモリやストレージに保存することが可能となっている。

また、各端末２０は、例えば携帯電話通信網やインターネット等を介してクラウドサーバ１と無線通信接続が可能となっており、保存した画像（映像）データの一部を、自発的に又は送信要求に応じ、クラウドサーバ１へ送信することができる。

さらに、各端末２０は本実施形態において測位部２０２を有し、自らの位置情報（例えば自らの所在位置の緯度及び経度並びに測位時刻）を取得してクラウドサーバ１へ通知することも可能となっている。また変更態様として、各端末２０は、自動車２における測位情報を取得可能なＣＡＮ（Controller Area Network）と無線又は有線で接続されていて、このＣＡＮから、自動車２の位置情報を取得してクラウドサーバ１へ通知してもよい。ここでクラウドサーバ１にとって、端末２０や自動車２の位置情報は、自動車２に係る端末２０に搭載された又は接続されたカメラ２０３（画像生成元）の位置情報でもあると解釈することができる。

一方、上記（ｂ）のクラウドサーバ１は、複数の自動車２に搭載された複数のカメラ２０３（画像生成元）で生成された、所定対象を含むカメラ画像（生成元画像）から多視点画像（映像）を生成するが、具体的には、
（Ａ）複数のカメラ２０３の各々における「所定対象に対する位置に係る情報」に基づいて、所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲に存在する複数のカメラ２０３を選定する画像生成元選定部１１２と、
（Ｂ）選定されたカメラ２０３より取得されたカメラ画像（生成元画像）から、所定対象を含む多視点画像を生成する多視点画像生成部１１３と
を有することを特徴としている。

ここで上記（Ａ）の「所定対象に対する位置に係る情報」は、例えば、所定対象の位置を原点とした実空間座標系を設定した場合における、カメラ２０３（端末２０）の位置座標値であってもよく、又は原点（所定対象）からの距離値及び方位（角）値とすることもできる。また、このような実空間座標系での相対位置の代わりに、画像内座標系での相対位置（座標値）を採用してもよい。

いずれにしてもクラウドサーバ１は、所定対象に対して互いに異なる複数の視点からの画像データが生成可能な複数のカメラ２０３（画像生成元）を、その位置に係る情報に基づいて選定可能となっており、その結果、移動し得る画像生成元を利用して所定対象を含む多視点画像を生成することができるのである。

例えば、クラウドサーバ１は、所定対象として１つの交差点又は当該交差点に存在する落下物若しくは事故車両（図１のバツ印）を設定し、この所定対象の自由視点映像を生成するものとする。この場合、この交差点の位置を特定した上で、それぞれ自動車２に搭載された端末２０Ａ～２０Ｄにおける「所定対象に対する位置に係る情報」を考慮し、
端末２０Ａに係る前方カメラ２０３ａと、端末２０Ｂに係る後方カメラ２０３ｂと、
端末２０Ｃに係る前方カメラ２０３ａと、端末２０Ｄに係る前方カメラ２０３ａと
を選定して、これらのカメラ２０３からのカメラ画像を取得し、最終的に自由視点映像を生成することができるのである。

なお、生成する多視点画像（映像）に含むべき所定対象は勿論、交差点（の落下物や事故車両）に限定されるものではない。例えば複数の視点から撮影可能なものならば、静止しているか又は移動しているかにかかわらず種々様々な物や事象が、この所定対象となり得るのである。

また、端末２０は当然に、自動車２に設置された車載装置（ドライブレコーダ）に限定されるものではなく、例えば自転車や鉄道車両、さらにはロボットやドローン等の他の移動体に設置された又は搭乗した装置であってもよい。さらに、端末２０は、例えばＨＭＤ（Head Mounted Display）やグラス型端末等のウェアラブル端末であってもよい。この場合、例えば複数の人物が歩きながら撮影した画像データに基づいて多視点画像（映像）が生成されることとなる。

さらに、本発明に係る画像生成元も、各自動車２の前方カメラ２０３ａや後方カメラ２０３ｂに限定されるものではなく、例えば自動車側方のカメラや自動車上方のカメラであってもよい。また画像生成元として、地上や建物・設備等に設置された固定カメラが含まれていてもよい。すなわち、画像生成元選定部１１２における選定候補となる画像生成元には、少なくとも１つの移動可能な画像生成元が含まれていればよく、例えば選定候補の過半数は固定カメラとなっていてもよい。また勿論、選定候補となるのが全て、移動可能な画像生成元であるような態様をとることも可能である。

いずれにしても本発明によれば、所定対象の多視点画像（映像）を生成するにあたり、従来のように固定カメラのみに依存する必要がないので、従来生成が困難であった多視点画像（映像）が生成できたり、また、最終的に多視点画像（映像）生成処理の負担が低減されたりする場合も多くなるのである。またさらに、移動する画像生成元（カメラ）を、移動途中の個々の位置で利用することによって、使用する画像生成元（カメラ）の数を超える、より多数の視点からの画像データを取得することもできるのであり、その結果、生成される多視点・自由視点画像（映像）の品質をより向上させることも可能となるのである。

また、各端末２０からクラウドサーバ１へ送信される画像データは、例えばＭＰＥＧ（Moving Picture Experts Group）で符号化されてもよい。この場合、クラウドサーバ１は、受信した（圧縮された）画像データを復号化し（伸張させ）、復号化された画像データを基にして多視点画像（映像）、さらには自由視点画像（映像）を生成することができる。

［多視点画像生成装置の機能構成］
図１に示した機能ブロック図によれば、クラウドサーバ１は、通信インタフェース１０１と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による多視点画像生成プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この多視点画像生成プログラムを実行することによって、多視点画像生成処理を実施する（なお本実施形態では、生成した多視点画像から自由視点画像を生成する自由視点画像生成処理も実施される）。

このことから、本発明による多視点画像生成装置として、本クラウドサーバ１に代えて、本発明による多視点画像生成プログラムを搭載した、例えば非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を採用することも可能となる。

例えば、端末２０に本発明による多視点画像生成プログラムを搭載し、当該端末２０を本発明による多視点画像生成装置とすることもできる。また、本発明による多視点画像生成装置を、端末２０とともに自動車２に設置する実施形態も可能となるのである。

さらに、プロセッサ・メモリは、画像解析部１１１ａを含む位置情報取得部１１１と、画像生成元選定部１１２と、多視点画像生成部１１３と、自由視点画像生成部１１４と、入出力制御部１１５とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された多視点画像生成プログラムの機能と捉えることができる。また、図１におけるクラウドサーバ１の機能構成部間を矢印で接続して示した処理の流れは、本発明による多視点画像生成方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、位置情報取得部１１１は、各カメラ２０３（画像生成元）の位置情報、及び所定対象（図１では交差点（の落下物や事故車両））の位置情報を取得する。例えば、各カメラ２０３の位置情報は、各カメラ２０３に係る端末２０から送信され、通信インタフェース１０１で受信して取得されたＧＰＳ（Global Positioning System）位置情報とすることができる。なお、所定対象の位置情報は、例えば自由視点画像生成対象の所在位置として、予めクラウドサーバ１に設定・入力されたものであってもよい。

また変更態様として、位置情報取得部１１１は、所定対象（交差点）に対する各カメラ２０３（画像生成元）の相対位置に係る情報を取得するものであってもよい。この場合、位置情報取得部１１１の画像解析部１１１ａが、各カメラ２０３で生成されたカメラ画像（生成元画像）における所定対象の画像内での位置に基づき、各カメラ２０３における所定対象に対する相対位置情報を決定してもよい。

ここで、このようなカメラ画像に含まれる所定対象と、このカメラ画像の生成元であるカメラとの位置関係は、例えば公知の画像座標系－実空間座標系の座標変換処理を用いて算出することができる。例えば、所定対象の位置を原点とした実空間座標系を設定した場合における、各カメラ２０３の位置座標値を求めてもよい。また、このような実空間座標系での相対位置の代わりに、画像内座標系での相対位置（座標値）を採用することも可能である。

画像生成元選定部１１２は、移動可能なカメラ２０３（画像生成元）を含む、選定対象となる全てのカメラ（画像生成元）の各々における「所定対象に対する位置情報」に基づいて、所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲に存在する複数のカメラ（画像生成元）を選定する。ここで、選定対象となるカメラには、移動可能なカメラ２０３だけでなく、固定カメラが含まれていてもよい。

画像生成元選定部１１２は、さらに、移動可能なカメラ２０３（画像生成元）を含む、選定対象となる全てのカメラ（画像生成元）の各々における「画像生成の際の視線向きに係る情報」にも基づいて、複数のカメラ（画像生成元）を選定することも好ましい。この場合例えば、そもそもカメラ画像に所定対象が含まれている（映り込んでいる）カメラ（画像生成元）を選定対象としてもよい。

また、画像生成元選定部１１２は、各カメラの撮影向き（画像生成の際の視線向き）に係る情報、例えば
・カメラ２０３における自動車２の前方を基準とした場合の撮影向き（視線向き）角度、及び画角や、
・固定カメラにおける撮影向き（視線向き）の方位角、及び画角
等を予め取得していて、各カメラの位置、撮影向き（視線向き）、及び画角（さらにはカメラ２０３の場合、自動車２の進行向き）に基づいて、「所定対象を含むカメラ画像を生成可能」なカメラ（画像生成元）を選定してもよい。

画像生成元選定部１１２はより具体的に、例えば、所定対象の位置（例えば交差点ならばその中心位置）を原点とした実空間座標系において、選定対象である各カメラにおけるその位置座標値から、所定対象との「距離」、及び原点（所定対象）周りの「方位角」を算出し、
（ａ）「距離」がいずれも所定範囲内（例えば3～15メートル）であって、且つ「方位角」が互いに所定角度閾値（例えば30°）以上離隔した値となっており、
（ｂ）「所定対象を含むカメラ画像を生成可能」であるような撮影向き（視線向き）角度及び画角を有する、
（ｃ）予め設定された上限数（例えば6）内の数だけの
カメラ（画像生成元）を選定することも好ましい。

ここで上記（ａ）及び（ｂ）の条件を満たすカメラ（画像生成元）が上記（ｃ）の上限数を超えて存在する場合は、そのうちからランダムに当該上限数分を選定してもよく、または、上記（ａ）における互いの「方位角」の離散度が最も高くなるような（標準偏差が最大となるような）当該上限数分を選定することもできる。

なお、以上に述べた「距離」及び「方位角」（画像生成元の位置に係る情報）や、（所定対象を含むカメラ画像が生成可能か否かを決める）「撮影向き（視線向き）角度」及び「画角」（画像生成元の視線向きに係る情報）等のカメラ選定のための情報は、１つの時点又は時間範囲における情報とすることも好ましい。例えばこれらの情報を生成する元となる画像データを、共通の１つの時刻に生成（撮影）されたものとしてもよい。

言い換えると、画像生成元選定部１１２は、（移動可能なカメラ２０３を含む画像生成元としての）カメラの各々における同じ１つの時点又は時間範囲での「所定対象に対する位置に係る情報」に基づいて、使用するカメラ（画像生成元）を選定し、またさらに、これらの選定されたカメラから取得されるカメラ画像（生成元画像）は、この同じ１つの時点又は時間範囲でのカメラ画像を含むものとすることも好ましい。これは特に、所定対象が移動可能であったり見た目が刻々と変化したりするものである場合に必要な技術事項となる。

ここで、特に所定対象が静止しておりその位置や見た目が変化するものではない場合、上述したような（距離や方位角といった）カメラ選定のための情報は、同じ１つの時点又は時間範囲における情報ではなく、カメラ毎に異なった時点（時刻）での情報とすることも可能である。例えば具体例として、交差点内に落下した荷物を所定対象とする場合、選定された複数のカメラ２０３は、互いに異なる時刻において上記（ａ）及び（ｂ）の条件を満たすものであってもよいのである。

ただし、このような場合でも、選定された各カメラからは、当該カメラにおける（距離や方位角といった）カメラ選定のための情報に係る時点又は時間範囲と同一の時点又は時間範囲でのカメラ画像を含むカメラ画像が取得されることが好ましい。

なお、画像生成元選定部１１２はこの後、カメラの指定情報（例えば、選定したカメラのＩＤや、送信要求対象である画像データの時刻・時間範囲（又はフレーム番号・番号範囲）の情報）を入出力制御部１１５に出力し、入出力制御部１１５は、このカメラの指定情報に基づき、各端末２０宛ての画像送信要求を生成して、当該画像送信要求を、通信インタフェース１０１を介して各端末２０へ送信するのである。

図２は、クラウドサーバ１（画像生成元選定部１１２）における本発明に係る画像生成元選定処理の具体例を説明するための模式図である。

ここで以下に示す図２（Ａ）～（Ｃ）の各例において、クラウドサーバ１は、各自動車２のＧＰＳ位置情報を取得して、各自動車２における時刻Tにおける所定対象に対する相対位置とその進行向きとを決定した上で、カメラ２０３を選定している。また、所定対象は、自動車２の走行する道路（通行エリア）内又はその近傍に存在する事物となっている。さらに、クラウドサーバ１は、各自動車２が前方カメラ２０３ａ及び後方カメラ２０３ｂを備えていることを予め知得しており、また、これらのカメラの撮影向き（視線向き）及び画角等の情報も把握している。

最初に図２（Ａ）の例では、クラウドサーバ１の画像生成元選定部１１２は、時刻Tにおいて所定対象である「交差点における落下物（バツ印）」を適切に撮影し得る５つのカメラ：端末２０Ａの前方カメラ２０３ａ、端末２０Ｂの後方カメラ２０３ｂ、端末２０Ｃの前方カメラ２０３ａ、端末２０Ｄの前方カメラ２０３ａ、及び端末２０Ｅの後方カメラ２０３ｂを選定している。

次いで図２（Ｂ）の例では、クラウドサーバ１の画像生成元選定部１１２は、時刻Tにおいて所定対象である「中央分離帯における落下物（バツ印）」を適切に撮影し得る４つのカメラ：端末２０Ｆの前方カメラ２０３ａ、端末２０Ｇの後方カメラ２０３ｂ、端末２０Ｈの前方カメラ２０３ａ、及び端末２０Ｉの後方カメラ２０３ｂを選定している。

さらに図２（Ｃ）の例では、クラウドサーバ１の画像生成元選定部１１２は、時刻Tにおいて所定対象である「カーブした道路脇の落下物（バツ印）」を適切に撮影し得る３つのカメラ：端末２０Ｌの前方カメラ２０３ａ、端末２０Ｍの後方カメラ２０３ｂ、及び端末２０Ｎの前方カメラ２０３ａを選定している。ちなみに、端末２０Ｋの前方カメラ２０３ａは、その画角内に「カーブした道路脇の落下物（バツ印）」を含まず、この落下物を撮影し得ないので選定されていない。

ここで上述した各例において、画像生成元選定部１１２は、各端末２０（自動車２）の位置情報だけではなく、各カメラ２０３の撮影向き（視線向き）、すなわち進行向きを撮影可能であるのか反進行向きを撮影可能であるのかの情報をも考慮してカメラ選定を行っている。

具体的には１つの選定基準として、自動車２からカメラ２０３を選定する際、当該自動車２が所定対象に近づくように道路（通行エリア）を進行する際、進行向きの状況を撮影可能な前方カメラ２０３ａを選定しており、当該自動車２が所定対象から遠ざかるように道路（通行エリア）を進行する際、反進行向きの状況を撮影可能な後方カメラ２０３ｂを選定しているのである。

ちなみに、以上に説明したカメラ選定処理では、移動可能な自動車２に搭載されたカメラ２０３のみが選定対象であったが、例えば、道路脇や交差点に設置された固定カメラも含めて選定対象とすることが可能である。この場合、クラウドサーバ１は、このような固定カメラにおける設置位置、撮影向き（視線向き）及び画角等の情報を把握していることも好ましい。

以上に説明したようなカメラ選定処理の後、クラウドサーバ１は、上述したように指定したカメラ２０３（に係る端末２０）の各々から、時刻Tに生成（撮影）された画像データを含む画像データ群を取得することによって、交差点の落下物を含む多視点画像、さらには自由視点画像を生成することができるのである。

図１の機能ブロック図に戻って、多視点画像生成部１１３は、画像生成元選定部１１２で選定されたカメラより（通信インタフェース１０１を介して）取得されたカメラ画像（生成元画像）から、所定対象を含む多視点画像（映像）を生成する。例えば、選定された各カメラから取得したカメラ画像のうちで、この後、自由視点映像（画像）を生成するのに利用可能となるカメラ画像、いわゆる参照画像を選択して、多視点画像（映像）としてもよい。

特に、移動中であるカメラ２０３からのカメラ画像は、例え時刻（時間範囲）を指定して取得したものであっても、含まれる所定対象の画像内での位置が所望の位置からずれていることも少なくない。したがって、上記のカメラ画像の選択処理は、好適な自由視点映像（画像）を生成する際に重要となるのである。

自由視点画像生成部１１４は、このように生成された多視点画像（映像）を用いて自由視点映像（画像）を生成する。ここで、自由視点映像（画像）とは、任意の指定された仮想視点位置から所定対象を見た際の映像（画像）のことである。

具体的に自由視点画像生成部１１４は、
（ａ）参照画像（多視点画像）の画素毎に、画像の視点位置から当該画素に映っている対象までの距離値（デプス値）を算出して、対象を表す３次元点の集合を生成して自由視点映像（画像）を生成してもよく、
（ｂ）参照画像（多視点画像）に含まれる所定対象の輪郭情報を算出し、所定対象をビジュアルハル（３次元形状）として近似的に表現して自由視点映像（画像）を生成してもよく、
（ｃ）参照画像（多視点画像）から、ライトフィールドを算出して自由視点映像（画像）を生成してもよい。

ここで、上記（ｂ）のビジュアルハルは、視体積交差法、特にボクセルモデルによってビジュアルハルを表現するボクセルベースの視体積交差法によって生成されることも好ましい。また、上記（ｃ）のライトフィールドとは、視点位置(x, y, z)、光線向き(θ, φ)、光線波長λ、及び時間tの関数であるPlenoptic関数をもって表現される、３次元空間内の全ての光線場のことである。

なお、以上説明したように生成された、所定対象を含む多視点画像（映像）や自由視点映像（画像）は、適宜又は要求に応じて、通信インタフェース１０１を介し端末２０やその他の外部の情報処理装置へ送信され、様々な形で利用されてもよい。勿論、クラウドサーバ１自身が、生成した多視点画像（映像）や自由視点映像（画像）を利用して種々のサービス情報を生成し外部に提供することも好ましい。

図３は、クラウドサーバ１における多視点画像生成処理及び自由視点画像生成処理の具体例を説明するための模式図である。

図３によれば、クラウドサーバ１は、選定した３つのカメラ２０３（に係る端末２０）から要求した画像データを取得し、これらの画像データから多視点画像、さらには自由視点画像を生成している。

具体的に、クラウドサーバ１の多視点画像生成部１１３は、所定対象としての１つの交差点を撮影した（ａ）端末２０Ｐの後方カメラ２０３ｂと、（ｂ）端末２０Ｑの前方カメラ２０３ａと、（ｃ）端末２０Ｒの前方カメラ２０３ａとから、時刻Tの画像データを含む画像データ群を取得し、これら３つのカメラ毎に、自由視点画像を生成するのに好適な画像データを選択して多視点画像としている。

次いで自由視点画像生成部１１４は、多視点画像生成部１１３で生成された多視点画像を用いて、所定対象である交差点を含む自由視点画像を生成しているのである。ここで、生成された自由視点画像においては、上記の３つのカメラの位置とは異なる任意の視点を指定した場合に、この指定された視点から見た交差点の画像が出力可能となっている。

このように、クラウドサーバ１は、特定の「交差点」といったような、必ずしも複数の固定カメラが適切に配置されているわけではない「所定対象」についての自由視点画像を、車載カメラ等の移動し得る画像生成元を利用することによって生成可能としているのである。

［端末２０の機能構成］
図１の機能ブロック図に戻って、端末２０（図１では端末２０Ａ）は、通信インタフェース２０１と、測位部２０２と、映像生成元としての前方カメラ２０３ａ及び後方カメラ２０３ｂと、ディスプレイ（ＤＰ）２０４と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明に係る多視点画像生成支援プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この多視点画像生成支援プログラムを実行することによって、多視点画像生成支援処理を実施する。

このことから、本発明に係る映像生成元を含む又は当該映像生成元と接続された多視点画像生成支援装置として、ドライブレコーダである本端末２０に代えて、本発明による多視点画像生成支援プログラムを搭載した他の車載情報処理装置や、さらにはカメラを備えた又はカメラと接続されたスマートフォン、ノート型若しくはタブレット型コンピュータ、又はパーソナル・コンピュータ（ＰＣ）等を採用することも可能となる。また、ドライブレコーダとＷｉ-Ｆｉ（登録商標）やBluetooth（登録商標）等で通信接続された端末、例えばスマートフォンを本多視点画像生成支援装置としてもよい。

さらに、プロセッサ・メモリは、映像生成部２１１と、対象検出部２１２と、位置情報取得部２１３と、カメラ画像選択部２１４と、提示情報生成部２１５と、入出力制御部２１６とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された多視点画像生成支援プログラムの機能と捉えることができる。また、図１における端末２０の機能構成部間を矢印で接続して示した処理の流れは、本発明に係る多視点画像生成支援方法の一実施形態としても理解される。

同じく図１の機能ブロック図において、位置情報取得部２１３は、自らに係る端末２０（自動車２）の位置情報（例えば緯度、経度、高度、及び測位した時刻）を測位部２０２から取得し、この位置情報を、通信インタフェース２０１を介してクラウドサーバ１へ通知させる。

ちなみに測位部２０２は、ＧＰＳ（Global Positioning System）衛星から受信した測位電波を解析し、端末２０の現在位置を測位する公知のデバイスとすることができる。または測位部２０２は、複数基地局測位方式を用いて測位を行うデバイスであってもよい。ここで複数基地局測位方式は、端末２０が複数の周辺基地局から受信する電波によって現在位置を測位する方式である。

映像生成部２１１は、映像生成元としての前方カメラ２０３ａ及び後方カメラ２０３ｂから出力された撮影データに基づいて映像データ（画像フレーム群）を生成する。ここで、生成された映像データには、映像生成元が前方カメラ２０３ａであることを示すタグ又は後方カメラ２０３ｂであることを示すタグが付与されることも好ましい。また本実施形態において端末２０はドライブレコーダであり、映像生成部２１３は、デフォルトの設定として少なくとも自動車２の走行時は常に、車外の状況を撮影した撮影データを前方カメラ２０３ａ及び後方カメラ２０３ｂから取得し、各カメラによる映像データ（画像フレーム群）を生成している。

対象検出部２１２は、生成された画像データにおいて所定「対象」を検出する。具体的には、周知の機械学習を用いた物体検出技術を用いて「対象」検出処理を実施することができる。例えば、画像データ内の各小画像領域に対し、「対象」検出用に学習された物体検出器を用いて「対象」らしさを示すスコアを算出し、当該スコアの最も高い小画像領域を「対象」領域に決定してもよい。

また、このような物体検出器として、例えば非特許文献：Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, ２０１６年, ２１～３７頁に記載されたものを使用することができる。ここで、決定される「対象」領域は、例えば、物体検出器によって検出された「対象」の画像部分に対し各辺が外接している外接矩形（バウンディングボックス，bounding box）の領域であってもよい。勿論当然に、他の形状の対象領域を設定することも可能である。

ちなみに、工事現場という「対象」については、ロードコーンや車両等の物体を検出してそれらが所定数以上近接して連続している場合に、工事現場を検出したとすることができる。

同じく図１の機能ブロック図において、入出力制御部２１６は、画像データにおいて検出された所定対象に係る情報と当該画像データとを、当該画像データの生成元である端末２０の位置情報とともに通信インタフェース２０１を介してクラウドサーバ１へ提供し、一方で、クラウドサーバ１から自らに係る端末２０宛てに送信されてきた、カメラ（画像生成元）指定情報を含む画像送信要求を、通信インタフェース２０１を介して受け取るクライアント入出力制御手段である。

カメラ画像選択部２１４は、取得された画像送信要求に含まれているカメラ指定情報で指定されたカメラ（画像生成元）において、このカメラ指定情報で指定された時点若しくは時間範囲（又はフレーム番号若しくは番号範囲）に生成された画像データを、映像生成部２１１で生成され保存された画像データ（画像フレーム群）の中から選択する。例えば、カメラ指定情報が、前方カメラ２０３ａと、指定日時時間：2019年7月1日15時08分30秒～35秒とを指定するものである場合、前方カメラ２０３ａに係る当該時間範囲の画像（映像）データを選択するのである。カメラ画像選択部２１４は、次いで、このように選択した画像データを、要求元であるクラウドサーバ１へ送信させるのである。

提示情報生成部２１５は、クラウドサーバ１から配信された、所定対象（例えば交差点の落下物）を含む多視点画像（映像）や自由視点映像（画像）を、通信インタフェース２０１を介して取得し、例えばこのような映像（画像）をディスプレイ２０４に表示させるとともに、所定対象に関する情報、例えば所定対象の種別や、所定対象の撮影された時刻・時間（期間）等も併せてディスプレイ２０４に表示させてもよい。

さらに、例えばディスプレイ２０４がタッチパネルも備えていて、提示情報生成部２１５は、所定対象の存在位置にアイコンを配した道路マップを、ディスプレイ２０４に表示させ、当該アイコンがタップされた際、該当する所定対象の多視点画像（映像）や自由視点映像（画像）を同じくディスプレイ２０４に表示させてもよい。

［多視点画像生成方法］
図４は、本発明による多視点画像生成方法における一実施形態の概略を示すシーケンス図である。ここで本実施形態では、端末２０Ａ～２０Ｃは各々、常時、自動車２周辺の状況を撮影して映像を生成しており（ステップＳ１０１）、また自らの位置情報も、常時取得していて、当該位置情報を常時、定期的に又は適宜クラウドサーバ１へ通知している（ステップＳ１０２）。

（Ｓ１０３）端末２０Ｃは、所定対象を検出する。
（Ｓ１０４）端末２０Ｃは、検出した所定対象を含む画像データ、及び対象検出結果を、当該画像データの生成元である端末２０Ｃの位置情報とともにクラウドサーバ１へ送信する。
（Ｓ１０５）クラウドサーバ１は、受信した画像データ及び対象検出結果、並びに周辺の端末２０から取得した位置情報に基づいて、画像送信を要求するカメラ（画像生成元）を選定し、さらに指定した各カメラにおいて同時刻に又は同じ時間範囲に生成された画像データを取得すべく、画像生成時刻情報を決定する。

ちなみに、本実施形態では画像送信を要求するカメラとして、端末２０Ａに係る前方カメラ２０３ａと、端末２０Ｂに係る後方カメラ２０３ｂと、端末２０Ｃに係る前方カメラ２０３ａとが、選定される。

（Ｓ１０６）クラウドサーバ１は、カメラ指定情報及び画像生成時刻情報を含む画像送信要求を端末２０Ａ～２０Ｃの各々へ送信する。
（Ｓ１０７）端末２０Ａ～２０Ｃは各々、受信したカメラ指定情報及び画像生成時刻情報に基づいて、指定されたカメラの画像データを選択する。

ここで、本実施形態では具体的に、
（ａ）端末２０Ａは、生成済みの画像データ群から、前方カメラ２０３ａに係る画像データであって、取得した画像生成時刻情報において指定された時刻又は時間範囲の画像データを選択し、
（ｂ）端末２０Ｂは、生成済みの画像データ群から、後方カメラ２０３ｂに係る画像データであって、取得した画像生成時刻情報において指定された時刻又は時間範囲の画像データを選択し、
（ｃ）端末２０Ｃは、生成済みの画像データ群から、前方カメラ２０３ａに係る画像データであって、取得した画像生成時刻情報において指定された時刻又は時間範囲の画像データを選択するのである。

（Ｓ１０８）端末２０Ａ～２０Ｃは各々、選択した画像データをクラウドサーバ１へ送信する。
ここでクラウドサーバ１は、受信した各端末からの画像データが、この後多視点映像を生成するのになお十分ではない場合、該当する端末に対し、画像送信継続要求又は画像送信追加要求を送信し、足りていない画像データを送信させてもよい。

（Ｓ１０９）クラウドサーバ１は、端末２０Ａ～２０Ｃから受信した画像データを用いて多視点映像を生成する。
ここでクラウドサーバ１は、端末２０Ａ～２０Ｃの各々から受信した画像データのうちで、この後自由視点映像を生成するのに適した画像データを選択して多視点映像としてもよい。例えば、１つの時刻において所定対象を互いに異なる視点から捉えている複数の画像データであって、画像フレーム内における所定対象の位置が各々適切な位置範囲内にある複数の画像データを、当該時刻での多視点画像データとして選定し、これらを時系列化して多視点映像を生成することができる。

（Ｓ１１０）クラウドサーバ１は、生成した多視点映像に基づいて自由視点映像を生成する。
（Ｓ１１１）クラウドサーバ１は、生成した自由視点映像を、端末２０Ａ～２０Ｃや、他の情報処理装置、例えばＰＣ３へ配信する。

以上詳細に説明したように、本発明によれば、所定対象に対し互いに異なる複数の視点からの画像データを生成可能な複数の画像生成元が、その位置に係る情報に基づいて選定可能となっており、その結果、移動し得る画像生成元を利用して所定対象を含む多視点画像（映像）を生成することができる。

さらに本発明によれば、所定対象の多視点画像（映像）を生成するにあたり、従来のように固定カメラのみに依存する必要がないので、従来生成が困難であった多視点画像（映像）が生成できたり、また、最終的に多視点画像（映像）生成処理の負担が低減されたりする場合も多くなるのである。

ちなみに、本発明の構成及び方法は、膨大な量の映像データ伝送が可能となる５Ｇ（第５世代移動通信システム）を利用し、多数のクライアントから映像データをサーバへアップロードする状況において、それらの映像データを利用して所定対象の多視点映像や自由視点映像を生成するのに大いに役立つものと考えられる。例えば自動運転車、ドローンや、自律歩行ロボット等の移動体によって撮影された高解像度映像を５Ｇによって収集し、従来生成が困難であった所望の自由視点映像を確実に生成することも可能となるのである。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ クラウドサーバ（サーバ）
１０１、２０１ 通信インタフェース
１１１ 位置情報取得部
１１１ａ 画像解析部
１１２ 画像生成元選定部
１１３ 多視点画像生成部
１１４ 自由視点画像生成部
１１５、２１６ 入出力制御部
２ 自動車
２０、２０Ａ、２０Ｂ、２０Ｃ、２０Ｄ、２０Ｅ、２０Ｆ、２０Ｇ、２０Ｈ、２０Ｉ、２０Ｊ、２０Ｋ、２０Ｌ、２０Ｍ、２０Ｎ、２０Ｐ、２０Ｑ、２０Ｒ 端末（クライアント）
２０２ 測位部
２０３ａ 前方カメラ
２０３ｂ 後方カメラ
２０４ ディスプレイ（ＤＰ）
２１１ 映像生成部
２１２ 対象検出部
２１３ 位置情報取得部
２１４ カメラ画像選択部
２１５ 提示情報生成部
３ ＰＣ（パーソナル・コンピュータ）

Claims (9)

1. 複数の画像生成元で生成された、所定対象を含む生成元画像から、多視点画像を生成する多視点画像生成装置であって、
   前記複数の画像生成元のうち少なくとも１つは移動可能な画像生成元であってその位置に係る情報が決定可能となっており、前記多視点画像生成装置は、
   当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する位置に係る情報に基づいて、当該所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲であって、当該所定の対象を原点とした方位角が互いに所定条件を満たすまでに離隔又は離散することになる複数の位置若しくは位置範囲に存在する複数の画像生成元を選定する画像生成元選定手段と、
   選定された当該画像生成元より取得された当該生成元画像から、当該所定対象を含む多視点画像を生成する多視点画像生成手段と
   を有することを特徴とする多視点画像生成装置。
2. 前記画像生成元選定手段は、当該方位角が互いに所定条件を満たすまでに離散することになる所定の数の画像生成元を選定することを特徴とする請求項１に記載の多視点画像生成装置。
3. 前記画像生成元選定手段は、当該移動可能な画像生成元を含む当該画像生成元の各々における画像生成の際の視線向きに係る情報にも基づいて、当該画像生成元を選定することを特徴とする請求項１又は２に記載の多視点画像生成装置。
4. 前記画像生成元選定手段は、当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する１つの時点又は時間範囲での位置に係る情報に基づいて、当該画像生成元を選定し、
   前記多視点画像生成手段は、選定された当該画像生成元から取得された、前記１つの時点又は時間範囲での生成元画像を含む当該生成元画像から、当該多視点画像を生成する
   ことを特徴とする請求項１から３のいずれか１項に記載の多視点画像生成装置。
5. 当該画像生成元の各々における当該所定対象に対する位置に係る情報を、当該画像生成元の各々で生成された生成元画像における当該所定対象の画像内での位置に基づいて決定する位置情報取得手段を更に有することを特徴とする請求項１から４のいずれか１項に記載の多視点画像生成装置。
6. 少なくとも１つの移動体に、画像生成の際の視線向きが互いに異なっている複数の移動可能な画像生成元が設けられており、
   前記画像生成元選定手段は、前記複数の移動可能な画像生成元を含む当該画像生成元の各々における当該視線向きに係る情報にも基づいて、当該画像生成元を選定する
   ことを特徴とする請求項１から５のいずれか１項に記載の多視点画像生成装置。
7. 当該移動体は通行エリアを進行する移動手段であって、当該所定対象は当該通行エリア内又はその近傍に存在する対象であり、当該移動体に設けられた当該画像生成元は、進行向きの状況を撮影可能なカメラ、及び反進行向きの状況を撮影可能なカメラを少なくとも含み、
   前記画像生成元選定手段は、当該移動体から画像生成元であるカメラを選定する場合において、当該移動体が当該所定対象に近づくように当該通行エリアを進行する際、前記進行向きの状況を撮影可能なカメラを選定し、当該移動体が当該所定対象から遠ざかるように当該通行エリアを進行する際、前記反進行向きの状況を撮影可能なカメラを選定する
   ことを特徴とする請求項６に記載の多視点画像生成装置。
8. 複数の画像生成元で生成された、所定対象を含む生成元画像から、多視点画像を生成するコンピュータによって実施される多視点画像生成方法であって、
   前記複数の画像生成元のうち少なくとも１つは移動可能な画像生成元であってその位置に係る情報が決定可能となっており、前記多視点画像生成方法は、
   当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する位置に係る情報に基づいて、当該所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲であって、当該所定の対象を原点とした方位角が互いに所定条件を満たすまでに離隔又は離散することになる複数の位置若しくは位置範囲に存在する複数の画像生成元を選定するステップと、
   選定された当該画像生成元より取得された当該生成元画像から、当該所定対象を含む多視点画像を生成するステップと
   を有することを特徴とする多視点画像生成方法。
9. 複数の画像生成元で生成された、所定対象を含む生成元画像から、多視点画像を生成するコンピュータを機能させるプログラムであって、
   前記複数の画像生成元のうち少なくとも１つは移動可能な画像生成元であってその位置に係る情報が決定可能となっており、前記プログラムは、
   当該移動可能な画像生成元を含む当該画像生成元の各々における当該所定対象に対する位置に係る情報に基づいて、当該所定対象に対して互いに異なる複数の視点となり得るような複数の位置若しくは位置範囲であって、当該所定の対象を原点とした方位角が互いに所定条件を満たすまでに離隔又は離散することになる複数の位置若しくは位置範囲に存在する複数の画像生成元を選定する画像生成元選定手段と、
   選定された当該画像生成元より取得された当該生成元画像から、当該所定対象を含む多視点画像を生成する多視点画像生成手段と
   してコンピュータを機能させることを特徴とする多視点画像生成プログラム。

Images