JP6715441B2 - 拡張現実表示システム、端末装置および拡張現実表示方法 - Google Patents

Description

本開示は、撮像された映像にコンテンツを重畳させる拡張現実表示システムに関する。

近年において、カメラで撮影した画像（現実環境）に、文字や画像等の他の情報を付加して提示する技術として、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）が知られている（例えば、特許文献１など参照）。

特開２０１３−２５３２６号公報

本開示は、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる拡張現実表示システムを提供する。

拡張現実表示システムは、対象物の位置情報を生成するデータ生成システムと、データ生成システムが生成した位置情報を受信するクラウドサーバと、クラウドサーバにネットワーク経由で接続可能な端末装置とを含む。端末装置は、映像データを生成する撮像部と、映像データから撮像部の姿勢を推定するカメラ姿勢推定部と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、カメラ姿勢推定部によって推定された撮像部の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部と、重畳された映像データを表示する表示部とを含む。

本開示における拡張現実表示システムは、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる。

実施形態１に係る拡張現実表示システムの構成を示す図 実施の形態１に係る撮像部の姿勢を説明するための図 実施の形態１に係るワイドカメラシステムによって撮像されるサッカー競技場のピッチの全景図 実施の形態１に係るクラウドサーバに格納される対象物の位置座標およびコンテンツのデータを示す図 実施の形態１に係る表示部の表示例５を説明するための図 実施の形態１に係る表示部の表示例６Ａを説明するための図 実施の形態１に係る表示部の表示例６Ｂを説明するための図 実施形態２に係る拡張現実表示システムの構成を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
［１．構成］
図１は、本実施の形態に係る拡張現実表示システム１００の構成を示す図である。拡張現実表示システム１００は、端末装置３の撮像部３１が撮影した実写映像の適切な位置にコンテンツをオーバーレイ表示することができる。図１では、拡張現実表示システム１００の構成要素として、ワイドカメラシステム１と、クラウドサーバ２と、ネットワーク経由でクラウドサーバ２に接続可能な端末装置３とが示されている。

ワイドカメラシステム１は、複数台のカメラを含み、競技場やイベントホール等の会場を撮影した映像に基づいて、パノラマ合成映像を作成し、提供することができる。また、ワイドカメラシステム１は、画像解析によってパノラマ合成映像上で対象物（例えば、競技場における選手、ボール等）の位置情報として位置座標を算出する機能を有し、パノラマ合成映像上の対象物の位置座標を追跡することができる。ワイドカメラシステム１は、この追跡される対象物の位置座標を含む対象物に関するデータを生成するデータ生成部１１と、データ生成部１１によって生成されたデータをクラウドサーバ２に有線又は無線で送るデータ送信部１２とを備える。ワイドカメラシステム１はデータ生成システムの一例である。

クラウドサーバ２は、ワイドカメラシステム１のデータ送信部１２によって送信されるデータを受信するデータ受信部２１と、この受信したデータおよび重畳が可能なコンテンツに関するデータを配信するデータ配信部２２を備える。

端末装置３は、拡張現実を表示するビューアとなるものであり、映像データを生成する撮像部３１（カメラ）と、当該映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２とを含む。カメラ姿勢推定部３２は、図２に示すような撮像部３１の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離（ズーム位置）の７つのパラメータによって、撮像部３１の姿勢を映像データから推定する。

具体的には、例えば、サッカー競技場のライブ観戦において、観客は端末装置３の撮像部３１を用いてサッカー競技の撮影を行う。撮像部３１によって撮像された画像にサッカー競技場のピッチ（フィールド）のラインが映っている場合、当該ラインは長さ・大きさが既知のラインであるため、カメラ姿勢推定部３２は、当該ラインをある種のマーカーとして投射変換を行い撮像部３１の姿勢を推定する。このことで、カメラ姿勢推定部３２は、３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータからなる撮像部３１の姿勢を画像から推定することができる。

なお、本実施の形態では、カメラ姿勢推定部３２は、競技場の既知のラインをマーカーとして用いたが、別途マーカーになり得るものをサッカー競技場等のスタジアムに配置し、より高精度に画像から撮像部３１の姿勢を推定してもよい。また、競技場のラインの長さ等の情報は、クラウドサーバ２から端末装置３に配信されるデータに含まれてもよい。

また、端末装置３は、サッカー競技場のピッチのような対称形の図形に基づいてカメラ姿勢を認識するために、別にＧＰＳのようなカメラ位置取得部３３を備える。これは、サッカー競技のピッチを示すラインのようにマーカーが対称形の図形の場合、この図形からだけでは、撮像部３１がピッチのどちら側に位置しているかを正確に判別できないからである。カメラ位置取得部３３は、撮像部３１の位置情報を取得する。この取得した位置情報はカメラ姿勢推定部３２に入力される。このことで、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いて対称形の図形からでも撮像部３１の姿勢推定が可能になる。

また、端末装置３は、データ受信部３４、データ重畳部３５及び表示部３６を含む。データ受信部３４は、撮像部３１によって撮像された画像に重畳が可能なコンテンツ（例えば、選手の付随情報である選手の背番号、選手名など）と選手の位置座標を含むデータを、クラウドサーバ２のデータ配信部２２から受信する。データ重畳部３５は、カメラ姿勢推定部３２によって推定されたカメラ姿勢に応じて、撮像部３１によって生成された映像データに選手名などのコンテンツを適切に重畳する。表示部３６は、このコンテンツが重畳された映像を表示する。

さらに、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を含む。

［２．動作］
以上のように構成された拡張現実表示システム１００について、その動作を、サッカー競技場を例として以下説明する。図３は、ワイドカメラシステム１によって撮像されるサッカー競技場のピッチの全景図である。ワイドカメラシステム１は、複数台のカメラを含み、図３に示すようなサッカー競技場のピッチのパノラマ合成映像を作成する。図３は、便宜上、一方のチーム（左への攻撃）の選手５０，５１と他方のチーム（右への攻撃）の選手５２の３人の選手およびボール５４を示しており、ワイドカメラシステム１は、対象物としてこれらの選手やボールを撮像する。

ワイドカメラシステム１は、画像解析による追跡機能によって各チームの選手やボールを追跡してそれら対象物の動きをフレーム毎の位置座標（ｘ、ｙ、ｚ座標）としてデータを生成する。対象物が選手の場合であれば、その同定には背番号を読み取って利用する場合もある。対象物がボールの場合であれば、その形状や動きを読み取って同定することができる。生成された対象物（選手など）を同定するための情報（背番号など）と対象物の位置座標などのデータはクラウドサーバ２に送信される。

クラウドサーバ２は、ワイドカメラシステム１から送信された対象物を同定するための情報と位置座標とのデータをデータ受信部２１により受信する。クラウドサーバ２は、フレーム毎に生成されるこれらの受信したデータを重畳可能なコンテンツとなる付随情報（選手名、背番号、ポジションなど）と関連付けて、格納する。この格納の一例を図４に示す。ここで、付随情報Ａには対象物の名称（各選手の名前（「ＡＡ＊＊＊」等）と「ボール」）が格納され、付随情報Ｂには各選手の背番号が格納され、付随情報Ｃには各選手のポジションが格納されている。対象物がボールの場合のように、対応する付随情報を有しない場合は、当該付随情報は格納されない。そして、これらの付随情報に関連付けて位置座標がフレーム毎に格納される。なお、付随情報の種類は、これらに限られず、競技等の種類に応じて適宜変更が可能である。

本実施の形態ではサッカー競技場を例としており、対象物が選手の場合はｚ方向（高さ方向）の動きを無視できると判断し、選手の位置座標はｘ、ｙ座標のみを格納しているが、ｚ座標も格納してもよい。これに対し、対象物がボールの場合は、ｚ方向の動きを無視することなく、ｚ座標についても格納している。ボールの位置座標は、例えば、ボールの軌跡をコンテンツとして端末装置３に重畳表示する場合に用いることができる。

本実施の形態では、クラウドサーバ２は、データ配信部２２により、付随情報等の重畳可能なコンテンツと対称物（選手等）の位置座標を含む格納されたデータを所定のタイミング毎に連続的に端末装置３に配信する。

また、端末装置３の使用者である観客は、コンテンツ選択部３７を操作して、重畳可能な各種コンテンツから、自分の好みに合ったコンテンツを選択して必要と思うコンテンツだけを重畳させることができる。

拡張現実表示システム１００は、各種コンテンツを重畳させることができるが、以下に代表的な例として２つのコンテンツの重畳例を説明する。もちろん、コンテンツ選択部３７を操作することで複数のコンテンツを同時に重畳させることもできる。

［２−１．オフサイドラインの重畳例］
図３において選手５１の位置座標は（ｘ１，ｙ１）であり、ｘ座標（ｘ１）の値が同一チームのゴールキーパー（ＧＫ）を除く他の選手（選手５０など）のいずれのｘ座標（ｘ０など）よりも大きければ、選手５１を起点としてオフサイドライン５３を設定することができる。図５は、端末装置３の撮像部３１により撮像された映像にオフサイドライン５３が重畳した表示部３６の表示例である。

ワイドカメラシステム１は、画像解析によって、対象物（選手）を同定するための情報（背番号など）と対象物の位置座標とを含むデータを生成し、クラウドサーバ２に送信する。クラウドサーバ２は、受信したデータを各選手の背番号に対応付けて格納し、各選手の位置座標を用いてコンテンツとなるオフサイドライン情報を生成する。即ち、クラウドサーバ２は、受信した位置座標と付随情報Ｃに示すポジションから、ゴールキーパーを除くピッチ内にいる同一チームの選手のうちｘ座標の値が最も大きい（又は小さい）選手を特定し、その選手のｘ座標の値に基づいてオフサイドライン情報を作成することができる。このように、オフサイドライン５３は、複数の対象物の位置座標からに基づいて生成されるコンテンツである。なお、オフサイドライン情報は、クラウドサーバ２から複数の対象物の位置座標を受信して端末装置３の側で作成することもできる。

クラウドサーバ２のデータ配信部２２は、付随情報（選手の背番号、選手名、ポジション）、選手の位置座標、およびオフサイドライン情報を含むデータを端末装置３のデータ受信部３４に所定のタイミングで連続的に配信する。

コンテンツ選択部３７の操作によりコンテンツとしてオフサイドライン５３の重畳が許可されている場合、データ重畳部３５は、撮像部３１が生成した映像データにデータ受信部３４が受信したオフサイドライン情報を重畳し、そのデータを表示部３６に送る。

図３に示す選手５１の位置座標（ｘ１，ｙ１）は、図５に示す表示部３６の表示では位置座標（ｘ１ｃ、ｙ１ｃ）に相当する。データ重畳部３５は座標変換処理を行って、受信した位置座標（ｘ１，ｙ１）から、図５に示すように、撮像部３１によって撮影された選手５１の映像の位置座標（ｘ１ｃ，ｙ１ｃ）を算出する。そして、データ重畳部３５は、撮像部３１によって撮影された映像に、位置座標（ｘ１ｃ，ｙ１ｃ）を基点としてオフサイドライン５３を重畳し、表示部３６にてこの重畳した映像を表示する。

なお、観客の撮像部３１が選手５１又はオフサイドライン５３の領域を撮影していないカメラ姿勢の場合は、オフサイドライン５３は重畳されることはない。

［２−２．付随情報の重畳例］
上述のように、クラウドサーバ２のデータ配信部２２は、コンテンツとなる選手の背番号、選手名、ポジションなどの付随情報と選手の位置座標とを含むデータを、端末装置３のデータ受信部３４に配信する。端末装置３のデータ重畳部３５は、ワイドカメラシステム１によって生成された各選手５０、５１、５２の位置座標から、座標変換処理を行って、撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を算出する。

そして、コンテンツ選択部３７によりコンテンツとして選手の付随情報の重畳が許可されている場合、データ重畳部３５は、図６Ａに示すように、座標変換処理により得られた撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を基点にこれらの選手の付随情報を、撮像部３１が撮影した映像に重畳し、表示部３６にてこの重畳された映像を表示する。このように観客の撮像部３１が、そのカメラ姿勢により選手５１を捉えている場合、端末装置３は、図６Ａに示すように、表示部３６にてコンテンツとして選手の背番号、選手名およびポジションを重畳して表示することができる。

撮像部３１のレンズの焦点距離が図６Ａに比べて望遠側にあり、撮像部３１によって表示部３６の表示領域内に選手５１が撮影されていない場合、図６Ｂに示すように選手名などの付随情報は重畳されない。

以上のように、拡張現実表示システム１００は、例えば、競技場に描かれているラインのように、マーカーがたとえ対称形の図形であっても、カメラ位置取得部３３によって得られる大まかなカメラ（撮像部３１）位置を利用することで、ＡＲ技術を応用して現実空間の映像の適切な位置に、選手の名前等のコンテンツを重畳することができる。重畳することができるコンテンツとしては、本実施の形態で例示したサッカー競技における選手名、背番号、ポジションに限られず、走行距離、スピードなどの選手個人に紐付いた情報や、オフサイドラインのようなフォーメーションの情報、陸上競技であれば投てき種目の円盤や槍の軌跡、飛距離などのような情報がある。

（実施の形態２）
図７は、実施の形態２に係る拡張現実表示システム２００の構成を示す図である。図７は図１とクラウドサーバ２０の内部構成が異なる。つまり、図７に示すように、クラウドサーバ２０は、データ蓄積するデータ蓄積部２３と、この蓄積されたデータを解析するデータ解析部２４を、図１に示すクラウドサーバ２に比べて、追加的に備えている。

図１に示す拡張現実表示システム１００の構成では、ワイドカメラシステム１によるライブ映像を用いて対象物に関するデータが生成され、このデータを用いて重畳すべきコンテンツを生成していた。これに対して、図７に示す拡張現実表示システム２００の構成であれば、過去に撮影した映像データがデータ蓄積部２３に蓄積されており、これを用いてデータ解析部２４がコンテンツデータを生成することができる。

例えば、端末装置３使用する観客が陸上競技の１００ｍ走を観戦している場合、上述のように、実施の形態１で説明した拡張現実表示システム１００は、撮像部３１で撮影している選手の映像に重畳してその選手の付随情報（選手名等）を表示することができる。これに対し、本実施の形態の拡張現実表示システム２００は、例えば、１００ｍ走の世界記録における軌跡をデータ蓄積部２３に保存することができる。そのため、この世界記録の軌跡ラインをコンテンツとして、撮像部３１で現実に撮影している１００ｍ走の競技映像にオーバーレイして表示することができる。この場合、世界記録の軌跡ラインの表示ではなく、表示部３６に仮想選手をグラフィック表示し、世界記録の軌跡に合わせて撮影している選手と併走するように走らせることもできる。

（効果等）
以上のように、本実施の形態において、拡張現実表示システム１００，２００は、対象物の位置情報を生成するワイドカメラシステム１と、ワイドカメラシステム１が生成した位置情報を受信するクラウドサーバ２と、クラウドサーバ２にネットワーク経由で接続可能な端末装置３と、を含む。端末装置３は、映像データを生成する撮像部３１と、映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバ２から受信するデータ受信部３４と、カメラ姿勢推定部３２によって推定された撮像部３１の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部３５と、重畳された映像データを表示する表示部３６と、を含む。

これにより、例えば、競技場でのライブ観戦に対して、観客が使用する端末装置３のそれぞれのカメラ位置に対応して、端末装置３が表示する映像の適切な位置にコンテンツを重畳して表示することができる。このように拡張現実表示システム１００，２００は、複数の端末装置３に対しても同時に、それぞれのカメラ位置に対応した有益なコンテンツを重畳して表示させることができる。

また、端末装置３は、端末装置３の位置情報を取得するカメラ位置取得部３３を有し、この位置情報から、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場等のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いることにより、マーカーが対称形の図形であってもカメラ姿勢の推定が可能になる。

また、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を有するので、端末装置３の使用者である観客は、コンテンツ選択部３７を操作し、重畳可能な各種コンテンツから必要と思うコンテンツを選択して重畳させることができる。

なお、本実施の形態では、データ生成部１１はカメラを含み、画像解析により対象物に関するデータを生成するとしたが、センサによってかかるデータを生成してもよい。

また、拡張現実表示システム２００のように、クラウドサーバ２０を図７の構成にすれば、ワイドカメラシステム１によるライブ映像に基づくデータと過去の記録データの両方を用いて、重畳させるべきコンテンツを作成することができる。

本開示は、各種競技場やイベントホール等の会場において拡張現実表示システムに適用可能である。

１ ワイドカメラシステム
２，２０ クラウドサーバ
３ 端末装置
１１ データ生成部
１２ データ送信部
２１ データ受信部
２２ データ配信部
２３ データ蓄積部
２４ データ解析部
３１ 撮像部
３２ カメラ姿勢推定部
３３ カメラ位置取得部
３４ データ受信部
３５ データ重畳部
３６ 表示部
３７ コンテンツ選択部
５０，５１，５２ 選手
５３ オフサイドライン
５４ ボール
１００，２００ 拡張現実表示システム

Claims (11)

1. 画像の解析により、前記画像における対象物の位置情報である第一座標を生成するデータ生成システムと、
   前記データ生成システムが生成した前記第一座標を受信するクラウドサーバと、
   前記サーバにネットワーク経由で接続可能な端末装置と、を含み、
   前記端末装置は、
   前記画像とは異なる映像データを生成する撮像部と、
   前記映像データから前記撮像部の姿勢を推定するカメラ姿勢推定部と、
   前記第一座標と、前記第一座標に基づいて生成され前記第一座標に対応するコンテンツとを、前記サーバから受信するデータ受信部と、
   前記カメラ姿勢推定部によって推定された前記撮像部の姿勢に対応付けて前記第一座標を、前記映像データ上における前記対象物の位置情報である第二座標に変換し、前記変換された第二座標を基点として前記第一座標に対応するコンテンツを前記映像データに重畳するデータ重畳部と、
   前記重畳された映像データを表示する表示部と
   を含む、拡張現実表示システム。
2. 前記サーバは前記コンテンツと前記第一座標を所定のタイミング毎に連続的に前記端末装置に配信する、請求項１記載の拡張現実表示システム。
3. 前記コンテンツは、複数の前記対象物のそれぞれの前記第一座標に基づいて生成される、請求項１記載の拡張現実表示システム。
4. 前記コンテンツは、前記対象物に関連した付随情報である、請求項１記載の拡張現実表示システム。
5. 前記データ生成システムは、画像解析による対象物の追跡機能を備えたカメラシステムである、請求項１記載の拡張現実表示システム。
6. 前記カメラ姿勢推定部は、前記撮像部の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータによって前記撮像部の姿勢を前記映像データから推定する、請求項１記載の拡張現実表示システム。
7. 前記端末装置は、前記撮像部の位置情報を取得するカメラ位置取得部を有し、前記撮像部の前記位置情報は前記カメラ姿勢推定部に入力される、請求項１記載の拡張現実表示システム。
8. 前記端末装置は、前記サーバによって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部を有する、請求項１記載の拡張現実表示システム。
9. 前記サーバは、前記第一座標のデータを蓄積するデータ蓄積部と、当該蓄積されたデータを解析するデータ解析部を含む、請求項１記載の拡張現実表示システム。
10. 拡張現実表示システムに用いられる端末装置であって、
    画像の解析により生成される前記画像の中の対象物の位置情報を示す第一座標と、前記第一座標に基づいて生成され前記第一座標に対応するコンテンツと、を、サーバから受信するデータ受信部と、
    前記画像とは異なる映像データを生成する撮像部と、
    前記映像データから前記撮像部の姿勢を推定するカメラ姿勢推定部と、
    前記カメラ姿勢推定部によって推定された前記撮像部の姿勢に対応付けて前記第一座標を前記映像データ上における前記対象物の位置情報である第二座標に変換し、前記第二座標を基点として前記第一座標に対応するコンテンツを前記映像データに重畳するデータ重畳部と、
    前記重畳された映像データを表示する表示部と、を含む、端末装置。
11. 画像の解析により生成される前記画像の中の対象物の位置情報を示す第一座標と、前記第一座標に基づいて生成され前記第一座標に対応するコンテンツと、をサーバより受信し、
    前記画像とは異なる映像データを生成し、
    前記映像データを生成する撮像部の姿勢を前記映像データから推定し、
    前記推定された撮像部の姿勢に対応付けて前記第一座標を前記映像データ上における前記対象物の位置情報である第二座標に変換し、
    前記第二座標を基点として前記第一座標に対応するコンテンツを前記映像データに重畳し、
    前記重畳された映像データを表示する、拡張現実表示方法。

Images