JP7436935B2 - 映像表示方法、映像表示装置およびプログラム - Google Patents

Description

本開示は、映像表示方法、映像表示装置およびプログラムに関する。

従来、映像中の複数の被写体（例えば、バドミントン競技の映像中の選手部分を切り出した映像）を、視聴者から見て奥行き方向に配置した複数の疑似虚像装置（表示装置）により視聴者に提示する手法がある。この手法によれば、複数の被写体の実際の奥行き方向の位置に合わせて複数の疑似虚像装置を配置し、各被写体に対応する映像を、その被写体に対応する位置に配置された疑似虚像装置に表示する。こうすることで、現実に手前側に位置する被写体の映像は、手前側の疑似虚像装置に表示され、現実に奥側に位置する被写体の映像は、奥側の疑似虚像装置に表示されるため、視聴者はより現実味のある奥行き感を得ることができる。ここで、透過型の表示装置を用いることで、被写体を表示しない部分は透けて見えるので、その透けた部分において奥側の疑似虚像装置に表示する映像をユーザは視認することができる（例えば、非特許文献１参照）。

井坂建、巻口誉宗、高田英明、「競技空間を取り囲んで観戦する"Ｋｉｒａｒｉ！ ｆｏｒ Ａｒｅｎａ"」、ＮＴＴ技術ジャーナル ２０１８．１０ ｐ２１－ｐ２４

図１３から図１５を参照して、上述した手法についてより具体的に説明する。図１３は、複数の被写体の配置の一例を示す図である。図１３に示すように、撮影装置２から距離Ｔ１の位置に被写体ｓ１が存在し、撮影装置２から距離Ｔ２（Ｔ１＞Ｔ２）の位置に被写体ｓ２が存在するとする。Ｔ１＞Ｔ２であるため、撮影装置２から見て、被写体ｓ１が被写体ｓ２よりも奥側に位置する。

上述した手法では、図１４に示すように、視聴者から距離Ｐ１の位置に表示装置３ｂが配置され、視聴者から距離Ｐ２（Ｐ１＞Ｐ２）の位置に表示装置３ｆが配置される。Ｐ２＞Ｐ１であるため、視聴者から見て、表示装置３ｂが表示装置３ｆよりも奥側に配置されている。表示装置３ｂには奥側に位置する被写体ｓ１が表示され、表示装置３ｆには手前側に位置する被写体ｓ２が表示される。表示装置３ｆと表示装置３ｂとは視聴者から見て奥行き方向に並んで配置される。また、表示装置３ｆは、表示装置３ｂの表示映像を透過して視聴者に視認させるように構成される。したがって、図１５に示すように、表示装置３ｂの表示映像と表示装置３ｆの表示映像とが重畳して視聴者に視認される。ここで、距離Ｐ１，Ｐ２をそれぞれ、現実の距離Ｔ１，Ｔ２に合わせることで、視聴者から見た被写体ｓ１，ｓ２までの距離が現実の被写体までの距離と一致するので、より現実味のある奥行き感を視聴者に与えることができる。

しかしながら、上述した手法では、奥側と手前側とを行き来する被写体（例えば、ボールあるいはシャトル）を表示することは想定されていなかった。

以下では、バドミントン競技におけるシャトルを奥側の表示装置３ｂに表示する例を用いて説明する。具体的には、奥側の選手が打ったシャトル（被写体ｓ１）が手前側に向かって（撮影装置２に向かって）飛んできて、手前側の選手（被写体ｓ２）がラケットで打ち返す場合を考える。この場合、図１６に示すように、現実には、奥側の被写体ｓ１は撮影装置２に向かって移動し、撮影装置２から被写体ｓ１までの距離Ｔ１’は距離Ｔ１よりも小さくなり、被写体ｓ１と被写体ｓ２との距離は小さくなる。

上述した場合に、シャトルとラケットとが接触するように視聴者に視認させる方法としては、シャトルとラケットとが接触する時点で、ある視聴者の位置（以下、「基準視聴位置」と称する）において、シャトルとラケットとが接触して視認されるように、シャトルを表示する表示装置３ｂの位置を調整する方法がある。こうすることで、基準視聴位置では、図１７に示すように、被写体ｓ１と被写体ｓ２とが接触するように視認される。

しかしながら、この方法では、基準視聴位置から外れた位置（以下、「非基準視聴位置」と称する。）では、適切な態様で視聴者に映像を提示することができない。図１８は、物理空間上の物体を表示装置３ｆと表示装置３ｂとに投影した状態を示す図である。図１８において、番号が付された実線丸印は、物理空間上の物体を表示装置３ｂに投影した場合の位置を示し、番号が付された破線丸印は、物理空間上の物体を表示装置３ｆに投影した場合の位置を示す。また、図１８において、同じ番号を付された黒線丸印と破線丸印とはそれぞれ、物理空間上の同じ物体を、表示装置３ｂに投影した位置と表示装置３ｆに投影した位置とを示している。

図１８に示すように、基準視聴位置から見た場合、物理空間上の同じ位置の物体は、奥側の表示装置３ｂ・手前側の表示装置３ｆに関わらず、同じ位置に視認される。そのため、基準視聴位置では、図１９に示すように、奥側の表示装置３ｂに表示された被写体ｓ１と、手前側の表示装置３ｆに表示された被写体ｓ２とが適切な位置で接触しているように視認される。一方、非基準視聴位置では、物理空間上の同じ位置の物体が、奥側の表示装置３ｂと手前側の表示装置３ｆとで視認される位置が異なる。そのため、図２０に示すように、奥側の表示装置３ｂに表示された被写体ｓ１と、手前側の表示装置３ｆに表示された被写体ｓ２とが離れて視認されたり、想定される位置とは異なる位置で接触するように視認されたりしてしまい、リアリティのある映像を提示することができなくなってしまう。

したがって、よりリアリティのある映像を提示することができる技術が求められている。

上記のような問題点に鑑みてなされた本開示の目的は、よりリアリティのある映像を提示することができる映像表示方法、映像表示装置およびプログラムを提供することにある。

上記課題を解決するため、本開示に係る映像表示方法は、第１の表示対象を第１の表示装置に表示し、前記第１の表示対象よりも手前側に位置する第２の表示対象を、ユーザから見て前記第１の表示装置よりも手前側に配置された第２の表示装置に表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置における映像表示方法であって、前記第１の表示対象および前記第２の表示対象のうちの一方の表示対象から、該表示対象を分割した各部位を抽出するステップと、前記一方の表示対象の部位ごとに、前記第１の表示対象および前記第２の表示対象のうちの他方の表示対象との接触の有無を示す属性情報に基づき、前記抽出された部位が前記他方の表示対象と接触するか否かを判定するステップと、前記抽出された部位が前記他方の表示対象と接触すると判定した場合、前記抽出された部位を前記他方の表示対象を表示する表示装置に表示し、前記抽出された部位が前記他方の表示対象と接触しないと判定した場合、前記抽出された部位を前記一方の表示対象を表示する表示装置に表示するステップと、を含む。

また、上記課題を解決するため、本開示に係る映像表示装置は、第１の表示対象を第１の表示装置に表示し、前記第１の表示対象よりも手前側に位置する第２の表示対象を、ユーザから見て前記第１の表示装置よりも手前側に配置された第２の表示装置に表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置であって、前記第１の表示対象および前記第２の表示対象のうちの一方の表示対象から、該表示対象を分割した各部位を抽出する抽出部と、前記一方の表示対象の部位ごとに、前記第１の表示対象および前記第２の表示対象のうちの他方の表示対象との接触の有無を示す属性情報に基づき、前記抽出部により抽出された部位が前記他方の表示対象と接触するか否かを判定する表示制御部と、を備え、前記表示制御部は、前記抽出された部位が前記他方の表示対象と接触すると判定した場合、前記抽出された部位を前記他方の表示対象を表示する表示装置に表示し、前記抽出された部位が前記他方の表示対象と接触しないと判定した場合、前記抽出された部位を前記一方の表示対象を表示する表示装置に表示する。

また、上記課題を解決するため、本開示に係るプログラムは、コンピュータを上述した映像表示装置として機能させる。

本開示に係る映像表示方法、映像表示装置およびプログラムによれば、よりリアリティのある映像を提示することができる。

本開示の第１の実施形態に係る映像表示装置として機能するコンピュータの概略構成を示すブロック図である。 本開示の第１の実施形態に係る映像表示装置を含む映像表示システムの機能構成の一例を示す図である。 図２に示す属性情報記憶部が記憶する属性情報の一例を示す図である。 図２に示す映像表示装置の動作の一例を示すフローチャートである。 図２に示す映像表示装置による映像表示について説明するための図である。 基準視聴位置から視認される、図２に示す映像表示装置の表示映像の例を示す図である。 非基準視聴位置から視認される、図２に示す映像表示装置の表示映像の例を示す図である。 本開示の第２の実施形態に係る映像表示装置の機能構成の一例を示す図である。 図８に示す属性情報記憶部が記憶する属性情報の一例を示す図である。 図８に示す映像表示装置の動作の一例を示すフローチャートである。 基準視聴位置から視認される、図８に示す映像表示装置の表示映像の例を示す図である。 非基準視聴位置から視認される、図８に示す映像表示装置の表示映像の例を示す図である。 撮影装置と被写体との配置の一例を示す図である。 従来の手法による被写体の表示について説明するための図である。 従来の手法による表示映像の一例を示す図である。 撮影装置と被写体との配置の他の一例を示す図である。 従来の手法における、被写体の表示位置を調整の一例を示す図である。 基準視聴位置と非基準視聴位置とでの表示映像の見え方の違いについて説明するための図である。 従来の手法における、基準視聴位置から視認される表示映像の一例を示す図である。 従来の手法における、非基準視聴位置から視認される表示映像の一例を示す図である。

以下、本開示の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は、本開示の第１の実施形態に係る映像表示装置１０がプログラム命令を実行可能なコンピュータである場合のハードウェア構成を示すブロック図である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。

図１に示すように、映像表示装置１０は、プロセッサ１１０、ＲＯＭ（Read Only Memory）１２０、ＲＡＭ（Random Access Memory）１３０、ストレージ１４０、入力部１５０、表示部１６０および通信インタフェース（Ｉ／Ｆ）１７０を有する。各構成は、バス１９０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種または異種の複数のプロセッサにより構成されてもよい。

プロセッサ１１０は、各構成の制御、および各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０またはストレージ１４０に記憶されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１２０またはストレージ１４０には、本開示に係るプログラムが格納されている。

プログラムは、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの非一時的（non-transitory）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

ＲＯＭ１２０は、各種プログラムおよび各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラムおよび各種データを格納する。

入力部１５０は、マウスなどのポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

表示部１６０は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６０は、タッチパネル方式を採用して、入力部１５０として機能してもよい。

通信インタフェース１７０は、外部装置（図示しない）などの他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

図２は、本実施形態に係る映像表示装置１０を含む映像表示システム１の構成例を示す図である。本実施形態に係る映像表示装置１０は、撮影装置２により撮影された映像中の被写体を、図１４に示すような、視聴者（ユーザ）から見て奥行き方向に並んだ複数の表示装置３ｆ，３ｂにより表示するものである。以下では、撮影装置２から見て奥側の被写体ｓ１（第１の表示対象）を第１の表示装置としての表示装置３ｂに表示し、撮影装置２から見て手前側の被写体ｓ２（第２の表示対象）を第２の表示装置としての表示装置３ｆに表示する例を用いて説明する。

図２に示すように、映像表示システム１は、撮影装置２と、表示装置３ｂ，３ｆと、映像表示装置１０とを備える。

撮影装置２は、所定の撮影範囲内の被写体を撮影するカメラであり、撮影映像を映像表示装置１０に出力する。

表示装置３ｂ，３ｆは、映像表示装置１０の制御に従い、映像を表示する。表示装置３ｆ，３ｂは、図１４に示すように、視聴者（ユーザ）から見て奥行き方向に並んで配置される。具体的には、表示装置３ｂが視聴者から見て奥側に、表示装置３ｆが視聴者から見て手前側に配置される。すなわち、第１の表示装置としての表示装置３ｂは、視聴者から見て、第２の表示装置としての表示装置３ｆよりも奥側に配置される。表示装置３ｂ，３ｆは、表示装置３ｂの表示映像と、表示装置３ｆの表示映像とが重畳して視聴者に視認されるような態様で映像を表示する。表示装置３ｂ，３ｆは、例えば、ホログラフィーにより映像を表示（投影）する。ただし、表示装置３ｂ、３ｆによる映像の表示方法は、これに限られるものではなく、表示装置３ｂの表示映像と、表示装置３ｆの表示映像とを重畳して視聴者に視認させることができれば、任意の方法を用いることができる。以下では、表示装置３ｂと表示装置３ｆとを区別しない場合には、表示装置３と称する。

本実施形態に係る映像表示装置１０は、撮影装置２が撮影した撮影映像を、表示装置３ｂ，３ｆにより表示する。具体的には、映像表示装置１０は、図１４に示すように、撮影装置２から見て奥側側に位置する被写体ｓ１（第１の表示対象）の映像を表示装置３ｂに表示し、撮影装置２から見て手前側に位置する被写体ｓ２（第２の表示対象）の映像を表示装置３ｆに表示する。したがって、映像表示装置１０は、被写体ｓ１（第１の表示対象）を表示装置３ｂ（第１の表示装置）で表示し、被写体ｓ１よりも手前側に位置する被写体ｓ２（第２の表示対象）を、視聴者（ユーザ）から見て表示装置３ｂよりも手前側に配置された表示装置３ｆ（第２の表示装置）で表示する。そして、映像表示装置１０は、表示装置３ｂの表示映像と表示装置３ｆの表示映像とを重畳して視聴者に視認させる。なお、映像表示装置１０は、撮影装置２の撮影映像だけでなく、再生装置により再生された映像に含まれる被写体を表示装置３ｂ，３ｆに表示してよい。従って、映像表示装置１０に表示対象を含む映像を入力するのは、撮影装置２に限られない。

次に、本実施形態に係る映像表示装置１０の機能構成について、図２を参照して説明する。

図２に示すように、本実施形態に係る映像表示装置１０は、属性情報記憶部１１と、抽出部としての被写体部位抽出部１２と、表示制御部としての表示先判定部１３とを備える。被写体部位抽出部１２および表示先判定部１３は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)など専用のハードウェアによって構成されてもよいし、上述したように１つ以上のプロセッサによって構成されてもよいし、双方を含んで構成されてもよい。属性情報記憶部１１は、例えば、ＲＯＭ１２０またはストレージ１４０によって構成される。

属性情報記憶部１１は、表示装置３ｆに表示される被写体ｓ２（第２の表示対象）を分割した部位ごとに、表示装置３ｂに表示される被写体ｓ１（第１の表示対象）との接触の有無を示す属性情報を記憶する。図３は、属性情報記憶部１１が記憶する属性情報の一例を示す図である。図３の例では、バドミントン競技における、ラケットを持つ選手が被写体ｓ２である例を示している。

図３に示すように、属性情報記憶部１１は、属性情報として、被写体ｓ２の部位（例えば、選手の体、ラケットなど）ごとに、その部位と被写体ｓ１（例えば、シャトル）との接触の有無を記憶する。属性情報は、例えば、入力部１５０を介して映像表示装置１０に入力され属性情報記憶部１１に記憶される。

図２を再び参照すると、被写体部位抽出部１２は、撮影装置２の撮影映像から、属性情報記憶部１１に属性情報が記憶されている部位ごとに、被写体ｓ２の部位を抽出する。被写体部位抽出部１２による撮影映像からの所定の部位の抽出は、例えば、当該部位の抽出のために学習されたモデルを用いることで実現可能である。被写体部位抽出部１２は、抽出した被写体ｓ２の所定の部位の映像を表示先判定部１３に出力する。

表示先判定部１３は、属性情報に基づき、被写体部位抽出部１２により抽出された被写体ｓ２の所定の部位が、被写体ｓ１と接触するか否かを判定する。表示先判定部１３は、抽出された部位が被写体ｓ１と接触すると判定した場合、被写体ｓ２が表示される表示装置３ｆではなく、表示装置３ｂにその部位の映像を表示させる。また、表示先判定部１３は、抽出された部位が被写体ｓ１と接触しないと判定した場合、表示装置３ｆにその部位の映像を表示させる。なお、表示先判定部１３は、被写体ｓ１については、表示装置３ｂに表示する。

こうすることで、手前側に配置された表示装置３ｆの表示対象である被写体ｓ２のうち、被写体ｓ１と接触する部位については、被写体ｓ１とともに表示装置３ｂに表示されるので、実際には接触していたものが離れて表示されることがなくなる。そのため、よりリアリティのある映像を提示することができる。

なお、本実施形態においては、映像表示装置１０は、被写体ｓ２の所定の部位を抽出し、その部位が被写体ｓ１と接触する場合には、その部位を表示装置３ｂで表示し、その部位が被写体ｓ１と接触しない場合には、その部位を表示装置３ｆで表示する例を用いて説明するが、本開示はこれに限られない。映像表示装置１０は、被写体ｓ１の所定の部位を抽出し、その部位が被写体ｓ２と接触する場合には、その部位を表示装置３ｆで表示し、その部位が被写体ｓ２と接触しない場合には、その部位を表示装置３ｂで表示してもよい。

すなわち、被写体部位抽出部１２は、第１の表示対象である被写体ｓ１および第２の表示対象である被写体ｓ２のうちの一方の表示対象から、その表示対象を分割した各部位を抽出する。表示先判定部１３は、一方の表示対象の部位ごとに、第１の表示対象である被写体ｓ１および第２の表示対象である被写体ｓ２のうちの他方の表示対象との接触の有無を示す属性情報に基づき、抽出された部位が他方の表示対象と接触するか否かを判定する。表示先判定部１３は、抽出された部位が他方の表示対象と接触すると判定した場合、抽出された部位を他方の表示対象を表示する表示装置３に表示する。また、表示先判定部１３は、抽出された部位が他方の表示対象と接触しないと判定した場合、抽出された部位を一方の表示対象を表示する表示装置３に表示する。

次に、本実施形態に係る映像表示装置１０の動作について説明する。図４は、本実施形態に係る映像表示装置１０の動作の一例を示すフローチャートであり、映像表示装置１０における映像表示方法について説明するための図である。

被写体部位抽出部１２は、属性情報に基づき、撮影装置２の撮影映像から、被写体ｓ２の所定の部位を抽出する（ステップＳ１１）。

表示先判定部１３は、属性情報に基づき、被写体部位抽出部１２により抽出された被写体ｓ２の所定の部位が被写体ｓ１と接触するか否かを判定する（ステップＳ１２）。

被写体ｓ２の所定の部位が被写体ｓ１と接触すると判定した場合（ステップＳ１２：Ｙｅｓ）、表示先判定部１３は、その部位を表示装置３ｂに表示する（ステップＳ１３）。一方、被写体ｓ２の所定の部位が被写体ｓ１と接触しないと判定した場合（ステップＳ１２：Ｎｏ）、表示先判定部１３は、その部位を表示装置３ｆに表示する（ステップＳ１４）。

図１６に示すように、被写体ｓ１が手前側に移動し、被写体ｓ２と接触する場合、本実施形態においては、被写体ｓ１と接触する、被写体ｓ２の所定の部位（例えば、ラケット）に対応付けて、被写体ｓ１と接触していることを示す属性情報が記憶される。表示先判定部１３は、その属性情報に基づき、図５に示すように、被写体ｓ２のうち、被写体ｓ１と接触する部位ｓ２’は表示装置３ｂに表示し、その他の部位ｓ２’’は表示装置３ｆで表示する。

図６は、本実施形態に係る映像表示装置１０の表示を基準視聴位置から見た図である。基準視聴位置から見た場合、図６に示すように、実際の被写体ｓ１と被写体ｓ２との位置関係に合わせて表示装置３ｂと表示装置３ｆとの位置関係も調整されているので、被写体ｓ１（例えば、シャトル）と被写体ｓ２の部位ｓ２’（例えば、ラケット）とが接触して視認されるとともに、被写体ｓ２の部位ｓ２’’（例えば、選手の体）と部位ｓ２’（例えば、ラケット）との位置ずれが生じることもない。

図７は、本実施形態に係る映像表示装置１０の表示を被基準視聴位置から見た図である。非基準視聴位置から見た場合、被写体ｓ２の部位ｓ２’’（例えば、選手の体）と部位ｓ２’（例えば、ラケット）とに位置ずれが生じるが、被写体ｓ１（例えば、シャトル）と被写体ｓ２の部位ｓ２’（例えば、ラケット）とは接触して視認される。そのため、例えば、ラケットとシャトルとが離れた状態でシャトルが打ち返されるといった違和感を視聴者に与えることが無く、よりリアリティのある映像を提示することができる。

このように、本実施形態に係る映像表示装置１０は、抽出部としての被写体部位抽出部１２と、表示制御部としての表示先判定部１３とを備える。被写体部位抽出部１２は、第１の表示対象および第２の表示対象（被写体ｓ１および被写体ｓ２）のうちの一方の表示対象から、その表示対象を分割した各部位を抽出する。表示先判定部１３は、一方の表示対象の部位ごとに、第１の表示対象および第２の表示対象のうちの他方の表示対象との接触の有無を示す属性情報に基づき、抽出された部位が他方の表示対象と接触するか否かを判定する。表示先判定部１３は、抽出された部位が他方の表示対象と接触すると判定した場合、抽出された部位を他方の表示対象を表示する表示装置３に表示し、抽出された部位が他方の表示対象と接触しないと判定した場合、抽出された部位を一方の表示対象を表示する表示装置３に表示する。

また、本実施形態に係る映像表示装置１０における映像表示方法は、抽出するステップ（ステップＳ１１）と、判定するステップ（ステップＳ１２）と、表示するステップ（ステップＳ１３，Ｓ１４）とを含む。抽出するステップでは、第１の表示対象および第２の表示対象（被写体ｓ１および被写体ｓ２）のうちの一方の表示対象から、その表示対象を分割した各部位を抽出する。判定するステップでは、一方の表示対象の部位ごとに、第１の表示対象および第２の表示対象のうちの他方の表示対象との接触の有無を示す属性情報に基づき、抽出された部位が他方の表示対象と接触するか否かを判定する。表示するステップでは、抽出された部位が他方の表示対象と接触すると判定した場合、抽出された部位を他方の表示対象を表示する表示装置３に表示し、抽出された部位が他方の表示対象と接触しないと判定した場合、抽出された部位を一方の表示対象を表示する表示装置３に表示する。

一方の表示対象のうち、他方の表示対象と接触する部位については、他方の表示対象とともに、他方の表示対象を表示する表示装置３に表示されるので、実際には接触していたものが離れて表示されることがなくなる。そのため、よりリアリティのある映像を提示することができる。

（第２の実施形態）
図８は、本開示の第２の実施形態に係る映像表示装置２０の機能構成を示す図である。図８において、図２と同様の構成には同じ符号を付し説明を省略する。本実施形態においても、第１の実施形態と同様に、被写体ｓ２の所定の部位を抽出し、その部位が被写体ｓ１と接触する場合には、その部位を表示装置３ｂで表示し、その部位が被写体ｓ１と接触しない場合には、その部位を表示装置３ｆで表示する例を用いて説明する。

図８に示すように、本実施形態に係る映像表示装置２０は、属性情報記憶部２１と、被写体部位抽出部１２と、表示先判定部１３と、被写体ぼかし部１４とを備える。すなわち、本実施形態に係る映像表示装置２０は、第１の実施形態に係る映像表示装置１０と比較して、属性情報記憶部１１を属性情報記憶部２１に変更した点と、被写体ぼかし部２２を追加した点とが異なる。

属性情報記憶部２１は、第１の表示対象および第２の表示対象（被写体ｓ１および被写体ｓ２）のうちの一方の表示対象（本実施形態においては、被写体ｓ２）を分割した部位ごとに、表示装置３ｂに表示される被写体ｓ１（第１の表示対象）との接触の有無と、その部位をぼかして表示するぼかし指定の有無とを示す属性情報を記憶する。図９は、属性情報記憶部２１が記憶する属性情報の一例を示す図である。図９の例では、バドミントン競技における、ラケットを持つ選手が被写体ｓ２である例を示している。

図９に示すように、属性情報記憶部２１は、属性情報として、被写体ｓ２の部位（例えば、選手の体（腕部分および腕以外の部分）、ラケット（柄と柄以外の部分）など）ごとに、その部位と被写体ｓ１（例えば、シャトル）との接触の有無と、その部位をぼかして表示するぼかし指定の有無とを記憶する。属性情報は、例えば、入力部１５０を介して映像表示装置２０に入力され属性情報記憶部２１に記憶される。ぼかし指定が行われるのは、例えば、一方の表示対象の部位のうち、他の表示対象と接触する部位の表示先の切り替えにより視聴者から視認される位置ずれが所定量以上の部位である。

被写体ぼかし部２２は、属性情報記憶部２１に記憶されている属性情報に基づき、抽出された部位（抽出された一方の表示対象の部位）をぼかすぼかし処理を行う。具体的には、被写体ぼかし部２２は、抽出された部位に対応付けてぼかし指定有りであることが属性情報として記憶されている場合、その部位に対してぼかし処理を行う。被写体ぼかし部２２は、例えば、部位の映像を構成する画素の色を周辺の画素の色の平均値とするなどしてぼかし処理を行う。被写体ぼかし部２２は、ぼかし処理を行った場合には、ぼかし処理後の部位の映像を、ぼかし処理を行わない場合には、抽出された部位の映像をそのまま表示先判定部１３に出力する。

次に、本実施形態に係る映像表示装置２０の動作について説明する。図１０は、本実施形態に係る映像表示装置２０の動作の一例を示すフローチャートである。図１０において、図４と同様の処理には同じ符号を付し、説明を省略する。

被写体部位抽出部１２により被写体ｓ２の所定の部位が抽出されると（ステップＳ１１）、被写体ぼかし部２２は、属性情報記憶部２１に記憶されている属性情報に基づき、その部位にぼかし指定があるか否かを判定する（ステップＳ２１）。

被写体部位抽出部１２により抽出された部位にぼかし指定が無いと判定した場合（ステップＳ２１：Ｎｏ）、被写体ぼかし部２２は、その部位に対してぼかし処理を行うことなく、表示先判定部１３に出力する。

被写体部位抽出部１２により抽出された部位にぼかし指定が有ると判定した場合（ステップＳ２１：Ｙｅｓ）、被写体ぼかし部２２は、その部位に対してぼかし処理を行い（ステップＳ２３）、表示先判定部１３に出力する。

図１１は、本実施形態に係る映像表示装置２０の表示を基準視聴位置から見た図である。また、図１２は、本実施形態に係る映像表示装置２０の表示を被基準視聴位置から見た図である。

第１の実施形態に係る映像表示装置１０と同様に、本実施形態に係る映像表示装置２０においても、基準視聴位置では、被写体ｓ１（例えば、シャトル）と被写体ｓ２の部位ｓ２’（例えば、ラケット）とが接触して視認されるとともに、被写体ｓ２の部位ｓ２’’（例えば、選手の体）と部位ｓ２’（例えば、ラケット）との位置ずれが生じることもない。ただし、被写体ｓ２’’（選手の体）のうち腕部分とラケットの柄の部分については、ぼかした状態で表示される。

また、第１の実施形態に係る映像表示装置１０と同様に、本実施形態に係る映像表示装置２０においても、非基準視聴位置では、被写体ｓ２の部位ｓ２’’（例えば、選手の体）と部位ｓ２’（例えば、ラケット）とに位置ずれが生じる。ただし、本実施形態においては、一方の表示対象の部位のうち、他の表示対象と接触する部位の表示先の切り替えにより視聴者から視認される位置ずれが大きい部位にはぼかし処理が行われるため、図１２に示すように、被写体ｓ２’’（選手の体）のうち腕部分とラケットの柄の部分については、ぼかした状態で表示される。そのため、位置ずれを目立たなくすることができる。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。

上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１ 映像表示システム
２ 撮影装置
３ｂ 表示装置（第１の表示装置）
３ｆ 表示装置（第２の表示装置）
１０ 映像表示装置
１１，２１ 属性情報記憶部
１２ 被写体部位抽出部（抽出部）
１３ 表示先判定部（表示制御部）
２２ 被写体ぼかし部
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 表示部
１７０ 通信Ｉ／Ｆ
１９０ バス

Claims (5)

1. 第１の表示対象を第１の表示装置に表示し、前記第１の表示対象よりも手前側に位置する第２の表示対象を、ユーザから見て前記第１の表示装置よりも手前側に配置された第２の表示装置に表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置における映像表示方法であって、
   前記第１の表示対象および前記第２の表示対象のうちの一方の表示対象から、該表示対象を分割した各部位を抽出するステップと、
   前記一方の表示対象の部位ごとに、前記第１の表示対象および前記第２の表示対象のうちの他方の表示対象との接触の有無を示す属性情報に基づき、前記抽出された部位が前記他方の表示対象と接触するか否かを判定するステップと、
   前記抽出された部位が前記他方の表示対象と接触すると判定した場合、前記抽出された部位を前記他方の表示対象を表示する表示装置に表示し、前記抽出された部位が前記他方の表示対象と接触しないと判定した場合、前記抽出された部位を前記一方の表示対象を表示する表示装置に表示するステップと、を含む映像表示方法。
2. 請求項１に記載の映像表示方法において、
   前記属性情報は、前記一方の表示対象の部位ごとに、当該部位をぼかして表示するか否かをさらに示し、
   前記属性情報に基づき、前記抽出された一方の表示対象の部位をぼかすぼかし処理を行うステップをさらに含み、
   前記ぼかし処理後の部位を表示する、映像表示方法。
3. 第１の表示対象を第１の表示装置に表示し、前記第１の表示対象よりも手前側に位置する第２の表示対象を、ユーザから見て前記第１の表示装置よりも手前側に配置された第２の表示装置に表示し、前記第１の表示装置の表示映像と前記第２の表示装置の表示映像とを重畳して前記ユーザに視認させる映像表示装置であって、
   前記第１の表示対象および前記第２の表示対象のうちの一方の表示対象から、該表示対象を分割した各部位を抽出する抽出部と、
   前記一方の表示対象の部位ごとに、前記第１の表示対象および前記第２の表示対象のうちの他方の表示対象との接触の有無を示す属性情報に基づき、前記抽出部により抽出された部位が前記他方の表示対象と接触するか否かを判定する表示制御部と、を備え、
   前記表示制御部は、前記抽出された部位が前記他方の表示対象と接触すると判定した場合、前記抽出された部位を前記他方の表示対象を表示する表示装置に表示し、前記抽出された部位が前記他方の表示対象と接触しないと判定した場合、前記抽出された部位を前記一方の表示対象を表示する表示装置に表示する、映像表示装置。
4. 請求項３に記載の映像表示装置において、
   前記属性情報は、前記一方の表示対象の部位ごとに、当該部位をぼかして表示するか否かをさらに示し、
   前記属性情報に基づき、前記抽出された一方の表示対象の部位をぼかすぼかし処理を行う被写体ぼかし部をさらに備え、
   前記表示制御部は、前記被写体ぼかし部によるぼかし処理後の部位を表示する、映像表示装置。
5. コンピュータを、請求項３または４に記載の映像表示装置として機能させるためのプログラム。
   
   

Images