JP6815104B2 - 映像表示装置及び映像表示方法 - Google Patents

Description

本発明は、映像表示装置及び映像表示方法に係り、所定の状態にある対象者の映像とその者の生体情報を確認するための映像表示装置及び映像表示方法に関する。

ある対象者の映像をディスプレイに表示する際、その者の生体情報を併せて表示することは、既に知られている。その一例としては、特許文献１に記載の技術が挙げられる。特許文献１に記載された遠隔患者監視システムでは、患者の生体情報をバイタルセンサにて測定し、患者の映像をビデオカメラにて撮影し、バイタルセンサの測定結果に応じたイメージを患者の映像にはめ込んで合成した合成映像を表示する。これにより、遠隔地に居る患者の挙動及び生体情報を簡易に確認することが可能となる。

特開平１１−１５１２１０号公報

ところで、特許文献１に記載のシステムでは、合成映像における生体情報（バイタルセンサの測定結果）の表示位置が固定されている。このように生体情報の表示位置が固定されていると、例えば複数の患者の映像を映す場合には、表示されている生体情報が誰に関する情報であるかが判別し難くなる。

また、例えば、患者の容態が急変したり患者が運動等したりすることで当該患者の生体情報が急激に変化した場合には、その変化を可及的速やかに捉える必要がある。一方で、生体情報を取得する時間間隔（取得スパン）が長くなるほど、生体情報の変化に気付き難くなる。

さらに、複数人分の映像及び生体情報を表示するときには、各人の生体情報を当該各人の映像（人物映像）と対応付けて表示する必要がある。すなわち、複数人分の映像及び生体情報を表示する場合には、生体情報と人物映像との対応関係、具体的には、取得した生体情報が誰に関する情報であるのか、また、その者の人物映像が何処に表示されているのかを特定することになる。そして、生体情報と人物映像との対応関係については、当然ながら適切に特定する必要がある。

そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、所定の状態にある対象者の映像と共にその者の生体情報を確認する際に、より適切に当該生体情報を確認することが可能な映像表示装置及び映像表示方法を提供することである。

また、本発明の他の目的は、複数の対象者の各々の人物映像及び生体情報を表示するにあたり、生体情報と人物映像との対応関係を適切に特定することである。

前記課題は、本発明の映像表示装置によれば、センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得する生体情報取得部と、撮影装置が撮影している映像を、ディスプレイに表示する映像表示部と、前記映像中に含まれている人物映像の、前記映像における位置を特定する位置特定部と、所定の状態にある前記対象者である特定対象者を検知する検知部と、を有し、前記映像表示部は、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記特定対象者の前記人物映像について前記位置特定部が特定した前記位置に応じた領域に、前記生体情報取得部が前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、前記ディスプレイの前に居て前記ディスプレイにて前記特定対象者の前記人物映像を確認する映像確認者の顔位置、顔の向き及び視線のうち、少なくとも一つの変化を検出する変化検出部を有し、該変化検出部が前記変化を検出すると、前記撮影装置が撮影した前記映像のうち、前記映像表示部によって前記ディスプレイに表示される範囲が前記変化に応じて切り替わることにより解決される。

上記のように構成された本発明の映像表示装置では、特定対象者の人物映像を含む映像をディスプレイに表示する際に、当該映像中、特定対象者の人物映像について特定した位置に応じた領域に、特定対象者の生体情報に応じた情報が重ねて表示される。これにより、ディスプレイに表示されている生体情報が誰に関する情報であるのかを把握し易くなる。
また上記の構成では、撮影装置の撮影映像のうち、ディスプレイに表示される範囲が映像確認者の顔位置、顔の向き及び視線の変化に連動して切り替わる。これにより、例えば多くの特定対象者が検知された場合において一度にディスプレイに表示し得る特定対象者の人数が限られていても、映像確認者が顔位置や向き、あるいは視線を変えることで特定対象者全員の映像や生体情報を確認することが可能となる。

また前記課題は、本発明の映像表示装置によれば、センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得する生体情報取得部と、撮影装置が撮影している映像を、ディスプレイに表示する映像表示部と、前記映像中に含まれている人物映像の、前記映像における位置を特定する位置特定部と、所定の状態にある前記対象者である特定対象者を検知する検知部と、を有し、前記映像表示部は、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記特定対象者の前記人物映像について前記位置特定部が特定した前記位置に応じた領域に、前記生体情報取得部が前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、前記検知部が複数の前記特定対象者を検知したときに、前記生体情報取得部は、前記特定対象者別に用意されており前記センサが搭載された発信器の各々から、前記センサにより計測された前記特定対象者の前記生体情報、及び、前記特定対象者に関する他の情報を取得し、前記位置特定部は、所定の動作を行った前記特定対象者の前記人物映像の前記位置を特定する第一処理と、前記特定対象者別の前記発信器のうち、前記所定の動作を行った前記特定対象者に関する前記他の情報を送った前記発信器を特定する第二処理と、を実行し、前記映像表示部は、前記所定の動作を行った前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記位置特定部が前記第一処理にて特定した前記位置に応じた領域に、前記位置特定部が前記第二処理にて特定した前記発信器から前記生体情報取得部が取得した前記生体情報に応じた情報を前記映像に重ねて表示することにより解決される。
上記の構成では、複数の特定対象者のうち、所定の動作を行った特定対象者について、その者の人物映像がディスプレイに表示された映像中の何処に表示されているのか（すなわち、表示位置）を特定する。また、特定対象者別に用意された発信器のうち、所定の動作を行った特定対象者に関する情報（他の情報）を送った発信器を特定する。これにより、所定の動作を行った特定対象者の人物映像と、当該特定対象者の生体情報との対応関係を特定することが可能となる。このようにして人物映像と生体情報との対応関係が特定される結果、所定の動作を行った特定対象者の人物映像の位置に応じた領域に、当該特定対象者の生体情報が表示されるようになる。以上により、複数の特定対象者が居る場合であっても、各特定対象者の生体情報をその者の人物映像と対応付けて表示することが可能となる。

また、上記の映像表示装置において、前記検知部が前記特定対象者を検知している間、前記生体情報取得部は、通常時の前記時間間隔である第１時間間隔よりも短い第２時間間隔にて前記特定対象者の前記生体情報を取得し、前記映像表示部は、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記生体情報取得部が前記第２時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示すると、より好適である。
上記の構成では、検知部が特定対象者を検知している間、通常時の時間間隔よりも短い時間間隔にて特定対象者の生体情報を取得する。これにより、特定対象者の生体情報が変化した際には、その変化をより速やかに捉えることが可能となる。
また、上記の映像表示装置において、前記映像表示部は、前記特定対象者の前記生体情報に応じた情報として前記映像に重ねて表示する情報の内容を、前記生体情報取得部が前記特定対象者の前記生体情報を取得する度に更新すると、好適である。
上記の構成では、ディスプレイには最新の生体情報に応じた情報が表示されるため、特定対象者の生体情報が変化した際には、その変化を更に速やかに捉えることが可能となる。

また、上記の映像表示装置において、前記センサは、該センサを装着している前記対象者の活動度合いに応じて大きさが変化する前記生体情報を計測し、前記映像表示装置と通信可能であり、前記検知部が検知した前記特定対象者を識別する識別部と、前記対象者が装着している前記センサの識別情報を、前記対象者毎に記憶している記憶部と、を有し、前記生体情報取得部は、前記識別部によって識別された前記特定対象者と対応付けられた前記センサの前記識別情報を前記記憶部から読み出し、読み出した前記識別情報によって特定される前記センサと通信することで前記特定対象者の前記生体情報を取得すると、より好適である。
上記の構成では、特定対象者を検知すると、当該特定対象者を識別する。その後、識別された特定対象者に装着されたセンサと通信することにより、当該特定対象者の生体情報を取得する。このような手順によれば、検知された特定対象者の生体情報を、より確実に取得することが可能となる。
また、上記の映像表示装置において、前記検知部は、所定の場所に居る前記特定対象者を検知し、前記映像表示部は、前記所定の場所から離れた場所に設置された前記ディスプレイに前記映像を表示すると、更に好適である。
上記の構成では、ある場所に居る対象者の映像及び生体情報を、その場所から離れた遠隔地にて確認することが可能となる。

また、上記の映像表示装置において、前記映像表示部は、前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示する際、前記特定対象者の前記生体情報が予め設定された条件を満たしているか否かを判定し、判定結果に応じた表示態様にて、前記特定対象者の前記生体情報に応じた情報を表示すると、益々好適である。
上記の構成では、特定対象者の生体情報が予め設定された条件を満たしているか否かを判定し、判定結果に応じた表示態様にて、特定対象者の生体情報に応じた情報を表示する。これにより、特定対象者の生体情報が所定の条件を満たしているとき（例えば、生体情報が異常時の内容となっているとき）、かかる事態を容易に気付かせることが可能となる。

また、上記の映像表示装置において、前記生体情報取得部が通常時に前記時間間隔にて取得した前記生体情報を、前記対象者別に集計して前記対象者別に解析する情報解析部を更に有し、前記映像表示部は、前記情報解析部の解析結果に応じて前記対象者別に設定された前記条件のうち、前記特定対象者と対応する前記条件を前記特定対象者の前記生体情報が満たしているかを判定すると、一段と好適である。
上記の構成では、特定対象者の生体情報について成否が判定される条件を、通常時に取得した生体情報に基づいて対象者別に設定する。このように条件を設定すれば、特定対象者の生体情報が当該条件を満たすか否かを判定する際に、特定対象者の通常時の生体情報を加味することが可能となる。つまり、例えば特定対象者の生体情報が異常時の内容となっているかどうかを判断する上で、当該特定対象者の個人差を考慮することが可能となる。

また、上記の映像表示装置において、前記生体情報取得部は、前記特定対象者別に用意された前記発信器の各々から、前記発信器に搭載された動作検出器が前記特定対象者の動作を検出した際に生成する動作情報を前記他の情報として取得し、前記位置特定部は、前記第二処理において、前記特定対象者別の前記発信器のうち、前記動作検出器が前記所定の動作を検出した際に生成した前記動作情報を送った前記発信器を特定すると、より好適である。
上記の構成では、発信器に搭載された動作検出器が特定対象者の動作を検出した際に生成する動作情報を、特定対象者に関する他の情報として取得する。かかる構成では、ある特定対象者が所定の動作を行うと、その者に対して用意された発信器から、動作検出器が所定の動作を検出した際に生成した動作情報が送られるようになる。これにより、所定の動作を行った特定対象者の発信器を、より的確に特定することが可能となる。この結果、各特定対象者の人物映像と生体情報との対応関係をより適切に特定することが可能となる。

また、上記の映像表示装置において、複数の前記特定対象者が居る場所に設置された機器を制御するための制御情報を送信する制御情報送信部を有し、該制御情報送信部は、複数の前記特定対象者のうちの一人に対して前記所定の動作の実施を促すように前記機器を制御するための前記制御情報を送信し、前記生体情報取得部は、前記特定対象者別に用意された前記発信器の各々から、前記特定対象者の名前を前記他の情報として取得し、前記制御情報送信部は、前記一人に対して前記所定の動作の実施を促すように前記機器を制御するための前記制御情報として、前記一人の名前を示す音声を前記機器に発生させるための前記制御情報を送信し、前記位置特定部は、前記第一処理において、前記音声への応答動作を行った前記特定対象者の前記人物映像の前記位置を特定すると、更に好適である。
上記の構成では、複数の特定対象者のうちの一人に対して所定の動作を促すことが可能となる。これにより、所定の動作を行っている特定対象者の人物映像の位置を特定することや、所定の動作を行っている特定対象者の発信器を特定することがより容易になる。
また上記の構成では、複数の特定対象者のうちの一人に対して所定の動作を促すために、その者の名前を示す音声を発生させる。そして、この音声への応答動作を所定の動作とすれば、当該所定の動作を行っている特定対象者の人物映像の位置を特定することや、所定の動作を行っている特定対象者の発信器を特定することが一段と容易になる。

また、上記の映像表示装置において、前記位置特定部は、前記第一処理において、前記映像中に前記人物映像が映っている前記特定対象者の身体各部と前記特定対象者が居る場所において設定された基準位置との間の距離を示すデータに基づいて、前記所定の動作を行っている前記特定対象者の前記人物映像の前記位置を特定すると、益々好適である。
上記の構成では、位置特定部が、ディスプレイに表示されている映像中に人物映像が映っている特定対象者の身体各部についての深度（深度については後述する）を示すデータに基づいて、所定の動作を行っている特定対象者の人物映像の位置を特定する。これにより、所定の動作を行っている特定対象者の人物映像の位置を的確に特定することが可能となる。

また、前述した課題は、本発明の映像表示方法によれば、コンピュータが、センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得することと、コンピュータが、撮影装置が撮影している映像を、ディスプレイに表示することと、コンピュータが、前記映像中に含まれている人物映像の、前記映像における位置を特定することと、コンピュータが、所定の状態にある前記対象者である特定対象者を検知することと、を有し、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際には、前記特定対象者の前記人物映像について特定した前記位置に応じた領域に、前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、前記ディスプレイの前に居て前記ディスプレイにて前記特定対象者の前記人物映像を確認する映像確認者の顔位置、顔の向き及び視線のうち、少なくとも一つの変化を検出することを有し、該変化を検出すると、前記撮影装置が撮影した前記映像のうち、前記ディスプレイに表示される範囲が前記変化に応じて切り替わることにより解決される。
また、前述した課題は、本発明の映像表示方法によれば、コンピュータが、センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得することと、コンピュータが、撮影装置が撮影している映像を、ディスプレイに表示することと、コンピュータが、前記映像中に含まれている人物映像の、前記映像における位置を特定することと、コンピュータが、所定の状態にある前記対象者である特定対象者を検知することと、を有し、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際には、前記特定対象者の前記人物映像について特定した前記位置に応じた領域に、前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、複数の前記特定対象者を検知したときには、前記特定対象者別に用意されており前記センサが搭載された発信器の各々から、前記センサにより計測された前記特定対象者の前記生体情報、及び、前記特定対象者に関する他の情報を取得し、所定の動作を行った前記特定対象者の前記人物映像の前記位置を特定する第一処理と、前記特定対象者別の前記発信器のうち、前記所定の動作を行った前記特定対象者に関する前記他の情報を送った前記発信器を特定する第二処理と、を実行し、前記所定の動作を行った前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際には、前記第一処理にて特定した前記位置に応じた領域に、前記第二処理にて特定した前記発信器から取得した前記生体情報に応じた情報を前記映像に重ねて表示することにより解決される。
上記の方法であれば、所定の状態にある対象者の映像と共にその者の生体情報を確認する際に、誰の生体情報であるかを容易に把握することができ、また、生体情報が変化した際には、その変化をより速やかに捉えることが可能となる。

本発明によれば、所定の状態にある対象者の映像と共にその者の生体情報を確認する際に、誰の生体情報であるかを容易に把握することができる。これにより、例えば、複数人の特定対象者の映像を表示する状況において各特定対象者が移動したとしても、移動後の位置に応じて生体情報の表示位置も変化するため、移動後の各対象者の生体情報を容易に確認することが可能となる。
また、本発明によれば、特定対象者の容態が急変したり特定対象者が運動等したりすることで生体情報が変化した際、その変化をより速やかに捉えることが可能となる。この結果、生体情報の変化に対して速やかな対応を採ることができ、特定対象者の状態（例えば、健康状態等）を良好に保つことが可能となる。
また、本発明によれば、複数の対象者の各々の人物映像及び生体情報を表示するにあたり、所定の動作を行っている特定対象者の生体情報と人物映像とを対応付けることにより、生体情報と人物映像との対応関係を適切に特定することが可能となる。

本発明の映像表示装置を含む通信システムの説明図である。 本発明の映像表示装置を含む通信システムの機器構成を示す図である。 対象者側に設置された映像表示用ユニットを示す図である。 深度データの説明図である。 映像確認者側に設置された映像表示用ユニットを示す図である。 映像確認者の動作に応じて表示映像が切り替わった様子を示す図である。 本発明の映像表示装置の構成を機能面から示す図である。 センサＩＤ記憶テーブルを示す図である。 平均心拍数記憶テーブルを示す図である。 運動指導用フローの流れを示す図である。 映像表示処理の流れを示す図である（その１）。 映像表示処理の流れを示す図である（その２）。 本発明の第二実施形態に係る映像表示装置を含む通信システムの機器構成を示す図である。 本発明の第二実施形態に係る映像表示装置の構成を示す図である。 第二実施形態における各種情報のやりとりを示す図である。 複数の特定対象者の一人が所定の動作を行っている様子を示す図である。 所定の動作を行っている特定対象者について人物映像の位置を特定する手順を示す図である。 対応付け工程の流れを示す図である。

以下、本発明の一実施形態（以下、本実施形態）について説明する。なお、以下に説明する実施形態は、本発明の理解を容易にするための一例であり、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。

＜＜本実施形態に係る映像表示装置の用途＞＞
本実施形態に係る映像表示装置（以下、映像表示装置）は、映像確認者が遠隔地に居る対象者の映像を確認するために用いられる。特に、本実施形態では、運動指導用の通信システム（以下、運動指導用システム１）を構築するために映像表示装置が利用される。

上記の運動指導用システム１について図１を参照しながら説明すると、運動指導用システム１は、映像確認者としてのインストラクターＩ及び対象者としての受講者Ｊによって利用される。そして、運動指導用システム１により、インストラクターＩと受講者Ｊとは、互いに異なる場所（室）に居ながら互いの映像をリアルタイムで確認することができる。

具体的に説明すると、図１に示すように、受講者Ｊは、ジムＰ１に設置されたディスプレイ１１にてインストラクターＩの映像を見ながら、インストラクターＩの指導（レッスン）を受けることが可能である。一方、同図に示すように、インストラクターＩは、専用ブースＰ２に設置されたディスプレイ１１にてレッスン受講中の受講者Ｊの映像を確認し、受講者Ｊの状態（例えば、指導に対する理解度合い、疲労度、適切に身体を動かせているか等）を監視することが可能である。

なお、ジムＰ１は、本発明における「所定の場所」に相当し、専用ブースＰ２は、「所定の場所から離れた場所」に相当する。上記２つの場所は、互いに異なる建物に在る場所であってもよく、同一の建物内において互いに離れた部屋であってもよい。

また、運動指導用システム１の機能により、インストラクターＩは、レッスン受講中の受講者Ｊについてリアルタイムの映像とともに現在の生体情報を確認することが可能である。ここで、「生体情報」とは、受講者Ｊの状態（健康状態）や体調に応じて変化する特徴量であり、本実施形態では、活動度合い（厳密には運動量）に応じて大きさが変化する情報、具体的には心拍数である。ただし、これに限定されるものではなく、例えば呼吸量やカロリー消費量若しくは体温変化量を生体情報として確認してもよい。

本実施形態では、受講者Ｊの生体情報を計測するセンサとしてウェアラブルセンサ２０が用いられている。このウェアラブルセンサ２０は、受講者Ｊが装着可能であり、例えばリストバンド型の外観を呈している。そして、受講者Ｊは、普段からウェアラブルセンサ２０を着用している。このため、受講者Ｊの生体情報（具体的には心拍数）については、レッスン受講中のみならず、それ以外の期間においても計測されることになる。また、ウェアラブルセンサ２０の計測結果は、通信ネットワークを介して所定の送信先に向けて送信されることになっている。なお、ウェアラブルセンサ２０の計測結果の送信については、ウェアラブルセンサ２０から直接行われてもよく、受講者Ｊが携帯するスマートフォンや携帯電話等の通信機器を経由する形で行われてもよい。

＜＜運動指導用システムの機器構成について＞＞
次に、運動指導用システム１の機器構成について図２を参照しながら説明する。運動指導用システム１は、図２に図示されているように、通信ネットワーク（以下、ネットワークＷ）に接続された複数の機器によって構成されている。具体的に説明すると、主に受講者Ｊによって利用される映像表示用ユニット（以下、受講者側ユニット２）と、主にインストラクターＩによって利用される映像表示用ユニット（以下、インストラクター側ユニット３）と、が運動指導用システム１の主要構成機器である。

また、図２に示すように、運動指導用システム１の構成機器の中には、前述したウェアラブルセンサ２０と生体情報記憶サーバ３０とが含まれている。ウェアラブルセンサ２０は、受講者Ｊ毎に用意されており、換言すると、各受講者Ｊは、各自専用のウェアラブルセンサ２０を装着している。そして、ウェアラブルセンサ２０は、これを装着している受講者Ｊの心拍数を定期的に計測し、その計測結果を出力する。生体情報記憶サーバ３０は、ネットワークＷを経由して各ウェアラブルセンサ２０の計測結果を受信し、受信した計測結果を受講者Ｊ別に記憶するデータベースサーバである。

なお、ウェアラブルセンサ２０及び生体情報記憶サーバ３０は、それぞれ、ネットワークＷに接続されており、ネットワークＷに接続された機器（例えば、後述する第２のデータ処理端末５）と通信可能である。

以下、受講者側ユニット２及びインストラクター側ユニット３のそれぞれの詳細構成について説明する。先ず、受講者側ユニット２の構成について説明すると、受講者側ユニット２は、ジムＰ１において使用され、ジムＰ１に設置されたディスプレイ１１にインストラクターＩの映像を表示すると共に、ジムＰ１に居る受講者Ｊの映像を撮影する。

受講者側ユニット２は、図２に示すように、第１のデータ処理端末４と、ディスプレイ１１と、スピーカ１２と、カメラ１３と、マイク１４と、赤外線センサ１５と、を構成要素として有する。ディスプレイ１１は、映像表示用の画面を構成するものである。なお、本実施形態に係るディスプレイ１１は、図３に示すように、インストラクターＩの人物映像を等身大サイズにて表示するのに十分な画面サイズとなっている。

スピーカ１２は、映像中に組み込まれた音声を再生したときの再生音を発する機器であり、公知のスピーカによって構成される。

カメラ１３は、撮像範囲（画角）内にある被写体の映像を撮像する撮像装置であり、公知のネットワークカメラからなる。ここで、「映像」とは、連続している複数のフレーム画像の集合体によって構成されたもの、すなわち、動画を意味する。また、本実施形態において、受講者側ユニット２が有するカメラ１３は、図３に示すように、ディスプレイ１１の直上位置に設置されている。このため、受講者側ユニット２が有するカメラ１３は、起動中、ディスプレイ１１の手前位置にある被写体の映像を撮像することになる。

また、受講者側ユニット２が有するカメラ１３に関して言うと、画角が比較的幅広に設定されている。つまり、受講者側ユニット２が有するカメラ１３は、横方向（水平方向）に広い範囲で撮影することができ、ディスプレイ１１の前に複数（例えば３〜４人）の受講者Ｊが居る場合には当該複数の受講者Ｊを同時に撮影することが可能である。

マイク１４は、マイク１４が設置された部屋内の音声を集音するものである。
赤外線センサ１５は、所謂デプスセンサであり、赤外線方式にて計測対象物の深度を計測するためのセンサである。具体的に説明すると、赤外線センサ１５は、計測対象物に向けて赤外線を照射し、その反射光を受光することで計測対象物各部の深度を計測する。ここで、「深度」とは、基準位置から計測対象物までの距離（すなわち、奥行距離）のことである。ちなみに、本実施形態では、受講者Ｊが居るジムＰ１において予め設定された位置、より具体的には、ジムＰ１に設置されたディスプレイ１１の映像表示面（画面）の位置が基準位置に該当する。つまり、赤外線センサ１５は、深度として、ディスプレイ１１の画面と計測対象物の間の距離、より厳密にはディスプレイ１１の画面の法線方向（換言すると、ディスプレイ１１を貫く方向）における距離を計測することになる。

なお、本実施形態に係る赤外線センサ１５は、カメラ１３が撮影した映像を所定数の画素に分割したときの当該画素毎に深度を計測する。そして、画素毎に得られた深度の計測結果を映像単位でまとめると、当該映像についての深度データが得られるようになる。深度データについて図４を参照しながら説明すると、深度データは、カメラ１３の撮像映像（厳密には、各フレーム画像）について画素別に深度を規定している。具体的に説明すると、図中の黒塗りの画素が、背景映像に属する画素に相当し、白抜きの画素が、背景よりも前方に位置する被写体の映像（例えば、人物映像）に属する画素に相当する。したがって、人物映像を含む映像についての深度データは、当該人物映像が映っている人物の身体各部の深度（基準位置からの距離）を示すデータとなる。

第１のデータ処理端末４は、受講者側ユニット２の中枢をなす装置であり、コンピュータによって構成されている。この第１のデータ処理端末４の構成については、公知であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等によって構成されている。また、第１のデータ処理端末４には、映像表示に関する一連の処理を実行するためのコンピュータプログラム（以下、第１のプログラム）がインストールされている。

第１のプログラムが起動することにより、第１のデータ処理端末４は、カメラ１３及びマイク１４を制御してジムＰ１内の映像を撮影したり音声を集音したりする。そして、第１のデータ処理端末４は、マイク１４が集音した音声をカメラ１３の撮影映像中に組み込んだ上で、当該映像をインストラクター側ユニット３に向けて送信する。この際、第１のデータ処理端末４は、赤外線センサ１５の深度計測によって得られた深度データを併せて送信する。

また、第１のプログラムが起動することにより、第１のデータ処理端末４は、インストラクター側ユニット３から送信されてくる映像を受信した際にディスプレイ１１及びスピーカ１２を制御する。これにより、ジムＰ１内のディスプレイ１１には、インストラクターＩの人物映像を含む専用ブースＰ２内の映像が表示されるようになる。また、ジムＰ１内のスピーカ１２からは、専用ブースＰ２内で集音された音声（具体的には、インストラクターＩの音声）の再生音が発せられるようになる。

次に、インストラクター側ユニット３の構成について説明する。インストラクター側ユニット３は、専用ブースＰ２において使用され、専用ブースＰ２に設置されたディスプレイ１１にレッスン受講中の受講者Ｊの映像を表示すると共に、専用ブースＰ２に居るインストラクターＩの映像を撮影する。

インストラクター側ユニット３は、図２に示すように、第２のデータ処理端末５と、ディスプレイ１１と、スピーカ１２と、カメラ１３と、マイク１４とを構成要素として有する。ディスプレイ１１、スピーカ１２、カメラ１３及びマイク１４の構成については、受講者側ユニット２が有するものと略同様である。なお、本実施形態に係るディスプレイ１１は、図５に示すように、受講者Ｊの人物像を等身大サイズにて表示するのに十分な画面サイズとなっている。また、本実施形態において、インストラクター側ユニット３が有するディスプレイ１１は、幾分横長な画面を形成しており、図５に示すように、例えば横に並んでいる２人の受講者Ｊの全身像を同時に表示することが可能である。

第２のデータ処理端末５は、インストラクター側ユニット３の中枢をなす装置であり、コンピュータによって構成されている。そして、この第２のデータ処理端末５が本実施形態に係る映像表示装置として機能する。なお、第２のデータ処理端末５の構成については、公知であり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、通信用インタフェース及びハードディスクドライブ等によって構成されている。また、第２のデータ処理端末５には、映像表示に関する一連の処理を実行するためのコンピュータプログラム（以下、第２のプログラム）がインストールされている。

第２のプログラムが起動することにより、第２のデータ処理端末５は、カメラ１３及びマイク１４を制御して専用ブースＰ２内の映像を撮影したり音声を集音したりする。そして、第２のデータ処理端末５は、マイク１４が集音した音声をカメラ１３の撮影映像中に組み込んだ上で、当該映像を受講者側ユニット２に向けて送信する。

また、第２のプログラムが起動することにより、第２のデータ処理端末５は、受講者側ユニット２から送信されてくる映像を受信した際にディスプレイ１１及びスピーカ１２を制御する。これにより、専用ブースＰ２内のディスプレイ１１には、受講者Ｊの人物映像を含むジムＰ１内の映像が表示されるようになる。また、専用ブースＰ２内のスピーカ１２からは、ジムＰ１で集音された音声（具体的には、受講者Ｊの音声）の再生音が発せられるようになる。

また、第２のデータ処理端末５は、受講者側ユニット２から映像と共に深度データを受信する。この深度データを解析することで、第２のデータ処理端末５は、受講者側ユニット２から受信した映像中に人物映像が含まれている場合に、当該受信映像における人物映像の位置を特定することが可能である。

より具体的に説明すると、レッスン受講中の受講者Ｊの人物映像を含む映像が受講者側ユニット２から送信されてきたとき、第２のデータ処理端末５は、その映像と併せて受信した深度データを解析する。かかる解析において、第２のデータ処理端末５は、深度の相違に基づき、深度データを構成する画素を背景映像の画素とそれ以外の映像の画素とに分ける。その後、第２のデータ処理端末５は、図４に図示の人物の骨格モデルを適用し、背景映像以外の映像の画素から人物映像の画素を抽出する。骨格モデルとは、人物の身体中、頭部、肩、肘、手首、上半身中心、腰、膝、足首に関する位置関係を簡易的に示したモデルである。なお、骨格モデルの取得方法については、公知の方法が利用可能である。

そして、深度データの中から抽出した人物映像の画素に基づき、当該画素と対応する映像を、受信映像（受講者側ユニット２のカメラ１３が撮影した映像）において特定し、かかる映像を人物映像とする。この結果、受信映像における人物映像の位置が特定されることとなる。

なお、人物映像の位置の特定方法としては、深度データを用いた特定方法に限定されるものではなく、例えば、カメラ１３の撮影映像に対して画像解析を行うことで人物映像の位置を特定してもよい。

また、第２のデータ処理端末５は、受信映像から特定した人物映像と深度データと骨格モデルとに基づいて、当該人物映像が映し出されている人（具体的には受講者Ｊ）の姿勢変化や動作の有無を検出することが可能である。

さらにまた、インストラクター側ユニット３が有するカメラ１３がインストラクターＩを撮影している間、第２のデータ処理端末５は、その撮影映像を解析することで、インストラクターＩの顔位置の変化を検出する。そして、第２のデータ処理端末５は、インストラクターＩの顔位置の変化を検出すると、その変化後の顔位置に応じて、専用ブースＰ２に設置されたディスプレイ１１に表示させる映像を遷移させる。かかる映像遷移について、以下、図５及び６を参照しながら説明する。

第２のデータ処理端末５が受講者側ユニット２から受信する映像は、ジムＰ１に設置されたカメラ１３が撮影した映像である。また、ジムＰ１に設置されたカメラ１３が撮影した映像は、前述したように、横方向（水平方向）に広い範囲で撮影された映像となっており、そのサイズは、専用ブースＰ２に設置されたディスプレイ１１の画面よりも幾分幅広となっている。このため、専用ブースＰ２に設置されたディスプレイ１１には、受講者側ユニット２から受信した映像の一部が表示されることとなる。

一方、インストラクターＩの顔位置がディスプレイ１１の幅方向（すなわち、横方向）に移動したとき、第２のデータ処理端末５は、その移動量と移動向きを算出する。その後、第２のデータ処理端末５は、算出した移動量と移動向きに応じて、専用ブースＰ２に設置されたディスプレイ１１に表示する映像を、インストラクターＩの顔位置が移動する前に表示されていた映像から遷移させる。具体例を挙げて説明すると、専用ブースＰ２に設置されたディスプレイ１１に図５に図示の映像が表示されているときに、インストラクターＩの顔位置が右向きに距離Ｌだけ移動したとする。かかる場合、第２のデータ処理端末５は、左向きに距離Ｌに応じた分だけ図５に図示の映像をずらした映像、すなわち、図６に図示された映像をディスプレイ１１に表示するようになる。

以上のように本実施形態では、専用ブースＰ２でディスプレイ１１に表示されている映像を確認しているインストラクターＩの顔が横移動すると、それに伴って、上記のディスプレイ１１に表示される映像が横方向にずれる。つまり、インストラクターＩの顔が横移動することで、受講者側ユニット２から受信した映像のうち、ディスプレイ１１に表示される範囲を切り替わる。この結果、インストラクターＩは、受講者側ユニット２から受信した映像のうち、ある範囲の映像（例えば、図５に図示された映像）を見ているときに顔を移動させることで、その時点ではディスプレイ１１に表示されていなかった範囲の映像（例えば、図６に図示された映像）を見ること、いわゆる覗き込みが可能となる。これにより、レッスン受講中の受講者ＪがジムＰ１に多く居る場合において、そのうち、一度にディスプレイ１１に表示し得る人数が限られていても、インストラクターＩが顔位置を変えることでレッスン受講中の受講者Ｊ全員の映像を確認することが可能となる。

さらに、第２のデータ処理端末５は、各受講者Ｊの生体情報、すなわち、各受講者Ｊが装着しているウェアラブルセンサ２０によって計測される心拍数を取得する。受講者Ｊの心拍数を取得する方法について説明すると、通常時の取得方法と、ジムＰ１にてレッスンを受講している受講者Ｊの心拍数を取得する際の方法と、が異なっている。

具体的に説明すると、第２のデータ処理端末５は、通常時、定期的に生体情報記憶サーバ３０と通信することで、生体情報記憶サーバ３０に記憶されている各受講者Ｊの心拍数を取得する。なお、生体情報記憶サーバ３０から生体情報を取得する時間間隔（以下、第１時間間隔ｔ１）については、任意に設定することが可能であるが、本実施形態では３〜１０分の範囲で設定されている。

一方、第２のデータ処理端末５は、レッスン受講中の受講者Ｊの心拍数を取得する場合には、レッスン受講中の受講者Ｊが装着しているウェアラブルセンサ２０と直接通信することで、当該受講者Ｊの心拍数を取得する。なお、ウェアラブルセンサ２０から生体情報を取得する時間間隔（以下、第２時間間隔ｔ２）については、第１時間間隔ｔ１よりも短い時間に設定されており、本実施形態では１〜５秒の範囲で設定されている。これは、レッスン受講中の受講者Ｊの心拍数が通常時（レッスンを受講していない時）に比べて顕著に変化することを反映している。

さらにまた、第２のデータ処理端末５は、レッスン受講中の受講者Ｊの人物映像をディスプレイ１１に表示させる際、当該人物映像の位置に応じた領域に、心拍数に応じた情報を当該人物映像に重ねて表示する。より具体的に説明すると、図５及び６に示すように、レッスン受講中の受講者Ｊの胸部が映っている領域に、心拍数の数値（厳密には、ウェアラブルセンサ２０の計測結果を示す数値）が記載されたハート型のテキストボックスＴｘをポップアップ表示する。

また、テキストボックスＴｘに記載されている心拍数の数値は、第２のデータ処理端末５が新たに心拍数を取得する度に更新される。つまり、テキストボックスＴｘに記載されている心拍数の数値は、第２のデータ処理端末５がウェアラブルセンサ２０からレッスン受講中の受講者Ｊの心拍数を取得する時間間隔、すなわち第２時間間隔ｔ２にて更新されることになる。この結果、ディスプレイ１１にてレッスン受講中の受講者Ｊの映像を確認しているインストラクターＩは、レッスン受講中の受講者Ｊの現在の心拍数を併せて確認することが可能となる。

なお、本実施形態では、心拍数に応じた情報として、ウェアラブルセンサ２０の計測結果を示す数値を表示することとしたが、これに限定されるものではなく、これに準じた内容、例えばウェアラブルセンサ２０の計測結果に応じて決まる記号や図形若しくは文字を表示してもよい。

また、レッスン受講中の受講者Ｊの映像と共に表示する情報について言うと、心拍数に応じた情報以外の情報が含まれてもよい。ちなみに、本実施形態では、図５や図６に示すように、心拍数に応じた情報に加えて、レッスン受講中の受講者Ｊの属性（個人情報）やレッスン受講開始時からのカロリー消費量が記載されたテキストボックスＴｙを、当該受講者Ｊの頭部が映っている領域の真上にポップアップ表示することになっている。ただし、これに限定されるものではなく、レッスン受講中の受講者Ｊの状態（現状）を把握する上で有用な情報であれば、更に追加することも可能である。

＜＜第２のデータ処理端末の構成について＞＞
次に、第２のデータ処理端末５の構成を機能面から改めて説明する。第２のデータ処理端末５をなすコンピュータは、前述した第２のプログラムが実行されることにより本発明の映像表示装置として機能する。換言すると、第２のデータ処理端末５は、複数の機能部を備えており、具体的には、図７に示すように、生体情報取得部５１と、情報解析部５２と、映像送信部５３と、映像表示部５４と、検知部５５と、識別部５６と、位置特定部５７と、変化検出部５８、記憶部５９とを有する。これらは、第２のデータ処理端末５を構成するハードウェア機器（具体的にはＣＰＵ、メモリ、通信用インタフェース及びハードディスクドライブ）と第２のプログラムとが協働することで構成されている。以下、各機能部について説明する。

（生体情報取得部５１）
生体情報取得部５１は、ウェアラブルセンサ２０によって計測された受講者Ｊの心拍数を、予め設定された時間間隔にて取得するものである。より詳しく説明すると、通常時、生体情報取得部５１は、第１時間間隔ｔ１にて生体情報記憶サーバ３０と通信することで、生体情報記憶サーバ３０に記憶されている各受講者Ｊの心拍数を取得する。なお、このときに取得した各受講者Ｊの心拍数は、第２のデータ処理端末５において受講者Ｊ別に記憶される。

また、第２のデータ処理端末５は、ジムＰ１にてレッスン受講中の受講者Ｊが居る場合には、レッスン受講中の受講者Ｊが装着しているウェアラブルセンサ２０と通信することで、当該受講者Ｊの心拍数を取得する。より詳しく説明すると、後述の検知部５５がレッスン受講中の受講者Ｊを検知して当該受講者Ｊの識別情報（受講者ＩＤ）を特定すると、生体情報取得部５１は、図８に図示したセンサＩＤ記憶テーブルを参照し、検知部５５が特定した受講者ＩＤと対応するセンサＩＤを特定する。センサＩＤ記憶テーブルとは、受講者Ｊに割り当てられた受講者ＩＤと、当該受講者Ｊが装着しているウェアラブルセンサ２０の識別情報であるセンサＩＤと、の対応関係を規定したものであり、記憶部５９に記憶されている。

そして、生体情報取得部５１は、特定したセンサＩＤが割り当てられたウェアラブルセンサ２０と通信することで、レッスン受講中の受講者Ｊの心拍数を取得する。また、本実施形態において、生体情報取得部５１は、レッスン受講中の受講者Ｊがレッスンを受講している間（換言すると、検知部５５がレッスン受講中の受講者Ｊを検知している間）、第２時間間隔ｔ２にて当該受講者Ｊの心拍数を取得する。

（情報解析部５２）
情報解析部５２は、生体情報取得部５１が通常時に第１時間間隔ｔ１にて取得した各受講者Ｊの心拍数を、受講者Ｊ別に集計して受講者Ｊ別に解析するものである。より具体的に説明すると、情報解析部５２は、第１時間間隔ｔ１にて取得した各受講者Ｊの心拍数を受講者Ｊ別に平均し、受講者Ｊ毎の平均心拍数を算出する。なお、本実施形態では、過去に取得した数十個分の心拍数を平均して平均心拍数を算出することになっているが、平均心拍数を算出する際の対象として設定される心拍数の範囲については、任意に決めてよい。

また、情報解析部５２が算出した受講者Ｊ毎の平均心拍数については、受講者ＩＤと紐付けられた状態で記憶部５９に記憶され、具体的には、図９に図示した平均心拍数記憶テーブルとして記憶される。

（映像送信部５３）
映像送信部５３は、専用ブースＰ２内でインストラクターＩが所定の動作を行うこと（例えば、専用ブースＰ２内のディスプレイ１１の手前位置に立つこと）を契機として、専用ブースＰ２に設置されたカメラ１３及びマイク１４を制御して専用ブースＰ２内での撮影や集音を行わせる。その後、映像送信部５３は、マイク１４が集音した音声をカメラ１３の撮影映像に組み込み、その上で当該撮影映像を受講者側ユニット２に向けて送信する。なお、本実施形態では、音声を組み込んだ状態の映像を送信する形となっているが、これに限定されるものではなく、映像と音声とを分離して個別に送信してもよい。

（映像表示部５４）
映像表示部５４は、受講者側ユニット２から受信した映像、すなわち、ジムＰ１に設置されたカメラ１３が撮影しているリアルタイムの映像をディスプレイ１１に表示する。また、映像表示部５４は、受信映像に組み込まれている音声を再生した際の再生音を、スピーカ１２を通じて発する。

また、映像表示部５４は、後述の変化検出部５８がインストラクターＩの顔位置の変化を検出した場合に、受講者側ユニット２から受信した映像のうち、専用ブースＰ２に設置されたディスプレイ１１に表示する範囲を、変化後の顔位置に応じて切り替える。つまり、インストラクターＩの顔が横移動したとき、映像表示部５４は、その移動距離に応じた分だけ、現在表示されている映像からずらした映像をディスプレイ１１に表示する。

さらに、受講者側ユニット２から受信した映像中にレッスン受講中の受講者Ｊの人物映像が含まれている場合、映像表示部５４は、その映像を表示する際に、レッスン受講中の受講者Ｊの心拍数に応じた情報を上記の映像に重ねて表示する。より具体的に説明すると、映像表示部５４は、レッスン受講中の受講者Ｊの人物映像の位置（厳密には、位置特定部５７が特定した位置）に応じた領域に、当該受講者Ｊが装着しているウェアラブルセンサ２０の計測結果を示すテキストボックスＴｘをポップアップ表示する。

また、映像表示部５４は、上記のテキストボックスＴｘの表示内容（すなわち、レッスン受講中の受講者Ｊの心拍数）を、生体情報取得部５１がレッスン受講中の受講者Ｊの心拍数を取得する度に更新する。

さらに、本実施形態において、映像表示部５４は、テキストボックスＴｘにてレッスン受講中の受講者Ｊの心拍数を表示するにあたり、当該心拍数が予め設定された条件を満たしているか否かを判定する。具体的に説明すると、映像表示部５４は、レッスン受講中の受講者Ｊについて、心拍数の現在値が閾値を超えているか否かを判定する。

ここで、「閾値」とは、レッスン受講中の受講者Ｊについて異常の有無（具体的には、レッスンにおいて行っている運動を中断すべき状態であるか否か）を判定する際の条件として用いられる値であり、受講者Ｊ毎に設定される。また、本実施形態において、受講者Ｊ毎の閾値は、情報解析部５２が受講者Ｊ別に算出した平均心拍数に応じて設定される。設定された受講者Ｊ毎の閾値は、記憶部５９に記憶される。さらに、閾値の設定は、平均心拍数が更新される度に行われる。

なお、平均心拍数に応じて閾値を設定する際の具体的な方法については特に限定されるものではない。また、本実施形態では、平均心拍数に応じて閾値を設定することとしたが、平均心拍数以外のパラメータ（例えば、年齢や性別、若しくは心拍数以外の生体情報）に応じて設定してもよい。また、本実施形態では、受講者Ｊ毎に閾値を設定することとしたが、これに限定されるものではなく、単一の閾値を設定し、当該閾値を受講者Ｊ間で共通の閾値として用いてもよい。

そして、映像表示部５４は、テキストボックスＴｘにてレッスン受講中の心拍数を表示する際、上記の判定結果に応じた表示態様にて表示する。具体的には、現在の心拍数が閾値を超えていない受講者Ｊについては、当該心拍数を通常時の表示態様にて表示することになる。一方で、現在の心拍数が閾値を超えていない受講者Ｊについては、当該心拍数を異常報知用の表示態様にて表示することになる。このように心拍数の現在値と閾値との大小関係を判定し、その判定結果に応じた表示態様にて心拍数を表示することで、心拍数の現在値が異常値となったときに、その状況をインストラクターＩに速やかに知らせることが可能となる。

なお、「表示態様」としては、心拍数を示す文字の色、テキストボックスＴｘの背景色、テキストボックスＴｘのサイズ、テキストボックスＴｘの形状、テキストボックスＴｘの点滅の有無、警告音の有無等が挙げられる。

（検知部５５）
検知部５５は、所定の状態にある受講者Ｊ、具体的にはジムＰ１にてレッスンを受講している状態の受講者Ｊを特定するものである。すなわち、レッスン受講中の受講者Ｊは、検知部５５の検知対象である「特定対象者」に相当する。

検知部５５がレッスン受講中の受講者Ｊを検知する方法について説明すると、受講者側ユニット２から受信した映像と深度データとに基づいて、当該受信映像中に人物映像が含まれているか否かを判定する。人物映像が含まれている場合には、当該人物映像と骨格モデルとに基づいて、その人物映像の動き（つまり、人物映像が映し出されている人の動き）を検出する。そして、検出した動きが所定の動き（具体的には、インストラクターＩの動作とのマッチング度合いが一定以上となる動き）である場合、当該人物映像が映し出されている人をレッスン受講中の受講者Ｊとして検出する。

なお、レッスン受講中の受講者Ｊを検出する方法については、上記の方法に限定されるものではない。例えば、ジムＰ１に位置センサを設置し、かかる位置センサが、ジムＰ１に設置されたディスプレイ１１の手前位置に立っている受講者Ｊを検出したときに信号を出力し、検知部５５が当該信号を受信することでレッスン受講中の受講者Ｊを検知してもよい。

（識別部５６）
識別部５６は、検知部５５がレッスン受講中の受講者Ｊを検知した場合に、当該受講者Ｊを認識するものである。識別部５６は、検知部５５がレッスン受講中の受講者Ｊを検知したときに、当該受講者Ｊの人物映像を解析する。具体的に説明すると、識別部５６は、検知部５５により検知されたレッスン受講中の受講者Ｊの顔部分の映像と、事前に登録された受講者Ｊの顔画像とを照合（マッチング）する画像解析を実施する。これにより、識別部５６は、レッスン受講中の受講者Ｊが誰であるかを特定する。さらに、識別部５６は、特定結果に基づき、レッスン受講中の受講者Ｊの識別情報（受講者ＩＤ）を特定する。

（位置特定部５７）
位置特定部５７は、受講者側ユニット２から受信した映像中にレッスン受講中の受講者Ｊの人物映像が含まれているときに、当該人物映像の位置（厳密には、専用ブースＰ２に設置されたディスプレイ１１に表示される映像における位置）を特定するものである。位置特定部５７は、受講者側ユニット２から受信した映像と深度データとを受信すると、先に説明した手順に従ってレッスン受講中の受講者Ｊの人物映像の位置を特定する。

なお、位置特定部５７による位置の特定は、検知部５５がレッスン受講中の受講者Ｊを検知している期間中、逐次行われる。このため、レッスン受講中の受講者Ｊの位置が運動のために移動したとき、位置特定部５７は、移動後の位置（移動した受講者Ｊを示す人物映像の位置）を直ちに特定するようになる。

（変化検出部５８）
変化検出部５８は、専用ブースＰ２でディスプレイ１１の表示映像を確認しているインストラクターＩの顔位置が移動したとき、当該位置の変化を検出するものである。変化検出部５８がインストラクターＩの顔位置の変化を検出すると、前述したように、受講者側ユニット２から受信した映像のうち、映像表示部５４によって専用ブースＰ２のディスプレイ１１に表示される範囲が、インストラクターＩの顔位置の変化に応じて切り替わる。つまり、変化検出部５８は、前述した覗き込み処理を開始する契機として、インストラクターＩの顔位置の変化を検知する。

なお、本実施形態において、変化検出部５８は、ディスプレイ１１の前方に立っているインストラクターＩの顔位置の変化を検出することとした。ただし、検出対象については顔位置の変化に限定されるものではなく、顔位置以外の内容、例えば、インストラクターＩの顔の向きやインストラクターＩの視線の変化を検出してもよい。すなわち、変化検出部５８は、覗き込み処理を開始する契機として、インストラクターＩの顔位置、顔の向き及び視線のうちの少なくとも一つの変化を検出すればよい。

（記憶部５９）
記憶部５９は、図８に図示のセンサＩＤ記憶テーブル、及び、図９に図示の平均心拍数記憶テーブルを記憶している。また、記憶部５９は、レッスン受講中の受講者Ｊの心拍数が異常値であるかどうかを判定するために設定された閾値を、受講者Ｊ毎に記憶している。その他、記憶部５９には、受講者Ｊに関する個人情報やレッスン開始からの経過時間やカロリー消費量（具体的には、図５や６に図示したテキストボックスＴｙに表示する情報）を記憶している。

＜＜運動指導の流れについて＞＞
次に、運動指導用システム１を用いた運動指導の流れについて図１０を参照しながら説明する。なお、以下に説明する運動指導用フローでは、本発明の映像表示方法が採用されている。すなわち、以下では、本発明の映像表示方法に関する説明として、当該映像表示方法を適用した運動指導用フローの手順を説明することとする。換言すると、以下に述べる運動指導用フロー中の各ステップは、本発明の映像表示方法の構成要素に相当することになる。

運動指導用フローは、図１０に示すように大きく２つの流れに分かれている。一つは、インストラクター側ユニット３が受講者側ユニット２から映像を受信したときの流れである。もう一つは、インストラクター側ユニット３が受講者側ユニット２から映像を受信していないときの流れ、すなわち通常時の流れである。なお、受講者側ユニット２では、ジムＰ１において受講者Ｊが所定の動作（例えば、ジムＰ１内のディスプレイ１１の手前位置に立つこと）を行うことをトリガーとして、ジムＰ１での撮影及び集音が開始され、インストラクター側ユニット３に向けた映像送信が行われるようになる。

先ず、インストラクター側ユニット３が受講者側ユニット２から映像を受信していない通常時の流れ（Ｓ００１でＮｏのケース）について説明する。インストラクター側ユニット３が受講者側ユニット２から映像を受信していないとき、すなわち、ジムＰ１にレッスンを受講している受講者Ｊが居ないとき、インストラクター側ユニット３が有するコンピュータ（すなわち、第２のデータ処理端末５）は、定期的に生体情報記憶サーバ３０と通信して各受講者Ｊの心拍数を取得する。

より具体的に説明すると、第２のデータ処理端末５は、第１時間間隔ｔ１にて生体情報記憶サーバ３０と通信する。換言すると、第２のデータ処理端末５は、前回の心拍数取得時からｔ１が経過した時点で（Ｓ００２）、生体情報記憶サーバ３０と通信して各受講者Ｊの心拍数、すなわちウェアラブルセンサ２０の計測結果を取得する（Ｓ００３）。

各受講者Ｊの心拍数を取得した後、第２のデータ処理端末５は、今回取得した心拍数と前回以前に取得した心拍数とに基づいて平均心拍数を算出する（Ｓ００４）。本ステップＳ００４において、第２のデータ処理端末５は、受講者Ｊ別に平均心拍数を算出する。そして、第２のデータ処理端末５は、算出した受講者Ｊ毎の平均心拍数を記憶し、具体的には、平均心拍数記憶テーブルに格納する。

次に、インストラクター側ユニット３が映像受信を開始したときの流れ（Ｓ００１でＹｅｓのケース）について説明する。第２のデータ処理端末５は、受講者側ユニット２から送られてくる映像を受信すると（Ｓ００５）、これをトリガーとして映像表示処理を実行するようになる（Ｓ００６）。

以下、映像表示処理の流れについて図１１及び図１２を参照しながら説明する。映像表示処理において、第２のデータ処理端末５は、先ず、インストラクター側ユニット３から受信した映像（すなわち、ジムＰ１に設置されたカメラ１３が撮影している映像）を、専用ブースＰ２に設置されたディスプレイ１１に表示する（Ｓ０１１）。本実施形態では、受信映像のサイズがディスプレイ１１の画面サイズよりも大きくなっているため、第２のデータ処理端末５は、受信映像の一部（部分映像）をディスプレイ１１に表示することになる。

次に、第２のデータ処理端末５は、受講者側ユニット２からの受信映像、及び受信映像と共に受信した深度データに基づいて、ジムＰ１にレッスン受講中の受講者Ｊが居るか否かを判定する（Ｓ０１２）。そして、第２のデータ処理端末５は、レッスン受講中の受講者Ｊを検知した場合（すなわち、ジムＰ１にレッスン受講中の受講者Ｊが居ると判定した場合）、その受講者Ｊの人物映像を解析して当該受講者Ｊを識別する（Ｓ０１３）。本ステップにより、第２のデータ処理端末５は、識別された受講者Ｊの識別情報（受講者ＩＤ）を特定する。

また、第２のデータ処理端末５は、レッスン受講中の受講者Ｊの人物映像について、当該人物映像を含む表示映像（ディスプレイ１１に表示される映像）における位置を特定する（Ｓ０１４）。なお、本実施形態では、受講者側ユニット２から受信した映像及び深度データ、並びに骨格モデルに基づき、先に説明した方法によって人物映像の位置を特定する。

また、第２のデータ処理端末５は、その内部に記憶しているセンサＩＤ記憶テーブルの中から、ステップＳ０１３にて識別されたレッスン受講中の受講者Ｊと対応付けられたウェアラブルセンサ２０の識別情報（センサＩＤ）を読み出す。その後、第２のデータ処理端末５は、読み出したセンサＩＤにて特定されるウェアラブルセンサ２０と通信することで、レッスン受講中の受講者Ｊの心拍数を取得する（Ｓ０１５）。

レッスン受講中の受講者Ｊの心拍数を取得した後、第２のデータ処理端末５は、前述した平均心拍数記憶テーブルの中から、ステップＳ０１３にて識別されたレッスン受講中の受講者Ｊと対応付けられた平均心拍数を読み出す。その後、第２のデータ処理端末５は、読み出した平均心拍数に応じて閾値を設定し、当該閾値とステップＳ０１５にて取得した心拍数との大小関係を判定する（Ｓ０１６）。なお、本ステップＳ０１６において設定される閾値は、レッスン受講中の受講者Ｊと対応する閾値（条件）である。

そして、第２のデータ処理端末５は、レッスン受講中の受講者Ｊの人物映像を含む映像に加えて、ステップＳ０１５にて取得した心拍数を示すテキストボックスＴｘを、専用ブースＰ２に設置されたディスプレイ１１に表示する。この際、第２のデータ処理端末５は、ステップＳ０１４にて特定した位置に応じた領域に、前ステップＳ０１６での判定結果に応じた表示態様にて上記のテキストボックスＴｘを上記の映像に重ねて表示する。

より具体的に説明すると、取得した心拍数が閾値を下回る場合（Ｓ０１６でＮｏ）、第２のデータ処理端末５は、ディスプレイ１１の表示画面中、レッスン受講中の受講者Ｊの胸部が映っている領域に、上記のテキストボックスＴｘを第１表示態様にてポップアップ表示する（Ｓ０１７）。他方、取得した心拍数が閾値を上回る場合（Ｓ０１６でＹｅｓ）、第２のデータ処理端末５は、ディスプレイの表示画面中、レッスン受講中の受講者Ｊの胸部が映っている領域に、上記のテキストボックスＴｘを第２表示態様にてポップアップ表示する（Ｓ０１８）。ここで、第１表示態様と第２表示態様とは、互いに異なる表示態様であり、例えば、テキストボックスＴｘの背景色のことである。

ところで、本実施形態において、第２のデータ処理端末５は、レッスン受講中の受講者Ｊを検知している間、第１時間間隔ｔ１よりも短い第２時間間隔ｔ２にて、レッスン受講中の受講者Ｊの心拍数を取得する。換言すると、第２のデータ処理端末５は、レッスン受講中の受講者Ｊを検知している間、ｔ２に相当する時間が経過する度に（Ｓ０１９）、レッスン受講中の受講者Ｊが装着しているウェアラブルセンサ２０と通信して、当該受講者Ｊの心拍数を取得する（Ｓ０２０）。

そして、第２のデータ処理端末５は、新たに心拍数を取得する度にステップＳ０１６〜Ｓ０１８を繰り返し、テキストボックスＴｘの表示内容（すなわち、心拍数の現在値）を更新する。つまり、レッスン受講中の受講者Ｊが検知されている間、映像に重ねて表示されるテキストボックスＴｘには、第２のデータ処理端末５がｔ２にて取得したレッスン受講中の受講者Ｊの心拍数が示されるようになる。なお、第２のデータ処理端末５は、テキストボックスＴｘの表示内容を更新する際には、毎回、新たに取得した心拍数と閾値との大小関係を判定し、その判定結果に応じた表示態様にて上記のテキストボックスＴｘを表示する。

一方、前回の心拍数取得時からｔ２が経過するまでの期間中に、ディスプレイ１１の前に居るインストラクターＩが顔を横移動させると、第２のデータ処理端末５がインストラクターＩの顔位置の変化を検出する（Ｓ０２１）。これをトリガーとして、第２のデータ処理端末５は、覗き込み処理を実行する。かかる処理では、専用ブースＰ２内のディスプレイ１１に表示されている映像の範囲を、インストラクターＩの顔の変化に応じて切り替える（Ｓ０２２）。具体的には、受講者側ユニット２から受信した映像のうち、ディスプレイ１１に表示する範囲を、インストラクターＩの顔の移動向きとは反対の向きに、当該顔の移動量に応じた量だけずらす。

なお、覗き込み処理を実行して表示映像を切り替えた場合、第２のデータ処理端末５は、ステップＳ０１２まで戻り、切り替え後の表示映像に含まれているレッスン受講中の受講者Ｊの人物映像から当該受講者Ｊを識別する。その後、第２のデータ処理端末５は、前述した手順と同じ手順にて、以降のステップ（ステップＳ０１３以降のステップ）を繰り返し行う。

そして、第２のデータ処理端末５は、インストラクターＩが所定の終了操作（例えば、専用ブースＰ２内のディスプレイ１１から所定距離以上離れる操作）を行うまでの間（Ｓ０２３）、上述した一連のステップを繰り返し行う。最終的にインストラクターＩが上記の終了操作を行った時点で、第２のデータ処理端末５が映像表示処理を終了する。

＜＜本実施形態の有効性について＞＞
以上までに説明してきたように、本実施形態では、ジムＰ１にてレッスンを受講している受講者Ｊが居る場合、当該受講者Ｊの人物映像を含んだ映像が、専用ブースＰ２に設置されたディスプレイ１１に表示される。このとき、レッスン受講中の受講者Ｊの心拍数に応じた情報（具体的には、心拍数の現在値を示すテキストボックスＴｘ）が映像に重ねて表示される。このようにレッスン受講中の受講者Ｊについて映像とともに心拍数を確認することにより、当該受講者Ｊの状態（例えば、指導に対する理解度合い、疲労度、適切に身体を動かせているか等）を監視することが可能となる。

また、本実施形態では、ディスプレイ１１の表示画面中、レッスン受講中の受講者Ｊの人物映像の位置に応じた領域に上記のテキストボックスＴｘが表示される。このため、例えば、レッスン受講中の受講者Ｊの位置がレッスンの中で動いたとしても、上記のテキストボックスＴｘは、その動きに連動し、当該受講者Ｊの人物映像との相対位置関係を保つように移動する。これにより、例えば、複数の受講者Ｊがレッスンを受講している状況において、それぞれの受講者Ｊが動いた後であっても、ディスプレイ１１に表示されているテキストボックスＴｘが誰の心拍数を示しているのかを容易に把握することが可能となる。

また、本実施形態では、レッスン受講中の受講者Ｊを検知している間、通常時よりも短い時間間隔（すなわち、第２時間間隔ｔ２）にて当該受講者Ｊの心拍数を取得する。このようにレッスン受講中の受講者Ｊの心拍数を取得する時間間隔が、レッスンを受講していない受講者Ｊの心拍数を取得する時間間隔（すなわち、第１時間間隔ｔ１）よりも短くすることで、レッスン受講中の受講者Ｊの心拍数が変化したときには当該心拍数の変化をより速やかに捉えることが可能となる。この結果、例えばレッスン受講中にある受講者Ｊの心拍数が急激に上昇した場合、インストラクターＩは、その状況を逸早く気付くことが可能となる。

さらに、本実施形態では、レッスン受講中の受講者Ｊの心拍数を示すテキストボックスＴｘをディスプレイ１１に表示するにあたり、当該心拍数と閾値との大小関係を判定する。そして、その判定結果に応じた表示態様にて上記のテキストボックスＴｘを表示する。これにより、レッスン受講中の受講者Ｊの心拍数が閾値以上となっているとき（すなわち、心拍数が異常に高い状態になっているとき）、かかる事態をインストラクターＩにより容易に気付かせることが可能となる。

＜＜第二実施形態＞＞
以上までに説明してきた実施形態（以下、第一実施形態）では、ウェアラブルセンサ２０と受講者Ｊとの対応関係が予め決まっており、具体的には、図８に図示したセンサＩＤ記憶テーブルとして上記の対応関係が規定されていることとした。このため、第一実施形態では、あるウェアラブルセンサ２０から心拍数の情報を取得した場合、上記のセンサＩＤ記憶テーブルを参照することで、どの受講者Ｊの心拍数であるかを特定することが可能である。また、第一実施形態では、受講者側ユニット２から受信した映像中に受講者Ｊの人物映像が含まれているとき、識別部５６による画像識別機能（厳密には、顔画像識別機能）により、誰の映像であるのかを特定する。

以上のように第一実施形態では、ウェアラブルセンサ２０から取得した心拍数が誰の心拍数であるかを特定し、及び、受信した映像中に映っている人物映像が誰の映像であるかを特定することにより、同じ受講者Ｊの心拍数と人物映像とを対応付けておくことが可能となる。この結果、対応付けられた心拍数及び人物映像は、その対応関係が明らかとなるように表示されるようになる。より具体的に説明すると、ある受講者Ｊの心拍数に応じた情報が、同じ受講者Ｊの人物映像の位置に応じた領域に表示されるようになる。

一方、第一実施形態のようにウェアラブルセンサ２０と受講者Ｊとの対応関係が予め決まっていないケースが考えられる。例えば、ウェアラブルセンサ２０が受講者Ｊ間で交換可能なケースや、ウェアラブルセンサ２０の装着者がレッスン毎に変わるケースでは、ウェアラブルセンサ２０と受講者Ｊとの対応関係を予め把握しておくことは困難である。また、第一実施形態では、映像中の人物映像が誰の映像であるかを画像識別処理によって特定することとしたが、かかる場合には、特定される人物が画像識別の精度によって変わる可能性がある。例えば、人物映像のサイズが画像識別処理を行うのに十分なサイズとなっていない場合には、正確な特定がなされない可能性がある。

そして、人物映像及び心拍数の対応関係が適切に把握されないと、人物映像及び心拍数の双方を確認する者（具体的にはインストラクターＩ）にとって、各受講者Ｊの状況を正しく把握することが困難となる。特に、複数の受講者Ｊがレッスンを受講している場合には上記の問題がより顕著に生じる。

そこで、以下では、第一実施形態とは異なる手順にて各受講者Ｊの心拍数と人物映像とを対応付けるケース（以下、第二実施形態）について説明することとする。なお、第二実施形態は、各受講者Ｊの人物映像と心拍数とを対応付ける方法を除き、第一実施形態と共通する。以下では、第二実施形態のうち、第一実施形態とは異なる内容についてのみ説明することとする。また、以下では、説明を分かり易くするため、３人の受講者Ｊ（具体的には、Ａさん、Ｂさん及びＣさん）がレッスンを受講するケースを例に挙げて説明する。

先ず、第二実施形態に係る運動指導用の通信システム（以下、運動指導用システム１００）について図１３を参照しながら説明する。図１３に示すように、第二実施形態に係る運動指導用システム１００では、ウェアラブルセンサ２０の代わりにスマートバンド４０が用いられる。このスマートバンド４０は、リストバンド型の発信器であり、受講者Ｊ別に用意されている。

スマートバンド４０について詳しく説明すると、各受講者Ｊは、レッスン受講に際してスマートバンド４０を手首に装着し、例えばレッスン受講日の数日前から装着する。また、スマートバンド４０は、心拍センサ４１と加速度センサ４２とを搭載しており、これらのセンサの各々の計測結果を第２のデータ処理端末５に向けて送信するように構成されている。心拍センサ４１は、センサの一例であり、ウェアラブルセンサ２０と同様、装着者である受講者Ｊの心拍を定期的に計測する。

加速度センサ４２は、動作検出器の一例であり、受講者Ｊの動作（厳密には、スマートバンド４０が装着されている方の手を動かす動作）を検出し、その検出結果として動作情報を生成する。この動作情報とは、受講者Ｊの動作を検知した際に生成され、動作の度合い（例えば、手の移動量）に応じた情報を示す。また、加速度センサ４２は、受講者Ｊが所定の動作（具体的には、後述の応答動作）を行うと、通常時の動作情報とは異なる動作情報を生成する。なお、第二実施形態では動作検出器として加速度センサ４２を用いているが、受講者Ｊの動作を検知して当該動作に応じた情報を出力するものであれば、動作検出器として利用することが可能である。

さらに、スマートバンド４０は、装着者である受講者Ｊの個人情報、具体的には受講者Ｊの名前を取得し、当該名前を心拍センサ４１及び加速度センサ４２の各々の計測結果と共に第２のデータ処理端末５に向けて送信する。なお、本実施形態において、スマートバンド４０は、受講者Ｊの名前を取得するにあたり、当該受講者Ｊが携帯しているスマートフォン等の携帯端末（不図示）と通信する。これにより、スマートバンド４０は、携帯端末が記憶している受講者Ｊの名前を取得するようになる。ただし、名前の取得方法については特に限定されるものではなく、例えば、スマートバンド４０には入力手段（不図示）が搭載されており、当該スマートバンド４０を装着している者が自ら上記入力手段を操作して自己の名前を入力してもよい。

なお、スマートバンド４０が心拍数と共に送信する情報、すなわち、加速度センサ４２が受講者Ｊの動作を検出して生成する動作情報、及び、スマートバンド４０が取得する受講者Ｊの名前は、受講者Ｊに関する「他の情報」に相当する。また、スマートバンド４０から送信される情報については、上記の情報に限定されず、上記の情報以外の情報が更に含まれていてもよい。

次に、図１４を参照しながら、第２のデータ処理端末５の機能のうち、第二実施形態特有の内容について説明する。第二実施形態では、図１４に示すように、第２のデータ処理端末５が識別部５６を備えない一方で、点呼用情報送信部６０及びリスト作成部６１を有する。点呼用情報送信部６０は、制御情報送信部に相当し、制御情報としての点呼用情報を生成し、第１のデータ処理端末４に向けて送信する。第１のデータ処理端末４は、点呼用情報を受信すると、当該情報を解析し、その解析結果に従って受講者側ユニット２のスピーカ１２、すなわち、複数の受講者Ｊが居る場所に設置されたスピーカ１２（機器）を制御する。具体的に説明すると、第１のデータ処理端末４は、点呼用情報から一人の受講者Ｊの名前を特定し、その名前を示す音声を発生させるようにスピーカ１２を制御する。

リスト作成部６１は、後述する受講者リストＬＪを作成する。この受講者リストＬＪは、上述の点呼用情報送信部６０が点呼用情報を生成する際に参照される。

次に、第二実施形態における第２のデータ処理端末５の機能について、図１５を参照しながら説明する。図１５は、第２のデータ処理端末５を中心とした情報のやりとりを模式的に図示したものである。第二実施形態では、各受講者Ｊが装着したスマートバンド４０が、図１５に図示したように発信情報Ｄ１を発信する。この発信情報Ｄ１は、心拍センサ４１によって計測された心拍数、加速度センサ４２が各受講者Ｊの動きを検出して生成した動作情報、及び、各受講者Ｊの名前を含む情報である。

第２のデータ処理端末５の生体情報取得部５１は、各受講者Ｊのスマートバンド４０から発信情報Ｄ１を受信することで各受講者Ｊの心拍数、名前及び動作情報を取得する。この結果、第２のデータ処理端末５には心拍数、名前及び動作情報が受講者Ｊ別に通知されることになる。一方、第２のデータ処理端末５のリスト作成部６１は、受講者Ｊ毎に取得された発信情報Ｄ１に基づいて受講者リストＬＪを作成する。受講者リストＬＪについて説明すると、図１５に示すように、受講者リストＬＪには、各スマートバンド４０の識別情報であるバンドＩＤと、当該各スマートバンド４０から送られてきた受講者Ｊの名前、心拍数及び動作情報と、がテーブル形式で集録されている。

なお、図１５に図示のケースでは、３人の受講者Ｊ（Ａさん、Ｂさん及びＣさん）の名前等を示した受講者リストＬＪが作成されることになる。そして、受講者リストＬＪが作成されると、第２のデータ処理端末５の点呼用情報送信部６０が当該受講者リストＬＪを参照し、リスト化された複数人の受講者Ｊの名前のうち、一人の受講者Ｊの名前を特定する。その上で、点呼用情報送信部６０は、特定した一人の受講者Ｊの名前を呼ぶ点呼用情報Ｄ２を生成し、第１のデータ処理端末４に向けて送信する。

第１のデータ処理端末４は、点呼用情報Ｄ２を受信すると、当該点呼用情報Ｄ２が示す受講者Ｊの名前を特定した後に、特定した受講者Ｊの名前を示す音声を発生させるようにスピーカ１２を制御する。これにより、スピーカ１２の前に居る受講者Ｊのうち、名前が呼ばれた受講者Ｊ（以下、対象受講者）は、その音声に反応して応答動作を行うようになる。具体的に説明すると、対象受講者は、図１６に示すように、自分の名前を示す音声がスピーカ１２から発せられると、スマートバンド４０が装着されている側の手を挙げて返事をする動作を応答動作として行う。図１６は、複数の受講者Ｊの一人（同図が示すケースではＢさん）が応答動作を行っている様子を示す図である。

以上のように点呼用情報Ｄ２に従ってスピーカ１２が制御されることで、一人の受講者Ｊ（対象受講者）に対して上記の応答動作を促すようになる。かかる意味で、点呼用情報Ｄ２は、複数人の受講者Ｊのうちの一人に対して応答動作を促すように受講者側ユニット２のスピーカ１２を制御するための制御情報であると言える。

一方、対象受講者が上記の応答動作を行っている間、受講者側ユニット２のカメラ１３が当該対象受講者の人物映像を含む映像を撮影し、マイク１４が当該対象受講者の声（具体的には、スピーカ１２から発せられた音声に対して返事するときの声）を含む音声を集音する。また、受講者側ユニット２の赤外線センサ１５が上記映像について所定の画素単位で深度を計測し、第１のデータ処理端末４が赤外線センサ１５の計測結果に基づいて上記映像についての深度データを取得する。そして、第１のデータ処理端末４は、マイク１４により集音された音声が重畳された映像と深度データとを受講者側ユニット２に向けて送信する。第２のデータ処理端末５は、受講者側ユニット２から送られてくる映像及び深度データを受信する。

そして、第二実施形態では、第２のデータ処理端末５が上記映像及び深度データを受信すると、位置特定部５７が受信映像における対象受講者の人物映像の位置を特定する処理（以下、位置特定処理）を実行する。位置特定処理は、本発明の「第一処理」に相当する。この位置特定処理において、応答動作を行った受講者Ｊ（すなわち、対象受講者）の人物映像の、受信映像における位置（以下、単に「位置」と呼ぶ）が特定される。

また、第二実施形態に係る位置特定部５７は、位置特定処理において、第２のデータ処理端末５が映像と共に受信した深度データに基づいて、対象受講者の人物映像の位置を特定する。図１７を参照しながら説明すると、位置特定部５７は、上述した手順と同様の手順に従って、深度データを構成する画素の中から人物映像の画素を抽出する。このとき、位置特定部５７は、人間の骨格モデル、厳密には、片手を挙げる動作を行っている人の骨格モデルを適用する。これにより、位置特定部５７は、深度データを構成する画素の中から上記の骨格モデルと対応する画素、すなわち、応答動作を行った対象受講者の人物映像と対応する画素を抽出する。図１７に示す深度データでは、白抜きの画素群（すなわち、人物映像の画素群）が２つ存在し、そのうち、より左側に位置する画素群が対象受講者の人物映像の画素に相当する。

そして、位置特定部５７は、深度データの中から抽出した対象受講者の画素に基づき、当該画素と対応する映像を、受信映像（受講者側ユニット２のカメラ１３が撮影した映像）において特定し、かかる映像を対象受講者の人物映像とする。この結果、対象受講者の人物映像の位置が特定されることとなる。

なお、対象受講者の人物映像の位置を特定する方法については、上記のように深度データに基づいて特定する方法に限定されるものではない。例えば、映像と共に再生される音声を解析することで対象受講者の人物映像の位置を特定してもよい。具体的に説明すると、対象受講者の人物映像を含む映像には、対象受講者が応答動作時に発生した声を含む音声が組み込まれている。この音声を解析することで上記声の発生位置を特定し、当該発生位置に最も近い位置に表示された人物映像を対象受講者の人物映像として捉え、当該人物映像の位置を特定してもよい。また、映像中に含まれた人物映像中の所定部分を解析することで対象受講者の人物映像の位置を特定してもよい。具体的に説明すると、対象受講者が応答動作時に返事のために発声する際、対象受講者の人物映像中、口元部分が動くため、口元の動きが認められた人物映像を対象受講者の人物映像として捉え、当該人物映像の位置を特定してもよい。

対象受講者が上記の応答動作を行った時点で、生体情報取得部５１が各受講者Ｊのスマートバンド４０から発信情報Ｄ１を再度取得する。この際、生体情報取得部５１が対象受講者のスマートバンド４０から取得する発信情報Ｄ１に含まれている動作情報は、通常時の動作情報とは異なった内容となっており、具体的には、加速度センサ４２が応答動作を検出したときにのみ出力する内容（数値）となっている。

そして、位置特定部５７は、生体情報取得部５１が取得した発信情報Ｄ１に基づき、受講者Ｊ別のスマートバンド４０のうち、対象受講者のスマートバンド４０を特定する処理（以下、バンド特定処理）を実行する。バンド特定処理は、本発明の「第二処理」に相当する。バンド特定処理では、加速度センサ４２が応答動作を検出したときに生成する動作情報（具体的には、加速度センサ４２が応答動作を検出したときにのみ出力する情報）を含む発信情報Ｄ１を送ったスマートバンド４０を、対象受講者のスマートバンド４０として特定する。

以上のように対象受講者の人物映像の位置と対象受講者のスマートバンド４０とが特定される結果、対象受講者の人物映像及び生体情報としての心拍数が互いに対応付けられるようになる。より具体的に説明すると、第二実施形態では、複数の受講者Ｊが検知部５５によって検知されたとき、一人の受講者Ｊ（すなわち、対象受講者）に対して所定の動作（具体的には応答動作）を行わせることにより、映像及び動作情報の双方の観点から当該動作を行った受講者Ｊを特定（判定）する。これにより、特定された受講者Ｊの人物映像と、特定された受講者Ｊの動作情報と同じスマートバンド４０から送信される心拍数と、が対応付けられるようになる。

そして、位置特定部５７が上記の手順（すなわち、位置特定処理及びバンド特定処理）を受講者Ｊ毎に繰り返すことにより、すべての受講者Ｊについて、各々の人物映像と心拍数とが対応付けられるようになる。

さらに、人物映像と心拍数とが対応付けられる結果、心拍数に応じた情報が表示される位置が、当該心拍数と対応する人物映像の位置との関係で決定されるようになる。具体的に説明すると、ある受講者Ｊ（例えば、Ｂさん）の心拍数に応じた情報は、当該心拍数と対応付けられた人物映像（すなわち、Ｂさんの人物映像）の位置に応じた領域、詳しくは、ある受講者Ｊ（Ｂさん）の胸部が映っている領域に表示されるようになる。

次に、各受講者Ｊの心拍数及び人物映像を対応付ける工程（以下、対応付け工程）の流れについて、図１８を参照しながら説明する。対応付け工程は、既に説明した映像表示処理の中で第２のデータ処理端末５によって実施される。より具体的に説明すると、第二実施形態では、図１１にて図示した映像表示処理の各ステップ中、レッスン受講中の受講者Ｊを識別するステップＳ０１３、及びレッスン受講中の受講者Ｊの位置を特定するステップＳ０１４の代わりに、対応付け工程が実施される。なお、対応付け工程は、一回の映像表示処理において一回のみ実施されてもよく、あるいは、インストラクターＩが顔位置を動かしてディスプレイ１１の表示映像を切り替える度に実施されてもよい。

対応付け工程では、先ず、ジムＰ１内において複数の受講者Ｊが検知部５５によって検知されたかどうかを判断する（Ｓ０３１）。本ステップＳ０３１で複数の受講者Ｊが検知された場合には対応付け工程を続行し、複数の受講者Ｊが検知されない場合（すなわち、受講者Ｊが一人のみである場合）には対応付け工程が終了する。

ステップＳ０３１の後、第２のデータ処理端末５の生体情報取得部５１が複数の受講者Ｊの各々のスマートバンド４０から発信情報Ｄ１を取得する（Ｓ０３２）。これにより、各受講者Ｊが装着しているスマートバンド４０の識別ＩＤ（バンドＩＤ）、各受講者Ｊの名前、心拍数及び動作情報が受講者Ｊ別に取得されるようになる。

その後、第２のデータ処理端末５のリスト作成部６１が、前ステップＳ０３２にて取得した発信情報Ｄ１に基づき、受講者リストＬＪを作成する（Ｓ０３３）。受講者リストＬＪの作成後、第２のデータ処理端末５の点呼用情報送信部６０が当該受講者リストＬＪを参照して複数の受講者Ｊのうちの一人（対象受講者）を選択し、当該対象受講者に対する点呼用情報Ｄ２を生成し、当該情報Ｄ２を第１のデータ処理端末４に向けて送信する（Ｓ０３４）。本ステップＳ０３４について詳しく説明すると、受講者リストＬＪから対象受講者の名前を特定し、その名前を呼ぶ音声を発生させるための制御情報として上記点呼用情報Ｄ２を生成する。

一方、第１のデータ処理端末４は、点呼用情報Ｄ２を受信すると、当該点呼用情報Ｄ２が示す対象受講者の名前を特定し、当該名前を示す音声を発するように受講者側ユニット２のスピーカ１２を制御する。これにより、ジムＰ１内のスピーカ１２から対象受講者の名前を呼ぶ音声が発せられるようになる。そして、対象受講者に該当する受講者Ｊは、その音声への応答動作を行い、具体的には、スマートバンド４０が装着されている方の手を挙げると共に返事のために発声する。これに伴い、対象受講者が装着しているスマートバンド４０に搭載された加速度センサ４２が、当該対象受講者の応答動作を検知し、その検知結果に応じた動作情報を生成するようになる。

第２のデータ処理端末５は、点呼用情報Ｄ２を送信してから間もなく、各受講者Ｊのスマートバンド４０から発信情報Ｄ１を再度取得する（Ｓ０３５）。この時点で取得される発信情報Ｄ１のうち、対象受講者（すなわち、応答動作を行った受講者Ｊ）のスマートバンド４０から送信された発信情報Ｄ１には、加速度センサ４２が応答動作を検知することで生成した動作情報が含まれている。

そして、第２のデータ処理端末５の位置特定部５７は、バンド特定処理を実行し、前ステップＳ０３５で取得された発信情報Ｄ１に基づいて対象受講者のスマートバンド４０を特定する（Ｓ０３６）。より具体的に説明すると、バンド特定処理では、加速度センサ４２が応答動作を検知することで生成した動作情報を含む発信情報Ｄ１を特定した上で、当該発信情報Ｄ１の送信元であるスマートバンド４０を対象受講者のスマートバンド４０として特定する。

また、対応付け工程の実施期間中、第２のデータ処理端末５は、第１のデータ処理端末４から送られてくるジムＰ１内の映像、及び、当該映像の深度データを受信する。そして、第２のデータ処理端末５の位置特定部５７は、位置特定処理を実行して対象受講者の人物映像の位置を特定する（Ｓ０３７）。より具体的に説明すると、映像と共に受信した深度データ中、応答動作を行った対象受講者の人物映像と対応する画素を抽出した上で、抽出した画素と対応する人物映像（すなわち、対象受講者の人物映像）を受信映像において特定し、当該人物映像の位置を特定する。

なお、第二実施形態では、位置の特定精度を高める目的から、上述した方法にて対象受講者の人物映像の位置を特定することに加え、第二の方法及び第三の方法にて対象受講者の人物映像の位置を別途特定している。第二の方法とは、受信映像に組み込まれた音声情報を解析することで、対象受講者が応答動作時に発生した声の発生位置を特定し、特定した発生位置に最も近い位置に表示された人物映像を対象受講者の人物映像として捉えて当該人物映像の位置を特定する方法である。第三の方法とは、受信映像中に含まれた各受講者Ｊの口元部分の映像を解析することで、応答動作時に返事するために口元が動いた受講者Ｊの人物映像を対象受講者の人物映像として捉えて当該人物映像の位置を特定する方法である。

以上のように第二実施形態では、上述した三種類の特定方法にて対象受講者の人物映像の位置を特定したが、これに限定されるものではなく、上記三種類の特定方法のうち、少なくとも一つの特定方法を採用して対象受講者の人物映像の位置を特定してもよい。また、上述した特定方法以外の方法にて対象受講者の人物映像の位置を特定してもよい。

そして、第２のデータ処理端末５の位置特定部５７は、対象受講者の人物映像の位置とスマートバンド４０とを特定する結果、当該対象受講者の人物映像及び生体情報としての心拍数を対応付ける（Ｓ０３８）。すなわち、位置特定部５７は、複数の受講者Ｊの一人について、その者の人物映像と、その者が装着しているスマートバンド４０から送られてくる心拍数とを対応付ける。

以上までに説明してきたステップＳ０３２以降のステップについては、ジムＰ１に居る複数の受講者Ｊの全員に対して行われる。つまり、ジムＰ１に居る複数の受講者Ｊの中に、人物映像と心拍数との対応付けが未実施の受講者Ｊが残っている限り、上述したステップＳ０３２〜０３８が繰り返し実施される（Ｓ０３９）。これにより、ジムＰ１に居る各受講者Ｊについて人物映像と心拍数との対応付けが順次なされるようになる。最終的に、ジムＰ１に居る複数の受講者Ｊの全員について人物映像と心拍数との対応付けが実施された時点で対応付け工程が終了する。

以上までに説明してきた対応付け工程が実施されることにより、第二実施形態では、受講者Ｊ別に用意されたスマートバンド４０の各々から送られてくる心拍数が、受信映像中に人物映像が映っている複数の受講者Ｊのうち、どの受講者Ｊの心拍数であるのかを的確に特定することが可能となる。そして、第二実施形態では、上記の効果を実現するにあたり、第一実施形態のようにスマートバンド４０と受講者Ｊとの対応関係を事前に決めておく必要がなく、また、受講者Ｊの顔画像から当該受講者Ｊを識別する必要もない。つまり、第二実施形態では、スマートバンド４０と受講者Ｊとの対応関係が変化する場合にも柔軟に対応することができる。また、第二実施形態では、ある受講者Ｊ（例えば、Ｂさん）のスマートバンド４０から心拍数を取得したとき、顔画像識別を用いなくとも、当該受講者Ｊの人物映像（Ｂさんの人物映像）を受信映像から的確に見つけることが可能となる。

さらに、第二実施形態では、心拍数と人物映像とが対応付けられることにより、心拍数に応じた情報が表示される位置が、当該心拍数と対応付けられた人物映像の位置との関係で決定されるようになる。この結果、映像表示処理中、対応付け工程後のステップにおいて心拍数に応じた情報を受講者Ｊ別に表示する際には、心拍数に応じた情報が当該心拍数と対応付けられた人物映像の位置に応じた領域に表示されるようになる。これにより、インストラクターＩは、レッスン受講中の複数の受講者Ｊの各々について、現在の受講者Ｊの様子を示す人物映像と現在の心拍数とを対応付けながら確認することが可能となる。

なお、第二実施形態では、各受講者Ｊが所定の動作として自分の名前を呼ぶ音声への応答動作、具体的には、挙手して返事する動作を行うこととした。そして、第二実施形態では、応答動作を契機として、当該応答動作を行った受講者Ｊ（すなわち、対象受講者）の人物映像と心拍数との対応付けを行うこととした。ただし、人物映像と心拍数との対応付けの契機とする動作については、特に限定されるものではなく、上述した応答動作以外の動作であってもよい。

また、第二実施形態では、上記の応答動作を促すために第２のデータ処理端末５が制御情報としての点呼用情報Ｄ２を生成して第１のデータ処理端末４に向けて送信し、第１のデータ処理端末４が点呼用情報Ｄ２に基づいてスピーカ１２を制御することとした。そして、第１のデータ処理端末４がスピーカ１２を制御することにより、対象受講者の名前を示す音声を発して上記の応答動作を促すこととした。ただし、応答動作を促す処理については、第１のデータ処理端末４及びスピーカ１２を通じて行うケースに限られず、例えば、インストラクターＩが行ってもよい。すなわち、インストラクターＩが受講者リストＬＪを参照し、同リストに掲載された受講者Ｊの名前を順次呼ぶことにより、上記の実施形態と同様に応答動作を促すことが可能である。なお、かかる場合、インストラクターIは、受講者リストＬＪの中から受講者Ｊを一人ずつ選択し、その都度、選択結果を入力する。そして、第２のデータ処理端末５は、インストラクターＩの入力操作を受け付けて、選択された受講者Ｊを特定する。

また、第二実施形態では、対象受講者（応答動作を行った受講者Ｊ）のスマートバンド４０を特定する際に、スマートバンド４０に搭載された加速度センサ４２が出力する動作情報を手懸りとして特定することとした。すなわち、受講者Ｊが応答動作を行うと、その者が装着しているスマートバンド４０の加速度センサ４２が当該応答動作を検出し、当該応答動作に応じた動作情報を出力する。そして、上記の実施形態では、この動作情報を基にして対象受講者のスマートバンド４０を特定することとした。ただし、対象受講者のスマートバンド４０を特定する方法については、上記の方法に限定されず、加速度センサ４２から出力される動作情報を用いずに特定する方法も考えられる。以下、動作情報を用いずに対象受講者のスマートバンド４０を特定するケース（変形例）について説明する。

変形例では、各受講者Ｊのスマートバンド４０から発信される発信情報Ｄ１に、スマートバンド４０の識別用ＩＤ（バンドＩＤ）、各受講者Ｊの名前及び心拍数が含まれている一方で、動作情報が含まれていない。また、変形例では、上記の実施形態と同様に、第２のデータ処理端末５が各受講者Ｊのスマートバンド４０から発信情報Ｄ１を受信すると、受講者リストＬＪを作成し、同リストに掲載された受講者Ｊのうちの一人を選択して、選択した受講者Ｊの名前を呼ぶ点呼用情報Ｄ２を生成する。

そして、第２のデータ処理端末５が点呼用情報Ｄ２を送信した後、第１のデータ処理端末４が点呼用情報Ｄ２を受信し、点呼用情報Ｄ２が示す受講者Ｊの名前を特定し、特定した名前を示す音声を発するようにスピーカ１２を制御する。この制御において名前が呼ばれた受講者Ｊ（すなわち、対象受講者）は、応答動作を行う。その後、第２のデータ処理端末５が、対象受講者が応答動作を行った時点での映像と当該映像の深度データに基づいて、対象受講者の人物映像の位置を特定する。これにより、対象受講者の人物映像と名前とが対応付けられるようになる。一方、受講者Ｊの名前とスマートバンド４０との対応関係は、受講者リストＬＪによって規定されている。以上により、対象受講者の人物映像とスマートバンド４０とが対応付けられるようになり、結果として、対象受講者の人物映像と心拍数とが対応付けられるようになる。

以上の手順により、変形例では、動作情報を用いずに対象受講者のスマートバンド４０を特定することが可能となり、結果として、よりシンプルな構成のシステム（運動指導用システム１００）を構築することが可能となる。

＜＜その他の実施形態＞＞
以上までに本発明の映像表示装置及び映像表示方法について一例を挙げて説明してきたが、上記の実施形態では、あくまでも本発明の一実施形態に過ぎず、他の例も考えられる。具体的に説明すると、上記の実施形態では、レッスン受講中の受講者Ｊの心拍数を取得する際、当該受講者Ｊが装着しているウェアラブルセンサ２０やスマートバンド４０と直接通信することでレッスン受講中の受講者Ｊの心拍数を取得することとした。ただし、これに限定されるものではなく、レッスン受講中の受講者Ｊの心拍数についても、ウェアラブルセンサ２０やスマートバンド４０から直接受信するのではなく、生体情報記憶サーバ３０と通信することで生体情報記憶サーバ３０から取得してもよい。

また、上記の実施形態では、レッスン受講中の受講者Ｊの心拍数を示すテキストボックスＴｘを表示するにあたり、当該心拍数の現在値と閾値との大小関係を判定し、判定結果に応じた表示態様にて上記のテキストボックスＴｘを表示することとした。ただし、表示態様を決定するにあたって行われる判定の内容については、上記の内容に限定されるものではない。例えば、心拍数の変化率（変化速度）を算出する一方で、変化速度の標準値を予め決めておき、変化速度の算出結果と標準値との大小関係を判定することとしてもよい。

また、上記の実施形態では、レッスン受講中の受講者Ｊの心拍数の現在値が閾値以上となると、現在の心拍数が異常値であることをインストラクターＩに知らせるために、通常の表示態様とは異なる表示態様にて上記のテキストボックスＴｘを表示することとした。ただし、異常状態をインストラクターＩに知らせる方法については、上記の方法に限定されるものではなく、例えば、受講者Ｊが異常状態にある旨のメッセージをディスプレイ１１に表示してもよい。あるいは、専用ブースＰ２に設置されたスピーカ１２から警告音を発してもよい。

また、上記の実施形態では、ジムＰ１にてレッスンを受講している受講者Ｊ（厳密には、インストラクターＩと同様の動きを行っている受講者Ｊ）を「特定対象者」として検知することとした。ただし、「特定対象者」については、レッスン受講中の受講者Ｊに限定されるものではなく、例えば、ジムＰ１において所定の恰好をしている受講者Ｊ、所定の衣服を着用している受講者Ｊ、ディスプレイ１１からの距離が所定距離未満となる範囲内に居る受講者Ｊ、ジムＰ１内の所定の部屋に入室している受講者Ｊ、若しくは、レッスン受講中の受講者Ｊの中で所定の条件を満たす者（例えば、高齢者や女性）を「特定対象者」として検知してもよい。

また、上記の実施形態では、本発明の映像表示装置を運動指導用に用いることとしたが、本発明の映像表示装置の用途については特に限定されるものではない。遠隔地に居る対象者の生体情報と映像（リアルタイムの映像）を同時に確認することが必要な状況、特に、生体情報が変化し易いために当該生体情報を監視する必要がある状況において、本発明の映像表示方法は有意義に利用され得るものである。

また、上記の実施形態では、本発明の映像表示装置が一台のコンピュータによって構成されていることとした。すなわち、上記の実施形態では、本発明の映像表示装置の機能が一台のコンピュータによって実現されるケースを例に挙げて説明した。ただし、本発明の映像表示装置については、複数台のコンピュータによって構成されるものであってもよい。つまり、上記の機能のうちの一部が別のコンピュータによって実現されてもよく、例えば、インストラクター側ユニット３と通信可能なサーバコンピュータが記憶部５９を構成してもよい。

１ 運動指導用システム
２ 受講者側ユニット
３ インストラクター側ユニット
４ 第１のデータ処理端末
５ 第２のデータ処理端末（映像表示装置）
１１ ディスプレイ
１２ スピーカ（機器）
１３ カメラ
１４ マイク
１５ 赤外線センサ
２０ ウェアラブルセンサ（センサ）
３０ 生体情報記憶サーバ
４０ スマートバンド（発信器）
４１ 心拍センサ（センサ）
４２ 加速度センサ（動作検出器）
５１ 生体情報取得部
５２ 情報解析部
５３ 映像送信部
５４ 映像表示部
５５ 検知部
５６ 識別部
５７ 位置特定部
５８ 変化検出部
５９ 記憶部
６０ 点呼用情報送信部
６１ リスト作成部
１００ 運動指導用システム
Ｄ１ 発信情報
Ｄ２ 点呼用情報
Ｉ インストラクター（映像確認者）
Ｊ 受講者（対象者）
ＬＪ 受講者リスト
Ｐ１ ジム
Ｐ２ 専用ブース
Ｔｘ，Ｔｙ テキストボックス

Claims (13)

1. センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得する生体情報取得部と、
   撮影装置が撮影している映像を、ディスプレイに表示する映像表示部と、
   前記映像中に含まれている人物映像の、前記映像における位置を特定する位置特定部と、
   所定の状態にある前記対象者である特定対象者を検知する検知部と、を有し、
   前記映像表示部は、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記特定対象者の前記人物映像について前記位置特定部が特定した前記位置に応じた領域に、前記生体情報取得部が前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、
   前記ディスプレイの前に居て前記ディスプレイにて前記特定対象者の前記人物映像を確認する映像確認者の顔位置、顔の向き及び視線のうち、少なくとも一つの変化を検出する変化検出部を有し、
   該変化検出部が前記変化を検出すると、前記撮影装置が撮影した前記映像のうち、前記映像表示部によって前記ディスプレイに表示される範囲が前記変化に応じて切り替わることを特徴とする映像表示装置。
2. センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得する生体情報取得部と、
   撮影装置が撮影している映像を、ディスプレイに表示する映像表示部と、
   前記映像中に含まれている人物映像の、前記映像における位置を特定する位置特定部と、
   所定の状態にある前記対象者である特定対象者を検知する検知部と、を有し、
   前記映像表示部は、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記特定対象者の前記人物映像について前記位置特定部が特定した前記位置に応じた領域に、前記生体情報取得部が前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、
   前記検知部が複数の前記特定対象者を検知したときに、
   前記生体情報取得部は、前記特定対象者別に用意されており前記センサが搭載された発信器の各々から、前記センサにより計測された前記特定対象者の前記生体情報、及び、前記特定対象者に関する他の情報を取得し、
   前記位置特定部は、
   所定の動作を行った前記特定対象者の前記人物映像の前記位置を特定する第一処理と、
   前記特定対象者別の前記発信器のうち、前記所定の動作を行った前記特定対象者に関する前記他の情報を送った前記発信器を特定する第二処理と、を実行し、
   前記映像表示部は、前記所定の動作を行った前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記位置特定部が前記第一処理にて特定した前記位置に応じた領域に、前記位置特定部が前記第二処理にて特定した前記発信器から前記生体情報取得部が取得した前記生体情報に応じた情報を前記映像に重ねて表示することを特徴とする映像表示装置。
3. 前記検知部が前記特定対象者を検知している間、前記生体情報取得部は、通常時の前記時間間隔である第１時間間隔よりも短い第２時間間隔にて前記特定対象者の前記生体情報を取得し、
   前記映像表示部は、前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際、前記生体情報取得部が前記第２時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示することを特徴とする請求項１又は２に記載の映像表示装置。
4. 前記映像表示部は、前記特定対象者の前記生体情報に応じた情報として前記映像に重ねて表示する情報の内容を、前記生体情報取得部が前記特定対象者の前記生体情報を取得する度に更新することを特徴とする請求項１乃至３のいずれか一項に記載の映像表示装置。
5. 前記センサは、該センサを装着している前記対象者の活動度合いに応じて大きさが変化する前記生体情報を計測し、前記映像表示装置と通信可能であり、
   前記検知部が検知した前記特定対象者を識別する識別部と、
   前記対象者が装着している前記センサの識別情報を、前記対象者毎に記憶している記憶部と、を有し、
   前記生体情報取得部は、前記識別部によって識別された前記特定対象者と対応付けられた前記センサの前記識別情報を前記記憶部から読み出し、読み出した前記識別情報によって特定される前記センサと通信することで前記特定対象者の前記生体情報を取得することを特徴とする請求項１乃至４のいずれか一項に記載の映像表示装置。
6. 前記検知部は、所定の場所に居る前記特定対象者を検知し、
   前記映像表示部は、前記所定の場所から離れた場所に設置された前記ディスプレイに前記映像を表示することを特徴とする請求項１乃至５のいずれか一項に記載の映像表示装置。
7. 前記映像表示部は、前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示する際、前記特定対象者の前記生体情報が予め設定された条件を満たしているか否かを判定し、判定結果に応じた表示態様にて、前記特定対象者の前記生体情報に応じた情報を表示することを特徴とする請求項１乃至６のいずれか一項に記載の映像表示装置。
8. 前記生体情報取得部が通常時に前記時間間隔にて取得した前記生体情報を、前記対象者別に集計して前記対象者別に解析する情報解析部を更に有し、
   前記映像表示部は、前記情報解析部の解析結果に応じて前記対象者別に設定された前記条件のうち、前記特定対象者と対応する前記条件を前記特定対象者の前記生体情報が満たしているかを判定することを特徴とする請求項７に記載の映像表示装置。
9. 前記生体情報取得部は、前記特定対象者別に用意された前記発信器の各々から、前記発信器に搭載された動作検出器が前記特定対象者の動作を検出した際に生成する動作情報を前記他の情報として取得し、
   前記位置特定部は、前記第二処理において、前記特定対象者別の前記発信器のうち、前記動作検出器が前記所定の動作を検出した際に生成した前記動作情報を送った前記発信器を特定することを特徴とする請求項２に記載の映像表示装置。
10. 複数の前記特定対象者が居る場所に設置された機器を制御するための制御情報を送信する制御情報送信部を有し、
    該制御情報送信部は、複数の前記特定対象者のうちの一人に対して前記所定の動作の実施を促すように前記機器を制御するための前記制御情報を送信し、
    前記生体情報取得部は、前記特定対象者別に用意された前記発信器の各々から、前記特定対象者の名前を前記他の情報として取得し、
    前記制御情報送信部は、前記一人に対して前記所定の動作の実施を促すように前記機器を制御するための前記制御情報として、前記一人の名前を示す音声を前記機器に発生させるための前記制御情報を送信し、
    前記位置特定部は、前記第一処理において、前記音声への応答動作を行った前記特定対象者の前記人物映像の前記位置を特定することを特徴とする請求項２又は９に記載の映像表示装置。
11. 前記位置特定部は、前記第一処理において、前記映像中に前記人物映像が映っている前記特定対象者の身体各部と前記特定対象者が居る場所において設定された基準位置との間の距離を示すデータに基づいて、前記所定の動作を行っている前記特定対象者の前記人物映像の前記位置を特定することを特徴とする請求項２、９、１０のいずれか一項に記載の映像表示装置。
12. コンピュータが、センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得することと、
    コンピュータが、撮影装置が撮影している映像を、ディスプレイに表示することと、
    コンピュータが、前記映像中に含まれている人物映像の、前記映像における位置を特定することと、
    コンピュータが、所定の状態にある前記対象者である特定対象者を検知することと、を有し、
    前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際には、前記特定対象者の前記人物映像について特定した前記位置に応じた領域に、前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、
    前記ディスプレイの前に居て前記ディスプレイにて前記特定対象者の前記人物映像を確認する映像確認者の顔位置、顔の向き及び視線のうち、少なくとも一つの変化を検出することを有し、
    該変化を検出すると、前記撮影装置が撮影した前記映像のうち、前記ディスプレイに表示される範囲が前記変化に応じて切り替わることを特徴とする映像表示方法。
13. コンピュータが、センサによって計測された対象者の生体情報を、予め設定された時間間隔にて取得することと、
    コンピュータが、撮影装置が撮影している映像を、ディスプレイに表示することと、
    コンピュータが、前記映像中に含まれている人物映像の、前記映像における位置を特定することと、
    コンピュータが、所定の状態にある前記対象者である特定対象者を検知することと、を有し、
    前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際には、前記特定対象者の前記人物映像について特定した前記位置に応じた領域に、前記時間間隔にて取得した前記特定対象者の前記生体情報に応じた情報を前記映像に重ねて表示し、
    複数の前記特定対象者を検知したときには、
    前記特定対象者別に用意されており前記センサが搭載された発信器の各々から、前記センサにより計測された前記特定対象者の前記生体情報、及び、前記特定対象者に関する他の情報を取得し、
    所定の動作を行った前記特定対象者の前記人物映像の前記位置を特定する第一処理と、
    前記特定対象者別の前記発信器のうち、前記所定の動作を行った前記特定対象者に関する前記他の情報を送った前記発信器を特定する第二処理と、を実行し、
    前記所定の動作を行った前記特定対象者の前記人物映像を含む前記映像を前記ディスプレイに表示する際には、前記第一処理にて特定した前記位置に応じた領域に、前記第二処理にて特定した前記発信器から取得した前記生体情報に応じた情報を前記映像に重ねて表示することを特徴とする映像表示方法。

Images