JP5771508B2 - 表示装置、撮像装置、および映像表示システム - Google Patents

表示装置、撮像装置、および映像表示システム Download PDF

Info

Publication number
JP5771508B2
JP5771508B2 JP2011246511A JP2011246511A JP5771508B2 JP 5771508 B2 JP5771508 B2 JP 5771508B2 JP 2011246511 A JP2011246511 A JP 2011246511A JP 2011246511 A JP2011246511 A JP 2011246511A JP 5771508 B2 JP5771508 B2 JP 5771508B2
Authority
JP
Japan
Prior art keywords
imaging
display
unit
subject
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011246511A
Other languages
English (en)
Other versions
JP2013105195A (ja
Inventor
顕彦 坂本
顕彦 坂本
龍一 清重
龍一 清重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011246511A priority Critical patent/JP5771508B2/ja
Priority to US13/669,704 priority patent/US9019348B2/en
Publication of JP2013105195A publication Critical patent/JP2013105195A/ja
Application granted granted Critical
Publication of JP5771508B2 publication Critical patent/JP5771508B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、表示装置、撮像装置、および映像表示システムに関する。
従来から、電子カメラなどの撮像装置を利用したシステムが提案されている。例えば、特許文献１には、撮像装置を車両に搭載し、他車両に搭載された撮像装置が撮影した被写体の映像を、自車両の利用者が利用しやすいように表示する車両用視覚支援システムの技術が開示されている。
特許文献１で開示された技術では、自車両の位置情報を他車両に送信すると共に、他車両に搭載された撮像装置によって撮影された映像および他車両の位置情報を、自車両が受信する。また、自車両では、自車両に搭載された表示装置に映像を表示する際の視点を予め設定し、自車両の位置情報、他車両の位置情報、および他車両に搭載された撮像装置の設置情報に基づいて、設定した表示の視点に対する他車両が撮影する視点の相対的な位置を算出する。そして、算出した相対的な位置の情報に基づいて、他車両から受信した映像を、予め設定した表示の視点の映像に変換し、自車両に搭載された表示装置に表示している。
特開２００２−３６７０８０号公報
特許文献１に開示された技術を利用することによって、特定の被写体が映っている複数の映像を、映像を撮影（送信）した撮像装置の位置情報に基づいて表示することが可能となる。すなわち、特許文献１に開示された技術は、被写体が特定されている場合において、その特定の被写体の位置を認識しやすくする技術である。
しかしながら、複数の撮像装置を利用したシステムでは、それぞれの撮像装置が、常に特定の被写体を映しているとは限らない。そのため、複数の撮像装置が、それぞれ別の被写体を撮影している場合においては、特許文献１に開示された撮像装置の位置情報のみに基づいて映像を表示する技術では、全ての被写体の位置を、視覚的に認識しやくすることはできないという問題がある。
本発明は、上記の課題認識に基づいてなされたものであり、複数の撮像装置が異なる被写体を撮像している場合において、それぞれの撮像装置が撮像している各被写体が存在する位置を、視覚的に認識しやすくすることができる表示装置、撮像装置、および映像表示システムを提供することを目的としている。
上記の課題を解決するため、本発明の表示装置は、被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、を備えることを特徴とする。
また、本発明の表示装置は、前記被写体の映像信号、前記撮像位置情報、および前記撮像方向情報を、前記被写体を撮像した撮像端末から取得するデータ通信部、をさらに備え、前記記憶部は、前記データ通信部で取得された前記映像信号、前記撮像位置情報、および前記撮像方向情報を記憶する、ことを特徴とする。
また、本発明の表示装置の前記演算部は、前記記憶部に記憶されている複数の前記映像信号の内、１つの映像信号に対応付けられた前記撮像位置情報を基準として、前記相対的な位置関係を演算する、ことを特徴とする。
また、本発明の表示装置において、前記データ通信部で取得される前記撮像方向情報は、方位の情報と仰俯角の情報とを含み、前記演算部は、前記方位の情報と前記仰俯角の情報とに基づいて、前記相対的な方向関係を演算する、ことを特徴とする。
また、本発明の表示装置の前記制御部は、前記表示方向と垂直に交わる面を前記表示領域の面とし、該表示領域の面上に前記相対的な位置関係を投影した位置に、前記回転映像を表示させる、ことを特徴とする。
また、本発明の表示装置の前記データ通信部は、無線通信で前記映像信号、前記撮像位置情報、および前記撮像方向情報を取得する、ことを特徴とする。
また、本発明の表示装置は、前記表示部が前記被写体の映像を表示するときの表示位置を表す表示装置位置情報を取得する表示位置情報取得部、をさらに備え、前記演算部は、前記表示位置情報取得部で取得された表示装置位置情報と、前記記憶部に記憶されている前記撮像位置情報とに基づいて、前記表示位置を基準とした、前記相対的な位置関係を演算する、ことを特徴とする。
また、本発明の表示装置の前記制御部は、前記表示領域内の中央の位置に、基準とする１つの前記回転映像を表示させ、他の前記回転映像を、前記基準とした１つの前記回転映像との前記相対的な位置関係を維持した位置に表示させる、ことを特徴とする。
また、本発明の表示装置は、前記被写体を撮像し、前記映像信号を出力する撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、をさらに備え、前記記憶部は、前記撮像部から出力された映像信号を、前記撮像位置情報取得部で取得された前記撮像位置情報および前記撮像姿勢情報取得部で取得された前記撮像方向情報と対応付けて記憶する、ことを特徴とする。
また、本発明の表示装置の前記制御部は、前記表示領域内の中央の位置に、前記撮像部が撮像した前記被写体の映像に対応する回転映像を表示させる、ことを特徴とする。
また、本発明の表示装置の前記データ通信部は、前記撮像部から出力された映像信号、前記撮像位置情報取得部で取得された前記撮像位置情報、および前記撮像姿勢情報取得部で取得された前記撮像方向情報を外部の端末に送出する、ことを特徴とする。
また、本発明の撮像装置は、被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、を備える装置を、表示装置と定義するとき、被写体を撮像し、前記被写体の映像信号を出力する撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、前記撮像部から出力される前記映像信号、前記撮像位置情報取得部で取得される前記撮像位置情報、および前記撮像姿勢情報取得部で取得される前記撮像方向情報を、前記表示装置に送出するデータ通信部と、を備えることを特徴とする。
また、本発明の撮像装置の前記データ通信部は、前記映像信号、前記撮像位置情報、および前記撮像方向情報を、無線通信で前記表示装置に送出する、ことを特徴とする。
また、本発明の映像表示システムは、被写体の映像を表示する映像表示システムであって、前記被写体を撮像し、前記被写体に対応する映像信号を出力する複数の撮像部と、前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、前記被写体の映像を表示する表示部と、前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、前記撮像部から出力される前記映像信号、前記位置情報取得部で取得される前記撮像位置情報及び前記撮像姿勢情報取得部で取得される前記撮像方向情報を対応付けて記憶する記憶部と、前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に、表示させる制御部と、を備えることを特徴とする。
また、本発明の映像表示システムは、前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、を具備する複数の撮像端末と、前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、を具備する表示端末と、から構成される、ことを特徴とする。
また、本発明の映像表示システムの前記撮像端末は、前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、をさらに具備する、ことを特徴とする。
また、本発明の映像表示システムの前記表示端末は、前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、をさらに具備する、ことを特徴とする。
本発明によれば、複数の撮像装置が異なる被写体を撮像している場合において、それぞれの撮像装置が撮像している各被写体が存在する位置を、視覚的に認識しやすくすることができるという効果が得られる。
本発明の第１の実施形態における映像表示システムの概略構成を示した図である。 本第１の実施形態の映像表示システムにおける撮像装置の概略構成を示したブロック図である。 本第１の実施形態の映像表示システムの撮像装置におけるデータ送出処理の手順を示したフローチャートである。 本第１の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。 本第１の実施形態の映像表示システムの表示装置における表示処理の手順を示したフローチャートである。 本第１の実施形態の映像表示システムの表示装置における相対位置の演算方法の一例を説明する図である。 本第１の実施形態の映像表示システムの表示装置における相対方向の演算方法の一例を説明する図である。 本第１の実施形態の映像表示システムの表示装置におけるリアルタイム映像の表示方法の一例を説明する図である。 本発明の第２の実施形態における映像表示システムの概略構成を示した図である。 本第２の実施形態の映像表示システムにおける撮像装置の概略構成を示したブロック図である。 本第２の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。 本発明の第３の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。 本第３の実施形態の映像表示システムの表示装置における相対位置の演算方法の一例を説明する図である。 本発明の第４の実施形態における映像表示システムの概略構成を示した図である。 本第４の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。 本発明の第５の実施形態の映像表示システムにおける情報端末の概略構成を示したブロック図である。
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における映像表示システムの概略構成を示した図である。図１には、複数の撮像装置のそれぞれから送出されるリアルタイム映像（被写体の映像信号）と、位置情報および姿勢情報と、表示装置の姿勢情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する映像表示システムの一例を示している。
なお、ここで、「リアルタイム映像」とは、撮像装置に備えた撮像部によって撮像された映像であり、表示装置に備えた表示部に表示するために、順次送出される映像のことをいうものとする。また、撮像装置の姿勢情報とは、少なくとも、撮像装置が向いている（撮影している）方向と仰俯角とを表す情報を含んだ情報のことをいい、表示装置の姿勢情報とは、少なくとも、表示装置が向いている（表示している）方向と仰俯角とを表す情報を含む情報のことをいうものとする。
図１に示した映像表示システム１は、撮像装置１１０および１２０（以下、全ての撮像装置まとめて表すときには、「撮像装置１００」という）と、表示装置２００とから構成される。映像表示システム１において、撮像装置１１０および１２０は、それぞれ、表示装置２００と有線で接続されている。
映像表示システム１では、表示装置２００が、撮像装置１１０と撮像装置１２０とのそれぞれから送出されるリアルタイム映像と、位置情報および姿勢情報とを取得する。その後、表示装置２００は、撮像装置１１０と撮像装置１２０とのそれぞれの位置情報および姿勢情報と、表示装置２００自体の姿勢情報とに基づいて、撮像装置１１０と撮像装置１２０との相対位置を演算する。また、表示装置２００は、撮像装置１１０が撮影している方向（以下、「撮像方向」という）を基準とした、撮像装置１２０の相対方向を演算する。そして、表示装置２００は、演算した相対位置および相対方向に基づいて、撮像装置１１０と撮像装置１２０とのそれぞれから取得したリアルタイム映像を同時に、表示装置２００に備えた表示部２０１に表示する。
図１に示した映像表示システム１では、撮像装置１１０から取得したリアルタイム映像１を表示部２０１の表示領域２１１に、撮像装置１２０から取得したリアルタイム映像２を表示部２０１の表示領域２２１に、それぞれ表示している様子を示している。なお、表示装置２００における相対位置および相対方向の演算方法と、リアルタイム映像の表示部２０１への表示方法に関する詳細な説明は、後述する。
次に、映像表示システム１の構成要素である撮像装置について説明する。なお、本第１の実施形態の映像表示システム１においては、撮像装置１１０と撮像装置１２０とは、それぞれ同様の構成である。従って、以下の説明においては、撮像装置１１０について説明するが、撮像装置１２０についても同様である。
図２は、本第１の実施形態の映像表示システム１における撮像装置１１０の概略構成を示したブロック図である。図２に示したように、撮像装置１１０は、撮像部１１１と、撮像位置情報取得部１１２と、撮像姿勢情報取得部１１３と、記憶部１１４と、制御部１１５と、データ通信部１１６と、を備えている。
制御部１１５は、撮像装置１１０の構成要素の動作、すなわち、撮像装置１１０の全体の動作を制御する。
撮像部１１１は、例えば、被写体を撮影するイメージャを備え、制御部１１５からの制御に応じて、リアルタイム映像を撮像し、撮像したリアルタイム映像を、記憶部１１４に出力する。
撮像位置情報取得部１１２は、制御部１１５からの制御に応じて、撮像装置１１０が設置されている位置、すなわち撮像位置を検出し、検出した撮像装置１１０の位置を表す撮像位置情報を、記憶部１１４に出力する。
なお、撮像位置情報取得部１１２が検出する撮像位置情報は、撮像装置１１０の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、撮像位置情報取得部１１２は、例えば、ＧＰＳセンサを備えた構成にすることが可能であり、撮像位置情報は、ＧＰＳセンサによって検出した経度と、緯度と、高度とを少なくとも含む情報であってもよい。
撮像姿勢情報取得部１１３は、制御部１１５からの制御に応じて、撮像装置１１０が撮像する姿勢、すなわち撮像方向を検出し、検出した撮像装置１１０の姿勢を表す撮像方向情報を、記憶部１１４に出力する。
なお、撮像姿勢情報取得部１１３が検出する撮像方向情報は、北の方位を基準とした場合における撮像装置１１０の光軸が向いている方位を示す撮像方位情報と、地表と水平な平面を基準とした場合における撮像装置１１０の光軸の仰俯角を示す撮像仰俯角情報とを少なくとも含む情報である。また、撮像姿勢情報取得部１１３は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、撮像方向情報は、地磁気センサによって検出した撮像方位情報と、加速度センサによって検出した撮像仰俯角情報とを少なくとも含む情報であってもよい。
記憶部１１４は、撮像部１１１から出力されたリアルタイム映像と、撮像位置情報取得部１１２から出力された撮像位置情報と、撮像姿勢情報取得部１１３から出力された撮像方向情報とを、それぞれ関連付けて記憶する。
データ通信部１１６は、制御部１１５からの制御に応じて、記憶部１１４に記憶されているリアルタイム映像と、撮像位置情報と、撮像方向情報とを、表示装置２００に送出する。
次に、映像表示システム１における撮像装置１１０の動作について説明する。なお、以下の説明においては、撮像装置１１０の動作について説明するが、撮像装置１２０の動作についても同様である。図３は、本第１の実施形態の映像表示システム１の撮像装置１１０におけるデータ送出処理の手順を示したフローチャートである。
制御部１１５は、撮像装置１１０にデータ送出処理を開始させる命令（データ送出処理開始命令）を受け付けると、データ送出処理を開始する。ここで、データ送出処理開始命令は、撮像装置１１０の電源の投入をトリガとして発行される命令である。データ送出処理が開始されると、制御部１１５は、撮像部１１１のリアルタイム映像を撮像させる。そして、撮像部１１１は、撮像したリアルタイム映像を、記憶部１１４に記憶させる（ステップＳ３０１）。また、撮像部１１１は、リアルタイム映像を記憶部１１４に記憶させたことを、制御部１１５に通知する。
なお、データ送出処理開始命令の発行は、上記に述べた、電源の投入をトリガとして発行されるものに限定されるものではない。例えば、映像表示システム１を構成する表示装置２００と、撮像装置１１０との接続が確立されたときに発行される命令であってもよい。また、撮像装置１１０に、撮像装置１１０の使用者（ユーザ）が操作するユーザインターフェース部を備えている場合、ユーザによるユーザインターフェース部の操作入力をトリガとして発行される命令であってもよい。
続いて、制御部１１５は、撮像部１１１から、リアルタイム映像を記憶部１１４に記憶させたことを表す通知を受け取ると、撮像位置情報取得部１１２に撮像装置１１０の位置を検出させる。そして、撮像位置情報取得部１１２は、検出した撮像位置情報を、記憶部１１４に記憶させる（ステップＳ３０２）。また、撮像位置情報取得部１１２は、撮像位置情報を記憶部１１４に記憶させたことを、制御部１１５に通知する。
続いて、制御部１１５は、撮像位置情報取得部１１２から、撮像位置情報を記憶部１１４に記憶させたことを表す通知を受け取ると、撮像姿勢情報取得部１１３に撮像装置１１０の姿勢を検出させる。そして、撮像姿勢情報取得部１１３は、検出した撮像方向情報を、記憶部１１４に記憶させる（ステップＳ３０３）。また、撮像姿勢情報取得部１１３は、撮像方向情報を記憶部１１４に記憶させたことを、制御部１１５に通知する。
続いて、制御部１１５は、撮像姿勢情報取得部１１３から、撮像方向情報を記憶部１１４に記憶させたことを表す通知を受け取ると、記憶部１１４に記憶されているリアルタイム映像、撮像位置情報、および撮像方向情報（以下、リアルタイム映像、撮像位置情報、および撮像方向情報を合わせて「撮像装置固有データ」という）を、データ通信部１１６を介して表示装置２００に送出する（ステップＳ３０４）。
続いて、制御部１１５は、データ通信部１１６を介した撮像装置固有データの送出を完了すると、撮像装置１１０にデータ送出処理を終了させる命令（データ送出処理終了命令）が発行されているか否かを判定する（ステップＳ３０５）。ここで、データ送出処理終了命令が発行されている（ステップＳ３０５が“ＹＥＳ”）と判定された場合には、データ送出処理を終了する。また、データ送出処理終了命令が発行されていない（ステップＳ３０５が“ＮＯ”）と判定された場合には、ステップＳ３０１に戻って、再度、撮像部１１１によるリアルタイム映像の撮像から、撮像装置固有データのデータ送出処理を繰り返す。
次に、映像表示システム１の構成要素である表示装置２００について説明する。図４は、本第１の実施形態の映像表示システム１における表示装置２００の概略構成を示したブロック図である。図４に示したように、表示装置２００は、表示部２０１と、演算部２０２と、外部データ取得部２０３と、記憶部２０４と、制御部２０５と、表示姿勢情報取得部２０６と、を備えている。
制御部２０５は、表示装置２００の構成要素の動作、すなわち、表示装置２００の全体の動作を制御する。
外部データ取得部２０３は、制御部２０５からの制御に応じて、映像表示システム１内の撮像装置１００のそれぞれから、撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）を取得する。外部データ取得部２０３は、取得したそれぞれの撮像装置固有データを、記憶部２０４に出力する。
表示姿勢情報取得部２０６は、制御部２０５からの制御に応じて、表示装置２００自体の姿勢、すなわち表示方向を検出し、検出した姿勢を表す表示方向情報を、記憶部２０４に出力する。
なお、表示姿勢情報取得部２０６が検出する表示方向情報は、北の方位を基準とした場合における、表示装置２００に備えた表示部２０１の面に垂直な法線ベクトルが向いている方位を示す表示方位情報と、地表と水平な平面を基準とした場合における、表示装置２００に備えた表示部２０１の面に垂直な法線ベクトルの仰俯角を示す表示仰俯角情報とを少なくとも含む情報である。また、表示姿勢情報取得部２０６は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、表示方向情報は、地磁気センサによって検出した表示方位情報と、加速度センサによって検出した表示仰俯角情報とを少なくとも含む情報であってもよい。
記憶部２０４は、外部データ取得部２０３から出力された撮像装置１００の撮像装置固有データのそれぞれを関連付けて記憶する。また、記憶部２０４は、表示姿勢情報取得部２０６から出力された表示方向情報を記憶する。
演算部２０２は、制御部２０５からの制御に応じて、記憶部２０４に記憶されている撮像装置固有データに含まれる各撮像装置（本第１の実施形態においては、撮像装置１１０と撮像装置１２０）の撮像位置情報および撮像方向情報と、記憶部２０４に記憶されている表示装置２００自体の表示方向情報とに基づいて、各リアルタイム映像間の立体空間（三次元空間）における相対的な位置関係（以下、「相対位置」という）および表示方向と各リアルタイム映像の撮像方向との相対的な方向関係（以下、「相対方向」という）を演算する。
表示部２０１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を備え、演算部２０２が演算した相対位置および相対方向に基づいた制御部２０５からの制御に応じて、記憶部２０４に記憶されている撮像装置固有データに含まれる各撮像装置（本第１の実施形態においては、撮像装置１１０と撮像装置１２０）のリアルタイム映像を表示する。
次に、映像表示システム１における表示装置２００の動作について説明する。図５は、本第１の実施形態の映像表示システム１の表示装置２００における表示処理の手順を示したフローチャートである。
制御部２０５は、表示装置２００に表示処理を開始させる命令（表示処理開始命令）を受け付けると、表示処理を開始する。ここで、表示処理開始命令は、表示装置２００の電源の投入をトリガとして発行される命令である。表示処理が開始されると、撮像装置１００から、撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）の取得を待機する状態となる（ステップＳ５０１）。
なお、表示処理開始命令の発行は、上記に述べた、電源の投入をトリガとして発行されるものに限定されるものではない。例えば、映像表示システム１を構成する撮像装置のいずれかと、表示装置２００との接続が確立されたときに発行される命令であってもよい。また、表示装置２００に、表示装置２００の使用者（ユーザ）が操作するユーザインターフェース部を備えている場合、ユーザによるユーザインターフェース部の操作入力をトリガとして発行される命令であってもよい。
その後、制御部２０５は、撮像装置１００のいずれかの撮像装置（例えば、撮像装置１１０）から、外部データ取得部２０３を介して撮像装置固有データを取得する（ステップＳ５０１が“ＹＥＳ”）と、取得した撮像装置固有データを、記憶部２０４に記憶させる。そして、制御部２０５は、記憶部２０４に記憶されている撮像装置固有データの数を参照して、複数の撮像装置固有データを取得したか否かを判定する（ステップＳ５０２）。
ここで、複数の撮像装置固有データを取得していない（ステップＳ５０２が“ＮＯ”）と判定された場合には、ステップＳ５０１に戻って、再度、撮像装置１００のいずれかの撮像装置（例えば、撮像装置１２０）からの撮像装置固有データの取得を待機する状態となる。また、複数の撮像装置固有データを取得した（ステップＳ５０２が“ＹＥＳ”）と判定された場合には、ステップＳ５０３に移行する。
続いて、制御部２０５は、表示姿勢情報取得部２０６に表示装置２００の姿勢を検出させる。そして、表示姿勢情報取得部２０６は、検出した表示方向情報を、記憶部２０４に記憶させる（ステップＳ５０３）。また、表示姿勢情報取得部２０６は、表示方向情報を記憶部２０４に記憶させたことを、制御部２０５に通知する。
続いて、制御部２０５は、表示姿勢情報取得部２０６から、表示方向情報を記憶部２０４に記憶させたことを表す通知を受け取ると、演算部２０２に、１つの撮像装置（例えば、撮像装置１１０）の撮像位置情報（言い換えると、撮像装置１１０で撮像されたリアルタイム映像の撮像位置情報）を基準とした、他のそれぞれの撮像装置（例えば、撮像装置１２０）の相対位置を演算させる命令（相対位置演算命令）を発行する。演算部２０２は、制御部２０５からの相対位置演算命令を受け付けると、記憶部２０４に記憶されている撮像装置固有データに含まれる各撮像装置（撮像装置１１０および撮像装置１２０）の撮像位置情報を読み出して、相対位置を演算する。そして、演算部２０２は、演算した相対位置の結果を記憶部２０４に記憶させる（ステップＳ５０４）。また、演算部２０２は、相対位置を記憶部２０４に記憶させたことを、制御部２０５に通知する。なお、演算部２０２による相対位置の演算方法に関する詳細な説明は、後述する。
続いて、制御部２０５は、演算部２０２から、相対位置を記憶部２０４に記憶させたことを表す通知を受け取ると、演算部２０２に、表示装置２００の表示方向情報を基準とした、それぞれの撮像装置（撮像装置１１０および撮像装置１２０）の相対方向を演算させる命令（相対方向演算命令）を発行する。演算部２０２は、制御部２０５からの相対方向演算命令を受け付けると、記憶部２０４に記憶されている撮像装置固有データに含まれる各撮像装置（撮像装置１１０および撮像装置１２０）の撮像方向情報および表示装置２００の表示方向情報を読み出して、相対方向を演算する。そして、演算部２０２は、演算した相対方向の結果を記憶部２０４に記憶させる（ステップＳ５０５）。また、演算部２０２は、相対方向を記憶部２０４に記憶させたことを、制御部２０５に通知する。なお、演算部２０２が演算する相対方向とは、表示装置２００の方位を基準としたときの各撮像装置が撮影している方位である相対方位を表す情報と、表示装置２００の仰俯角を基準としたときの各撮像装置が撮影している仰俯角である相対仰俯角を表す情報とを、少なくとも含む情報である。なお、演算部２０２による相対方向の演算方法に関する詳細な説明は、後述する。
続いて、制御部２０５は、演算部２０２から、相対方向を記憶部２０４に記憶させたことを表す通知を受け取ると、記憶部２０４に記憶されている相対位置および相対方向に基づいて、表示部２０１に、記憶部２０４に記憶されている撮像装置１００から取得した複数の撮像装置固有データに含まれるリアルタイム映像を表示させる（ステップＳ５０６）。表示部２０１は、リアルタイム映像を表示した後、リアルタイム映像の表示が完了したことを、制御部２０５に通知する。なお、表示部２０１に、相対位置および相対方向に基づいてリアルタイム映像を表示させる表示方法に関する詳細な説明は、後述する。
続いて、制御部２０５は、表示部２０１から、リアルタイム映像の表示が完了したことを表す通知を受け取ると、表示装置２００の表示処理を終了させる命令（表示処理終了命令）が発行されているか否かを判定する（ステップＳ５０７）。ここで、表示処理終了命令が発行されている（ステップＳ５０７が“ＹＥＳ”）と判定された場合には、表示処理を終了する。また、表示処理終了命令が発行されていない（ステップＳ５０７が“ＮＯ”）と判定された場合には、ステップＳ５０１に戻って、再度、撮像装置１００から撮像装置固有データを取得し、取得した撮像装置固有データに基づいた表示部２０１への表示を繰り返す。
次に、映像表示システム１の表示装置２００の動作において、図５のステップＳ５０４に示した相対位置の演算方法について説明する。図６は、本第１の実施形態の映像表示システム１の表示装置２００における相対位置の演算方法の一例を説明する図である。
図６（ａ）および図６（ｂ）において、Ｘ，Ｙ，Ｚは、それぞれ経度，緯度，高度を表している。また、図６（ａ）は、撮像装置１１０と撮像装置１２０との位置の関係を、それぞれの撮像位置情報に基づいて表している。また、図６（ｂ）は、撮像装置１１０と撮像装置１２０との位置の関係を、撮像装置１１０の位置を基準としたときの相対位置で表している。
より具体的には、図６（ａ）に示した位置情報Ａ（Ｘ１，Ｙ１，Ｚ１）および位置情報Ｂ（Ｘ２，Ｙ２，Ｚ２）は、それぞれ、撮像装置１１０および撮像装置１２０における撮像位置情報であり、図５に示したステップＳ５０１において、撮像装置１００から取得した撮像装置固有データに含まれる撮像位置情報である。
演算部２０２は、制御部２０５からの相対位置演算命令に応じて、撮像装置１００の内、１つの撮像装置を基準とし、他の撮像装置の相対位置を演算する。図６（ｂ）には、撮像装置１１０の位置情報Ａ（Ｘ１，Ｙ１，Ｚ１）を基準（相対位置Ａ’（０，０，０））としたときの、撮像装置１２０の位置情報Ｂ（Ｘ２，Ｙ２，Ｚ２）に対応する相対位置Ｂ’（Ｘ２’，Ｙ２’，Ｚ２’）を表している。撮像装置１２０の相対位置Ｂ’（Ｘ２’，Ｙ２’，Ｚ２’）は、下式（１）によって求められる。
Figure 0005771508
次に、映像表示システム１の表示装置２００の動作において、図５のステップＳ５０５に示した相対方向の演算方法について説明する。図７は、本第１の実施形態の映像表示システム１の表示装置２００における相対方向の演算方法の一例を説明する図である。
図７（ａ）および図７（ｂ）において、Ｘ，Ｙは、それぞれ北方向，東方向を表している。また、図７（ａ）は、表示装置２００と、撮像装置１１０と、撮像装置１２０との方位の関係を、それぞれの表示方向情報および撮像方向情報に基づいて表している。また、図７（ｂ）は、表示装置２００と、撮像装置１１０および撮像装置１２０の方位の関係を、表示装置２００の方位を基準としたときの相対方位で表している。
より具体的には、図７（ａ）に示した方位情報θ１、方位情報φ１、および方位情報δ１は、それぞれ、表示装置２００における表示方向情報、撮像装置１１０、および撮像装置１２０の撮像方向情報であり、方位情報θ１は、図５に示したステップＳ５０３において、表示姿勢情報取得部２０６が検出した表示装置２００の方位を表す情報、方位情報φ１および方位情報δ１は、図５に示したステップＳ５０１において、撮像装置１００から取得した撮像装置固有データに含まれる撮像装置１１０および撮像装置１２０の方位を表す情報である。
演算部２０２は、制御部２０５からの相対方向演算命令に応じて、表示装置２００の方位を基準としたときの、撮像装置１１０および撮像装置１２０の相対方位を演算する。図７（ｂ）には、表示装置２００における表示方向情報である方位情報θ１を基準としたときの、撮像装置１１０の撮像方向情報である方位情報φ１に対応する相対方位情報φ１’、および撮像装置１２０の撮像方向情報である方位情報δ１に対応する相対方位情報δ１’をそれぞれ表している。撮像装置１１０の相対方位情報φ１’および撮像装置１２０の相対方位情報δ１’は、下式（２）によって求められる。
Figure 0005771508
図７（ｃ）および図７（ｄ）において、Ｘ，Ｙは、経度，緯度の方向を表しており、Ｚは、高度の方向を表している。また、図７（ｃ）は、表示装置２００と、撮像装置１１０と、撮像装置１２０との仰俯角の関係を、それぞれの表示方向情報および撮像方向情報に基づいて表している。また、図７（ｄ）は、表示装置２００と、撮像装置１１０および撮像装置１２０の仰俯角の関係を、表示装置２００の仰俯角を基準としたときの相対仰俯角で表している。
より具体的には、図７（ｃ）に示した仰俯角θ２、仰俯角φ２、および仰俯角δ２は、それぞれ、表示装置２００における表示方向情報、撮像装置１１０、および撮像装置１２０の撮像方向情報であり、仰俯角θ２は、図５に示したステップＳ５０３において、表示姿勢情報取得部２０６が検出した表示装置２００の仰俯角を表す情報、仰俯角φ２および仰俯角δ２は、図５に示したステップＳ５０１において、撮像装置１００から取得した撮像装置固有データに含まれる撮像装置１１０および撮像装置１２０の仰俯角を表す情報である。
演算部２０２は、制御部２０５からの相対方向演算命令に応じて、表示装置２００を基準とし、撮像装置１１０および撮像装置１２０の相対仰俯角を演算する。図７（ｄ）には、表示装置２００における表示方向情報である仰俯角θ２を基準としたときの、撮像装置１１０の撮像方向情報である仰俯角φ２に対応する相対仰俯角φ２’、および撮像装置１２０の撮像方向情報である仰俯角δ２に対応する相対仰俯角δ２’をそれぞれ表している。撮像装置１１０の相対仰俯角φ２’および相対仰俯角δ２’は、下式（３）によって求められる。
Figure 0005771508
次に、映像表示システム１の表示装置２００の動作において、図５のステップＳ５０６に示したリアルタイム映像の表示方法について説明する。図８は、本第１の実施形態の映像表示システム１の表示装置２００におけるリアルタイム映像の表示方法の一例を説明する図である。
図８（ａ）において、Ｘ，Ｙ，Ｚは、それぞれ経度，緯度，高度を表している。また、図８（ａ）は、図５のステップＳ５０４で演算部２０２が演算した、撮像装置１１０の位置を基準とした撮像装置１１０と撮像装置１２０との相対位置を表している。つまり、図８（ａ）は、図６（ｂ）と同様である。よって、図８（ａ）に表した相対位置Ａ’（０，０，０）は、基準とする撮像装置１１０の撮像位置情報を表し、相対位置Ｂ’（Ｘ２’，Ｙ２’，Ｚ２’）は、撮像装置１２０の撮像位置情報を表している。
ここで、表示装置２００がＹ軸方向を向いている場合における撮像装置１１０と撮像装置１２０との相対位置の演算方法について説明する。図８（ｂ）は、表示装置２００がＹ軸方向を向いている場合の撮像装置１１０と撮像装置１２０との相対位置を演算した結果を表している。図８（ｂ）において、Ｘ，Ｚは、それぞれ経度，高度を表している。
図８（ｂ）に示したように、表示装置２００がＹ軸方向を向いている場合には、図８（ａ）に表した相対位置Ａ’（０，０，０）および相対位置Ｂ’（Ｘ２’，Ｙ２’，Ｚ２’）を、Ｘ−Ｚ平面に投影する投影位置の演算を行う。図８（ｂ）に示した投影位置Ａ’（０，０）は、撮像装置１１０の相対位置Ａ’（０，０，０）をＸ−Ｚ平面上に投影した場合の投影位置の演算結果を表し、投影位置Ｂ’（Ｘ２’，Ｚ２’）は、撮像装置１２０の相対位置Ｂ’（Ｘ２’，Ｙ２’，Ｚ２’）をＸ−Ｚ平面上に投影した場合の投影位置の演算結果を表している。
なお、図８（ｂ）においては、表示装置２００がＹ軸方向を向いている場合を示しているため、演算部２０２が演算した撮像装置１１０と撮像装置１２０との相対位置をＸ−Ｚ平面上に投影する投影位置の演算を行ったが、例えば、表示装置２００がＸ軸方向を向いている場合には、撮像装置１１０と撮像装置１２０との相対位置をＹ−Ｚ平面に投影する投影位置の演算を行えばよい。すなわち、投影位置の演算は、表示装置２００が向いている方向に応じて、表示装置２００が向いている方向と垂直に交わる面に投影する演算を行えばよい。
図８（ｃ）は、撮像装置１１０と撮像装置１２０との投影位置に基づいて、撮像装置１１０から取得したリアルタイム映像１と、撮像装置１２０から取得したリアルタイム映像２とを、それぞれ、表示装置２００の表示部２０１の表示領域内に配置して表示している様子を示している。
図８（ｃ）に示したように、表示部２０１の表示領域内へのリアルタイム映像１とリアルタイム映像２との配置は、図８（ｂ）で表された撮像装置１１０の投影位置Ａ’（０，０）と撮像装置１２０の投影位置Ｂ’（Ｘ２’，Ｚ２’）とのベクトル数式（４）（以下、「ベクトル→Ａ’Ｂ’」と表す）の相関を保持するように配置する。
Figure 0005771508
なお、表示部２０１の表示領域内のリアルタイム映像の配置は、上述したように、撮像装置１００のそれぞれの投影位置のベクトルの相関を保持していればよく、リアルタイム映像１とリアルタイム映像２との間の距離は、図８（ｃ）に示した配置に限定されるものではない。例えば、図８（ｄ）に示したように、リアルタイム映像１を表示部２０１の表示領域内の中央に配置して表示してもよい。また、撮像装置１００のそれぞれの投影位置のベクトルの相関から、リアルタイム映像が重なる場合には、投影した軸（図８（ｂ）ではＹ軸）において、手前に配置されている撮像装置１００のいずれかの撮像装置のリアルタイム映像が、奥に存在する撮像装置１００のいずれかの撮像装置のリアルタイム映像の上に重なるように表示してもよい。すなわち、撮像装置１１０と撮像装置１２０との投影位置のベクトルの相関を保持していれば、図８（ｄ）に示したように、リアルタイム映像２を、リアルタイム映像１の手前の位置に重なるように配置して表示してもよい。
続いて、表示装置２００の表示部２０１に配置するリアルタイム映像の回転方法について説明する。図８（ｅ）〜図８（ｈ）において、Ｘ，Ｙ，Ｚは、それぞれ経度，緯度，高度を表している。
図８（ｅ）は、図５のステップＳ５０５で演算部２０２が演算した、撮像装置１１０の相対方位情報φ１’に基づいて、Ｚ軸を中心としてリアルタイム映像１が回転している様子を示している。また、図８（ｆ）は、図５のステップＳ５０５で演算部２０２が演算した、撮像装置１２０の相対方位情報δ１’に基づいて、Ｚ軸を中心としてリアルタイム映像２が回転している様子を示している。
また、図８（ｇ）は、図５のステップＳ５０５で演算部２０２が演算した、撮像装置１１０の相対仰俯角φ２’に基づいて、Ｘ軸を中心としてリアルタイム映像１が回転している様子を示している。また、図８（ｈ）は、図５のステップＳ５０５で演算部２０２が演算した、撮像装置１２０の相対仰俯角δ２’に基づいて、Ｘ軸を中心としてリアルタイム映像２が回転している様子を示している。
図８（ｉ）は、撮像装置１１０の投影位置Ａ’（０，０）と撮像装置１２０の投影位置Ｂ’（Ｘ２’，Ｚ２’）とのベクトル→Ａ’Ｂ’の相関に基づいてリアルタイム映像１とリアルタイム映像２とを表示部２０１の表示領域内に配置し、さらに、リアルタイム映像１を相対方位情報φ１’と相対仰俯角φ２’とに基づいて回転し、リアルタイム映像２を相対方位情報δ１’と相対仰俯角δ２’とに基づいて回転して表示している様子を示している。すなわち、表示部２０１は、被写体の回転映像を表示する。
このように、映像表示システム１の表示装置２００は、演算部２０２が演算した相対位置（投影位置）と相対方向（相対方位情報と相対仰俯角）とに基づいて、撮像装置１１０から取得したリアルタイム映像１と、撮像装置１２０から取得したリアルタイム映像２とを、それぞれ、表示装置２００の表示部２０１の表示領域に表示する。
なお、リアルタイム映像の表示部２０１への表示は、リアルタイム映像を回転した場合であっても、上述したように、撮像装置１００のそれぞれの投影位置のベクトルの相関を保持していればよい。従って、例えば、図８（ｊ）に示したように、回転したリアルタイム映像１を表示部２０１の表示領域内の中央に配置し、回転したリアルタイム映像２を、リアルタイム映像１の手前の位置に重なるように配置して表示してもよい。
上記に述べたとおり、本第１の実施形態の映像表示システム１では、リアルタイム映像を送出する撮像装置１００の撮像位置情報に基づいて、リアルタイム映像を、表示装置２００に備えた表示部２０１の表示領域内に配置する。また、本第１の実施形態の映像表示システム１では、撮像装置１００が撮影している撮像方向情報に基づいて、リアルタイム映像を回転して表示部２０１に表示する。これにより、表示装置２００は、複数の撮像装置１００が異なる被写体を撮像し、被写体が複数存在する場合においても、それぞれの被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。図９は、本第２の実施形態における映像表示システムの概略構成を示した図である。図９に示した映像表示システム９は、図１に示した映像表示システム１と同様に、複数の撮像装置のそれぞれから送出されるリアルタイム映像と、撮像位置情報および撮像方向情報と、表示装置の表示方向情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する。
図９に示した映像表示システム９は、撮像装置９１０および９２０（以下、全ての撮像装置まとめて表すときには、「撮像装置９００」という）と、表示装置１０００とから構成される。図９に示した映像表示システム９と図１に示した映像表示システム１との異なる点は、撮像装置９１０および９２０が、それぞれ、表示装置１０００と無線で接続されていることである。これにより、撮像装置９００および表示装置１０００の構成が、図２に示した撮像装置１１０の構成および図４に示した表示装置２００の構成と異なる。
図１０は、本第２の実施形態の映像表示システム９における撮像装置９１０の概略構成を示したブロック図である。図１０に示したように、撮像装置９１０は、撮像部１１１と、撮像位置情報取得部１１２と、撮像姿勢情報取得部１１３と、記憶部１１４と、制御部１１５と、無線通信部９１１と、アンテナ９１２と、を備えている。なお、本第９の実施形態の映像表示システム９においても、撮像装置９１０と撮像装置９２０とは、それぞれ同様の構成である。
本第２の実施形態における撮像装置９１０と、図２に示した第１の実施形態における撮像装置１１０との構成の違いは、データ通信部１１６に代わって無線通信部９１１を備え、さらに、アンテナ９１２を備えたことのみである。この構成の違いは、図２に示した第１の実施形態における撮像装置１１０が、撮像装置固有データを有線で表示装置２００に送出していたのに対し、撮像装置９１０では、撮像装置固有データを無線で表示装置１０００に送出することに対応していることによる。従って、撮像装置９１０と、図２に示した第１の実施形態における撮像装置１１０とにおいて、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
無線通信部９１１は、制御部１１５からの制御に応じて、記憶部１１４に記憶されている撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）を、アンテナ９１２を介して、表示装置１０００に送出する。
また、本第２の実施形態における撮像装置９１０と、図２に示した第１の実施形態における撮像装置１１０との動作の違いは、上述したように、撮像装置固有データを表示装置１０００に送出する方法、すなわち、無線で撮像装置固有データを送出するのみである。従って、撮像装置９１０の動作は、図３に示した第１の実施形態の撮像装置１１０におけるデータ送出処理と同様であるため、詳細な説明は省略する。
図１１は、本第２の実施形態の映像表示システム９における表示装置１０００の概略構成を示したブロック図である。図１１に示したように、表示装置１０００は、表示部２０１と、演算部２０２と、記憶部２０４と、制御部２０５と、表示姿勢情報取得部２０６と、無線通信部１００１と、アンテナ１００２と、を備えている。
本第２の実施形態における表示装置１０００と、図４に示した第１の実施形態における表示装置２００との構成の違いは、外部データ取得部２０３に代わって無線通信部１００１を備え、さらに、アンテナ１００２を備えたことのみである。この構成の違いは、図４に示した第１の実施形態における表示装置２００が、撮像装置固有データを有線で撮像装置１００から取得していたのに対し、表示装置１０００では、撮像装置固有データを無線で撮像装置９００から取得することに対応していることによる。従って、表示装置１０００と、図４に示した第１の実施形態における表示装置２００とにおいて、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
無線通信部１００１は、制御部２０５からの制御に応じて、映像表示システム９内の撮像装置９００のそれぞれから、撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）を、アンテナ１００２を介して、取得する。無線通信部１００１は、取得したそれぞれの撮像装置固有データを、記憶部２０４に出力する。
また、本第２の実施形態における表示装置１０００と、図４に示した第１の実施形態における表示装置２００との動作の違いは、上述したように、撮像装置固有データを撮像装置９００から取得する方法、すなわち、無線で撮像装置固有データを取得するのみである。従って、表示装置１０００の動作は、図５〜図８に示した第１の実施形態の表示装置２００における表示処理と同様であるため、詳細な説明は省略する。
上記に述べたとおり、本第２の実施形態の映像表示システム９でも、第１の実施形態の映像表示システム１と同様に、リアルタイム映像を送出する撮像装置９００の撮像位置情報に基づいて、リアルタイム映像を、表示装置１０００に備えた表示部２０１に表示する。これにより、表示装置１０００でも、第１の実施形態の映像表示システム１における表示装置２００と同様に、複数の撮像装置９００が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
また、本第２の実施形態の映像表示システム９では、撮像装置９００と表示装置１０００とが、無線で接続されている。これにより、表示装置１０００を移動させることが容易になり、第１の実施形態の映像表示システム１における表示装置２００よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本第３の実施形態の映像表示システムでは、表示装置にリアルタイム映像を表示する際の基準が、第１の実施形態の映像表示システム１および第２の実施形態の映像表示システム９と異なる。より具体的には、表示装置が、表示装置自体の位置、すなわち表示位置を基準として、本第３の実施形態の映像表示システム内の撮像装置から取得したリアルタイム映像を表示する。これにより、本第３の実施形態の映像表示システムでは、表示装置１０００の構成が、図４に示した表示装置２００の構成と異なる。なお、本第３の実施形態の映像表示システムでは、撮像装置の構成は、図２に示した撮像装置１１０の構成と同様であるため、詳細な説明は省略する。
図１２は、本発明の第３の実施形態の映像表示システムにおける表示装置の概略構成を示したブロック図である。図１２に示したように、表示装置１２００は、表示部２０１と、演算部２０２と、外部データ取得部２０３と、記憶部２０４と、制御部２０５と、表示姿勢情報取得部２０６と、表示位置情報取得部１２０１と、を備えている。
本第３の実施形態における表示装置１２００と、図４に示した第１の実施形態における表示装置２００との構成の違いは、さらに、表示位置情報取得部１２０１を備えたことのみである。その他の構成要素は、図４に示した第１の実施形態における表示装置２００の構成要素と同様である。従って、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
表示位置情報取得部１２０１は、制御部２０５からの制御に応じて、表示装置１２００自体が設置されている位置、すなわち表示位置を検出し、検出した表示装置１２００の位置を表す表示位置情報を、記憶部２０４に出力する。この表示装置１２００が検出した表示位置情報が、表示装置１２００に備えた表示部２０１にリアルタイム映像を表示する際の基準となる。
なお、表示位置情報取得部１２０１が検出する表示位置情報は、表示装置１２００の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、表示位置情報取得部１２０１は、例えば、ＧＰＳセンサを備えた構成にすることが可能であり、表示位置情報は、ＧＰＳセンサによって検出した経度と、緯度と、高度とを少なくとも含む構成の情報であってもよい。
演算部２０２は、制御部２０５からの制御に応じて、記憶部２０４に記憶されている表示装置１２００自体の表示方向情報および表示位置情報と、記憶部２０４に記憶されている撮像装置固有データに含まれる各撮像装置（例えば、第１の実施形態における撮像装置１１０と撮像装置１２０）の撮像位置情報および撮像方向情報とに基づいて、相対位置および相対方向を演算する。
次に、本第３の実施形態における表示装置１２００の動作について説明する。なお、本第３の実施形態における表示装置１２００における表示処理の手順は、図５に示した第１の実施形態の表示装置２００における表示処理の手順を示したフローチャートと同様であるため、詳細な説明は省略する。ただし、図５のステップＳ５０４に示した相対位置の演算方法は、以下に説明する方法となる。また、本第３の実施形態における表示装置１２００では、図５のステップＳ５０２におけるデータ数の判定は、表示装置１２００の表示位置情報を含むデータの総数で判定が行われる。
以下の説明においては、図１に示した第１の実施形態の映像表示システム１において、表示装置２００の代わりに、本第３の実施形態の表示装置１２００を備えているものとして説明する。なお、本第３の実施形態の映像表示システムにおける表示装置１２００と各撮像装置との接続は、第２の実施形態の映像表示システム９と同様に、無線で接続される構成であってもよい。
制御部２０５は、表示姿勢情報取得部２０６から、表示方向情報を記憶部２０４に記憶させたことを表す通知を受け取ると、ステップＳ５０４において、演算部２０２に、表示装置１２００の表示位置情報を基準とした、各撮像装置（撮像装置１１０および撮像装置１２０）の相対位置を演算させる命令（相対位置演算命令）を発行する。演算部２０２は、制御部２０５からの相対位置演算命令を受け付けると、記憶部２０４に記憶されている表示装置１２００自体の表示位置情報と、記憶部２０４に記憶されている撮像装置固有データに含まれる各撮像装置（撮像装置１１０および撮像装置１２０）の撮像位置情報とを読み出して、相対位置を演算する。そして、演算部２０２は、演算した相対位置の結果を記憶部２０４に記憶させる。また、演算部２０２は、相対位置を記憶部２０４に記憶させたことを、制御部２０５に通知する。
ここで、演算部２０２による相対位置の演算方法について説明する。図１３は、本第３の実施形態の映像表示システムの表示装置１２００における相対位置の演算方法の一例を説明する図である。図１３（ａ）および図１３（ｂ）において、Ｘ，Ｙ，Ｚは、それぞれ経度，緯度，高度を表している。また、図１３（ａ）は、表示装置１２００と、撮像装置１１０と、撮像装置１２０との位置の関係を、それぞれの表示位置情報および撮像位置情報に基づいて表している。また、図１３（ｂ）は、表示装置１２００と、撮像装置１１０と、撮像装置１２０との位置の関係を、表示装置１２００の位置を基準としたときの相対位置で表している。
より具体的には、図１３（ａ）に示した位置情報Ａ（Ｘ１，Ｙ１，Ｚ１）は、表示位置情報取得部１２０１が検出した表示装置１２００の表示位置情報である。また、位置情報Ｂ（Ｘ２，Ｙ２，Ｚ２）および位置情報Ｃ（Ｘ３，Ｙ３，Ｚ３）は、それぞれ、撮像装置１１０および撮像装置１２０における撮像位置情報であり、図５に示したステップＳ５０１において、撮像装置１００から取得した撮像装置固有データに含まれる撮像位置情報である。
演算部２０２は、制御部２０５からの相対位置演算命令に応じて、上式（１）と同様の演算を行って、表示装置１２００の位置を基準としたときの撮像装置１１０および撮像装置１２０の相対位置を演算する。図１３（ｂ）には、表示装置１２００の位置情報Ａ（Ｘ１，Ｙ１，Ｚ１）を基準（相対位置Ａ’（０，０，０））としたときの、撮像装置１１０の位置情報Ｂ（Ｘ２，Ｙ２，Ｚ２）に対応する相対位置Ｂ’（Ｘ２’，Ｙ２’，Ｚ２’）と、撮像装置１２０の位置情報Ｃ（Ｘ３，Ｙ３，Ｚ３）に対応する相対位置Ｃ’（Ｘ３’，Ｙ３’，Ｚ３’）とを表している。
以降、制御部２０５は、図５および図７〜図８に示した第１の実施形態の表示装置２００における表示処理と同様に表示処理を行い、表示装置１２００自体の表示位置情報を基準としたときの、撮像装置１１０から取得したリアルタイム映像１と、撮像装置１２０から取得したリアルタイム映像２とを同時に、表示装置１２００の表示部２０１の表示領域に表示する。
上記に述べたとおり、本第３の実施形態の映像表示システムでは、表示装置１２００の表示位置情報に基づいて、撮像装置から取得したリアルタイム映像を、表示装置１２００に備えた表示部２０１に表示する。これにより、表示装置１２００でも、第１の実施形態の映像表示システム１における表示装置２００、または第２の実施形態の映像表示システム９における表示装置１０００と同様に、複数の撮像装置が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
また、本第３の実施形態の映像表示システムにおける表示装置１２００では、表示装置１２００の位置を基準としてリアルタイム映像を表示している。これにより、第１の実施形態の映像表示システム１における表示装置２００や第２の実施形態の映像表示システム９における表示装置１０００よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。図１４は、本第４の実施形態における映像表示システムの概略構成を示した図である。図１４に示した映像表示システム１４は、図１に示した映像表示システム１と同様に、複数の撮像装置のそれぞれから送出されるリアルタイム映像と、撮像位置情報および撮像方向情報と、表示装置の表示方向情報とに基づいて、表示装置に備えた表示部に、それぞれの撮像装置から送出されたリアルタイム映像を表示する。また、図１４に示した映像表示システム１４では、表示装置にも撮像部を備え、表示装置自体が撮像したリアルタイム映像も表示する。
図１４に示した映像表示システム１４は、撮像装置１４１０および１４２０（以下、全ての撮像装置まとめて表すときには、「撮像装置１４００」という）と、表示装置１５００とから構成される。図１４に示した映像表示システム１４と図１に示した映像表示システム１との異なる点は、表示装置１５００もリアルタイム映像を撮像することである。
図１４に示した映像表示システム１４では、表示装置１５００自体が撮像したリアルタイム映像１を表示部２０１の表示領域１５０１に、撮像装置１４１０から取得したリアルタイム映像２を表示部２０１の表示領域１５１１に、撮像装置１４２０から取得したリアルタイム映像３を表示部２０１の表示領域１５２１に、それぞれ表示している様子を示している。
映像表示システム１４では、上述したように、表示装置１５００もリアルタイム映像を撮像する。これにより、表示装置１５００の構成が、図４に示した表示装置２００の構成と異なる。
図１５は、本第４の実施形態の映像表示システム１４における表示装置１５００の概略構成を示したブロック図である。図１４に示したように、表示装置１５００は、表示部２０１と、演算部２０２と、記憶部２０４と、制御部２０５と、表示姿勢情報取得部２０６と、撮像部１５０１と、撮像位置情報取得部１５０２と、撮像姿勢情報取得部１５０３と、データ通信部１５０４と、を備えている。
本第４の実施形態における表示装置１５００と、図４に示した第１の実施形態における表示装置２００との構成の違いは、外部データ取得部２０３に代わってデータ通信部１５０４を備え、さらに、撮像部１５０１と、撮像位置情報取得部１５０２と、撮像姿勢情報取得部１５０３と、を備えたことのみである。その他の構成要素は、図４に示した第１の実施形態における表示装置２００の構成要素と同様である。従って、同様の構成要素については、同一の符号を付与し、詳細な説明は省略する。
撮像部１５０１は、例えば、被写体を撮影するイメージャを備え、制御部２０５からの制御に応じて、リアルタイム映像を撮像し、撮像したリアルタイム映像を、記憶部２０４に出力する。
撮像位置情報取得部１５０２は、制御部２０５からの制御に応じて、表示装置１５００が設置されている位置、すなわち撮像位置を検出し、検出した表示装置１５００の位置を表す撮像位置情報を、記憶部２０４に出力する。
なお、撮像位置情報取得部１５０２が検出する撮像位置情報は、表示装置１５００の設置されている絶対位置を示す情報であり、経度と、緯度と、高度とを少なくとも含む情報である。また、撮像位置情報取得部１５０２は、例えば、ＧＰＳセンサを備えた構成にすることが可能であり、撮像位置情報は、ＧＰＳセンサによって検出した経度と、緯度と、高度とを少なくとも含む情報であってもよい。
撮像姿勢情報取得部１５０３は、制御部２０５からの制御に応じて、表示装置１５００が撮像する姿勢、すなわち撮像方向を検出し、検出した表示装置１５００の姿勢を表す撮像方向情報を、記憶部２０４に出力する。
なお、撮像姿勢情報取得部１５０３が検出する撮像方向情報は、表示装置１５００に備えた撮像部１５０１の光軸が向いている方向に関する、撮像方位情報と、撮像仰俯角情報とを含む情報である。また、表示装置１５００に備えた撮像部１５０１の光軸が向いている方向を示すベクトルの逆ベクトルは、表示装置１５００に備えた表示部２０１の面に垂直な法線ベクトルと一致する。つまり、撮像方向情報と表示方向情報とは、反転した場合に一致する情報である。また、撮像姿勢情報取得部１５０３は、例えば、地磁気センサと加速度センサとを備えた構成にすることが可能であり、撮像方向情報は、地磁気センサによって検出した撮像方位情報と、加速度センサによって検出した撮像仰俯角情報とを少なくとも含む情報であってもよい。
データ通信部１５０４は、制御部２０５からの制御に応じて、記憶部２０４に記憶されているリアルタイム映像と、撮像位置情報と、撮像方向情報とを、表示装置に送出する。また、データ通信部１５０４は、制御部２０５からの制御に応じて、映像表示システム１４内の撮像装置１４００のそれぞれから、撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）を取得する。データ通信部１５０４は、取得したそれぞれの撮像装置固有データを、記憶部２０４に出力する。
制御部２０５は、記憶部２０４に記憶されている撮像部１５０１が撮像したリアルタイム映像を、表示部２０１の中心に位置する表示領域１５０１に表示させる。つまり、制御部２０５は、表示装置１５００自体が撮像したリアルタイム映像を中心の位置に、他のリアルタイム映像よりも大きく表示させる。さらに、制御部２０５は、図４に示した第１の実施形態における表示装置２００と同様に、記憶部２０４に記憶されている撮像装置１４００から取得した複数の撮像装置固有データに含まれるリアルタイム映像を、撮像装置１４１０と撮像装置１４２０との位置の相関を保持した状態で、表示部２０１に表示させる（図１４参照）。
なお、本第４の実施形態における表示装置１５００と、図４に示した第１の実施形態における表示装置２００との動作の違いは、上述したように、表示装置１５００自体が撮像したリアルタイム映像を表示することのみである。従って、表示装置１５００の動作は、図５〜図８に示した第１の実施形態における表示装置２００における表示処理とほぼ同様であるため、詳細な説明は省略する。なお、本第４の実施形態の映像表示システム１４における表示装置１５００と撮像装置１４００との接続は、第２の実施形態の映像表示システム９と同様に、無線で接続される構成であってもよい。
また、本第４の実施形態における表示装置１５００は、第３の実施形態における表示装置１２００と同様に、さらに表示位置情報取得部を備え、表示位置情報取得部で取得される表示装置１５００の表示位置情報を基準としたときの撮像装置１４００の撮像位置情報に基づいて、表示装置１５００自体が撮像したリアルタイム映像と、撮像装置１４００が撮像したリアルタイム映像とを表示する構成であってもよい。なお、この場合には、表示位置情報取得部が取得する表示位置情報と、撮像位置情報取得部１５０２が取得する撮像位置情報とは、一致する情報である。
なお、本第４の実施形態における表示装置１５００では、３つのリアルタイム映像（表示装置１５００自体で撮像したリアルタイム映像と撮像装置（例えば、第３の実施形態の撮像装置１１０、撮像装置１２０）が撮像したリアルタイム映像）とを表示する場合について説明したが、表示装置１５００に表示するリアルタイム映像は、本第４の実施形態に限定されるものではない。例えば、表示装置１５００に、２つのリアルタイム映像（表示装置１５００自体で撮像したリアルタイム映像と撮像装置（例えば第３の実施形態の撮像装置１１０）が撮像したリアルタイム映像）のみを表示してもよい。
上記に述べたとおり、本第４の実施形態の映像表示システム１４では、表示装置１５００自体が撮像したリアルタイム映像を、表示装置１５００に備えた表示部２０１の表示領域内に配置する。また、本第４の実施形態の映像表示システム１４でも、第１の実施形態の映像表示システム１と同様に、リアルタイム映像を送出する撮像装置１４００の撮像位置情報に基づいたリアルタイム映像を、表示部２０１に表示する。これにより、表示装置１５００でも、第１の実施形態の映像表示システム１における表示装置２００、または第２の実施形態の映像表示システム９における表示装置１０００と同様に、複数の撮像装置１４００が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。
また、本第４の実施形態の映像表示システム１４における表示装置１５００では、表示装置１５００自体が撮像したリアルタイム映像を同時に表示する。これにより、第１の実施形態の映像表示システム１における表示装置２００や第２の実施形態の映像表示システム９における表示装置１０００よりも、さらに、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。本第５の実施形態の映像表示システムでは、表示装置と撮像装置とが共に同様の構成となっている。以下の説明においては、表示装置および撮像装置を、「情報端末」という。そして、それぞれの情報端末は、第１〜第４の実施形態における表示装置と撮像装置とのそれぞれが行っていた処理を、共に行うことができる構成となっている。また、それぞれの情報端末は、互いに、撮像装置固有データを双方向で送受信することができる。
図１６は、本第５の実施形態の映像表示システムにおける情報端末の概略構成を示したブロック図である。図１６に示したように、情報端末１６００は、撮像部１１１と、表示部２０１と、演算部２０２と、記憶部２０４と、制御部２０５と、表示姿勢情報取得部２０６と、表示位置情報取得部１２０１と、撮像位置情報取得部１１２と、撮像姿勢情報取得部１１３と、データ通信部１６０１と、を備えている。
本第５の実施形態における情報端末１６００と、例えば、図４に示した第１の実施形態における表示装置２００との構成の違いは、外部データ取得部２０３に代わってデータ通信部１６０１を備え、さらに、撮像部１１１と、表示位置情報取得部１２０１と、撮像位置情報取得部１１２と、撮像姿勢情報取得部１１３と、を備えたことである。しかし、撮像部１１１と、撮像位置情報取得部１１２と、撮像姿勢情報取得部１１３とは、図２に示した第１の実施形態における撮像装置１１０の構成要素と同様である。また、表示位置情報取得部１２０１は、図１２に示した第３の実施形態における表示装置１２００の構成要素と同様である。従って、図４に示した第１の実施形態における表示装置２００、図１２に示した第３の実施形態における表示装置１２００、または図２に示した第１の実施形態における撮像装置１１０と同様である情報端末１６００の構成要素については、同一の符号を付与し、詳細な説明は省略する。
データ通信部１６０１は、有線または無線によって、本第５の実施形態の映像表示システムの構成要素である他の情報端末１６００に備えたデータ通信部１６０１とデータの通信を行う。データ通信部１６０１は、制御部２０５からの制御に応じて、記憶部２０４に記憶されている、情報端末１６００自体が撮像または検出した撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）を、本第５の実施形態の映像表示システム内の他の情報端末１６００のそれぞれに送出する。
また、データ通信部１６０１は、本第５の実施形態の映像表示システム内の他の情報端末１６００のそれぞれから、撮像装置固有データ（リアルタイム映像、撮像位置情報、および撮像方向情報）を取得する。そして、データ通信部１６０１は、取得したそれぞれの撮像装置固有データを、記憶部２０４に出力する。
また、本第５の実施形態における情報端末１６００の動作と、第１〜第４の実施形態における表示装置および撮像装置のそれぞれの動作との違いは、撮像装置固有データを、本第５の実施形態の映像表示システム内の他の情報端末１６００のそれぞれと送受信することのみである。すなわち、本第５の実施形態の映像表示システム内の情報端末１６００のそれぞれは、第１〜第４の実施形態の表示装置における表示処理、または第１〜第４の実施形態の撮像装置にけるデータ送出処理のいずれかと同様の動作を行う。従って、情報端末１６００の動作に関する詳細な説明は省略する。
上記に述べたとおり、本第５の実施形態の映像表示システムでは、第１〜第４の実施形態のいずれかの映像表示システムと同様に、他の情報端末１６００から取得したリアルタイム映像を、他の情報端末１６００の撮像位置情報に基づいて、自情報端末１６００に備えた表示部２０１に表示する。これにより、情報端末１６００は、第１〜第４の実施形態の映像表示システムにおける表示装置と同様に、複数の他の情報端末１６００が撮像した、異なる被写体が存在する位置の関係を視覚的に認識しやすくしたリアルタイム映像を表示することができる。さらに、そして、第１〜第４の実施形態のいずれかの映像表示システムと同様の効果を得ることができる。
また、本第５の実施形態の映像表示システムにおける情報端末１６００では、本第５の実施形態の映像表示システム内のそれぞれの情報端末１６００が互いに、撮像装置固有データを双方向で送受信する。そして、本第５の実施形態の映像表示システム内の全ての情報端末１６００で、リアルタイム映像を表示する。これにより、どの情報端末１６００を用いても、それぞれの被写体が存在する位置の関係が認識しやすいリアルタイム映像を表示することができる。
上記に述べたとおり、本発明を実施するための最良の形態によれば、映像表示システム内の複数の撮像装置（情報端末）が撮像したリアルタイム映像を、それぞれの撮像装置（情報端末）の撮像位置情報および撮像方向情報に基づいて、映像表示システム内の表示装置（情報端末）に表示する。すなわち、本発明を実施するための最良の形態によれば、リアルタイム映像を、被写体を撮像している撮像装置（情報端末）の位置や方向の関係を反映した状態で表示する、いわゆる、マルチビュー表示を行う。これにより、複数の撮像装置（情報端末）が異なる被写体を撮像し、被写体が複数存在する場合においても、表示装置（情報端末）に表示されたリアルタイム映像から、それぞれの被写体が存在する位置の関係を視覚的に認識することができる。
また、本発明を実施するための最良の形態によれば、表示装置（情報端末）の姿勢や位置に応じて撮像装置（情報端末）が撮像したリアルタイム映像を表示する。これにより、それぞれの被写体が存在する位置の関係を、より正確に認識することができる。
なお、本実施形態においては、表示装置に備えた制御部２０５が、演算部２０２が演算した相対位置および相対方向に基づいて、表示部２０１に表示するリアルタイム映像の表示方法を制御する、すなわち、表示領域内のリアルタイム映像の配置やリアルタイム映像の回転方法を制御する表示制御部を、制御部２０５内に備えた構成について説明した。しかし、表示部２０１に表示するリアルタイム映像の表示方法を制御する構成は、本発明を実施するための形態に限定されるものではない。例えば、表示装置に備えた表示部２０１内に、演算部２０２が演算した相対位置および相対方向に基づいてリアルタイム映像の表示方法を制御する表示制御部を備える構成することもできる。
また、本実施形態においては、表示装置に備えた演算部２０２と制御部２０５とが、それぞれ異なる構成要素である場合について説明したが、表示装置内の構成要素の構成は、本発明を実施するための形態に限定されるものではない。例えば、表示装置に備えた演算部２０２と制御部２０５との機能を、例えば、ＣＰＵなどの１つの処理装置で実現する構成にすることもできる。これにより、上述した表示制御部の機能を含めて１つの処理装置で処理する、すなわち、相対位置および相対方向の演算と、リアルタイム映像の表示方法の制御とを、１つの処理装置で処理する構成にすることができる。
また、本実施形態においては、撮像装置固有データが、リアルタイム映像と、撮像位置情報と、撮像方向情報とを含むものとして説明したが、撮像装置固有データ内のデータの構成は、本発明を実施するための形態に限定されるものではない。例えば、１秒分のリアルタイム映像は、複数のフレームから構成される。このとき、それぞれのフレームに撮像位置情報と撮像方向情報とを対応付けて、それぞれの撮像装置固有データとすると、それぞれの撮像装置固有データのデータ量が多くなってしまう。そこで、例えば、１秒分のリアルタイム映像が構成される複数のフレームの内、予め定めたフレームのみに撮像位置情報と撮像方向情報とを対応付け、その他のフレームには撮像位置情報と撮像方向情報とを対応付けないで、それぞれの撮像装置固有データとする。すなわち、１秒に１回だけ撮像位置情報と撮像方向情報とを送出する構成にすることもできる。これにより、それぞれの撮像装置固有データのデータ量を少なくし、撮像装置（情報端末）と表示装置（情報端末）との間の通信の負荷を軽減することができる。この場合には、例えば、図５のステップＳ５０２におけるデータ数の判定は、撮像装置固有データに含まれるリアルタイム映像の数で判定することになる。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
１，９，１４・・・映像表示システム
１００，１１０，１２０，９００，９１０，９２０，１４００，１４１０，１４２０・・・撮像装置（撮像端末，撮像装置）
１１１・・・撮像部
１１２・・・撮像位置情報取得部
１１３・・・撮像姿勢情報取得部
１１４・・・記憶部
１１５・・・制御部
１１６・・・データ通信部
２００，１０００，１２００，１５００・・・表示装置（表示端末，表示装置）
２０１・・・表示部
２０２・・・演算部
２０３・・・外部データ取得部（データ通信部）
２０４・・・記憶部
２０５・・・制御部
２０６・・・表示姿勢情報取得部
９１１・・・無線通信部（データ通信部）
９１２・・・アンテナ（データ通信部）
１００１・・・無線通信部（データ通信部）
１００２・・・アンテナ（データ通信部）
１２０１・・・表示位置情報取得部
１５０１・・・撮像部
１５０２・・・撮像位置情報取得部
１５０３・・・撮像姿勢情報取得部
１５０４・・・データ通信部
１６００・・・情報端末（撮像端末，撮像装置，表示端末，表示装置）
１６０１・・・データ通信部

Claims (17)

  1. 被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、
    前記被写体の映像を表示する表示部と、
    前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
    前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
    前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、
    を備えることを特徴とする表示装置。
  2. 前記被写体の映像信号、前記撮像位置情報、および前記撮像方向情報を、前記被写体を撮像した撮像端末から取得するデータ通信部、
    をさらに備え、
    前記記憶部は、
    前記データ通信部で取得された前記映像信号、前記撮像位置情報、および前記撮像方向情報を記憶する、
    ことを特徴とする請求項１に記載の表示装置。
  3. 前記演算部は、
    前記記憶部に記憶されている複数の前記映像信号の内、１つの映像信号に対応付けられた前記撮像位置情報を基準として、前記相対的な位置関係を演算する、
    ことを特徴とする請求項１または請求項２に記載の表示装置。
  4. 前記データ通信部で取得される前記撮像方向情報は、
    方位の情報と仰俯角の情報とを含み、
    前記演算部は、
    前記方位の情報と前記仰俯角の情報とに基づいて、前記相対的な方向関係を演算する、
    ことを特徴とする請求項１から請求項３のいずれか１の項に記載の表示装置。
  5. 前記制御部は、
    前記表示方向と垂直に交わる面を前記表示領域の面とし、該表示領域の面上に前記相対的な位置関係を投影した位置に、前記回転映像を表示させる、
    ことを特徴とする請求項１から請求項４のいずれか１の項に記載の表示装置。
  6. 前記データ通信部は、
    無線通信で前記映像信号、前記撮像位置情報、および前記撮像方向情報を取得する、
    ことを特徴とする請求項２に記載の表示装置。
  7. 前記表示部が前記被写体の映像を表示するときの表示位置を表す表示装置位置情報を取得する表示位置情報取得部、
    をさらに備え、
    前記演算部は、
    前記表示位置情報取得部で取得された表示装置位置情報と、前記記憶部に記憶されている前記撮像位置情報とに基づいて、前記表示位置を基準とした、前記相対的な位置関係を演算する、
    ことを特徴とする請求項１から請求項６のいずれか１の項に記載の表示装置。
  8. 前記制御部は、
    前記表示領域内の中央の位置に、基準とする１つの前記回転映像を表示させ、他の前記回転映像を、前記基準とした１つの前記回転映像との前記相対的な位置関係を維持した位置に表示させる、
    ことを特徴とする請求項６に記載の表示装置。
  9. 前記被写体を撮像し、前記映像信号を出力する撮像部と、
    前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
    前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
    をさらに備え、
    前記記憶部は、
    前記撮像部から出力された映像信号を、前記撮像位置情報取得部で取得された前記撮像位置情報および前記撮像姿勢情報取得部で取得された前記撮像方向情報と対応付けて記憶する、
    ことを特徴とする請求項１から請求項８のいずれか１の項に記載の表示装置。
  10. 前記制御部は、
    前記表示領域内の中央の位置に、前記撮像部が撮像した前記被写体の映像に対応する回転映像を表示させる、
    ことを特徴とする請求項９に記載の表示装置。
  11. 前記データ通信部は、
    前記撮像部から出力された映像信号、前記撮像位置情報取得部で取得された前記撮像位置情報、および前記撮像姿勢情報取得部で取得された前記撮像方向情報を外部の端末に送出する、
    ことを特徴とする請求項９に記載の表示装置。
  12. 被写体の映像信号、前記被写体を撮像するときの撮像位置を表す撮像位置情報、および前記被写体を撮像するときの撮像方向を表す撮像方向情報を対応付けて記憶する記憶部と、
    前記被写体の映像を表示する表示部と、
    前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
    前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
    前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に表示させる制御部と、
    を備える装置を、表示装置と定義するとき、
    被写体を撮像し、前記被写体の映像信号を出力する撮像部と、
    前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
    前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
    前記撮像部から出力される前記映像信号、前記撮像位置情報取得部で取得される前記撮像位置情報、および前記撮像姿勢情報取得部で取得される前記撮像方向情報を、前記表示装置に送出するデータ通信部と、
    を備えることを特徴とする撮像装置。
  13. 前記データ通信部は、
    前記映像信号、前記撮像位置情報、および前記撮像方向情報を、無線通信で前記表示装置に送出する、
    ことを特徴とする請求項１２に記載の撮像装置。
  14. 被写体の映像を表示する映像表示システムであって、
    前記被写体を撮像し、前記被写体に対応する映像信号を出力する複数の撮像部と、
    前記撮像部が前記被写体を撮像するときの撮像位置を表す撮像位置情報を取得する撮像位置情報取得部と、
    前記撮像部が前記被写体を撮像するときの撮像方向を表す撮像方向情報を取得する撮像姿勢情報取得部と、
    前記被写体の映像を表示する表示部と、
    前記表示部が前記被写体の映像を表示するときの表示方向を表す表示方向情報を取得する表示姿勢情報取得部と、
    前記撮像部から出力される前記映像信号、前記位置情報取得部で取得される前記撮像位置情報及び前記撮像姿勢情報取得部で取得される前記撮像方向情報を対応付けて記憶する記憶部と、
    前記記憶部に記憶されている前記撮像位置情報に基づいて、複数の前記撮像位置の立体空間における相対的な位置関係を演算するとともに、前記記憶部に記憶されている前記撮像方向情報と、前記表示姿勢情報取得部で取得される前記表示方向情報とに基づいて、複数の前記撮像方向それぞれの前記表示部の前記表示方向に対する相対的な方向関係を演算する演算部と、
    前記記憶部に記憶されている複数の前記映像信号それぞれに対応する前記被写体の映像を前記表示部に表示するとき、前記記憶部に記憶されている前記映像信号に対応する前記被写体の映像を前記演算部で演算された前記相対的な方向関係に応じて回転させた回転映像を、前記表示部に表示される複数の前記被写体の映像それぞれが前記表示部の表示領域内で前記相対的な位置関係を維持した位置に、表示させる制御部と、
    を備えることを特徴とする映像表示システム。
  15. 当該映像表示システムは、
    前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、を具備する複数の撮像端末と、
    前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、を具備する表示端末と、
    から構成される、
    ことを特徴とする請求項１４に記載の映像表示システム。
  16. 前記撮像端末は、
    前記表示部、前記表示姿勢情報取得部、前記記憶部、前記演算部、および前記制御部、
    をさらに具備する、
    ことを特徴とする請求項１５に記載の映像表示システム。
  17. 前記表示端末は、
    前記撮像部、前記撮像位置情報取得部、および前記撮像姿勢情報取得部、
    をさらに具備する、
    ことを特徴とする請求項１５に記載の映像表示システム。
JP2011246511A 2011-11-10 2011-11-10 表示装置、撮像装置、および映像表示システム Expired - Fee Related JP5771508B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011246511A JP5771508B2 (ja) 2011-11-10 2011-11-10 表示装置、撮像装置、および映像表示システム
US13/669,704 US9019348B2 (en) 2011-11-10 2012-11-06 Display device, image pickup device, and video display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011246511A JP5771508B2 (ja) 2011-11-10 2011-11-10 表示装置、撮像装置、および映像表示システム

Publications (2)

Publication Number Publication Date
JP2013105195A JP2013105195A (ja) 2013-05-30
JP5771508B2 true JP5771508B2 (ja) 2015-09-02

Family

ID=48280247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011246511A Expired - Fee Related JP5771508B2 (ja) 2011-11-10 2011-11-10 表示装置、撮像装置、および映像表示システム

Country Status (2)

Country Link
US (1) US9019348B2 (ja)
JP (1) JP5771508B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5769757B2 (ja) * 2013-05-20 2015-08-26 オリンパス株式会社 撮像装置、撮像システム、撮像方法、およびプログラム
JP6056664B2 (ja) * 2013-06-04 2017-01-11 株式会社Ｊｖｃケンウッド 画像処理装置および撮像システム
KR101741150B1 (ko) * 2016-12-28 2017-05-29 광운대학교 산학협력단 영상에디팅을 수행하는 영상촬영장치 및 방법
US10567729B2 (en) * 2017-08-11 2020-02-18 Bitanimate, Inc. User interface for adjustment of stereoscopic image parameters
WO2021196005A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 图像处理方法、图像处理设备、用户设备、飞行器及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643860B2 (ja) 2001-06-12 2011-03-02 クラリオン株式会社 車両用視覚支援装置及び支援方法
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
US7945938B2 (en) * 2005-05-11 2011-05-17 Canon Kabushiki Kaisha Network camera system and control method therefore
JP4642723B2 (ja) * 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
JP4750859B2 (ja) * 2007-01-16 2011-08-17 パナソニック株式会社 データ処理装置、方法、記録媒体
US8289393B2 (en) * 2007-05-31 2012-10-16 Panasonic Corporation Camera control unit, camera display system, and camera control method
US20090184981A1 (en) * 2008-01-23 2009-07-23 De Matos Lucio D Orazio Pedro system, method and computer program product for displaying images according to user position
JP5035330B2 (ja) * 2009-12-16 2012-09-26 カシオ計算機株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP2013105195A (ja) 2013-05-30
US9019348B2 (en) 2015-04-28
US20130120534A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
US9401050B2 (en) Recalibration of a flexible mixed reality device
KR102046032B1 (ko) 화상 캡처링 장치, 화상 캡처 시스템, 화상 처리 방법, 정보 처리 장치, 및 컴퓨터-판독 가능 저장 매체
US11956547B2 (en) Omnidirectional camera system with improved point of interest selection
JP5771508B2 (ja) 表示装置、撮像装置、および映像表示システム
JP6398472B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム
US20190335115A1 (en) Display control device, head-mounted display, and control program
US20140139621A1 (en) Image processing system, information processing device, information storage device, and image processing method
JP2014063411A (ja) 遠隔制御システム、制御方法、及び、プログラム
US20220284620A1 (en) Information terminal apparatus and position recognition sharing method
JP2009010728A (ja) カメラ設置支援装置
US10964045B2 (en) Information processing device, information processing method, and individual imaging device for measurement of a size of a subject
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP2005038321A (ja) ヘッドマウントディスプレイ装置
JP2020129823A (ja) 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US20210124174A1 (en) Head mounted display, control method for head mounted display, information processor, display device, and program
JP2018056889A (ja) 表示端末、表示方法、及びプログラム
JP6320020B2 (ja) 電子機器、その制御方法及びプログラム
WO2018143360A1 (ja) 相対位置検出システム及び画像表示システム
JP5514062B2 (ja) 電子機器、情報付き撮像画面表示方法及びプログラム
JP3848092B2 (ja) 画像処理装置及び方法、並びにプログラム
US20210168285A1 (en) Image capturing device, image communication system, and method for display control, and recording medium
JP2005268972A (ja) 映像表示システム、及び映像表示方法
CN112753066B (zh) 影像显示控制装置、方法以及程序记录介质
JP2014179958A (ja) 撮像画像表示装置、撮像システム、撮像画像表示方法およびプログラム
JP6610741B2 (ja) 画像表示システム、画像表示装置、画像表示方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R151 Written notification of patent or utility model registration

Ref document number: 5771508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees