JP6360389B2 - Video presentation apparatus and program - Google Patents
Video presentation apparatus and program Download PDFInfo
- Publication number
- JP6360389B2 JP6360389B2 JP2014170873A JP2014170873A JP6360389B2 JP 6360389 B2 JP6360389 B2 JP 6360389B2 JP 2014170873 A JP2014170873 A JP 2014170873A JP 2014170873 A JP2014170873 A JP 2014170873A JP 6360389 B2 JP6360389 B2 JP 6360389B2
- Authority
- JP
- Japan
- Prior art keywords
- video presentation
- presentation device
- unit
- video
- infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 105
- 238000004891 communication Methods 0.000 claims description 85
- 230000001133 acceleration Effects 0.000 claims description 43
- 230000004397 blinking Effects 0.000 claims description 35
- 210000001508 eye Anatomy 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 8
- 230000036544 posture Effects 0.000 description 261
- 238000000034 method Methods 0.000 description 63
- 230000008569 process Effects 0.000 description 45
- 239000013598 vector Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000002844 continuous effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000696 magnetic material Substances 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、マルチスクリーン間の位置及び姿勢を検出し、位置及び姿勢に応じた映像を提示する映像提示装置及びプログラムに関する。 The present invention relates to a video presentation apparatus and a program for detecting a position and a posture between multiple screens and presenting a video corresponding to the position and the posture.
従来、高精細な表示デバイス（液晶パネル、有機ＥＬパネル等）の低価格化に伴い、表示デバイスを備えた映像提示装置が家庭内へ普及し、また、多くの映像提示装置が商業施設に設置されている。 Conventionally, along with the price reduction of high-definition display devices (liquid crystal panels, organic EL panels, etc.), video presentation devices equipped with display devices have become popular in homes, and many video presentation devices have been installed in commercial facilities. Has been.
スマートフォン及びタブレット端末等の映像提示装置には、多機能化に伴って、カメラ、当該映像提示装置の傾きを検出する加速度センサー、指紋を認証するための指紋センサー等の様々なセンサーが設けられている。 Video presentation devices such as smartphones and tablet terminals are equipped with various sensors such as a camera, an acceleration sensor for detecting the tilt of the video presentation device, and a fingerprint sensor for authenticating a fingerprint as the functionality increases. Yes.
また、被写体を全方位に撮影する技術として、ＲＩＣＯＨ ＴＨＥＴＡ（リコー・シータ）、全方位ＧｏＰｒｏ（登録商標）マウント等が知られており、今後、この全方位撮影技術は、スマートフォン及びタブレット端末等の映像提示装置に採用されていくと予想される。 In addition, RICOH THETA (Ricoh Theta), omnidirectional GoPro (registered trademark) mount, etc. are known as techniques for photographing a subject in all directions. In the future, this omnidirectional photography technology will be applied to smartphones and tablet terminals, etc. Expected to be adopted in video presentation devices.
このような映像提示装置を用いた映像提示サービスには、例えば、複数の映像提示装置を用いた“Ａｕｇｍｅｎｔｅｄ ＴＶ”がある（例えば、非特許文献１を参照）。“Ａｕｇｍｅｎｔｅｄ ＴＶ”は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）と呼ばれる技術を、番組映像に対して適用したサービスである。ＡＲは、コンピュータを用いて、現実環境の一部であるかのような情報を付加することで現実環境を拡張する技術である。具体的には、“Ａｕｇｍｅｎｔｅｄ ＴＶ”では、タブレット端末等の携帯端末のカメラでＴＶ画面を撮影し、カメラ取込み画像に対してＴＶ番組（以下、映像コンテンツという。）に連動した３ＤＣＧ（以下、サブコンテンツという。）をオーバーレイ表示することで、番組演出をＴＶ画面外に拡張することができる。 As a video presentation service using such a video presentation device, for example, there is “Augmented TV” using a plurality of video presentation devices (see, for example, Non-Patent Document 1). “Augmented TV” is a service in which a technique called AR (Augmented Reality) is applied to a program video. AR is a technique for extending a real environment by adding information as if it is a part of the real environment using a computer. Specifically, in “Augmented TV”, a TV screen is shot with a camera of a portable terminal such as a tablet terminal, and 3DCG (hereinafter referred to as sub-content) linked to a TV program (hereinafter referred to as video content) with respect to the captured image. By displaying the content)), the program effect can be expanded outside the TV screen.
このような映像提示サービスに用いる技術として、カメラ付き映像提示装置がカメラ取込み画像中の映像コンテンツに対してサブコンテンツをオーバーレイ表示する際に、映像コンテンツを表示している映像提示装置の位置及び姿勢を検出すると共に、カメラ付き映像提示装置の画面内において両コンテンツの表示の同期を確立する手法が知られている（例えば、特許文献１，２を参照）。
As a technology used for such a video presentation service, when the video presentation device with a camera overlay-displays the sub-content on the video content in the captured image, the position and orientation of the video presentation device displaying the video content And a method for establishing synchronization of display of both contents within the screen of the camera-equipped video presentation device is known (see, for example,
前述の特許文献１，２の手法は、映像提示装置の画面に表示されたマーカー等をカメラによって捉えることで、当該映像提示装置の位置及び姿勢を検出するものであり、カメラの撮影範囲内に、マーカー等が表示された画面を必要とする。
The above-described methods of
しかしながら、映像提示装置の位置または姿勢によっては、カメラの撮影範囲内に、映像提示装置の画面が存在しない場合があり、マーカー等を表示した画面をカメラによって捉えることができず、その位置及び姿勢を検出できないことがあり得る。このため、映像提示装置の位置または姿勢によっては、映像提示サービスを実現することができないという問題があった。 However, depending on the position or orientation of the video presentation device, the screen of the video presentation device may not exist within the shooting range of the camera, and the screen displaying markers or the like cannot be captured by the camera. May not be detected. For this reason, there has been a problem that the video presentation service cannot be realized depending on the position or orientation of the video presentation device.
また、映像提示装置の位置及び姿勢を検出するためには、マーカー等を表示する処理、及びマーカー等を解析する処理が必要となり、映像コンテンツの演出を阻害し、処理負荷が高いという問題もあった。 In addition, in order to detect the position and orientation of the video presentation device, processing for displaying markers and the like and processing for analyzing markers and the like are required, which impedes presentation of video content and has a high processing load. It was.
このような問題を解決するために、マーカー等を解析するための画像を取得するカメラを用いることなく、また、負荷の高い画像処理を行うことなく、映像提示装置の位置及び姿勢を検出し、新しい映像表現を可能にする映像提示サービスを実現することが所望されていた。 In order to solve such problems, the position and orientation of the video presentation device are detected without using a camera that acquires an image for analyzing a marker or the like, or without performing high-load image processing. It has been desired to realize a video presentation service that enables a new video expression.
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、複数のセンサーを用いて検出対象の映像提示装置の位置及び姿勢を検出することにより、カメラの撮影範囲内にその映像提示装置の画面が存在しない場合であっても、映像提示サービスを実現可能な映像提示装置及びプログラムを提供することにある。 Accordingly, the present invention has been made to solve the above-described problems, and the object thereof is to detect the position and orientation of a video presentation device to be detected using a plurality of sensors, and thereby within the shooting range of the camera. An object of the present invention is to provide a video presentation device and a program capable of realizing a video presentation service even when the screen of the video presentation device does not exist.
前記目的を達成するために、請求項１の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、異なる２つの符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの一方の符号に従って点滅する第１の赤外線ＬＥＤと、前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの他方の符号に従って点滅する第２の赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された異なる符号に従ってそれぞれ点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び、前記姿勢推定部により推定された当該映像提示装置から見た前記他の映像提示装置の姿勢に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。
In order to achieve the object, the video presentation apparatus according to
また、請求項２の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って、同じ位相で点滅する第１の赤外線ＬＥＤ及び第２の赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された同じ符号に従って同じ位相で点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態に基づいて、前記２つの赤外線ＬＥＤの位相差を検出する位相差検出部と、前記位相差検出部により検出された位相差に基づいて、当該映像提示装置を基点とした前記他の映像提示装置に備えた２つの赤外線ＬＥＤとの間の距離差を推定する距離差推定部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び前記距離差推定部により推定された距離差に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。 According to a second aspect of the present invention, there is provided a video presentation device for displaying a multi-screen video content on a screen. The video presentation device encodes a device ID of the video presentation device to generate a code, and the device ID encoding. The device ID of the other video presentation device provided in the other video presentation device using the first infrared LED and the second infrared LED blinking in the same phase and the infrared camera according to the code generated by the unit From an omnidirectional infrared image acquired by the infrared camera image acquisition unit that acquires an omnidirectional infrared image including two infrared LEDs blinking in the same phase according to the same code generated by encoding , Capture the blinking state of the two infrared LEDs provided in the other video presentation device, the omnidirectional An azimuth detector that identifies the positions of the two infrared LEDs on the outside line image, and detects a relative azimuth of the other video presentation device viewed from the video presentation device based on the positions of the two infrared LEDs; Using an acceleration sensor and a geomagnetic sensor, an inclination detection unit that detects an inclination of the video presentation device, a relative orientation of the video presentation device viewed from the other video presentation device, and an inclination of the other video presentation device , Detecting the phase difference between the two infrared LEDs based on the communication unit that receives from the other video presentation device via the network and the blinking state of the two infrared LEDs provided in the other video presentation device. Based on the phase difference detected by the phase difference detecting unit and the phase difference detecting unit, between the two infrared LEDs provided in the other video presenting device based on the video presenting device A distance difference estimation unit that estimates a difference, and a position / posture estimation unit that estimates the position and posture of the other video presentation device viewed from the video presentation device, which is used when the multi-screen video content is displayed on the screen. The position / posture estimation unit includes the relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit, and the other video presentation received by the communication unit. Based on the relative orientation of the video presentation device viewed from the device, the tilt of the video presentation device detected by the tilt detection unit, and the tilt of the other video presentation device received by the communication unit A posture estimation unit that estimates a posture of the other video presentation device viewed from the presentation device; and a relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit. Accordingly, the azimuth angle of the two infrared LEDs provided in the other video presentation device is calculated, a preset distance between the two infrared LEDs provided in the other video presentation device, the calculated azimuth angle, And a distance estimation unit that estimates a distance between the video presentation device and the other video presentation device based on the distance difference estimated by the distance difference estimation unit, and the video detected by the azimuth detection unit. A position estimation unit that estimates the position of the other video presentation device viewed from the video presentation device based on the relative orientation of the other video presentation device viewed from the presentation device and the distance estimated by the distance estimation unit. And.
また、請求項３の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、全方位距離画像センサーを用いて、前記他の映像提示装置に備えた赤外線ＬＥＤを含む距離画像を取得する距離画像取得部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記距離画像取得部により取得された距離画像に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。 According to a third aspect of the present invention, there is provided a video presentation device that displays a multi-screen video content on a screen, encodes a device ID of the video presentation device, generates a code, and the device ID encoding. Infrared LED flashing according to the code generated by the unit, and infrared LED flashing according to the code generated by encoding the device ID of the other video presentation device provided in the other video presentation device using an infrared camera From the omnidirectional infrared image acquired by the infrared camera image acquisition unit that acquires an omnidirectional infrared image including the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, The position of the infrared LED on the omnidirectional infrared image is specified, and the position of the infrared LED An orientation detection unit that detects a relative orientation of the other video presentation device viewed from the video presentation device, and an inclination detection unit that detects an inclination of the video presentation device using an acceleration sensor and a geomagnetic sensor. A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network, and an omnidirectional distance image A distance image acquisition unit that acquires a distance image including an infrared LED provided in the other video presentation device using a sensor, and the video presentation device used when displaying the multi-screen video content on the screen. A position / posture estimator that estimates the position and posture of the other video presentation device, and the position / posture estimator detects the video detected by the azimuth detector The relative orientation of the other video presentation device viewed from the display device, the relative orientation of the video presentation device viewed from the other video presentation device received by the communication unit, and the video presentation detected by the tilt detection unit A posture estimation unit that estimates a posture of the other video presentation device viewed from the video presentation device based on a tilt of the device and a tilt of the other video presentation device received by the communication unit; and the distance Based on the distance image acquired by the image acquisition unit, the distance estimation unit that estimates the distance between the video presentation device and the other video presentation device, and the video presentation device detected by the orientation detection unit A position estimation unit that estimates the position of the other video presentation device viewed from the video presentation device based on the relative orientation of the other video presentation device viewed and the distance estimated by the distance estimation unit; It is characterized by having.
また、請求項４の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、レーザーセンサーを用いて、レーザーを発光し、前記他の映像提示装置に備えた再帰性反射部に反射させ、前記反射したレーザーを受光してレーザー距離を計測するレーザー距離計部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記レーザー距離計部により計測されたレーザー距離を、当該映像提示装置と前記他の映像提示装置との間の距離とし、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。 According to a fourth aspect of the present invention, there is provided a video presentation apparatus that displays a multi-screen video content on a screen, encodes a device ID of the video presentation apparatus, generates a code, and the device ID encoding. Infrared LED flashing according to the code generated by the unit, and infrared LED flashing according to the code generated by encoding the device ID of the other video presentation device provided in the other video presentation device using an infrared camera From the omnidirectional infrared image acquired by the infrared camera image acquisition unit that acquires an omnidirectional infrared image including the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, The position of the infrared LED on the omnidirectional infrared image is specified, and the position of the infrared LED An orientation detection unit that detects a relative orientation of the other video presentation device viewed from the video presentation device, and an inclination detection unit that detects an inclination of the video presentation device using an acceleration sensor and a geomagnetic sensor. A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the tilt of the other video presentation device from the other video presentation device via a network, and a laser sensor A laser distance meter unit that emits a laser beam, reflects the reflected laser beam to a retroreflecting unit included in the other video presentation device, receives the reflected laser beam, and measures a laser distance; and the multi-screen video content. A position / posture estimator that estimates the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying on the screen, Relative azimuth of the other video presentation device viewed from the video presentation device detected by the orientation detection unit by the posture estimation unit, and the video presentation device viewed from the other video presentation device received by the communication unit The other orientation viewed from the video presentation device based on the relative orientation of the video presentation device detected by the tilt detection unit and the tilt of the other video presentation device received by the communication unit. The orientation estimation unit that estimates the orientation of the video presentation device, and the laser distance measured by the laser distance meter unit is the distance between the video presentation device and the other video presentation device, and is detected by the orientation detection unit. Position estimation for estimating the position of the other video presentation device viewed from the video presentation device based on the relative orientation of the other video presentation device viewed from the video presentation device and the distance And a section.
また、請求項５の映像提示装置は、マルチスクリーンの映像コンテンツを画面表示する映像提示装置において、当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、前記位置・姿勢推定部が、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤのサイズを算出し、前記算出したサイズ、及び予め設定された前記赤外線ＬＥＤのサイズに基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、を備えたことを特徴とする。 According to a fifth aspect of the present invention, there is provided a video presentation apparatus that displays a multi-screen video content on a screen, encodes a device ID of the video presentation apparatus, generates a code, and the device ID encoding. Infrared LED flashing according to the code generated by the unit, and infrared LED flashing according to the code generated by encoding the device ID of the other video presentation device provided in the other video presentation device using an infrared camera From the omnidirectional infrared image acquired by the infrared camera image acquisition unit that acquires an omnidirectional infrared image including the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, The position of the infrared LED on the omnidirectional infrared image is specified, and the position of the infrared LED An orientation detection unit that detects a relative orientation of the other video presentation device viewed from the video presentation device, and an inclination detection unit that detects an inclination of the video presentation device using an acceleration sensor and a geomagnetic sensor. A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network; and A position / posture estimator that estimates the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying video content on the screen, and the position / posture estimation unit includes the orientation The relative orientation of the other video presentation device viewed from the video presentation device detected by the detection unit, and the video presentation viewed from the other video presentation device received by the communication unit The other viewed from the video presentation device based on the relative orientation of the device, the tilt of the video presentation device detected by the tilt detection unit, and the tilt of the other video presentation device received by the communication unit From the omnidirectional infrared image acquired by the posture estimation unit that estimates the posture of the video presentation device and the infrared camera image acquisition unit, the blinking state of the infrared LED provided in the other video presentation device is captured, and the omnidirectional The size of the infrared LED on the infrared image is calculated, and the distance between the video presentation device and the other video presentation device is estimated based on the calculated size and the preset size of the infrared LED The distance estimation unit, the relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit, and the distance estimated by the distance estimation unit And a position estimation unit that estimates the position of the other video presentation device viewed from the video presentation device.
また、請求項６の映像提示装置は、請求項１から５までのいずれか一項に記載の映像提示装置において、さらに、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置を操作するユーザの視点位置を推定する視点位置処理部を備え、前記視点位置処理部が、カメラを用いて、前記ユーザの顔を含む画像を取得するカメラ画像取得部と、前記カメラ画像取得部により取得された画像から、前記ユーザの顔の領域を認識して顔画像を抽出する顔画像抽出部と、前記顔画像抽出部により抽出された顔画像から前記ユーザの目を抽出し、前記カメラ画像取得部により取得された画像上の目の位置を検出し、前記画像上の両方の前記目の間隔を算出し、前記画像上の目の位置及び両方の前記目の間隔、並びに予め設定された両方の目の間隔に基づいて、前記視点位置を推定する視点位置推定部と、を備えたことを特徴とする。
A video presentation device according to
また、請求項７の映像提示装置は、請求項１から６までのいずれか一項に記載の映像提示装置において、前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記赤外線ＬＥＤの点滅状態をデコードし、前記他の映像提示装置のデバイスＩＤを検出するデバイスＩＤデコード部を備え、前記通信部が、前記デバイスＩＤデコード部により検出された前記他の映像提示装置のデバイスＩＤを用いてネットワークへアクセスし、当該映像提示装置と前記他の映像提示装置との間の通信路を確立する、ことを特徴とする。
The video presentation device according to claim 7 is the video presentation device according to any one of
さらに、請求項８のプログラムは、コンピュータを、請求項１から７までのいずれか一項に記載の映像提示装置として機能させることを特徴とする。 Furthermore, a program according to an eighth aspect causes a computer to function as the video presentation device according to any one of the first to seventh aspects.
以上のように、本発明によれば、カメラの撮影範囲内に、検出対象の映像提示装置の画面が存在しない場合であっても、映像提示サービスを実現することが可能となる。 As described above, according to the present invention, it is possible to realize the video presentation service even when the screen of the video presentation device to be detected does not exist within the shooting range of the camera.
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
図１は、本発明の実施形態による映像提示装置の使用形態と表示画面例を説明する図である。この映像提示システムは、２台の映像提示装置１ａ，１ｂ及びサーバ２により構成され、映像提示装置１ａ，１ｂ及びサーバ２は、インターネット等の有線及び無線のネットワークを介して接続される。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram illustrating a usage pattern and a display screen example of a video presentation device according to an embodiment of the present invention. This video presentation system includes two
映像提示システムは、映像提示装置１ｂが、映像コンテンツを画面表示し、映像提示装置１ａを操作するユーザが、映像提示装置１ａに内蔵されたカメラを用いて映像提示装置１ｂの画面を撮像し、映像提示装置１ａが、カメラ入力の画像に含まれる映像コンテンツに、当該映像コンテンツに関連するサブコンテンツをオーバーレイ表示することを前提とする。
In the video presentation system, the
本発明の実施形態では、このような映像提示装置１ａの画面に対し、映像提示装置１ｂに画面表示された映像コンテンツにサブコンテンツをオーバーレイ表示する際に、映像提示装置１ａの画面内に映像提示装置１ｂの画面が存在しない場合であっても、映像コンテンツとの関係でサブコンテンツを継続して表示することができるように、新たな映像表現を可能とする映像提示サービスを実現するために、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定する。
In the embodiment of the present invention, when a sub-content is displayed as an overlay on the video content displayed on the
図１では、映像コンテンツが宇宙船の動画像であり、サブコンテンツが星である場合の例を示す。映像提示装置１ｂの画面には、映像コンテンツとして宇宙船の動画像が表示されている。また、ユーザにより操作される映像提示装置１ａの画面には、映像提示装置１ａのカメラから取り込んだ映像提示装置１ｂの画面に表示された宇宙船の動画像と、宇宙船の動画像に同期した星とが表示されている。ここで、映像提示装置１ａは、映像提示装置１ｂの位置及び姿勢を推定し、その後、ユーザにより映像提示装置１ａの向きが変化する等して、映像提示装置１ａの画面内に映像提示装置１ｂの画面が存在しなくなったとしても、表示されていない宇宙船の動画像との関係において、サブコンテンツである星を継続して表示する。
FIG. 1 shows an example in which the video content is a spaceship moving image and the sub-content is a star. On the screen of the
映像提示装置１ａは、例えば、電話機能、カメラによる撮影機能及びインターネット等のネットワークにアクセスする通信機能を有する携帯電話機、タブレット端末等である。また、映像提示装置１ｂは、例えば、映像コンテンツの放送波を受信して復号し、再生する再生装置、ＴＶまたはデジタルサイネージ等である。
The
尚、映像提示装置１ａ，１ｂは、同じ機能を有する装置であってもよいし、異なる機能を有する装置であってもよい。本発明は、映像提示装置１ａ，１ｂを図１に示した使用形態等に限定するものではない。
The
〔映像提示装置〕
次に、図１に示した映像提示装置１ａ，１ｂ（総称して、映像提示装置１という。）について説明する。図２は、本発明の実施形態による映像提示装置１の構成を示すブロック図である。この映像提示装置１は、マルチスクリーンの映像コンテンツを画面表示するために、位置・姿勢処理部３及び提示処理部４を備えている。また、図２には図示していないが、映像提示装置１は、さらに、位置・姿勢処理部３にて用いる赤外線カメラ、赤外線ＬＥＤ等を備え、提示処理部４にて用いるカメラを備えている。
[Video presentation device]
Next, the
映像提示装置１の位置・姿勢処理部３は、図示しない赤外線ＬＥＤから当該映像提示装置１のデバイスＩＤを反映した全方位赤外線を出力し、図示しない赤外線カメラを用いて、検出対象である他の映像提示装置１を撮影した全方位赤外線カメラ画像を取得する等して、当該映像提示装置１から見た他の映像提示装置１（当該映像提示装置１を基準とした他の映像提示装置１）の位置及び姿勢を推定する。
The position /
提示処理部４は、図示しないカメラを用いて他の映像提示装置１の画面に表示された映像コンテンツの画像を取得すると共に、位置・姿勢処理部３により推定された他の映像提示装置１の位置及び姿勢に関する情報（位置情報及び姿勢情報）を入力する。そして、提示処理部４は、例えば、図１の映像提示装置１ａの画面に示したように、カメラ入力の画像に含まれる映像コンテンツに、当該映像コンテンツに関連するサブコンテンツをオーバーレイ表示する。
The presentation processing unit 4 acquires an image of the video content displayed on the screen of another
〔位置・姿勢処理部３〕
次に、図２に示した位置・姿勢処理部３の処理の概要について説明する。図３は、位置・姿勢処理部３の処理の概要を示すフローチャートであり、図４は、位置・姿勢処理部３の処理の概要を説明する図であり、図５は、映像提示装置１の相対方位、距離、傾き値、位置及び姿勢を説明する図である。以下、映像提示装置１ａに備えた位置・姿勢処理部３が、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定する場合について説明する。
[Position / Attitude Processing Unit 3]
Next, the outline of the processing of the position /
図３及び図４を参照して、映像提示装置１ａの位置・姿勢処理部３は、まず、赤外線カメラを用いて、映像提示装置１ｂに備えた赤外線ＬＥＤを含む全方位赤外線画像を取得する（ステップＳ３０１）。そして、位置・姿勢処理部３は、全方位赤外線画像に基づいて、当該映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、赤外線ＬＥＤの点滅状態から映像提示装置１ｂのデバイスＩＤを検出する（ステップＳ３０２）。
With reference to FIG.3 and FIG.4, the position and attitude |
図５を参照して、映像提示装置１ａに対して予め設定された座標（ｘ軸、ｙ軸及びｚ軸）を想定する。映像提示装置１ａから見た映像提示装置１ｂの相対方位は、ｘｙｚ軸の空間において、映像提示装置１ａに備えた赤外線カメラの位置から、映像提示装置１ｂに備えた赤外線ＬＥＤ（後述する赤外線ＬＥＤ３６等）の位置への向きを示す。
With reference to FIG. 5, the coordinates (x axis, y axis, and z axis) preset for the
図３及び図４に戻って、映像提示装置１ａの位置・姿勢処理部３は、ステップＳ３０２にて検出した映像提示装置１ｂのデバイスＩＤに基づいてサーバ２へアクセスし、当該映像提示装置１ａとデバイスＩＤが検出された映像提示装置１ｂ（検出済み映像提示装置１ｂ）との間の通信路を確立する（ステップＳ３０３）。
3 and 4, the position /
映像提示装置１ａの位置・姿勢処理部３は、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位を受信する（ステップＳ３０４）。この場合、映像提示装置１ｂは、ステップＳ３０２と同様の処理により、映像提示装置１ｂから見た映像提示装置１ａの相対方位を検出済みであるものとする。
The position /
映像提示装置１ａの位置・姿勢処理部３は、映像提示装置１ａに備えた加速度センサー及び地磁気センサーを用いて、映像提示装置１ａの絶対的な傾き値（映像提示装置１ａに備えた加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を検出する（ステップＳ３０５）。そして、位置・姿勢処理部３は、映像提示装置１ｂから、映像提示装置１ｂの絶対的な傾き値（映像提示装置１ｂに備えた加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を受信する（ステップＳ３０６）。
The position /
図５を参照して、前述と同様に、映像提示装置１ａに対して予め設定された座標（ｘ軸、ｙ軸及びｚ軸）を想定する。加速度センサーによる絶対的な傾き値は、加速度の強さ及び方向を３次元の加速度ベクトル（ｘg，ｙg，ｚg）として表した値である。尚、映像提示装置１ａが静止している場合、加速度センサーによる絶対的な傾き値は、重力の方向（鉛直方向）を示す。映像提示装置１ａは、映像提示装置１ａが静止しているときの加速度センサーによる絶対的な傾き値を認識するものとし、また、映像提示装置１ｂから、映像提示装置１ｂが静止しているときの加速度センサーによる絶対的な傾き値を受信し、それを認識するものとする。例えば、映像提示装置１ａは、絶対的な傾き値が一定時間変化しないときに（一定時間かつ所定範囲内で変化しているときに）、その値を、鉛直方向の値として認識する。
With reference to FIG. 5, the coordinates (x axis, y axis, and z axis) set in advance for the
また、地磁気センサーによる絶対的な傾き値は、加速度の強さ及び方向を３次元の地磁気ベクトル（ｘc，ｙc，ｚc）として表した値である。尚、映像提示装置１ａが静止している場合、地磁気センサーによる絶対的な傾き値は、周囲の磁性体の影響を受けないときに、北磁極（または南磁極）方向を示す。映像提示装置１ａは、映像提示装置１ａが静止しているときの地磁気センサーによる絶対的な傾き値を認識するものとし、また、映像提示装置１ｂから、映像提示装置１ｂが静止しているときの地磁気センサーによる絶対的な傾き値を受信し、それを認識するものとする。映像提示装置１ａは、絶対的な傾き値が一定時間変化しないときに（一定時間かつ所定範囲内で変化しているときに）、その値を、北磁極（または南磁極）方向の値として認識する。以下、映像提示装置１ａが静止しているときの地磁気センサーによる絶対的な傾き値を北磁極方向の値として説明する。
In addition, the absolute inclination value by the geomagnetic sensor is a value representing the intensity and direction of acceleration as a three-dimensional geomagnetic vector (x c , y c , z c ). When the
図３及び図４に戻って、映像提示装置１ａの位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定し（ステップＳ３０７）、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定し、映像提示装置１ａから見た映像提示装置１ｂの位置を推定する（ステップＳ３０８）。尚、図３に示した同様の処理により、映像提示装置１ｂの位置・姿勢処理部３は、映像提示装置１ｂから見た映像提示装置１ａの位置及び姿勢を推定することができる。
3 and 4, the position /
図５を参照して、映像提示装置１ａと映像提示装置１ｂとの間の距離は、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤとの間の距離ｄを示す。また、映像提示装置１ａから見た映像提示装置１ｂの位置（相対位置）は、ｘｙｚ軸の空間において、映像提示装置１ａが存在する位置を基準として、映像提示装置１ｂに備えた赤外線ＬＥＤ（後述する赤外線ＬＥＤ３６等）の座標（ｘb，ｙb，ｚb）を示す。つまり、映像提示装置１ａから見た映像提示装置１ｂの位置は、映像提示装置１から見た映像提示装置１ｂの相対方位及び距離ｄにより定められる。
Referring to FIG. 5, the distance between the
また、映像提示装置１ａから見た映像提示装置１ｂの姿勢（相対姿勢）は、ｘｙｚ軸の空間において、例えばオイラー角のように、ｘｙｚ軸回りの回転を繰り返すことにより表した値である。映像提示装置１ａから見た映像提示装置１ｂの姿勢は、映像提示装置１ａの姿勢を基準として（映像提示装置１ａに対して予め設定されたｘｙｚ軸を基準として）、映像提示装置１ｂの傾きであるｘ軸に対する回転角度θxb、ｙ軸に対する回転角度θyb及びｚ軸に対する回転角度θzb、すなわち（θxb，θyb，θzb）を示す。
Further, the posture (relative posture) of the
〔サーバ２〕
次に、図１に示したサーバ２について説明する。図６は、サーバ２の構成を示すブロック図である。このサーバ２は、通信部２１及びデバイスＩＤデータベース２２を備えている。通信部２１は、ネットワークを介して映像提示装置１（映像提示装置１ａ，１ｂ等）と通信を行う。また、通信部２１は、映像提示装置１からのクエリーに基づいて、当該クエリーが示すデバイスＩＤのネットワークアドレスをデバイスＩＤデータベース２２から読み出し、読み出したネットワークアドレスを、クエリーを送信してきた映像提示装置１へ返信する。
[Server 2]
Next, the server 2 shown in FIG. 1 will be described. FIG. 6 is a block diagram showing the configuration of the server 2. The server 2 includes a
図７は、デバイスＩＤデータベース２２のデータ構成を示す図である。デバイスＩＤデータベース２２は、デバイスＩＤ及びネットワークアドレスが対となって構成される。
FIG. 7 is a diagram illustrating a data configuration of the
尚、サーバ２は、映像提示装置１からデバイスＩＤを含むクエリーを受信し、当該クエリーに対応するネットワークアドレスを、クエリーを送信してきた映像提示装置１へ返信するように構成したが、２台の映像提示装置１間の通信を仲介するように構成してもよい。
The server 2 is configured to receive a query including a device ID from the
次に、図２に示した位置・姿勢処理部３について、実施例１〜５を挙げて説明する。以下、映像提示装置１ａに備えた位置・姿勢処理部３が、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定する場合について説明する。
Next, the position /
〔実施例１／位置・姿勢処理部３〕
まず、実施例１の位置・姿勢処理部３について説明する。実施例１の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、並びに、絶対的な傾き値を検出する加速度センサー及び地磁気センサーを用いるものである。
[Example 1 / Position / Attitude Processing Unit 3]
First, the position /
図８は、実施例１の位置・姿勢処理部３の構成を示すブロック図である。この実施例１の位置・姿勢処理部３−１は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６，３７、通信部３８、傾き検出部３９及び位置・姿勢推定部４０を備えている。
FIG. 8 is a block diagram illustrating a configuration of the position /
図１３は、相対方位及びデバイスＩＤ検出処理を示すフローチャートであり、実施例１〜５共通の処理である。図１４は、通信路確立処理を示すフローチャートであり、実施例１〜５共通の処理である。図１５は、デバイスＩＤ出力処理を示すフローチャートである。図１６は、位置・姿勢推定処理を示すフローチャートであり、実施例１〜５共通の処理である。 FIG. 13 is a flowchart showing a relative orientation and device ID detection process, which is a process common to the first to fifth embodiments. FIG. 14 is a flowchart showing a communication path establishment process, which is a process common to the first to fifth embodiments. FIG. 15 is a flowchart showing device ID output processing. FIG. 16 is a flowchart showing a position / posture estimation process, which is a process common to the first to fifth embodiments.
（相対方位及びデバイスＩＤ検出処理）
まず、相対方位及びデバイスＩＤ検出処理について説明する。図８及び図１３を参照して、赤外線カメラ画像取得部３１は、赤外線カメラを用いて、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を含む全方位赤外線画像を取得する（ステップＳ１３０１）。
(Relative direction and device ID detection processing)
First, the relative orientation and device ID detection process will be described. With reference to FIG.8 and FIG.13, the infrared camera
方位検出部３２は、赤外線カメラ画像取得部３１により取得された全方位赤外線画像を入力し、全方位赤外線画像から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を検出する（ステップＳ１３０２）。映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７は、後述するように、映像提示装置１ｂのデバイスＩＤを反映して点滅する。方位検出部３２は、予め設定されたデバイスＩＤの点滅状態に照らして、所定時間の全方位赤外線画像から、映像提示装置１ｂのデバイスＩＤが反映された点滅状態を捉える。そして、方位検出部３２は、全方位赤外線画像において、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を検出し、その位置を特定する。
The
方位検出部３２は、ステップＳ１３０２にて検出した映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置に基づいて、映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ａに備えた赤外線カメラの位置から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置への向き）を検出する（ステップＳ１３０３）。
Based on the positions of the
例えば、方位検出部３２は、ＬＥＤ識別情報として、映像提示装置１ｂの赤外線ＬＥＤ３６，３７のそれぞれについて、全方位赤外線画像における赤外線ＬＥＤ３６，３７の位置の座標と、映像提示装置１ｂのデバイスＩＤ及びＬＥＤの番号とを対応付けた情報を保持する。また、方位検出部３２は、ＬＥＤ相対方位情報として、映像提示装置１ｂの赤外線ＬＥＤ３６，３７のそれぞれについて、全方位赤外線画像における赤外線ＬＥＤ３６，３７の位置の座標と、相対方位（映像提示装置１ａに備えた赤外線カメラの位置から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置への単位ベクトルまたは角度（水平角及び仰角））を保持する。
For example, the
以下では、特に断りがない限り、赤外線ＬＥＤ３６，３７の相対方位を単に相対方位と呼ぶことにする。すなわち、実施例１では、相対方位は、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７のそれぞれの相対方位を示し、後述する実施例２も同様である。後述する実施例３，４では、相対方位は、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位を示し、後述する実施例５では、相対方位は、映像提示装置１ａから見た映像提示装置１ｂに備えた球型赤外線ＬＥＤ４９の相対方位を示す。
Hereinafter, unless otherwise specified, the relative orientation of the
通信部３８は、方位検出部３２により検出された相対方位を入力し、映像提示装置１ｂからの要求（映像提示装置１ｂからデバイスＩＤを受信する等の要求）に従い、入力した相対方位を、ネットワーク（後述する図１４のステップＳ１４０２にて確立した通信路）を介して映像提示装置１ｂへ送信する。
The
デバイスＩＤデコード部３３は、赤外線カメラ画像取得部３１により取得された全方位赤外線画像を入力し、所定時間の全方位赤外線画像から、予め設定されたデバイスＩＤの点滅状態に照らして、映像提示装置１ｂのデバイスＩＤが反映された、映像提示装置１ｂに備えた赤外線ＬＥＤ３６の点滅状態を捉える。そして、デバイスＩＤデコード部３３は、点滅状態をデコードすることで、そのデバイスＩＤ（検出済みデバイスＩＤ）を検出する（ステップＳ１３０４）。
The device
また、デバイスＩＤデコード部３３は、全方位赤外線画像から、映像提示装置１ｂに備えた赤外線ＬＥＤ３６に加え、赤外線ＬＥＤ３７も検出し、赤外線ＬＥＤ３６，３７の位置をそれぞれ特定する。そして、デバイスＩＤデコード部３３は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を識別するためのＬＥＤ識別情報（全方位赤外線画像内の位置を特定可能な識別情報）を生成し、ＬＥＤ識別情報を後述する位置・姿勢推定部４０に出力する。
The device
（通信路確立処理）
次に、通信路確立処理について説明する。図８及び図１４を参照して、通信部３８は、デバイスＩＤデコード部３３により検出された検出済みデバイスＩＤを含むクエリーを生成し、当該クエリーをサーバ２へ送信することで、サーバ２へアクセスする（ステップＳ１４０１）。
(Communication channel establishment processing)
Next, the communication path establishment process will be described. With reference to FIG. 8 and FIG. 14, the
通信部３８は、サーバ２から、検出済みデバイスＩＤに対応するネットワークアドレス（映像提示装置１ｂのネットワークアドレス）を受信し、当該映像提示装置１ａと検出済み映像提示装置１ｂとの間の通信路を確立する（ステップＳ１４０２）。これにより、映像提示装置１ａと映像提示装置１ｂとの間で、必要なときに必要なデータを送受信することができる。映像提示装置１ａと映像提示装置１ｂとの間のデータ送受信は、サーバ２を介して行うようにしてもよいし、両装置間で直接行うようにしてもよい。
The
（デバイスＩＤ出力処理）
次に、デバイスＩＤ出力処理について説明する。図８及び図１５を参照して、デバイスＩＤエンコード部３５は、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出す（ステップＳ１５０１）。デバイスＩＤ記憶部３４には、当該映像提示装置１ａを識別するためのデバイスＩＤが格納されているものとする。そして、デバイスＩＤエンコード部３５は、デバイスＩＤをエンコードし、異なる２つの符号Ａ，Ｂを生成する（ステップＳ１５０２）。
(Device ID output processing)
Next, device ID output processing will be described. With reference to FIG.8 and FIG.15, the device
デバイスＩＤエンコード部３５は、ステップＳ１５０２にて生成した符号Ａを反映したパルス信号を赤外線ＬＥＤ３６に出力し、赤外線ＬＥＤ３６を点滅させる（ステップＳ１５０３）。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３６から、当該デバイスＩＤの符号Ａに従って点滅する赤外線パルスとして出力される。
The device
デバイスＩＤエンコード部３５は、ステップＳ１５０２にて生成した符号Ｂを反映したパルス信号を赤外線ＬＥＤ３７に出力し、赤外線ＬＥＤ３７を点滅させる（ステップＳ１５０４）。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３７から、当該デバイスＩＤの符号Ｂに従って点滅する赤外線パルスとして出力される。
The device
尚、映像提示装置１ｂは映像提示装置１ａと同じ構成であるから、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７からも同様に、映像提示装置１ｂのデバイスＩＤの符号Ａ，Ｂが反映された赤外線パルスがそれぞれ出力される。
Since the
（位置・姿勢推定処理）
次に、位置・姿勢推定処理について説明する。図８及び図１６を参照して、通信部３８は、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出し（ステップＳ１６０１）、読み出した映像提示装置１ａのデバイスＩＤを検出済み映像提示装置１ｂへ送信する（ステップＳ１６０２）。検出済み映像提示装置１ｂは、図１３に示したステップＳ１３０４にてデバイスＩＤが検出された装置である。
(Position / posture estimation processing)
Next, position / posture estimation processing will be described. 8 and 16, the
通信部３８は、映像提示装置１ｂからネットワーク（図１４のステップＳ１４０２にて確立した通信路）を介して、映像提示装置１ｂから見た映像提示装置１ａの相対方位を受信する（ステップＳ１６０３）。この場合、映像提示装置１ｂは、ステップＳ１６０２に対応して映像提示装置１ａのデバイスＩＤを受信することで、相対方位の送信要求を受けたものと判断し、映像提示装置１ｂから見た映像提示装置１ａの相対方位を映像提示装置１ａへ送信する。尚、映像提示装置１ｂは、映像提示装置１ｂによる図１３に示したステップＳ１３０３の処理にて、既に相対方位を検出済みであるものとする。
The
傾き検出部３９は、加速度センサー及び地磁気センサーを備えており、加速度センサーを用いて、映像提示装置１ａの加速度センサーによる絶対的な傾き値を検出すると共に、地磁気センサーを用いて、映像提示装置１ａの地磁気センサーによる絶対的な傾き値を検出する（ステップＳ１６０４）。また、通信部３８は、傾き検出部３９により検出された絶対的な傾き値を入力し、映像提示装置１ｂからの要求（映像提示装置１ｂからデバイスＩＤを受信する等の要求）に従い、入力した絶対的な傾き値（映像提示装置１ａの絶対的な傾き値）を、ネットワーク（図１４のステップＳ１４０２にて確立した通信路）を介して映像提示装置１ｂへ送信する。
The
通信部３８は、映像提示装置１ｂからネットワーク（図１４のステップＳ１４０２にて確立した通信路）を介して、映像提示装置１ｂの絶対的な傾き値を受信する（ステップＳ１６０５）。この場合、映像提示装置１ｂは、ステップＳ１６０２に対応して映像提示装置１ａのデバイスＩＤを受信することで、絶対的な傾き値の送信要求を受けたものと判断し、映像提示装置１ｂの絶対的な傾き値を映像提示装置１ａへ送信する。尚、映像提示装置１ｂは、当該映像提示装置１ｂによるステップＳ１６０４の処理にて、既に絶対的な傾き値を検出済みであるものとする。
The
位置・姿勢推定部４０は、赤外線カメラ画像取得部３１から全方位赤外線画像を、方位検出部３２から相対方位（映像提示装置１ａから見た映像提示装置１ｂの相対方位）を、デバイスＩＤデコード部３３からＬＥＤ識別情報を、傾き検出部３９から傾き値（映像提示装置１ａの絶対的な傾き値）を、通信部３８から相対方位（映像提示装置１ｂから見た映像提示装置１ａの相対方位）及び絶対的な傾き値（映像提示装置１ｂの絶対的な傾き値）をそれぞれ入力する。
The position /
位置・姿勢推定部４０は、映像提示装置１ａから見た映像提示装置１ｂの相対方位、映像提示装置１ｂから見た映像提示装置１ａの相対方位、映像提示装置１ａ，１ｂの絶対的な傾き値に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する（ステップＳ１６０６）。詳細については後述する。
The position /
位置・姿勢推定部４０は、全方位赤外線画像、ＬＥＤ識別情報、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び映像提示装置１ａから見た映像提示装置１ｂの姿勢に基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。詳細については後述する。そして、位置・姿勢推定部４０は、距離ｄ、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの位置を推定する（ステップＳ１６０７）。詳細については後述する。
The position /
図１７は、位置・姿勢推定部４０の構成を示すブロック図である。この図１７は、後述する実施例２の位置・姿勢推定部４３、実施例３の位置・姿勢推定部４５、実施例４の位置・姿勢推定部４８及び実施例５の位置・姿勢推定部５０の構成についても示している。位置・姿勢推定部４０は、距離推定部５１、位置推定部５６及び姿勢推定部５７を備えている。
FIG. 17 is a block diagram illustrating a configuration of the position /
尚、後述する実施例２の位置・姿勢推定部４３は、距離推定部５２、位置推定部５６及び姿勢推定部５７を備え、後述する実施例３の位置・姿勢推定部４５は、距離推定部５３、位置推定部５６及び姿勢推定部５７を備えている。後述する実施例４の位置・姿勢推定部４８は、位置推定部５６及び姿勢推定部５７を備え、距離推定部５１等に対応する構成部を備えていない。後述する実施例５の位置・姿勢推定部５０は、距離推定部５５、位置推定部５６及び姿勢推定部５７を備えている。
Note that a position /
（姿勢推定処理）
次に、姿勢推定処理について説明する。姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位、映像提示装置１ｂから見た映像提示装置１ａの相対方位、映像提示装置１ａの絶対的な傾き値及び映像提示装置１ｂの絶対的な傾き値を入力し、これらのデータに基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。
(Attitude estimation processing)
Next, posture estimation processing will be described. The
図２１は、姿勢推定部５７による姿勢推定処理を示すフローチャートである。このフローチャートは、実施例１〜５共通の処理である。姿勢推定部５７は、方位検出部３２から、映像提示装置１ａから見た映像提示装置１ｂの相対方位を入力すると共に（ステップＳ２１０１）、通信部３８から、映像提示装置１ｂから見た映像提示装置１ａの相対方位を入力する（ステップＳ２１０２）。映像提示装置１ｂから見た映像提示装置１ａの相対方位は、映像提示装置１ｂから受信したデータである。
FIG. 21 is a flowchart showing posture estimation processing by the
姿勢推定部５７は、傾き検出部３９から、映像提示装置１ａの絶対的な傾き値（加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を入力する（ステップＳ２１０３）。この場合、姿勢推定部５７は、映像提示装置１ａが静止しているときの加速度センサーによる絶対的な傾き値を、映像提示装置１ａの鉛直方向として認識する。また、姿勢推定部５７は、映像提示装置１ａが静止しているときの地磁気センサーによる絶対的な傾き値を、映像提示装置１ａの北磁極方向として認識する。例えば、姿勢推定部５７は、入力した加速度センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を鉛直方向として認識し、入力した地磁気センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を北磁極方向として認識する。尚、映像提示装置１ａが動いている場合であっても、映像提示装置１ａが静止しているときの映像提示装置１ｂの姿勢を推定する必要があることから、絶対的な傾き値は、所定時間の変化に対してローパスフィルターをかけた値としてもよい。
The
姿勢推定部５７は、通信部３８から、映像提示装置１ｂの絶対的な傾き値（加速度センサーによる絶対的な傾き値及び地磁気センサーによる絶対的な傾き値）を入力する（ステップＳ２１０４）。この場合、姿勢推定部５７は、映像提示装置１ｂが静止しているときの加速度センサーによる絶対的な傾き値を、映像提示装置１ｂの鉛直方向として認識する。また、姿勢推定部５７は、映像提示装置１ｂが静止しているときの地磁気センサーによる絶対的な傾き値を、映像提示装置１ｂの北磁極方向として認識する。例えば、姿勢推定部５７は、映像提示装置１ｂから通信部３８を介して入力した加速度センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を鉛直方向として認識し、映像提示装置１ｂから通信部３８を介して入力した地磁気センサーによる絶対的な傾き値が所定時間変化しない場合に、その絶対的な傾き値を北磁極方向として認識する。
The
姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向でないか否かを判定する（ステップＳ２１０５）。すなわち、姿勢推定部５７は、ステップＳ２１０１にて入力した相対方位が、ステップＳ２１０３にて認識した鉛直方向（映像提示装置１ａの鉛直方向）でないか否かを判定する。
The
姿勢推定部５７は、ステップＳ２１０５において、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向でないと判定した場合（ステップＳ２１０５：Ｙ）、映像提示装置１ａ，１ｂの鉛直方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位（例えば、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位（例えば、映像提示装置１ｂから見た映像提示装置１ａに備えた赤外線ＬＥＤ３６の相対方位）に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する（ステップＳ２１０６）。
If the
ここで、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する際に、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢のうち、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度以外の角度を推定することができる。これは、映像提示装置１ａから見た映像提示装置１ｂの相対方位が、映像提示装置１ａの基本姿勢を基準とした場合における映像提示装置１ｂの向きであり、映像提示装置１ｂから見た映像提示装置１ａの相対方位が、映像提示装置１ｂの基本姿勢を基準とした場合における映像提示装置１ａの向きだからである。
Here, when estimating the posture of the
しかし、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの姿勢のうち、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定することができない。そこで、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向でないことから、映像提示装置１ａ，１ｂの鉛直方向の情報を用いることで、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定することができる。これにより、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
However, the
姿勢推定部５７は、ステップＳ２１０５において、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向であると判定した場合（ステップＳ２１０５：Ｎ）、映像提示装置１ａ，１ｂの北磁極方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位（例えば、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位（例えば、映像提示装置１ｂから見た映像提示装置１ａに備えた赤外線ＬＥＤ３６の相対方位）に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する（ステップＳ２１０７）。
When the
ここで、姿勢推定部５７は、前述のとおり、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢のうち、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度以外の角度を推定できるが、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定できない。そこで、姿勢推定部５７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が鉛直方向であることから、映像提示装置１ａ，１ｂの鉛直方向の情報を用いる代わりに、映像提示装置１ａ，１ｂの北磁極方向の情報を用いることで、映像提示装置１ａ，１ｂ間の相対方位を軸とする回転角度を推定することができる。これにより、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
Here, as described above, the
図２５は、姿勢推定部５７による姿勢推定処理を説明する図である。この処理は、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する処理であり、実施例１〜５に共通である。図２５を参照して、映像提示装置１ａの中心を原点としたｘ，ｙ，ｚ軸の座標系、及び、映像提示装置１ｂの中心を原点としたｘ’，ｙ’，ｚ’軸の座標系を想定する。映像提示装置１ａにおいて、すなわちｘ，ｙ，ｚ軸の座標系において、映像提示装置１ａから見た映像提示装置１ｂの相対方位の単位ベクトルをｅ１、映像提示装置１ａの絶対的な傾き値を示す加速度ベクトルをＧ１とし、映像提示装置１ｂにおいて、すなわちｘ’，ｙ’，ｚ’軸の座標系において、映像提示装置１ｂから見た映像提示装置１ａの相対方位の単位ベクトルをｅ２、映像提示装置１ｂの絶対的な傾き値を示す加速度ベクトルをＧ２とする。
FIG. 25 is a diagram for explaining posture estimation processing by the
姿勢推定部５７は、ｘ，ｙ，ｚ軸の座標系において、映像提示装置１ａから見た映像提示装置１ｂの相対方位の単位ベクトルｅ１、及び映像提示装置１ａの加速度ベクトルＧ１と同じ平面に存在するベクトルであって、単位ベクトルｅ１と直交し、かつ加速度ベクトルＧ１と同じ向きの単位ベクトルｇ１を求める。そして、姿勢推定部５７は、単位ベクトルｅ１及び単位ベクトルｇ１の外積を演算し、その演算結果の符号を反転した単位ベクトルｈ１を求める。
In the coordinate system of the x, y, and z axes, the
姿勢推定部５７は、ｘ’，ｙ’，ｚ’軸の座標系において、映像提示装置１ｂから見た映像提示装置１ａの相対方位の単位ベクトルｅ２、及び映像提示装置１ｂの加速度ベクトルＧ２と同じ平面に存在するベクトルであって、単位ベクトルｅ２と直交し、かつ加速度ベクトルＧ２と同じ向きの単位ベクトルｇ２を求める。そして、姿勢推定部５７は、単位ベクトルｅ２及び単位ベクトルｇ２の外積を演算し、その演算結果の単位ベクトルｈ２を求める。
In the coordinate system of the x ′, y ′, and z ′ axes, the
姿勢推定部５７は、ｅ１，ｇ１，ｈ１軸の座標系と、−ｅ２，ｇ２，ｈ２軸の座標系とを同一の座標系とみなし、ｘ，ｙ，ｚ軸の座標系からｘ’，ｙ’，ｚ’軸の座標系への変換情報、すなわち、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。
The
このように、映像提示装置１ａ，１ｂの鉛直方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位を示す各ベクトルに基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
In this way, each vector indicating the vertical direction of the
尚、図２５において、映像提示装置１ａの加速度ベクトルＧ１の代わりに、映像提示装置１ａの地磁気ベクトルＧ１を用い、映像提示装置１ｂの加速度ベクトルＧ２の代わりに、映像提示装置１ｂの地磁気ベクトルＧ２を用いることにより、映像提示装置１ａ，１ｂの北磁極方向、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、映像提示装置１ｂから見た映像提示装置１ａの相対方位を示す各ベクトルに基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢が推定される。
Incidentally, in FIG. 25, in place of the acceleration vector G 1 of the
（距離推定処理）
次に、距離推定処理について説明する。図１８は、図１７に示した距離推定部５１〜５３，５５の入出力データ及び処理を説明する図である。図１７及び図１８（１）を参照して、実施例１の距離推定部５１は、全方位赤外線画像、ＬＥＤ識別情報、映像提示装置１ａから見た映像提示装置１ｂの相対方位、及び、姿勢推定部５７により推定された映像提示装置１ａから見た映像提示装置１ｂの姿勢（姿勢情報）を入力し、これらのデータに基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。尚、図１７において、実線の矢印は、実施例１におけるデータの流れを示す。
(Distance estimation processing)
Next, the distance estimation process will be described. 18 is a diagram for explaining input / output data and processing of the
図１９は、実施例１において距離ｄを推定する処理を説明する図である。映像提示装置１ｂに備えた赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離をａ、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離（映像提示装置１ａと映像提示装置１ｂとの間の距離）をｄ、赤外線カメラを基点とした赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の角度である方位角をθとする。また、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の線分に対して垂直となる線分を、赤外線ＬＥＤ３６を起点として、赤外線カメラと赤外線ＬＥＤ３７との間の線分に下ろして、その交点をＰとした場合に、赤外線ＬＥＤ３６と交点Ｐとの間の距離をｅとし、赤外線ＬＥＤ３６を基点とした赤外線ＬＥＤ３７と交点Ｐとの間の角度をφとする。ａは、予め設定された距離であり、ｄは、距離推定部５１により推定される距離である。
FIG. 19 is a diagram illustrating processing for estimating the distance d in the first embodiment. The distance between the
距離推定部５１は、全方位赤外線画像から、赤外線ＬＥＤ３６，３７の点滅状態を捉えてこれらを検出し、ＬＥＤ識別情報に基づいて、全方位赤外線画像における赤外線ＬＥＤ３６，３７の位置をそれぞれ特定する。ＬＥＤ識別情報は、前述のとおり、全方位赤外線画像内の位置を特定可能な赤外線ＬＥＤ３６，３７の識別情報である。
The
距離推定部５１は、全方位赤外線画像における赤外線ＬＥＤ３６の相対方位と赤外線ＬＥＤ３７の相対方位との間の差分を求めることにより、方位角θを算出する。前述のとおり、映像提示装置１ａから見た映像提示装置１ｂの相対方位には、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位、及び映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３７の相対方位が含まれる。
The
そして、距離推定部５１は、予め設定された計算式により、映像提示装置１ａから見た映像提示装置１ｂの相対方位、予め設定された赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離ａ、算出した方位角θ、及び姿勢推定部５７により推定された姿勢（映像提示装置１ａから見た映像提示装置１ｂの姿勢）に基づいて、距離ｄを推定する。
The
具体的には、距離推定部５１は、映像提示装置１ａから見た映像提示装置１ｂの相対方位及び姿勢に基づいて、図１９に示すように、赤外線カメラ及び赤外線ＬＥＤ３６，３７を頂点とした３次元空間上の三角形を形成し、赤外線ＬＥＤ３６を基点とした赤外線カメラと赤外線ＬＥＤ３７との間の角度を求める。そして、距離推定部５１は、この角度から９０°を減算して角度φを求め、距離ａ及び角度φから距離ｅを求め、距離ｅ及び方位角θから距離ｄを推定する。
Specifically, based on the relative orientation and orientation of the
（位置推定処理）
次に、位置推定処理について説明する。図１７に戻って、位置推定部５６は、距離推定部５１から、映像提示装置１ａと映像提示装置１ｂとの間の距離、すなわち映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離ｄを入力すると共に、映像提示装置１ａから見た映像提示装置１ｂの相対方位を入力する。そして、位置推定部５６は、入力した距離ｄ及び相対方位に基づいて、図５に示したとおり、映像提示装置１ａから見た映像提示装置１ｂの位置を推定する。
(Position estimation process)
Next, the position estimation process will be described. Returning to FIG. 17, the
以上のように、実施例１の位置・姿勢処理部３−１を備えた映像提示装置１ａによれば、位置・姿勢処理部３−１のデバイスＩＤエンコード部３５は、映像提示装置１ａのデバイスＩＤをエンコードした符号Ａにて赤外線ＬＥＤ３６を点滅させ、符号Ｂにて赤外線ＬＥＤ３７を点滅させるようにした。また、赤外線カメラ画像取得部３１は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を含む全方位赤外線カメラ画像を取得し、方位検出部３２は、全方位赤外線カメラ画像から、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出するようにした。また、デバイスＩＤデコード部３３は、全方位赤外線カメラ画像から映像提示装置１ｂのデバイスＩＤを検出し、通信部３８は、映像提示装置１ｂのデバイスＩＤに基づいて、ネットワークを介してサーバ２へアクセスし、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立するようにした。また、傾き検出部３９は、映像提示装置１ａの絶対的な傾き値を検出するようにした。また、通信部３８は、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位及び映像提示装置１ｂの絶対的な傾き値を受信するようにした。
As described above, according to the
そして、位置・姿勢推定部４０は、映像提示装置１ａから見た映像提示装置１ｂの相対方位、映像提示装置１ｂから見た映像提示装置１ａの相対方位、映像提示装置１ａ，１ｂの絶対的な傾き値に基づいて、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４０は、全方位赤外線画像から赤外線ＬＥＤ３６，３７の位置を特定し、赤外線ＬＥＤ３６，３７の相対方位に基づいて方位角θを算出し、映像提示装置１ａから見た映像提示装置１ｂの相対方位、予め設定された赤外線ＬＥＤ３６，３７の実際の距離ａ、方位角θ、及び映像提示装置１ａから見た映像提示装置１ｂの姿勢に基づいて、映像提示装置１ａ，１ｂの距離ｄを推定する。また、位置・姿勢推定部４０は、映像提示装置１ａ，１ｂの距離ｄ、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位に基づいて、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
The position /
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、カメラ（映像提示サービスを実現する画像を取得するための提示処理部４にて用いるカメラ）の撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、赤外線カメラが映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を撮影することができれば、映像提示装置１ｂの位置及び姿勢を推定することができる。したがって、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
Thus, the position and orientation of the
また、カメラ（映像提示サービスを実現する画像を取得するための提示処理部４にて用いるカメラ）を用いることなく、赤外線カメラ等の複数のセンサーを用いることで、映像提示装置１ｂの位置及び姿勢を推定するようにしたから、前述の特許文献１,２のような複雑な画像処理（マーカー等が含まれる画像に対して行う処理）が不要になる。したがって、低負荷の処理にて、例えば“Ａｕｇｍｅｎｔｅｄ ＴＶ”等の映像提示サービスを実現することが可能となる。
Further, the position and orientation of the
また、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢が推定されるから、例えば、映像提示装置１ｂの画面を周囲に延長して映像コンテンツを提示することができ、映像提示装置１ａ，１ｂの位置関係を考慮したインタラクションの映像コンテンツを提示することができる。
In addition, since the position and orientation of the
また、例えば、ユーザが操作する映像提示装置１ａをルーペのように扱って、映像提示装置１ａの画面に表示された映像提示装置１ｂの映像コンテンツの一部を拡大したり、等倍で見易くしたりするサービスが考えられる。具体的には、映像提示装置１ａの提示処理部４は、カメラにより取得した画面である映像提示装置１ｂの映像コンテンツの一部を特定し、その一部のデータを、ネットワークを介して映像提示装置１ｂから受信し、拡大表示等する。
Further, for example, the
〔実施例２／位置・姿勢処理部３〕
次に、実施例２の位置・姿勢処理部３について説明する。実施例２の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、絶対的な傾き値を検出する加速度センサー及び地磁気センサー、並びに、映像提示装置１ｂに備えた２つの赤外線ＬＥＤが点滅する位相差を検出する赤外線受光センサーを用いるものである。
[Example 2 / Position / Attitude Processing Unit 3]
Next, the position /
図９は、実施例２の位置・姿勢処理部３の構成を示すブロック図である。この実施例２の位置・姿勢処理部３−２は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６，３７、通信部３８、傾き検出部３９、位相差検出部４１、距離差推定部４２及び位置・姿勢推定部４３を備えている。
FIG. 9 is a block diagram illustrating a configuration of the position /
尚、赤外線カメラ画像取得部３１に備えた赤外線カメラと、位相差検出部４１に備えたセンサーとは、距離ｄを推定する処理等を行う上で所定誤差に収まるように、十分に近い位置に設けられているものとする。後述する実施例３等においても、赤外線カメラと各種センサーとは十分に近い位置に設けられているものとする。
The infrared camera provided in the infrared camera
実施例２の位置・姿勢処理部３−２と図８に示した実施例１の位置・姿勢処理部３−１とを比較すると、実施例２の位置・姿勢処理部３−２は、実施例１と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６，３７、通信部３８及び傾き検出部３９を備えているが、実施例１の位置・姿勢推定部４０の代わりに、位相差検出部４１、距離差推定部４２及び位置・姿勢推定部４３を備えている点で相違する。
Comparing the position / posture processing unit 3-2 of the second embodiment with the position / posture processing unit 3-1 of the first embodiment shown in FIG. 8, the position / posture processing unit 3-2 of the second embodiment As in Example 1, an infrared camera
（相対方位及びデバイスＩＤ検出処理、通信路確立処理）
位置・姿勢処理部３−２は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。
(Relative direction and device ID detection processing, communication path establishment processing)
The position / posture processing unit 3-2 performs the same processing as the relative orientation and device ID detection processing of the first embodiment shown in FIG. 13 and the same processing as the communication path establishment processing of the first embodiment shown in FIG. I do.
（デバイスＩＤ出力処理）
位置・姿勢処理部３−２は、図１５に示した実施例１のデバイスＩＤ出力処理とは異なる処理を行う。図１５に示した実施例１のデバイスＩＤ出力処理では、異なる符号Ａ，Ｂに基づいて赤外線ＬＥＤ３６，３７を点滅させるようにしたが、実施例２のデバイスＩＤ出力処理では、同じ符号Ａに基づいて赤外線ＬＥＤ３６，３７を点滅させる。
(Device ID output processing)
The position / posture processing unit 3-2 performs processing different from the device ID output processing according to the first embodiment illustrated in FIG. In the device ID output process of the first embodiment illustrated in FIG. 15, the
具体的には、位置・姿勢処理部３−２のデバイスＩＤエンコード部３５は、図１５のステップＳ１５０１と同様に、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出し、デバイスＩＤをエンコードし、符号Ａを生成する。そして、デバイスＩＤエンコード部３５は、符号Ａを反映したパルス信号を赤外線ＬＥＤ３６，３７に出力し、赤外線ＬＥＤ３６，３７を同じ位相にて点滅させる。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３６，３７から、当該デバイスＩＤの符号Ａに従って同じ位相で点滅する赤外線パルスとして出力され、赤外線ＬＥＤ３６，３７は、当該映像提示装置１ａにおいて同じタイミングの点滅状態となる。
Specifically, the device
（位置・姿勢推定処理）
位置・姿勢処理部３−２は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
(Position / posture estimation processing)
The position / posture processing unit 3-2 performs the same process as the position / posture estimation process of the first embodiment illustrated in FIG. 16 as a whole, but in detail, what is the distance estimation method in step S1607 of FIG. The distance d is estimated by a different method.
（距離推定処理）
図９を参照して、位相差検出部４１は、図示しない赤外線受光センサーを備えており、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７から出力される赤外線を受光し、両赤外線の点滅状態に基づいて、そのタイミング差を求め、両信号の位相差を検出する。映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７は、同じ符号Ａ（映像提示装置１ｂのデバイスＩＤから生成された符号Ａ）に基づいて点滅しており、位相差検出部４１は、映像提示装置１ａから見た映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の位置（映像提示装置１ａに備えた位相差検出部４１から映像提示装置１ｂに備えた赤外線ＬＥＤ３６までの距離、及び映像提示装置１ａに備えた位相差検出部４１から映像提示装置１ｂに備えた赤外線ＬＥＤ３７までの距離）に応じて、赤外線ＬＥＤ３６，３７から異なる位相の赤外線を受光する。したがって、位相差検出部４１は、位相差を検出することができる。
(Distance estimation processing)
Referring to FIG. 9, the phase
距離差推定部４２は、位相差検出部４１により検出された位相差を入力し、位相差に基づいて、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７との間の距離差（後述する図２０に示す距離差ｆ）を推定する。位相差と距離差とは、位相差が大きい場合は距離差も大きくなり、位相差が小さい場合は距離差も小さくなる関係にある。距離差推定部４２は、位相差と距離差とが定義されたテーブルまたは計算式を用いて、位相差から距離差を推定する。
The distance
図１７を参照して、実施例２の位置・姿勢推定部４３は、距離推定部５２、位置推定部５６及び姿勢推定部５７を備えている。位置推定部５６及び姿勢推定部５７の処理は、実施例１と同様であるから、ここでは説明を省略する。
With reference to FIG. 17, the position /
図１７及び図１８（２）を参照して、実施例２の距離推定部５２は、全方位赤外線画像、ＬＥＤ識別情報、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位を入力すると共に、距離差推定部４２により推定された距離差を入力し、これらのデータに基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。
With reference to FIGS. 17 and 18 (2), the
尚、デバイスＩＤデコード部３３がＬＥＤ識別情報を生成するために、赤外線ＬＥＤ３６，３７は、同じ符号Ａに基づいて点滅する時間内の所定時間間隔において、異なる符号Ａ，Ｂに基づいて点滅するものとする。
In addition, in order for the device
図２０は、実施例２において距離ｄを推定する処理を説明する図である。映像提示装置１ｂに備えた赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離をａ、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離（映像提示装置１ａと映像提示装置１ｂとの間の距離）をｄ、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３７との間の距離を（ｄ＋ｆ）、赤外線カメラを基点とした赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の角度である方位角をθとする。ａは、予め設定された距離であり、ｆは、距離差推定部４２により推定される距離差であり、ｄは、距離推定部５２により推定される距離である。
FIG. 20 is a diagram illustrating processing for estimating the distance d in the second embodiment. The distance between the
距離推定部５２は、全方位赤外線画像から、赤外線ＬＥＤ３６，３７の点滅状態を捉えてこれらを検出し、ＬＥＤ識別情報に基づいて、赤外線ＬＥＤ３６，３７の位置をそれぞれ特定する。
The
距離推定部５１は、全方位赤外線画像における赤外線ＬＥＤ３６の相対方位と赤外線ＬＥＤ３７の相対方位との間の差分を求めることにより、方位角θを算出する。
The
そして、距離推定部５２は、以下の式により、予め設定された赤外線ＬＥＤ３６と赤外線ＬＥＤ３７との間の距離ａ、算出した方位角θ、及び入力した距離差ｆに基づいて、距離ｄを推定する。
ａ２＝ｄ２＋（ｄ＋ｆ）２−２ｄ（ｄ＋ｆ）ｃｏｓθ ・・・（１）
Then, the
a 2 = d 2 + (d + f) 2 −2d (d + f) cos θ (1)
以上のように、実施例２の位置・姿勢処理部３−２を備えた映像提示装置１ａによれば、位置・姿勢処理部３−２は、符号Ａにて赤外線ＬＥＤ３６，３７を点滅させ、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂの絶対的な傾き値を受信するようにした。
As described above, according to the
そして、位相差検出部４１は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６，３７の点滅の位相差を検出し、距離差推定部４２は、位相差から赤外線ＬＥＤ３６，３７の距離差ｆを推定するようにした。位置・姿勢推定部４３は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４３は、全方位赤外線画像から赤外線ＬＥＤ３６，３７の位置を特定し、赤外線ＬＥＤ３６の相対方位と赤外線ＬＥＤ３７の相対方位とに基づいて方位角θを算出し、予め設定された赤外線ＬＥＤ３６，３７の実際の距離ａ、方位角θ、距離差ｆに基づいて、前記（１）式により、距離ｄを推定する。また、位置・姿勢推定部４３は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
And the phase
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。特に、映像提示装置１ａが、映像提示装置１ｂから見た映像提示装置１ａの相対方位を映像提示装置１ｂから受信することができないタイミングがあっても、距離ｄを推定することができる。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
Thus, the position and orientation of the
〔実施例３／位置・姿勢処理部３〕
次に、実施例３の位置・姿勢処理部３について説明する。実施例３の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、絶対的な傾き値を検出する加速度センサー及び地磁気センサー、並びに、映像提示装置１ｂの距離画像を取得する全方位距離画像センサーを用いるものである。
[Example 3 / Position / Attitude Processing Unit 3]
Next, the position /
図１０は、実施例３の位置・姿勢処理部３の構成を示すブロック図である。この実施例３の位置・姿勢処理部３−３は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８、傾き検出部３９、距離画像取得部４４及び位置・姿勢推定部４５を備えている。
FIG. 10 is a block diagram illustrating a configuration of the position /
実施例３の位置・姿勢処理部３−３と図８に示した実施例１の位置・姿勢処理部３−１とを比較すると、実施例３の位置・姿勢処理部３−３は、実施例１と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８及び傾き検出部３９を備えているが、実施例１の赤外線ＬＥＤ３７を備えておらず、実施例１の位置・姿勢推定部４０の代わりに、距離画像取得部４４及び位置・姿勢推定部４５を備えている点で相違する。
When the position / posture processing unit 3-3 of the third embodiment is compared with the position / posture processing unit 3-1 of the first embodiment shown in FIG. Similar to Example 1, an infrared camera
（相対方位及びデバイスＩＤ検出処理、通信路確立処理）
位置・姿勢処理部３−３は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。
(Relative direction and device ID detection processing, communication path establishment processing)
The position / posture processing unit 3-3 performs the same processing as the relative orientation and device ID detection processing of the first embodiment shown in FIG. 13, and the same processing as the communication path establishment processing of the first embodiment shown in FIG. I do.
（デバイスＩＤ出力処理）
位置・姿勢処理部３−３は、図１５に示した実施例１のデバイスＩＤ出力処理とは異なる処理を行う。図１５に示した実施例１のデバイスＩＤ出力処理では、２つの赤外線ＬＥＤ３６，３７を点滅させるようにしたが、実施例３のデバイスＩＤ出力処理では、１つの赤外線ＬＥＤ３６を点滅させる。
(Device ID output processing)
The position / posture processing unit 3-3 performs processing different from the device ID output processing according to the first embodiment illustrated in FIG. In the device ID output process of the first embodiment shown in FIG. 15, the two
具体的には、位置・姿勢処理部３−３のデバイスＩＤエンコード部３５は、図１５のステップＳ１５０１と同様に、デバイスＩＤ記憶部３４から当該映像提示装置１ａのデバイスＩＤを読み出し、デバイスＩＤをエンコードし、符号Ａを生成する。そして、デバイスＩＤエンコード部３５は、符号Ａを反映したパルス信号を赤外線ＬＥＤ３６に出力し、赤外線ＬＥＤ３６を点滅させる。これにより、映像提示装置１ａのデバイスＩＤは、赤外線ＬＥＤ３６から、当該デバイスＩＤの符号Ａに従って点滅する赤外線パルスとして出力される。
Specifically, the device
（位置・姿勢推定処理）
位置・姿勢処理部３−３は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
(Position / posture estimation processing)
The position / posture processing unit 3-3 performs the same process as the position / posture estimation process of the first embodiment illustrated in FIG. 16 as a whole, but more specifically, the distance estimation method in step S1607 of FIG. The distance d is estimated by a different method.
（距離推定処理）
図１０を参照して、距離画像取得部４４は、図示しない全方位距離画像センサーを備えており、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位距離画像を取得する。全方位距離画像センサーは、赤外線を対象物に照射し、反射して帰ってくるまでの時間を測定することで得られた距離の画像を得る測定器である。
(Distance estimation processing)
Referring to FIG. 10, the distance
図１７を参照して、実施例３の位置・姿勢推定部４５は、距離推定部５３、位置推定部５６及び姿勢推定部５７を備えている。位置推定部５６及び姿勢推定部５７の処理は、実施例１と同様であるから、ここでは説明を省略する。尚、実施例３の位置・姿勢推定部４５は、ＬＥＤ識別情報を入力しない。後述する実施例４の位置・姿勢推定部４８及び実施例５の位置・姿勢推定部５０についても同様である。
With reference to FIG. 17, the position /
図１７及び図１８（３）を参照して、実施例３の距離推定部５３は、映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）を入力すると共に、距離画像取得部４４により取得された全方位距離画像を入力する。そして、距離推定部５３は、全方位距離画像から、映像提示装置１ｂまでの間の距離を特定する。そして、距離推定部５３は、映像提示装置１ｂまでの間の距離のうち、映像提示装置１ａから見た映像提示装置１ｂの相対方位が示す方向の距離を、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄとして推定する。
With reference to FIG. 17 and FIG. 18 (3), the
以上のように、実施例３の位置・姿勢処理部３−３を備えた映像提示装置１ａによれば、位置・姿勢処理部３−３は、符号Ａにて赤外線ＬＥＤ３６を点滅させ、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位及び映像提示装置１ｂの絶対的な傾き値を受信するようにした。
As described above, according to the
そして、距離画像取得部４４は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位距離画像を取得するようにした。そして、位置・姿勢推定部４５は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４５は、映像提示装置１ｂから見た映像提示装置１ａの相対方位、及び全方位距離画像から得た映像提示装置１ｂまでの間の距離に基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。そして、位置・姿勢推定部４５は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
And the distance
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
Thus, the position and orientation of the
〔実施例４／位置・姿勢処理部３〕
次に、実施例４の位置・姿勢処理部３について説明する。実施例４の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた赤外線ＬＥＤを撮影する赤外線カメラ、絶対的な傾き値を検出する加速度センサー及び地磁気センサー、並びに、映像提示装置１ｂとの間の距離を計測するレーザーセンサーを用いるものである。
[Example 4 / Position / Attitude Processing Unit 3]
Next, the position /
図１１は、実施例４の位置・姿勢処理部３の構成を示すブロック図である。この実施例４の位置・姿勢処理部３−４は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８、傾き検出部３９、再帰性反射部４６、レーザー距離計部４７及び位置・姿勢推定部４８を備えている。
FIG. 11 is a block diagram illustrating a configuration of the position /
実施例４の位置・姿勢処理部３−４と図１０に示した実施例３の位置・姿勢処理部３−３とを比較すると、実施例４の位置・姿勢処理部３−４は、実施例３と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、赤外線ＬＥＤ３６、通信部３８及び傾き検出部３９を備えているが、実施例３の距離画像取得部４４及び位置・姿勢推定部４５の代わりに、再帰性反射部４６、レーザー距離計部４７及び位置・姿勢推定部４８を備えている点で相違する。
When the position / posture processing unit 3-4 of the fourth embodiment and the position / posture processing unit 3-3 of the third embodiment shown in FIG. 10 are compared, the position / posture processing unit 3-4 of the fourth embodiment As in Example 3, an infrared camera
（相対方位及びデバイスＩＤ検出処理、通信路確立処理、デバイスＩＤ出力処理）
位置・姿勢処理部３−４は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。また、位置・姿勢処理部３−４は、実施例３のデバイスＩＤ出力処理と同様の処理を行う。
(Relative direction and device ID detection processing, communication path establishment processing, device ID output processing)
The position / posture processing unit 3-4 performs processing similar to the relative orientation and device ID detection processing of the first embodiment illustrated in FIG. 13 and processing similar to the communication path establishment processing of the first embodiment illustrated in FIG. I do. The position / posture processing unit 3-4 performs the same process as the device ID output process of the third embodiment.
（位置・姿勢推定処理）
位置・姿勢処理部３−４は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
(Position / posture estimation processing)
The position / posture processing unit 3-4 as a whole performs the same processing as the position / posture estimation processing of the first embodiment shown in FIG. 16, but more specifically, the distance estimation method in step S1607 of FIG. The distance d is estimated by a different method.
（距離推定処理）
図１１を参照して、レーザー距離計部４７は、図示しないレーザーセンサーを備えており、方位検出部３２から、映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ｂに備えた赤外線ＬＥＤ３６の相対方位）を入力し、入力した相対方位に基づいて、映像提示装置１ｂに備えた再帰性反射部４６の方向を特定し、レーザーセンサーから、特定した方向へレーザーを発光し、映像提示装置１ｂに備えた再帰性反射部４６に反射させる。レーザー距離計部４７は、レーザーセンサーにて、映像提示装置１ｂに備えた再帰性反射部４６に反射したレーザーを受光し、発光してから受光するための間の時間を測定することで、レーザー距離を計測する。レーザー距離計部４７により計測されたレーザー距離は、位置・姿勢推定部４８において、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄとして用いられる。
(Distance estimation processing)
Referring to FIG. 11, the laser
図１７を参照して、実施例４の位置・姿勢推定部４８は、位置推定部５６及び姿勢推定部５７を備えている。実施例４の位置・姿勢推定部４８は、実施例１〜４の位置・姿勢推定部４０，４３，４５及び後述する実施例５の位置・姿勢推定部５０と異なり、距離推定部５１〜５３，５５に相当する構成部を備えていない。このため、図１８には、実施例４について示していない。
With reference to FIG. 17, the position /
図１７を参照して、実施例４の位置推定部５６は、距離ｄの代わりにレーザー距離を入力し、入力したレーザー距離を距離ｄとして扱う。実施例４の位置推定部５６におけるその他の処理は、実施例１と同様であり、また、実施例４の姿勢推定部５７における処理は、実施例１と同様であるから、ここでは説明を省略する。
Referring to FIG. 17, the
以上のように、実施例４の位置・姿勢処理部３−４を備えた映像提示装置１ａによれば、位置・姿勢処理部３−４は、符号Ａにて赤外線ＬＥＤ３６を点滅させ、映像提示装置１ｂに備えた赤外線ＬＥＤ３６を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂから見た映像提示装置１ａの相対方位及び映像提示装置１ｂの絶対的な傾き値を受信するようにした。
As described above, according to the
そして、レーザー距離計部４７は、映像提示装置１ａから見た映像提示装置１ｂの相対方位が示す方向へレーザーを発光し、映像提示装置１ｂに備えた再帰性反射部４６に反射させ、反射したレーザーを受光し、レーザー距離を計測するようにした。そして、位置・姿勢推定部４８は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部４８は、レーザー距離を、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄとして入力し、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
Then, the laser
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
Thus, the position and orientation of the
〔実施例５／位置・姿勢処理部３〕
次に、実施例５の位置・姿勢処理部３について説明する。実施例５の位置・姿勢処理部３は、映像提示装置１ａから見た映像提示装置１ｂの位置及び姿勢を推定するために、映像提示装置１ｂに備えた球型赤外線ＬＥＤを撮影する赤外線カメラ、並びに、絶対的な傾き値を検出する加速度センサー及び地磁気センサーを用いるものである。
[Example 5 / Position / Attitude Processing Unit 3]
Next, the position /
図１２は、実施例５の位置・姿勢処理部３の構成を示すブロック図である。この実施例５の位置・姿勢処理部３−５は、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、通信部３８、傾き検出部３９、球型赤外線ＬＥＤ４９及び位置・姿勢推定部５０を備えている。
FIG. 12 is a block diagram illustrating a configuration of the position /
実施例５の位置・姿勢処理部３−５と図１０に示した実施例３の位置・姿勢処理部３−３とを比較すると、実施例５の位置・姿勢処理部３−５は、実施例３と同様に、赤外線カメラ画像取得部３１、方位検出部３２、デバイスＩＤデコード部３３、デバイスＩＤ記憶部３４、デバイスＩＤエンコード部３５、通信部３８及び傾き検出部３９を備えているが、実施例３の赤外線ＬＥＤ３６の代わりに球型赤外線ＬＥＤ４９を備え、実施例３の距離画像取得部４４及び位置・姿勢推定部４５の代わりに、位置・姿勢推定部５０を備えている点で相違する。
When the position / posture processing unit 3-5 of the fifth embodiment is compared with the position / posture processing unit 3-3 of the third embodiment shown in FIG. 10, the position / posture processing unit 3-5 of the fifth embodiment As in Example 3, it includes an infrared camera
（相対方位及びデバイスＩＤ検出処理、通信路確立処理、デバイスＩＤ出力処理）
位置・姿勢処理部３−５は、図１３に示した実施例１の相対方位及びデバイスＩＤ検出処理と同様の処理を行い、図１４に示した実施例１の通信路確立処理と同様の処理を行う。また、位置・姿勢処理部３−５は、赤外線ＬＥＤ３６の代わりに球型赤外線ＬＥＤ４９を用いて、実施例３のデバイスＩＤ出力処理と同様の処理を行う。
(Relative direction and device ID detection processing, communication path establishment processing, device ID output processing)
The position / posture processing unit 3-5 performs the same processing as the relative orientation and device ID detection processing of the first embodiment shown in FIG. 13, and the same processing as the communication path establishment processing of the first embodiment shown in FIG. I do. The position / posture processing unit 3-5 performs the same process as the device ID output process of the third embodiment using the spherical
球型赤外線ＬＥＤ４９は、赤外線ＬＥＤ３６よりもサイズが大きい。また、当該映像提示装置１ａにより取得される全方位赤外線画像に含まれる球型赤外線ＬＥＤ４９のサイズ（例えば直径）は、他の映像提示装置１ｂとの間の距離に応じて変化する。
The spherical
（位置・姿勢推定処理）
位置・姿勢処理部３−５は、全体として、図１６に示した実施例１の位置・姿勢推定処理と同様の処理を行うが、詳細には、図１６のステップＳ１６０７における距離推定手法とは異なる手法にて距離ｄを推定する。
(Position / posture estimation processing)
The position / posture processing unit 3-5 as a whole performs the same processing as the position / posture estimation processing of the first embodiment shown in FIG. 16, but in detail, what is the distance estimation method in step S1607 of FIG. The distance d is estimated by a different method.
（距離推定処理）
図１７を参照して、実施例５の位置・姿勢推定部５０は、距離推定部５５、位置推定部５６及び姿勢推定部５７を備えている。位置推定部５６及び姿勢推定部５７の処理は、実施例１と同様であるから、ここでは説明を省略する。
(Distance estimation processing)
Referring to FIG. 17, the position /
図１７及び図１８（４）を参照して、実施例５の距離推定部５５は、全方位赤外線画像、及び映像提示装置１ａから見た映像提示装置１ｂの相対方位（映像提示装置１ｂに備えた球型赤外線ＬＥＤ４９の相対方位）を入力する。そして、距離推定部５５は、全方位赤外線画像から、球型赤外線ＬＥＤ４９の点滅状態を捉えて球型赤外線ＬＥＤ４９を検出し、球型赤外線ＬＥＤ４９の画像上のサイズ（例えば直径のピクセル数）を算出する。
With reference to FIG. 17 and FIG. 18 (4), the
距離推定部５５は、算出した球型赤外線ＬＥＤ４９の画像上のサイズ、及び予め設定された球型赤外線ＬＥＤ４９の実際のサイズ（例えば直径）に基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。算出した球型赤外線ＬＥＤ４９の画像上のサイズと、推定する距離ｄとの間の関係は、球型赤外線ＬＥＤ４９の画像上のサイズが大きいほど距離ｄは短くなり、球型赤外線ＬＥＤ４９の画像上のサイズが小さいほど距離ｄは長くなる。例えば、距離推定部５５は、予め設定された球型赤外線ＬＥＤ４９の実際のサイズに対する、算出した球型赤外線ＬＥＤ４９の画像上のサイズの比率と、距離ｄとの関係を定義したテーブルまたは計算式を用いて、距離ｄを推定する。
The
以上のように、実施例５の位置・姿勢処理部３−５を備えた映像提示装置１ａによれば、位置・姿勢処理部３−５は、符号Ａにて球型赤外線ＬＥＤ４９を点滅させ、映像提示装置１ｂに備えた球型赤外線ＬＥＤ４９を含む全方位赤外線カメラ画像を取得し、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出し、映像提示装置１ｂのデバイスＩＤを検出し、映像提示装置１ａと映像提示装置１ｂとの間の通信路を確立し、映像提示装置１ａの絶対的な傾き値を検出し、映像提示装置１ｂから、映像提示装置１ｂの絶対的な傾き値を受信するようにした。
As described above, according to the
そして、位置・姿勢推定部５０は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの姿勢を推定する。また、位置・姿勢推定部５０は、全方位赤外線画像から球型赤外線ＬＥＤ４９を検出して球型赤外線ＬＥＤ４９の画像上のサイズを算出し、球型赤外線ＬＥＤ４９の画像上のサイズ、及び予め設定された球型赤外線ＬＥＤ４９の実際のサイズに基づいて、映像提示装置１ａと映像提示装置１ｂとの間の距離ｄを推定する。また、位置・姿勢推定部５０は、実施例１の位置・姿勢推定部４０と同様に、映像提示装置１ａから見た映像提示装置１ｂの位置を推定するようにした。
Then, the position /
このように、赤外線カメラ等の複数のセンサーを用いて、検出対象の映像提示装置１ｂの位置及び姿勢を推定するようにした。これにより、実施例１と同様の効果を奏する。特に、映像提示装置１ａが、映像提示装置１ｂから見た映像提示装置１ａの相対方位を映像提示装置１ｂから受信することができないタイミングがあっても、距離ｄを推定することができる。したがって、カメラの撮影範囲内にその映像提示装置１ｂの画面が存在しない場合であっても、映像提示装置１ｂの位置及び姿勢を推定することができ、このように推定した位置及び姿勢の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
Thus, the position and orientation of the
〔映像提示装置／他の実施形態〕
次に、本発明の他の実施形態による映像提示装置１’について説明する。本発明の他の実施形態による映像提示装置１’を含む映像提示システムは、図１と同じ使用形態及び構成の下で、映像提示装置１’ｂが、第１の映像コンテンツを画面表示し、映像提示装置１’ａを操作するユーザが、映像提示装置１’ａに内蔵されたカメラを用いて映像提示装置１’ｂの画面を撮像し、映像提示装置１’ａが、カメラ入力の画像に含まれる第１の映像コンテンツに、第１の映像コンテンツに関連する第２の映像コンテンツを組み合わせることにより、１つの映像コンテンツを構成することを前提とする。
[Video Presentation Device / Other Embodiments]
Next, a
本発明の他の実施形態では、このような新たな映像表現を可能とする映像提示サービスを実現するために、２つの画面を組み合わせて１つの映像コンテンツを構成する際に、映像提示装置１’ａから見た映像提示装置１’ｂの位置及び姿勢を推定すると共に、映像提示装置１’ａを操作するユーザの視点位置を推定する。
In another embodiment of the present invention, in order to realize such a video presentation service that enables a new video expression, when one video content is configured by combining two screens, the
図２２は、本発明の他の実施形態による映像提示装置１’の構成を示すブロック図である。この映像提示装置１’は、位置・姿勢処理部３、視点位置処理部５及び提示処理部６を備えている。また、図２２には図示していないが、映像提示装置１’は、さらに、図２と同様に、位置・姿勢処理部３にて用いる赤外線カメラ、赤外線ＬＥＤ等を備え、提示処理部６にて用いるカメラを備え、そして、これらに加え、視点位置処理部５にて用いる前面カメラを備えている。
FIG. 22 is a block diagram showing a configuration of a
映像提示装置１’の位置・姿勢処理部３は、図２に示した位置・姿勢処理部３と同様であるから、ここでは説明を省略する。
Since the position /
視点位置処理部５は、図示しない前面カメラを用いて、当該映像提示装置１’を操作するユーザの顔を含む画像を取得して、当該ユーザの視点位置（目の位置）を推定する。
The viewpoint
提示処理部６は、図２に示した提示処理部４の処理に加え、さらに、視点位置処理部５により推定されたユーザの視点位置に関する情報（視点位置情報）を入力する。すなわち、提示処理部６は、図示しないカメラを用いて他の映像提示装置１’の画面に表示された映像コンテンツの画像を取得すると共に、位置・姿勢処理部３から、当該映像提示装置１’から見た他の映像提示装置１’の位置情報及び姿勢情報を入力し、さらに、視点位置処理部５から、当該映像提示装置１’を操作するユーザの視点位置情報を入力する。
In addition to the processing of the presentation processing unit 4 illustrated in FIG. 2, the
そして、提示処理部６は、例えば、他の映像提示装置１’の画面に表示された映像コンテンツの画像と、当該映像提示装置１’の画面に表示された映像コンテンツの画像とが、ユーザの視点から見て１つの画像になるように、当該映像提示装置１’の画面表示を行うと共に、ネットワークを介して他の映像提示装置１’に画面表示を行わせる。具体的には、提示処理部６は、当該映像提示装置１’の画面及び他の映像提示装置１’の画面を用いて、ユーザが１つの映像コンテンツの画像を見ることができるように、当該映像提示装置１’から見た他の映像提示装置１’の位置及び姿勢並びにユーザの視点位置に応じた画面表示指示（映像コンテンツの画像のうち画面表示する領域等を示す指示）を、当該映像提示装置１’用及び他の映像提示装置１’用に生成する。そして、提示処理部６は、当該映像提示装置１’用の画面表示指示に従った画面の表示を行い、他の映像提示装置１’用の画面表示指示を、ネットワークを介して他の映像提示装置１’へ送信し、他の映像提示装置１’に、他の映像提示装置１’用の画面の表示を行わせる。
Then, for example, the
〔視点位置処理部５〕
次に、図２２に示した視点位置処理部５について説明する。図２３は、視点位置処理部５の構成を示すブロック図である。この視点位置処理部５は、前面カメラ画像取得部６１、顔画像抽出部６２及び視点位置推定部６３を備えている。
[Viewpoint position processing unit 5]
Next, the viewpoint
図２４は、図２３に示した視点位置処理部５の処理を示すフローチャートである。図２３及び図２４を参照して、まず、視点位置処理部５の前面カメラ画像取得部６１は、図示しない前面カメラを用いて、映像提示装置１’を操作するユーザの顔を含む画像（前面カメラ画像）を取得する（ステップＳ２４０１）。
FIG. 24 is a flowchart showing processing of the viewpoint
顔画像抽出部６２は、前面カメラ画像取得部６１により取得された画像を入力し、既知の顔認識手法を用いて、画像から顔領域を認識し、顔画像を抽出する（ステップＳ２４０２）。
The face image extraction unit 62 inputs the image acquired by the front camera
視点位置推定部６３は、顔画像抽出部６２により抽出された顔画像を入力し、既知の眼球認識手法を用いて顔画像からユーザの目を抽出し、画像上の目の位置を検出すると共に、画像上の両目の間隔（距離）を算出する。そして、視点位置推定部６３は、画像上の目の位置及び両目の間隔、並びに予め設定された実際の両目の間隔等に基づいて、前面カメラから見た目（視点）の相対方位、及び前面カメラから視点までの間の距離、すなわちユーザの視点位置を推定する（ステップＳ２４０３）。ここで、視点位置は、映像提示装置１’の位置を基準としたｘｙｚ軸の空間（図５を参照。映像提示装置１’は映像提示装置１ａに相当する。）におけるユーザの視点の座標である。
The viewpoint
尚、ユーザは、映像提示装置１’に対して正対しているものとする。また、映像提示装置１’に備えた赤外線カメラと前面カメラとは、十分に近い位置に設けられているものとする。
It is assumed that the user is facing the
また、２つの前面カメラ（ステレオカメラ）を用いてユーザの視点位置を推定する手法は既知であり、詳細については以下の文献を参照されたい。
鈴木他、“ステレオ法を用いた視点位置検出による仮想展示の検討”、電子情報通信学会技術研究報告、ＭＶＥ、マルチメディア・仮想環境基礎105（683）、55−60、2006−03−15
Moreover, the method of estimating a user's viewpoint position using two front cameras (stereo camera) is known, and refer to the following documents for details.
Suzuki et al., “Examination of virtual exhibition by viewpoint position detection using stereo method”, IEICE technical report, MVE, Multimedia / virtual environment basics 105 (683), 55-60, 2006-03-15
以上のように、本発明の他の実施形態による映像提示装置１’によれば、位置・姿勢処理部３は、当該映像提示装置１’から見た他の映像提示装置１’の位置及び姿勢を推定し、視点位置処理部５は、映像提示装置１’を操作するユーザの顔を含む画像を取得して、ユーザの視点位置を推定するようにした。そして、提示処理部６は、他の映像提示装置１’の画面に表示された映像コンテンツの画像と、映像提示装置１’の画面に表示された映像コンテンツの画像とが、視点位置から見て１つの画像になるように、当該映像提示装置１’の画面表示を行うと共に、ネットワークを介して他の映像提示装置１’に画面表示を行わせるようにした。
As described above, according to the
これにより、実施例１と同様の効果に加え、映像提示装置１’と他の映像提示装置１’との間の位置関係を考慮した、マルチスクリーンに跨って連続した演出を実現することができる。つまり、他の映像提示装置１’の位置及び姿勢、並びに視点位置の情報を用いて、新しい映像を表現する映像提示サービスを実現することが可能となる。
Thereby, in addition to the same effects as in the first embodiment, it is possible to realize a continuous effect across multiple screens in consideration of the positional relationship between the
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、映像提示装置１ａの画面に映像提示装置１ｂの映像コンテンツをオーバーレイ表示する場合、及び映像提示装置１’の画面及び他の映像提示装置１’の画面を組み合わせて表示する場合の例を挙げて説明した。本発明は、映像提示装置１ａの画面に複数の映像提示装置１ｂ等の映像コンテンツをオーバーレイ表示する場合、映像提示装置１’の画面に複数の他の映像提示装置１’の画面を組み合わせて表示する場合にも適用がある。
The present invention has been described with reference to the embodiment. However, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the technical idea thereof. In the above embodiment, when the video content of the
また、前記実施形態では、オーバーレイ表示及び組み合わせて表示する場合について説明したが、本発明は、複数の映像コンテンツ、画面等を用いて映像を表現する他の表示形態にも適用がある。 In the above embodiment, the case of overlay display and display in combination has been described. However, the present invention can also be applied to other display forms that express video using a plurality of video contents, screens, and the like.
また、前記実施例１，２では、方位検出部３２は、映像提示装置１ｂに備えた赤外線ＬＥＤ３６の位置に基づいて、映像提示装置１ａから見た映像提示装置１ｂの相対方位を検出するようにしたが、映像提示装置１ｂに備えた赤外線ＬＥＤ３７の位置に基づいて、相対方位を検出するようにしてもよい。また、位置・姿勢推定部４０，４３は、映像提示装置１ａに備えた赤外線カメラと映像提示装置１ｂに備えた赤外線ＬＥＤ３６との間の距離ｄを推定するようにしたが、赤外線ＬＥＤ３７との間の距離ｄを推定するようにしてもよい。
Moreover, in the said Example 1, 2, the
尚、本発明の実施形態による映像提示装置１及び本発明の他の実施形態による映像提示装置１’のハードウェア構成としては、通常のコンピュータを使用することができる。映像提示装置１，１’は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。映像提示装置１に備えた位置・姿勢処理部３及び提示処理部４の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。映像提示装置１’に備えた位置・姿勢処理部３、視点位置処理部５及び提示処理部６についても同様である。
In addition, a normal computer can be used as the hardware configuration of the
また、実施例１の位置・姿勢処理部３−１に備えた構成部（図８を参照）の各機能、実施例２の位置・姿勢処理部３−２に備えた構成部（図９を参照）の各機能、実施例３の位置・姿勢処理部３−３に備えた構成部（図１０を参照）の各機能、実施例４の位置・姿勢処理部３−４に備えた構成部（図１１を参照）の各機能、及び、実施例５の位置・姿勢処理部３−５に備えた構成部（図１２を参照）の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。 In addition, each function of the configuration unit (see FIG. 8) provided in the position / posture processing unit 3-1 of the first embodiment, and the configuration unit (see FIG. 9) provided in the position / posture processing unit 3-2 of the second embodiment. Each function of the configuration (see FIG. 10) included in the position / posture processing unit 3-3 of the third embodiment, and the configuration unit included in the position / posture processing unit 3-4 of the fourth embodiment. Each function of (see FIG. 11) and each function of the constituent unit (see FIG. 12) included in the position / posture processing unit 3-5 of the fifth embodiment also stores a program describing these functions in the CPU. Each is realized by executing.
これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。 These programs are stored in the storage medium and read out and executed by the CPU. These programs can also be stored and distributed in a storage medium such as a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. You can also send and receive.
１ 映像提示装置
２ サーバ
３ 位置・姿勢処理部
４，６ 提示処理部
５ 視点位置処理部
２１，３８ 通信部
２２ デバイスＩＤデータベース
３１ 赤外線カメラ画像取得部
３２ 方位検出部
３３ デバイスＩＤデコード部
３２ 方位検出部
３４ デバイスＩＤ記憶部
３５ デバイスＩＤエンコード部
３６，３７ 赤外線ＬＥＤ
３９ 傾き検出部
４０，４３，４５，４８，５０ 位置・姿勢推定部
４１ 位相差検出部
４２ 距離差推定部
４４ 距離画像取得部
４６ 再帰性反射部
４７ レーザー距離計部
４９ 球型赤外線ＬＥＤ
５１，５２，５３，５５ 距離推定部
５６ 位置推定部
５７ 姿勢推定部
６１ 前面カメラ画像取得部
６２ 顔画像抽出部
６３ 視点位置推定部
DESCRIPTION OF
39
51, 52, 53, 55
Claims (8)
当該映像提示装置のデバイスＩＤをエンコードし、異なる２つの符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの一方の符号に従って点滅する第１の赤外線ＬＥＤと、
前記デバイスＩＤエンコード部により生成された異なる２つの符号のうちの他方の符号に従って点滅する第２の赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された異なる符号に従ってそれぞれ点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び、前記姿勢推定部により推定された当該映像提示装置から見た前記他の映像提示装置の姿勢に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。 In a video presentation device that displays multi-screen video content on the screen,
A device ID encoding unit that encodes the device ID of the video presentation device and generates two different codes;
A first infrared LED that flashes according to one of two different codes generated by the device ID encoding unit;
A second infrared LED that blinks according to the other of the two different codes generated by the device ID encoding unit;
Using an infrared camera, an omnidirectional infrared image including two infrared LEDs each flashing in accordance with a different code generated by encoding a device ID of the other video presentation device provided in another video presentation device is acquired. An infrared camera image acquisition unit;
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, the blinking state of the two infrared LEDs provided in the other video presentation device is captured, and the position of the two infrared LEDs on the omnidirectional infrared image is determined. An azimuth detecting unit that detects the relative azimuth of the other video presentation device viewed from the video presentation device based on the positions of the two infrared LEDs,
Using an acceleration sensor and a geomagnetic sensor, an inclination detection unit for detecting the inclination of the video presentation device;
A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network;
A position / posture estimation unit for estimating the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying the multi-screen video content on the screen;
The position / posture estimation unit
The relative orientation of the other video presentation device seen from the video presentation device detected by the orientation detection unit, the relative orientation of the video presentation device seen from the other video presentation device received by the communication unit, Based on the tilt of the video presentation device detected by the tilt detection unit and the tilt of the other video presentation device received by the communication unit, the posture of the other video presentation device viewed from the video presentation device A posture estimation unit for estimating
Based on the relative azimuth of the other video presentation device viewed from the video presentation device detected by the azimuth detection unit, calculate the azimuth angle of the two infrared LEDs provided in the other video presentation device,
The relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit, a preset distance between two infrared LEDs provided in the other video presentation device, and the calculated orientation A distance between the video presentation device and the other video presentation device is estimated based on the angle and the posture of the other video presentation device viewed from the video presentation device estimated by the posture estimation unit. A distance estimator;
The other video viewed from the video presentation device based on the relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit and the distance estimated by the distance estimation unit. A position estimation unit for estimating the position of the presentation device;
A video presentation apparatus comprising:
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って、同じ位相で点滅する第１の赤外線ＬＥＤ及び第２の赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された同じ符号に従って同じ位相で点滅する２つの赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記２つの赤外線ＬＥＤの位置を特定し、前記２つの赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
前記他の映像提示装置に備えた２つの赤外線ＬＥＤの点滅状態に基づいて、前記２つの赤外線ＬＥＤの位相差を検出する位相差検出部と、
前記位相差検出部により検出された位相差に基づいて、当該映像提示装置を基点とした前記他の映像提示装置に備えた２つの赤外線ＬＥＤとの間の距離差を推定する距離差推定部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位に基づいて、前記他の映像提示装置に備えた２つの赤外線ＬＥＤの方位角を算出し、
前記他の映像提示装置に備えた２つの赤外線ＬＥＤ間の予め設定された距離、前記算出した方位角、及び前記距離差推定部により推定された距離差に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。 In a video presentation device that displays multi-screen video content on the screen,
A device ID encoding unit that encodes a device ID of the video presentation device and generates a code;
In accordance with the code generated by the device ID encoding unit, the first infrared LED and the second infrared LED flashing in the same phase;
Using an infrared camera, an omnidirectional infrared image including two infrared LEDs blinking in the same phase according to the same code generated by encoding the device ID of the other video presentation device provided in another video presentation device An infrared camera image acquisition unit to acquire;
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, the blinking state of the two infrared LEDs provided in the other video presentation device is captured, and the position of the two infrared LEDs on the omnidirectional infrared image is determined. An azimuth detecting unit that detects the relative azimuth of the other video presentation device viewed from the video presentation device based on the positions of the two infrared LEDs,
Using an acceleration sensor and a geomagnetic sensor, an inclination detection unit for detecting the inclination of the video presentation device;
A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network;
A phase difference detection unit that detects a phase difference between the two infrared LEDs based on a blinking state of the two infrared LEDs provided in the other video presentation device;
A distance difference estimation unit for estimating a distance difference between two infrared LEDs provided in the other video presentation device based on the video presentation device based on the phase difference detected by the phase difference detection unit; ,
A position / posture estimation unit for estimating the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying the multi-screen video content on the screen;
The position / posture estimation unit
The relative orientation of the other video presentation device seen from the video presentation device detected by the orientation detection unit, the relative orientation of the video presentation device seen from the other video presentation device received by the communication unit, Based on the tilt of the video presentation device detected by the tilt detection unit and the tilt of the other video presentation device received by the communication unit, the posture of the other video presentation device viewed from the video presentation device A posture estimation unit for estimating
Based on the relative azimuth of the other video presentation device viewed from the video presentation device detected by the azimuth detection unit, calculate the azimuth angle of the two infrared LEDs provided in the other video presentation device,
Based on the preset distance between the two infrared LEDs provided in the other video presentation device, the calculated azimuth angle, and the distance difference estimated by the distance difference estimation unit, the video presentation device and the other A distance estimation unit for estimating a distance between the video presentation device and
The other video viewed from the video presentation device based on the relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit and the distance estimated by the distance estimation unit. A position estimation unit for estimating the position of the presentation device;
A video presentation apparatus comprising:
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
全方位距離画像センサーを用いて、前記他の映像提示装置に備えた赤外線ＬＥＤを含む距離画像を取得する距離画像取得部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記距離画像取得部により取得された距離画像に基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。 In a video presentation device that displays multi-screen video content on the screen,
A device ID encoding unit that encodes a device ID of the video presentation device and generates a code;
An infrared LED that flashes according to the code generated by the device ID encoding unit;
Infrared camera image acquisition using an infrared camera to acquire an omnidirectional infrared image including an infrared LED flashing in accordance with a code generated by encoding the device ID of the other video presentation device provided in the other video presentation device And
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, identify the position of the infrared LED on the omnidirectional infrared image, An azimuth detector that detects a relative azimuth of the other video presentation device viewed from the video presentation device based on the position of the infrared LED;
Using an acceleration sensor and a geomagnetic sensor, an inclination detection unit for detecting the inclination of the video presentation device;
A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network;
Using a omnidirectional distance image sensor, a distance image acquisition unit that acquires a distance image including an infrared LED provided in the other video presentation device;
A position / posture estimation unit for estimating the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying the multi-screen video content on the screen;
The position / posture estimation unit
The relative orientation of the other video presentation device seen from the video presentation device detected by the orientation detection unit, the relative orientation of the video presentation device seen from the other video presentation device received by the communication unit, Based on the tilt of the video presentation device detected by the tilt detection unit and the tilt of the other video presentation device received by the communication unit, the posture of the other video presentation device viewed from the video presentation device A posture estimation unit for estimating
A distance estimation unit that estimates a distance between the video presentation device and the other video presentation device based on the distance image acquired by the distance image acquisition unit;
The other video viewed from the video presentation device based on the relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit and the distance estimated by the distance estimation unit. A position estimation unit for estimating the position of the presentation device;
A video presentation apparatus comprising:
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
レーザーセンサーを用いて、レーザーを発光し、前記他の映像提示装置に備えた再帰性反射部に反射させ、前記反射したレーザーを受光してレーザー距離を計測するレーザー距離計部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記レーザー距離計部により計測されたレーザー距離を、当該映像提示装置と前記他の映像提示装置との間の距離とし、前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。 In a video presentation device that displays multi-screen video content on the screen,
A device ID encoding unit that encodes a device ID of the video presentation device and generates a code;
An infrared LED that flashes according to the code generated by the device ID encoding unit;
Infrared camera image acquisition using an infrared camera to acquire an omnidirectional infrared image including an infrared LED flashing in accordance with a code generated by encoding the device ID of the other video presentation device provided in the other video presentation device And
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, identify the position of the infrared LED on the omnidirectional infrared image, An azimuth detector that detects a relative azimuth of the other video presentation device viewed from the video presentation device based on the position of the infrared LED;
Using an acceleration sensor and a geomagnetic sensor, an inclination detection unit for detecting the inclination of the video presentation device;
A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network;
Using a laser sensor, a laser distance meter unit that emits a laser, reflects the reflected light to a retroreflecting unit provided in the other video presentation device, receives the reflected laser, and measures a laser distance;
A position / posture estimation unit for estimating the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying the multi-screen video content on the screen;
The position / posture estimation unit
The relative orientation of the other video presentation device seen from the video presentation device detected by the orientation detection unit, the relative orientation of the video presentation device seen from the other video presentation device received by the communication unit, Based on the tilt of the video presentation device detected by the tilt detection unit and the tilt of the other video presentation device received by the communication unit, the posture of the other video presentation device viewed from the video presentation device A posture estimation unit for estimating
The laser distance measured by the laser distance meter unit is a distance between the video presentation device and the other video presentation device, and the other video viewed from the video presentation device detected by the azimuth detection unit. A position estimation unit that estimates the position of the other video presentation device viewed from the video presentation device based on the relative orientation of the presentation device and the distance;
A video presentation apparatus comprising:
当該映像提示装置のデバイスＩＤをエンコードし、符号を生成するデバイスＩＤエンコード部と、
前記デバイスＩＤエンコード部により生成された符号に従って点滅する赤外線ＬＥＤと、
赤外線カメラを用いて、他の映像提示装置に備えた、前記他の映像提示装置のデバイスＩＤがエンコードされて生成された符号に従って点滅する赤外線ＬＥＤを含む全方位赤外線画像を取得する赤外線カメラ画像取得部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤの位置を特定し、前記赤外線ＬＥＤの位置に基づいて、当該映像提示装置から見た前記他の映像提示装置の相対方位を検出する方位検出部と、
加速度センサー及び地磁気センサーを用いて、当該映像提示装置の傾きを検出する傾き検出部と、
前記他の映像提示装置から見た当該映像提示装置の相対方位、及び前記他の映像提示装置の傾きを、前記他の映像提示装置からネットワークを介して受信する通信部と、
前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置から見た前記他の映像提示装置の位置及び姿勢を推定する位置・姿勢推定部と、を備え、
前記位置・姿勢推定部は、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、前記通信部により受信された前記他の映像提示装置から見た当該映像提示装置の相対方位、前記傾き検出部により検出された当該映像提示装置の傾き、及び、前記通信部により受信された前記他の映像提示装置の傾きに基づいて、当該映像提示装置から見た前記他の映像提示装置の姿勢を推定する姿勢推定部と、
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記全方位赤外線画像上の前記赤外線ＬＥＤのサイズを算出し、
前記算出したサイズ、及び予め設定された前記赤外線ＬＥＤのサイズに基づいて、当該映像提示装置と前記他の映像提示装置との間の距離を推定する距離推定部と、
前記方位検出部により検出された当該映像提示装置から見た前記他の映像提示装置の相対方位、及び前記距離推定部により推定された距離に基づいて、当該映像提示装置から見た前記他の映像提示装置の位置を推定する位置推定部と、
を備えたことを特徴とする映像提示装置。 In a video presentation device that displays multi-screen video content on the screen,
A device ID encoding unit that encodes a device ID of the video presentation device and generates a code;
An infrared LED that flashes according to the code generated by the device ID encoding unit;
Infrared camera image acquisition using an infrared camera to acquire an omnidirectional infrared image including an infrared LED flashing in accordance with a code generated by encoding the device ID of the other video presentation device provided in the other video presentation device And
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, identify the position of the infrared LED on the omnidirectional infrared image, An azimuth detector that detects a relative azimuth of the other video presentation device viewed from the video presentation device based on the position of the infrared LED;
Using an acceleration sensor and a geomagnetic sensor, an inclination detection unit for detecting the inclination of the video presentation device;
A communication unit that receives the relative orientation of the video presentation device viewed from the other video presentation device and the inclination of the other video presentation device from the other video presentation device via a network;
A position / posture estimation unit for estimating the position and posture of the other video presentation device viewed from the video presentation device, which is used when displaying the multi-screen video content on the screen;
The position / posture estimation unit
The relative orientation of the other video presentation device seen from the video presentation device detected by the orientation detection unit, the relative orientation of the video presentation device seen from the other video presentation device received by the communication unit, Based on the tilt of the video presentation device detected by the tilt detection unit and the tilt of the other video presentation device received by the communication unit, the posture of the other video presentation device viewed from the video presentation device A posture estimation unit for estimating
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, capture the blinking state of the infrared LED provided in the other video presentation device, calculate the size of the infrared LED on the omnidirectional infrared image,
A distance estimation unit that estimates a distance between the video presentation device and the other video presentation device based on the calculated size and the size of the infrared LED set in advance;
The other video viewed from the video presentation device based on the relative orientation of the other video presentation device viewed from the video presentation device detected by the orientation detection unit and the distance estimated by the distance estimation unit. A position estimation unit for estimating the position of the presentation device;
A video presentation apparatus comprising:
さらに、前記マルチスクリーンの映像コンテンツを画面表示する際に用いる、当該映像提示装置を操作するユーザの視点位置を推定する視点位置処理部を備え、
前記視点位置処理部は、
カメラを用いて、前記ユーザの顔を含む画像を取得するカメラ画像取得部と、
前記カメラ画像取得部により取得された画像から、前記ユーザの顔の領域を認識して顔画像を抽出する顔画像抽出部と、
前記顔画像抽出部により抽出された顔画像から前記ユーザの目を抽出し、前記カメラ画像取得部により取得された画像上の前記目の位置を検出し、前記画像上の両方の前記目の間隔を算出し、前記画像上の目の位置及び両方の目の間隔、並びに予め設定された両方の目の間隔に基づいて、前記視点位置を推定する視点位置推定部と、を備えたことを特徴とする映像提示装置。 In the video presentation device according to any one of claims 1 to 5,
And a viewpoint position processing unit for estimating a viewpoint position of a user who operates the video presentation device, which is used when the multi-screen video content is displayed on a screen.
The viewpoint position processing unit
A camera image acquisition unit that acquires an image including the user's face using a camera;
A face image extraction unit for recognizing a region of the user's face and extracting a face image from the image acquired by the camera image acquisition unit;
The eye of the user is extracted from the face image extracted by the face image extraction unit, the position of the eye on the image acquired by the camera image acquisition unit is detected, and the interval between both eyes on the image is detected. And a viewpoint position estimating unit that estimates the viewpoint position based on the position of the eyes on the image, the distance between both eyes, and the distance between both eyes set in advance. A video presentation device.
前記赤外線カメラ画像取得部により取得された全方位赤外線画像から、前記他の映像提示装置に備えた赤外線ＬＥＤの点滅状態を捉え、前記赤外線ＬＥＤの点滅状態をデコードし、前記他の映像提示装置のデバイスＩＤを検出するデバイスＩＤデコード部を備え、
前記通信部は、前記デバイスＩＤデコード部により検出された前記他の映像提示装置のデバイスＩＤを用いてネットワークへアクセスし、当該映像提示装置と前記他の映像提示装置との間の通信路を確立する、ことを特徴とする映像提示装置。 In the video presentation device according to any one of claims 1 to 6,
From the omnidirectional infrared image acquired by the infrared camera image acquisition unit, the blinking state of the infrared LED provided in the other video presentation device is captured, the blinking state of the infrared LED is decoded, and the other video presentation device A device ID decoding unit for detecting the device ID;
The communication unit accesses the network using the device ID of the other video presentation device detected by the device ID decoding unit, and establishes a communication path between the video presentation device and the other video presentation device A video presentation device characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014170873A JP6360389B2 (en) | 2014-08-25 | 2014-08-25 | Video presentation apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014170873A JP6360389B2 (en) | 2014-08-25 | 2014-08-25 | Video presentation apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016046731A JP2016046731A (en) | 2016-04-04 |
| JP6360389B2 true JP6360389B2 (en) | 2018-07-18 |
Family
ID=55636883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014170873A Active JP6360389B2 (en) | 2014-08-25 | 2014-08-25 | Video presentation apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6360389B2 (en) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4649695B2 (en) * | 1999-12-24 | 2011-03-16 | 富士通株式会社 | Infrared detector |
| JP2007334311A (en) * | 2006-05-18 | 2007-12-27 | Nippon Hoso Kyokai <Nhk> | Visible and infrared light imaging optical system |
| JP2008261755A (en) * | 2007-04-12 | 2008-10-30 | Canon Inc | Information processing apparatus and information processing method |
| JP5259519B2 (en) * | 2009-07-31 | 2013-08-07 | 日本放送協会 | Digital broadcast receiver, transmitter and terminal device |
| JP5299374B2 (en) * | 2010-07-26 | 2013-09-25 | ブラザー工業株式会社 | Karaoke equipment |
| US9876953B2 (en) * | 2010-10-29 | 2018-01-23 | Ecole Polytechnique Federale De Lausanne (Epfl) | Omnidirectional sensor array system |
| JP5734700B2 (en) * | 2011-02-24 | 2015-06-17 | 京セラ株式会社 | Portable information device and virtual information display program |
| JP5819686B2 (en) * | 2011-09-14 | 2015-11-24 | 株式会社バンダイナムコエンターテインメント | Programs and electronic devices |
| JP6113406B2 (en) * | 2012-01-11 | 2017-04-12 | 三菱電機株式会社 | Infrared target detection device |
-
2014
- 2014-08-25 JP JP2014170873A patent/JP6360389B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016046731A (en) | 2016-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11393173B2 (en) | Mobile augmented reality system | |
| US20230245391A1 (en) | 3d model reconstruction and scale estimation | |
| US10217021B2 (en) | Method for determining the position of a portable device | |
| US11195049B2 (en) | Electronic device localization based on imagery | |
| CN108921894B (en) | Object positioning method, device, equipment and computer readable storage medium | |
| WO2022088918A1 (en) | Virtual image display method and apparatus, electronic device and storage medium | |
| US9361731B2 (en) | Method and apparatus for displaying video on 3D map | |
| KR101533320B1 (en) | Apparatus for acquiring 3 dimension object information without pointer | |
| US10545215B2 (en) | 4D camera tracking and optical stabilization | |
| CN111651051B (en) | Virtual sand table display method and device | |
| CN107167077B (en) | Stereoscopic vision measuring system and stereoscopic vision measuring method | |
| US20190199992A1 (en) | Information processing apparatus, method for controlling the same, and recording medium | |
| US20240087157A1 (en) | Image processing method, recording medium, image processing apparatus, and image processing system | |
| US9906769B1 (en) | Methods and apparatus for collaborative multi-view augmented reality video | |
| US9329679B1 (en) | Projection system with multi-surface projection screen | |
| CN113870213A (en) | Image display method, image display device, storage medium, and electronic apparatus | |
| EP2936806B1 (en) | Realistic point of view video method and apparatus | |
| US20230290036A1 (en) | Local live texturing of a 3d mesh | |
| JP6360389B2 (en) | Video presentation apparatus and program | |
| KR102177876B1 (en) | Method for determining information related to filming location and apparatus for performing the method | |
| Jin et al. | StageAR: Markerless Mobile Phone Localization for AR in Live Events |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180622 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6360389 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |