JP7056495B2 - 位置算出システム、位置算出装置、位置算出方法及びプログラム - Google Patents

位置算出システム、位置算出装置、位置算出方法及びプログラム Download PDF

Info

Publication number
JP7056495B2
JP7056495B2 JP2018187158A JP2018187158A JP7056495B2 JP 7056495 B2 JP7056495 B2 JP 7056495B2 JP 2018187158 A JP2018187158 A JP 2018187158A JP 2018187158 A JP2018187158 A JP 2018187158A JP 7056495 B2 JP7056495 B2 JP 7056495B2
Authority
JP
Japan
Prior art keywords
image pickup
light emitting
image
light
predetermined space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018187158A
Other languages
English (en)
Other versions
JP2019086511A (ja
Inventor
直知 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to US16/177,536 priority Critical patent/US10922839B2/en
Priority to CN201811304974.3A priority patent/CN109756667B/zh
Priority to EP18204684.7A priority patent/EP3480791A1/en
Publication of JP2019086511A publication Critical patent/JP2019086511A/ja
Application granted granted Critical
Publication of JP7056495B2 publication Critical patent/JP7056495B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、位置算出システム、位置算出装置、位置算出方法及びプログラムに関する。
ステレオカメラで撮像された画像に基づき、所定の空間内に存在する物体の実際の位置を算出する技術が存在する(例えば特許文献1参照)。この技術によれば、道具を用いて直接的に位置を測ることなく、撮像したステレオ画像だけで物体の位置を得ることができる。
特開2004-361222号公報
しかしながら、前処理としてステレオ撮像するための各カメラの正確な設置位置情報や姿勢情報を取得する必要があるため、より簡易に位置を算出する方法が求められていた。
本願発明はこのような問題点に鑑みてなされたものであり、より簡便に空間測位をすることを目的とする。
上記目的を達成するため、本発明に係る位置算出システムは、
所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
を備えることを特徴とする。
また、本発明に係る位置算出システムは、
所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
を備えることを特徴とする。
また、本発明に係る位置算出システムは、
所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
前記所定の空間内に任意に設置され自己を一意に特定可能な情報で変調された光を発光する第2の発光装置を、前記複数の撮像装置の夫々に撮像させることで、夫々の撮像画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された前記第2の発光装置の光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
を備えることを特徴とする。
また、本発明に係る位置算出システムは、
所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
を備え、
前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする。
上記目的を達成するため、本発明に係る位置算出装置は、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
を備えることを特徴とする。
また、本発明に係る位置算出装置は、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
を備えることを特徴とする。
また、本発明に係る位置算出装置は、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記複数の第1の発光装置の光の位置を、前記所定の空間内における前記複数の第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
前記所定の空間内に任意に設置され自己を一意に特定可能な情報で変調された光を発光する第2の発光装置を前記複数の撮像装置の夫々で撮像することにより、夫々で撮像された画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
を備えることを特徴とする。
また、本発明に係る位置算出装置は、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
を備え、
前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする。
上記目的を達成するため、本発明に係る位置算出方法は、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出ステップと、
前記算出ステップにて算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成ステップと、
前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう制御する制御ステップと、
を含むことを特徴とする。
また、本発明に係る位置算出方法は、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出ステップと、
前記算出ステップにて算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成ステップと、
前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう制御する制御ステップと、
を含むことを特徴とする。
上記目的を達成するため、本発明に係るプログラムは、
コンピュータを、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成手段、
前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段、
として機能させることを特徴とする。
また、本発明に係るプログラムは、
コンピュータを、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段、
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成手段、
前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段、
として機能させることを特徴とする。
本発明によれば、より簡便に空間測位をすることができる。
本発明の実施形態に係る可視光通信システムの一例を示す図である。 同実施形態に係るサーバの構成の一例を示す図である。 同実施形態に係る2つのカメラにより撮像された画像から求められる視差の一例を示す図である。 同実施形態に係る2つのカメラの空間位置及び撮像方向の算出の一例を示す図である。 同実施形態に係るサーバの動作の一例を示すフローチャートである。 本発明の実施形態に係る可視光通信システムの他の例を示す図である。 同実施形態に係るサーバの動作の一例を示すフローチャートである。 同実施形態に係るサーバの動作の一例を示すフローチャートである。
以下、図面を参照して、本発明の実施形態に係る情報処理システムとしての可視光通信システムを説明する。
図1は、可視光通信システムの構成を示す図である。図1に示すように、可視光通信システム1は、空間500内に設置された機器100a、100b、100c(以下、機器100a、100b、100cのそれぞれを限定しない場合には、適宜「機器100」と称する)と、位置算出装置に対応するサーバ200とを含んで構成される。
機器100aは、第2の発光装置に対応する第2光源102aが取り付けられ、機器100bは、第2の発光装置に対応する第2光源102bが取り付けられ、機器100cは、第2の発光装置に対応する第2光源102cが取り付けられている(以下、第2光源102a、102b、102cのそれぞれを限定しない場合には、適宜「第2光源102」と称する)。サーバ200は、撮像装置に対応するカメラ201a、201bが取り付けられている(以下、カメラ201a、201bのそれぞれを限定しない場合には、適宜「カメラ201」と称する)。また、空間500内には、第1の発光装置に対応する第1光源300a、300b、300c、300d、300eが設置されている(以下、第1光源300a、300b、300c、300d、300eのそれぞれを限定しない場合には、適宜「第1光源300」と称する)。第1光源300及び第2光源102は、図示しないLED(Light Emitting Diode)を含む。
本実施形態において、機器100に取り付けられた第2光源102が機器100の状態等の各種の送信対象の情報に対応する光を発することにより情報を送信する。一方、サーバ200は、カメラ201の時系列的に連続した撮像により得られた光の画像における発光色の変化を復調して第2光源102が発する情報を取得する。
本実施形態では、当初、カメラ201a、201bの位置及び撮像方向が不明である。このため、上述したサーバ200による機器100の状態等の取得に先立って、まず、サーバ200は、カメラ201a、201bの撮像によって得られた画像内の第1光源300a、300b、300c、300d、300eの位置(画像位置)に基づいて、3次元空間である空間500におけるカメラ201a、201bの位置(空間位置)及び撮像方向を算出する。更に、サーバ200は、画像内の第1光源300の位置(画像位置)を空間500内の設置位置に変換するための変換行列を生成する。
図2は、サーバ200の構成の一例を示す図である。図2に示すように、サーバ200は、制御部202、画像処理部204、メモリ205、操作部206、表示部207及び通信部208を含む。また、サーバ200には、カメラ201a、201bが配線を介して取り付けられている。
カメラ201aは、レンズ203aを含み、カメラ201bは、レンズ203bを含む(以下、レンズ203a、203bのそれぞれを限定しない場合には、適宜「レンズ203」と称する)。レンズ203は、ズームレンズ等により構成される。レンズ203は、操作部206からのズーム制御操作、及び、制御部202による合焦制御により移動する。レンズ203の移動によってカメラ201が撮像する撮像画角や光学像が制御される。
カメラ201a、201bは、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等の撮像デバイスである。カメラ201a、201bは、レンズ203を介して入光された光学像を、制御部202からの制御信号に基づいて所定範囲の撮像画角で撮像(受光)し、その撮像画角内の画像信号をデジタルデータに変換してフレームを生成する。また、カメラ201a、201bは、撮像とフレームの生成とを時間的に連続して行い、連続するフレームをサーバ200内の画像処理部204に出力する。
画像処理部204は、制御部202からの制御信号に基づいて、カメラ201から出力されたフレーム(デジタルデータ)をそのまま制御部202へ出力するとともに、当該フレームについて、表示部207にスルー画像として表示させるべく、画質や画像サイズを調整して制御部202へ出力する。また、画像処理部204は、操作部206からの記録指示操作に基づく制御信号が入力されると、記録指示された時点のカメラ201における撮像画角内、あるいは、表示部207に表示される表示範囲内の光学像を、例えば、JPEG(Joint Photographic Experts Group)等の圧縮符号化方式にて符号化、ファイル化する機能を有する。
制御部202は、例えばCPU(Central Processing Unit)によって構成される。制御部202は、メモリ205に記憶されたプログラム(例えば、後述する図3に示すサーバ200の動作を実現するためのプログラム)に従ってソフトウェア処理を実行することにより、サーバ200が具備する各種機能を制御する。
メモリ205は、例えばRAM(Random Access Memory)やROM(Read Only Memory)である。メモリ205は、サーバ200における制御等に用いられる各種情報(プログラム等)を記憶する。
操作部206は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部207は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electro Luminescence)ディスプレイ等によって構成される。表示部207は、制御部202から出力された画像信号に従って画像を表示する。通信部208は、例えばLAN(Local Area Network)カードである。通信部208は、外部の通信装置との間で通信を行う。
制御部202には、算出手段、第2の取得手段、設定手段及び制御手段に対応するカメラ位置・撮像方向算出部232と、生成手段に対応する行列生成部234と、第1の取得手段、位置情報取得手段及び制御手段に対応する発光位置取得部236が構成される。
カメラ位置・撮像方向算出部232は、カメラ201a、201bの撮像によって得られた各画像内の第1光源300の位置(画像位置)を検出する。ここで、空間500内における第1光源300a、300b、300c、300d、300eの設置位置は予め測定されている。また、第1光源300a、300b、300c、300d、300eは、自己を一意に特定可能なID(Identification)で変調された、R(赤)G(緑)B(青)の三色のパターンで巡回的に変化する光を発する。
カメラ位置・撮像方向算出部232は、カメラ201a、201bの撮像によって得られた各画像に含まれる巡回的な三色のパターンの光を検出する。更に、カメラ位置・撮像方向算出部232は、この三色の発光のパターンに対応するIDの検出、そしてIDへの復調を試みる。メモリ205には、第1光源300a、300b、300c、300d、300eそれぞれの設置位置とIDとが対応付けられて記憶されている。カメラ位置・撮像方向算出部232は、カメラ201a、201bの撮像によって得られた画像の双方から同一のIDを検出することができた場合には、そのIDに対応する第1光源300を検出することができたと見なす。更に、カメラ位置・撮像方向算出部232は、第1光源300の検出数を認識する。
次に、カメラ位置・撮像方向算出部232は、画像に含まれる第1光源300の数に応じて、カメラ201a、201bの空間位置及び撮像方向を算出するためのアルゴリズムを設定する。例えば、アルゴリズムは、画像に含まれる第1光源300の数が5つの場合には5点アルゴリズム、8つの場合には8点アルゴリズムというように、画像に含まれる第1光源300の数毎に用意され、メモリ205に記憶されている。
次に、カメラ位置・撮像方向算出部232は、設定したアルゴリズムを用いてカメラ201a、201bの空間位置及び撮像方向を算出する。
以下、アルゴリズムについて説明する。図3は、カメラ201a、201bにより撮像された画像から求められる視差の一例を示す図である。また、図4は、カメラ201a、201bの空間位置及び撮像方向の算出の一例を示す図である。
図3に示すように、カメラ201a、201bが同一の第1光源300cを撮像した場合、カメラ201a、201bの設置位置が異なるため、カメラ201aの撮像により得られた画像601a内の第1光源300cの画像位置とカメラ201bの撮像により得られた画像601b内の第1光源300cの画像位置とは、差分(視差)Sが生じる。
また、図4に示すように、カメラ201aの撮像面250aから焦点位置までの距離と、カメラ201bの撮像面250bから焦点位置までの距離とを同一のF、カメラ201aとカメラ201bとの距離をB、カメラ201aの焦点位置とカメラ201bの焦点位置とを結んだ直線と第1光源300cとの最短距離をDとすると、距離算出式D=B×F/Sが成立する。この式において、FとSとは既知である。
本実施形態では、カメラ位置・撮像方向算出部232は、第1光源300cについての距離算出式のみならず、検出した第1光源300のそれぞれについて距離算出式を求める。更に、カメラ位置・撮像方向算出部232は、求めた距離算出式と、予め測定されている第1光源300の設置位置とに基づいて、カメラ201a、201bの空間位置及び撮像方向を算出する。
詳細には、カメラ位置・撮像方向算出部232は、先ず、カメラ201aの撮像によって得られる画像に含まれる第1光源300の画像位置(Xga1,Yga1)とカメラ201bの撮像によって得られる画像に含まれる第1光源300の画像位置(Xgb1,Ygb1)との組み合わせから、カメラ201aとカメラ201bとの相対的な空間位置及び撮像方向を求める。そして、カメラ位置・撮像方向算出部232は、第1光源300a~300eのIDを参照してメモリ205に記憶された第1光源300a~300eのそれぞれの設置位置を読み出し、この読み出した設置位置を用いて、空間500内におけるカメラ201aとカメラ201bの空間位置及び撮像方向を算出する。そして、行列生成部234は、算出されたカメラ201aとカメラ201bの空間位置及び撮像方向に基づいて、カメラ201aの撮像によって得られる画像に含まれる第1光源300の画像位置とカメラ201bの撮像によって得られる画像に含まれる第1光源300の画像位置との組み合わせから、空間500内における第1光源300の設置位置へ変換することが可能な変換行列を求める。
第2光源102a、102b、102cは、自己を一意に特定可能なIDで変調した、R(赤)G(緑)B(青)の三色のパターンで巡回的に変化する光を発する。
上記の変換行列が求められた後、発光位置取得部236は、カメラ201a、201bの撮像によって得られた各画像に含まれる巡回的な三色のパターンの光を検出する。更に、発光位置取得部236は、この三色の発光のパターンに対応するIDの検出、そしてIDへの復調を試みる。発光位置取得部236は、カメラ201a、201bの撮像によって得られた画像の双方から同一のIDを検出することができた場合には、そのIDに対応する第2光源102を検出することができたと見なす。
更に、発光位置取得部236は、同一の第2光源102に対応する、カメラ201aの撮像によって得られた画像内の画像位置(Xga2,Yga2)と、カメラ201bの撮像によって得られた画像内の画像位置(Xgb2,Ygb2)とを認識する。更に、発光位置取得部236は、これらの画像位置(Xga2,Yga2)及び画像位置(Xgb2,Ygb2)の組み合わせと、上記変換行列とを用いて、空間500内の設置位置(Xk2,Yk2,Zk2)を算出する。
次に、フローチャートを参照して、サーバ200の動作を説明する。図5は、サーバ200の動作の一例を示すフローチャートである。
カメラ201a、201bは、空間500内の撮像を行っている。制御部202内のカメラ位置・撮像方向算出部232は、カメラ201a、201bの撮像によって得られた各画像内の第1光源300を検出する(ステップS101)。
次に、カメラ位置・撮像方向算出部232は、カメラ201a、201bの撮像によって得られた各画像内の第1光源300の数を認識する。更に、カメラ位置・撮像方向算出部232は、画像に含まれる第1光源300の数に応じて、カメラ201a、201bの相対的な空間位置及び撮像方向を算出するためのアルゴリズムを設定する(ステップS102)。
次に、カメラ位置・撮像方向算出部232は、設定したアルゴリズムを用いてカメラ201a、201bの相対的な空間位置及び撮像方向を算出する(ステップS103)。
次に、カメラ位置・撮像方向算出部232は、第1光源300a~300eのIDに対応する設置位置をメモリ205から読み出し、この読み出された設置位置を用いて、空間500内におけるカメラ201aと201bの空間位置及び撮像方向を算出する。更に、行列生成部234は、算出されたカメラ201aとカメラ201bの空間500内における空間位置及び撮像方向に基づいて、カメラ201aの撮像によって得られる画像に含まれる第1光源300の画像位置とカメラ201bの撮像によって得られる画像に含まれる第1光源300の画像位置との組み合わせから空間500内における第1光源300の設置位置へ変換することが可能な変換行列を生成する(ステップS104)。
その後、発光位置取得部236は、同一の第2光源102に対応する、カメラ201aの撮像によって得られた画像内の画像位置(Xga2,Yga2)と、カメラ201bの撮像によって得られた画像内の画像位置(Xgb2,Ygb2)とを認識する。更に、発光位置取得部236は、これらの画像位置(Xga2,Yga2)及び画像位置(Xgb2,Ygb2)の組み合わせと、上記変換行列とを用いて、空間500内の設置位置(Xk2,Yk2,Zk2)を算出する。
このように本実施形態では、サーバ200は、カメラ201a、201bの撮像によって得られた各画像内において夫々IDが割り当てられた複数の第1光源300を検出し、その検出数に応じたアルゴリズムを用いて先ずカメラ201a、201bの相対的な空間位置及び撮像方向を算出する。そして、複数の第1光源300夫々に割り当てられたIDに対応する空間500内の各第1光源300の設置位置から、カメラ201a、201bの空間500内の空間位置及び撮像方向を算出し、更に、カメラ201a、201bで撮影された画像に含まれる第1光源300の画像位置を第1光源300の設置位置へ変換することが可能な変換行列を生成する。これにより、カメラ201a、201bの空間位置及び撮像方向が未知である場合でも、その空間位置及び撮像方向を取得して、第2光源102の設置位置の取得に用いることができる。
また、サーバ200は、カメラ201aの撮像によって得られる画像に含まれる第1光源300の画像位置とカメラ201bの撮像によって得られる画像に含まれる第1光源300の画像位置との組み合わせを、空間500内の第1光源300の設置位置に変換するための変換行列を生成し、この変換行列を用いて、カメラ201aの撮像によって得られる画像に含まれる第2光源102の画像位置とカメラ201bの撮像によって得られる画像に含まれる第2光源102の画像位置との組み合わせを、空間500内の第2光源102の設置位置に変換することができる。これにより、簡易に空間500内の第2光源102の設置位置を取得することができる。
ところで、カメラ201の台数は2台に限定されず、3台以上となる場合がある。例えば、図6に示すように、カメラ201a、201b、201c、201dが設置された場合には、サーバ200は、カメラ201a~201dについて、2台のカメラ201の組み合わせ(カメラペア)を設定する。2台のカメラ201の組み合わせは6通りとなる。
更に、サーバ200は、カメラペア毎に2台のカメラ201の撮像画像に基づいて、上述と同様にして、空間500内の第2光源102の設置位置を取得する。すなわち、発光位置取得部236は、カメラペアのうちの一方のカメラ201の撮像によって得られる画像に含まれる第1光源300の画像位置と他方のカメラ201の撮像によって得られる画像に含まれる第1光源300の画像位置との組み合わせを、空間500内の第1光源300の設置位置に変換するための変換行列を生成する。変換行列はカメラペア毎に生成される。
更に、サーバ200は、この変換行列を用いて、一方のカメラ201の撮像によって得られる画像に含まれる第2光源102の画像位置と他方のカメラ201の撮像によって得られる画像に含まれる第2光源102の画像位置との組み合わせを、空間500内の第2光源102の設置位置に変換する。サーバ200は、6通りのカメラペアのそれぞれについての空間500内の第2光源102の設置位置を総合する(例えば、平均値を取得する)ことにより、最終的な空間500内の第2光源102の設置位置を取得することができる。
また、カメラ201が移動したり、故障して交換される等により、カメラ201の位置や撮像範囲が変更される場合がある。このような場合には、サーバ200は、以下の動作を行う。図7は、サーバ200の動作の一例を示すフローチャートである。なお、図7の動作は、位置や撮像範囲が変更されていないカメラ201が3台以上設置されている状況において適用可能である。
カメラ201は、空間500内の撮像を行っている。制御部202内の発光位置取得部236は、各カメラ201の撮像によって得られた各画像の双方に含まれる第1光源300を検出する(ステップS201)。次に、発光位置取得部236は、2台のカメラ201からなるカメラペアを設定する。更に、発光位置取得部236は、カメラペア毎に、当該カメラペア内のカメラ201の撮像によって得られた各画像の双方に含まれる第1光源300のIDを取得する(ステップS202)。
更に、カメラ位置・撮像方向算出部232は、カメラペア毎に、当該カメラペアに含まれる2台のカメラ201の撮像によって得られた各画像において、ステップS202にてIDが検出された第1光源300の位置(画像位置)を取得する(ステップS203)。
次に、発光位置取得部236は、カメラペアに対応する変換行列を用いて、ステップS203において取得された第1光源300の画像位置を、空間500における第1光源300の位置(空間位置)に変換する(ステップS204)。上述したステップS202~ステップS204の動作はカメラペア毎に行われる。
ステップS202~ステップS204の動作がカメラペア毎に行われた後、行列生成部234は、第1光源300のそれぞれについて、カメラペア毎に取得された当該第1光源300の空間位置を対比し、第1光源300の空間位置が他のカメラペアと異なるカメラペアが存在するか否かを判定する(ステップS205)。具体的には、行列生成部234は、カメラペア毎に取得された第1光源300の空間位置を対比して、他の何れのカメラペアとも第1光源300の空間位置が一致しないカメラペアを特定する。
第1光源300の空間位置が他のカメラペアと異なるカメラペアが存在しない場合には(ステップS205;NO)、一連の動作が終了する。
一方、第1光源300の空間位置が他のカメラペアと異なるカメラペアが存在する場合(ステップS205;YES)、行列生成部234は、第1光源300の空間位置が他のカメラペアと異なるカメラペア内の2台のカメラ201のうち、位置や撮像範囲が変更されたカメラ201を特定する。ここで、行列生成部234は、第1光源300の空間位置が他のカメラペアと一致するカメラペアの何れにも含まれないカメラ201を位置や撮像範囲が変更されたカメラ201であると特定する。更に、行列生成部234は、再度、位置や撮像範囲が変更されたカメラ201について空間位置及び撮像方向を取得すること(再キャリブレーション)が必要である旨を利用者へ通知する(ステップS206)。通知は、図示しない表示部への表示等により行われる。
利用者は、再キャリブレーションが必要である旨の通知を受けると、再キャリブレーションが必要なカメラ201の撮影範囲に、所定数(最低1つ)の第1光源300が含まれるように、当該カメラ201の位置や画角を調整する。その後、利用者は、図示しない操作部を操作すること等により、再キャリブレーションの実行を指示する。
行列生成部234は、利用者によって再キャリブレーションの実行が指示されたか否かを判定する(ステップS207)。再キャリブレーションの実行が指示されていない場合には(ステップS207;NO)、ステップS205以降の動作が繰り返される。
一方、再キャリブレーションの実行が指示された場合には(ステップS207;YES)、発光位置取得部236は、再キャリブレーションが不要なカメラ201のみを含むカメラペアの撮像画像に基づいて、第1光源300の空間位置を取得する(ステップS208)。具体的には、再キャリブレーションが不要なカメラ201のみを含むカメラペアの撮像画像に基づいて、ステップS201~ステップS204と同様の動作が行われる。
更に、行列生成部234は、再キャリブレーションが必要なカメラ201を含むカメラペアの撮像画像に基づいて、第1光源300の画像位置を取得する(ステップS209)。具体的には、再キャリブレーションが必要なカメラ201を含むカメラペアの撮像画像に基づいて、ステップS201~ステップS203と同様の動作が行われる。
更に、行列生成部234は、ステップS209において取得された、再キャリブレーションが必要なカメラ201を含むカメラペアに対応する第1光源300の画像位置を、第1光源300の空間位置に変換するための変換行列を生成し、メモリ205に記憶させる(ステップS210)。
カメラ201の位置や撮像範囲が変更される場合に、従来は、人手によってカメラ201の位置や撮影範囲を調整する必要があったが、上述したように、カメラ201の位置や撮像範囲の変更に応じて新たな変換行列が生成されることで、人手によらずに簡易に空間500内の第2光源102の設置位置を取得することができる。
また、空間500が拡大されること等により、新たなカメラ201が設置される場合がある。このような場合には、サーバ200は、以下の動作を行う。図8は、サーバ200の動作の一例を示すフローチャートである。以下においては、2台以上のカメラ201が設置されている状況において、1台のカメラ201が追加される場合について説明する。
ステップS301~ステップS304の動作は、図7のステップS201~ステップS204の動作と同様であるので説明は省略する。
ステップS302~ステップS304の動作がカメラペア毎に行われた後、行列生成部234は、変換行列が未知である(設定されていない)カメラペアが存在するか否かを判定する(ステップS305)。具体的には、発光位置取得部236は、ステップS304において、第1光源300の画像位置を空間位置に変換する際に用いるべき変換行列が存在したか否かを判定する。
変換行列が未知であるカメラペアが存在しない場合には(ステップS305;NO)、一連の動作が終了する。
一方、変換行列が未知であるカメラペアが存在する場合(ステップS305;YES)、行列生成部234は、変換行列が未知であるカメラペア内の2台のカメラ201のうち、追加されたカメラ201を特定する。ここで、行列生成部234は、その時点でメモリ205に記憶されている変換行列に対応するカメラペアの何れにも含まれないカメラ201を追加されたカメラ201であると特定する。更に、行列生成部234は、追加されたカメラ201について空間位置及び撮像方向を取得すること(再キャリブレーション)が必要である旨を利用者へ通知する(ステップS306)。通知は、図示しない表示部への表示等により行われる。
利用者は、再キャリブレーションが必要である旨の通知を受けると、再キャリブレーションが必要なカメラ201の撮影範囲に、所定数(最低1つ)の第1光源300が含まれるように、当該カメラ201の位置や画角を調整する。その後、利用者は、図示しない操作部を操作すること等により、再キャリブレーションの実行を指示する。
その後は、図7のステップS207~ステップS210と同様の動作が行われる。すなわち、行列生成部234は、利用者によって再キャリブレーションの実行が指示されたか否かを判定する(ステップS307)。再キャリブレーションの実行が指示されていない場合には(ステップS307;NO)、ステップS305以降の動作が繰り返される。
一方、再キャリブレーションの実行が指示された場合には(ステップS307;YES)、発光位置取得部236は、再キャリブレーションが不要なカメラ201のみを含むカメラペアの撮像画像に基づいて、第1光源300の空間位置を取得する(ステップS308)。
更に、行列生成部234は、再キャリブレーションが必要なカメラ201を含むカメラペアの撮像画像に基づいて、第1光源300の画像位置を取得する(ステップS309)。
更に、行列生成部234は、ステップS309において取得された、再キャリブレーションが必要なカメラ201を含むカメラペアに対応する第1光源300の画像位置を、第1光源300の空間位置に変換するための変換行列を生成し、メモリ205に記憶させる(ステップS310)。
上述したように、カメラ201が追加される場合に、その追加に応じて新たな変換行列が生成されることで、人手によらずに簡易に空間500内の第2光源102の設置位置を取得することができる。
なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。
例えば、上述した実施形態では、カメラ201a、201bの空間位置及び撮像方向を算出可能としたが、カメラ201a、201bの空間位置が既知となっている場合、その撮像方向のみを算出するために本発明を適用してもよい。
また、第1光源300についてはメモリ205に各IDと対応付けて空間500内の設置位置を対応付けて記憶させていたが、可視光通信により、空間500内の設置位置で変調した光を発光させてもよい。
例えば、第1光源300及び第2光源102はLEDに限定されない。例えば、表示装置を構成するLCD、PDP、ELディスプレイ等の一部に光源が構成されていてもよい。
また、サーバ200は、カメラが取り付けられるものであれば、どのような装置でもよい。
また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read - Only Memory)、DVD(Digital Versatile Disc)、MO(Magneto - Optical Disc)等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
なお、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
(付記1)
所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
を備えることを特徴とする位置算出システム。
(付記2)
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段を更に備えることを特徴とする付記1に記載の位置算出システム。
(付記3)
前記複数の撮像装置の少なくとも何れかの設置位置又は撮像方向の変更の有無を判断する変更判断手段と、
前記変更判断手段によって変更されたと判断された場合に、前記生成手段によって生成された変換行列に基づいて、前記撮像装置の設置位置を修正する修正手段と、
を更に備えたことを特徴とする付記2に記載の位置算出システム。
(付記4)
前記判断手段は、前記撮像装置で撮像された画像の変化に基づいて、設置位置又は撮像方向の変更の有無を判断することを特徴とする付記3に記載の位置算出システム。
(付記5)
撮像装置の追加の有無を判断する追加判断手段と、
前記追加判断手段によって追加されたと判断すると、追加された撮像装置の画像に基づいて、前記変換行列に対応しない空間が存在するか否かを判断する存在判断手段と、
前記存在判断手段により前記変換行列に対応しない空間が存在すると判断された場合に、前記追加された撮像装置の画像と前記変換行列とに基づいて、前記変換行列に対応しない空間に対応する新たな変換行列を生成するよう前記生成手段を制御する変換制御手段と、
を更に備えることを特徴とする付記2に記載の位置算出システム。
(付記6)
前記複数の撮像装置は、夫々、追加された空間を含む所定の空間に複数設置された発光装置を撮像し、
前記存在判断手段は、前記追加された撮像装置の画像に含まれる複数の発光装置の像の位置に基づき、前記変換行列に対応しない空間が存在するか否かを判断することを特徴とする付記5に記載の位置算出システム。
(付記7)
前記所定の空間内に任意に設置され自己を一意に特定可能な情報で変調された光を発光する第2の発光装置を、前記複数の撮像装置の夫々に撮像させることで、夫々の撮像画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された前記第2の発光装置の光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
を更に備えることを特徴とする付記2~6の何れか1つに記載の位置算出システム。
(付記8)
前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
を更に備え、
前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする付記1~7の何れか1つに記載の位置算出システム。
(付記9)
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段を備えることを特徴とする位置算出装置。
(付記10)
前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記複数の第1の発光装置の光の位置を、前記所定の空間内における前記複数の第1の発光装置の位置へ変換するための変換行列を生成する生成手段を更に備えることを特徴とする付記9に記載の位置算出装置。
(付記11)
前記複数の撮像装置の少なくとも何れかの設置位置又は撮像方向の変更の有無を判断する変更判断手段と、
前記変更判断手段によって変更されたと判断された場合に、前記生成手段によって生成された変換行列に基づいて、前記撮像装置の設置位置を修正する修正手段と、
を更に備えたことを特徴とする付記10に記載の位置算出装置。
(付記12)
前記判断手段は、前記撮像装置で撮像された画像の変化に基づいて、設置位置又は撮像方向の変更の有無を判断することを特徴とする付記11に記載の位置算出装置。
(付記13)
撮像装置の追加の有無を判断する追加判断手段と、
前記追加判断手段によって追加されたと判断すると、追加された撮像装置の画像に基づいて、前記変換行列に対応しない空間が存在するか否かを判断する存在判断手段と、
前記存在判断手段により前記変換行列に対応しない空間が存在すると判断された場合に、前記追加された撮像装置の画像と前記変換行列とに基づいて、前記変換行列に対応しない空間に対応する新たな変換行列を生成するよう前記生成手段を制御する変換制御手段と、
を更に備えることを特徴とする付記10に記載の位置算出装置。
(付記14)
前記複数の撮像装置は、夫々、追加された空間を含む所定の空間に複数設置された発光装置を撮像し、
前記存在判断手段は、前記追加された撮像装置の画像に含まれる複数の発光装置の像の位置に基づき、前記変換行列に対応しない空間が存在するか否かを判断することを特徴とする付記13に記載の位置算出装置。
(付記15)
前記所定の空間内には、自己を一意に特定可能な情報で変調された光を発光する第2の発光装置が任意に設置され、
前記複数の撮像装置の夫々が前記第2の発光装置を撮像することにより、夫々で撮像された画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
を更に備えることを特徴とする付記10~14の何れか1つに記載の位置算出装置。
(付記16)
前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
を更に備え、
前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする付記9~15の何れか1つに記載の位置算出装置。
(付記17)
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出ステップを含むことを特徴とする位置算出方法。
(付記18)
コンピュータを、
所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段として機能させることを特徴とするプログラム。
1…可視光通信システム、100、100a、100b、100c…機器、102、102a、102b、102c…第2光源、200…サーバ、201a、201b、201c、201d…カメラ、202…制御部、203、203a、203b…レンズ、204…画像処理部、205…メモリ、206…操作部、207…表示部、208…通信部、232…カメラ位置・撮像方向算出部、234…行列生成部234…発光位置取得部、250a、250b…撮像面、300、300a、300b、300c、300d、300e…第1光源、500…空間、601a、601b…画像

Claims (16)

  1. 所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
    前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
    前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
    前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
    を備えることを特徴とする位置算出システム。
  2. 所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
    前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
    前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
    前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
    を備えることを特徴とする位置算出システム。
  3. 前記所定の空間内に任意に設置され自己を一意に特定可能な情報で変調された光を発光する第2の発光装置を、前記複数の撮像装置の夫々に撮像させることで、夫々の撮像画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
    前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された前記第2の発光装置の光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
    を更に備えことを特徴とする請求項1又は2に記載の位置算出システム。
  4. 前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
    前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
    を更に備え、
    前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする請求項1~3の何れか1項に記載の位置算出システム。
  5. 所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
    前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
    を備えることを特徴とする位置算出装置
  6. 所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
    前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記第1の発光装置の光の位置を前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段と、
    を備えることを特徴とする位置算出装置
  7. 前記所定の空間内には、自己を一意に特定可能な情報で変調された光を発光する第2の発光装置が任意に設置され、
    前記複数の撮像装置の夫々が前記第2の発光装置を撮像することにより、夫々で撮像された画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
    前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
    を更に備えることを特徴とする請求項5又は6に記載の位置算出装置
  8. 前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
    前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
    を更に備え、
    前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする請求項~7の何れか1項に記載の位置算出装置
  9. 所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出ステップと、
    前記算出ステップにて算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成ステップと、
    前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう制御する制御ステップと、
    を含むことを特徴とする位置算出方法
  10. 所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出ステップと、
    前記算出ステップにて算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成ステップと、
    前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう制御する制御ステップと、
    を含むことを特徴とする位置算出方法
  11. コンピュータを、
    所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成手段、
    前記複数の撮像装置の少なくとも何れかの撮像装置の設置位置又は撮像方向が変更された場合、撮像装置の設置位置又は撮像方向が変更されていない撮像装置と前記設置位置又は撮像方向が変更された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段、
    として機能させることを特徴とするプログラム。
  12. コンピュータを、
    所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記発光装置の光の位置を、前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成する生成手段、
    前記所定の空間を撮像する撮像装置が追加された場合、前記撮像装置と前記追加された撮像装置とにより撮像された夫々の画像内に共通して含まれる前記発光装置の光の位置を前記所定の空間内における前記発光装置の位置へ変換するための変換行列を生成するよう前記生成手段を制御する制御手段、
    として機能させることを特徴とするプログラム。
  13. 所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
    前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
    前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記第1の発光装置の光の位置を、前記所定の空間内における前記第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
    前記所定の空間内に任意に設置され自己を一意に特定可能な情報で変調された光を発光する第2の発光装置を、前記複数の撮像装置の夫々に撮像させることで、夫々の撮像画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
    前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された前記第2の発光装置の光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
    を備えることを特徴とする位置算出システム
  14. 所定の空間内に設置され、前記所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置と、
    前記所定の空間を夫々異なる方向から撮像する複数の撮像装置と、
    前記複数の撮像装置の夫々で撮像された画像に共通して含まれる複数の前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
    前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
    を備え、
    前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする位置算出システム
  15. 所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記算出手段によって算出された撮像装置夫々の設置位置及び撮像方向から、夫々の撮像装置にて撮像された画像内の前記複数の第1の発光装置の光の位置を、前記所定の空間内における前記複数の第1の発光装置の位置へ変換するための変換行列を生成する生成手段と、
    前記所定の空間内に任意に設置され自己を一意に特定可能な情報で変調された光を発光する第2の発光装置前記複数の撮像装置の夫々撮像することにより、夫々で撮像された画像に含まれる前記第2の発光装置の光の位置を取得する第1の取得手段と、
    前記生成手段によって生成された変換行列を用いて、前記第1の取得手段によって取得された光の位置から、前記第2の発光装置の前記所定の空間における位置情報を取得する位置情報取得手段と、
    を備えることを特徴とする位置算出装置。
  16. 所定の空間における自己を一意に特定可能な情報で変調された光を発光する複数の第1の発光装置が設置された前記所定の空間を、夫々異なる方向から撮像する複数の撮像装置の夫々で撮像された画像に共通して含まれる前記第1の発光装置の光の位置から、前記複数の撮像装置夫々の設置位置又は撮像方向を算出する算出手段と、
    前記撮像された画像における前記第1の発光装置の光の数を取得する第2の取得手段と、
    前記第2の取得手段によって取得された光の数に基づいた位置解析手法を設定する設定手段と、
    を備え、
    前記算出手段は、前記設定手段によって設定された位置解析手法で、前記複数の撮像装置夫々の設置位置を算出することを特徴とする位置算出装置。
JP2018187158A 2017-11-07 2018-10-02 位置算出システム、位置算出装置、位置算出方法及びプログラム Active JP7056495B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/177,536 US10922839B2 (en) 2017-11-07 2018-11-01 Location obtaining system, location obtaining device, location obtaining method, and non-transitory computer-readable recording medium
CN201811304974.3A CN109756667B (zh) 2017-11-07 2018-11-02 位置取得系统、位置取得装置、位置取得方法以及记录介质
EP18204684.7A EP3480791A1 (en) 2017-11-07 2018-11-06 System, device, method and computer program for obtaining the location and shooting direction of at least two cameras

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017215016 2017-11-07
JP2017215016 2017-11-07

Publications (2)

Publication Number Publication Date
JP2019086511A JP2019086511A (ja) 2019-06-06
JP7056495B2 true JP7056495B2 (ja) 2022-04-19

Family

ID=66762860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018187158A Active JP7056495B2 (ja) 2017-11-07 2018-10-02 位置算出システム、位置算出装置、位置算出方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7056495B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070267A (ja) 2006-09-14 2008-03-27 Canon Inc 位置姿勢計測方法及び装置
JP2010038847A (ja) 2008-08-08 2010-02-18 Shimadzu Corp モーショントラッカシステム及びその座標系設定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008070267A (ja) 2006-09-14 2008-03-27 Canon Inc 位置姿勢計測方法及び装置
JP2010038847A (ja) 2008-08-08 2010-02-18 Shimadzu Corp モーショントラッカシステム及びその座標系設定方法

Also Published As

Publication number Publication date
JP2019086511A (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
JP6459194B2 (ja) プロジェクター、及び投写画像制御方法
JP6016912B2 (ja) 3次元計測装置と3次元計測方法
JP7409425B2 (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
US10057554B2 (en) Projection control device, projection control method and non-transitory storage medium
CN109756667B (zh) 位置取得系统、位置取得装置、位置取得方法以及记录介质
JP2021101204A (ja) 制御装置の動作方法、プロジェクターの制御方法およびプロジェクター
JP7056495B2 (ja) 位置算出システム、位置算出装置、位置算出方法及びプログラム
KR20170128739A (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
CN108668089B (zh) 信息处理装置、信息处理方法以及记录介质
JP7396336B2 (ja) 位置情報取得装置、位置情報取得方法及びプログラム
WO2020049965A1 (ja) 3次元計測システム、3次元計測カメラ、3次元計測方法及びプログラム
JP2018113600A (ja) 発光装置、撮像装置、情報伝送システム、情報伝送方法及びプログラム
JP7052775B2 (ja) 位置取得装置、位置取得方法及びプログラム
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
JP7024186B2 (ja) 表示装置、情報処理システム、情報処理方法及びプログラム
JP6645473B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7484961B2 (ja) 情報取得装置、情報取得方法及びプログラム
JP6995554B2 (ja) 撮像装置および撮像方法
WO2022044807A1 (ja) 情報処理装置および方法
KR102535300B1 (ko) 캘리브레이션의 기준점을 획득하는 카메라 제어 장치 및 방법
JP2021150895A (ja) 制御回路、光通信方法、プログラム及び装着具
WO2015178079A1 (ja) 撮像装置、撮像装置の制御方法、および、撮像装置の制御プログラム
JP2021089304A (ja) 制御装置の動作方法および制御装置
JP2021050974A (ja) 縞パターン画像決定方法および三次元計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220321

R150 Certificate of patent or registration of utility model

Ref document number: 7056495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150