JP3359241B2

JP3359241B2 - 撮像方法および装置

Info

Publication number: JP3359241B2
Application number: JP27047896A
Authority: JP
Inventors: 康仁末永
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1995-10-13
Filing date: 1996-10-14
Publication date: 2002-12-24
Anticipated expiration: 2016-10-14
Also published as: JPH1078304A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、空間内における３
次元位置および方位を同時に自動的に求めつつ撮像を行
なう方法および装置に関するものである。

【０００２】

【従来の技術】ＴＶカメラによって撮像された実写映像
をコンピュータグラフィックス映像等と合成しようとす
る際には、その撮像が行なわれた際のＴＶカメラのレン
ズ焦点距離に加えて、ＴＶカメラ自体の３次元位置およ
び方位の情報を同時に記録しておくことが必要となる。

【０００３】２種類の映像を合成することを考えた場
合、それらの撮像の際のカメラのレンズ焦点距離、３次
元位置および方位が異なっていると、両映像を正確に合
成することは原理的に不可能であり、合成された映像は
全く違和感のあるものとなってしまう。

【０００４】コンピュータグラフィックスの１つの利点
は、３次元モデルを利用して、任意のレンズ焦点距離で
任意の３次元位置および方位で見た映像を生成できるこ
とにある。逆にいえば、これらの情報はコンピュータグ
ラフィックス映像の生成に不可欠のものであり、これら
が正しく与えられない限り正しい映像を生成することが
出来ない。

【０００５】従って、実写映像とコンピュータグラフィ
ックス像の正確な映像合成を行なうためには映像を撮像
する際のＴＶカメラのレンズ焦点、３次元位置および方
位のデータを映像に対応させる形で正確に記録してお
き、それを利用して実写映像に合わせたコンピュータグ
ラフィックス像を生成すればよい。

【０００６】しかし、従来より撮像ユニットの典型例と
して用いられているＴＶカメラは、単に２次元の映像を
撮影するものであり、撮像の際のカメラの３次元位置お
よび方位の情報は直接的に記録されない。このため、Ｔ
Ｖカメラとともに何らかの補助的手段を用いてＴＶカメ
ラの３次元空間内の位置および方位を計測する必要があ
る。

【０００７】従来、３次元空間内の位置および方位を求
める方式としては、（１）機械的３次元計測、（２）ジ
ャイロスコープ方式、（３）ＧＰＳ（グローバルポジ
ショニングシステム）方式、（４）天井格子パターン
検出方式がある。以下、従来の各方式について説明す
る。

【０００８】（１）機械的３次元計測機械じかけによって３次元空間内の位置を求める方式で
ある。アームの先につけられたＴＶカメラを計測ポイン
トに設定し、その３次元位置と方位をアームの長さと、
関節毎に設置したポテンショメータや歪ゲージ等の組み
合わせによって求める。この方式は、比較的確実性が高
い利点がある。

【０００９】（２）ジャイロスコープ方式ジャイロスコープをＴＶカメラに取り付けることによ
り、３次元位置と方位を計測しつつ撮像を行なう方式で
ある。

【００１０】（３）ＧＰＳ方式ＧＰＳ衛星からの電波を受けて２次元あるいは３次元位
置を検出する方式であり、カーナビゲーションシステム
に広く使用されている。

【００１１】（４）天井格子パターン検出方式あらかじめ天井に用意された（描かれた）位置合わせの
目的に使える格子パターンを、撮像用ＴＶカメラの上に
天井を向けて搭載した少しずつ向きの異なる３つの位置
合わせ用小型ＴＶカメラでとらえ、それら３つの小型Ｔ
Ｖカメラでとらえた天井の格子パターンをもとにして該
撮像用ＴＶカメラの方位を求める方式である。

【００１２】

【発明が解決しようとする課題】しかしながら、上記従
来の３次元空間内の位置および方位を求める各方式で
は、それぞれ、次のような問題点を有していた。

【００１３】（１）機械的３次元計測この方式は、計測ポイントを機械的に移動させるために
時間がかかるという欠点がある。また、しかけが非常に
大がかりとなるのみならず、使用可能な空間が上記アー
ムの可動範囲に限定されてしまうという問題点がある。
小さなしかけで行なうためには小さなＴＶカメラを用い
るのは勿論、アーム自体を短くする必要があり、箱庭の
ようなミニセットの中での撮影しか実現することが出来
ない。

【００１４】（２）ジャイロスコープ方式この方式において、小型のジャイロスコープを使用した
場合では、十分な精度で３次元位置と方位を計測するこ
とが困難であるという問題がある。一方、高精度のジャ
イロスコープを利用しようとすると装置がかなり大掛か
りとなり、しかも、ジャイロスコープの初期設定自体に
時間と手間がかるという問題点がある。

【００１５】（３）ＧＰＳ方式この方式では、通常、検出精度が５ｍ程度であり、これ
よりも精度の高い３次元計測が困難であるという問題が
ある。また、衛星からの電波をうける関係上、通常は屋
外で使用されるものであり、建物内での使用には適して
いないという問題がある。

【００１６】（４）天井格子パターン検出方式この方式は、撮像用ＴＶカメラを水平に近い状態（即
ち、位置合わせ用の３つのＴＶカメラが天井を向く）で
使用することを前提としており、撮像用ＴＶカメラの向
きが限定されるという問題がある。また、撮像用ＴＶカ
メラの使用場所が天井パターンのある所に限られるとい
う問題点がある。

【００１７】以上のように、従来の位置、方位を求める
方式では、任意の方向に向けて使用される撮像用カメラ
の３次元位置および方位を同時に高い精度で、かつ簡便
に、しかも撮像カメラが移動できる範囲が制限されずに
求めることはできないという問題点があった。

【００１８】本発明は、上記従来方式の問題点を解決す
るためになされたものであり、その目的は、撮像ユニッ
トの３次元位置、撮像方位ならびに回転角を、高い精度
で、しかも簡易に同時検出できるようにした撮像方法お
よび装置を提供することにある。

【００１９】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、以下の各方式による撮像方法および装置
を手段とする。

【００２０】（第１の発明）撮像ユニット上の目印を周
囲のセンサで検出する方式（第２の発明）撮像ユニット上の目印を周囲の方位検出
機構で検出する方式（第３の発明）撮像ユニット上の目印を周囲の距離検出
機構で検出する方式（第４の発明）周囲の目印を撮像ユニット上の方位検出
機構で検出する方式（第５の発明）周囲の目印を撮像ユニット上のセンサで
検出する方式（第６の発明）周囲の目印を撮像ユニット上の距離検出
機構で検出する方式以下、上記の各手段について説明する。

【００２１】《第１の発明》本発明の第１の発明による
撮像方法は、予め撮像ユニットに複数の目印を付け、前
記目印を外部の複数の方向から検出し、前記検出の結果
から求めた前記目印の３次元位置を、または前記目印の
３次元位置を基に計算した前記撮像ユニットの３次元位
置と方位もしくは前記撮像ユニットの３次元位置と方位
と回転角を、前記撮像ユニットの撮影映像に対応付けて
記録または出力することを特徴とする。

【００２２】本発明の第１の発明による撮像装置は、複
数の目印を付けた撮像ユニットと、前記目印を外部から
検出するための複数のセンサと、前記センサでの検出結
果を基に前記撮像ユニットの３次元位置、または前記撮
像ユニットの３次元位置と方位もしくは前記撮像ユニッ
トの３次元位置と方位と回転角を計算して求めるための
計算手段と、前記計算手段に接続して前記計算手段で求
めた前記撮像ユニットの３次元位置、または前記撮像ユ
ニットの３次元位置と方位もしくは前記撮像ユニットの
３次元位置と方位と回転角を前記撮像ユニットの撮影映
像に対応付けて記録または出力する手段と、を有するこ
とを特徴とする。

【００２３】第１の発明では、撮像ユニットに付けたマ
ークやランプ等からなる複数の目印を２以上の方向から
センサ等でとらえて、少なくともその２点の３次元位置
から撮像中の撮像ユニットの３次元位置と方位をリアル
タイムに計算し、撮像ユニットの撮影映像に対応付けて
記録または出力することにより、任意の方向を向けて使
用される撮像ユニットの３次元位置および方位を同時に
高い精度で、しかも簡便に求めて記録または出力し、後
のコンピュータグラフィックスの生成や映像合成等を容
易にする。

【００２４】《第２の発明》本発明の第２の発明による
撮像方法は、予め撮像ユニットに複数の目印を付け、外
部の複数の位置からみた前記目印にいたる目印方位を検
出し、前記検出の結果から求めた前記目印の３次元位置
を、または前記目印の３次元位置をもとに計算した前記
撮像ユニットの３次元位置と方位もしくは前記撮像ユニ
ットの３次元位置と方位と回転角を、前記撮像ユニット
の撮影映像に対応付けて記録または出力することを特徴
とする。

【００２５】本発明の第２の発明による撮像装置は、複
数の目印を付けた撮像ユニットと、外部の複数の位置か
らみた前記目印にいたる目印方位を検出するための複数
の目印方位検出機構と、前記目印方位検出機構での検出
結果をもとに前記撮像ユニットの３次元位置、または前
記撮像ユニットの３次元位置と方位もしくは前記撮像ユ
ニットの３次元位置と方位と回転角を計算して求めるた
めの計算手段と、前記計算手段に接続して前記計算手段
で求めた前記撮像ユニットの３次元位置と方位もしくは
前記撮像ユニットの３次元位置と方位と回転角を前記撮
像ユニットの撮影画像に対応付けて記録または出力する
手段と、を有することを特徴とする。

【００２６】第２の発明では、あらかじめ撮像ユニット
に複数の目印をつけておき、この目印の外部の２点以上
の位置からみた目印方位をその位置からとらえて、目印
の３次元位置をリアルタイムに計算し、これによって撮
像ユニットの３次元位置、撮像方位ならびに回転角を検
出し、これらを撮像ユニットの撮影映像に対応付けて記
録または出力することにより、任意の方向を向けて使用
される撮像ユニットの３次元位置、方位および回転角を
同時に高い精度で、しかも簡便に求めて、後のコンピュ
ータグラフィックスの生成や映像合成等を容易にする。
上記目印方位の検出は、目印を可動で追尾することで撮
像ユニットが移動できる空間の範囲を広くしている。

【００２７】《第３の発明》本発明の第３の発明による
撮像方法は、複数の目印を撮像ユニットに付加し、前記
撮像ユニットの周囲に設置された複数の距離検出機構か
ら前記複数の目印にいたる距離をそれぞれ検出し、前記
検出した距離をもとに計算した、前記複数の目印の３次
元位置、または前記撮像ユニットの３次元位置と方位、
または前記撮像ユニットの３次元位置と方位と回転角
を、前記撮像ユニットの撮影映像に対応付けて記録また
は出力することを特徴とする。

【００２８】本発明の第３の発明による撮像装置は、複
数の目印を付加した撮像ユニットと、前記撮像ユニット
の周囲に設置され前記撮像ユニット上の目印位置にいた
る距離をそれぞれ検出する距離検出機構と、前記検出し
た距離をもとに前記目印の３次元位置、または前記撮像
ユニットの３次元位置と方位、または前記撮像ユニット
の３次元位置と方位と回転角を計算する計算手段と、前
記計算手段に接続して前記計算手段で計算した目印の３
次元位置、または前記撮像ユニットの３次元位置と方
位、または前記撮像ユニットの３次元位置と方位と回転
角を、前記撮像ユニットの撮影映像に対応付けて記録ま
たは出力する手段と、を有することを特徴とする。

【００２９】第３の発明では、あらかじめ撮像ユニット
に複数の目印光源をつけ、ここから発せられる光を周囲
に設置された複数のセンサで検出してその距離を検出す
ることにより、目印光源の３次元位置を計算し、これを
もとに計算によって撮像ユニットの３次元位置や撮像方
位や回転角を、映像に対応させて同時検出する。

【００３０】《第４の発明》本発明の第４の発明による
撮像方法は、予め撮像ユニットの周囲に複数の目印を用
意するとともに、前記目印への方位を検出するための目
印方位検出機構を前記撮像ユニットに複数取り付け、前
記撮像ユニット上の前記目印方位検出機構の位置からみ
た前記目印にいたる目印方位を検出し、前記検出した目
印方位をもとに計算した、前記目印方位検出機構の３次
元位置、または前記撮像ユニットの３次元位置と方位、
または前記撮像ユニットの３次元位置と方位と回転角
を、前記撮像ユニットの撮影映像に対応付けて記録また
は出力することを特徴とする。

【００３１】本発明の第４の発明による撮像装置は、予
め周囲に用意した複数の目印と、前記目印への目印方位
を検出する複数の目印方位検出機構と、前記複数の目印
方位検出機構を取り付けた撮像ユニットと、前記目印方
位検出機構により検出された前記目印方位検出機構から
みた前記目印方位をもとに前記目印方位検出機構の３次
元位置、または前記撮像ユニットの３次元位置と方位、
または前記撮像ユニットの３次元位置と方位と回転角を
計算する計算手段と、前記計算した前記目印方位検出機
構の３次元位置、または前記撮像ユニットの３次元位置
と方位、または前記撮像ユニットの３次元位置と方位と
回転角を、前記撮像ユニットの撮影映像に対応付けて記
録または出力する手段と、を有することを特徴とする。

【００３２】第４の発明では、あらかじめ撮像ユニット
上に目印方位検出機構を搭載しておき、これを使って周
囲の２点以上の既知の位置に設置した目印にいたる方位
を検出することにより、目印方位検出機構の３次元位置
を計算し、これをもとに計算によって撮像ユニットの３
次元位置や撮像方位や回転角を、映像に対応させて同時
検出する。

【００３３】《第５の発明》本発明の第５の発明による
撮像方法は、複数のセンサを撮像ユニットに付加すると
ともに予め周囲に複数の目印を用意し、前記センサで前
記目印をとらえ、前記目印をとらえた結果から計算し
た、前記目印に対する前記センサの３次元位置、または
前記撮像ユニットの３次元位置と方位、または前記撮像
ユニットの３次元位置と方位と回転角を、前記撮像ユニ
ットの撮影映像に対応付けて記録または出力することを
特徴とする。

【００３４】本発明の第５の発明による撮像装置は、複
数のセンサを付加した撮像ユニットと、周囲に用意され
た複数の目印と、前記センサで前記目印をとらえた結果
から前記目印に対する前記センサの３次元位置、または
前記撮像ユニットの３次元位置と方位、または前記撮像
ユニットの３次元位置と方位と回転角を計算する計算手
段と、前記計算した前記センサの３次元位置、または前
記撮像ユニットの３次元位置と方位、または前記撮像ユ
ニットの３次元位置と方位と回転角を撮像ユニットの前
記撮影映像に対応付けて記録または出力する手段と、を
有することを特徴とする。

【００３５】第５の発明では、周囲に固定したマークや
ランプ等からなる複数の目印を、撮像ユニットに固定し
た複数のセンサ等でとらえて、その複数のセンサの３次
元位置から撮像中の撮像ユニットの３次元位置や方位や
回転角をリアルタイムに計算し、撮像ユニットの撮影映
像に対応付けて記録または出力することにより、任意の
方向を向けて使用される撮像ユニットの３次元位置や方
位や回転角を同時に高い精度で、しかも簡便に同時検出
し、記録もしくは出力する。

【００３６】《第６の発明》本発明の第６の発明による
撮像方法は、目印までの距離を検出する距離検出機構を
撮像ユニットに複数付加するとともに予め周囲に複数の
目印を配置し、前記距離検出機構の位置からみた前記目
印にいたる距離を検出し、前記検出の結果から計算し
た、前記目印の３次元位置、または前記撮像ユニットの
３次元位置と方位、または前記撮像ユニットの３次元位
置と方位と回転角を、前記撮像ユニットの撮影映像に対
応付けて記録または出力することを特徴とする。

【００３７】本発明の第６の発明による撮像装置は、目
印までの距離を検出する距離検出機構を複数付加した撮
像ユニットと、周囲に設置した複数の目印と、前記検出
した前記距離検出機構の位置からみた前記目印にいたる
距離から前記目印の３次元位置、または前記撮像ユニッ
トの３次元位置と方位、または前記撮像ユニットの３次
元位置と方位と回転角を計算する計算手段と、前記計算
した前記目印の３次元位置、または前記撮像ユニットの
３次元位置と方位、または前記撮像ユニットの３次元位
置と方位と回転角を前記撮像ユニットの撮影映像に対応
付けて記録または出力する手段と、を有することを特徴
とする。

【００３８】第６の発明では、周囲の複数の既知の位置
に目印方位検出機構を設置し、これを使ってあらかじめ
撮像ユニット上に搭載した複数の目印にいたる方位を検
出することにより、目印の３次元位置を計算し、これを
もとに計算によって撮像ユニットの３次元位置や撮像方
位や回転角を、映像に対応させて高い精度で、しかも簡
便に同時検出し、記録もしくは出力する。

【００３９】なお、以上の本発明による撮像装置では、
複数の目印として複数の発光体を用い、前記複数の発光
体を個別の発光タイミングまたは個別の周波数で点滅さ
せる発光体制御手段を備えるか、または、複数の目印と
して発光色の異なる複数の発光体を用い、前記目印を検
出するセンサまたは前記目印にいたる距離を検出する距
離検出機構または方位を検出する目印方位検出機構は、
カラー撮像手段等のカラー識別手段を有するのが、複数
の目印のそれぞれを容易に区別することができ、実用上
好適である。

【００４０】また、以上の本発明による撮像装置では、
撮像ユニットに接続して前記撮像ユニットのレンズ焦点
距離、レンズ絞り値、使用光学フィルタ、焦点合わせ位
置、シャッター速度という撮像用パラメータを単数もし
くは複数組み合わせて検出する検出手段を新たに備え、
記録または出力する手段は、前記検出した撮像用パラメ
ータを前記撮像ユニットの撮影映像に対応付けて記録ま
たは出力するのが、撮像ユニットの撮像映像とコンピュ
ータグラフィックス像を合成するなどの際の手間を大幅
に削減する点で好適である。

【００４１】

【発明の実施の形態】以下、本発明の実施形態例を、図
を参照して詳細に説明する。

【００４２】以下の各実施形態例では、説明を簡単にす
るため、撮像ユニットとしてのＴＶカメラのレンズとし
ては、焦点距離の変化するズームレンズではなく、固定
焦点距離のレンズを使用することを仮定して説明を行な
う。

【００４３】《実施形態例１》本発明の第１の実施形態
例は、撮像ユニット上の目印を周囲のセンサで検出する
方式を用いた本発明の第１の発明の実施形態例である。

【００４４】図１は、本実施形態例を説明する図であっ
て、１０１は、撮像ユニットとしてのＴＶカメラ、１０
２，１０３および１０９は、目印としてのＬＥＤ、１０
４は、発光タイミングコントローラ、１０５および１０
６は、２次元センサとしてのＴＶカメラ、１０７は、計
算機構としてのコンピュータ、１０８は、記録機構とし
ての磁気ビデオディスクである。ここで、磁気ビデオデ
ィスク１０８には、撮像用パラメータを予め保存してお
く。また、目印１０２および１０３は撮像ユニットとし
てのＴＶカメラ１０１上の両端に固定しておく。

【００４５】これを動作させるには、まず、発光タイミ
ングコントローラ１０４の制御により目印としてのＬＥ
Ｄ１０２，１０３，１０９を点灯させ、この光を２次元
センサとしてのＴＶカメラ１０５および１０６で受け、
その情報を計算機構１０７で処理することにより、目印
としてのＬＥＤ１０２，１０３，１０９の３次元位置
Ａ，ＢおよびＣを求め、これから方位および回転角をも
求める。

【００４６】図２は、上面と側面から撮られた２枚の映
像に基づいて３次元位置を求める方法の原理を示す概念
図であり、２０１および２０２はそれぞれ上面像と側面
像、２０３は得られる３次元位置情報である。なお、こ
こでは説明を簡単化するため平行投影を仮定した図を描
いている。実際の場合では、透視投影を用いることにな
るが、この計算方式自体はステレオ写真計測等の分野で
既に確立されている。原理的には上面像２０１と側面像
２０２でそれぞれ対応するｘの位置にある目印のｙおよ
びｚを求めるだけでよい。これにより目印の３次元位置
情報２０３が得られることになる。

【００４７】求められた３次元空間内の目印１０２，１
０２および１０９の位置をそれぞれ、目印１０２：点Ａ（Ａｘ，Ａｙ，Ａｚ）目印１０３：点Ｂ（Ｂｘ，Ｂｙ，Ｂｚ）目印１０９：点Ｃ（Ｃｘ，Ｃｙ，Ｃｚ）とする。これより撮像ユニット１０１の方位Ｖが下式で
定まる。

【００４８】Ｖ＝（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ａｘ−Ｂ
ｘ，Ａｙ−Ｂｙ，Ａｚ−Ｂｚ）また点Ｃにより、線分ＡＢを軸とする撮像ユニットとし
てのＴＶカメラ１０１の回転角も定まる。すなわち、線
分ＡＢに対する点Ｃの正規の位置をＣ′とすると、線分
ＡＢの軸上の点を頂点としＣＣ′を底辺とする２等辺三
角形の頂角が回転角である。

【００４９】なお、上記の説明では省略したが、実用上
は、目印としてのＬＥＤ１０２，１０３および１０９が
混同して検出されるのを防ぐために、若干の工夫を施す
必要がある。

【００５０】例えば、目印としてのＬＥＤ１０２，１０
３および１０９を別のタイミングんたは別の周波数で断
続発光するように発光タイミングコントローラ１０４に
セットしておく。これにより、三者を区別して検出する
ことができる。

【００５１】また、別の方法としては、目印１０２，１
０３および１０９としてそれぞれ発光色を変えたものを
用い、２次元センサ１０４および１０５としてカラーＴ
Ｖカメラを用いることにより三者を区別して検出する方
法もある。

【００５２】以上のように、撮像ユニット１０１の３次
元位置情報（目印の３次元座標値（Ａｘ，Ａｙ，Ｂｚ）
と（Ｂｘ，Ｂｙ，Ｂｚ））ならびに３次元方位情報（Ｖ
ｘ，Ｖｙ，Ｖｚ）と回転角が同時に得られることにな
る。そこで、このように計測を行ないつつ、撮像ユニッ
ト１０１によって撮像を行ない、この映像情報と、上記
方法で得られた撮像ユニット１０１の３次元位置と方
位、回転角の情報とを、ともに対応させて記録機構１０
８に格納する。記録機構１０８に格納された映像情報と
撮像ユニット１０１の３次元位置と方位、回転角、並び
に予め格納された撮像ユニット１のレンズ焦点距離等の
撮像用パラメータに関する情報は、後にコンピュータグ
ラフィックス像生成用のコンピュータに入力されて、コ
ンピュータグラフィックス像とその撮像された映像が合
成される。

【００５３】《実施形態例２》本発明の第２の実施形態
例も、撮像ユニット上の目印を周囲のセンサで検出する
方式を用いた本発明の第１の発明の実施形態例である。

【００５４】図３は本実施形態例を説明する図であっ
て、３０１は撮影パラメータ検出ユニットであり、図１
と同一符号を付した他の要素は図１の第１の実施形態例
と同一のものである。図１との違いは、この撮像パラメ
ータ検出ユニット３０１が加えられている点である。

【００５５】本実施形態例では、撮像パラメータ検出ユ
ニット３０１で検出された撮影ユニットの（ａ）使用レ
ンズの撮像時焦点距離、（ｂ）実際の絞り、（ｃ）使用
光学フィルタ、（ｄ）焦点合わせ位置、（ｅ）シャッタ
ー速度、等の撮像用パラメータを同時に記録機構１０８
に送り、図１の第１の実施形態例での記録情報と対応し
た形で共に記録する。本実施形態例によれば、撮像の際
の全ての情報が映像情報にリアルタイムに対応付けられ
て同時に記録されることになるため、撮像中の撮像パラ
メータの変化への対応が容易になり、後にコンピュータ
グラフィックス像とその映像を合成する際の手間が大幅
に削減できる利点が得られる。

【００５６】なお、第１、第２の実施形態例では、目印
としてＡ，Ｂ，Ｃの３つを使用したが、同様の原理で４
つ以上の目印を使用することにより、確実にとらえられ
た目印の情報を使用することで、より確度の高い３次元
位置および方位の計測が可能となる。

【００５７】また、撮像ユニットの３次元位置と方位だ
け必要で回転角は無視できる場合には、目印Ａ，Ｂだけ
でよく、目印Ｃは省略できる。また、撮像パラメータが
固定もしくは固定的であるような場合では、撮像パラメ
ータの記録や出力は省略可能である。

【００５８】また、２次元センサとしてのＴＶカメラも
以上の実施形態例では、２次元センサ１０５および１０
６の２つのみを使用したが、これを３つ以上使用し、同
時に多方向から情報を集められるようにすれば、実際の
使用状況において撮像ユニット１０１の陰、あるいは撮
影者の陰等に隠れて検出されない目印がたとえあったと
しても、代わりに他の２次元センサとしてのＴＶカメラ
によって確実に検出されるため、所期の目的を達成する
ことができる。

【００５９】さらに、第１、第２の実施形態例において
は、記録機構を省略して、実写映像とコンピュータグラ
フィックス像を映像合成するコンピュータ等へ、撮像ユ
ニットの撮像映像と、目印の３次元位置や撮像ユニット
の３次元位置、方位、回転角、必要なら撮像用パラメー
タ等を対応付けて直接出力し、外部で必要な処理をする
ように構成しても良い。

【００６０】《実施形態例３》本発明の第３の実施形態
例は、撮像ユニット上の目印を周囲の方位検出機構で検
出する方式を用いた本発明の第２の発明の実施形態例で
ある。

【００６１】図４は、本発明の第３の実施形態例を説明
する図であって、４０１は、撮像ユニットとしてのＴＶ
カメラ、４０２および４０３は、目印としてのＬＥＤ、
４０４は、発光タイミングコントローラ、４０５−Ａ，
４０５−Ｂ、４０６−Ａおよび４０６−Ｂは、いずれも
目印方位検出機構、４０７は、計算機構としてのコンピ
ュータ、４０８は、記録機構としての磁気ビデオディス
ク、である。ここで、目印４０２および４０３は撮影ユ
ニットとしてのＴＶカメラ４０１上の両端に固定してお
く。

【００６２】これを動作させるには、まず、発光タイミ
ングコントローラ４０４の制御により目印としてのＬＥ
Ｄ４０２と４０３を点灯させ、この光を目印方位検出機
構４０５−Ａ、４０５−Ｂ、４０６−Ａ、および、４０
６−Ｂで受けることにより、前記目印方位検出機構４０
５−Ａ、４０５−Ｂ、４０６−Ａ、および、４０６−Ｂ
の位置からそれぞれ目印４０２と４０３にいたる方位を
検出し、その情報を計算機構としてのコンピュータ４０
７で処理することにより目印としてのＬＥＤ４０２と４
０３の３次元位置ＡおよびＢを求め、これから撮像方位
をも求めることができる。

【００６３】図５は、目印方位検出機構４０５−Ａの一
構成例を示すものであり、５０１はコントローラ、５０
２は２軸回りの角度検出機能つき回転機構、５０３は回
転機構５０２上に固定設置されたＣＣＤセンサ、５０４
は目印方位検出機構４０５−Ａの３次元位置である。残
る３つの目印方位検出機構４０５−Ｂ、４０６−Ａ、お
よび、４０６−Ｂについても全く同様である。

【００６４】これを動作させるには、まず、コントロー
ラ５０１の指令で回転機構５０２を作動させることによ
ってＣＣＤセンサ５０３の向きを動かし、前記撮像ユニ
ット４０１上に付けられた目印４０２をＣＣＤセンサ５
０３の視野内にとらえる。以後はＣＣＤセンサ５０３の
視野中心とその目印４０２の検出位置とのずれ量を検出
しつつ、そのずれ量が最小になるように（即ちＣＣＤセ
ンサ５０３の視野の中心に来るように）回転機構５０２
を作動させ続ける。すると、回転機構５０２に組み込ま
れている２軸回りの角度検出機能により、目印方位検出
機構４０５の３次元位置５０４から見た目印４０２の方
向をみた目印方位Ｖ１が得られる。

【００６５】コントローラ５０１ではＣＣＤセンサ５０
３の視野のどの位置（中心からどちらの方向にどの程度
離れた位置）に目印４０２がとらえられているかを判断
し、常に中心でとらえるように回転機構５０２を作動さ
せる。

【００６６】目印方位検出機構４０５−Ｂの構成および
動作は４０５−Ａと同じであるが、ただ目印方位検出機
構の３次元位置５０４とは別の３次元位置から同じ目印
４０２をとらえて目印方位Ｖ２を求める。

【００６７】このようにして求められた２つの目印方位
Ｖ１、Ｖ２から目印４０２の３次元位置が求められる。

【００６８】同様に、さらに２つの目印方位検出機構４
０６−Ａ、４０６−Ｂを用いて目印４０３の３次元位置
も求めることが出来る。

【００６９】なお、回転機構に組み込まれる角度検出機
構は、例えば現在広く工業用ロボットアームの関節部に
使用されているロータリーエンコーダを利用して実現す
ることができる。

【００７０】求められた３次元空間内の目印４０２およ
び４０３の位置をそれぞれ、目印４０２：点Ａ＝（Ａｘ，Ａｙ，Ａｚ）目印４０３：点Ｂ＝（Ｂｘ，Ｂｙ，Ｂｚ）とする。これより撮像ユニット４０１の方位Ｖが下式で
定まる。

【００７１】Ｖ＝（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ａｘ−Ｂ
ｘ，Ａｙ−Ｂｙ，Ａｚ−Ｂｚ）なお、上記の説明では省略したが、実用上は、目印とし
てＬＥＤ４０２と４０３が混同して検出されるのを防ぐ
ため若干の工夫を施す必要がある。

【００７２】例えば、目印４０２と４０３を別のタイミ
ングまたは別の周波数で断続発光するようにセットして
おく。これにより両者を区別して検出することができ
る。

【００７３】また、別の方法としては、目印４０２と４
０３としてそれぞれ色を変えたものを用い、目印方位検
出機構４０５および４０６の２次元センサとしてカラー
ＴＶカメラを用いることにより両者を区別して検出する
方法もある。

【００７４】以上のようにして撮像ユニット４０１の３
次元位置情報（目印の３次元座標値（Ａｘ，Ａｙ，Ｂ
ｚ）と（Ｂｘ，Ｂｙ，Ｂｚ））ならびに撮像方位情報
（Ｖｘ，Ｖｙ，Ｖｚ）が同時に得られることになる。そ
こで、このように計測を行ないつつ、撮像ユニット４０
１により撮像を行ない、この映像情報と、上記方法で得
られた撮像ユニット４０１の３次元位置と撮像方位の位
置とを、ともに対応させて記録機構４０８に格納する。

【００７５】以上のように、目印方位検出機構は、可動
で撮像ユニットの目印を追尾するので、撮像ユニットの
移動の自由度が増し、撮像ユニットの移動できる空間の
範囲を拡大することができる。目印の３次元位置の検出
は、２台以上の固定のカメラ等を位置センサとして検出
した画像から求めることも可能であるが、その場合に
は、撮像ユニットの移動できる空間の範囲は、位置セン
サとしてのカメラの視野範囲内に限定され、狭いものと
なる。

【００７６】《実施形態例４》本発明の第４の実施形態
例も、撮像ユニット上の目印を周囲の方位検出機構で検
出する方式を用いた本発明の第２の発明の実施形態例で
ある。

【００７７】図６は、本発明の第４の実施形態例を説明
する図であって、６０１は撮像パラメータ検出ユニット
である。本実施形態例のその他の構成は、図４と同符号
の構成と同じである。図４との違いはこの撮像パラメー
タ検出ユニット６０１が加えられている点である。本実
施形態例では、撮像パラメータ検出ユニット６０１で検
出された撮像ユニットの、・使用レンズの撮像時焦点距離・実際の絞り・使用光学フィルタ・焦点合わせ位置・シャッター速度等の撮像用パラメータを同時に記録機構４０８に送り、
図４の第３の実施形態例での記録情報と対応した形で共
に記録する。これにより、撮像の際の全ての情報が同時
に記録されることになり、後にコンピュータグラフィッ
クス像とその映像を合成する際の手間が大幅に削減でき
る。

【００７８】なお、第３、第４の実施形態例では、目印
としてＡ、Ｂの２つのみを使用したが、同様の原理で３
つの目印Ａ、Ｂ、Ｃを使用し、これらを全て検出するた
めに前記目印方位検出機構を増設することにより、撮像
ユニットの３次元位置と撮像方位に加えて撮像方位軸回
りの回転角をも求めることが可能である。

【００７９】また、２つ以上、多数の目印と多数の目印
方位検出機構を使用すれば、実際の使用状況において撮
像ユニット４０１の陰に隠れて検出されない目印がたと
えあったとしても、確実にとらえられた目印の情報を使
用することにより、代わりに他の目印が確実に検出され
るため、初期の目的を達成することができ、より確度の
高い３次元位置、撮像方位および回転角の計測が可能と
なる。

【００８０】さらに、第１、第２の実施形態例において
も、記録機構を省略して、実写映像とコンピュータグラ
フィックス像を映像合成するコンピュータ等へ、撮像ユ
ニットの撮像映像と、目印の３次元位置や撮像ユニット
の３次元位置、方位、回転角、必要なら撮像用パラメー
タ等を対応付けて直接出力し、外部で必要な処理をする
ように構成しても良い。

【００８１】《実施形態例５》本発明の第５の実施形態
例は、撮像ユニット上の目印を周囲の距離検出機構で検
出する方式を用いた本発明の第３の発明の実施形態例で
ある。

【００８２】図７は、本実施形態例を説明する図であっ
て、７０１は、撮像ユニットとしてのＴＶカメラ、７０
２および７０３は、目印光源、７０４は、発光制御機
構、７０５Ａ，７０５Ｂ，７０５Ｃ，７０６Ａ，７０６
Ｂ，７０６Ｃは、いずれも距離検出機構、７０７は、計
算機構としてのコンピュータ、７０８は、記録機構とし
ての磁気ビデオディスク、である。ここで、目印光源７
０２および７０３は、ともにそれぞれ周囲に対して放射
状に一様に光を放散する光源を用いる（特定方向のみに
光を出す光源でないものを用いるか、あるいは、小さな
拡散レンズを使用して放散状に光を放散するような光源
を実現する）こととし、それぞれを撮像ユニットとして
のＴＶカメラ７０１上の例えば両端に固定しておく。

【００８３】これを動作させるには、まず、発光制御機
構７０４の制御により目印光源７０２と７０３を発光さ
せ、この光をそれぞれ距離検出機構７０５Ａ，７０５
Ｂ，７０５Ｃ，７０６Ａ，７０６Ｂ，７０６Ｃで受け、
目印光源から各距離検出機構にいたるまでの距離を検出
したのち、それらを計算機構７０７で処理することによ
り目印光源７０２および７０３の３次元位置ＡおよびＢ
を求め、これから撮像方位をも求めることができる。

【００８４】求められた３次元空間内の目印７０２およ
び７０３の位置をそれぞれ、目印７０２：点Ａ＝（Ａｘ，Ａｙ，Ａｚ）目印７０３：点Ｂ＝（Ｂｘ，Ｂｙ，Ｂｚ）とする。これにより撮像ユニット７０１の方位Ｖが定ま
る。

【００８５】Ｖ＝（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ａｘ−Ｂ
ｘ，Ａｙ−Ｂｙ，Ａｚ−Ｂｚ）なお、上記の説明では省略したが、実用上は、２つの目
印光源７０２と７０３が混同して検出されるのを防ぐた
め若干の工夫を施す必要がある。

【００８６】例えば、目印光源７０２と７０３を相互に
区別できるような別のタイミングまたは別の周波数で断
続発光するようにセットしておく。これにより両者を区
別して検出することができる。

【００８７】また、別の方法として、目印光源７０２と
７０３としてそれぞれ色（波長）の異なる光源を用いる
ことにより両者を区別して検出する方法もある。

【００８８】以上のようにして撮像ユニット７０１の３
次元位置情報（目印の３次元座標値（Ａｘ，Ａｙ，Ａ
ｚ）と（Ｂｘ，Ｂｙ，Ｂｚ））ならびに撮像方位情報
（Ｖｘ，Ｖｙ，Ｖｚ）が同時に得られることになる。そ
こで、このように計測を行ないつつ、撮像ユニット７０
１によって撮像を行ない、この映像情報と、上記方法で
得られた撮像ユニット７０１の３次元位置と撮像方位の
情報とを、ともに対応させて記録機構７０８に格納す
る。

【００８９】図８は距離検出機構７０５Ａの動作を示す
図であり、８０１は光センサ、８０２は検出回路であ
る。発光制御機構７０４は目印光源７０２を発光させる
と同時に検出回路８０２に信号を送る。この同時性を確
保するため、発光制御機構７０４から光センサ８０１と
検出回路８０２までの信号の遅延が等しくなるように、
それぞれを接続するケーブルの長さを等しくする。光セ
ンサ８０１は、目印光源７０２から発せられた光を検出
し、検出回路８０２に信号を送る。検出回路８０２で
は、発光制御機構７０４と検出回路８０２の両方から送
られる信号の時間差（遅延時間）Ｔを検出し、これを計
算機構７０７に送る。この時間差（遅延時間）Ｔは、目
印光源７０２と光センサ８０１の間の物理的距離（光路
長）を反映するものであり、これから実際の物理的距離
を計算することができる。

【００９０】なお、発光制御機構７０４から光センサ８
０１と距離検出機構７０５Ａをそれぞれ接続するケーブ
ルの長さを等しくしても、諸条件により発光制御機構７
０４から光センサ８０１と検出回路８０２までのそれぞ
れの信号の遅延が等しくならない場合も想定されるが、
その場合にはキャリブレーションによる補正を行えば良
い。

【００９１】上記の例では、簡単化のために、比較的単
純な形の波形を用いて説明を行なったが、実際には、よ
り精度の高い検出を行なうためのさまざまな手法を使用
することが可能である。例えば、現在すでに工業用の距
離測定装置に安定した技術として広く使用されている位
相差検出の原理をこれに適用できる。即ち、検出回路８
０２として位相差検出回路を使用し、発光制御機構７０
４により変調された光を目印光源７０２から発光させ、
これを光センサ８０１でとられた後、検出回路８０２に
よって両波形の位相差を検出し、これから距離情報を求
めることが出来る。

【００９２】また、上記の例では、距離検出機構７０５
Ａのみについて説明したが、他の距離検出機構、即ち、
距離検出機構７０５Ｂ，７０５Ｃ，７０６Ａ，７０６
Ｂ，７０６Ｃの場合も、構成と動作に関する事情は全く
同じである。なお、発光制御機構７０４Ａから各距離検
出機構へ信号を伝えるためのケーブル長を等しくしてお
けば、補正の手間を省くことができ、目印光源７０２，
７０３から各距離検出機構までの距離を正確に求めるこ
とができる。

【００９３】《実施形態例６》本発明の第６の実施形態
例も、撮像ユニット上の光源光を周囲の距離センサで検
出する方式を用いた本発明の第３の発明の実施形態例で
ある。

【００９４】図９は、本実施形態例を説明する図であ
り、９０１は撮像パラメータ検出ユニットである。図７
との違いは、この撮像パラメータ検出ユニット９０１が
撮像ユニット７０１に付け加えられている点である。

【００９５】本実施形態例では、撮像パラメータ検出ユ
ニット９０１が検出した撮像ユニット７０１の・使用レンズの撮像時焦点距離・実際の絞り・使用光学フィルタ・焦点合わせ位置・シャッター速度等の撮像用パラメータを同時に記録機構７０８に送り、
図７の第５の実施形態例での記録情報と対応した形で共
に記録する。これにより、撮像の際の全ての情報が同時
に記録されることになり、後にコンピュータグラフィッ
クス像とその映像を合成する際の手間が大幅に削減でき
る。

【００９６】なお、第５、第６の実施形態例では、目印
としてＡ，Ｂの２つのみを使用したが、同様の原理で３
つの目印Ａ，Ｂ，Ｃを使用し、これらを全て検出するた
めに前記距離検出機構を増設することにより、撮像ユニ
ットの３次元位置と撮像方位に加えて撮像方位軸回りの
回転角をも求めることが可能である。

【００９７】また、３つ以上の、多数の目印と多数の距
離検出機構を使用すれば、実際の使用状況において撮像
ユニット７０１の陰に隠れて検出されない目印がたとえ
あったとしても、確実にとらえられた目印の情報を使用
することにより、代わりに他の目印が確実に検出される
ため、所期の目的を達成することができ、より確度の高
い３次元位置、撮像方位および回転角の計測が可能とな
る。

【００９８】さらに、第５、第６の実施形態例において
も、記録機構を省略して、実写映像とコンピュータグラ
フィックス像を映像合成するコンピュータ等へ、撮像ユ
ニットの撮像映像と、目印の３次元位置や撮像ユニット
の３次元位置、方位、回転角、必要なら撮像用パラメー
タ等を対応付けて直接出力し、外部で必要な処理をする
ように構成しても良い。

【００９９】《実施形態例７》本発明の第７の実施形態
例は、周囲の目印を撮像ユニット上の方位検出機構で検
出する方式を用いた本発明の第４の発明の実施形態例で
ある。

【０１００】図１０は、本実施形態例を説明する図であ
って、１００１は、撮像ユニットとしてのＴＶカメラ、
１００２および１００３は、目印としてのＬＥＤ（発光
ダイオード）、１００４は、発光タイミングコントロー
ラ、１００５Ａ，１００５Ｂ，１００６Ａ及び１００６
Ｂは、目印方位検出機構、１００７は、計算機構として
のコンピュータ、１００８は、記録機構としての磁気ビ
デオディスク、である。ここで、目印１００２および１
００３はともに空間内の既知の３次元位置に固定しくお
く。また、方位検出機構１００５Ａ，１００５Ｂ，１０
０６Ａおよび１００６Ｂは撮像ユニットとしてのＴＶカ
メラ１００１上の既知の位置に固定しておく。

【０１０１】これを動作させるには、まず、発光タイミ
ングコントローラ１００４の制御により目印としてのＬ
ＥＤ１００２と１００３を点灯させ、これらをそれぞれ
目印方位検出機構１００５Ａ，１００５Ｂ，１００６Ａ
および１００６Ｂで追跡し、それぞれ目的１００２と１
００３にいたる目印方位を検出する。この検出された目
印方位の情報を計算機構１００７で処理することによ
り、目印方位検出機構１００５Ａ，１００５Ｂ，１００
６Ａおよび１００６Ｂからみた目印１００２および１０
０３の相対的３次元位置が求まり、これから目印方位検
出機構１００５Ａ，１００５Ｂ，１００６Ａおよび１０
０６Ｂの３次元位置を逆算することが出来る。また、こ
れから撮像ユニット１００１の撮像方位をも求めること
ができる。

【０１０２】図１１は、目印方位検出機構１００５Ａの
一つの構成例を示すものであり、１１０１はコントロー
ラ、１１０２は２軸回りの角度検出機能つき回転機構、
１１０３は回転機構１１０２上に固定設置されたＣＣＤ
センサ、１１０４は目印方位検出機構１００５Ａの３次
元位置である。残る３つの目印方位検出機構１００５
Ｂ，１００６Ａ、および、１００６Ｂについても全く同
様である。

【０１０３】この目印方位検出機構１００５Ａを動作さ
せるには、まず、コントローラ１１０１の指令で回転機
構１１０２を作動させることによってＣＣＤセンサ１１
０３の向きを動かし、あらかじめ周囲（空間内の既知の
３次元位置）に配置された目印１００２をＣＣＤセンサ
１１０３の視野内にとらえる。以後はＣＣＤセンサ１１
０３の視野中心とその目印１００２の検出位置とのずれ
量を検出しつつ、そのずれ量が最小となるように（即ち
ＣＣＤセンサの視野の中心に来るように）回転機構１１
０２を作動させ続ける。すると、回転機構１１０２に組
み込まれている２軸回りの角度検出機構により、目印方
位検出機構１００５の３次元位置１１０４から見た目印
１００２の方向をみた目印方位Ｖ１が得られる。

【０１０４】コントローラ１１０１ではＣＣＤセンサ１
１０３の視野のどの位置（中心からどちらの方向にどの
程度離れた位置）に目印１０２がとらえられているかを
判断し、常に中心でとらえるように回転機構１１０２を
作動させる。

【０１０５】目印方位検出機構１００５Ｂの構成および
動作は１００５Ａと同じであるが、ただ１１０４とは別
の３次元位置から同じ目印１００２をとらえて目印方位
Ｖ２を求める。

【０１０６】このようにして求められた２つの目印方位
Ｖ１，Ｖ２から目印１００２の相対的３次元位置が求め
られる。

【０１０７】同様に、さらに２つの目印方位検出機構１
００６Ａ，１００６Ｂを用いて目印１００３の相対的３
次元位置も求めることが出来る。

【０１０８】なお、回転機構に組み込まれる角度検出機
能は、例えば現在広く工業用ロボットアームの関節部に
使用されているロータリーエンコーダを利用して実現す
ることができる。

【０１０９】なお、上記の説明では省略したが、実用上
は、目印としてのＬＥＤ１００２と１００３が混同して
検出されるのを防ぐため若干の工夫を施す必要がある。

【０１１０】例えば、目印１００２と１００３を別のタ
イミングまたは別の周波数で断続発光するようにセット
しておく。これにより両者を区別して検出することがで
きる。

【０１１１】また、別の方法としては、目印１００２と
１００３としてそれぞれ色を変えたものを用い、２次元
センサ１００４および１００５としてカラーＴＶカメラ
を用いることにより両者を区別して検出する方法もあ
る。

【０１１２】以上のようにして撮像ユニット１００１の
３次元位置情報と撮像方位情報が同時に得られるように
なる。そこで、このように計測を行ないつつ、撮像ユニ
ット１００１によって撮像を行ない、この映像情報と、
上記方法で得られた撮像ユニット１００１の３次元位置
と撮像方位の情報とを、ともに対応させて記録機構１０
０８に格納する。

【０１１３】《実施形態例８》本発明の第８の実施形態
例も、周囲の目印を撮像ユニット上の方位検出機構で検
出する方式を用いた本発明の第４の発明の実施形態例で
ある。

【０１１４】図１２は、本実施形態例を説明する図であ
り、１２０１は撮像パラメータ検出ユニットである。図
４との違いは、この撮像パラメータ検出ユニット１２０
１が撮像ユニット１００１に付け加えられている点であ
る。

【０１１５】本実施形態例では、撮像パラメータ検出ユ
ニット１２０１が検出した撮像ユニットの・使用レンズの撮像時焦点距離・実際の絞り・使用光学フィルタ・焦点合わせ位置・シャッター速度等の撮像用パラメータを同時に記録機構に送り、図１０
の実施形態例での記録情報と対応した形で共に記録す
る。これにより、撮像の際の全ての情報が同時に記録さ
れることになり、後にコンピュータグラフィックス像と
その映像を合成する際の手間が大幅に削減できる。

【０１１６】なお、第７、第８の実施形態例では、目印
として光源１００２，１００３の２つのみを使用した
が、同様の原理で３つの目印を使用し、これらを全て検
出するために前記目印方位検出機構を増設することによ
り、撮像ユニットの３次元位置と撮像方位に加えて撮像
方位軸回りの回転角をも求めることが可能である。

【０１１７】また、３つ以上の、多数の目印と多数の目
印方位検出機構を使用すれば、実際の使用状況において
撮像ユニット１００１の陰に隠れて検出されない目印が
たとえあったとしても、確実にとらえられた目印の情報
を使用することにより、代わりに他の目印が確実に検出
されるため、所期の目的を達成することができ、より確
度の高い３次元位置、撮像方位および回転角の計測が可
能となる。

【０１１８】また、第７、第８の実施形態例において
も、記録機構を省略して、実写映像とコンピュータグラ
フィックス像を映像合成するコンピュータ等へ、撮像ユ
ニットの撮像映像と、目印もしくは目印方位検出機構の
３次元位置や撮像ユニットの３次元位置、方位、回転
角、必要なら撮像用パラメータ等を対応付けて直接出力
し、外部で必要な処理をするように構成しても良い。

【０１１９】《実施形態例９》本発明の第９の実施形態
例は、周囲の目印を撮像ユニット上のセンサで検出する
方式を用いた本発明の第５の発明の実施形態例である。

【０１２０】図１３は、本実施形態例を示す構成図であ
って、１３０１は、撮像ユニットとしてのＴＶカメラ、
１３０２−１，１３０２−２，…，１３０２−ｎは、目
印として固定設置されたｎ個のＬＥＤ、１３０３−１，
１３０３−２，…，１３０３−ｍは、撮像ユニット１３
０１の上に設置されたｍ個の２次元センサ、１３０４
は、発光タイミングコントローラ、１３０７は、計算機
構としてのコンピュータ、１３０８は、記録機構として
の磁気ビデオディスク、である。

【０１２１】これを動作するには、まず、発光タイミン
グコントローラ１３０４の制御により目印としてのｎ個
のＬＥＤ１３０２−１，１３０２−２，…，１３０２−
ｎを点灯させ、この光を２次元センサとしてのｍ個の２
次元センサ１３０３−１，１３０３−２，…，１３０３
−ｍでとらえ、その情報を計算機構１３０７で処理する
ことにより、ｍ個の２次元センサ１３０３−１，１３０
３−２，…，１３０３−ｍから見たｎ個のＬＥＤ１３０
２−１，１３０２−２，…，１３０２−ｎの３次元位置
Ｐ−１，Ｐ−２，…，Ｐ−ｎを求める。これから逆に計
算を行なうことにより、ｍ個の２次元センサ１３０３−
１，１３０３−２，…，１３０３−ｍが求められ、さら
にそれらから、撮像ユニット１３０１自体の３次元位置
を、さらに、撮像方位や回転角をも求めることができ
る。これらを求めるためには、少なくとも３点以上の２
次元センサの３次元位置が確定すれば良い。

【０１２２】２枚の映像に基づいて３次元位置を求める
方式の原理は、ステレオ写真計測等の分野で既に確立さ
れている。これは、第１の実施形態例において図２を用
いて既に説明した通りであるのでここでは省略する。

【０１２３】《実施形態例１０》本発明の第１０の実施
形態例は、周囲の目印を撮像ユニット上の距離検出機構
で検出する方式を用いた本発明の第６の発明の実施形態
例である。

【０１２４】図１４は、本実施形態例を示す構成図であ
って、１４０１は、撮像ユニットとしてのＴＶカメラ、
１４０２−１，１４０２−２，１４０２−３は、目印光
源、１４０３−１，１４０３−２，１４０３−３は、撮
像ユニット１４０１上の、お互いに異なる位置に設置し
た距離検出機構、１４０４は、発光制御機構、１４０７
は、計算機構としてのコンピュータ、１４０８は、記録
機構としての磁気ビデオディスク、である。ここで、目
印光源１４０２−１，１４０２−２，１４０２−３は、
それぞれ周囲に対して放射状に一様に光を放散する光源
を用いる（特定方向のみに光を出す光源でないものを用
いるか、あるいは、小さな拡散レンズを使用して放射状
に光を放散するような光源を実現する）こととする。距
離検出機構としては、既に第５の実施形態例で述べたも
のを使用することができる。

【０１２５】これを動作させるには、まず、発光制御機
構１４０４の制御により目印光源１４０２−１，１４０
２−２，１４０２−３を発光させ、この光をそれぞれ距
離検出機構１４０３−１，１４０３−２，１４０３−３
で受け、目印光源から各距離検出機構にいたるまでの距
離を検出したのち、それらを計算機構１４０７で処理す
ることにより目印光源１４０２−１，１４０２−２，１
４０２−３に対する距離検出機構１４０３−１，１４０
３−２，１４０３−３の３点の３次元位置を求め、これ
から撮像方位や回転角をも求めることができる。

【０１２６】なお、上記の説明では省略したが、実用上
は、目印としての光源１４０２−１，１４０２−２，１
４０２−３が混同して検出されるのを防ぐため若干の工
夫を施す必要がある。例えば、これらを相互に区別でき
るような別のタイミングまたは別の周波数で断続発光す
るようにセットしておく。これにより両者を区別して検
出することができる。

【０１２７】また、別の方法としては、目印光源として
それぞれ色（波長）の異なる光源を用いることにより両
者を区別して検出する方法もある。

【０１２８】以上のようにして撮像ユニット１４０１の
３次元位置情報ならびに撮像方位情報が同時に得られる
ことになる。そこで、このように計測を行ないつつ、撮
像ユニット１４０１によって撮像を行ない、この映像情
報と、上記方法で得られた撮像ユニット１４０１の３次
元位置と撮像方位の情報とを、ともに対応させて記録機
構１４０８に格納する。

【０１２９】なお、第９、第１０の実施形態例において
も、第２の実施形態例と同様に撮像パラメータ検出ユニ
ットを撮像ユニットに付加して、それで検出された撮像
ユニットの（ａ）使用レンズの撮像時焦点距離、（ｂ）
実際の絞り、（ｃ）使用光学フィルタ、（ｄ）焦点合わ
せ位置、（ｅ）シャッター速度、等の撮像用パラメータ
を同時に記録機構に送り、各実施形態例での記録情報と
対応した形で共に記録するようにしてもよい。この場
合、撮像の際の全ての情報が映像情報にリアルタイムに
対応付けられて同時に記録されることになるため、撮像
中の撮像パラメータの変化への対応が容易になり、後に
コンピュータグラフィックス像とその映像を合成する際
の手間が大幅に削減できる利点が得られる。

【０１３０】また、撮像ユニット上の３次元位置として
少なくとも３点が確定すればよいとしたが、回転角は無
視することができ、撮像ユニットの３次元位置と方位だ
けが必要とされる場合には、少なくとも撮像ユニット上
の２点が確定すればよく、その分に応じて撮像ユニット
上の２次元センサや方位検出機構等の数を少なくするこ
とができる。

【０１３１】また、図１２においては、３つ以上の多数
の２次元センサを使用しているが、これは、実際の使用
状況において撮像ユニット１３０１等の陰などに隠れて
検出されない目印がたとえあったとしても、代わりに他
の目印を確実にとらえて、確度の高い３次元位置、撮像
方位および回転角の計測を可能にするためであり、図１
３の場合でも同様である。

【０１３２】さらに、第９、第１０の実施形態例におい
ても、記録機構を省略して、実写映像とコンピュータグ
ラフィックス像を映像合成するコンピュータ等へ、撮像
ユニットの撮像映像と、目印の３次元位置や撮像ユニッ
トの３次元位置、方位、回転角、必要なら撮像用パラメ
ータ等を対応付けて直接出力し、外部で必要な処理をす
るように構成しても良い。

【０１３３】

【発明の効果】以上説明したように、本発明によれば、
複数の目印と、この目印、または目印方位、または目印
にいたる距離を検出する手段とを、撮像ユニットとその
周囲、または逆に撮像ユニットの周囲とその撮像ユニッ
トに配置して、その検出の結果から撮像ユニットの３次
元位置、またはそれに加えて方位、またはそれらに加え
て方位軸からの回転角を計算できるようにしたので、そ
れらの撮像ユニットの３次元位置や方位、方位軸からの
回転角を撮像と同時に自動的に高い精度で簡便に求めら
れる環境を実現できるという利点が得られる。また、撮
像ユニットの移動の自由度が増し、その移動できる空間
の範囲が広がるという利点が得られる。

【０１３４】特に、撮像ユニットの撮像パラメータを撮
像中に検出してその撮影映像に対応付けて記録または出
力するようにした場合には、撮像中の撮像パラメータ変
化に容易に対応可能となり、後の映像合成等における手
間を大幅に削減できるという利点が得られる。

【図面の簡単な説明】

【図１】本発明の第１の発明に係る第１の実施形態例を
説明する図である。

【図２】上記第１の実施形態例において上面と側面のセ
ンサでとらえた２つの映像に基づいて３次元位置を求め
る方法を示す概念図である。

【図３】本発明の第１の発明に係る第２の実施形態例を
説明する図である。

【図４】本発明の第２の発明に係る第３の実施形態例を
説明する図である。

【図５】上記第３の実施形態例における目印方位検出機
構の構成例を示す図である。

【図６】本発明の第２の発明に係る第４の実施形態例を
説明する図である。

【図７】本発明の第３の発明に係る第５の実施形態例を
説明する図である。

【図８】上記第５の実施形態例の距離検出機構の動作例
を示す図である。

【図９】本発明の第３の発明に係る第６の実施形態例を
説明する図である。

【図１０】本発明の第４の発明に係る第７の実施形態例
を説明する図である。

【図１１】上記第７の実施形態例の目印方位検出機構の
一つの構成例を示す図である。

【図１２】本発明の第４の発明に係る第８の実施形態例
を説明する図である。

【図１３】本発明の第５の発明に係る第９の実施形態例
を説明する図である。

【図１４】本発明の第６の発明に係る第１０の実施形態
例を説明する図である。

【符号の説明】

１０１…撮像ユニット（ＴＶカメラ）１０１，１０３…目印（ＬＥＤ）１０４…発光タイミングコントローラ１０５，１０６…２次元センサ（ＴＶカメラ）１０７…計算機構（コンピュータ）１０８…記録機構（磁気ビデオディスク）２０１…上面像２０２…側面像２０３…３次元位置情報３０１…撮像パラメータ検出ユニット４０１…撮影ユニット（ＴＶカメラ）４０２，４０３…目印（ＬＥＤ）４０５−Ａ，４０５−Ｂ，４０６−Ａ，４０６−Ｂ…目
印方位検出機構４０７…計算機構（コンピュータ）４０８…記録機構（磁気ビデオディスク）５０１…コントローラ５０２…回転機構５０３…ＣＣＤセンサ５０４…目印方位検出機構の３次元位置６０１…撮像パラメータ検出ユニット７０１…撮像ユニット（ＴＶカメラ）７０２，７０３…目印光源７０４…発光制御機構７０５Ａ，７０５Ｂ，７０５Ｃ，７０６Ａ，７０６Ｂ，
７０６Ｃ…距離検出機構７０７…計算機構（コンピュータ）７０８…記録機構（磁気ビデオディスク）９０１…撮像パラメータ検出ユニット１００１…撮像ユニット（ＴＶカメラ）１００２，１００３…目印（ＬＥＤ）１００４…発光タイミングコントローラ１００５Ａ，１００５Ｂ，１００６Ａ，１００６Ｂ…目
印方位検出機構１００７…計算機構（コンピュータ）１００８…記録機構（磁気ビデオディスク）１３０１…撮像ユニット（ＴＶカメラ）１３０２−１，１３０２−２，…，１３０２−ｎ…目印
（ＬＥＤ）１３０３−１，１３０３−２，…，１３０３−ｍ…２次
元センサ１３０４…発光タイミングコントローラ１３０７…計算機構（コンピュータ）１３０８…記録機構（磁気ビデオディスク）１４０１…撮像ユニット（ＴＶカメラ）１４０２−１，１４０２−２，１４０２−３…目印光源１４０３−１，１４０３−２，１４０３−３…距離検出
機構１４０４…発光制御機構１４０７…計算機構（コンピュータ）１４０８…記録機構（磁気ビデオディスク）

フロントページの続き (56)参考文献特開平２−306782（ＪＰ，Ａ) 特開平４−354485（ＪＰ，Ａ) 特開平７−162737（ＪＰ，Ａ) 特開平６−147830（ＪＰ，Ａ) 特開平６−42920（ＪＰ，Ａ) 特開平７−140225（ＪＰ，Ａ) 特開平４−203907（ＪＰ，Ａ) 特開平７−27515（ＪＰ，Ａ) 特開平６−36200（ＪＰ，Ａ) 特開昭59−17103（ＪＰ，Ａ) 特表平７−500470（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 H04N 5/225

Claims

(57)【特許請求の範囲】

【請求項１】予め撮像ユニットに複数の目印を付け、前記目印を外部の複数の方向から検出し、前記検出の結果から求めた前記目印の３次元位置を、ま
たは前記目印の３次元位置を基に計算した前記撮像ユニ
ットの３次元位置と方位もしくは前記撮像ユニットの３
次元位置と方位と回転角を、前記撮像ユニットの撮影映
像に対応付けて記録または出力する、ことを特徴とする撮像方法。
【請求項２】複数の目印を付けた撮像ユニットと、前記目印を外部から検出するための複数のセンサと、前記センサでの検出結果を基に前記撮像ユニットの３次
元位置、または前記撮像ユニットの３次元位置と方位も
しくは前記撮像ユニットの３次元位置と方位と回転角を
計算して求めるための計算手段と、前記計算手段に接続して前記計算手段で求めた前記撮像
ユニットの３次元位置、または前記撮像ユニットの３次
元位置と方位もしくは前記撮像ユニットの３次元位置と
方位と回転角を前記撮像ユニットの撮影映像に対応付け
て記録または出力する手段と、を有することを特徴とする撮像装置。
【請求項３】予め撮像ユニットに複数の目印を付け、外部の複数の位置からみた前記目印にいたる目印方位を
検出し、前記検出の結果から求めた前記目印の３次元位置を、ま
たは前記目印の３次元位置をもとに計算した前記撮像ユ
ニットの３次元位置と方位もしくは前記撮像ユニットの
３次元位置と方位と回転角を、前記撮像ユニットの撮影
映像に対応付けて記録または出力する、ことを特徴とする撮像方法。
【請求項４】複数の目印を付けた撮像ユニットと、外部の複数の位置からみた前記目印にいたる目印方位を
検出するための複数の目印方位検出機構と、前記目印方位検出機構での検出結果をもとに前記撮像ユ
ニットの３次元位置、または前記撮像ユニットの３次元
位置と方位もしくは前記撮像ユニットの３次元位置と方
位と回転角を計算して求めるための計算手段と、前記計算手段に接続して前記計算手段で求めた前記撮像
ユニットの３次元位置と方位もしくは前記撮像ユニット
の３次元位置と方位と回転角を前記撮像ユニットの撮影
画像に対応付けて記録または出力する手段と、を有することを特徴とする撮像装置。
【請求項５】複数の目印を撮像ユニットに付加し、前記撮像ユニットの周囲に設置された複数の距離検出機
構から前記複数の目印にいたる距離をそれぞれ検出し、前記検出した距離をもとに計算した、前記複数の目印の
３次元位置、または前記撮像ユニットの３次元位置と方
位、または前記撮像ユニットの３次元位置と方位と回転
角を、前記撮像ユニットの撮影映像に対応付けて記録ま
たは出力する、ことを特徴とする撮像方法。
【請求項６】複数の目印を付加した撮像ユニットと、前記撮像ユニットの周囲に設置され前記撮像ユニット上
の目印位置にいたる距離をそれぞれ検出する距離検出機
構と、前記検出した距離をもとに前記目印の３次元位置、また
は前記撮像ユニットの３次元位置と方位、または前記撮
像ユニットの３次元位置と方位と回転角を計算する計算
手段と、前記計算手段に接続して前記計算手段で計算した目印の
３次元位置、または前記撮像ユニットの３次元位置と方
位、または前記撮像ユニットの３次元位置と方位と回転
角を、前記撮像ユニットの撮影映像に対応付けて記録ま
たは出力する手段と、を有することを特徴とする撮像装置。
【請求項７】予め撮像ユニットの周囲に複数の目印を
用意するとともに、前記目印への方位を検出するための
目印方位検出機構を前記撮像ユニットに複数取り付け、前記撮像ユニット上の前記目印方位検出機構の位置から
みた前記目印にいたる目印方位を検出し、前記検出した目印方位をもとに計算した、前記目印方位
検出機構の３次元位置、または前記撮像ユニットの３次
元位置と方位、または前記撮像ユニットの３次元位置と
方位と回転角を、前記撮像ユニットの撮影映像に対応付
けて記録または出力する、ことを特徴とする撮像方法。
【請求項８】予め周囲に用意した複数の目印と、前記目印への目印方位を検出する複数の目印方位検出機
構と、前記複数の目印方位検出機構を取り付けた撮像ユニット
と、前記目印方位検出機構により検出された前記目印方位検
出機構からみた前記目印方位をもとに前記目印方位検出
機構の３次元位置、または前記撮像ユニットの３次元位
置と方位、または前記撮像ユニットの３次元位置と方位
と回転角を計算する計算手段と、前記計算した前記目印方位検出機構の３次元位置、また
は前記撮像ユニットの３次元位置と方位、または前記撮
像ユニットの３次元位置と方位と回転角を、前記撮像ユ
ニットの撮影映像に対応付けて記録または出力する手段
と、を有することを特徴とする撮像装置。
【請求項９】複数のセンサを撮像ユニットに付加する
とともに予め周囲に複数の目印を用意し、前記センサで前記目印をとらえ、前記目印をとらえた結果から計算した、前記目印に対す
る前記センサの３次元位置、または前記撮像ユニットの
３次元位置と方位、または前記撮像ユニットの３次元位
置と方位と回転角を、前記撮像ユニットの撮影映像に対
応付けて記録または出力する、ことを特徴とする撮像方法。
【請求項１０】複数のセンサを付加した撮像ユニット
と、周囲に用意された複数の目印と、前記センサで前記目印をとらえた結果から前記目印に対
する前記センサの３次元位置、または前記撮像ユニット
の３次元位置と方位、または前記撮像ユニットの３次元
位置と方位と回転角を計算する計算手段と、前記計算した前記センサの３次元位置、または前記撮像
ユニットの３次元位置と方位、または前記撮像ユニット
の３次元位置と方位と回転角を撮像ユニットの前記撮影
映像に対応付けて記録または出力する手段と、を有することを特徴とする撮像装置。
【請求項１１】目印までの距離を検出する距離検出機
構を撮像ユニットに複数付加するとともに予め周囲に複
数の目印を配置し、前記距離検出機構の位置からみた前記目印にいたる距離
を検出し、前記検出の結果から計算した、前記目印の３次元位置、
または前記撮像ユニットの３次元位置と方位、または前
記撮像ユニットの３次元位置と方位と回転角を、前記撮
像ユニットの撮影映像に対応付けて記録または出力す
る、ことを特徴とする撮像方法。
【請求項１２】目印までの距離を検出する距離検出機
構を複数付加した撮像ユニットと、周囲に設置した複数の目印と、前記検出した前記距離検出機構の位置からみた前記目印
にいたる距離から前記目印の３次元位置、または前記撮
像ユニットの３次元位置と方位、または前記撮像ユニッ
トの３次元位置と方位と回転角を計算する計算手段と、前記計算した前記目印の３次元位置、または前記撮像ユ
ニットの３次元位置と方位、または前記撮像ユニットの
３次元位置と方位と回転角を前記撮像ユニットの撮影映
像に対応付けて記録または出力する手段と、を有することを特徴とする撮像装置。
【請求項１３】複数の目印として複数の発光体を用
い、前記複数の発光体を個別の発光タイミングまたは個別の
周波数で点滅させる発光体制御手段を備える、ことを特徴とする請求項２、請求項４、請求項６、請求
項８、請求項１０、請求項１２のいずれかに記載の撮像
装置。
【請求項１４】複数の目印として発光色の異なる複数
の発光体を用い、センサまたは距離検出機構または目印方位検出機構は、
カラー識別手段を有する、ことを特徴とする請求項２、請求項４、請求項６、請求
項８、請求項１０、請求項１２のいずれかに記載の撮像
装置。
【請求項１５】撮像ユニットに接続して前記撮像ユニ
ットのレンズ焦点距離、レンズ絞り値、使用光学フィル
タ、焦点合わせ位置、シャッター速度という撮像用パラ
メータを単数もしくは複数組み合わせて検出する検出手
段を新たに備え、記録または出力する手段は、前記検出した撮像用パラメ
ータを前記撮像ユニットの撮影映像に対応付けて記録ま
たは出力する、ことを特徴とする請求項２、請求項４、請求項６、請求
項８、請求項１０、請求項１２、請求項１３、請求項１
４のいずれかに記載の撮像装置。