JPH10307026A

JPH10307026A - 位置検出装置

Info

Publication number: JPH10307026A
Application number: JP9132984A
Authority: JP
Inventors: Makoto Sato; 佐藤　　誠; Akira Takamatsu; 亮高松; Michio Miwa; 道雄三輪
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-05-08
Filing date: 1997-05-08
Publication date: 1998-11-17

Abstract

(57)【要約】【課題】２次のモーメントまでを利用する画像処理を
施して装着されたマーカーの位置と方向を求めることを
可能にした位置検出装置を提供する。【解決手段】スクリーン41の周辺に設置したビデオカ
メラ42によって、ユーザ44の体、例えば頭部に装着した
マーカー43を認識する。マーカー43の認識を行なうこと
により、ユーザ44の体、例えば頭部の向いている方向お
よび位置を検出することが可能である。マーカーの形と
しては、楕円を用いる。楕円の場合には、楕円の長軸と
単軸を求めることによってマーカー43の方向を容易に知
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、位置検出装置に関
し、特に特徴的な形や色を持ったマーカーを、人の頭や
書類、道路などに設置し、頭の向いている方向を検出し
たり、書類の方向を検出したり、道路の曲がり具合を検
出したりすることにより、頭の向いている方向の情報を
選択したり、書類の方向を修正したり、道路を走行する
車の制御を行なったりすることができる位置検出装置に
関するものである。

【０００２】

【従来の技術】図２４は、従来の位置検出装置の主要な
構成を示すものである。図２４において、従来の位置検
出装置には、形が円形である３個のマーカー241が用意
されており、この３個のマーカーの位置は既知であるも
のである。そして、このマーカー241をレンズ242を介し
てカメラ243の投影面244に投影するようにしている。

【０００３】カメラ243の位置を知るためには、６個の
自由度(移動方向３、回転方向３)を知る必要があり、数
学的には連立方程式を６個作れば良いことが知られてい
る。

【０００４】マーカー241はカメラのレンズ242を通し
て、カメラ243の投影面244に像を結ぶ。この時、投影面
244に投影された１つのマーカーの位置を求めるために
２つの関係式を作ることができる。マーカーが３つあれ
ば、６個の関係式を作ることができ、これらの関係式を
解くことによりカメラ243の位置を求めることができ
る。

【０００５】図２５は、マーカー241が投影面244に投影
された様子を示すものである。マーカー241と投影面244
は普通平行ではないので、投影された円形のマーカーは
楕円になる。楕円の中心を求めるためには、横方向と縦
方向に等分すればよい。マーカーとして円を用いると、
このように中心251を容易に求めることができる。

【０００６】図２４において、カメラの位置を求めるに
あたり利用したものは、図２５に示したように、マーカ
ーの中心251である。

【０００７】この様子を数学的に説明する。画像のモー
メントを以下の式(１)のように表すことができる。

【数１】

【０００８】モーメントには次数があり、上記式(１)に
おいては、i＋jで定義する。したがって、０次モーメン
トは、 μ₀₀=∬ｆ(x,y)dxdy であり、画像全体の濃さを表しており、黒いあるいは色
が濃い方が画素の値が大きいものとすれば、画像全体が
黒い、あるいは暗い方が０次モーメントの大きさは大き
くなる。

【０００９】１次モーメントは、 μ₁₀=∬ｆ(x,y)dxdy、あるいは、μ₀₁=∬ｆ(x,y)dxdy である。これは、次のような計算をすることによって、
画像の重心(x_c,y_c)を求めることができる。

【００１０】x_c=μ₁₀/μ₀₀ y_c=μ₀₁/μ₀₀ 投影面244に投影された楕円の中心251を求めることは、
数学的には、１次モーメントを求めることになり、した
がって、従来の位置検出装置では、１次のモーメントま
でを利用していることになる。

【００１１】

【発明が解決しようとする課題】しかしながら、従来の
位置検出装置では、３個のマーカーを決められた位置に
配置しなければならず、カメラの位置を求めるために
は、同時に３個のマーカーが撮影されなければならない
といった煩わしさがあった。

【００１２】本発明は、２次のモーメントまでを利用す
る画像処理を施して装着されたマーカーの位置と方向を
求めることを可能にした位置検出装置を提供することを
目的とするものである。

【００１３】

【課題を解決するための手段】この課題を解決するため
に、本発明の位置検出装置は、第１に、画像を入力する
画像入力手段と、画像の特徴を記憶する画像特徴記憶手
段と、前記画像入力手段によって入力された画像を前記
画像特徴記憶手段に記憶された画像の特徴にしたがって
処理し位置情報を算出する画像処理手段と、前記画像処
理手段によって算出された位置情報を保持する位置情報
保持手段とから構成されている。

【００１４】これにより、マーカーを体の一部やテレビ
を操作するリモコンにつけることによって、体の向いて
いる方向やリモコンの指している方向を検出することが
できる。

【００１５】第２に、上記した第１に記載の位置検出装
置において、画像処理手段は、上記第１に記載の画像入
力手段によって入力された画像を保持する画像保持手段
と、前記画像保持手段によって保持されている画像から
マーク領域を切り出すマーク領域切りだし手段と、前記
マーク領域切りだし手段によって切り出されたマーク領
域を保持するマーク領域保持手段と、前記マーク領域保
持手段に保持されたマーク画像の０次モーメントを求め
る０次モーメント計算手段と、前記０次モーメント計算
手段によって求められたマーク画像の０次モーメントを
保持する０次モーメント保持手段と、前記０次モーメン
ト保持手段に保持された０次モーメントの情報を使用し
つつ、前記マーク領域保持手段に保持されたマーク画像
の１次モーメントを求める１次モーメント計算手段と、
前記１次モーメント計算手段によって求められたマーク
画像の１次モーメントを保持する１次モーメント保持手
段と、前記０次モーメント保持手段に保持された０次モ
ーメントの情報及び前記１次モーメント保持手段に保持
された１次モーメントの情報を必要に応じて使用しつ
つ、前記マーク領域保持手段に保持されたマーク画像の
２次モーメントを求める２次モーメント計算手段と、前
記２次モーメント計算手段によって求められたマーク画
像の２次モーメントを保持する２次モーメント保持手段
とを有し、また、画像特徴記憶手段は、マーク画像の位
置と方向を計算によって求めるために必要な計算式を保
持する計算式保持手段と、前記計算式保持手段に保持さ
れた特定の計算式を使用して、前記した画像処理手段に
よって得られた０次乃至２次の各モーメントからマーク
画像の特徴量を計算する特徴量計算手段と、前記特徴量
計算手段によって得られた計算結果を保持する計算結果
保持手段と、前記計算式保持手段に保持された特定の計
算式を使用して、前記計算結果保持手段に保持された計
算されたマーク画像の特徴量からマーク画像の位置を計
算する位置情報計算手段とを有していることを特徴とす
るものである。

【００１６】これにより、マーカーとなる画像の２次モ
ーメントまでを利用することにより、マーカーの位置や
方向を検出することができる。

【００１７】第３に、上記した第１に記載の位置検出装
置において、上記第１に記載の画像処理手段によって算
出された位置情報を修正するため、後記する学習情報作
成手段によって作成された学習情報を保持する学習情報
保持手段と、上記第１に記載の位置情報保持手段に保持
された位置情報を、前記学習情報保持手段に保持された
情報に基づいて修正する位置情報修正手段と、前記位置
情報修正手段によって修正された位置情報を保持する第
２の位置情報保持手段と、上記第１に記載の画像入力手
段によって入力する特徴を持った画像の真の位置を入力
する真の位置入力手段と、特徴のある画像を前記画像入
力手段から読み込み、前記画像処理手段によって算出さ
れ前記位置情報記憶手段に保持された位置情報と、前記
特徴のある画像の真の位置を比較し、前記画像処理手段
によって処理された位置の誤差がどのような傾向にある
かを算出する学習情報作成手段とさらに具備することに
より構成されている。

【００１８】これにより、あらかじめマーカーを決めら
れた方向に向け、そのとき読み込まれる画像の特徴を学
習しておくことにより、マーカーの方向や位置を測定す
る精度を向上させることができる。

【００１９】第４に、上記した第１、第２および第３に
記載の位置検出装置に加えて、上記第１に記載の画像処
理手段に保持された画像データを、上記第３に記載の第
２の位置情報保持手段に保持された位置データに基づい
て修正する画像修正手段と、前記画像修正手段によって
修正された画像を表示する表示手段とをさらに具備する
ことにより構成されている。

【００２０】これにより、説明原稿にマーカーをつけて
おけば、画像入力手段によって斜め方向からこの原稿を
撮影しても、画像を修正することにより、原稿の真上に
画像入力手段を置いたように、原稿を正しい方向で表示
することが可能となる。

【００２１】第５に、上記した第１、第２および第３に
記載の位置検出装置の構成において、画像入力手段によ
って連続的に入力された位置情報を示す複数の画像情報
を含む入力画像を、位置情報を示す個別の画像情報に分
割してその一つ一つを上記第３に記載の画像処理手段に
渡し、その結果上記第１に記載の第２の位置情報保持手
段に得られた位置情報を管理する画像分割処理手段と、
前記画像分割処理手段で管理されている複数の画像情報
から位置関係を計算する進行方向計算手段とをさらに具
備することにより構成されている。

【００２２】これにより、道路標識に複数のマーカーを
つけて、道路のカーブなどに配置することにより、道路
のカーブの曲がり具合を判別することが可能となる。

【００２３】第６に、上記した第５に記載の位置検出装
置において、画像分割処理手段は、上記第１に記載の画
像入力手段によって入力された位置情報を示す複数の画
像情報を含む画像を、位置情報を含む個別の画像に分離
し、上記第１に記載の画像処理手段に前記個別の画像を
渡すと同時に、前記個別の画像の入力画像全体における
相対位置を後記する制御手段に渡す画像分離手段と、相
対位置を保持する相対位置保持手段と個別位置情報を保
持する個別位置情報保持手段によって構成される複数の
個別情報管理手段と、前記画像分離手段から渡された前
記個別の相対位置情報と、上記第３に記載の第２の位置
情報保持手段によって保持された前記個別の画像に関す
る位置情報を組みにして個別位置情報管理手段に記憶す
る制御手段とを有するものであることを特徴とするもの
である。

【００２４】これにより、標識に示された複数のマーカ
ーを分離してその傾きを調べ、あとで相互の位置関係を
知ることが可能となる。

【００２５】

【発明の実施の形態】

（第１の実施の形態）図１は本発明の第１の実施の形態
における位置検出装置の構成を示すブロック図である。
図１において、位置検出装置は、画像を入力する画像入
力手段１と、画像を処理する画像処理手段２と、画像の
特徴を記憶している画像特徴記憶手段３と、第１の位置
情報保持手段４とから構成されている。

【００２６】本発明の第１の実施の形態における位置検
出装置の詳細説明に先立ち、本発明の位置検出装置の概
要を説明する。本発明の位置検出装置の概要は、図４に
示すように、スクリーン41の周辺に設置したビデオカメ
ラ42によって、ユーザ44の体、例えば頭部に装着したマ
ーカー43を認識するものである。マーカー43の認識を行
なうことにより、ユーザ44の体、例えば頭部の向いてい
る方向および位置を検出することが可能である。

【００２７】以下、マーカー43が楕円の場合について、
その方向と位置の求め方、および精度向上の方法につい
て述べる。

【００２８】（画像のモーメントと楕円形状）２次元濃
淡画像を f(x,y)で表わす。f(x,y)の(i,j)次(i,j≧0)の
モーメントは上記した式（１）のように表わされる。

【００２９】重心 (x_c,y_c)=(μ₁₀/μ₀₀,μ₀₁/μ₀₀) の
回りのモーメントを中心モーメントと呼び、以下の式
（２）で表わす。

【数２】

【００３０】楕円内部の濃淡値が一様だとすると、楕円
の中心（x₀,y₀ ）は、重心 (μ₁₀/μ₀₀,μ₀₁/μ₀₀)
に等しい。また、行列Ｍを以下の式（３）で定義し、行
列Ｍの固有値をλ₁,λ₂(λ₁>λ₂) とおくと、楕円の長
軸および単軸の長さ、A, B は以下の式（４）のように
表わされる。

【数３】

【数４】また、楕円の長軸の方向は最大固有値を与える固有ベク
トルの方向に等しい。

【００３１】次に図２２は、カメラとマーカーの幾何学
的配置を示したものである。マーカーの中心をワールド
座標系（x,y,z）の原点に置く。カメラは、(0, Y₀, -
Z₀)の位置から光軸を原点に向けて設置するものとす
る。カメラが原点を見下ろす角度をθ₀とすると、以下
の式（５）、式（６）及び式（７）が成り立つ。

【数５】

【数６】

【数７】

【００３２】カメラ座標系 (x', y', z') を光軸が z'
軸に一致する右手系にとる。カメラ座標系とワールド座
標系との間には以下の式（８）のような関係が成立す
る。

【数８】

【００３３】（楕円形状の観測モデル）ユーザが図４の
ようにマーカーを体、例えば頭部に装着した場合を考え
る。この時ワールド座標系での楕円の輪郭（x₀,y₀,z₀)
は媒介変数αを用いて以下の式（９）のように表わされ
る。 x₀ ＝ bsinα y₀ ＝ 0 （９） z₀ ＝ acosα

【００３４】ユーザが頭部を移動・回転させたとし、移
動ベクトルを（x₁,y₁,z₁)、回転角をθ＝（θx,θy,θ
z）で表わすものとする。

【００３５】また、回転を各軸周りの回転の変換を表わ
す関数、 R(θ)＝Rx(θx),Ry(θy),Rz(θz) を用いて表わすと、マーカーの楕円は以下の式（１０）
のように表わすことができる。

【数１０】

【００３６】ここで、移動および回転と、マーカーの大
きさはカメラとの距離Ｄ₀に比較して十分に小さいと仮
定すると、上記式（１０）は下記のような式（１１）の
ように近似できる。

【数１１】

【００３７】カメラの焦点距離をｆとすると、カメラ座
標系内の点（x',y',z'）は投影面上の点 (X,Y)に以下の
式（１２）で表わされるように射影される。

【数１２】

【００３８】カメラとマーカーとの距離Ｄ₀はマーカー
の大きさに比べて十分に大きいので、マーカーの像はカ
メラの撮像面上に平行投影されたものとする。すなわ
ち、楕円の z' 座標を近似的に、次の式（１３）で表
わす。

【数１３】ただし、d₁は次の式（１４）で表されるものである。

【数１４】ここで、d₁は (y₁,z₁) のマーカーの移動の光軸方向の
成分である。

【００３９】いま、k を次の式（１５）のようにおく
と、式（１６）および式（１７）が成り立つ。

【数１５】

【数１６】

【数１７】

【００４０】楕円の式（９）を代入し、かつ、w₁,W₀を
次の式（１８）のようにおく。

【数１８】ここで、w₁は (x₁, z₁) の光軸と直交する方向の成分で
ある。

【００４１】このとき、上記式（１６）および式（１
７）は、次式（１９）となる。

【数１９】

【００４２】一方、（X, Y）投影面上で長軸A、短軸B、
中心(X₀,Y₀)、X軸となす回転角βの楕円形状が観測され
たものとする（図２３参照）。この時、次の式（２０）
が成り立つ。

【数２０】

【００４３】上記式（１９）および式（２０）を比較す
ることにより、次の式（２１）ないし式（２６）が成り
立つ。

【数２１】

【数２２】

【数２３】

【数２４】

【数２５】

【数２６】

【００４４】上式より頭部位置(x₁,y₁,z₁)および頭部方
向(θx,θy,θz) の推定式を次の式（２７）ないし式
（３３）のように求めることができる。

【数２７】

【数２８】

【数２９】

【数３０】

【数３１】

【数３２】

【数３３】

【００４５】（補償関数）（マーカーの位置の補償）マーカーの位置（x₁,z₁)を補
償関数ｇx(x₁,z₁)およびｇz(x₁, z₁) を用いて次の式
（３４）のように補償する。

【数３４】

【００４６】補償関数としては、次の式（３５）および
式（３６）に表わされるような双１次の多項式を用い
る。

【数３５】

【数３６】

【００４７】係数ｐ_ij,ｑ_ij(i,j=0,1)は、あらかじめ決
められた方向にマーカーを向け、画像を読み込んで計算
した結果と比較し、最小２乗法などで求める。

【００４８】（マーカーの回転角の補償）マーカーの回
転角（θx、θy）の補償関数を以下の式（３７）で表わ
す。

【数３７】

【００４９】具体体的な補償関数として、次の式（３
８）および式（３９）に示されるような双２次の多項式
を用いる。

【数３８】

【数３９】

【００５０】係数ｐ_ij,ｑ_ij(i,j=0,1,2)の求め方は、上
記したマーカーの位置の補償関数の場合と同じく最小２
乗法などを用いる。

【００５１】図２は画像処理手段２の内部構造を示した
ブロック図である。図２において、画像処理手段２は、
画像保持手段21と、マーク領域切りだし手段22と、マー
ク領域保持手段23と、０次モーメント計算手段24と、１
次モーメント計算手段25と、２次モーメント計算手段26
と、０次モーメント保持手段27と、１次モーメント保持
手段28と、２次モーメント保持手段29とから構成されて
いる。

【００５２】画像保持手段21は、画像入力手段１によっ
て入力された画像を保持する。マーク領域切りだし手段
22は、画像保持手段21によって保持されている画像の中
からマーカーの部分を切り出す。マーク領域保持手段23
は、マーク領域切りだし手段22によって切り出されたマ
ークの領域を保持する。

【００５３】マーク領域保持手段23に保持されたマーク
の画像は、０次モーメント計算手段24、１次モーメント
計算手段25、２次モーメント計算手段26にそれぞれ渡さ
れる。

【００５４】それぞれのモーメントは、原則的には、上
記式（１）を用いて求めることができる。例えば、０次
モーメントは、 μ₀₀=∬ｆ(x,y)dxdy であり、画像全体の濃さを表しており、黒いあるいは色
が濃い方が画素の値が大きいものとすれば、画像全体が
黒い、あるいは暗い方が０次モーメントの大きさは大き
くなる。この処理は、０次モーメント計算手段24によっ
て行なわれる。

【００５５】また、１次モーメントは、 μ₁₀=∬ｆ(x,y)dxdy、あるいは、μ₀₁=∬ｆ(x,y)dxdy である。これは、次のような計算をすることによって、
画像の重心(x_c,y_c)を求めることができる。 x_c=μ₁₀/μ₀₀ y_c=μ₀₁/μ₀₀ この計算は、１次モーメント計算手段25によって行なわ
れる。この際、０次モーメント保持手段27に保持され
た、μ₀₀の情報が使われている。

【００５６】また、２次モーメントは、画像の方向成分
を表している。画像の重心(x_c,y_c)に関しての２次モー
メントm₀₀,m₁₀,m₀₁を求める。

【００５７】２次モーメントの計算は、２次モーメント
計算手段26によって行なわれる。この時、０次モーメン
ト保持手段27に保持された０次モーメント及び１次モー
メント保持手段28に格納されている１次モーメントを使
用することができる。この結果は、２次モーメント保持
手段29に保持される。

【００５８】図３は、画像特徴記憶手段３の内部構造を
示すブロック図である。図３において、画像特徴記憶手
段３は、計算式保持手段31と、特徴量計算手段32と、計
算結果保持手段33と、位置情報計算手段34とから構成さ
れている。

【００５９】画像処理手段２からは、画像の特徴量であ
る、０次、１次、２次の各モーメントが送られてくる。

【００６０】これらのモーメントは読み取った画像によ
って意味が異なっている。そのため、計算式保持手段31
には、マーカーの種類毎に各々のモーメントをどのよう
に解釈すべきかが記述されている。

【００６１】例えば、マーカーが楕円の場合は、上記式
（３）で定義されたマトリックスＭを作成し、マトリッ
クスＭの固有ベクトルλ₁,λ₂(λ₁>λ₂) を求める。マ
ークが楕円であるので、Aが長軸、Bが単軸の長さを表わ
すことになる。

【００６２】計算式保持手段31はこのように、画像のモ
ーメントをどのように解釈するのか、といった情報を持
っている。そして、その情報に基づいて、特徴量計算手
段32によって、特徴量の計算が行なわれ、計算結果保持
手段33に保持される。

【００６３】計算式保持手段31にはその他、上記式
（５）ないし式（３３）に示された数式も保持されてい
る。

【００６４】これにより、上記式（５）ないし式（２
６）を用いて、上記式（２７）ないし式（３３）に示さ
れるようにしてマーカーの位置を求めることができる。

【００６５】この結果は、位置情報保持手段４に保持さ
れる。

【００６６】以上の説明では、ユーザの頭部などにマー
カーを装着することを前提としていたが、図５に示すよ
うに、テレビをコントロールするリモコンに装着すれ
ば、画面上を移動するカーソルを制御することができ
る。

【００６７】本発明では、マーカーを画像処理して、画
像の２次モーメントを求める。この時、２次モーメント
の大きさは、マーカーを見る方向によってさまざまに変
化する。

【００６８】一方、マーカーを特定の角度から見た場合
に、その２次モーメントがどのようになるかは、計算に
よって求めることができる。

【００６９】そこで、実際に読み取られた画像の２次モ
ーメントを、計算による２次モーメントと比較し、マー
カーをどのような方向から見ているのかを類推する。

【００７０】この方法によれば、複数のマーカーを使用
することなく、１つのマーカーで、画像を見ている位置
を求めることができる。

【００７１】また、マーカーとして楕円を用いる場合、
１次モーメントとして、２個の値、２次モーメントとし
て、３個の値(長軸、短軸の長さ、長軸の向き)がわか
り、マーカーを見ている位置を求めるために必要な、６
個のパラメータは得られないが、マーカーを付けている
人の頭の高さは常に一定である、といった条件を利用す
ることによって、正しい位置を求めることができる。

【００７２】（第２の実施の形態）図６は、本発明の第
２の実施の形態における位置検出装置の構成を示すブロ
ック図である。図６に示される第２の実施の形態の位置
検出装置は、図１及び図２に示した第１の実施の形態の
位置検出装置に、位置データ修正手段61と、学習データ
保持手段62と、学習データ作成手段63と、真の位置入力
手段64と、第２の位置情報保持手段65とを付加したもの
である。

【００７３】上記した第１の実施の形態では、読み込ん
だ画像を処理して楕円の向きを推定しているのである
が、第２の実施の形態では、マーカーの方向の認識精度
を良くしている。

【００７４】図７は、室内のいくつかの位置からスクリ
ーン上の点にマーカーを向け、カメラで撮影した画像デ
ータを用いてマーカーの方向の推定を行なうための図で
ある。図７では、カメラ71と、スクリーン72が用意され
ており、マーカーは、最初は第１の位置73にあり、次い
で第１の位置73から第２の位置74に移動するようにして
推定が行なわれる。スクリーン72の上の方にカメラ71が
設置され、マーカーをカメラの正面（第１の位置73）、
および斜め前（第２の位置74）に配置する。

【００７５】図８はマーカーをスクリーンの様々な方向
に向けて、カメラで撮影した様子を示している。マーカ
ーの下の数字は、スクリーン72上において、マーカーが
どの方向を向いているかを示している。

【００７６】マーカーを決められた位置の決められた方
向にセットして、図６に示す画像入力手段１によって読
み込む。この結果、位置情報保持手段４には、第１の実
施の形態で説明したように位置情報が得られる。一方、
真の位置入力手段64によって、現在のマーカーの位置を
入力する。

【００７７】学習データ作成手段63は、位置情報保持手
段４に保持された位置情報と、真の位置入力手段64から
入力された位置情報を比較する。このプロセスは、第１
の実施の形態のマーカー位置の補償関数を求める式で示
したように、上記式（３５）、式（３６）の係数ｐ₀₀か
らｐ₁₁、ｑ₀₀からｑ₁₁や、上記式（３８）、式（３９）
の係数ｒ₀₀からｒ₂₂、ｓ₀₀からｓ₂₂を求めることと等し
い。そしてこれらの係数を保持しておくのであるが、こ
れは、図６の学習データ保持手段62に係数を保持してお
くことと等しい。

【００７８】この結果、位置情報保持手段４に保持され
た位置データは再度、位置データ修正手段61により、上
記式（３４）および式（３７）によって再計算され、第
２の位置情報保持手段65に格納される。

【００７９】図８ないし図１２はこの効果を示したもの
である。図８は、スクリーン上の位置と入力したマーカ
ーの見え方を示している。図８（１）は、スクリーン上
の位置を特定するための番号付けを説明したものであ
る。図８（１）のように、スクリーンを縦に５等分、横
に６等分し、その格子点に（０、１）といった番号をつ
ける。図９から図１２では、マーカーをこの方向に向け
て、位置を求めた時の精度について述べている。図８
（２）は、マーカーをこの位置に向けたときの画像の見
え方の例である。

【００８０】図９および図１０は図７の第１の位置73に
マーカーを設定して様々な方向を見た結果である。図９
は位置情報保持手段４、図１０は第２の位置情報保持手
段65の内容をマーカーを実際に設定した方向と比較した
ものである。図１０の方が正しい位置に近い。

【００８１】また、図１１および図１２は第２の位置74
にマーカーをセットした場合である。この場合もより正
確な値が図１２から得られている。

【００８２】（第３の実施の形態）図１３は本発明の第
３の実施の形態における位置検出装置の構成を示すブロ
ックである。図１３において、第３の実施の形態の位置
検出装置は、図６に示した第２の実施の形態の位置検出
装置に、マーカー分割手段131と、マーカー保持手段132
と、表示原画像保持手段133と、画像修正手段134と、表
示手段135とを追加することにより構成される。

【００８３】また、図１４は第３の実施の形態における
画像修正手段134の内部構造を示したブロック図であ
り、図１４において、画像修正手段134は、座標変換手
段141と、変換結果保持手段142と、画像切りだし手段14
3と、マーカー位置保持手段144とから構成されている。

【００８４】図１５は本発明の第３の実施の形態の位置
検出装置の動作を説明するための図である。図１５に
は、説明するための文字や図と共にマーカー156が添付
されている原稿151が示されている。また、カメラ152が
示され、図１３では画像入力手段１に対応している。さ
らに、パーソナルコンピュータ154が示され、図１３で
は画像入力手段１および表示手段135以外のすべての機
能実現手段が入っている。また、モニタ155が示され、
図１３では、表示手段135に対応している。さらにま
た、カメラ152を支える台153が示されている。

【００８５】図１５のように原稿151の脇に、台153に支
えられたカメラ152を設置する。すると、パーソナルコ
ンピュータ154に格納された様々な機能実現手段によっ
て、モニタ155上で画像は正しい位置に配置されて表示
される。

【００８６】図１６は原稿151の上のマーカー156を示し
ている。マーカー156と原稿151の間には次のような関係
がある。

【００８７】（マーカーと原稿の関係）・マーカー(楕円)の長軸と原稿の上下方向は一致する。・マーカーの中心から原稿の右端までの長さはｘ_r ・マーカーの中心から原稿の左端までの長さはｘ_l ・マーカーの中心から原稿の上端までの長さはｚ_u ・マーカーの中心から原稿の下端までの長さはｚ_d 図１３において、画像処理手段２によって原稿が読み取
られると、マーカー分割手段131によって、マーカー156
の部分と原稿151の部分が分けられる。この処理は例え
ば、マーカー156を赤色にしておき、原稿151部分に赤色
を使わないようにすれば、色のフィルターをかけること
によって容易に分離することができる。

【００８８】マーカー分割手段131によって分離された
マーカー156の部分はマーカー保持手段132に保持され
る。この画像は画像処理手段２によって処理されるが、
処理の内容は、上記した第２の実施の形態と同じであ
る。そして、その結果は第２の位置保持手段７に保持さ
れる。

【００８９】一方、原稿の画像は表示原画像保持手段13
3に保持される。第２の位置保持手段７には、マーカー1
56の位置と方向が保持されている。画像修正手段134は
この情報に基いて、表示原画像保持手段133に保持され
た原画像の傾きを修正し表示手段135に表示する。

【００９０】図１７は画像修正手段134の動作を説明す
るための図である。図１７には、画像修正手段134に関
係する、カメラ171と、原稿172と、マーカー173と、レ
ンズ174と、そのレンズの焦点距離175と、投影面176
と、ワールド座標179と、カメラの座標180と、投影面の
座標181が示されている。また、レンズの中心177はワー
ルド座標179では (x₁,y₁,z₁) で表わされ、原稿上の点1
78はワールド座標179では(x₀,y₀,z₀) で表わされてい
る。

【００９１】カメラ171のレンズ174から入った光は、レ
ンズの焦点距離175にある投影面176に像を結ぶ。この際
の座標系は、図２２で示したものと同じである。上記し
た第１の実施の形態で説明したように、ワールド座標系
にある (x₀,y₀,z₀) の点は、カメラの投影面では、（X,
Y）の位置に像を結ぶ。この関係を示したものが、以下
に示す式（１６）および式（１７）である。

【数１６】

【数１７】

【００９２】原稿172はワールド座標系179ではｚｘ平面
に置かれるので、常に、 y₀=0 である。

【００９３】この条件を上記式（１６）および式（１
７）に入れると、以下の式（４０）および式（４１）が
得られる。

【数４０】

【数４１】この関係は、以下の式（４２）として表わすことができ
る。

【数４２】

【００９４】行列式Ｔを以下の式（４３）のように定義
すれば、

【数４３】投影面上に（X,Y）で投影された点のワールド座標系で
の座標を以下の式（４４）で求めることができる。

【数４４】

【００９５】図１８は投影面176に投影された画像と、
原稿の画像の関係を示したものである。投影面176に投
影された画像は、投影面の画像176aのようになってい
る。

【００９６】上記式（４４）は投影面176aの(X,Y)にあ
るワールド座標形すなわち原稿172上の点(x₀,z₀)への変
換を表している。

【００９７】さらに、図２２の示した定義から、この変
換は投影面176に写った楕円の中心をワールド座標形の
原点に変換し、楕円の長軸をワールド座標系の長軸の方
向に一致させるものである。

【００９８】この変換を行なえば、楕円以外の原稿の情
報も、楕円にともなって変換される。この変換は、図１
４に示す座標変換手段141によって行ない、結果は変換
結果保持手段142に格納される。

【００９９】マーカーと原稿の関係は、図１６で示した
ように決まっているので、この情報にあわせて原稿の部
分だけを切りだし、表示手段135に表示する。マーカー
と原稿の関係は図１４に示すマーカー位置保持手段144
に保持されており、原稿部分の切り出しは、画像切りだ
し手段143によって行なう。

【０１００】このようにして変換した映像を表示手段13
5に表示すれば、傾きのない映像が得られる。

【０１０１】（第４の実施の形態）図１９は本発明の第
４の実施の形態における位置検出装置の構成を示すブロ
ックである。図１９において、第４の実施の形態の位置
検出装置は、図６に示した第２の実施の形態の位置検出
装置に、画像分割処理手段192と、進行方向計算手段193
を付加したものである。

【０１０２】また図２１は第４の実施の形態の動作を説
明するための図である。図２１のように道路211に沿っ
て、標識212が配置されている。標識は213に示されるよ
うに楕円が２つ並べられたものから構成されている。

【０１０３】楕円の長軸の方向は、本発明の第１及び第
２の実施の形態のようにして知ることができるので、そ
の傾きの差も容易に算出することができる。このような
標識を道路211に沿って配置する。楕円の傾きの差を、
現在標識の立てられている場所から一定距離進んだ場所
の道路の向きに関係ずければ、道路の曲がり具合を知る
ことができる。

【０１０４】図２０は画像分割処理手段192の内部構造
を示したブロック図である。図２０において、画像入力
手段１から画像が入力されると、画像分離手段201はマ
ーカーを個別のものに分離して各々を画像処理手段２に
送る。この結果は第２の位置情報保持手段７によって得
られる。そこで、制御手段202が個別情報管理手段203に
現在処理したマーカーの相対的な位置（マーカーが２つ
ある場合は上か下か）を相対位置保持手段204に保持す
ると共に、個別位置情報保持手段205にマーカーの角度
を記憶する。

【０１０５】図２０では、一つの標識にマーカーが複数
あっても処理できるように、個別情報管理手段205は複
数存在している。進行方向計算手段193はこの結果を元
にマーカーの傾きの差を計算する。

【０１０６】

【発明の効果】本発明によれば、第１にマーカーを体の
一部やリモコンに装着することにより、体の向きや方向
を知ることができる。

【０１０７】第２に、あらかじめ、決められた位置にお
けるマーカーの見え方を記憶しておくことにより、正確
にマーカーの位置や方向を知ることができる。

【０１０８】第３にマーカーの２次モーメントまでを利
用することにより、マーカーの位置や方向を知ることが
できる。

【０１０９】第４に、原稿などにマーカーを添付してお
くことにより、斜め方向から撮影しても、正しい方向に
原稿などを表示することができる。

【０１１０】第５に、交通標識などとして複数のマーカ
ーを使用することにより、道路の曲がり具合などを知る
ことができる。

【０１１１】第６に、交通標識として複数のマーカーが
利用されている場合、マーカーを分離してその傾きを調
べ、あとで相互の位置関係を知ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における位置検出装
置の構成を示すブロック図、

【図２】本発明の第１の実施の形態における位置検出装
置の画像処理手段の内部構造を示すブロック図、

【図３】本発明の第１の実施の形態における位置検出装
置の画像特徴記憶手段の内部構造を示すブロック図、

【図４】本発明の第１の実施の形態における位置検出装
置の概要を説明するための図、

【図５】本発明の第１の実施の形態における位置検出装
置の概要を説明するための他の図、

【図６】本発明の第２の実施の形態における位置検出装
置の構成を示すブロック図、

【図７】本発明の第２の実施の形態における位置検出装
置を説明するための図、

【図８】本発明の第２の実施の形態における位置検出装
置を説明するための図、

【図９】本発明の第２の実施の形態における位置検出装
置を説明するための図、

【図１０】本発明の第２の実施の形態における位置検出
装置を説明するための図、

【図１１】本発明の第２の実施の形態における位置検出
装置を説明するための図、

【図１２】本発明の第２の実施の形態における位置検出
装置を説明するための図、

【図１３】本発明の第３の実施の形態における位置検出
装置の構成を示すブロック図、

【図１４】本発明の第３の実施の形態における位置検出
装置の画像修正手段の内部構造を示すブロック図、

【図１５】本発明の第３の実施の形態における位置検出
装置を説明するための図、

【図１６】本発明の第３の実施の形態における位置検出
装置を説明するための図、

【図１７】本発明の第３の実施の形態における位置検出
装置を説明するための図、

【図１８】本発明の第３の実施の形態における位置検出
装置を説明するための図、

【図１９】本発明の第４の実施の形態における位置検出
装置の構成を示すブロック図、

【図２０】本発明の第４の実施の形態における位置検出
装置の画像分割処理手段の内部構造を示すブロック図、

【図２１】本発明の第４の実施の形態における位置検出
装置を説明するための図、

【図２２】本発明の位置検出装置の原理を説明するため
の図、

【図２３】本発明の位置検出装置の原理を説明するため
の他の図、

【図２４】従来の位置検出装置の主要な構成を示すブロ
ック図、

【図２５】従来の位置検出装置におけるマーカーが投影
面に投影されたときの様子を示す図である。

【符号の説明】

１画像入力手段２画像処理手段３画像特徴記憶手段４位置情報保持手段５、61 位置データ修正手段６、62 学習データ保持手段７、65 第２の位置情報保持手段８、63 学習データ作成手段９、64 真の位置入力手段 21 画像保持手段 22 マーク領域切りだし手段 23 マーク領域保持手段 24 ０次モーメント計算手段手段 25 １次モーメント計算手段 26 ２次モーメント計算手段 27 ０次モーメント保持手段 28 １次モーメント保持手段 29 ２次モーメント保持手段 31 計算式保持手段 32 特徴量計算手段 33 計算結果保持手段 34 位置情報計算手段 41、72 スクリーン 42、71、152、171、243 カメラ 43、156、173、241 マーカー 131 マーカー分割手段 132 マーカー保持手段 133 表示原画像保持手段 134 画像修正手段 135 表示手段 141 座標変換手段 142 変換結果保持手段 143 画像切りだし手段 144 マーカー位置保持手段 151、172 原稿 153 カメラ支持台 154 パーソナルコンピュータ 176、244 投影面 177 レンズの中心 192 画像分割処理手段 193 進行方向計算手段 201 画像分離手段 202 制御手段 203 個別情報管理手段 204 相対位置保持手段 205 個別位置情報保持手段 211 道路 212 標識 213 複数マーカー 174、242 レンズ

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、画像の
特徴を記憶する画像特徴記憶手段と、前記画像入力手段
によって入力された画像を前記画像特徴記憶手段に記憶
された画像の特徴にしたがって処理し位置情報を算出す
る画像処理手段と、前記画像処理手段によって算出され
た位置情報を保持する位置情報保持手段によって構成さ
れる位置検出装置。
【請求項２】前記画像処理手段は、前記画像入力手段
によって入力された画像を保持する画像保持手段と、前
記画像保持手段によって保持されている画像からマーク
領域を切り出すマーク領域切りだし手段と、前記マーク
領域切りだし手段によって切り出されたマーク領域を保
持するマーク領域保持手段と、前記マーク領域保持手段
に保持されたマーク画像の０次モーメントを求める０次
モーメント計算手段と、前記０次モーメント計算手段に
よって求められたマーク画像の０次モーメントを保持す
る０次モーメント保持手段と、前記０次モーメント保持
手段に保持された０次モーメントの情報を使用しつつ、
前記マーク領域保持手段に保持されたマーク画像の１次
モーメントを求める１次モーメント計算手段と、前記１
次モーメント計算手段によって求められたマーク画像の
１次モーメントを保持する１次モーメント保持手段と、
前記０次モーメント保持手段に保持された０次モーメン
トの情報及び前記１次モーメント保持手段に保持された
１次モーメントの情報を必要に応じて使用しつつ、前記
マーク領域保持手段に保持されたマーク画像の２次モー
メントを求める２次モーメント計算手段と、前記２次モ
ーメント計算手段によって求められたマーク画像の２次
モーメントを保持する２次モーメント保持手段とを有
し、また、前記画像特徴記憶手段は、マーク画像の位置
と方向を計算によって求めるために必要な計算式を保持
する計算式保持手段と、前記計算式保持手段に保持され
た特定の計算式を使用して、前記した画像処理手段によ
って得られた０次乃至２次の各モーメントからマーク画
像の特徴量を計算する特徴量計算手段と、前記特徴量計
算手段によって得られた計算結果を保持する計算結果保
持手段と、前記計算式保持手段に保持された特定の計算
式を使用して、前記計算結果保持手段に保持された計算
されたマーク画像の特徴量からマーク画像の位置を計算
する位置情報計算手段とを有することを特徴とする請求
項１に記載の位置検出装置。
【請求項３】前記画像処理手段によって算出された位
置情報を修正するため、後記する学習情報作成手段によ
って作成された学習情報を保持する学習情報保持手段
と、前記位置情報保持手段に保持された位置情報を、前
記学習情報保持手段に保持された情報に基づいて修正す
る位置情報修正手段と、前記位置情報修正手段によって
修正された位置情報を保持する第２の位置情報保持手段
と、前記画像入力手段によって入力する特徴を持った画
像の真の位置を入力する真の位置入力手段と、特徴のあ
る画像を前記画像入力手段から読み込み、前記画像処理
手段によって算出され前記位置情報記憶手段に保持され
た位置情報と、前記特徴のある画像の真の位置を比較
し、前記画像処理手段によって処理された位置の誤差が
どのような傾向にあるかを算出する学習情報作成手段と
によって構成される請求項１に記載の位置検出装置。
【請求項４】前記画像処理手段に保持された画像デー
タを、前記第２の位置情報保持手段に保持された位置デ
ータに基づいて修正する画像修正手段と、前記画像修正
手段によって修正された画像を表示する表示手段をさら
に有することを特徴する請求項３に記載の位置検出装
置。
【請求項５】前記画像入力手段によって連続的に入力
された位置情報を示す複数の画像情報を含む入力画像
を、位置情報を示す個別の画像情報に分割してその一つ
一つを前記画像処理手段に渡し、その結果前記第２の位
置情報保持手段に得られた位置情報を管理する画像分割
処理手段と、前記画像分割処理手段で管理されている複
数の画像情報から進行方向を計算する進行方向計算手段
によって構成される請求項３に記載の位置検出装置。
【請求項６】前記画像分割処理手段は、前記画像入力
手段によって入力された位置情報を示す複数の画像情報
を含む画像を、位置情報を含む個別の画像に分離し、前
記画像処理手段に前記個別の画像を渡すと同時に、前記
個別の画像の入力画像全体における相対位置を後記する
制御手段に渡す画像分離手段と、相対位置を保持する相
対位置保持手段と個別位置情報を保持する個別位置情報
保持手段によって構成される複数の個別情報管理手段
と、前記画像分離手段から渡された前記個別の相対位置
情報と、前記第２の位置情報保持手段によって保持され
た前記個別の画像に関する位置情報を組みにして個別位
置情報管理手段に記憶する制御手段を有することを特徴
とする請求項５に記載の位置検出装置。