JP4546155B2

JP4546155B2 - 画像処理方法、画像処理装置および画像処理プログラム

Info

Publication number: JP4546155B2
Application number: JP2004164445A
Authority: JP
Inventors: 智佐藤; 一生登; 雅通中川; 幹也中田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-06-02
Filing date: 2004-06-02
Publication date: 2010-09-15
Anticipated expiration: 2024-06-02
Also published as: JP2005346348A

Description

本発明は、画像から、物体の位置や姿勢、動きなどを検出する画像処理技術に関し、特に、一般の光環境下における検出精度の低下を抑制するための技術に関する。

従来、対象物の位置や姿勢、動きなどの検出を行うために、カメラを用いる方法が広く利用されている。すなわち、カメラで撮影された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理を適用することにより、対象物の位置や姿勢などを検出する。

カメラ画像から対象物の位置・姿勢を検出する技術としては、例えば、対象物の３次元形状モデルをステレオカメラの画像と位置合わせするものがあった（例えば、特許文献１参照）。

また、対象の位置と姿勢の変動、対象の変形、および照明変動などの変動全般に対して頑強なパターン認識装置も、提案されている（例えば、特許文献２参照）。
特許第２９６１２６４号特開２０００−７６４４０号

しかしながら、特許文献１のような従来の画像処理は、ノイズのない画像に対しては有効であるが、例えば家庭内のような一般環境で撮影された画像では、精度が下がるという問題がある（例えば、「阪野貴彦、池内克史 “移動カメラによる自空間画像を用いた車両からのスペキュラ除去”，情報処理学会研究報告ＣＶＩＭ，２００３−ＣＶＩＭ−１４１，ｐｐ．１７−２３，２００３」）。

また、特許文献２の装置では、入力部分空間を生成し処理を行うため、部分空間を生成した環境に近い環境であれば、頑強な認識を行うことができる。しかし、家庭内などのような一般環境では、例えば夜と昼とで光源が全く異なってしまうように、光環境が劇的に変化する。このため、検出精度の劣化が生じてしまい、そのまま適用することは困難である。

図１６は実際の家庭内で携帯電話を撮影した場合の画像を模式的に示している。家庭内では通常、１個以上の光源ＬＳが存在する。このため、光源とカメラ、携帯電話の法線方向が正反射の関係を満たすとき、携帯電話の表面に輝度値の高い鏡面反射領域２０３が生じる。この鏡面反射領域２０３は、カメラ位置によって位置が異なり、また、光源状態によって輝度も異なる。そのため、この画像から、パターンマッチングにより携帯電話２０１を検出しようとすると、鏡面反射領域２０３はパターン画像における対応領域とは輝度もエッジ情報も異なるため、検出精度は極端に劣化してしまう。

また、図１７はステレオマッチングにおける鏡面反射を示す図である。図１７（ａ）に示すように、対象物２０２をステレオカメラで撮影したとき、図１７（ｂ）に示すように、光源ＬＳに起因して、いずれのカメラ画像にも鏡面反射領域２０３Ｌ，２０３Ｒが生じる。ところが、これら鏡面反射領域２０３Ｌ，２０３Ｒは、カメラ位置の相違に起因して、その位置と色情報が異なっている。このため、２個のカメラ画像は大きく異なることになり、この結果、ステレオマッチングの精度が低下してしまう。

前記の問題に鑑み、本発明は、家庭内など一般環境において、対象物の位置推定等を行う画像処理において、鏡面反射などに起因する検出精度の低下を抑制することを課題とする。

前記の課題を解決するために、本発明は、画像処理方法として、対象物が撮された画像データを取得し、この画像データから前記対象物の位置姿勢を暫定的に推定する。また、前記対象物に係る光学データを取得する。そして、暫定的に推定された位置姿勢、および取得された光学データを用いて、当該対象物の視点位置依存度を算出する。そして、算出した視点位置依存度を考慮して、前記画像データから、前記対象物の位置姿勢を推定する。

本発明によると、画像データから暫定的に推定された位置姿勢と、対象物に係る光学データを用いて、当該対象物の視点位置依存度が算出される。ここで、本発明における「視点位置依存度」とは、画像データの色情報が、カメラ位置によって変化する度合のことを指す。そして、画像データから対象物の位置姿勢を推定する際に、この算出した視点位置依存度が考慮される。このため、鏡面反射や屈折などの影響が、画像処理の際に考慮されることになり、したがって、精度の低下を抑制することができる。

本発明によると、家庭内の一般環境においても、対象物に係る光学データを用いて、鏡面反射や屈折の影響を考慮して画像処理がなされるので、検出精度・認識率を向上させることができる。したがって、撮影する際の光環境に影響を受けない、ロバストな画像処理を実現することができる。

本発明の第１の態様では、画像処理方法として、対象物が撮された画像データを取得する第１のステップと、前記画像データから前記対象物の位置姿勢を暫定的に推定する第２のステップと、前記対象物に係る光学データを取得する第３のステップと、前記光学データ、および前記第２のステップにおいて暫定的に推定された位置姿勢を用いて、前記対象物の視点位置依存度を算出する第４のステップと、前記第４のステップにおいて算出した視点位置依存度を考慮して、前記画像データから前記対象物の位置姿勢を推定する第５のステップとを備えたものを提供する。

本発明の第２の態様では、前記第５のステップにおいて推定した位置姿勢の信頼度を評価する第６のステップを備え、前記第６のステップにおいて所定の評価が得られたとき、前記第５のステップにおいて推定した位置姿勢を前記対象物の位置姿勢として判断する第１態様の画像処理方法を提供する。

本発明の第３態様では、前記第４のステップは、前記視点位置依存度を、鏡面反射成分に基づき算出するものである第１態様の画像処理方法を提供する。

本発明の第４態様では、前記第４のステップは、前記対象物の鏡面反射領域を推定するステップを含み、前記第５のステップは、前記第４のステップにおいて推定された鏡面反射領域について、画像処理の対象から外す、または、画像処理における重み付けを相対的に小さくするステップを含む第３態様の画像処理方法を提供する。

本発明の第５態様では、鏡面反射領域を推定する際に、前記光学データとして、カメラ情報、反射モデルパラメータ、および光源情報のうち少なくとも１つを用いる第４態様の画像処理方法を提供する。

本発明の第６態様では、前記反射モデルパラメータとして、Torrance-Sparrowモデルなどの反射モデルを利用した光学特性パラメータを用いる第５態様の画像処理方法を提供する。

本発明の第７態様では、前記反射モデルパラメータとして、前記対象物の鏡面反射可能領域を記述したパラメータを用いる第５態様の画像処理方法を提供する。

本発明の第８態様では、前記第４のステップは、前記視点位置依存度を、屈折率に基づき算出するものである第１態様の画像処理方法を提供する。

本発明の第９態様では、前記第３のステップは、前記光学データの取得を、前記対象物に付された無線タグを利用して行うものである第１態様の画像処理方法を提供する。

本発明の第１０態様では、前記第５のステップは、算出された視点位置依存度に従って、前記画像データから、処理対象から外すマスク領域を含むマスク画像を生成し、このマスク画像を用いて前記対象物の位置姿勢を推定するものである第１態様の画像処理方法を提供する。

本発明の第１１態様では、画像処理装置として、対象物が撮された画像データを取得する画像取得部と、前記対象物に係る光学データを取得する光学データ取得部と、前記光学データ取得部によって取得された光学データを用いて、前記画像取得部によって取得された画像データを処理し、前記対象物の位置姿勢を推定する画像処理部とを備え、前記画像処理部は、前記画像データから前記対象物の位置姿勢を暫定的に推定する手段と、暫定的に推定した位置姿勢、および前記光学データを用いて、当該対象物の視点位置依存度を算出する手段と、算出した視点位置依存度を考慮して、前記画像データから、前記対象物の位置姿勢を推定する手段とを備えたものを提供する。

本発明の第１２態様では、画像処理プログラムとして、コンピュータに、対象物が撮された画像データから前記対象物の位置姿勢を暫定的に推定するステップと、暫定的に推定された位置姿勢、および前記対象物に係る光学データを用いて、当該対象物の視点位置依存度を算出するステップと、算出した視点位置依存度を考慮して、前記画像データから前記対象物の位置姿勢を推定するステップとを実行させるものを提供する。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の構成図である。図１の画像処理装置は、画像に撮された対象物の位置・姿勢を推定する。

図１において、画像取得部１０１は、対象物が撮された画像データを取得する。ここでは、画像取得部１０１は２台のカメラを利用して、対象物のステレオ画像を撮影するものとする。光学データ取得部１０２は、後述するようにＲＦタグ（無線タグ）などを用いて、対象物に係る光学データを取得する。そして、画像処理部１０３は、光学データ取得部１０２が取得した光学データを用いて、画像取得部１０１によって取得された画像データを処理し、対象物の位置姿勢を推定する。

画像処理部１０３は、位置姿勢推定部１０４、視点位置依存度算出部１０５および繰り返し制御部１０６を備えている。位置姿勢推定部１０４は、画像取得部１０１によって撮像された画像データを用いて、光学データ取得部１０２によって取得された対象物の３次元形状データ等を参照して、対象物の位置・姿勢を推定する。視点位置依存度算出部１０５は、光学データ取得部１０２が取得した光学データと、位置姿勢推定部１０４が暫定的に推定した対象物の位置・姿勢データとを用いて、画像データの色情報がカメラ位置によって変化する度合を示す視点位置依存度を算出する。位置姿勢推定部１０４は、視点位置依存度算出部１０５によって算出された視点位置依存度を用いて、再度、対象物の位置・姿勢を推定する。繰り返し制御部１０６は、このような位置姿勢推定部１０４および視点位置依存度算出部１０５による繰り返し処理を、推定された位置・姿勢の信頼度を評価しつつ、制御する。

ここで、本発明における「視点位置依存度」とは、画像データの色情報が、カメラ位置によって変化する度合のことを指す。色情報とは、例えば、輝度、色相などである。後述するように、視点位置依存度は、対象物表面の鏡面反射成分に基づいて求めたり、対象物の屈折率に基づいて求めたりする。

本実施形態では、対象物に係る光学データとして、次の３つのデータを利用する。
○反射モデルパラメータ
○カメラ情報（カメラの位置と姿勢を表すデータ）
○光源情報（光源の位置および照射輝度分布を表すデータ）

ここで、反射モデルパラメータについて説明する。一般に、物体の表面反射は、拡散反射成分と鏡面反射成分との和からなる二色性反射モデルによって表現される。二色性反射モデルとして、Torrance-Sparrowモデルが広く知られており、ここでは簡略化されたTorrance-Sparrowモデルのパラメータを、反射モデルパラメータとして用いる。

簡略化されたTorrance-Sparrowモデルは、以下の式で表される（「K. Ikeuchi, K. Sato, “Determining reflectance properties of an object using range and brightness images”, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.13, 11, pp.1139-1153, 1991」参照）。

上の式（１）の右辺第１項ｉ_dは拡散反射成分を表し、第２項ｉ_sは鏡面反射成分を表している。ここで、ｃはＲＧＢのいずれか、ｉ_cは画像面の明るさ、Ｌ_cは光源の光度、Ｒは光源から物体表面の各点までの距離であり、照明光強度がこの距離の２乗に反比例して減衰する特性を考慮して導入されたものである。Ｋ’_d,cとＫ’_s,cとはそれぞれ拡散反射成分と鏡面反射成分に対応する反射係数、σは表面粗さを示す。また、θ_iは物体表面の点における入射角であり、物体表面の法線方向と光源方向とがなす角度、θ_rは物体表面の法線方向とカメラ方向とがなす角度、αは光源方向とカメラ方向の二等分線方向と法線方向とがなす角度である。

図２はこれらの関係を示す図である。図２において、ベクトルＮは対象物表面ＯＳＦの法線方向、ベクトルＶはカメラＣＭの方向、ベクトルＬは光源ＬＳの方向、ベクトルＨはカメラ方向（ベクトルＶ）と光源方向（ベクトルＬ）との二等分線方向を示している。

ここで、
Ｋ_d,c＝Ｋ’_d,cＬ_c
Ｋ_s,c＝Ｋ’_s,cＬ_c
Ｉ_c＝ｉ_cＲ²
とすると、式（１）は次のように変形される

すなわち、Ｋ_d,cとＫ_s,cはそれぞれ拡散反射成分と鏡面反射成分に対応する反射係数、σは表面粗さを示しており、これらのパラメータＫ_d,c、Ｋ_s,cおよびσによって、対象物の反射特性を記述することができる。そこでこれらのパラメータＫ_d,c、Ｋ_s,cおよびσを、反射モデルパラメータとして用いる。通常、パラメータＫ_d,c、Ｋ_s,cは、Ｒ，Ｇ，Ｂにおいて互いに異なるため、Ｒ，Ｇ，Ｂそれぞれについて個別に求めることが望ましい。ただし、ここでは簡略化のため、Ｒ，Ｇ，Ｂではなく、輝度を用いる場合について説明する。

図３（ａ），（ｂ）はそれぞれ、拡散反射成分ｉ_dおよび鏡面反射成分ｉ_sのカメラ方向による変化を模式的に示すグラフである。図３では光源の位置は固定とする。図３から分かるように、拡散反射成分ｉ_dはカメラ方向に関係なく一定値になるが、鏡面反射成分ｉ_sはカメラ方向に大きく依存し、角度αが０すなわち、カメラ方向と光源方向との二等分線方向と、対象物表面の法線方向とが一致したとき、最大となる。すなわち、鏡面反射成分に基づいて、視点位置依存度を算出することができる。

このように、反射モデルパラメータに加え、カメラ情報、光源情報、並びに、カメラ方向および光源方向と対象物の法線方向との相対的な関係が求まれば、視点位置依存度を算出することができ、例えば対象物の鏡面反射領域を推定することができる。

光学データ取得部１０２は、視点位置依存度を求めるために必要となる、上述したパラメータを全て取得する。以下、これらのパラメータの取得方法について、順に説明する。

１）反射モデルパラメータ
ここでは、対象物にＲＦタグが設置されており、当該対象物の反射モデルパラメータがＲＦタグに記憶されているものとする。光学データ取得部１０２はＲＦタグのアンテナを有し、対象物のＲＦタグと通信を行うことによって、反射モデルパラメータを取得する。

２）カメラ情報
カメラ情報としては、焦点距離（投影中心とスクリーンの距離）、レンズ歪み係数、画像の歪み中心、画面の縦横比、画素サイズなどのカメラ内部パラメータと、カメラの焦点位置、姿勢（向き）などのカメラ外部パラメータとがある。これらのパラメータは、例えば公知の手法によって、予め取得しておけばよい。カメラ外部パラメータの取得は、例えば、特開平５−３８６８８号公報記載の方法を用いればよい。また、カメラ内部パラメータの取得は、例えば、「Roger Y.Tsai,“An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision",Proceedings of IEEE Conference on Computer Vision and Pattern Recognition,pp.364-374,1986」の方法を用いればよい。

３）光源情報
光源の位置と照射輝度分布を推定する手法として、例えば、表面が鏡面である鏡面球を利用する方法が知られている。鏡面球の表面には、その鏡面球の位置に入射する光の光源が映されていると考えられる。そこで、このような鏡面球をカメラで撮影し、その画像を解析することによって、光源の位置と照射輝度分布を推定する（例えば、「田中法博、富永昌治 “全方位の光源分光分布の計測とその応用”，画像の認識・理解シンポジウム（ＭＩＲＵ２００２），vol.II,pp.99-1004,2000」）。また、広角カメラを天井方向に向けて光源状態を撮影する方法も、広く知られている。

また、光源が太陽光や月光である場合、日時と測定地の緯度経度とが分かれば、光源の位置と照度は既知となる。測定地の緯度経度は、例えばＧＰＳを用いることによって得ることができる。また、ネットワークを利用して、天気情報などのサイトから情報を得るようにしてもかまわない。

また、家庭内の場合、光源となるものは部屋内の照明である。照明の位置は固定であり、照明のＯＮ―ＯＦＦは測定することが可能である。このため、例えば、照明や家具などの位置や形状情報（ＣＡＤデータ）、機器の動作状態を管理する家庭内サーバが存在している場合、光学データ取得部１０２は、その家庭内サーバと通信を行うことによって、光源の位置および照射輝度分布情報を得ることができる。

４）対象物の法線方向（位置・姿勢）
ここでは、対象物に設置されたＲＦタグには、反射モデルパラメータの他に、対象物の３次元形状データが記憶されているものとする。光学データ取得部１０２は、対象物のＲＦタグと通信を行うことによって、対象物の３次元形状データを取得する。ここでの３次元形状データは、例えば、ワイヤーフレームモデルのような形式であってもよいし、立方体や円柱など単純なモデルを組み合わせた形式であってもよい。

そして、その３次元形状データの位置・姿勢を変えながら、実際の画像とのマッチングを行い、最も高いマッチング度を得た位置・姿勢を、対象物の位置・姿勢として暫定的に推定する。後述するＨＯＵＧＨ変換のような投票処理を利用することによって、ロバストな推定を行うことができる。（位置・姿勢検出方法としては、例えば、特許文献１）。推定した位置・姿勢から、対象物の法線方向を求めることができる。

なお、本実施形態では、対象物の位置・姿勢を推定することを目的としているにもかかわらず、視点位置依存度の算出のために、対象物の位置・姿勢に係る情報を必要とする。このため、まず位置姿勢推定部１０４が、対象物の３次元形状データを用いて「対象物の位置・姿勢」の暫定的な推定を行い、この暫定的な推定結果を用いて、視点位置依存度算出部１０５が視点位置依存度を算出する。さらに、算出された視点位置依存度を利用して再度、位置姿勢推定部１０４が「対象物の位置・姿勢」の推定を行う。このような処理によって、ロバストな推定を実現することができる。

上述したように、反射モデルパラメータ、カメラ情報、光源情報、および対象物の法線方向が求まれば、視点位置依存度を算出することができ、対象物の鏡面反射領域を推定することができる。鏡面反射領域が推定されると、例えば、その鏡面反射領域を含む領域に、その後の画像処理から外すためのマスク領域を設定する。図４はマスク領域２０７の設定例であり、図１６の画像に対応している。マスク領域を除外して、特徴点抽出、パターンマッチング、ブロックマッチングなどの画像処理を行うことによって、その後の画像処理における鏡面反射による性能劣化の影響を除去することができる。

なお、対象物の反射モデルパラメータは、ＲＦタグを用いる代わりに、例えば画像取得部１０１で撮像した画像を用いて、取得することも可能である。例えば、画像から対象物のＩＤを認識し、このＩＤに対応した光学データを、別途設けられたデータベース（ＤＢ）から読み出すようにすればよい。画像から対象物のＩＤを認識する方法としては、対象物に２次元バーコードや画像マーカーなどのマークを貼り付け、その情報を読み取るという方法が広く知られている（例えば、「香月理絵、太田順、水田貴久、新井民夫 "知能ロボットのための環境整備法（第一報：環境への作業情報配置法）", 第１９回日本ロボット学会学術講演会, １Ｃ３２, ｐｐ．３５３−３５４, ２００１」参照）。

図５はこのようなＤＢの一例を示したものである。図５のＤＢには、対象物の識別ＩＤ、形状データ、および各領域における光学モデルパラメータが記載されている。図５のようなＤＢは、個々の画像処理装置が保持していてもかまわないし、サーバが一元管理し、各画像処理装置がサーバにアクセスするようにしてもかまわない。また、このようなサーバはＷＥＢをはじめとするネット上に存在していてもかまわない。

なお、画像から対象物のＩＤを認識する代わりに、対象物の画像自体を登録しておき、撮像画像と登録画像とのマッチングによって対象物を識別するようにしてもよい。このような手法としては、パラメトリック固有空間法を利用したもの等がある（例えば、特開２００２−１４０７０６号公報参照）。この場合、登録画像ＤＢと光学モデルパラメータＤＢとは、統一しておくことが望ましい。

図６は画像処理部１０３における処理の流れの一例を示すフローチャートである。図６において、ステップＳ１０２，Ｓ１０３，Ｓ１０６，Ｓ１０７は位置姿勢推定部１０４が実行し、ステップＳ１０５は視点位置依存度算出部１０５が実行し、ステップＳ１０８〜Ｓ１１０は繰り返し制御部１０６が実行する。

まず、画像処理部１０３は、画像取得部１０１によって撮像されたステレオ画像を取り込む（Ｓ１０１）。ここで、この２枚のステレオ画像をそれぞれ左画像および右画像と呼ぶ。次に、位置姿勢推定部１０４が、特徴点抽出アルゴリズム（例えば、「J. Shi and C. Tomasi, "Good Features to Track," IEEE Conference on Computer Vision and Pattern Recognition, pp. 593-600, 1994」）に従い、左画像から例えば５０個の特徴点を抽出する（Ｓ１０２）。そして、これら５０個の特徴点の対応点を、右画像からブロックマッチング法によって探索する。ステレオ画像を撮影したカメラのカメラ情報（内部パラメータおよび外部パラメータ）が既知であるとき、特徴点と対応点との関係から、対象物の３次元位置を推定することができる。さらに、推定された５０点の３次元位置にHough変換を適用することによって、対象物の位置姿勢Ｘ１を暫定的に推定する（Ｓ１０３）。位置姿勢推定の具体的な処理については、後述する。

次に、画像処理部１０３は、光学データ取得部１０２から対象物光学データとして、反射モデルパラメータや光源情報を取り込む（Ｓ１０４）。そして、視点位置依存度算出部１０５が、ステップＳ１０３で暫定的に推定された位置姿勢Ｘ１を仮定し、対象物について、視点位置依存度を算出し、この視点位置依存度が高い領域すなわち鏡面反射領域を推定する（Ｓ１０５）。そして位置姿勢推定部１０４が、この視点位置依存度を利用して、再度、対象物の位置・姿勢Ｘ２を推定する。すなわち、ステップＳ１０２で抽出された５０個の特徴点のうち鏡面反射領域に含まれているものがあるとき、その特徴点を廃棄し、この代わりに、鏡面反射領域以外の領域から特徴点を抽出する。このようにして、鏡面反射領域に含まれない５０個の特徴点を再抽出する（Ｓ１０６）。さらに、５０個の新たな特徴点を用いてステップＳ１０３と同様の処理を行い、再度、対象物の位置姿勢Ｘ２を推定する（Ｓ１０７）。

次に、ステップＳ１０３，Ｓ１０７で推定された位置・姿勢Ｘ１，Ｘ２の信頼度Ｅ１，Ｅ２を計算する（Ｓ１０８，Ｓ１０９）。信頼度の具体的な計算方法については、後述する。

ここで、もし暫定的に推定した位置姿勢Ｘ１が正しいものであるとき、鏡面反射領域を除外して求めた新たな位置姿勢Ｘ２も同じ値をとり、かつ、信頼度Ｅ２は鏡面反射領域を除外した分だけ信頼度Ｅ１よりも高くなるはずである。一方、位置姿勢Ｘ１が誤っているとき、鏡面反射領域の位置も誤って推定されるため、位置姿勢Ｘ２はＸ１と同じものにはならず、かつ、信頼性Ｅ２もＥ１よりも低下すると考えられる。そこで、
Ｘ１＝Ｘ２＆Ｅ１≦Ｅ２ …（３）
を満たしたときは（Ｓ１１０でＹｅｓ）、対象物の位置姿勢はＸ２であると判断し（Ｓ１１１）、処理を終了する。一方、上式（３）を満たさないときは、位置姿勢推定は間違っていると判断し（Ｓ１１０でＮｏ）、ステップＳ１０２に戻り、対象物の位置姿勢推定を特徴点の抽出からやり直す。もちろん、処理のやり直し方はこれに限られず、例えば、Ｘ１＝Ｘ２、Ｅ１＝Ｅ２として、ステップＳ１０６に戻るようにしてもよい。

（位置姿勢推定の具体例）
対象物の位置・姿勢を推定する具体的な処理について、円柱と直方体を例にとって、説明する。

１）円柱で近似できる物
床や机に立てて置かれた空き缶など、円柱で近似できる対象物は、次のようにして位置や姿勢を推定することができる。図７（ａ）は床や机に置かれた空き缶などを円柱で近似した図である。円柱ＣＣは高さｈ、底面半径ｒとし、円柱ＣＣが置かれた平面ＳＦの高さをｈ＿ｔとする。また、点Ｐｉは円柱ＣＣの特徴点であり、その３次元座標を（ｘｉ，ｙｉ，ｚｉ）とする（ただし、ｈ＿ｔは省略）。円柱ＣＣの高さｈ、底面半径ｒは、上述したとおり例えばＲＦタグを利用して取得できる。また、平面ＳＦの高さｈ＿ｔは部屋のＣＡＤデータがあれば既知である。

まず、３次元位置の高さｚiが、下の条件１を満たさない特徴点はノイズであると判断し、その特徴点を除去する。
条件１：ｈ＿ｔ＜ｚｉ＜ｈ＿ｔ＋ｈ

また、特徴点Ｐｉは、必ず、円柱ＣＣの表面上にあるものと考えられる。ここで、図７（ｂ）に示すように、ある点を円周上にもつ半径ｒの円の中心は、必ず、その点を中心とした半径ｒの円周上に存在する。このことに着目すると、円柱ＣＣの中心軸の位置は、次のようにして検出することができる。

ａ）円柱が置かれているｘ−ｙ平面ＳＦを投票空間として、この平面を量子化した「マス」を作成する。

ｂ）特徴点Ｐｉのｘｙ座標（ｘｉ，ｙｉ）を中心とし、半径ｒの円周上に存在する「マス」に投票をする。

ｃ）条件１を満たした全ての特徴点について、ｂ）の処理を繰り返す。

ｄ）最も多く投票された「マス」の位置を、円柱ＣＣの中心軸の位置として推定する。

このような処理によって、はずれ値に影響されず、円柱ＣＣで近似できる対象物の位置をロバストに推定できる。

２）直方体で近似できる物
携帯電話など、直方体で近似できる対象物は、次のようにして位置や姿勢を推定することができる。図８（ａ）は携帯電話などを直方体で近似した図である。直方体ＲＰの３辺の長さは、それぞれ、Ｈ，Ｌ，Ｗとする。また、点Ｐｉは直方体ＲＰの特徴点であり、その３次元座標を（ｘｉ，ｙｉ，ｚｉ）とする。直方体ＲＰの３辺の長さＨ，Ｌ，Ｗは、上述したとおり例えばＲＦタグを利用して取得できる。

この場合、対象物の位置と姿勢を一意に決定するためには、図８（ａ）に示すように、中心軸のｘｙ座標と、床面に垂直なある側面とｘ軸との傾きとが求まればよい。そこで、ｘｙ座標と、ｘ軸との角度θとを要素とする３次元空間を投票空間とし、量子化した「マス」を作成しておく。

説明を簡単にするために、次の２つのステップに分ける。

ａ）図８（ｂ）のように、幅Ｌ−高さＨの面がｘ−ｚ平面上に存在し、物体の回転はない場合を仮定し、中心軸の位置のみを推定する。

ｂ）中心軸の位置と角度θを推定する。

・ステップａ）
特徴点Ｐｉが直方体ＲＰの側面上に存在するとき、図９（ａ）に示すように、この直方体ＲＰの中心軸は点Ｐｉを中心とした縦Ｗ、横Ｌの長方形ＲＣのエッジ上に存在する。すなわち、中心軸は下の式（４）を満たす座標（Ｘｃ’，Ｙｃ’）を通る。

・ステップｂ）
図９（ｂ）に示すように、中心軸が存在するであろう長方形ＲＣを、点Ｐｉを中心にして回転させる。このとき、長方形ＲＣのエッジは、図９（ｃ）に示すように、半径Ｗ／２の円と、半径√（Ｗ²＋Ｌ²）／２の円とに挟まれた領域ＡＲを形成する。この領域ＡＲ内に、直方体ＲＰの中心軸はあるはずである。そこで、下の式（５）を満たす座標（Ｘｃ，Ｙｃ）と回転角θに対応する「マス」に投票を行う。

全ての特徴点について同様の投票を行い、最も多く投票された「マス」の位置と角度を、直方体ＲＰの位置と姿勢として推定する。

（信頼度計算の具体例）
また、ステップＳ１０８などにおける信頼度の計算は、例えば次のように行う。上述した投票処理を利用して対象物の位置と姿勢を推定したとき、推定された位置・姿勢Ｘ１、Ｘ２を示す「マス」（これを「推定されたマス」と呼ぶ）への投票数を、信頼度の計算に利用する。例えば、もし、全ての特徴点が対象物上にあり、対応点検出が正確に行われているとき、「推定されたマス」には全ての特徴点について投票がなされているはずである。一方、鏡面反射やノイズなどに起因して対応点検出に失敗したときは、その特徴点については「推定されたマス」には投票されていないと考えられる。そこで、「推定されたマス」に対する投票数、すなわち、どれだけの特徴点について投票されているかを、その推定値に対する信頼度として用いることができる。

なお、ここでの説明では、二色性反射モデルとしてTorrance-Sparrowモデルを利用したが、これ以外に例えば、PhongモデルやCook-Torranceモデルを利用してもかまわない。

また、上述した例では、視点位置依存度の高い領域については、特徴点を選択しないものとしたが、その代わりに、視点位置依存度に応じて画像処理における重み付けを行ってもよい。例えば、鏡面反射領域における特徴点について、他の領域の特徴点と比べて重みを小さく設定すればよい。

（第２の実施形態）
図１０は本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図、図１１は図１０の画像処理部１０３Ａにおける処理の流れの一例を示すフローチャートである。図１０では図１と共通の構成要素には、図１と同一の符号を付している。画像処理部１０３Ａは、合成画像生成部１０７を備えている。

図１１の処理では、対象物の位置・姿勢を推定するために、２段階のブロックマッチングを利用する。これによって、対象物の位置と姿勢を高速に、かつ高精度に測定することができる。また、合成画像生成部１０７がマスク画像を作成し、このマスク画像を利用して位置・姿勢推定を行う。図１１において、ステップＳ２０２，Ｓ２０３およびＳ２０７は位置姿勢推定部１０４が実行し、ステップＳ２０５は視点位置依存度算出部１０５が実行し、ステップＳ２０６は合成画像生成部１０７が実行し、ステップＳ２０８〜Ｓ２１０は繰り返し制御部１０６が実行する。

まず、画像処理部１０３Ａは、画像取得部１０１によって撮像されたステレオ画像を取り込む（Ｓ２０１）。次に、位置姿勢推定部１０４が、２段階ブロックマッチングにより対象物の位置姿勢を求める。まず、対象物の位置を粗く求めるために、ステレオ画像の縮小画像を作成し、この縮小画像に対して１度目のブロックマッチングを行う（Ｓ２０２）。すなわち、上述したような位置姿勢検出法によって、縮小画像から位置姿勢Ｘ０を推定する。縮小画像を用いることによって、ブロックマッチングの探索範囲が狭まり、処理時間が短縮されるという効果があるが、その一方で、推定精度が低下するという問題も生じる。

そこで、ステップＳ２０２で推定された位置姿勢Ｘ０を基準とし、その近傍に正しい解があると仮定して、再度ブロックマッチングを行う（Ｓ２０３）。ここでは、縮小画像ではなく、画像取得部１０１によって取得された原画像を利用する。大まかな位置姿勢が求まっている条件下でブロックマッチングを行うため、探索範囲が狭まり、処理時間が短縮される。しかも、縮小画像ではなく原画像を利用するため、高精度な推定が可能になる。

次に、画像処理部１０３Ａは、光学データ取得部１０２から対象物光学データとして、反射モデルパラメータや光源情報を取り込む（Ｓ２０４）。そして、視点位置依存度算出部１０５が、ステップＳ２０２で暫定的に推定された位置姿勢Ｘ０を仮定し、対象物について、視点位置依存度が高い領域すなわち鏡面反射領域を推定する（Ｓ２０５）。

合成画像生成部１０４は、原画像に対し、推定された鏡面反射領域を含むマスク領域を設定し、マスク画像を作成する（Ｓ２０６）。マスク領域については、以降の画像処理の対象から外される。このとき、暫定的に推定された位置姿勢は、鏡面反射などに起因して精度は低いと考えられるので、マスク領域は、推定された鏡面反射領域よりも広めに設定することが好ましい。そして、位置姿勢推定部１０４は、このマスク画像に対してステップＳ２０３と同様の処理を行い、再度、対象物の位置姿勢Ｘ２を推定する（Ｓ２０７）。

次に、ステップＳ２０３，Ｓ２０７で推定された位置・姿勢Ｘ１，Ｘ２の信頼度Ｅ１，Ｅ２を、上述の方法を用いて計算する（Ｓ２０８，Ｓ２０９）。そして、上述のステップＳ１１０と同様に、
Ｘ１＝Ｘ２＆Ｅ１≦Ｅ２ …（３）
を満たしたときは（Ｓ２１０でＹｅｓ）、対象物の位置姿勢はＸ２であると判断し（Ｓ２１１）、処理を終了する。一方、上式（３）を満たさないときは、位置姿勢推定は間違っていると判断し（Ｓ２１０でＮｏ）、ステップＳ２０２に戻り、対象物の位置姿勢推定をやり直す。

また、上述したようなマスク処理や重み付け処理では、光源情報を利用して、その処理内容を適宜変更してもよい。これは、対象物の鏡面反射成分が十分に弱い場合、光源の強度が十分に小さいとき、鏡面反射を拡散反射として近似できるためである。すなわち、鏡面反射成分（Ｋ_S、_cおよびσ）の値と光源情報に応じて処理を切り替えることによって、ロバスト性を向上させることができる。

（第３の実施形態）
上述した処理では、対象物に係る光学データとして、反射モデルパラメータ、カメラ情報および光源情報という３つのデータを利用するものとしたが、これら全てを用いる必要は必ずしもない。ここでは、光学データとして、反射モデルパラメータおよびカメラ情報を利用し、光源情報は利用しない例について、説明する。画像処理部１０３における処理の流れは、図６と同様である。

本実施形態と、光源情報を用いる方法との違いは、ステップＳ１０６の処理である。上述した方法では、反射モデルパラメータとして、簡略化されたTorrance-SparrowモデルのパラメータＫ_d、_c，Ｋ_s、_cおよびσを利用したが、本実施形態では、対象物の鏡面反射可能領域を領域ごとに記述したパラメータを用いる。

図１２は本実施形態において用いる反射モデルパラメータを記述したＤＢのデータ内容の一例を示す図である。図１２において、「光学モデルパラメータ」「鏡面反射可能領域」のフィールドは、視点位置依存度の度合を示している。すなわち、「０」は、その領域では拡散反射が支配的であり、鏡面反射が生じないことを示しており、一方、「１」は、光源の位置によっては鏡面反射を起こす可能性があることを示している。言い換えると、視点位置依存度が高い領域には「１」が示され、視点位置依存度が低い領域には「０」が示されている。

例えば、図１２のデータ例では、識別ＩＤ「００１」の携帯電話において、液晶ディスプレー部（領域Ｂ）と上部のボタン（領域Ｄ，Ｅ）は鏡面反射を起こす可能性があるが、それ以外の領域（領域Ａ，Ｃ）は鏡面反射が生じないことを表している。

そこで、図１３に示すように、鏡面反射が起こる可能性のある領域、すなわち視点位置依存度の高い領域Ｂ，Ｄ，Ｅにマスクを設定し、これらの領域から特徴点を選択しないようにする。これにより、対象物の鏡面反射による検出精度低下の影響を受けないロバストな位置・姿勢検出を行うことができる。

なお、上述の各実施形態では、ステレオマッチングを利用した位置姿勢推定について説明したが、本発明は、このような処理に限定されるものではない。例えば、移動物体に設置したカメラによって所定の時間間隔を開けて撮像した２枚の画像を用いてブロックマッチングを行うことによって、オプティカルフローを求めることができる。オプティカルフローは広く、対象物の動き検出に利用される。このような処理にも、ここで述べたのと同様の処理を適用することができる。

また、このオプティカルフローを利用し、自動車やロボットのような移動物体の軌跡検出を行うことも可能であるが、このような処理にも本発明は適用できる。例えば、特願２００３−１５３００２に開示の方法において、特徴点抽出の際に、本発明を適用すればよい。

また、マスク画像を利用することによって、物体の自動認識を目的としたパターンマッチングに、本発明を適用することも可能である。

なお、上述の各実施形態の画像処理方法は、光源環境が複雑な家庭内などにおいて、物品の保持を行うロボットなどに有効である。推定された鏡面反射領域において、局所的に輝度が高く、鏡面反射が生じていると推定される場合、その領域には傷がついていると考えられる。また、推定された鏡面反射領域の輝度が十分に小さく、明らかに鏡面反射を起こしていない場合も、その領域には傷がついている可能性が高い。このような傷がついている位置をロボットが保持することは、安全性の面で好ましくない。そこで、本画像処理技術がロボットに搭載されている場合に、このような領域が検出されたときは、その領域を保持しないように制御することが望ましい。

（第４の実施形態）
透明な物体の位置や姿勢を推定する場合、屈折率の違いによる画像データの違いが問題となる。図１４（ａ），（ｂ）は格子状の背景ＢＧの前に、形状は同じだが屈折率が異なる透明物体３０１，３０２を置いたときの画像を示す図である。図１４から分かるように、屈折率の違いによって、対象物の画像データは大きく異なる。

図１５は図１４における光線経路を示す図である。図１５に示すように、背景ＢＧから反射（放射）された光は、実線の経路（光線）を通り、透明物体３０１を通過してカメラＣＭに入射する。このときの光線経路は、物体の形状のみならず、透明物体３０１の屈折率ｎに依存する。

屈折率ｎは、一般に、次の式（６）で示すスネルの法則で表される。
ｎ＝ｓｉｎθ₁₁／ｓｉｎθ₁₂ …（６）
すなわち、対象物が透明物体であるとき、屈折率に応じた視点位置依存度が生じる。本実施形態では、屈折率に基づく視点位置依存度を算出し、この視点位置依存度を考慮して、画像処理を行う。

具体的には例えば、第１の実施形態で示した図６のフローと同様に、処理を行うことができる。すなわち、対象物が透明であるとき、ＲＦタグに、予めその屈折率の情報を記録しておく。光学データ取得部１０２は、対象物に係る光学データとして、ＲＦタグから屈折率の情報を取得する。そして、屈折率が極端に大きい領域や屈折率が一様でない領域について、視点位置依存度が高い領域と判断してマスクをかけ、その後の画像処理を行わないようにする。屈折率が極端に大きい領域や屈折率が一様でない領域では、位置姿勢推定のような画像処理は非常に難しいため、このような処理によって、画像処理の精度を上げることができる。

もちろん、マスクをかけて処理対象から除外する代わりに、視点位置依存度に依存した重み付け処理を行うようにしてもかまわない。例えば、上述した投票処理を用いて位置姿勢を推定する場合、投票する際に、屈折率を基準にして重み付けを行う。例えば、通常、投票は対応する「マス」に対して１ポイントずつ加算していくが、屈折率ｎを利用して、ポイント数Ｐを次のように変更すればよい。
Ｐ＝１／ｎただし、不透明物体の場合は１

また、屈折率を利用した対象物の形状測定方法としては、例えば、「辻田美紀、眞鍋佳嗣、千原國宏 "背景パターンの変化を利用した透明物体の形状と屈折率の計測", 第４６回自動制御学会連合講演会講演論文集, ＦＡ２−０８―４, ｐｐ．７７１−７７２, ２００３」に開示されたものなどがある。

また、本実施形態は、投光型レンジファインダにおいて、特に有効である。投光型レンジファインダでは、対象物を光源で投光し、その反射光を測定することによって対象物の３次元形状を測定する。このため、対象物が透明物体である場合、測定はうまくいかない可能性が高い。そこで、対象物の透明領域（屈折率が存在する領域）に対して３次元形状測定処理の重みを小さくする。これにより、測定のロバスト性を向上させることができる。もちろん、透明領域にマスク処理を行い、不透明領域のみを利用して処理を行ってもよい。

また、上述した例では、視点位置依存度を輝度に関して求めるものとしたが、もちろんこの限りではなく、例えば、色相に関して求めるようにしてもよい。これは、光源の位置は固定であるが、光強度のみが変化するとき、特に有効である。

色相とは、色の違いを区別する属性である（例えば「画像解析ハンドブック」、ｐｐ．１０４、東京大学出版会、１９９２）。通常、光源の強度が変化しても、光源の色相は変化しないと考えられる。このため、拡散反射領域では、光源の強度が変化しても各画素の色相は変化しない。すなわち、視点位置が変化しても色相は固定である。また、二色性反射モデルを考える場合、鏡面反射においても色相は変化しないが、通常、鏡面反射領域では相互反射の影響により映りこみが生じる。映りこみとは、周りの物体自体が光源となることである。

このため、鏡面反射領域において、視点が変化する場合、映り込みによる光源色の変化の影響から色相が変化する。また、拡散反射領域では物体色の色相が観察され、鏡面反射領域では光源色の色相が観察されるため、視点位置の変化に伴い画素が拡散反射領域から鏡面反射領域へ、または鏡面反射領域から拡散反射領域へ変化した際、その色相は変化する。したがって、視点位置依存度を色相に関して求めることによって、相互反射による映り込みや、光源の強度変化について、画像処理に対する影響を抑えることができる。

本発明によると、撮影する際の光環境に影響を受けないロバストな画像処理を実現できるので、例えば、家庭内などで利用されるロボットや、自動車などにおける画像処理に有用である。

本発明の第１の実施形態に係る画像処理装置の構成図である。反射モデルを説明するための概念図である。（ａ），（ｂ）は拡散反射成分および鏡面反射成分のカメラ方向による変化を模式的に示すグラフである。マスク領域の設定例である。光学データを格納したデータベースを示す図である。本発明の第１の実施形態における画像処理方法を示すフローチャートである。円柱で近似できる物の位置・姿勢推定方法を説明するための概念図である。直方体で近似できる物の位置・姿勢推定方法を説明するための概念図である。直方体で近似できる物の位置・姿勢推定方法を説明するための概念図である。本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。本発明の第２の実施形態における画像処理方法を示すフローチャートである。本発明の第３の実施形態において用いる反射モデルパラメータを記述したデータの一例である。本発明の第３の実施形態におけるマスク領域の設定例である。屈折率の違いによる画像の変化を示す図である。図１４における光線経路を示す図である。鏡面反射領域を含む画像の例である。ステレオマッチング処理において、鏡面反射領域を含む画像の例である。

符号の説明

１０１画像取得部
１０２光学データ取得部
１０３，１０３Ａ画像処理部
１０４位置姿勢推定部
１０５視点位置依存度算出部
１０６繰り返し制御部
１０７合成画像生成部
２０３，２０３Ｌ，２０３Ｒ鏡面反射領域
２０７マスク領域

Claims

対象物が撮された画像データを、取得する第１のステップと、
前記画像データから、前記対象物の位置姿勢を、暫定的に推定する第２のステップと、
前記対象物に係る光学データを、取得する第３のステップと、
前記光学データ、および前記第２のステップにおいて暫定的に推定された位置姿勢を用いて、前記対象物の、画像データの色情報がカメラ位置によって変化する度合を示す視点位置依存度を算出する第４のステップと、
前記第４のステップにおいて算出した視点位置依存度を考慮して、前記画像データから、前記対象物の位置姿勢を、推定する第５のステップとを備えた
ことを特徴とする画像処理方法。
請求項１において、
前記第５のステップにおいて推定した位置姿勢の、信頼度を評価する第６のステップを備え、
前記第６のステップにおいて所定の評価が得られたとき、前記第５のステップにおいて推定した位置姿勢を、前記対象物の位置姿勢として判断する
ことを特徴とする画像処理方法。
請求項１において、
前記第４のステップは、前記視点位置依存度を、鏡面反射成分に基づき算出するものである
ことを特徴とする画像処理方法。
請求項３において、
前記第４のステップは、前記対象物の鏡面反射領域を推定するステップを含み、
前記第５のステップは、前記第４のステップにおいて推定された鏡面反射領域について、画像処理の対象から外す、または、画像処理における重み付けを相対的に小さくするステップを含む
ことを特徴とする画像処理方法。
請求項４において、
鏡面反射領域を推定する際に、前記光学データとして、カメラ情報、反射モデルパラメータ、および光源情報のうち少なくとも１つを用いる
ことを特徴とする画像処理方法。
請求項５において、
前記反射モデルパラメータとして、Torrance-Sparrowモデルなどの反射モデルを利用した光学特性パラメータを用いる
ことを特徴とする画像処理方法。
請求項５において、
前記反射モデルパラメータとして、前記対象物の鏡面反射可能領域を記述したパラメータを用いる
ことを特徴とする画像処理方法。
請求項１において、
前記第４のステップは、前記視点位置依存度を、屈折率に基づき算出するものである
ことを特徴とする画像処理方法。
請求項１において、
前記第３のステップは、前記光学データの取得を、前記対象物に付された無線タグを利用して行うものである
ことを特徴とする画像処理方法。
請求項１において、
前記第５のステップは、
算出された視点位置依存度に従って、前記画像データから、処理対象から外すマスク領域を含むマスク画像を生成し、このマスク画像を用いて、前記対象物の位置姿勢を推定するものである
ことを特徴とする画像処理方法。
対象物が撮された画像データを、取得する画像取得部と、
前記対象物に係る光学データを、取得する光学データ取得部と、
前記光学データ取得部によって取得された光学データを用いて、前記画像取得部によって取得された画像データを処理し、前記対象物の位置姿勢を推定する画像処理部とを備え、
前記画像処理部は、
前記画像データから、前記対象物の位置姿勢を、暫定的に推定する手段と、
暫定的に推定した位置姿勢、および前記光学データを用いて、当該対象物の、画像データの色情報がカメラ位置によって変化する度合を示す視点位置依存度を算出する手段と、
算出した視点位置依存度を考慮して、前記画像データから、前記対象物の位置姿勢を、推定する手段とを備えたものである
ことを特徴とする画像処理装置。
コンピュータに、
対象物が撮された画像データから、前記対象物の位置姿勢を、暫定的に推定するステップと、
暫定的に推定された位置姿勢、および前記対象物に係る光学データを用いて、当該対象物の、画像データの色情報がカメラ位置によって変化する度合を示す視点位置依存度を算出するステップと、
算出した視点位置依存度を考慮して、前記画像データから、前記対象物の位置姿勢を、推定するステップとを
実行させるための画像処理プログラム。