JPWO2016181687A1 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
JPWO2016181687A1
JPWO2016181687A1 JP2017517626A JP2017517626A JPWO2016181687A1 JP WO2016181687 A1 JPWO2016181687 A1 JP WO2016181687A1 JP 2017517626 A JP2017517626 A JP 2017517626A JP 2017517626 A JP2017517626 A JP 2017517626A JP WO2016181687 A1 JPWO2016181687 A1 JP WO2016181687A1
Authority
JP
Japan
Prior art keywords
unit
feature point
normal
key frame
normal information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017517626A
Other languages
English (en)
Other versions
JP6897563B2 (ja
Inventor
穎 陸
穎 陸
康孝 平澤
康孝 平澤
雄飛 近藤
雄飛 近藤
文香 中谷
文香 中谷
貝野　彰彦
彰彦 貝野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016181687A1 publication Critical patent/JPWO2016181687A1/ja
Application granted granted Critical
Publication of JP6897563B2 publication Critical patent/JP6897563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

法線情報生成部３０は、検出対象フレームに対する法線情報を生成する。データ記憶部５０には、キーフレームの法線情報等が記憶されている。動き量検出部４０は、データ記憶部５０に記憶されているキーフレームの法線情報と、法線情報生成部３０で生成した検出対象フレームの法線情報に基づいて、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの動き量を検出する。キーフレームの撮像画像と現フレームの撮像画像において同じ点の位置差が少ない場合や輝度差を生じる場合でも、法線情報に基づいてキーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの動き量を精度よく検出できる。したがって、観測位置を精度よく検出できるようになる。

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、観測位置を精度よく検出できるようにする。
従来、自己位置推定と環境マップの作成を同時に行うことができるＳＬＡＭ（Simultaneous Localization and Mapping）がロボットや無人運転等の領域の領域に使用されている。ＳＬＡＭでは、例えば非特許文献１では、特徴点ベースで自己位置推定と環境マップの作成が行われている。また、非特許文献２では、特徴点を用いることなく自己位置推定と環境マップの作成が行われている。
Georg Klein and David Murray, "Parallel Tracking and Mapping for Small AR Workspaces", In Proc. International Symposium on Mixed and Augmented Reality (ISMAR'07, Nara) Richard A. Newcombe, Steven J. Lovegrove and Andrew J. Davison, "DTAM: Dense Tracking and Mapping in Real-Time ", IEEE International Conference on Computer Vision (ICCV 2011) Pages 2320-2327
ところで、従来のＳＬＡＭでは、一般的なイメージセンサが搭載されている撮像装置を用いて、撮像画像の輝度と撮像画像における画素位置の情報に基づいて、撮像装置の回転量と移動量を同時に推定して環境マップが作成されている。このため、例えばキーフレームの撮像画像と現フレームの撮像画像において同じ点の位置差が少ないと撮像ポジション（観測位置）の動き量すなわち撮像装置の回転量や移動量を判別しづらい。また、従来のＳＬＡＭでは、異なる視点から見たときの同じ点の輝度が変わらないこと前提としているため、キーフレームの撮像画像と現フレームの撮像画像とで同じ点の輝度差が生じると動き量の検出で誤差を生じてしまう。
そこで、この技術では、観測位置を精度よく検出できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
この技術の第１の側面は、
観測位置におけるシーンの法線情報を生成する法線情報生成部と、
前記法線情報生成部で生成した法線情報に基づき前記観測位置を推定する自己位置推定部と
を有する画像処理装置にある。
この技術においては、偏光画像取得部によって例えば検出対象フレームにおける偏光方向が異なる複数の偏光画像が撮像ポジション（観測位置）で取得されて、取得された複数の偏光画像に基づいて法線情報生成部で法線情報が生成される。動き量検出部では、データ記憶部等に記憶されている観測位置とは異なる撮像ポジション（参照位置）で撮像されたキーフレームの法線情報と法線情報生成部で生成した検出対象フレームの法線情報に基づいて、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの動き量が検出される。動き検出部は、法線情報生成部で生成された法線情報が不定性を有している場合、不定性を解消して、不定性を解消した法線情報を用いて動き量を検出する。
例えば、動き量検出部は、検出対象フレームの画像から特徴点を検出する特徴点検出部と、特徴点検出部で検出された特徴点とキーフレームの画像から検出されている特徴点とのマッチング処理を行い、キーフレームと検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、特徴点マッチング部で検出されたキーフレームと検出対象フレームのそれぞれの特徴点の法線情報に基づき、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの回転量を検出する回転量検出部と、回転量検出部で検出された回転量と、特徴点マッチング部で検出された特徴点と、キーフレームの特徴点の三次元位置または画像上の二次元位置に基づき、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの移動量を検出する移動量検出部とを有している。
または、動き量検出部は、検出対象フレームの画像から特徴点を検出する特徴点検出部と、特徴点検出部で検出された特徴点とキーフレームの画像から検出されている特徴点とのマッチング処理を行い、キーフレームと検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、特徴点マッチング部で検出されたキーフレームと検出対象フレームのそれぞれの特徴点の法線情報と、検出されたキーフレームの特徴点の三次元位置または画像上の二次元位置に基づき、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの回転および／または移動の動き量を検出する回転・移動量検出部とを有している。
または、動き量検出部は、検出対象フレームの画像と法線情報、およびキーフレームの画像と法線情報とデプスに基づき、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの回転および／または移動の動き量を検出する回転・移動量検出部とを有している。
あるいは、動き量検出部は、法線情報生成部で生成された検出対象フレームの法線情報に基づく法線画像から特徴点を検出する特徴点検出部と、特徴点検出部で検出された特徴点とキーフレームの画像から検出されている特徴点とのマッチング処理を行い、キーフレームと検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、特徴点マッチング部で検出されたキーフレームと検出対象フレームのそれぞれの特徴点の法線情報に基づき、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの動き量を算出する動き量検出処理部とを有している。
さらに画像処理装置には、動き量検出部の動き量検出結果とキーフレームのデプスに基づき検出対象フレームのデプスを算出して、算出したデプスと動き量検出結果に基づく三次元点群を、三次元点群の三次元位置と法線情報を含む環境マップに追加する環境マッピング部、キーフレームのデータや環境マップを記憶するデータ記憶部が設けられる。
この技術の第２の側面は、
法線情報生成部によって、観測位置におけるシーンの法線情報を生成することと、
自己位置推定部によって、前記法線情報生成部で生成した法線情報に基づき前記観測位置を推定すること
を含む画像処理方法にある。
この技術の第３の側面は、
コンピュータに
観測位置におけるシーンの法線情報を生成する法線情報生成手順と、
前記法線情報生成手順で生成した法線情報に基づき前記観測位置を推定する自己位置推定手順と
を実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術によれば、観測位置におけるシーンの法線情報が生成されて、この生成された法線情報に基づき観測位置が推定される。例えば観測位置において撮像した検出対象フレームに対応するシーンの法線情報と、観測位置とは異なる参照位置において撮像したキーフレームに対応するシーンの法線情報に基づいて、キーフレームの撮像位置に対する検出対象フレームの撮像位置の動き量を精度よく検出して観測位置の推定を行う。すなわち、観測位置を精度よく検出できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理装置の構成を示す図である。 第１の実施の形態の構成を示す図である。 偏光画像取得部で取得される偏光画像について説明するための図である。 被写体の形状と偏光画像について説明するための図である。 輝度と偏光角との関係を例示した図である。 偏光度と天頂角の関係を示す図である。 １８０度の不定性を説明するための図である。 同一被写体を異なる視点から観測したときの法線情報の違いを説明するための図である。 現フレームのデプスの算出を説明するための図である。 高密度なデプスマップの生成処理を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 環境マッピング部で行われる更新処理を示すフローチャートである。 第１の実施の形態における第１の実施例の構成を示す図である。 回転量検出部の構成を示す図である。 不定性の解消方法の一例を示す図である。 移動量の検出を説明するための図である。 動き量検出部の動作を示すフローチャートである。 回転量検出動作を示すフローチャートである。 第１の実施の形態における第２の実施例の構成を示す図である。 同じ見え方の点が二箇所ある場合を例示した図である。 動き量検出部の動作を示すフローチャートである。 動き量の検出動作を示すフローチャートである。 第１の実施の形態における第３の実施例の構成を示す図である。 動き量検出部の動作を示すフローチャートである。 第２の実施の形態の構成を示す図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．第１の実施の形態
３．第１の実施の形態における第１の実施例
４．第１の実施の形態における第２の実施例
５．第１の実施の形態における第３の実施例
６．第２の実施の形態
７．他の実施の形態
＜１．画像処理装置の構成＞
図１は、画像処理装置の構成を示している。画像処理装置１０は、法線情報生成部３０と動き量検出部４０を有している。法線情報生成部３０は、観測位置におけるシーン例えば検出対象フレームに対応したシーン（以下単に「検出対象フレーム」という）の法線情報を生成する。動き量検出部４０は、データ記憶部５０等に記憶されている観測位置とは異なる参照位置におけるシーン例えば観測位置とは異なる参照位置で撮像したキーフレームに対応したシーン（以下単に「キーフレーム」という）の法線情報と法線情報生成部３０で生成した検出対象フレームの法線情報に基づいて、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの動き量を検出する。すなわち動き量検出部４０は、キーフレーム画像を生成した撮像部の撮像ポジションから検出対象フレーム画像を生成した撮像部の位置や姿勢の変化量を検出する。また、キーフレームの撮像ポジションに対する検出対象フレームの撮像ポジションの動き量を検出することで、キーフレーム画像生成時の位置および姿勢を基準としたときの検出対象フレーム画像生成時の位置および姿勢を検出できる。このように、画像処理装置では、法線情報生成部で生成した法線情報に基づいてフレーム画像生成時の観測位置を検出する。
以下、第１の実施の形態では、偏光画像を用いて法線情報の生成および動き量の検出を行う場合について説明する。また、第２の実施の形態では、偏光画像を用いることなく法線情報に基づいて動き量の検出を行う場合について説明する。
＜２．第１の実施の形態＞
図２は第１の実施の形態の構成を示している。画像処理装置１０は、法線情報生成部３０、動き量検出部４０を有している。また、画像処理装置１０には、偏光画像取得部２０やデータ記憶部５０、環境マッピング部６０が設けられてもよく、以下、偏光画像取得部２０とデータ記憶部５０、環境マッピング部６０も設けた場合について説明する。
偏光画像取得部２０は、検出対象フレーム偏光画像を取得する。偏光画像取得部２０は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。偏光画像取得部２０は、偏光方向が３方向以上の偏光画像を生成する撮像部を有する構成であってもよく、外部機器や記録媒体等から偏光方向が３方向以上の偏光画像を取得する構成であってもよい。偏光画像取得部２０は、例えば撮像部で生成した現フレーム偏光画像を検出対象フレーム偏光画像として用いる。以下検出対象フレーム偏光画像を現フレーム偏光画像として説明を行う。
図３は、偏光画像取得部で取得される偏光画像について説明するための図である。例えば図３の（ａ）に示すように、偏光画像は、撮像部ＣＭの前に設けた偏光板ＰＬを回転させて３方向以上の偏光方向でそれぞれ撮像を行うことで生成する。また、図３の（ｂ）に示すように、偏光画像は、イメージセンサ１１０に３方向以上の偏光方向の画素構成とされた偏光フィルタ１１１を配置して撮像を行うことで生成してもよい。なお、図３の（ｂ）では、各画素が異なる４種類の偏光方向（偏光方向を矢印で示す）のいずれかの画素となる偏光フィルタ１１１をイメージセンサ１１０の前面に配置した場合を例示している。また、図３の（ｃ）に示すように、偏光画像は、偏光方向が異なる偏光板ＰＬ１〜ＰＬ４を撮像部ＣＭ１〜ＣＭ４の前に設けて、撮像部ＣＭ１〜ＣＭ４で順次同じ位置から撮像を行うことで生成してもよい。さらに、図３の（ｄ）に示すように、マルチレンズアレイの構成を利用して偏光方向が異なる複数の偏光画像を生成してもよい。例えばイメージセンサ１１０の前面にレンズ１１２を複数（図では４個）設けて、各レンズ１１２によって被写体の光学像をイメージセンサ１１０の撮像面にそれぞれ結像させる。また、各レンズ１１２の前面に偏光板１１３を設けて、偏光板１１３の偏光方向を異なる方向とする。このような構成とすれば、偏光方向が異なる偏光画像をイメージセンサ１１０で生成できる。
また、撮像部でカラーフィルタを使用しない場合、偏光画像取得部２０では輝度偏光画像を取得できる。ここで、図３の（ａ）および（ｃ）の場合、画素毎に偏光方向が異なる輝度偏光画像の輝度を平均することで、無偏光である通常輝度画像と同等の画像を取得できる。また、図３の（ｂ）の場合、偏光方向が異なる方向であって隣接している４画素の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、図３の（ｄ）の場合、被写体までの距離に対してレンズ１１２間の距離が無視できる程度に短ければ、偏光方向が異なる複数の偏光画像では視差を無視することができる。したがって、偏光方向が異なる偏光画像の輝度を平均することで、無偏光の通常輝度画像と同等の画像を取得することができる。また、視差を無視することができない場合は、偏光方向が異なる偏光画像を視差量に応じて位置合わせして、位置合わせ後の偏光画像の輝度を平均すれば無偏光の通常輝度画像と同等の画像を取得することができる。さらに、偏光画像取得部２０は、輝度偏光画像だけでなく、撮像部にカラーフィルタを設けることで三原色画像を同時に生成してもよく、赤外画像等を同時に生成してもよい。
法線情報生成部３０は、偏光画像取得部２０で取得した偏光方向が異なる複数の偏光画像から法線情報を生成する。ここで、被写体の形状と偏光画像について図４を用いて説明する。例えば図４に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、撮像部ＣＭは偏光板ＰＬを介して被写体ＯＢの撮像を行う。この場合、撮像画像は、偏光板ＰＬの偏光方向に応じて被写体ＯＢの輝度が変化する。なお、説明を容易とするため、例えば偏光板ＰＬを回転して撮像を行うことで、複数の偏光画像を取得して、最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面上としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｙ軸方向の角度を偏光角υとする。
偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、最大輝度Ｉmaxが観測されたときの偏光角υを方位角αとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（１）のように表すことができる。なお、図５は、輝度と偏光角との関係を例示している。また、この例は拡散反射のモデルを示しており、鏡面反射の場合は方位角が偏光角に比べて９０度ずれる。
Figure 2016181687
式（１）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角αが変数となる。したがって、偏光方向が３方向以上の偏光画像の輝度を用いて、式（１）に示すモデル式へのフィッティングを行うことにより、輝度と偏光角の関係を示すモデル式に基づき最大輝度となる偏光角である方位角αを判別することができる。
また、物体表面の法線を極座標系で表現して、法線を方位角αと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角αは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回したときに最小輝度Ｉminと最大輝度Ｉmaxが得られたとき、式（２）に基づき偏光度ρを算出できる。
Figure 2016181687
偏光度と天頂角の関係は、拡散反射の場合、フレネルの式から例えば図６に示す特性を有することが知られている。したがって、図６に示す特性から偏光度ρに基づき天頂角θを判別できる。なお、図６に示す特性は例示であって、被写体の屈折率等に依存して特性は変化する。例えば屈折率が大きくなるに伴い偏光度が大きくなる。
法線情報生成部３０は、このようにして方位角αと天頂角θを算出して、算出した方位角αと天頂角θを示す法線情報を生成する。なお、方位角αと天頂角θを示す場合の法線情報を法線角度とする。
このようにして法線情報生成部３０で生成された法線情報は、１８０度の不定性を有している。図７は、１８０度の不定性を説明するための図である。図７の（ａ）に示す被写体ＯＢを撮像部ＣＭで撮像して法線を算出する場合、偏光方向の回転に応じた輝度変化は１８０度の周期を有している。したがって、例えば図７の（ａ）に示すように被写体ＯＢの上半分の領域ＧＡでは法線方向（矢印で示す）が正しい方向となり、下半分の領域ＧＢでは法線方向が逆方向となるおそれがある。
動き量検出部４０は、異なる視点から観測した同一物体の法線方向は、撮像部の回転量の変化にのみ依存するということを利用して、法線方向の変動から撮像部の回転量すなわちキーフレームに対する現フレームの撮像ポジションの回転量を検出する。具体的には、動き量検出部４０は、取得した現フレーム偏光画像から生成した法線情報およびデータ記憶部５０に記憶されているデータに基づいて、キーフレーム偏光画像の撮像ポジションに対する現フレーム偏光画像の撮像ポジションの回転量を検出する。なお、撮像部の回転とは、光軸をｚ軸としたとき、ｚ軸とｚ軸に直交するｘ軸およびｚ軸とｘ軸に直交するｙ軸の少なくともいずれかの軸を回転軸とした動きである。また、ｘ軸とｙ軸とｚ軸の少なくともいずれの軸方向の動きを撮像部の移動とする。
図８は、同一被写体を異なる視点から観測したときの法線情報の違いを説明するための図である。キーフレームｖで得られた被写体ＯＢの法線は、キーフレームの視点のカメラ座標系、すなわちキーフレームの視点Ｖの光軸をＺv軸、キーフレームの光軸と垂直する画像面の右方向をＸv軸、画像面にＸv軸と垂直する上の方向をＹv軸とした座標系である。同じく、現フレームｌで得られた被写体ＯＢの法線は、現フレームの視点のカメラ座標系、すなわち現フレームの視点の光軸をＺl軸、現フレームの光軸と垂直する画像面の右方向をＸl軸、画像面にＸl軸と垂直する上の方向をＹl軸とした座標系である。つまり、観測した被写体ＯＢの法線方向は、観測していた視点のカメラ座標系に対する方向である。例えば、キーフレームｖに対する現フレームｌの視点変化が、回転量Ｒlv、移動量Ｔlvである場合、キーフレームの座標系で被写体のある一点の法線がＮvであるとき、現フレームの座標系で被写体の同じ点の法線Ｎlは、式（３）に基づき算出できる。
Figure 2016181687
また、偏光画像から生成した法線情報は上述のように１８０度の不定性を有している。このため、動き量検出部４０では法線情報の不定性を解消する。動き量検出部４０は、例えばキーフレームに対応する被写体の点が現フレームにあれば、キーフレームの被写体における点の法線により、現フレームの被写体における点の法線の不定性を解消する。なお、ＳＬＡＭ開始時に、キーフレームの法線情報は不定性を有しており、キーフレームのデプスもわかっていない場合は、後述するような統計的方法等を用いて法線情報の不定性を解消する。
環境マッピング部６０は、動き量検出部４０で得られた動き量検出結果に基づき、現フレーム偏光画像に対応するデプスを生成する。また、環境マッピング部６０は、キーフレームのデプスが取得されていない場合、動き量検出部４０の動き量検出結果と、現フレームとキーフレームの画像を用いたステレオマッチング等の手法を用いて、キーフレームと現フレームのデプスを求める。
キーフレームのデプスが得られていると、キーフレーム偏光画像の撮像ポジションに対する現フレーム偏光画像の撮像ポジションに基づき、キーフレームのデプスが対応する三次元位置を現フレームに再投影することで、現フレームのデプスを求めることができる。式（４）は、現フレームのデプスの算出式を示している。また、図９は、現フレームのデプスの算出を説明するための図である。式（４）において、Ｄv(ｕ)は、キーフレームにおける画素位置ｕ（被写体位置ＯＢｕを示す画素位置）のデプス、Ｄl(ｕ)は、現フレームにおける画素位置ｕ'（被写体位置ＯＢｕを示す画素位置）のデプスである。［Ｘl(ｕ') Ｙl(ｕ') Ｄl(ｕ')］は、画素位置ｕ'の現フレームのカメラ座標系における三次元座標である。πは三次元位置（ｘ，ｙ，ｚ）を（ｘ／ｚ，ｙ／ｚ)に射影する関数である。π-1(ｕ，Ｄv(ｕ)）は、画素位置ｕを、デプスＤv(ｕ)としたときに、カメラ空間に戻す関数であり、Ｋはカメラの内部パラメータ行列であり、焦点距離等に関する情報を示している。Ｇlv(Ψ)は式（５）に示すようにキーフレームから現フレームまで動き量（回転量Ｒlvと移動量Ｔlv）である。
Figure 2016181687
ところで、ステレオマッチング等の手法を用いてデプスを算出する場合、例えばテクスチャのない画像領域ではデプスが得られていない画素が生じる場合があり、画素位置とデプスの関係を示すデプスマップは低密度のマップとなる。したがって、環境マッピング部６０は、上述の処理で得られたデプスと動き量検出部４０で得られた不定性解消後の法線情報に基づき、画素毎にデプスを算出して高密度のデプスマップを生成する。
図１０は、高密度なデプスマップの生成処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての処理について説明する。図１０の（ａ）に示すように、撮像部ＣＭで生成された被写体ＯＢの偏光画像から環境マッピング部６０で図１０の（ｂ）に示すデプス、動き量検出部４０で図１０の（ｃ）に示すように不定性の解消された法線情報が得られたとする。また、偏光画像から取得したデプスが低密度であり、例えば左端の画素に対するデプス値が「２（メートル）」であり、「×」で示す他の画素ではデプス値が得られていないとする。環境マッピング部６０は、法線情報に基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線情報に基づき、左端の画素に対応する被写体面から撮像部の方向に近づく傾斜面に相当していることが判別できる。したがって、環境マッピング部６０は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、左端から３番目の画素は、この画素の法線方向に基づき撮像部と対向する面に相当していることが判別できる。したがって、環境マッピング部６０は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプス値を推定して、例えば「１（メートル）」とする。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から撮像部と離れる方向の傾斜面に相当していることが判別できる。したがって、環境マッピング部６０は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、環境マッピング部６０は、左端から５番目の画素のデプス値を同様に推定して、例えば「２（メートル）」とする。このように、環境マッピング部６０は、動き量検出部４０で生成された不定性の解消されている法線情報を用いて図１０の（ｂ）に示す低密度のデプスから図１０の（ｄ）に示す高密度のデプスを生成する。
環境マッピング部６０は、生成したデプスを用いてデータ記憶部５０に記憶されている環境マップを更新する。環境マップは、三次元点群をデータベース化した情報であり、点のワールド座標系における座標位置（三次元位置）や法線情報を示している。環境マッピング部６０は、生成した現フレームの高密度のデプスと動き量検出部４０で得られた動き量検出結果に基づき、デプスが得られた各点のカメラ座標系をワールド座標系に変換する。すなわち、環境マッピング部６０は、ワールド座標系における観測位置を推定する。さらに、環境マッピング部６０は、変換後のワールド座標系の点の座標位置や法線情報を環境マップに追加する。なお、ワールド座標系は例えばＳＬＡＭ開始時におけるキーフレームのカメラ座標系とする。したがって、偏光画像取得部２０で偏光画像を順次取得して、法線情報生成部３０と動き量検出部４０で上述の処理を行えば、環境マップには、偏光画像に含まれる被写体の表面形状を示す情報が順次記憶される。なお、環境マップには、被写体の三次元位置や法線情報だけでなく、三次元位置で示された点の色情報等を含めてもよい。
また、環境マッピング部６０は、現フレーム偏光画像を用いてデータ記憶部５０に記憶されているキーフレーム偏光画像を更新して、現フレーム偏光画像を新たなキーフレーム偏光画像とする。
図１１は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ１で画像処理装置は、現フレーム偏光画像を取得する。画像処理装置１０の偏光画像取得部２０は、現フレームにおける偏光方向が異なる複数の偏光画像を取得してステップＳＴ２に進む。
ステップＳＴ２で画像処理装置は法線情報を生成する。画像処理装置１０の法線情報生成部３０は、偏光方向が異なる複数の偏光画像の輝度を用いてモデル式へのフィッティング等を行い現フレームの法線情報を生成してステップＳＴ３に進む。
ステップＳＴ３で画像処理装置はキーフレームのデータを取得する。画像処理装置１０の動き量検出部４０は、データ記憶部５０に記憶されているキーフレームのデータを取得してステップＳＴ４に進む。
ステップＳＴ４で画像処理装置は動き量の検出を行う。画像処理装置１０の動き量検出部４０は、ステップＳＴ２で生成した法線情報とステップＳＴ３で取得したキーフレームのデータに基づき、キーフレーム偏光画像の撮像ポジションに対する現フレーム偏光画像の撮像ポジションを検出してステップＳＴ５に進む。
ステップＳＴ５で画像処理装置は更新処理を行う。画像処理装置１０の環境マッピング部６０は、環境マップとキーフレームの更新処理を行う。
図１２は、環境マッピング部で行われる更新処理を示している。ステップＳＴ１１で環境マッピング部６０はデプスを検出する。環境マッピング部６０は現フレームのデプスを検出してステップＳＴ１２に進む。なお環境マッピング部６０は、キーフレームのデプスが検出されていない場合、キーフレームのデプスの検出も行う。
ステップＳＴ１２で環境マッピング部６０は新たな点群の追加処理を行う。環境マッピング部６０はステップＳＴ１１でデプスを検出した新たな点群を環境マップに追加する処理を行ってステップＳＴ１３に進む。
ステップＳＴ１１で環境マッピング部６０は保存処理を行う。環境マッピング部６０は新、ステップＳＴ１２で新たな点群が追加された環境マップをデータ記憶部５０に保存する処理を行い、データ記憶部５０に記憶されている環境マップを更新する。
また、環境マッピング部６０は、現フレーム偏光画像を用いてデータ記憶部５０に記憶されているキーフレーム偏光画像を更新する。
このような第１の実施の形態によれば、法線情報を用いてキーフレームの撮像ポジションに対する現フレームの撮像ポジションの動き量を検出できる。また、従来のＳＬＡＭのように、撮像画像の輝度と撮像画像における画素位置の情報に基づいて動き量を検出する場合、キーフレームの撮像画像と現フレームの撮像画像において同じ点の位置差が少ないと動き量の検出が困難である。また、従来のＳＬＡＭでは、異なる視点から見た同じ点の輝度が変わらないことを前提としており、輝度が変わると検出結果に誤差を生じる。しかし、第１の実施の形態では、法線情報を用いて動き量を検出することから、同じ点の位置差が少なくとも法線方向が変化すれば動き量を精度よく検出できる。また、第１の実施の形態では、法線情報を用いて動き量を検出することから、同じ点の輝度が動きによって変化した場合でも、動き量を精度よく検出できる。
また、従来のＳＬＡＭでは、輝度変化の情報でデプスを平滑化することにより高密度の環境マップの生成が行われている。しかし、輝度変化の情報でデプスを平滑化すると、微小な形状変化がなくなりデプスの歪みを生じる場合がある。これに対して、法線情報には微小な形状変化が含まれることから、第１の実施の形態では、環境の形状をより正確に検出して真値に近い環境マップを作成することができる。
＜３．第１の実施の形態における第１の実施例＞
第１の実施の形態における第１の実施例では、キーフレームと現フレームとの間で対応するそれぞれの特徴点の法線情報等に基づき、キーフレームの撮像ポジションに対する現フレームの撮像ポジションの回転量と移動量を順次に検出する場合について説明する。
図１３は第１の実施の形態における第１の実施例の構成を示している。第１の実施例の画像処理装置は、偏光画像取得部２０、法線情報生成部３０、動き量検出部４１、データ記憶部５０、環境マッピング部６０を有している。
偏光画像取得部２０は、現フレーム偏光画像を取得する。偏光画像取得部２０は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。法線情報生成部３０は、偏光画像取得部２０で取得した偏光方向が異なる複数の偏光画像から法線情報を生成する。データ記憶部５０はキーフレームのデータや環境マップ等を記憶しており、環境マッピング部６０は、現フレーム偏光画像に対応するデプスを生成して、生成したデプスを用いて環境マップを更新する処理等を行う。
動き量検出部４１は、異なる視点から撮像した同一物体の法線方向の変動に基づき、キーフレームの画像を生成した撮像ポジションから現フレームの画像を生成した撮像ポジションへの回転量と移動量を順に検出する。動き量検出部４１は、特徴点検出部４０１と特徴点マッチング部４０２、回転量検出部４０３と移動量検出部４０４を有している。
特徴点検出部４０１は、偏光画像取得部２０で取得された偏光画像から特徴点を検出する。特徴点検出部４０１は、偏光画像取得部２０で取得された現フレームの偏光画像を用いて偏光画像の画素毎に複数の偏光画像の画素値の平均化等を画素位置毎に行い、偏光板や偏光フィルタ等を用いることなく撮像された画像に相当する無偏光画像を生成する。また、特徴点検出部４０１は、ＳＩＦＴ（Scale-Invariant Feature Transform），ＳＵＲＦ（Speeded-Up Robust Features），ＦＡＳＴ（Features from Accelerated Segment Test）等の手法を用いて、無偏光画像から予め定めた種類の特徴点を検出する。
特徴点マッチング部４０２は、データ記憶部５０に記憶されているキーフレームの特徴点と特徴点検出部４０１で検出された特徴点のマッチング処理を行う。特徴点マッチング部４０２は、例えばＳＡＤ(Sum of Absolute Differences)やＮＣＣ(Normalized Cross Correlation)等を用いて特徴点のマッチング処理を行い、キーフレームと現フレームとの間で対応する特徴点の対を検出する。
回転量検出部４０３は、法線情報生成部３０で生成された不定性を有する法線情報、特徴点マッチング部４０２で得られた特徴点の対、データ記憶部５０に記憶されているキーフレームの特徴点の法線情報に基づき回転量を検出する。
図１４は回転量検出部の構成を示している。回転量検出部４０３は、特徴点不定性解消部４０３１と演算部４０３２を有している。
特徴点不定性解消部４０３１は、不定性を有する法線情報に対して不定性を解消する処理を行う。図１５は、不定性の解消方法の一例を示している。図１５において、特徴点ｕ'は現フレームｌにおける特徴点であり、特徴点ｕは特徴点ｕ'に対応するキーフレームｖの特徴点である。また、特徴点ｕ'の不定性を有した法線角度をＮ'u' l（α'u' l，θu' l）、不定性なしの法線角度をＮu' l（αu' l，θu' l）とする。特徴点ｕの不定性なしの法線角度をＮu v（αu v，θu v）とする。現フレームのキーフレームに対する回転量はＲlvであり、移動量はＴlvである。
キーフレームの法線角度Ｎu v（αu v，θu v）の方位角αu vが不定性なしであって、撮像部の動き量が小さい場合、特徴点不定性解消部４０３１は、式（６）に基づいて不定性の解消を行い、法線角度Ｎu' l（αu' l，θu' l）を生成する。すなわち、特徴点不定性解消部４０３１は、キーフレームの法線角度における方位角αu vを参照して、対応する現フレームにおける特徴点の不定性を有した法線角度Ｎ'u' l（α'u' l，θu' l）の方位角α'u' lの不定性を解消して方位角αu' lとする。
Figure 2016181687
また、キーフレームの法線情報が不定性を有している場合、または撮像部の動き量が大きい場合、特徴点不定性解消部４０３１は、視点の位置変化とそれぞれの視点から観測した法線方向の変化の関係を利用し、統計的にキーフレームと現フレームの特徴点の法線の不定性を解消する。
ここで、現フレームの法線情報が不定性を有している場合、特徴点ｕ'の法線Ｎu' lが取り得る値は二方向である。キーフレームの法線が不定性ありの場合、特徴点ｕの法線Ｎu lが取り得る値も二方向である。よって、特徴点毎の法線の組み合わせの候補は二つ(キーフレームの法線が不定性なしの場合)か四つ(キーフレームの法線が不定性ありの場合)ある。つまり算出される回転量も四つの可能性がある。このため、特徴点不定性解消部４０３１は、対応する特徴点全体で統計処理を行い、最もらしい回転量を回転量Ｒlvとする。すなわち、特徴点不定性解消部４０３１は、特徴点毎にキーフレームと現フレームの法線の組み合わせ毎の回転量を算出して、算出した回転量を統計処理することで最もらしい回転量を検出して回転量Ｒlvとする。また、特徴点不定性解消部４０３１は、回転量Ｒlvが対応する各特徴点の法線の対（Ｎu' l、Ｎu v）を不定性の解消された法線とする。
演算部４０３２は、不定性が解消されている現フレームとキーフレームの法線情報を用いて回転量Ｒlvを検出する。演算部４０３２は、具体的には、現フレームの不定性なしの法線Ｎu' lとキーフレームの不定性なしの法線Ｎu vを用いて、式（７）に基づき回転量Ｒlvを算出する。
Figure 2016181687
なお、式（７）を解くに際して、特徴点の法線の不定性を解消するとき、キーフレームの法線角度Ｎu v（αu v，θu v）の方位角αu vに不定性がなく、撮像部の動き量が小さい場合、現フレームの特徴点の不定性の解消では、対応する特徴点の数が一対で十分である。また、キーフレームの法線情報が不定性を有する場合、または撮像部の動き量が大きい場合、最もらしい回転量を統計処理で算出するためには、少なくとも二対の特徴点が必要であるので、回転量検出部４０３で必要とする特徴点の対は一対または二対以上とする。
移動量検出部４０４は、回転量検出部４０３で検出された回転量Ｒlv、特徴点マッチング部４０２で検出した特徴点、データ記憶部５０に記憶されているキーフレームの特徴点の三次元位置または二次元位置に基づき移動量を検出する。
キーフレームにおける特徴点の位置に関しては、三次元位置が既知かどうかによって、必要な特徴点の数が異なる。以下、特徴点の三次元位置が既知である場合と既知でない場合（二次元位置が既知）について説明する。
例えばＳＬＡＭ開始時は、キーフレームにおける特徴点の三次元位置は未知である。したがって、特徴点の三次元位置が既知ではない場合の手法を適用する。また、複数のフレームを処理してキーフレームの特徴点の三次元位置が得られている場合、特徴点の三次元位置が既知である場合の手法を適用する。また、画像認識によって位置を指定するための標識（例えばＡＲマーカー）等を用いることで、ＳＬＡＭ開始時にキーフレームのデプスを得ることができる。したがって、このような場合も特徴点の三次元位置が既知である場合の手法を適用する。
・キーフレームにおける特徴点の三次元位置が既知である場合の動作
移動量検出部４０４は、キーフレームの各特徴点を現フレームに再投影させた位置と現フレームにおける対応する特徴点の位置の差分を最小化することで、移動量を検出する。すなわち、移動量検出部４０４は、式（８）を用いて移動量Ｔlvを算出する。式（８）において、πは三次元位置（ｘ，ｙ，ｚ）を（ｘ／ｚ，ｙ／ｚ)に射影する関数である。π-1(ｕ，Ｄv(ｕ))は、図１６の（ａ）に示すように、キーフレームの画像上の特徴点ｕを、デプスＤv(ｕ)としたときに、カメラ空間に戻す関数であり、Ｋはカメラの内部パラメータ行列である。Ｇlv(Ψ)は式（９）に示すようにキーフレームから現フレームまで動き量（回転量Ｒlvと移動量Ｔlv）である。また式（８）および後述する式のｑａは対となるすべての特徴点を示している。
Figure 2016181687
式（９）を用いて移動量Ｔlvを算出するとき、変数はＴ１、Ｔ２、Ｔ３の３つである。また、一対の特徴点に対して撮像部のｘ方向とｙ方向の移動をそれぞれ式（８）に基づいて算出することから、特徴点の対が二対以上あれば、４以上の式に基づき式（９）の変数Ｔ１，Ｔ２，Ｔ３を決定することができる。したがって、移動量検出部４０４は、二対以上の特徴点を利用して決定された変数Ｔ１，Ｔ２，Ｔ３を用いて移動量Ｔlvを算出する。
・キーフレームにおける特徴点の三次元位置が既知ではない場合（二次元位置が既知）の動作
移動量検出部４０４は、キーフレームにおける特徴点の三次元位置が既知ではない場合キーフレームの各特徴点が現フレームに再投影させた位置と現フレームにおける対応する特徴点の位置の差分を最小化することで移動量を検出する。すなわち、移動量検出部４０４は、式（１０）を用いて移動量Ｔlvを算出する。なお、式（１０）では、キーフレームのデプスが既知でないため、図１６の（ｂ）に示すように、キーフレームの特徴点ｕのデプスをＤv(ｕ)”とする。
Figure 2016181687
式（１０）の変数は、回転量Ｒlvが得られているのでｎ（各特徴点のデプス）＋３（移動量）ある。すなわち、特徴点がｎ個あれば２ｎ個の式が得られ、２ｎ≧ｎ＋３すなわちｎ≧３である場合、キーフレームにおける各特徴点のデプス値と移動量が求められる。また、キーフレームにおける各特徴点のデプスが得られれば、キーフレームの特徴点ｕに対応する現フレームの特徴点ｕ'についての現フレームのカメラ座標系における三次元座標［Ｘl(ｕ') Ｙl(ｕ') Ｄl(ｕ')］は、式（１１）に基づいて算出できる。なお、式（１１）において、Ｄl(ｕ')は特徴点ｕ'のデプスである。
Figure 2016181687
以上のような処理を動き量検出部４１で行えば、現フレームとキーフレームの特徴点および特徴点の法線情報に基づき、回転量と移動量を個々に検出できる。
図１７は、動き量検出部の動作を示すフローチャートである。ステップＳＴ２１で動き量検出部４１は特徴点を検出する。動き量検出部４１は、偏光画像取得部２０で取得された偏光画像から特徴点を検出してステップＳＴ２２に進む。
ステップＳＴ２２で動き量検出部４１は特徴点マッチング処理を行う。動き量検出部４１は、データ記憶部５０に記憶されているキーフレームの特徴点とステップＳＴ２１で検出した特徴点のマッチング処理を行い、キーフレームと現フレームとの間で対応する特徴点の対を検出してステップＳＴ２３に進む。
ステップＳＴ２３で動き量検出部４１は回転量を検出する。動き量検出部４１は、法線情報生成部３０で生成された不定性を有する法線情報、ステップＳＴ２２で検出した特徴点の対、データ記憶部５０に記憶されているキーフレームの特徴点の法線情報に基づき回転量を検出する。
図１８は、回転量検出動作を示すフローチャートである。ステップＳＴ３１で動き量検出部４１は法線情報の不定性を解消する。動き量検出部４１は、上述の特徴点不定性解消部４０３１で説明した処理を行い法線情報の不定性を解消してステップＳＴ３２に進む。
ステップＳＴ３２で動き量検出部４１は回転量を算出する。動き量検出部４１は、上述の演算部４０３２で説明した処理を行い、回転量を算出して図１７のステップＳＴ２４に進む。
ステップＳＴ２４で動き量検出部４１は移動量を検出する。動き量検出部４１は、ステップＳＴ２３で検出した回転量Ｒlv、ステップＳＴ２２で検出した特徴点、データ記憶部５０に記憶されているキーフレームの特徴点の三次元位置または二次元位置に基づき移動量を検出する。
このような第１の実施例によれば、上述の第１の実施の形態で示した効果を得ることができる。さらに、第１の実施例によれば、キーフレームの撮像ポジションに対する現フレームの撮像ポジションの回転量と移動量を個々に検出できるため、例えば撮像部の移動による影響を受けることなく撮像部の回転量を正しく検出できる。したがって、撮像画像の輝度と撮像画像における画素位置の情報に基づいて動き量を検出する従来のＳＬＡＭに比べて、動き量検出の精度を向上させることができる。また、撮像画像の輝度と撮像画像における画素位置の情報に基づいて動き量を検出する場合、テクスチャが少ない撮像画では、現フレームとキーフレームの対応点が見つかり難い。しかし、第１の実施例では法線情報を用いることから、テクスチャが少ない撮像画でも、形状の変化があれば現フレームとキーフレームの対応点を検出して、動き量を検出できるようになる。さらに、特徴点の記述子に偏光情報も含めるようにすれば、通常画像のみを利用して特徴点のマッチング処理を行う場合に比べて、マッチング精度を向上できる。なお、従来のＳＬＡＭでは動き量を検出するとき、少なくとも四対の特徴点が必要であるが、第１の実施例では、上述のように二対の特徴点で動き量を検出することが可能となる。
＜４．第１の実施の形態における第２の実施例＞
第１の実施の形態における第２の実施例では、キーフレームと現フレームとの間で対応するそれぞれの法線情報と、キーフレームの検出された特徴点の三次元位置または画像上の二次元位置に基づき、キーフレームの撮像ポジションに対する現フレームの撮像ポジションの回転および／または移動の動き量を検出する場合について説明する。この場合の動き量の検出結果は、回転量と移動量を同時に検出して統合した場合に相当する。
図１９は第１の実施の形態における第２の実施例の構成を示している。第２の実施例の画像処理装置は、偏光画像取得部２０、法線情報生成部３０、動き量検出部４２、データ記憶部５０、環境マッピング部６０を有している。
偏光画像取得部２０は、現フレーム偏光画像を取得する。偏光画像取得部２０は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。法線情報生成部３０は、偏光画像取得部２０で取得した偏光方向が異なる複数の偏光画像から法線情報を生成する。データ記憶部５０はキーフレームのデータや環境マップ等を記憶しており、環境マッピング部６０は、現フレーム偏光画像に対応するデプスを生成して、生成したデプスを用いて環境マップを更新する処理等を行う。
動き量検出部４２は、異なる視点から撮像した同一物体の法線の変動に基づき、キーフレームの撮像ポジションに対する現フレームの撮像ポジションの回転および／または移動の動き量を検出する。
動き量検出部４２は、特徴点検出部４０１と特徴点マッチング部４０２、回転・移動量検出部４０５を有している。
特徴点検出部４０１は、偏光画像取得部２０で取得された偏光画像から特徴点を検出する。特徴点検出部４０１は、偏光画像取得部２０で取得された現フレームの偏光画像を用いて偏光画像の画素毎に複数の偏光画像の画素値の平均化等を行い、偏光板や偏光フィルタ等を用いることなく撮像された画像に相当する無偏光画像を生成する。また、特徴点検出部４０１は、ＳＩＦＴ，ＳＵＲＦ等の手法を用いて、無偏光画像から予め定めた種類の特徴点を検出する。
特徴点マッチング部４０２は、データ記憶部５０に記憶されているキーフレームの特徴点と特徴点検出部４０１で検出された特徴点のマッチング処理を行う。特徴点マッチング部４０２は、ＳＡＤ等を用いて特徴点のマッチング処理を行い、キーフレームと現フレームで対応する特徴点の対を検出する。
回転・移動量検出部４０５は、法線情報生成部３０で生成された不定性を有する法線情報に対して、上述の回転量検出部４０３と同様な処理を行い、現フレームとキーフレームに対する法線情報の不定性を解消する。次に、回転・移動量検出部４０５は動き量を検出する。
非特許文献１と同様な手法（以下「第１の従来手法」という）では、キーフレームにおいて、各特徴点の現フレームに再投影させた位置と現フレームにおける対応している特徴点の位置を利用して動き量を検出する。すなわち式（１２）を用いて移動量Ｇlvを算出できる。式（１２）において、πは三次元位置（ｘ，ｙ，ｚ）を（ｘ／ｚ，ｙ／ｚ)に射影する関数である。π-1(ｕ，Ｄv(ｕ))は、画像上の点ｕを、デプスＤv(ｕ)としたときに、カメラ空間に戻す関数であり、Ｋはカメラの内部パラメータ行列である。Ｇlv(Ψ)は式（１３）に示すようにキーフレームから現フレームまで動き量（回転量Ｒlvと移動量Ｔlv）である。
Figure 2016181687
ここで、キーフレームの特徴点のデプスが既知かどうかによって、式（１２）を解くために必要な特徴点の対の数が異なる。例えば、式（１２）で、特徴点ｕのデプスＤv(ｕ)が既知であれば、変数が６つ（３自由度の移動量＋３自由度の回転量）である。よって、三対の特徴点で式（１２）を解けるはずであるが、図２０に示しているように、特徴点が画像上の位置のみを見た場合、同じ見え方の点が二箇所ある。なお、図２０では同じ見え方の一方の点を撮像部ＣＭａの撮像位置、他方の点を撮像部ＣＭｂの撮像位置とする。この場合、撮像部ＣＭａ，ＣＭｂで生成された撮像画における特徴点の位置は同じであるが、法線方向が異なるため法線マップは異なる。なお、図２０において、撮像部ＣＭａ，ＣＭｂは四角錐の頂点側がイメージセンサ側で底面側がレンズ側である。また、法線マップでは、法線方向が異なることを線種の違いで示している。
このように、同じ見え方の点が二箇所であると、唯一の視点を求めるためには、その三点の特徴点の他に、もう一点の特徴点が必要である。つまり、唯一のＧlv（Ψ）が得られるためには、４点以上の特徴点が必要である。
また、キーフレームにおける特徴点ｕのデプスＤv(ｕ)が既知でなければ、式（１２）は式（１４）として記載できる。例えば特徴点がｎ個あるとき、変数が６つ（３自由度の移動量＋３自由度の回転量）＋ｎ（ｎ対の特徴点のデプス）である。ゆえに、ｎ≧６であれば、各特徴点のデプス値とカメラの移動量と回転量が求められる。なお、Ｄv(ｕ)”は、特徴点ｕの既知でないデプスを示している。
Figure 2016181687
このような第１の従来手法に対して、回転・移動量検出部４０５は、キーフレームと現フレーム上の特徴点において法線が得られるため、異なる視点から得られる同一点の異なる法線を利用し、対応する特徴点の法線の制約を第１の従来手法に加える。式（１５）は、第１の従来手法に対応する特徴点の法線の制約を加えた場合の式である。すなわち、式（１５）では、現フレームの各特徴点ｕ'をキーフレームに再投影した位置の法線（Ｒlv(ｕ)Ｎl(ｕ')）とキーフレームにおける対応する特徴点ｕの位置の法線Ｎv(ｕ)との差分を最小化する制約を加えている。なお、第２および後述する第３の実施例における法線Ｎv(ｕ)，Ｎl(ｕ)等は、第１の実施例における法線Ｎu v，Ｎu l等に相当する。
Figure 2016181687
また、キーフレームの特徴点のデプスが既知かどうかによって、式（１５）を解くために必要な特徴点の数が異なる。例えば式（１５）において、特徴点ｕのデプスが既知であれば、第１の従来手法と同じく、変数が６つ（３自由度の移動量＋３自由度の回転量）である。但し、図２０に示しているように、同じ見え方でも法線方向が異なる。回転・移動量検出部４０５は、第１の従来手法の特徴点の位置情報のみを利用する方法と異なり、特徴点の法線方向も使用するため、三対の特徴点があれば、上記の式（１５）の唯一の解が得られる。また、特徴点ｕのデプスＤv(ｕ)が既知でなければ、式（１５）を式（１６）とする。
Figure 2016181687
ここで、仮に特徴点がｎ個あるとき、変数が６つ（３由度の移動量＋３自由度の回転量）＋ｎ（ｎ対の特徴点のデプス）である。したがって、ｎ≧６であれば、各特徴点のデプス値と撮像ポジションの回転および／または移動の動き量を求めることができる。また、本手法においては法線の制約が加えられていることから、第１の従来手法に比べて動き量検出の精度を上げることができる。
図２１は、動き量検出部の動作を示すフローチャートである。ステップＳＴ４１で動き量検出部４２は特徴点を検出する。動き量検出部４２は、偏光画像取得部２０で取得された偏光画像から特徴点を検出してステップＳＴ４２に進む。
ステップＳＴ４２で動き量検出部４２は特徴点マッチング処理を行う。動き量検出部４２は、データ記憶部５０に記憶されているキーフレームの特徴点とステップＳＴ４１で検出した特徴点のマッチング処理を行い、キーフレームと現フレームで対応する特徴点の対を検出してステップＳＴ４３に進む。
ステップＳＴ４３で動き量検出部４２は動き量を検出する。動き量検出部４２は、法線情報生成部３０で生成された不定性を有する法線情報、ステップＳＴ４２で検出した特徴点、データ記憶部５０に記憶されているキーフレームの特徴点の法線情報に基づき動き量を検出する。
図２２は、動き量の検出動作を示すフローチャートである。ステップＳＴ５１で動き量検出部４２は法線情報の不定性を解消する。動き量検出部４２は、上述の特徴点不定性解消部４０３１と同様な処理を行い法線情報の不定性を解消してステップＳＴ５２に進む。
ステップＳＴ５２で動き量検出部４２は動き量を検出する。動き量検出部４２は、不定性が解消された法線情報と、キーフレームから検出された特徴点の三次元位置または画像上の二次元位置に基づき、異なる視点から得られる同一点の異なる法線を利用して上述のように回転および／または移動の動き量を検出する。
このような第２の実施例によれば、上述の第１の実施の形態で示した効果を得ることができる。また、第２の実施例では法線情報を用いることから、回転および／または移動の動き量を検出した場合、従来よりも精度よく動き量を検出できる。また、第２の実施例では法線情報を用いることから、第１の実施例と同様に、テクスチャが少ない撮像画でも、形状の変化があれば現フレームとキーフレームの対応点を検出して、動き量を検出できるようになる。さらに、特徴点の記述子に偏光情報も含めるようにすれば、通常画像のみを利用して特徴点のマッチング処理を行う場合に比べて、マッチング精度を向上できる。
＜５．第１の実施の形態における第３の実施例＞
第１の実施の形態における第３の実施例では、第１の実施例や第２の実施例のように特徴点ベースの手法とは異なり、画面全体の画像を用いて動き量を検出する場合について説明する。
図２３は第１の実施の形態における第３の実施例の構成を示している。第３の実施例の画像処理装置は、偏光画像取得部２０、法線情報生成部３０、動き量検出部４３、データ記憶部５０、環境マッピング部６０を有している。
偏光画像取得部２０は、現フレーム偏光画像を取得する。偏光画像取得部２０は、偏光方向が異なる複数の偏光画像、例えば偏光方向が３方向以上の偏光画像を取得する。法線情報生成部３０は、偏光画像取得部２０で取得した偏光方向が異なる複数の偏光画像から法線情報を生成する。データ記憶部５０はキーフレームのデータや環境マップ等を記憶しており、環境マッピング部６０は、現フレーム偏光画像に対応するデプスを生成して、生成したデプスを用いて環境マップを更新する処理等を行う。
動き量検出部４３は、回転・移動量検出部４０６を有しており、回転・移動量検出部４０６は、現フレームの画像と法線情報、およびキーフレームの画像と法線情報とデプスに基づき、キーフレームの撮像ポジションに対する現フレームの撮像ポジションの回転および／または移動の動き量を検出する。
回転・移動量検出部４０６は、キーフレームの三次元位置が既知であるという前提において、キーフレームと現フレームの輝度情報と法線情報を用いることで、動き量を検出する。なお、キーフレームの三次元位置が既知でない場合は、第１の実施例または第２の実施例の手法を適用してキーフレームのデプスを求めてから動き量の算出を行う。
非特許文献２に基づく手法（以下「第２の従来手法」という）では、現フレームの通常画像とキーフレームの通常画像、およびキーフレームのデプスにより、回転量と移動量を算出できる。キーフレームにおいてデプスが既知である点ｕに対して、現フレームに再投影させた点の輝度とキーフレームの点ｕの輝度の差を最小化することで、図９を用いて式（１７）で表すことができる。
Figure 2016181687
式（１７）においてＩは画像の輝度であり、ｑｂはキーフレーム上のデプスが既知であるすべての点である。したがって、式（１７）を解くことで動き量を算出できる。しかし、第２の従来手法は視点が変わったキーフレームと現フレームから見た同じ点の輝度が変わらないと仮定しており、現実の環境では同一点に対する視点が変わることにより輝度も変化する場合があり、輝度の変化によって動き量の検出結果に誤差を生じる。これに対して、回転・移動量検出部４０６では、法線情報を用いて動き量の検出を第２の従来手法よりも精度よく行う。
回転・移動量検出部４０６は、法線情報生成部３０で生成された不定性を有する法線情報から不定性を解消する処理を行う。回転・移動量検出部４０６は、例えば撮像部の動き量が小さい場合、上述の回転量検出部４０３と同様な処理を行い、現フレームに対する法線情報の不定性を解消する。また、回転・移動量検出部４０５は、画像情報に基づき、動き量の近似値を求めて、この近似値を用いて、式（１８）に示すように現フレームの法線の不定性を解消してもよい。なお、式（１８）において、Ｇlv(Ψ)”は第２の従来手法で求めた動き量の近似であり、ｕ'は式（１９）によって得られる位置である。
Figure 2016181687
回転・移動量検出部４０６は、現フレームの法線の不定性を解消したのち、現フレームとキーフレームの通常画像と不定性が解消された法線情報、およびキーフレームのデプスを用いて、式（２０）の演算を行う。回転・移動量検出部４０６は、式（２０）の演算を行うことで、キーフレームの点を現フレームに再投影させた点と現フレームにおける対応する点の輝度の差分および法線の差を最小化する撮像部の動き量Ｇlvを算出する。
Figure 2016181687
このように、回転・移動量検出部４０６は、法線の制約を加えることで従来よりも精度よくキーフレームの撮像ポジションに対する現フレームの撮像ポジションの動き量を検出できるようになる。
図２４は、動き量検出部の動作を示すフローチャートである。ステップＳＴ６１で動き量検出部４３は現フレームの法線情報の不定性を解消する。動き量検出部４３は、上述の動き量検出部４１と同様な処理を行い、現フレームの法線情報に対して不定性を解消する処理を行ってステップＳＴ６２に進む。
ステップＳＴ６２で動き量検出部４３は、動き量を検出する、動き量検出部４３は、現フレームとキーフレームの通常画像、キーフレームとステップＳＴ６１で不定性を解消した現フレームの法線情報、およびキーフレームのデプスに基づいて動き量を検出する。
このような第３の実施例によれば、上述の第１の実施の形態で示した効果を得ることができる。さらに、第３の実施例によれば、特徴点の検出や特徴点マッチング処理等を行うことなく、画面全体の画像を用いて動き量を検出できる。
＜６．第２の実施の形態＞
第２の実施の形態では、偏光画像を用いることなく法線情報に基づいて動き量の検出を行う場合について説明する。
図２５は、第２の実施の形態の構成を示している。画像処理装置は、法線情報生成部３０と動き量検出部４４とデータ記憶部５０を有している。なお、法線情報生成部３０、データ記憶部５０は、上述の第１の実施の形態等と同様に構成されており、動き量検出部４４について説明する。
動き量検出部４４は、現フレームの法線情報に基づく法線画像とキーフレームの法線画像との間で対応するそれぞれの特徴点の法線情報等に基づき、キーフレームの撮像ポジションに対する現フレームの撮像ポジションの動き量を検出する。動き量検出部４４は、特徴点検出部４４１、特徴点マッチング部４４２、動き量検出処理部である回転量検出部４４３と移動量検出部４４４を有している。
特徴点検出部４４１は、法線情報生成部３０で生成された現フレームの法線情報から特徴点を検出する。特徴点検出部４４１は、例えば、法線情報を法線画像に変換して、ＳＩＦＴやＳＵＲＦ等の特徴点検出方法を用いて法線画像から特徴点を検出する。式（２１）は各画素の法線情報を法線画像に変換する変換式を示している。例えば、特徴点検出部４４１は、ｘ方向の法線成分に応じて赤色レベル、ｙ方向の法線成分に応じて緑色レベル、ｚ方向の法線成分に応じて青色レベルを設定して、法線情報をカラーの法線画像に変換する。
Figure 2016181687
特徴点マッチング部４４２は、データ記憶部５０に記憶されているキーフレームの特徴点と特徴点検出部４４１で検出した特徴点のマッチング処理を行う。特徴点マッチング部４４２は、第１の実施の形態の第１の実施例で説明した特徴点マッチング部４０２と同様な処理を行い、現フレームとキーフレームとで対応する特徴点の対を検出する。
回転量検出部４４３は、特徴点マッチング部４４２で検出された特徴点、法線情報生成部３０で生成された現フレームの法線情報、およびデータ記憶部５０に記憶されているキーフレームの特徴点の法線情報に基づき回転量を検出する。回転量検出部４４３は、上述の第１の実施例で説明した回転量検出部４０３と同様な処理を行うことで回転量を検出する。
移動量検出部４４４は、回転量検出部４４３で検出された回転量、特徴点マッチング部４４２で得られた特徴点の対、およびデータ記憶部５０に記憶されているキーフレームの特徴点の三次元位置または二次元位置に基づき移動量を検出する。移動量検出部４４４は、上述第１の実施例で説明した移動量検出部４０４と同様な処理を行うことで移動量を検出する。
このような第２の実施の形態によれば、偏光画像を用いることなく法線情報に基づいてキーフレームの撮像ポジションに対する現フレームの撮像ポジションの回転および／または移動の動き量を検出できる。また、第２の実施の形態では法線情報を用いることから、第１の実施の形態と同様の効果を得ることができる。なお、第２の実施の形態では、法線画像から検出した特徴点を用いて第１の実施の形態における第２の実施例と同様な処理を行い、動き量を検出してもよい。この場合、動き量検出処理部は、第２の実施例の回転・移動量検出部４０５と同様に構成する。
＜７．他の実施の形態＞
上述の第１および第２の実施の形態では、偏光画像を用いて法線情報を生成する場合について説明したが、法線情報の生成は偏光画像を用いる場合に限られない。例えば、照度差ステレオという手法によって法線情報を生成してもよい。また、投影光が対象物体で反射して戻ってくるまでの時間を計測するＴＯＦ（Time of Flight）等の方法を用いて得られるデプスに基づき法線情報を生成してもよい。また、法線情報における不定性の解消は、画像認識等を用いて被写体認識を行い、認識された被写体が示す形状を参照して法線を特定することで、法線情報の不定性を解消してもよい。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 観測位置におけるシーンの法線情報を生成する法線情報生成部と、
前記法線情報生成部で生成した法線情報に基づき前記観測位置を推定する自己位置推定部とを有する画像処理装置。
（２） 前記法線情報生成部は、前記観測位置とは異なる参照位置におけるシーンの法線情報とを生成し、
前記自己位置推定部は、前記法線情報生成部で生成した前記観測位置におけるシーンの法線情報と前記参照位置におけるシーンの法線情報に基づいて前記観測位置を推定する（１）に記載の画像処理装置。
（３） 前記自己位置推定部は、前記参照位置から前記観測位置への動き量を検出する動き量検出部と、前記動き量とワールド座標系における前記参照位置に基づいて、前記ワールド座標系における前記観測位置を推定する絶対位置推定部を有する（２）に記載の画像処理装置。
（４） 前記法線情報生成部は、前記観測位置において撮像した検出対象フレームに対応したシーンの法線情報と、前記観測位置とは異なる参照位置で撮像したキーフレームに対応したシーンの法線情報とを生成して、
前記自己位置推定部は、前記法線情報生成部で生成した前記検出対象フレームに対応したシーンの法線情報と前記キーフレームに対応したシーンの法線情報に基づいて前記観測位置を推定する（３）に記載の画像処理装置。
（５） 前記動き量検出部は、
前記検出対象フレームの画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部で検出された特徴点と前記キーフレームの画像から検出されている特徴点とのマッチング処理を行い、前記キーフレームと前記検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、
前記特徴点マッチング部で検出された前記キーフレームと前記検出対象フレームのそれぞれの特徴点の法線情報に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの回転量を検出する回転量検出部と、
前記回転量検出部で検出された回転量と、前記特徴点マッチング部で検出された前記特徴点と、前記キーフレームの特徴点の三次元位置または画像上の二次元位置に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの移動量を検出する移動量検出部とを有する（４）に記載の画像処理装置。
（６） 前記動き量検出部は、
前記検出対象フレームの画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部で検出された特徴点と前記キーフレームの画像から検出されている特徴点とのマッチング処理を行い、前記キーフレームと前記検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、
前記特徴点マッチング部で検出された前記キーフレームと前記検出対象フレームのそれぞれの特徴点の法線情報と、前記検出されたキーフレームの特徴点の三次元位置または画像上の二次元位置に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの回転および／または移動の動き量を検出する回転・移動量検出部とを有する（４）に記載の画像処理装置。
（７） 前記動き量検出部は、
前記検出対象フレームの画像と法線情報、および前記キーフレームの画像と法線情報とデプスに基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの回転および／または移動の動き量を検出する回転・移動量検出部とを有する（４）に記載の画像処理装置。
（８） 前記動き量検出部は、
前記法線情報生成部で生成された検出対象フレームの法線情報に基づく法線画像から特徴点を検出する特徴点検出部と、
前記特徴点検出部で検出された特徴点と前記キーフレームの画像から検出されている特徴点とのマッチング処理を行い、前記キーフレームと前記検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、
前記特徴点マッチング部で検出された前記キーフレームと前記検出対象フレームのそれぞれの特徴点の法線情報に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの動き量を検出する動き量検出処理部とを有する（４）に記載の画像処理装置。
（９） 前記法線情報生成部は、前記観測位置におけるシーンの偏光方向が異なる複数の偏光画像を用いて前記法線情報を生成する（１）乃至（８）の何れかに記載の画像処理装置。
（１０） 前記法線情報生成部で生成された前記観測位置におけるシーンの法線情報は不定性を有しており、
前記動き量検出部は、前記観測位置におけるシーンの法線情報の不定性を解消して、不定性が解消された法線情報を用いて前記動き量を検出する（９）に記載の画像処理装置。
（１１） 前記観測位置におけるシーンの偏光方向が異なる複数の偏光画像を取得する偏光画像取得部をさらに有する（９）に記載の画像処理装置。
（１２） 前記参照位置におけるシーンの少なくとも法線情報を含むデータを記憶するデータ記憶部をさらに有し、
前記自己位置推定部は、前記データ記憶部に記憶されている前記参照位置のシーンのデータを用いて前記観測位置を推定する（２）に記載の画像処理装置。
（１３） 前記自己位置推定部で推定した前記観測位置に基づき前記観測位置におけるシーンのデプスを算出し、算出したデプスと前記観測位置に基づく三次元点群を環境マップに追加する環境マッピング部をさらに有する（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 前記環境マップは、三次元点群の三次元位置と法線情報を含む（１３）に記載の画像処理装置。
この技術の画像処理装置と画像処理方法およびプログラムでは、観測位置におけるシーンの法線情報が生成されて、この生成された法線情報に基づき観測位置が推定される。このため、例えば観測位置において撮像した検出対象フレームに対応するシーンの法線情報と、観測位置とは異なる参照位置において撮像したキーフレームに対応するシーンの法線情報に基づいて、キーフレームの撮像位置に対する検出対象フレームの撮像位置の動き量を精度よく検出して観測位置の推定を行う。すなわち、観測位置を精度よく検出できるようになる。したがって、環境マップを生成する機器や、自己位置推定と環境マップの作成を同時に行う機能が必要とされる例えばロボットや無人運転を行う機器等に利用できる。
１０・・・画像処理装置
２０・・・偏光画像取得部
３０・・・法線情報生成部
４０，４１，４２，４３，４４・・・動き量検出部
５０・・・データ記憶部
６０・・・環境マッピング部
１１０・・・イメージセンサ
１１１・・・偏光フィルタ
１１２・・・レンズ
１１３・・・偏光板
４０１，４４１・・・特徴点検出部
４０２，４４２・・・特徴点マッチング部
４０３，４４３・・・回転量検出部
４０４，４４４・・・移動量検出部
４０５，４０６・・・回転・移動量検出部
４０３１・・・特徴点不定性解消部
４０３２・・・演算部

Claims (16)

  1. 観測位置におけるシーンの法線情報を生成する法線情報生成部と、
    前記法線情報生成部で生成した法線情報に基づき前記観測位置を推定する自己位置推定部と
    を有する画像処理装置。
  2. 前記法線情報生成部は、前記観測位置とは異なる参照位置におけるシーンの法線情報とを生成し、
    前記自己位置推定部は、前記法線情報生成部で生成した前記観測位置におけるシーンの法線情報と前記参照位置におけるシーンの法線情報に基づいて前記観測位置を推定する
    請求項１に記載の画像処理装置。
  3. 前記自己位置推定部は、
    前記参照位置から前記観測位置への動き量を検出する動き量検出部と、
    前記動き量とワールド座標系における前記参照位置に基づいて、前記ワールド座標系における前記観測位置を推定する絶対位置推定部を有する
    請求項２に記載の画像処理装置。
  4. 前記法線情報生成部は、前記観測位置において撮像した検出対象フレームに対応したシーンの法線情報と、前記観測位置とは異なる参照位置で撮像したキーフレームに対応したシーンの法線情報とを生成して、
    前記自己位置推定部は、前記法線情報生成部で生成した前記検出対象フレームに対応したシーンの法線情報と前記キーフレームに対応したシーンの法線情報に基づいて前記観測位置を推定する
    請求項３に記載の画像処理装置。
  5. 前記動き量検出部は、
    前記検出対象フレームの画像から特徴点を検出する特徴点検出部と、
    前記特徴点検出部で検出された特徴点と前記キーフレームの画像から検出されている特徴点とのマッチング処理を行い、前記キーフレームと前記検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、
    前記特徴点マッチング部で検出された前記キーフレームと前記検出対象フレームのそれぞれの特徴点の法線情報に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの回転量を検出する回転量検出部と、
    前記回転量検出部で検出された回転量と、前記特徴点マッチング部で検出された前記特徴点と、前記キーフレームの特徴点の三次元位置または画像上の二次元位置に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの移動量を検出する移動量検出部とを有する
    請求項４に記載の画像処理装置。
  6. 前記動き量検出部は、
    前記検出対象フレームの画像から特徴点を検出する特徴点検出部と、
    前記特徴点検出部で検出された特徴点と前記キーフレームの画像から検出されている特徴点とのマッチング処理を行い、前記キーフレームと前記検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、
    前記特徴点マッチング部で検出された前記キーフレームと前記検出対象フレームのそれぞれの特徴点の法線情報と、前記検出されたキーフレームの特徴点の三次元位置または画像上の二次元位置に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの回転および／または移動の動き量を検出する回転・移動量検出部とを有する
    請求項４に記載の画像処理装置。
  7. 前記動き量検出部は、
    前記検出対象フレームの画像と法線情報、および前記キーフレームの画像と法線情報とデプスに基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの回転および／または移動の動き量を検出する回転・移動量検出部とを有する
    請求項４に記載の画像処理装置。
  8. 前記動き量検出部は、
    前記法線情報生成部で生成された検出対象フレームの法線情報に基づく法線画像から特徴点を検出する特徴点検出部と、
    前記特徴点検出部で検出された特徴点と前記キーフレームの画像から検出されている特徴点とのマッチング処理を行い、前記キーフレームと前記検出対象フレームとの間で対応する特徴点の対を検出する特徴点マッチング部と、
    前記特徴点マッチング部で検出された前記キーフレームと前記検出対象フレームのそれぞれの特徴点の法線情報に基づき、前記キーフレームの撮像ポジションに対する前記検出対象フレームの撮像ポジションの動き量を検出する動き量検出処理部とを有する
    請求項４に記載の画像処理装置。
  9. 前記法線情報生成部は、前記観測位置におけるシーンの偏光方向が異なる複数の偏光画像を用いて前記法線情報を生成する
    請求項１に記載の画像処理装置。
  10. 前記法線情報生成部で生成された前記観測位置におけるシーンの法線情報は不定性を有しており、
    前記動き量検出部は、前記観測位置におけるシーンの法線情報の不定性を解消して、不定性が解消された法線情報を用いて前記動き量を検出する
    請求項９に記載の画像処理装置。
  11. 前記観測位置におけるシーンの偏光方向が異なる複数の偏光画像を取得する偏光画像取得部をさらに有する
    請求項９に記載の画像処理装置。
  12. 前記参照位置におけるシーンの少なくとも法線情報を含むデータを記憶するデータ記憶部をさらに有し、
    前記自己位置推定部は、前記データ記憶部に記憶されている前記参照位置のシーンのデータを用いて前記観測位置を推定する
    請求項２に記載の画像処理装置。
  13. 前記自己位置推定部で推定した前記観測位置に基づき前記観測位置におけるシーンのデプスを算出し、算出したデプスと前記観測位置に基づく三次元点群を環境マップに追加する環境マッピング部をさらに有する
    請求項１に記載の画像処理装置。
  14. 前記環境マップは、三次元点群の三次元位置と法線情報を含む
    請求項１３に記載の画像処理装置。
  15. 法線情報生成部によって、観測位置におけるシーンの法線情報を生成することと、
    自己位置推定部によって、前記法線情報生成部で生成した法線情報に基づき前記観測位置を推定すること
    を含む画像処理方法。
  16. コンピュータに
    観測位置におけるシーンの法線情報を生成する法線情報生成手順と、
    前記法線情報生成手順で生成した法線情報に基づき前記観測位置を推定する自己位置推定手順と
    を実行させるプログラム。
JP2017517626A 2015-05-14 2016-03-01 画像処理装置と画像処理方法およびプログラム Active JP6897563B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015099021 2015-05-14
JP2015099021 2015-05-14
PCT/JP2016/056193 WO2016181687A1 (ja) 2015-05-14 2016-03-01 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016181687A1 true JPWO2016181687A1 (ja) 2018-03-01
JP6897563B2 JP6897563B2 (ja) 2021-06-30

Family

ID=57248184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517626A Active JP6897563B2 (ja) 2015-05-14 2016-03-01 画像処理装置と画像処理方法およびプログラム

Country Status (6)

Country Link
US (1) US10529076B2 (ja)
EP (1) EP3296955B1 (ja)
JP (1) JP6897563B2 (ja)
CN (1) CN107533763B (ja)
ES (1) ES2887202T3 (ja)
WO (1) WO2016181687A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11835343B1 (en) 2004-08-06 2023-12-05 AI Incorporated Method for constructing a map while performing work
US10809071B2 (en) * 2017-10-17 2020-10-20 AI Incorporated Method for constructing a map while performing work
JP5953658B2 (ja) 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP6556013B2 (ja) * 2015-10-08 2019-08-07 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
EP3633407A4 (en) * 2017-05-24 2020-06-10 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
US11082669B2 (en) 2017-06-19 2021-08-03 Sony Corporation Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system
JP7103357B2 (ja) * 2017-07-26 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11274929B1 (en) * 2017-10-17 2022-03-15 AI Incorporated Method for constructing a map while performing work
WO2019102734A1 (ja) * 2017-11-24 2019-05-31 ソニー株式会社 検出装置、及び電子機器の製造方法
CN108305278B (zh) * 2018-01-30 2020-02-21 西南交通大学 一种orb-slam算法中图像匹配相关性改进方法
WO2019215820A1 (ja) * 2018-05-08 2019-11-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
JP6934565B2 (ja) * 2018-05-08 2021-09-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および被写体情報取得方法
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US10607352B2 (en) * 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
CN109141393B (zh) * 2018-07-02 2020-12-08 北京百度网讯科技有限公司 重定位方法、设备及存储介质
CN109544632B (zh) * 2018-11-05 2021-08-03 浙江工业大学 一种基于层次主题模型的语义slam对象关联方法
CN113965814B (zh) * 2021-08-30 2023-07-04 国网山东省电力公司信息通信公司 基于视频会议场景的多会场关键帧提取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
WO2010113240A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報算出装置および３次元情報算出方法
JP2014511591A (ja) * 2011-01-31 2014-05-15 マイクロソフト コーポレーション 奥行きマップを使用したモバイルカメラの自己位置推定

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10210473A (ja) * 1997-01-16 1998-08-07 Toshiba Corp 動きベクトル検出装置
RU2009107141A (ru) 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов
CN102819845A (zh) * 2011-06-07 2012-12-12 中兴通讯股份有限公司 一种混合特征的跟踪方法和装置
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
KR101460313B1 (ko) * 2013-05-24 2014-11-14 중앙대학교 산학협력단 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
US9495761B2 (en) * 2013-11-04 2016-11-15 The Regents Of The University Of California Environment mapping with automatic motion model selection
CN104062973B (zh) * 2014-06-23 2016-08-24 西北工业大学 一种基于图像标志物识别的移动机器人slam方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
WO2010113240A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報算出装置および３次元情報算出方法
JP2014511591A (ja) * 2011-01-31 2014-05-15 マイクロソフト コーポレーション 奥行きマップを使用したモバイルカメラの自己位置推定

Also Published As

Publication number Publication date
WO2016181687A1 (ja) 2016-11-17
CN107533763B (zh) 2021-09-28
EP3296955A1 (en) 2018-03-21
EP3296955A4 (en) 2018-12-19
US10529076B2 (en) 2020-01-07
EP3296955B1 (en) 2021-08-11
ES2887202T3 (es) 2021-12-22
US20180122086A1 (en) 2018-05-03
CN107533763A (zh) 2018-01-02
JP6897563B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
WO2016181687A1 (ja) 画像処理装置と画像処理方法およびプログラム
Schops et al. Bad slam: Bundle adjusted direct rgb-d slam
Herrera et al. Dt-slam: Deferred triangulation for robust slam
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
CN110675314B (zh) 图像处理和三维对象建模方法与设备、图像处理装置及介质
US9679384B2 (en) Method of detecting and describing features from an intensity image
JP2019075082A (ja) 深度値推定を用いた映像処理方法及び装置
CN104685513A (zh) 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
JP2011008687A (ja) 画像処理装置
Frahm et al. Markerless augmented reality with light source estimation for direct illumination
US10607350B2 (en) Method of detecting and describing features from an intensity image
JP6515039B2 (ja) 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法
CN110490967A (zh) 图像处理和对象建模方法与设备、图像处理装置及介质
US11803982B2 (en) Image processing device and three-dimensional measuring system
Daftry et al. Flexible and User-Centric Camera Calibration using Planar Fiducial Markers.
Yuan et al. 3D reconstruction of background and objects moving on ground plane viewed from a moving camera
JP2018195241A (ja) 情報処理装置、情報処理方法、及びプログラム
Zhu et al. Robust plane-based calibration of multiple non-overlapping cameras
CN105335959B (zh) 成像装置快速对焦方法及其设备
JP2016114445A (ja) ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置
Burschka et al. Direct pose estimation with a monocular camera
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
Kuhl et al. Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods
CN112262411A (zh) 图像关联方法、系统和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201201

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R151 Written notification of patent or utility model registration

Ref document number: 6897563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151