JP6388744B1

JP6388744B1 - 測距装置および測距方法

Info

Publication number: JP6388744B1
Application number: JP2018503816A
Authority: JP
Inventors: 健宮本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-09-08
Filing date: 2017-09-08
Publication date: 2018-09-12
Anticipated expiration: 2037-09-08
Also published as: DE112017007801T5; WO2019049317A1; KR20200028485A; JPWO2019049317A1; US20210074015A1; CN111052062A

Abstract

特徴抽出部（２１）が、画像から複数の特徴部を抽出する。位置取得部（２３）が、特徴部が含まれる画像上で指定された特徴部の位置情報を取得する。位置補正部（２４）が、特徴抽出部（２１）によって抽出された特徴部の位置情報に基づいて、位置取得部（２３）によって取得された位置情報を補正する。

Description

この発明は、位置補正装置としての機能を有する測距装置および位置補正方法による測距方法に関する。

従来から、画像上でオブジェクトを指定する位置情報を、正しいオブジェクトの位置に補正する技術が知られている。オブジェクトは、画像内の点または線である。
例えば、特許文献１には、表示部に表示された複数のキー（いわゆるソフトウェアキー）からタッチパネルを用いて指定されたキーの位置情報を、正しいキーの位置に補正する技術が記載されている。この技術は、タッチパネルを用いて受け付けられたキーに対する接触箇所の、当該キーの表示領域における基準位置に対する相対位置が、複数のキーのそれぞれについて算出される。タッチパネルによって接触が受け付けられると、この接触箇所と、複数のキーのうちの少なくとも当該接触箇所から一定の範囲内にある、２つ以上のキーのそれぞれの相対位置と、に基づいて、２つ以上のキーのうちの１つのキーが操作対象として特定される。

特開２０１２−９３９４８号公報

特許文献１に記載された技術では、キーを指定する接触箇所の位置情報を、既知のキー表示領域の基準位置を利用して補正することができる。
しかしながら、カメラによって撮影された自然画像には、前述した位置補正の基準位置がないため、特許文献１に記載された技術では、自然画像上で指定されたオブジェクトの位置情報を補正できないという課題があった。

この発明は上記課題を解決するもので、位置補正の基準となる情報がない画像であっても位置情報を補正することができる位置補正装置および位置補正方法を得ることを目的とする。

この発明に係る測距装置は、３次元空間内の距離を算出する測距装置であって、位置補正装置としての画像取得部、特徴抽出部、表示部、位置取得部、および位置補正部を備える。画像取得部は、３次元空間が撮影された２次元画像を取得する。特徴抽出部は、画像取得部によって取得された２次元画像から、３次元空間内の特徴部および２次元画像上での複数の特徴部の位置情報を抽出する。表示部は、特徴部が含まれる２次元画像の表示処理を行う。位置取得部は、特徴部が含まれる２次元画像上で入力装置により指定された位置情報を取得する。位置補正部は、位置取得部によって取得された位置情報より、特徴抽出部によって抽出された複数の前記特徴部のうち、位置取得部によって取得された位置情報と最も近い特徴部の２次元画像上での位置情報を特定する。

この発明によれば、画像から複数の特徴部を抽出して、特徴部が含まれる画像上で入力装置により指定された位置情報を取得し、画像から抽出された複数の特徴部の位置情報に基づいて、位置取得部によって取得された位置情報と最も近い特徴部の２次元画像上での位置情報を特定する。これにより、位置補正の基準となる情報がない画像であっても位置情報を補正することができる。

この発明の実施の形態１に係る位置補正装置を備えた測距装置の構成を示すブロック図である。実施の形態１に係る位置補正方法を示すフローチャートである。画像における特徴部の例を示す図である。図４Ａは、画像の一例を示す図である。図４Ｂは、画像でコーナー上の点が指定された様子を示す図である。図４Ｃは、コーナー上の点間の距離が重畳表示された画像を示す図である。この発明の実施の形態２に係る位置補正装置を備えた拡張現実表示装置の構成を示すブロック図である。実施の形態２に係る位置補正方法を示すフローチャートである。事前処理の概要を示す図である。拡張現実の表示処理の概要を示す図である。図９Ａは、実施の形態１および実施の形態２に係る位置補正装置の機能を実現するハードウェア構成を示すブロック図である。図９Ｂは、実施の形態１および実施の形態２に係る位置補正装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る位置補正装置２を備えた測距装置１の構成を示すブロック図である。測距装置１は、画像上で指定された２つのオブジェクト間の距離を測定する装置であり、位置補正装置２およびアプリケーション部３を備える。また、測距装置１は、カメラ４、表示器５および入力装置６のそれぞれに接続されている。位置補正装置２は、入力装置６を用いて画像上で指定されたオブジェクトの位置情報を補正する装置であり、画像取得部２０、特徴抽出部２１、表示部２２、位置取得部２３および位置補正部２４を備える。

アプリケーション部３は、画像上で２つのオブジェクトのそれぞれを指定した位置情報に基づいて、２つのオブジェクト間の距離を測定する。２つのオブジェクト間の距離を測定する方法としては、例えば、オブジェクトの画像上の２次元位置から、実空間におけるオブジェクトの３次元位置を算出し、２つのオブジェクトの３次元位置間の距離を求める方法が挙げられる。位置補正装置２は、例えば、アプリケーション部３の距離測定に使用される、オブジェクトの画像上の２次元位置を正しい位置に補正する。

カメラ４は、位置補正の基準となる情報がない自然画像を、カラー画像または白黒画像で撮影する。カメラ４は、一般的な単眼のカメラであってもよいが、例えば、異なる複数の方向から対象物を撮影可能なステレオカメラであってもよく、赤外線を利用したＴｏｆ（ＴｉｍｅｏｆＦｌｉｇｈｔ）カメラであってもよい。

表示器５は、位置補正装置２の補正処理で得られた画像、アプリケーション部３による処理で得られた画像またはカメラ４によって撮影された撮影画像を表示する。表示器５としては、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ（以下、有機ＥＬディスプレイと記載する）またはヘッドアップディスプレイが挙げられる。

入力装置６は、表示器５が表示する画像内のオブジェクトを指定する操作を受け付ける装置である。入力装置６には、例えば、タッチパネル、ポインティングデバイス、またはジェスチャ認識用センサが挙げられる。

タッチパネルは、表示器５の画面上に設けられ、画像内のオブジェクトを指定するタッチ操作を受け付ける。ポインティングデバイスは、画像内のオブジェクトを、ポインタで指定する操作を受け付けるデバイスであり、マウスなどがある。ジェスチャ認識用センサは、オブジェクトを指定するジェスチャ操作を認識するセンサであって、カメラ、赤外線またはこれらの組み合わせを用いてジェスチャ操作を認識する。

画像取得部２０は、カメラ４によって撮影された画像を取得する。画像取得部２０によって取得された画像は、特徴抽出部２１に出力される。

特徴抽出部２１は、画像取得部２０によって取得された画像から、特徴部を抽出する。特徴部は、画像内の特徴的な部分であり、例えば、被写体のコーナー部分の点または被写体の輪郭部分の線である。
特徴抽出部２１によって抽出された特徴部およびその位置情報（画像上の２次元位置）は、表示部２２および位置補正部２４に出力される。

表示部２２は、特徴部を含む画像の表示処理を行う。例えば、表示部２２は、特徴部を含む画像を表示器５に表示する。
特徴部を含む画像は、画像取得部２０によって取得された画像でもよいが、画像取得部２０によって取得された画像のうち、特徴部を強調表示した画像であってもよい。測距装置１の使用者は、入力装置６を用いて、表示器５に表示された画像上の点または線を指定する操作を行う。

位置取得部２３は、入力装置６を用いて画像上で指定された点または線の位置情報を取得する。例えば、入力装置６がタッチパネルであれば、位置取得部２３は、タッチ操作が行われた位置情報を取得する。入力装置６がポインティングデバイスであれば、位置取得部２３は、ポインタ位置を取得する。入力装置６がジェスチャ認識用センサである場合、位置取得部２３は、特徴部を示すジェスチャ操作位置を取得する。

位置補正部２４は、特徴抽出部２１によって抽出された特徴部の位置情報に基づいて、位置取得部２３によって取得された点または線の位置情報を補正する。
例えば、画像上で点または線をタッチ操作で指定する場合、点または線の真の位置から数十ピクセルずれる場合がある。このずれが生じる理由は、使用者の指が画像のピクセルに比べて遙かに大きいためである。
そこで、位置補正部２４は、特徴抽出部２１によって画像から抽出された複数の特徴部の位置情報のうち、位置取得部２３によって取得された点または線の位置情報に最も近い特徴部の位置情報を、画像上で指定された点または線の位置情報とする。

次に動作について説明する。
図２は、実施の形態１に係る位置補正方法を示すフローチャートである。
画像取得部２０は、カメラ４によって撮影された画像を取得する（ステップＳＴ１）。特徴抽出部２１は、画像取得部２０によって取得された画像から、特徴部を抽出する（ステップＳＴ２）。例えば、特徴抽出部２１は、画像の中から複数の特徴的な点または線を抽出する。

図３は、画像４Ａにおける特徴部を示す図である。画像４Ａは、カメラ４によって撮影された画像であり、表示器５に表示される。画像４Ａには、矩形のドアが被写体として写っている。特徴抽出部２１は、例えば、被写体であるドアのエッジに相当する線３０またはドアのコーナー上の点３１を抽出する。コーナーは、エッジ同士が交わった交点に相当する部分である。
特徴抽出部２１は、例えば、ハリスコーナー検出法を利用して、画像から特徴的な点を抽出する。また、特徴抽出部２１は、例えば、ハフ変換を利用して、画像から特徴的な線を抽出する。

図２の説明に戻る。
表示部２２は、特徴部を含む画像を表示器５に表示する（ステップＳＴ３）。
例えば、表示部２２は、画像取得部２０によって取得された画像を特徴抽出部２１から入力して、上記画像をそのまま表示器５に表示する。
また、表示部２２は、特徴抽出部２１によって抽出された特徴部の色を変えて強調した上で、画像取得部２０によって取得された画像上に上記特徴部を重畳して表示器５に表示させてもよい。測距装置１の使用者は、入力装置６を用いて、画像上で点または線を指定する操作を行う。例えば、使用者が、タッチパネル上で画像内の点をタッチ操作するか、画像内の線をなぞる操作を行う。

位置取得部２３は、入力装置６を用いて、表示器５が表示している画像上で指定された点または線の位置情報を取得する（ステップＳＴ４）。ここで、上記位置情報は、点または線の位置ｙを示す情報であるものとする。

位置補正部２４は、特徴抽出部２１によって抽出された特徴部の位置情報に基づいて、位置取得部２３によって取得された位置情報を補正する（ステップＳＴ５）。
例えば、位置補正部２４は、特徴抽出部２１によって特徴部として抽出された点または線の中から、入力装置６を用いて指定された点または線の位置ｙに最も近い点または線を特定する。そして、位置補正部２４は、特定した点または線の位置で、入力装置６を用いて指定された点または線の位置を置き換える。

表示器５が表示する画像上で点が指定されると、位置補正部２４は、下記式（１）に従って、特徴抽出部２１によって抽出されたＮ個の点の中から、入力装置６を用いて指定された点の位置ｙに最も近いもの（互いの距離が最小のもの）を特定する。ただし、下記式（１）において、ｘ_ｉ（ｉ＝１，２，３，・・・，Ｎ）は、特徴抽出部２１によって画像から抽出された点の位置である。

表示器５が表示する画像上で線が指定されると、位置補正部２４は、下記式（２）に従って、特徴抽出部２１によって抽出されたＭ個の線の中から、入力装置６を用いて指定された線の位置ｙに最も近いもの（互いの距離が最小のもの）を特定する。ただし、下記式（２）において、ｚ_ｊ（ｊ＝１，２，３，・・・，Ｍ）は、特徴抽出部２１によって画像から抽出された線のベクトルであり、×は外積を示している。

図２に示した一連の処理が完了すると、アプリケーション部３は、位置補正装置２によって補正された位置情報に基づいて測距処理を行う。
図４Ａは、カメラ４によって撮影された自然画像である画像４Ａを示す図であり、表示器５に表示されている。図３と同様に、画像４Ａには、矩形のドアが被写体として写っている。

図４Ｂは、画像４Ａでコーナー上の点３１ａおよび点３１ｂが指定された様子を示す図である。測距装置１の使用者が、入力装置６を用いて点３１ａおよび点３１ｂのそれぞれを指定する。点３１ａおよび点３１ｂは、画像４Ａの特徴部であるので、位置補正装置２によって点３１ａおよび点３１ｂの位置情報が補正される。

図４Ｃは、コーナー上の点３１ａと点３１ｂとの間の距離が重畳表示された画像４Ａを示す図である。アプリケーション部３は、補正された点３１ａおよび点３１ｂの位置情報に基づいて、点３１ａと点３１ｂとの間の距離を算出する。
例えば、アプリケーション部３は、位置補正装置２によって補正された点３１ａおよび点３１ｂの２次元位置を、実空間における点３１ａおよび点３１ｂの３次元位置に変換して、点３１ａの３次元位置と点３１ｂの３次元位置との間の距離を算出する。
図４Ｃでは、アプリケーション部３が、表示器５に表示された画像４Ａ上に、点３１ａと点３１ｂとの間の距離である“１ｍ”を示すテキスト情報を重畳表示している。

以上のように、実施の形態１に係る位置補正装置２において、画像取得部２０が、画像を取得する。特徴抽出部２１が、画像取得部２０によって取得された画像から、複数の特徴部を抽出する。表示部２２が、特徴部を含む画像の表示処理を行う。位置取得部２３が、特徴部を含む画像上で指定された位置情報を取得する。位置補正部２４が、特徴抽出部２１によって抽出された特徴部の位置情報に基づいて、位置取得部２３によって取得された位置情報と最も近い特徴部の２次元画像上での位置情報を特定する。特に、特徴部として、画像内の点または線が抽出される。これにより、位置補正の基準となる情報がない画像であっても、位置情報を補正することができる。また、位置補正装置２によって、入力装置を用いて指定された位置情報が正しい位置に補正されるので、測距装置１による測距機能の精度を高めることができる。

実施の形態２．
図５は、この発明の実施の形態２に係る位置補正装置２Ａを備えた拡張現実（以下、ＡＲと記載する）表示装置１Ａの構成を示すブロック図である。図５において、図１と同一の構成要素には同一の符号を付して説明を省略する。
ＡＲ表示装置１Ａは、表示器５に表示された画像上にＡＲのグラフィックスを表示する装置であって、位置補正装置２Ａ、アプリケーション部３Ａおよびデータベース（以下、ＤＢと記載する）７を備える。また、ＡＲ表示装置１Ａには、カメラ４、表示器５、入力装置６およびセンサ８が接続されている。
位置補正装置２Ａは、入力装置６を用いて指定された位置情報を補正する装置であり、画像取得部２０、特徴抽出部２１Ａ、表示部２２、位置取得部２３、位置補正部２４および変換処理部２５を備える。

アプリケーション部３Ａは、カメラ４の位置および姿勢に基づいて、カメラ４によって撮影されて表示器５に表示された画像上にＡＲのグラフィックスを重畳表示する。また、アプリケーション部３Ａは、表示器５が表示する画像上で指定された位置情報と、ＤＢ７から読み出した、対応する実空間の３次元位置とに基づいて、カメラ４の位置および姿勢を算出する。
ＤＢ７には、実空間でＡＲのグラフィックスが見かけ上表示される面の３次元位置情報が格納される。

センサ８は、カメラ４によって撮影された被写体を検出するセンサであり、距離センサまたはステレオカメラで実現される。
変換処理部２５は、センサ８の検出情報に基づいて、画像取得部２０によって取得された画像を仮想的に撮影方向が変更された画像に変換する。
例えば、変換処理部２５は、センサ８の検出情報に基づいて、カメラ４によって被写体が斜め方向から撮影されたか否かを確認し、カメラ４によって被写体が斜め方向から撮影された画像を、被写体が正面から撮影された画像に変換する。
特徴抽出部２１Ａは、変換処理部２５による変換後の画像から、特徴部を抽出する。

次に動作について説明する。
図６は、実施の形態２に係る位置補正方法を示すフローチャートである。図６におけるステップＳＴ１ａ、ステップＳＴ４ａからステップＳＴ６ａまでの処理は、図２におけるステップＳＴ１、ステップＳＴ３からステップＳＴ５までの処理と同じであるので、説明を省略する。

ステップＳＴ２ａにおいて、変換処理部２５は、画像取得部２０によって取得された画像を、被写体を正面から見た画像に変換する。
図７は、事前処理の概要を示す図である。図７において、カメラ４によって撮影される被写体１００は、道路標識のように、平面部分を有した矩形状の物体である。
カメラ４が第１の位置にある場合に、被写体１００は、カメラ４によって斜め方向から撮影され、カメラ４によって撮影された画像において菱形に歪んで写る。
ＡＲ表示装置１Ａの使用者は、入力装置６を用いて、被写体１００が写った画像上で、例えば、点１０１ａ〜１０１ｄを指定することになる。

しかしながら、被写体１００が歪んで写った画像では、例えば、被写体１００のエッジが極端に短くなって特徴部としての抽出に失敗する可能性が高く、その位置も正確に算出できない可能性もある。
そこで、実施の形態２に係るＡＲ表示装置１Ａでは、変換処理部２５が、カメラ４によって斜め方向から撮影された画像を、被写体を正面から見た画像に変換する。

例えば、被写体１００が、平面部分を有した矩形状の物体である場合に、センサ８は、被写体１００の平面部分における複数箇所とカメラ４（第１の位置）との間の距離を検出する。変換処理部２５は、センサ８によって検出された距離が、被写体１００の一方向で徐々に大きくなる場合、被写体１００がカメラ４によって斜め方向から撮影されたと判定する。

被写体１００が斜め方向から撮影されたと判定すると、変換処理部２５は、被写体１００の平面部分における複数箇所とカメラ４との距離が等しくなるように画像の２次元座標を変換する。すなわち、変換処理部２５は、カメラ４に対する被写体１００の平面部分の回転度合いを変更してカメラ４の撮影方向を仮想的に変更することで、第２の位置にあるカメラ４によって被写体１００が正面から撮影されたような画像に変換する。

ステップＳＴ３ａにおいて、特徴抽出部２１Ａは、変換処理部２５によって事前処理された画像から、複数の特徴部を抽出する。例えば、特徴抽出部２１Ａは、画像の中から、複数の特徴的な点または線を抽出する。事前処理された画像は、被写体１００の歪みが解消された画像であるので、特徴抽出部２１Ａによる点または線の抽出失敗が低減されて、点または線の位置も正確に算出することが可能となる。

なお、ステップＳＴ４ａにおいて、表示部２２は、事前処理された画像を表示器５に表示してもよいが、画像取得部２０によって取得された画像をそのまま表示器５に表示してもよい。また、表示部２２は、特徴抽出部２１Ａによって抽出された特徴部の色を変えて強調してから、画像上に上記特徴部を重畳して表示器５に表示させてもよい。

また、変換処理部２５が、カメラ４によって被写体１００が正面から撮影されたような画像に変換する場合を示したが、これに限定されるものではない。
例えば、変換処理部２５は、特徴抽出部２１Ａによる特徴部の抽出および特徴部の位置算出に支障がない範囲で画像の撮影方向を仮想的に変更するので、事前処理後の画像内で被写体が多少斜めに写っている場合もあり得る。

図６に示した一連の処理が完了すると、アプリケーション部３Ａは、位置補正装置２Ａによって補正された位置情報に基づいて、ＡＲのグラフィックスの表示処理を行う。
図８は、ＡＲの表示処理の概要を示す図である。カメラ４によって撮影された画像は、表示器５の画像投影面２００に投影される。
ＡＲ表示装置１Ａの使用者は、入力装置６を用いて、画像投影面２００に投影された画像上の点２００ａ〜２００ｄを指定する。点２００ａ〜２００ｄは、位置補正装置２Ａによって位置情報が補正される。

アプリケーション部３Ａは、位置補正装置２Ａによって補正された点２００ａ〜２００ｄの位置情報に基づいて、これらのそれぞれに対応する３次元位置情報をＤＢ７から検索する。図８において、実空間内の点３００ａ〜３００ｄの３次元位置が、使用者によって指定された点２００ａ〜２００ｄの位置に対応する。

次に、アプリケーション部３Ａは、例えば、実空間の点３００ａ〜３００ｄから画像上の点２００ａ〜２００ｄへ向かうベクトル（図８中に破線で示す矢印）が収束する位置をカメラ４の位置として算出する。また、アプリケーション部３Ａは、算出したカメラ４の位置に基づいて、カメラ４の姿勢を算出する。
アプリケーション部３Ａは、カメラ４の位置および姿勢に基づいて、カメラ４によって撮影された画像上にＡＲのグラフィックスを重畳表示する。

実施の形態２では、変換処理部２５を有した位置補正装置２Ａを、ＡＲ表示装置１Ａに設けた場合を示したが、実施の形態１で示した位置補正装置２の代わりに、測距装置１に設けてもよい。このように構成することでも、特徴抽出部２１による特徴部の抽出失敗が低減され、特徴部の位置も正確に算出することが可能となる。

以上のように、実施の形態２に係る位置補正装置２Ａ、この装置の機能を有するＡＲ表示装置１Ａまたは測距装置１は、画像取得部２０によって取得された画像を、仮想的に撮影方向が変更された画像に変換する変換処理部２５を備える。特徴抽出部２１Ａは、変換処理部２５によって変換された画像から、複数の特徴部を抽出する。このように構成することで、特徴部の抽出失敗が低減され、特徴部の位置も正確に算出することが可能となる。

図９Ａは、位置補正装置２および位置補正装置２Ａの機能を実現するハードウェア構成を示すブロック図である。図９Ｂは、位置補正装置２および位置補正装置２Ａの機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。
図９Ａおよび図９Ｂにおいて、カメラ４００は、ステレオカメラ、Ｔｏｆカメラといったカメラ装置であり、図１および図５におけるカメラ４である。表示器４０１は、液晶ディスプレイ、有機ＥＬディスプレイまたはヘッドアップディスプレイといった表示装置であり、図１および図５における表示器５である。タッチパネル４０２は、図１および図５における入力装置６の一例である。距離センサ４０３は、図５におけるセンサ８の一例である。

位置補正装置２における、画像取得部２０、特徴抽出部２１、表示部２２、位置取得部２３および位置補正部２４のそれぞれの機能は、処理回路によって実現される。
すなわち、位置補正装置２は、図２に示したフローチャートのそれぞれの処理を実行するための処理回路を備える。
処理回路は、専用のハードウェアであってもよく、メモリに記憶されたプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）であってもよい。

同様に、位置補正装置２Ａにおける、画像取得部２０、特徴抽出部２１Ａ、表示部２２、位置取得部２３、位置補正部２４および変換処理部２５のそれぞれの機能は、処理回路によって実現される。
すなわち、位置補正装置２Ａは、図６に示したフローチャートのそれぞれの処理を実行するための処理回路を備える。
処理回路は、専用のハードウェアであってもよく、メモリに記憶されたプログラムを実行するＣＰＵであってもよい。

処理回路が図９Ａに示す専用のハードウェアである場合、処理回路４０４は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）またはこれらを組み合わせたものが該当する。

処理回路が図９Ｂに示すプロセッサ４０５である場合、画像取得部２０、特徴抽出部２１、表示部２２、位置取得部２３および位置補正部２４のそれぞれの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせによって実現される。

同様に、画像取得部２０、特徴抽出部２１Ａ、表示部２２、位置取得部２３、位置補正部２４および変換処理部２５のそれぞれの機能は、ソフトウェア、ファームウェアまたは、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ４０６に記憶される。

プロセッサ４０５は、メモリ４０６に記憶されたプログラムを読み出して実行することで、画像取得部２０、特徴抽出部２１、表示部２２、位置取得部２３および位置補正部２４のそれぞれの機能を実現する。
すなわち、位置補正装置２は、プロセッサ４０５によって実行されたときに、図２に示す一連の処理のそれぞれが結果的に実行されるプログラムを記憶するためのメモリ４０６を備える。
これらのプログラムは、画像取得部２０、特徴抽出部２１、表示部２２、位置取得部２３および位置補正部２４の手順または方法をコンピュータに実行させるものである。

同様に、プロセッサ４０５は、メモリ４０６に記憶されたプログラムを読み出して実行することで、画像取得部２０、特徴抽出部２１Ａ、表示部２２、位置取得部２３、位置補正部２４および変換処理部２５のそれぞれの機能を実現する。
すなわち、位置補正装置２Ａは、プロセッサ４０５によって実行されたときに、図２に示す一連の処理のそれぞれが結果的に実行されるプログラムを記憶するためのメモリ４０６を備える。
これらのプログラムは、画像取得部２０、特徴抽出部２１Ａ、表示部２２、位置取得部２３、位置補正部２４および変換処理部２５の手順または方法をコンピュータに実行させるものである。

メモリ４０６には、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

画像取得部２０、特徴抽出部２１、表示部２２、位置取得部２３および位置補正部２４のそれぞれの機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
また、画像取得部２０、特徴抽出部２１Ａ、表示部２２、位置取得部２３、位置補正部２４および変換処理部２５のそれぞれの機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。

例えば、特徴抽出部２１および表示部２２については、専用のハードウェアとしての処理回路４０４でその機能を実現する。位置取得部２３および位置補正部２４は、プロセッサ４０５が、メモリ４０６に記憶されたプログラムを実行することによってその機能を実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせによって上記機能のそれぞれを実現することができる。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

この発明に係る位置補正装置およびこの装置の機能を有する装置は、位置補正の基準となる情報がない画像であっても位置情報を補正することができるので、例えば、測距装置またはＡＲ表示装置に利用することができる。

１測距装置、１ＡＡＲ表示装置、２，２Ａ位置補正装置、３，３Ａアプリケーション部、４カメラ、４Ａ画像、５表示器、６入力装置、８センサ、２０画像取得部、２１，２１Ａ特徴抽出部、２２表示部、２３位置取得部、２４位置補正部、２５変換処理部、３０線、３１，３１ａ，３１ｂ，１０１ａ〜１０１ｄ，２００ａ〜２００ｄ，３００ａ〜３００ｄ点、１００被写体、２００画像投影面、４００カメラ、４０１表示器、４０２タッチパネル、４０３距離センサ、４０４処理回路、４０５プロセッサ、４０６メモリ。

Claims

３次元空間内の距離を算出する測距装置であって、
３次元空間が撮影された２次元画像を取得する画像取得部と、
前記画像取得部によって取得された２次元画像から、３次元空間内の複数の特徴部および２次元画像上での複数の前記特徴部の位置情報を抽出する特徴抽出部と、
前記特徴部が含まれる２次元画像の表示処理を行う表示部と、
前記特徴部が含まれる２次元画像上で入力装置により指定された位置情報を取得する位置取得部と、
前記位置取得部によって取得された位置情報より、前記特徴抽出部によって抽出された複数の前記特徴部のうち、前記位置取得部によって取得された位置情報と最も近い特徴部の２次元画像上での位置情報を特定する位置補正部と、
前記位置補正部が特定した前記特徴部の２次元画像上での位置情報を３次元位置に変換し、変換した３次元位置に基づいて２つの特徴部の間の３次元空間内の距離を算出するアプリケーション部とを備えたこと
を特徴とする測距装置。
前記画像取得部によって取得された２次元画像を、仮想的に３次元空間の撮影方向が変更された２次元画像に変換する変換処理部を備え、
前記特徴抽出部は、前記変換処理部によって変換された２次元画像から、３次元空間内の複数の特徴部および２次元画像上での複数の前記特徴部の位置情報を抽出すること
を特徴とする請求項１記載の測距装置。
前記特徴抽出部は、２次元画像における点を、３次元空間内の前記特徴部として抽出すること
を特徴とする請求項１または請求項２記載の測距装置。
前記特徴抽出部は、２次元画像における線を、３次元空間内の前記特徴部として抽出すること
を特徴とする請求項１または請求項２記載の測距装置。
３次元空間内の距離を算出する測距方法であって、
画像取得部が、３次元空間が撮影された２次元画像を取得するステップと、
特徴抽出部が、前記画像取得部によって取得された２次元画像から、３次元空間内の複数の特徴部および２次元画像上での複数の前記特徴部の位置情報を抽出するステップと、
表示部が、前記特徴部が含まれる２次元画像の表示処理を行うステップと、
位置取得部が、前記特徴部が含まれる２次元画像上で入力装置により指定された位置情報を取得するステップと、
位置補正部が、前記位置取得部によって取得された位置情報より、前記特徴抽出部によって抽出された複数の前記特徴部のうち、前記位置取得部によって取得された位置情報と最も近い特徴部の２次元画像上での位置情報を特定するステップとを備えたこと
を特徴とする測距方法。
変換処理部が、前記画像取得部によって取得された２次元画像を、仮想的に３次元空間の撮影方向が変更された２次元画像に変換するステップを備え、
前記特徴抽出部は、前記変換処理部によって変換された２次元画像から、３次元空間内の複数の特徴部および２次元画像上での複数の前記特徴部の位置情報を抽出すること
を特徴とする請求項５記載の測距方法。