JP6997369B2 - プログラム、測距方法、及び測距装置 - Google Patents

プログラム、測距方法、及び測距装置 Download PDF

Info

Publication number
JP6997369B2
JP6997369B2 JP2017036292A JP2017036292A JP6997369B2 JP 6997369 B2 JP6997369 B2 JP 6997369B2 JP 2017036292 A JP2017036292 A JP 2017036292A JP 2017036292 A JP2017036292 A JP 2017036292A JP 6997369 B2 JP6997369 B2 JP 6997369B2
Authority
JP
Japan
Prior art keywords
image
feature
bit string
pixel
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017036292A
Other languages
English (en)
Other versions
JP2018142189A (ja
Inventor
昌彦 杉村
進 遠藤
浩明 武部
孝之 馬場
祐介 上原
康貴 森脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017036292A priority Critical patent/JP6997369B2/ja
Priority to US15/899,442 priority patent/US10528844B2/en
Publication of JP2018142189A publication Critical patent/JP2018142189A/ja
Application granted granted Critical
Publication of JP6997369B2 publication Critical patent/JP6997369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures

Description

本発明は、プログラム、測距方法、及び測距装置に関する。
様々な分野で画像のマッチング技術が広く利用されるようになってきた。例えば、顔認証や生体認証の分野では、可視光カメラや赤外線カメラで撮像した画像とテンプレート画像とをマッチングする技術が利用されている。また、カメラ付き携帯端末やデジタルカメラで撮像した画像とランドマークの画像とをマッチングする技術も広く利用されている。
画像同士のマッチングには、例えば、入力画像の特徴点における特徴量(局所特徴量)と、参照画像の特徴点における局所特徴量とを比較して、入力画像の特徴点に対応する参照画像の特徴点(対応点)を探索する手法(対応点探索)が利用される。探索により発見された対応点の集合を統計処理することで入力画像中における参照画像の存在や参照画像の位置を認識することができる。
対応点探索には、例えば、SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、BRIEF(Binary Robust Independent Elementary Features)などの画像特徴量が利用される。例えば、BRIEFの特徴は、特徴点の周囲に配置される複数の画素ペアについて、画素間の輝度差に応じて決定されるビット値の集合(局所特徴量)により表現される。画素間の輝度差を利用する画像特徴量としては、例えば、ORB(Oriented Fast and Rotated BRIEF)やFREAK(Fast Retina Keypoint)などがある。
なお、対応点探索の処理負荷を低減する方法として、複数の画素ペアが配置される画像領域が複数の特徴点について重なる場合に過去に計算した輝度差の情報を再利用する方法が提案されている。また、複数のクエリ画像から算出される複数の特徴データを統合して出力する方法が提案されている。また、画像から検出される特徴のうち、エッジや線の輪郭に沿って存在する特徴を除外して絞り込むことでマッチングの処理を高速化する方法が提案されている。また、BRIEFの前処理にFAST(Features from Accelerated Segment Test)を利用して処理を高速化する方法が提案されている。
特開2016-45837号公報 特開2013-101423号公報 特開2013-109773号公報 国際公開第2011/021605号
David G.Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision, 60, 2 (2004), pp.91-110 H.Bay,T.Tuytelaars, and L.V.Gool, "SURF:Speed Up Robust Features", Proc. of Int. Conf. of ECCV, 2006 M. Calonder, V. Lepetit, C. Strecha, and P. Fua., "BRIEF: Binary Robust Independent Elementary Features.", In Proceedings of the European Conference on Computer Vision (ECCV), 2010 Alexandre Alahi, Raphael Ortiz, Pierre Vandergheynst, "FREAK: Fast Retina Keypoint", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012. E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, "ORB: An efficient alternative to SIFT or SURF", In Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2011. http://docs.opencv.org/trunk/dc/d7d/tutorial_py_brief.html
BRIEFなどのように画素間の差の符号に基づく局所特徴量を利用して対応点探索を実施する方法の場合、色や明るさの差が小さい平坦な部分や、細い線を含む部分などで誤対応の発生リスクが高くなる。
例えば、平坦な部分では照明による明暗やノイズなどの影響で画素間の差の符号が容易に変化しうる。また、細い線を含む部分では、画素ペアのうち一方の画素がたまたま細い線に乗る場合と、乗らない場合とで画素間の差の符号が変化する。このような誤対応が生じやすい不安定な特徴点を除外し、誤対応が生じ難い特徴点を選定することができれば画像認識の精度向上に寄与する。
1つの側面によれば、本発明の目的は、画素間の差異を利用する画像認識の処理に適した特徴点を選定することが可能なプログラム、測距方法、及び測距装置を提供することにある。
一態様によれば、コンピュータが、比較対象の第1の画像と第2の画像とからそれぞれ特徴点の候補を複数抽出し、第1の画像内の特徴点の組み合わせのうち特徴量の安定性が大きい組み合わせと、第2の画像内の特徴点の組み合わせのうち特徴量の安定性が大きい組み合わせとを抽出し、抽出された第1の画像について及び第2の画像についてのそれぞれの組み合わせについての特徴量をビット列で出力する処理を実行する、測距方法が提供される。
画素間の差異を利用する画像認識の処理に適した特徴点を選定することができる。
第1実施形態に係る測距装置の一例を示した図である。 第2実施形態に係る情報処理装置の機能を実現可能なハードウェアの一例を示した図である。 第2実施形態に係る情報処理装置による画像探索について説明するための図である。 画像探索の処理(参照画像の特徴量抽出)について説明するための図である。 画像探索の処理(クエリ画像の特徴量抽出)について説明するための図である。 画像探索の処理(対応点探索と投票)について説明するための図である。 画像探索の処理(最大値検出と判定)について説明するための図である。 第2実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。 画素ペアテーブルの一例を示した図である。 候補テーブルの一例を示した図である。 特徴点テーブルの一例を示した図である。 第2実施形態に係る特徴点の選択方法について説明するための図である。 第2実施形態に係る特徴点選択の処理の流れを示したフロー図である。 第2実施形態に係る特徴量抽出の処理の流れを示したフロー図である。 第2実施形態に係る画像認識の処理の流れを示した第1のフロー図である。 第2実施形態に係る画像認識の処理の流れを示した第2のフロー図である。
以下に添付図面を参照しながら、本発明の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
<1.第1実施形態>
図1を参照しながら、第1実施形態について説明する。第1実施形態は、比較対象の画像から画像認識に適した画像特徴量を抽出する方法に関する。図1は、第1実施形態に係る測距装置の一例を示した図である。なお、図1に例示した測距装置10は、第1実施形態に係る測距装置の一例である。
図1に示すように、測距装置10は、記憶部11及び演算部12を有する。
記憶部11は、RAM(Random Access Memory)などの揮発性記憶装置、或いは、HDD(Hard Disk Drive)やフラッシュメモリなどの不揮発性記憶装置である。演算部12は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などのプロセッサである。演算部12は、例えば、記憶部11又は他のメモリに記憶されたプログラムを実行する。
記憶部11は、比較対象の第1の画像21と第2の画像31とを記憶する。演算部12は、第1の画像21と第2の画像31とからそれぞれ特徴点の候補を複数抽出する。例えば、演算部12は、(A1)に示すように、特徴点の候補として、第1の画像21内に等間隔に特徴点(図中の黒丸)を配置する。また、演算部12は、(B1)に示すように、特徴点の候補として、第2の画像31内に等間隔に特徴点(図中の黒丸)を配置する。なお、特徴点の候補を配置する配置規則は図1の例に限定されない。
また、演算部12は、第1の画像21内の特徴点の組み合わせのうち特徴量の安定性が大きい組み合わせを抽出する。例えば、演算部12は、特徴点21aの周囲に画素ペア22a、22bを配置し、画素ペア22aにおける画素間の輝度差及び画素ペア22bにおける画素間の輝度差を計算する。そして、演算部12は、計算された輝度差の大きさ(例えば、絶対値)に基づいて特徴量の安定性を評価する。輝度差の絶対値が小さい場合、ペアとする画素の位置が少しずれただけでも、輝度差の符号が変化する可能性がある。すなわち安定性が低いといえる。一方で、輝度差の絶対値が大きい場合、ペアとする画素の位置が少しずれても、輝度差の符号が変化する可能性は低い。すなわち安定性が高いといえる。
演算部12は、候補として抽出された各特徴点について同様に特徴量の安定性を評価し、特徴量の安定性が大きい特徴点を選定して、特徴量の安定性が大きい組み合わせとして抽出する。
例えば、演算部12は、特徴量の安定性が大きい順に所定数の特徴点を選定する。また、演算部12は、特徴量の安定性が所定の閾値より大きい特徴点を選定してもよい。図1の例では、特徴点21aは選定から漏れ、画素ペア23a、23bに基づいて評価される特徴点21bは特徴量の安定性が大きい特徴点として選定されている。同様の方法により、演算部12は、第2の画像31内の特徴点の組み合わせのうち特徴量の安定性が大きい組み合わせを抽出する。
演算部12は、抽出された組み合わせについての特徴量をビット列で出力する。例えば、演算部12は、特徴量の安定性が大きい特徴点(図1の例では特徴点#1、#2、…)のそれぞれについて、各画素ペアに対応する輝度差の符号に基づくビット値を求め、特徴点毎にビット値を並べたビット列を出力する。
上記のビット列を利用することで、第1の画像21内の特徴点と第2の画像31内の特徴点との間で類似度を計算することができる。また、特徴点間の類似度を統計的に処理することで、第1の画像21と第2の画像31との間の類似度や位置関係などを計算することが可能になる。
上記のように、特徴量の安定性の大きさを考慮することで、平坦な部分や細い線を跨ぐように多くの画素ペアが配置される部分に位置する特徴点を除外することが可能になり、誤対応のリスクが低減される。なお、図1の例では説明の都合上、特徴点当たりの画素ペア数を2としたが、より多くの画素ペア(例えば、128個の画素ペア)が利用されうる。
また、上記の方法は、BRIEFやBRIEFの改良技術に適用可能である。その場合、輝度差の絶対値が閾値より大きい場合にビット値1、小さい場合にビット値0とする条件で複数の画素ペアを対象にバイナリベクトルを求め、そのバイナリベクトルのノルムを上記特徴量の安定性として利用することで好適な特徴点の選定が可能になる。
以上、第1実施形態について説明した。
<2.第2実施形態>
次に、第2実施形態について説明する。第2実施形態は、輝度値の差を利用した特徴量表現を採用するBRIEFなどに適した特徴点を選定することで、対応点探索における誤対応のリスクを低減する方法に関する。
[2-1.ハードウェア]
第2実施形態の方法は、例えば、図2に例示する情報処理装置100のハードウェアを利用して実現されうる。図2は、第2実施形態に係る情報処理装置の機能を実現可能なハードウェアの一例を示した図である。また、情報処理装置100が有する機能は、コンピュータプログラムを用いて図2に示すハードウェアを制御することにより実現されうる。
図2に示すように、このハードウェアは、主に、CPU902と、ROM(Read Only Memory)904と、RAM906と、ホストバス908と、ブリッジ910とを有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926とを有する。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータなどを格納する記憶装置の一例である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に変化する各種パラメータなどが一時的又は永続的に格納される。
これらの要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、タッチパッド、ボタン、スイッチ、及びレバーなどが用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラが用いられることもある。
出力部918としては、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、又はELD(Electro-Luminescence Display)などのディスプレイ装置が用いられる。また、出力部918として、スピーカやヘッドホンなどのオーディオ出力装置、又はプリンタなどが用いられることもある。つまり、出力部918は、情報を視覚的又は聴覚的に出力することが可能な装置である。
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、HDDなどの磁気記憶デバイスが用いられる。また、記憶部920として、SSD(Solid State Drive)やRAMディスクなどの半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどが用いられてもよい。
ドライブ922は、着脱可能な記録媒体であるリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどが用いられる。リムーバブル記録媒体928には、情報処理装置100の動作を制御するためのプログラムが格納されうる。
接続ポート924は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子など、外部接続機器930を接続するためのポートである。外部接続機器930としては、例えば、プリンタなどが用いられる。
通信部926は、ネットワーク932に接続するための通信デバイスである。通信部926としては、例えば、有線又は無線LAN(Local Area Network)用の通信回路、WUSB(Wireless USB)用の通信回路、光通信用の通信回路やルータ、ADSL(Asymmetric Digital Subscriber Line)用の通信回路やルータ、携帯電話ネットワーク用の通信回路などが用いられる。通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークであり、例えば、インターネット、LAN、放送網、衛星通信回線などを含む。
なお、携帯電話、スマートフォン、デジタルカメラ、パーソナルコンピュータ、アプリケーションサーバ、コンテンツマネジメントシステムなどは、情報処理装置100の一例である。また、情報処理装置100が有する機能を複数のコンピュータにより実現する変形も可能である。例えば、比較対象となる一方の画像に対する処理を端末装置で実施し、端末装置にネットワーク接続されたサーバ装置が他方の画像に対する処理及び対応点探索の処理を実施するシステムに適用することなども可能である。
図2に例示した情報処理装置100のハードウェアを利用することで、例えば、図3に示すような画像探索の機能が実現されうる。図3は、第2実施形態に係る情報処理装置による画像探索について説明するための図である。
図3に示すように、情報処理装置100は、複数の参照画像を有する。また、情報処理装置100には、複数の参照画像と照合されるクエリ画像Pqが入力される。クエリ画像Pqの入力を受け付けた情報処理装置100は、複数の参照画像とクエリ画像Pqとの間の類似度を計算し、類似度が高い参照画像(例えば、参照画像Pr)を画像探索の結果として出力する。
上記の画像探索を実施する際、情報処理装置100は、例えば、BRIEFや、BRIEFに類似するバイナリ局所特徴を利用して対応点探索の処理を実行する。以下、説明の都合上、BRIEFを適用する場合を例に説明を進める。また、情報処理装置100は、対応点探索の精度を高めるため、BRIEFなどの局所特徴に適した特徴点を抽出し、抽出された特徴点を利用して上記の画像探索を実施する。
[2-2.画像探索の例]
ここで、図4~図7を参照しながら、クエリ画像Pqと参照画像Prとを照合する場合を例に画像探索の処理について説明する。画像探索の処理は、主に、参照画像Prから特徴量を抽出する処理、クエリ画像Pqから特徴量を抽出する処理、対応点探索の処理、及び統計的手法(投票など)により両画像の類否及び位置関係を検出する処理を含む。以下、これらの処理について順次説明する。
(参照画像Prの特徴量抽出)
まず、図4を参照しながら、参照画像Prから特徴量を抽出する処理について説明する。図4は、画像探索の処理(参照画像の特徴量抽出)について説明するための図である。
まず、参照画像Pr内に複数の特徴点が配置される。特徴点の配置方法としては、例えば、等間隔に特徴点を配置する方法がある。
図4の例では、特徴点が黒丸で表現されている。参照画像Prの特徴量は、各特徴点における局所特徴量の組み合わせで表現される。局所特徴量は、各特徴点を基準とする領域(特徴領域)に配置される画素ペアの輝度差に基づいて計算される。なお、特徴領域は、例えば、特徴点を中心とし、48画素×48画素のサイズを有する矩形領域に設定される。
例えば、n番目の特徴点を基準とする特徴領域Ar(n)の局所特徴量は、特徴領域Ar(n)に配置される複数の画素ペアに対応するビット列で表現される。画素ペアの配置は予め設定されている。また、画素ペアの数(例えば、128個)は、局所特徴量を表現するビット列の長さ(例えば、128ビット)に対応する。局所特徴量を計算する際、まず、各画素ペアについて各画素の輝度が抽出される。次に、各画素ペアにおける輝度差が計算される。
なお、画素Aの輝度LAから画素Bの輝度LBを減算した値(LA-LB)を輝度差と定義する場合、画素ペアのうち、どの画素が画素Aに対応し、どの画素が画素Bに対応するかを示す対応関係は画素ペア毎に設定されている。
次に、輝度差が正値の場合にビット値が1、輝度差が負値の場合にビット値が0となる条件で、画素ペア毎にビット値が計算される。この計算により特徴領域Ar(n)の局所特徴量を表すビット列が得られる。
参照画像PrにN個の特徴点が配置されている場合、n=1,2,…,Nについて上記と同様に特徴領域Ar(n)の局所特徴量が計算される。そして、各特徴点に対応する局所特徴量の組み合わせが参照画像Prの特徴量となる。このような方法で参照画像Prの特徴量が抽出される。
(クエリ画像Pqの特徴量抽出)
次に、図5を参照しながら、クエリ画像Pqから特徴量を抽出する処理について説明する。図5は、画像探索の処理(クエリ画像の特徴量抽出)について説明するための図である。
まず、クエリ画像Pq内に複数の特徴点が配置される。特徴点の配置方法としては、例えば、等間隔に特徴点を配置する方法がある。図5の例では、特徴点が黒丸で表現されている。クエリ画像Pqの特徴量は、各特徴点における局所特徴量の組み合わせで表現される。局所特徴量は、各特徴点を基準とする領域(特徴領域)に配置される画素ペアの輝度差に基づいて計算される。なお、特徴領域は、例えば、特徴点を中心とし、48画素×48画素のサイズを有する矩形領域に設定される。
例えば、m番目の特徴点を基準とする特徴領域Aq(m)の局所特徴量は、特徴領域Aq(m)に配置される複数の画素ペアに対応するビット列で表現される。局所特徴量を計算する際、まず、各画素ペアについて各画素の輝度が抽出される。次に、各画素ペアにおける輝度差が計算される。次に、輝度差が正値の場合にビット値が1、輝度差が負値の場合にビット値が0となる条件で、画素ペア毎にビット値が計算される。この計算により特徴領域Aq(m)の局所特徴量を表すビット列が得られる。
クエリ画像PqにM個の特徴点が配置されている場合、m=1,2,…,Mについて上記と同様に特徴領域Aq(m)の局所特徴量が計算される。なお、N=Mであってもよい。そして、各特徴点に対応する局所特徴量の組み合わせがクエリ画像Pqの特徴量となる。このような方法でクエリ画像Pqの特徴量が抽出される。
(対応点探索~投票~判定)
次に、図6を参照しながら、参照画像Prとクエリ画像Pqとの間で対応する特徴点を探索する処理(対応点探索)及び対応点探索の結果に基づいて統計的手法(投票)により画像間の位置関係を特定する処理について説明する。図6は、画像探索の処理(対応点探索と投票)について説明するための図である。
一例として、参照画像Pr内にあるn番目の特徴点に対応するクエリ画像Pqの特徴点を探索する対応点探索について述べる。
参照画像Prの特徴点における局所特徴量を示すビット列は、図4に例示した方法で得られている。また、クエリ画像Pqの特徴点における局所特徴量を示すビット列は、図5に例示した方法で得られている。そのため、これら2つのビット列を利用して特徴点間の距離を計算することができる。例えば、2つのビット列を1ビットずつ比較し、異なるビットの数を上記の距離として利用できる。なお、距離が小さいほど特徴点間の類似度が大きい。
図6の例では、参照画像Pr内にあるn番目の特徴点と、クエリ画像Pq内にある各特徴点との間で上記の距離が計算され、計算された距離が最小となるクエリ画像Pq内の特徴点(特徴領域Aq(m)の特徴点)が抽出されている。対応するクエリ画像Pq内の特徴点が抽出されると、抽出された特徴点を基準に参照画像Prの中心が位置するクエリ画像Pq内の位置が推定される(中心推定)。
参照画像Pr内の各特徴点と参照画像Prの中心との位置関係(中心情報)は既知である。この位置関係を利用し、特徴領域Ar(n)と特徴領域Aq(m)とが一致すると仮定することで、参照画像Prの中心が位置するクエリ画像Pq内の位置(推定中心)が特定される。
次に、クエリ画像Pqと同じサイズで細かな枠に区切られた投票マップMPを利用して投票の処理が実行される。投票マップMPは、推定中心と判定された回数を枠毎にカウントするためのマップ情報である。
上記の中心推定は参照画像Prの各特徴点について実施され、各特徴点の推定中心に対応する投票マップMPの枠に投票(カウントアップ)が行われる。そして、中心推定及び投票を繰り返すことで、図7に示すような投票マップMPが得られる。図7は、画像探索の処理(最大値検出と判定)について説明するための図である。投票が完了すると、投票マップMPの中から投票数の最大値が検出され、予め設定されている判定用の閾値と、検出された最大値とが比較される。
最大値が閾値より大きい場合、クエリ画像Pqに類似する参照画像Prの検出に成功したと判定される。一方、最大値が閾値より小さい場合、クエリ画像Pqに類似する参照画像Prの検出に失敗したと判定される。
なお、最大値と閾値とが同じ場合、例えば、検出成功と判定される。検出に成功した場合、検出結果として、クエリ画像Pqに類似する参照画像Prが出力される。一方、検出に失敗した場合、検出結果として、何も出力されないか、或いは、失敗を示すエラー情報などが出力される。
以上説明した方法により、クエリ画像Pqに類似する参照画像Prを探索することができる。但し、上記の例では、参照画像Pr及びクエリ画像Pqに設定される全ての特徴点の組み合わせについて処理が発生するため、処理負荷が高い。
また、各画素ペアの輝度差を利用して局所特徴を表現することから、画像内の平坦な部分ではノイズや照明の影響により特徴量が変化しやすい。また、細い線を含む部分では、画素ペアの配置により局所特徴が大きく変化する可能性がある。このような部分に特徴点が配置されていると誤対応のリスクが高まる。
BRIEFの前処理としてエッジ抽出やコーナー検出FASTを利用し、対応点探索に利用する特徴点を絞り込む方法もあるが、これらの方法は処理負荷の低減に寄与するものの、必ずしもBRIEFに適した特徴点が抽出されるわけではない。そのため、エッジ抽出やコーナー検出FASTなどの前処理を実施しても、上述した誤対応のリスクが低減されない。一方、第2実施形態に係る情報処理装置100は、BRIEFや、BRIEFと類似のバイナリ局所特徴に適した特徴点を抽出する機能を提供する。
[2-3.情報処理装置の機能]
情報処理装置100は、図8に示すような機能を有する。図8は、第2実施形態に係る情報処理装置が有する機能の一例を示したブロック図である。
図8に示すように、情報処理装置100は、記憶部101、特徴点選択部102、特徴量抽出部103、及び画像認識部104を有する。
記憶部101の機能は、上述したRAM906や記憶部920などを用いて実現できる。特徴点選択部102、特徴量抽出部103、及び画像認識部104の機能は、上述したCPU902などを用いて実現できる。
記憶部101には、画素ペアテーブル101aの情報、画像情報101b、候補テーブル101cの情報、及び特徴点テーブル101dの情報が格納される。なお、表記の都合上、図中ではテーブルをTBLと表記する場合がある。
画素ペアテーブル101aは、特徴領域に配置される画素ペアの位置を示す情報である。例えば、画素ペアテーブル101aには、図9に示すような情報が含まれる。図9は、画素ペアテーブルの一例を示した図である。
図9に例示した画素ペアテーブル101aには、局所特徴量のビット列におけるビット位置kと、画素ペアをなす2つの画素(画素A、画素B)の座標とを対応付ける情報が含まれる。なお、画素Aの輝度LAから画素Bの輝度LBを減算した値(LA-LB)が画素ペアの輝度差となる。
画像情報101bは、画像データの情報である。例えば、記憶部101には、画像情報101bとして、画像Pic#1、#2、…の画像データが格納される。なお、これまでは、説明の都合上、参照画像Prとクエリ画像Pqとを区別して説明してきたが、以下では、画像Pic#1、#2、…からクエリ画像が指定され、クエリ画像以外の画像が参照画像として参照される場合を例に説明を進める。
候補テーブル101cは、BRIEFなどの特徴量表現に適した特徴点を選択する際に利用される各特徴点に関する情報を格納するためのテーブルである。例えば、候補テーブル101cには、図10に示すような情報が含まれる。図10は、候補テーブルの一例を示した図である。
図10に例示した候補テーブル101cには、特徴点を識別するためのインデックスn、特徴点の座標、特徴点の選択に利用される絶対値ベクトル及び絶対値ベクトルのノルムが格納される。
なお、候補テーブル101cは、画像Pic#1、#2、…のそれぞれについて生成される。また、絶対値ベクトル及びノルムの計算方法については後述する。
特徴点テーブル101dは、選択された特徴点の特徴量に関する情報である。例えば、特徴点テーブル101dには、図11に示すような情報が含まれる。図11は、特徴点テーブルの一例を示した図である。
図11に例示した特徴点テーブル101dには、選択された特徴点を識別するための識別情報fと、特徴点の座標と、特徴点の局所特徴量とを対応付ける情報が含まれる。なお、特徴点テーブル101dは、画像Pic#1、#2、…のそれぞれについて生成される。
再び図8を参照する。特徴点選択部102は、画像情報101bに含まれる画像Pic#1、#2、…のそれぞれについて、BRIEFなどの特徴量表現に適した特徴点を選択する。特徴量抽出部103は、特徴点選択部102により選択された特徴点の局所特徴量を抽出する。
画像認識部104は、特徴点選択部102により抽出された各特徴点の局所特徴量を用いてクエリ画像に類似する画像を特定し、特定した画像を画像認識の結果として出力する。クエリ画像に類似する画像は、図6及び図7に例示した対応点探索や投票などの処理により特定することができる。
(特徴点の選択方法)
ここで、図12を参照しながら、特徴点選択部102による特徴点の選択方法について、さらに説明する。図12は、第2実施形態に係る特徴点の選択方法について説明するための図である。
画像Pic#iの特徴点を選択する場合、特徴点選択部102は、特徴点の候補として、画像Pic#i内に等間隔で特徴点を配置する。例えば、N個の特徴点が特徴点の候補として配置される。特徴点選択部102は、画素ペアテーブル101aを参照し、特徴点の特徴領域Ai(n)(n=1,2,…,N)に複数の画素ペアを配置する。また、特徴点選択部102は、各画素ペアをなす各画素の輝度を抽出し、各画素ペアの輝度差の絶対値を計算する。
また、特徴点選択部102は、計算した絶対値が閾値以上の場合にビット値1、計算した絶対値が閾値未満の場合にビット値0とする条件で、複数の画素ペアに対応するビット列を生成する。そして、特徴点選択部102は、生成したビット列を絶対値ベクトルに決定し、絶対値ベクトルを候補テーブル101cに登録する。さらに、特徴点選択部102は、絶対値ベクトルのノルムを計算して候補テーブル101cに登録する。
なお、ノルムは、絶対値ベクトルの大きさを表し、絶対値ベクトルに含まれる1の数で与えられる。
特徴点選択部102は、特徴点の候補から、ノルムの大きさに基づいて特徴点を選択する。例えば、特徴点選択部102は、ノルムが閾値以上となる特徴点を選択する(閾値判定方式)。なお、特徴点選択部102は、ノルムが大きい順に所定数の特徴点を選択してもよい(上位選択方式)。このような方法で特徴点を選択することにより、図12に示すように、平坦な部分などに配置される特徴点が除外され、BRIEFなどの特徴表現に適した特徴点が選択される。
なお、上記の絶対値と比較される閾値、及び、上記のノルムと比較される閾値は、例えば、サンプルデータを用いたシミュレーションにより所望の画像検索精度が得られるような値に予め設定される。また、上位選択方式で選択される特徴点の数(所定数)は、シミュレーションなどにより所望の画像検索精度が得られるN未満の数に設定される。
[2-4.処理の流れ]
次に、情報処理装置100により実行される処理の流れについて説明する。
(特徴点選択)
まず、図13を参照しながら、特徴点選択の処理について説明する。図13は、第2実施形態に係る特徴点選択の処理の流れを示したフロー図である。なお、図13に示す特徴点選択の処理は、画像情報101bに含まれる各画像について実行される。但し、説明の都合上、ここでは画像Pic#iに対する処理について説明する。
(S101、S109)特徴点選択部102は、特徴点の候補として、画像Pic#i内にN個の特徴点を等間隔に配置する。そして、特徴点選択部102は、インデックスnを1つずつ増加させながら、S101とS109との間にある処理(特徴点毎の処理)を繰り返し実行する。N番目の特徴点に対する当該特徴点毎の処理が完了すると、処理はS110へと進む。
(S102、S107)特徴点選択部102は、画素ペアテーブル101aを参照し、n番目の特徴点を基準に設定される特徴領域Ai(n)に所定数(この例では128個)の画素ペアを配置する。そして、特徴点選択部102は、インデックスkを1つずつ増加させながら、S102とS107との間にある処理(画素ペア毎の処理)を繰り返し実行する。128番目の画素ペアに対する当該画素ペア毎の処理が完了すると、処理はS108へと進む。
(S103)特徴点選択部102は、k番目の画素ペアについて各画素の輝度値を取得し、輝度差の絶対値を計算する。
(S104)特徴点選択部102は、S103で計算した絶対値が閾値TH1以上であるか否かを判定する。閾値TH1は、例えば、サンプルデータを用いたシミュレーションなどを実施し、BRIEFなどの特徴表現に適した特徴点が選択されるように予め設定される。絶対値≧閾値TH1である場合、処理はS105へと進む。一方、絶対値≧閾値TH1でない場合、処理はS106へと進む。
(S105)特徴点選択部102は、絶対値ベクトルのkビット目を1に決定する。S105の処理が完了すると、処理はS107へと進む。
(S106)特徴点選択部102は、絶対値ベクトルのkビット目を0に決定する。
(S108)特徴点選択部102は、絶対値ベクトルのノルムを計算する。なお、絶対値ベクトルのノルムは、絶対値ベクトルの大きさを表す。例えば、絶対値ベクトルのノルムは、絶対値ベクトルに含まれる1の数で表現される。特徴点選択部102は、絶対値ベクトル及びノルムを候補テーブル101cに登録する。
上記のように、輝度差の絶対値が閾値TH1以上の画素ペアに対応する絶対値ベクトルのビットが1に決定される。そのため、絶対値ベクトルのノルムは、輝度差の絶対値が大きい画素ペアの数に相当する。特徴領域Ai(n)が平坦な画像部分である場合や細い線を含む画像部分である場合、輝度差の絶対値が小さい画素ペアを多く含むことになる。このような画像部分に対応する特徴領域Ai(n)から得られる絶対値ベクトルのノルムは小さくなる。つまり、絶対値ベクトルのノルムは、特徴領域Ai(n)がBRIEFなどの特徴表現に適しているか否かを評価するための基準として利用できる。
(S110)特徴点選択部102は、候補テーブル101cに登録されているノルムに基づいて特徴点を選択する。
例えば、閾値判定方式を採用する場合、特徴点選択部102は、ノルムが閾値TH2以上の特徴点を選択する。なお、閾値TH2は、例えば、サンプルデータを用いたシミュレーションなどを実施し、BRIEFなどの特徴表現に適した特徴点が選択されるように予め設定される。他方、上位選択方式を採用する場合、特徴点選択部102は、ノルムが大きい順に所定数(例えば、N/2個など)の特徴点を選択する。
特徴点選択部102は、選択した特徴点の情報(識別情報f及び座標;図11を参照)を特徴点テーブル101dに登録する。なお、この段階では、特徴点テーブル101dの局所特徴量が未登録の状態である。S110の処理が完了すると、図13に示した一連の処理は終了する。
(特徴量抽出)
次に、図14を参照しながら、特徴量抽出の処理について説明する。図14は、第2実施形態に係る特徴量抽出の処理の流れを示したフロー図である。なお、図14に示す特徴量抽出の処理は、画像情報101bに含まれる各画像について実行される。但し、説明の都合上、ここでは画像Pic#iに対する処理について説明する。また、特徴点選択部102により画像Pic#iからF個の特徴点が選択されているとする。
(S121、S128)特徴量抽出部103は、インデックスfを1つずつ増加させながら、S121とS128との間にある処理(特徴点毎の処理)を繰り返し実行する。なお、インデックスfは、特徴点選択部102により選択された特徴点(選択特徴点)を識別するための識別情報である。
処理がS128へ達すると、特徴量抽出部103は、局所特徴量として、後述する特徴量ベクトルを特徴点テーブル101dに登録する。また、F番目の特徴点に対する上記特徴点毎の処理が完了すると、図14に示した一連の処理は終了する。
(S122、S127)特徴量抽出部103は、画素ペアテーブル101aを参照し、f番目の選択特徴点を基準に設定される特徴領域に所定数(この例では128個)の画素ペアを配置する。そして、特徴量抽出部103は、インデックスkを1つずつ増加させながら、S122とS127との間にある処理(画素ペア毎の処理)を繰り返し実行する。
128番目の画素ペアに対する当該画素ペア毎の処理が完了すると、処理はS128へと進む。
(S123)特徴量抽出部103は、k番目の画素ペアについて各画素の輝度値を取得し、輝度値の差(輝度差)を計算する。なお、特徴点選択部102による特徴点選択の際に計算された輝度差を記憶部101に保持しておき、記憶部101に保持されている輝度差を特徴量抽出部103が再利用してもよい。
(S124)特徴量抽出部103は、輝度値の差が正値であるか否かを判定する。輝度値の差が正値の場合、処理はS125へと進む。一方、輝度値の差が負値の場合、処理はS126へと進む。なお、この例では、輝度値の差が0の場合に処理がS125へと進むとする。
(S125)特徴量抽出部103は、特徴量ベクトルのkビット目を1に決定する。S125の処理が完了すると、処理はS127へと進む。
(S126)特徴量抽出部103は、特徴量ベクトルのkビット目を0に決定する。
上記のように、特徴量抽出の処理として、F個(F≦N)の選択特徴点を対象に特徴量ベクトルの計算が実施される。
(画像認識)
次に、図15及び図16を参照しながら、画像認識の処理について説明する。図15は、第2実施形態に係る画像認識の処理の流れを示した第1のフロー図である。図16は、第2実施形態に係る画像認識の処理の流れを示した第2のフロー図である。
(S131)画像認識部104は、クエリ画像の指定を受け付ける。なお、ここでは画像情報101bに含まれる画像Pic#1、#2、…の中からクエリ画像が指定され、他の画像と照合されるケースを例に説明するが、外部機器(カメラやスマートフォンなど)から有線又は無線の通信を介してクエリ画像が入力されてもよい。
(S132)画像認識部104は、選択画像として、画像情報101bからクエリ画像以外の画像を選択する。
(S133、S138)画像認識部104は、特徴点テーブル101dからクエリ画像におけるf1番目(f1=1,…,F)の特徴点(特徴点f1)に関する情報を取得する。そして、画像認識部104は、インデックスf1を1つずつ増加させながら、S133とS138との間にある処理(特徴点f1毎の処理)を繰り返し実行する。F番目の特徴点に対する上記特徴点f1毎の処理が完了すると、処理はS139へと進む。
(S134、S136)画像認識部104は、特徴点テーブル101dから選択画像におけるf2番目(f2=1,…,F)の特徴点(特徴点f2)に関する情報を取得する。そして、画像認識部104は、インデックスf2を1つずつ増加させながら、S134とS136との間にある処理(特徴点f2毎の処理)を繰り返し実行する。F番目の特徴点に対する上記特徴点f2毎の処理が完了すると、処理はS137へと進む。
(S135)画像認識部104は、特徴点テーブル101dから特徴点f1、f2の局所特徴量を取得する。また、画像認識部104は、特徴点f1の局所特徴量と、特徴点f2の局所特徴量とに基づいて特徴点f1、f2間の類似度を計算する。例えば、画像認識部104は、特徴点f1の局所特徴量を表すビット列と、特徴点f2の局所特徴量を表すビット列とをビット毎に比較する。そして、画像認識部104は、値が異なるビットの数(距離)の逆数又は値が同じビットの数を類似度として計算する。
(S137)画像認識部104は、類似度が最大になる選択画像の特徴点f2を特定する。そして、画像認識部104は、特定された選択画像の特徴点f2と、クエリ画像の特徴点f1とのペアを特徴点ペアに決定する。
(S139)画像認識部104は、画像中心と各特徴点との位置関係から、各特徴点ペアについて投票位置(推定中心)を特定する(図6を参照)。
(S140)画像認識部104は、各特徴点ペアの推定中心に対応する投票マップMPの枠に投票する。つまり、画像認識部104は、各特徴点ペアに対応する推定中心について、投票マップMPの該当枠に対応するカウンタをインクリメントする。
(S141)画像認識部104は、投票マップMPの各枠に対する投票数を参照し、最大投票数、及び最大投票数に対応する枠を特定する(図7を参照)。
(S142)画像認識部104は、最大投票数が閾値TH3以上であるか否かを判定する。なお、閾値TH3は、例えば、サンプルデータを用いたシミュレーションなどを実施し、類似する画像が所望の確率で正しく認識されるように予め設定される。最大投票数≧閾値TH3である場合、処理はS143へと進む。一方、最大投票数≧閾値TH3でない場合、処理はS144へと進む。
(S143)画像認識部104は、選択画像とクエリ画像とが類似すると判定する。
(S144)画像認識部104は、画像情報101bにあるクエリ画像以外の全ての画像を選択し終えたか否かを判定する。画像を選択し終えた場合、処理はS145へと進む。一方、未選択の画像がある場合、処理はS132へと進む。
(S145)画像認識部104は、画像認識の結果として、クエリ画像に類似すると判定された選択画像を出力する。但し、クエリ画像に類似すると判定された選択画像がない場合、画像認識部104は、クエリ画像に類似する画像がない旨の情報、又は画像認識の失敗を示す情報を出力する。S145の処理が完了すると、図16に示した一連の処理は終了する。
以上、第2実施形態について説明した。
上記のように、画像内に配置される特徴点をBRIEFなどの特徴表現に適した特徴点に絞り込むことで誤対応のリスクを低減することができる。また、特徴点の数が減る分だけ処理負荷が低減される。その結果、上述した第2実施形態の技術を適用することで、高速に精度の高い画像認識を実現することが可能になる。
(変形例)
なお、上記の説明においては、一例として、特徴点の候補として画像内に特徴点を等間隔に配置する方法を紹介したが、候補となる特徴点の配置はこれに限定されない。例えば、特徴点の候補として画像内に特徴点をランダムに配置する方法や、エッジ抽出やコーナー検出FASTにより選択された特徴点の組を特徴点の候補として利用する方法なども変形例として採用しうる。
また、上記の説明では、絶対値ベクトルの長さと特徴量ベクトルの長さとを同じビット数に設定する例を紹介したが、絶対値ベクトルの長さを特徴量ベクトルの長さより短く設定する変形が可能である。例えば、絶対値ベクトルの生成時に、画素ペアテーブル101aに登録されている画素ペアの一部(半分など)を利用することで、短い絶対値ベクトルによる特徴点の選択が可能になる。この変形を適用すると、特徴点の選択にかかる処理負荷を低減することができる。
また、上記の説明では、画像情報101bに含まれる画像Pic#1、#2、…そのものを対象にクエリ画像との間で画像認識を実施する例を紹介したが、画像Pic#1、#2、…のサイズを拡大及び縮小することでサイズの変化を考慮することができる。拡大及び縮小の処理を導入することで、サイズの異なる画像を記憶部101に予め格納せずに済む分だけ記憶領域を有効に利用することが可能になる。
上記のような変形例も当然に第2実施形態の技術的範囲に属する。
10 測距装置
11 記憶部
12 演算部
21 第1の画像
21a、21b 特徴点
22a、22b、23a、23b 画素ペア
31 第2の画像

Claims (6)

  1. コンピュータに、
    それぞれ画素ペアを複数含む特徴領域を、比較対象の第1の画像と第2の画像とからそれぞれ複数抽出し、
    前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
    記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが所定の閾値より大きい第1の特徴領域の組み合わせを抽出し、
    記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが前記所定の閾値より大きい第2の特徴領域の組み合わせを抽出し、
    抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する
    処理を実行させる、プログラム。
  2. 前記第1の画像内の前記第1の特徴領域についての前記第2のビット列と、前記第2の画像内の前記第2の特徴領域についての前記第2のビット列との間の距離に基づいて前記第1の画像内の前記第1の特徴領域と前記第2の画像内の前記第2の特徴領域との間の対応関係を特定する
    処理を実行させる、請求項1に記載のプログラム。
  3. 対応する前記第1の画像内の前記第1の特徴領域と前記第2の画像内の前記第2の特徴領域との位置関係に基づいて前記第1の画像と前記第2の画像との類似度を判定する
    処理を実行させる、請求項2に記載のプログラム。
  4. コンピュータに、
    それぞれ画素ペアを複数含む特徴領域を、比較対象の第1の画像と第2の画像とからそれぞれ複数抽出し、
    前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
    記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが大きい順に所定数選択された第1の特徴領域の組み合わせを抽出し、
    記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが大きい順に前記所定数選択された第2の特徴領域の組み合わせを抽出し、
    抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する
    処理を実行させる、プログラム。
  5. コンピュータが、
    それぞれ画素ペアを複数含む特徴領域を、比較対象の第1の画像と第2の画像とからそれぞれ複数抽出し、
    前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
    記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが所定の閾値より大きい第1の特徴領域の組み合わせを抽出し、
    記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが前記所定の閾値より大きい第2の特徴領域の組み合わせを抽出し、
    抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する
    処理を実行する、測距方法。
  6. 比較対象の第1の画像と第2の画像とを記憶する記憶部と、
    それぞれ画素ペアを複数含む特徴領域を、前記第1の画像と前記第2の画像とからそれぞれ複数抽出し、
    前記第1の画像内及び前記第2の画像内の前記特徴領域のそれぞれについて、前記特徴領域に含まれる各画素ペアについての画素ペア間の画素値の差分に基づいて各画素ペアのビット値が設定された第1のビット列を生成し、
    記第1の画像内の前記各特徴領域の中から、前記第1の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが所定の閾値より大きい第1の特徴領域の組み合わせを抽出し、
    記第2の画像内の前記各特徴領域の中から、前記第2の画像内の前記各特徴領域に対応する前記第1のビット列が示すベクトルの大きさが前記所定の閾値より大きい第2の特徴領域の組み合わせを抽出し、
    抽出された前記第1の特徴領域及び前記第2の特徴領域のそれぞれについての特徴量を第2のビット列で出力する演算部と
    を有する、測距装置。
JP2017036292A 2017-02-28 2017-02-28 プログラム、測距方法、及び測距装置 Active JP6997369B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017036292A JP6997369B2 (ja) 2017-02-28 2017-02-28 プログラム、測距方法、及び測距装置
US15/899,442 US10528844B2 (en) 2017-02-28 2018-02-20 Method and apparatus for distance measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017036292A JP6997369B2 (ja) 2017-02-28 2017-02-28 プログラム、測距方法、及び測距装置

Publications (2)

Publication Number Publication Date
JP2018142189A JP2018142189A (ja) 2018-09-13
JP6997369B2 true JP6997369B2 (ja) 2022-02-04

Family

ID=63246333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017036292A Active JP6997369B2 (ja) 2017-02-28 2017-02-28 プログラム、測距方法、及び測距装置

Country Status (2)

Country Link
US (1) US10528844B2 (ja)
JP (1) JP6997369B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056312A1 (ja) * 2015-10-02 2017-04-06 富士通株式会社 画像処理プログラムおよび画像処理装置
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
WO2021108626A1 (en) 2019-11-27 2021-06-03 Compound Eye Inc. System and method for correspondence map determination
WO2021150784A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for camera calibration
WO2021150779A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation
JP2022143412A (ja) * 2021-03-17 2022-10-03 株式会社東芝 画像処理装置および画像処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275711A1 (en) 2011-04-28 2012-11-01 Sony Corporation Image processing device, image processing method, and program
JP2014190700A (ja) 2013-03-26 2014-10-06 Fujifilm Corp 目視照合支援装置およびその制御方法
JP2015118644A (ja) 2013-12-20 2015-06-25 富士通株式会社 情報処理装置、画像探索方法、及びプログラム
JP2015225353A (ja) 2014-05-26 2015-12-14 富士通株式会社 画像処理装置、画像判断方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US20100092093A1 (en) 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8533162B2 (en) 2009-08-18 2013-09-10 Osaka Prefecture University Public Corporation Method for detecting object
JP2013101423A (ja) 2011-11-07 2013-05-23 Nippon Telegr & Teleph Corp <Ntt> 画像マッチング装置及び画像マッチングプログラム
JP2013109773A (ja) 2013-01-07 2013-06-06 Olympus Corp 特徴マッチング方法及び商品認識システム
JP6365117B2 (ja) 2014-08-26 2018-08-01 富士通株式会社 情報処理装置、画像判定方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275711A1 (en) 2011-04-28 2012-11-01 Sony Corporation Image processing device, image processing method, and program
JP2014190700A (ja) 2013-03-26 2014-10-06 Fujifilm Corp 目視照合支援装置およびその制御方法
JP2015118644A (ja) 2013-12-20 2015-06-25 富士通株式会社 情報処理装置、画像探索方法、及びプログラム
JP2015225353A (ja) 2014-05-26 2015-12-14 富士通株式会社 画像処理装置、画像判断方法、及びプログラム

Also Published As

Publication number Publication date
JP2018142189A (ja) 2018-09-13
US20180247152A1 (en) 2018-08-30
US10528844B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
JP6997369B2 (ja) プログラム、測距方法、及び測距装置
US10936911B2 (en) Logo detection
WO2020125216A1 (zh) 一种行人重识别方法、装置、电子设备及计算机可读存储介质
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
US8483440B2 (en) Methods and systems for verifying automatic license plate recognition results
US20140226906A1 (en) Image matching method and apparatus
US9626552B2 (en) Calculating facial image similarity
US10438083B1 (en) Method and system for processing candidate strings generated by an optical character recognition process
WO2023010758A1 (zh) 一种动作检测方法、装置、终端设备和存储介质
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN105069457B (zh) 图像识别方法和装置
KR102167011B1 (ko) 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법
JP2017062778A (ja) 画像のオブジェクトを分類するための方法およびデバイスならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
WO2023124278A1 (zh) 图像处理模型的训练方法、图像分类方法及装置
WO2015136709A1 (ja) 画像処理装置、画像センサ、画像処理方法
WO2019100348A1 (zh) 图像检索方法和装置以及图像库的生成方法和装置
WO2018121414A1 (zh) 电子设备、目标图像识别方法及装置
JP5500404B1 (ja) 画像処理装置及びそのプログラム
WO2023060575A1 (zh) 图像识别方法、装置、电子设备及存储介质
US10810468B2 (en) System for training descriptor with active sample selection
KR102027786B1 (ko) 다수의 얼굴 이미지를 동시에 사용하는 얼굴 인식 및 인증 방법 및 시스템
CN108122011B (zh) 基于多种不变性混合的目标跟踪方法和系统
CN111612063A (zh) 一种图像匹配方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R150 Certificate of patent or registration of utility model

Ref document number: 6997369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150