JP6883767B2 - 変位計測装置および変位計測方法 - Google Patents

変位計測装置および変位計測方法 Download PDF

Info

Publication number
JP6883767B2
JP6883767B2 JP2019502444A JP2019502444A JP6883767B2 JP 6883767 B2 JP6883767 B2 JP 6883767B2 JP 2019502444 A JP2019502444 A JP 2019502444A JP 2019502444 A JP2019502444 A JP 2019502444A JP 6883767 B2 JP6883767 B2 JP 6883767B2
Authority
JP
Japan
Prior art keywords
displacement
area
measurement target
measuring device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502444A
Other languages
English (en)
Other versions
JPWO2018158994A1 (ja
Inventor
晃浩 野田
晃浩 野田
日下 博也
博也 日下
今川 太郎
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018158994A1 publication Critical patent/JPWO2018158994A1/ja
Application granted granted Critical
Publication of JP6883767B2 publication Critical patent/JP6883767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Description

本開示は、計測対象の変位を計測する変位計測装置および変位計測方法に関する。
特許文献1には、軸重計測装置が開示されている。この軸重計測装置は、試験車両の車両ナンバー、既知の軸重、および既知の総重量を、既知データとして予め記憶し、さらに、軸重の誤差の許容範囲および総重量の誤差の許容範囲を、計測精度の判定に用いる判定用データとして予め記憶している。軸重計測装置は、走行する車両のナンバープレートを撮像カメラで撮像して車両ナンバーを読み取って試験車両を識別し、識別した試験車両について、荷重センサに基づいて、計測された軸重と既知の軸重との誤差、および、計測された総重量と既知の総重量との誤差をそれぞれ算出する。そして、軸重計測装置は、誤差が許容範囲内であるか否かによって計測精度を判定する。
特開2013−7624号公報
本開示は、計測対象が撮像された撮像画像から、荷重物による計測対象の変位を高精度に計測する変位計測装置および変位計測方法を提供する。
本開示の一態様に係る変位計測装置は、計測対象と、計測対象に接触位置において接触している荷重物とが撮像された撮像画像を用いて、荷重物による計測対象の変位を計測する変位計測装置であって、エリア設定部と、変位算出部とを備える。エリア設定部は、撮像画像を生成する撮像装置と接触位置との距離を示す距離情報を用いて、撮像画像における検出エリアの大きさを設定する。変位算出部は、撮像画像のうち検出エリア内の画像のみを用いて、変位を算出する。
本開示の一態様に係る変位計測方法は、計測対象と、計測対象に接触位置において接触している荷重物とが撮像された撮像画像を用いて、荷重物による計測対象の変位を計測する変位計測方法であって、エリア設定ステップと、変位算出ステップとを備える。エリア設定ステップは、撮像画像を生成する撮像装置と接触位置との距離を示す距離情報を用いて、撮像画像における検出エリアの大きさを設定するステップである。変位算出ステップは、撮像画像のうち検出エリア内の画像のみを用いて、変位を算出するステップである。
上記本開示に係る変位計測装置および変位計測方法によれば、計測対象が撮像された撮像画像から、荷重物による計測対象の変位を高精度に計測することができる。
図1は、変位を計測する様子の一例を模式的に示す外観図である。 図2は、実施の形態1に係る変位計測装置の構成を示すブロック図である。 図3は、空間情報を説明する図である。 図4は、変位計測装置の動作を示すフローチャートである。 図5は、エリア設定部の動作を示すフローチャートである。 図6Aは、エリア設定の一例を示す模式図である。 図6Bは、エリア設定の他の一例を示す模式図である。 図7は、撮像画像におけるノイズを説明する図である。 図8は、ノイズとエリアサイズの関係を説明する図である。 図9は、変位検出の感度とエリアサイズの関係を説明する図である。 図10は、エリアサイズとSN比の関係を説明する図である。 図11Aは、撮像装置とタイヤの位置関係を説明する図である。 図11Bは、撮像装置とタイヤの位置関係を説明する図である。 図12Aは、図11Aの状態でタイヤが撮像された撮像画像を示す図である。 図12Bは、図11Bの状態でタイヤが撮像された撮像画像を示す図である。 図13は、実施の形態2に係る変位計測装置の構成を示すブロック図である。 図14は、変位と接触位置からの距離の関係を説明する図である。
実施の形態の一態様に係る変位計測装置は、計測対象と、計測対象に接触位置において接触している荷重物とが撮像された撮像画像を用いて、荷重物による計測対象の変位を計測する変位計測装置であって、エリア設定部と、変位算出部とを備える。エリア設定部は、撮像画像を生成する撮像装置と接触位置との距離を示す距離情報を用いて、撮像画像における検出エリアの大きさを設定する。変位算出部は、撮像画像のうち検出エリア内の画像のみを用いて、変位を算出する。
(発明の基礎となった知見)
計測対象の動きを検出するために、複数の撮像画像を用いてテンプレートマッチングやモアレ法などにより計測対象の変位を推定することができる。ここで、テンプレートである画像のピクセル数が大きい程、変位の推定精度が向上する。
一方、たわみのように一様に分布していない変位を検出する場合、撮像画像において、変位を検出するエリアを大きくしすぎると、変位が発生していない領域をそのエリア内に多く含むことになる。これにより、マッチングする際に変位していない部分に合わせこむ力が強くなる。そのため、変位を小さく検出してしまう恐れがある。
また、計測対象と撮像装置との空間的な位置関係によって、撮像画像内の各ピクセルにおいて1ピクセル当たりの実際の長さは異なる。
そこで、上記のトレードオフを考慮した、最適な変位計測装置およびその方法を検討した。
以下、本開示の一態様に係る変位計測装置の具体例について説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
(実施の形態1)
ここでは、本開示の一態様として、一般車両の走行路に設置され、通過する車両の荷重による走行路の変位を計測する変位計測システムについて説明する。
[1−1.構成]
[1−1−1.変位検出装置]
図1は、本開示の実施の形態1に係る変位を計測する様子の一例を模式的に示す外観図である。
図1に示すように、変位計測システム1は、撮像装置100と変位計測装置200とで構成される。ここで、走行路130の路面131は計測対象であり、車両120は荷重物である。路面131は、車両120のタイヤ121から荷重を受け、変位する。
ここでは、例えば、変位計測装置200は、車両120が走行する走行路130を撮像する撮像装置100に接続される。そして、撮像装置100が生成した複数の撮像画像は、変位計測装置200に入力される。撮像画像の入力は、無線又は有線による通信、もしくは、記録媒体を介して行われる。変位計測装置200は、入力された撮像画像を用いて、計測対象である路面131の変位を計測する。
図2は、本開示の実施の形態1に係る変位計測装置200の構成を示すブロック図である。
図2に示されるとおり、変位計測装置200は、入出力I/F210と、制御部220と、空間情報取得部230と、位置検出部240と、エリア設定部250と、変位算出部260と、メモリ270とを備える。
変位計測装置200は、例えば、メモリ270に記憶されたプログラムをCPU(Central Processing Unit)などのマイクロプロセッサが実行することによって実現される。
入出力I/F210は、撮像装置100によって生成された撮像画像の入力を受け付ける。例えば、入出力I/F210は、4096×2160ピクセルのデジタル画像の入力を受け付ける。入出力I/F210は、受付けた撮像画像を制御部220に出力する。
制御部220は、各部の動作を制御する。制御部220は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。
空間情報取得部230は、車両120が撮像されていない撮像画像を用いて、路面131の空間情報を取得する。
図3は、空間情報を説明する図である。図3に示すように、空間情報取得部230は、メモリ270に格納されている撮像装置100の撮像素子101の路面131に対する高さ(h)、画角、撮像素子101の路面131に対する角度(α)などを示す設置情報を用いる。つまり、角度(α)は、路面131に対する撮像装置100の撮影角度である。そして、空間情報取得部230は、路面131の各点が撮像画像のどの点に投影されているかを算出し、空間情報を算出する。ここで、空間情報取得部230は、路面131の各点が仮想的な投影面102のどの点に投影されているかを算出することにより、空間情報を算出してもよい。
空間情報は、撮像装置100と撮像画像に投影された路面131との位置関係を示す情報である。すなわち、空間情報は、撮像装置100と、路面131と車両102との接触位置との距離を示す距離情報を含む。また、距離情報は、上記の設置情報に基づき定められてもよい。すなわち、距離情報は、路面131に対する撮像装置100の高さ、および、路面131に対する撮像装置100の撮影角度に基づき定められてもよい。より詳細には、路面131に対する撮像装置100の高さ、および、路面131に対する撮像装置100の撮影角度に基づき定められる撮像装置100と路面131との幾何学に基づいて、距離情報は定められてもよい。空間情報は、撮像画像における各点の1ピクセル当たりの実際の長さが異なることを補正するために用いられる。空間情報取得部230は、透視投影法などの方法を用いて、空間情報を算出する。
図3において、路面131上の点G1、G2、G3は、それぞれ、投影面102上の点F1、F2、F3に対応する。撮像装置100に近い路面131上の点G3を投影した点F3と、撮像装置100から遠い路面131上の点G1を投影した点F1とでは、撮像画像上では同じピクセル長が表示されるが、実際の長さは異なる。また路面131上の点G1と点G3の中間点の点G2を投影した点F2の1ピクセル当たりの実際の長さも、点F1、F3の1ピクセル当たりの実際の長さとは異なる。これは、撮像装置100と各点G1、G2、G3との距離が大きいほど、各点G1、G2、G3が撮像画像において小さく投影されることに起因する。
位置検出部240は、メモリ270が記憶している複数の撮像画像を撮像時刻順に取りだし、各撮像画像におけるタイヤの位置を検出する。位置検出部240は、撮像画像中のタイヤ位置検出方法として、画像認識技術やテンプレートマッチング、機械学習、ニューラルネットワークなどの一般的な技術を用いることができる。変位検出の精度は、ピクセル単位でもサブピクセル単位でも良い。
エリア設定部250は、撮像画像において、路面131の変位を検出するために用いる検出エリアを設定する。具体的には、エリア設定部250は、検出エリアの位置および大きさを設定する。検出エリアの設定については後述する。
変位算出部260は、メモリ270が記憶している複数の撮像画像を撮像時刻順に取出し、エリア設定部250が設定した検出エリア内の画像を用いて、路面131の変位を算出する。位置検出部240は、撮像画像中の変位検出方法として、テンプレートマッチングを用いることができる。また、位置検出部240は、変位検出方法として、ブロックマッチング、相関法、サンプリングモアレ法、特徴点追跡法など一般的な変位検出方法を用いてもよい。ここで、相関法として、正規化相関法(normalized cross correlation)、位相相関法(phase correlation)、レーザスペックル相関法などが挙げられる。変位検出の精度は、ピクセル単位でもサブピクセル単位でも良い。
メモリ270は、入出力I/F210から入力された撮像画像を記憶する記憶部の一例である。メモリ270は、撮像装置100の設置情報を記憶する。また、メモリ270は、各部のワークメモリとして用いられる。例えば、メモリ270は、空間情報取得部230が取得した空間情報を記憶する。メモリ270は、位置検出部240が検出したタイヤ121の位置情報を記憶する。メモリ270は、エリア設定部250が設定したエリア情報を格納する。メモリ270は、変位算出部260が算出した路面変位を格納する。メモリ270は、例えば、DRAM(Dynamic Random Access Memory)等の高速動作が可能な半導体記憶素子で構成される。
[1−2.動作]
[1−2−1.全体の動作]
図4は、実施の形態1に係る変位計測装置200の動作を示すフローチャートである。
制御部220は、撮像装置100より撮像画像を取得する。制御部220は、入出力I/F210を介して、撮像装置100が生成した撮像画像を取得する。そして、制御部220は、撮像画像をメモリ270に格納させる(ステップS301)。
制御部220は、空間情報取得部230に、空間情報を取得させる(ステップS302)。空間情報取得部230は、メモリ270に格納されている撮像画像と、撮像装置100の設置情報を用いて、空間情報を取得する。
制御部220は、位置検出部240に、撮像画像における路面131上のタイヤ121の位置を検出させる(ステップS303)。
制御部220は、エリア設定部250に、撮像画像内に、路面131の変位を検出するための検出エリアを設定させる(ステップS304)。
制御部220は、変位算出部260に、エリア設定部250が設定した検出エリア内の撮像画像を用いて、路面131の変位を算出させる(ステップS305)。変位算出部260は、メモリ270が記憶している複数の撮像画像を撮像時刻順に取出し、エリア設定部250が設定した検出エリア内の画像を用いて、路面131の変位をピクセル単位で算出する。変位算出部260は、空間情報取得部230が取得した空間情報を用いて、画像上の変位(ピクセル単位)を実空間での変位(メートル単位)に換算(変換)する。すなわち、変位算出部260は、空間情報に含まれる距離情報と撮像画像における変位とを用いて、車両120による路面131の実際の変位を算出する。
[1−2−2.検出エリアの設定]
図5はエリア設定部の動作を示すフローチャートである。
まず、エリア設定部250は、空間情報を用いて、検出エリアのエリアサイズを決定する(ステップS401)。具体的には、エリア設定部250は、空間情報から、撮像装置100と、路面131と車両120との接触位置との距離を示す距離情報を取得する。エリア設定部250は、距離情報が示す距離が短いほど検出エリアが大きくなるように、検出エリアの大きさを設定する。また、エリア設定部250は、位置検出部240が生成した車両120のタイヤ121の位置を示す位置情報を用いて、検出エリアの位置を設定する。以下に、エリア設定部250の動作の詳細を説明する。
エリア設定部250は、位置検出部240が検出したタイヤ位置に基づいて、任意に設定した位置において、エリアサイズを複数設定し、各エリアサイズで算出した変位結果から、検出エリアのエリアサイズを決定してもよい。また、エリア設定部250は、タイヤ位置に基づいて、複数の位置を設定し、各位置で設定した検出エリアにおいて算出した変位結果の平均値、中央値などを用いて、検出エリアのエリアサイズを決定してもよい。
図6Aはエリア設定の一例を示す模式図である。図6Bはエリア設定の他の一例を示す模式図である。
図6Aおよび図6Bは、走行路130(図1参照)上を走行する車両120のタイヤ121と接する路面131が車両120の軸重により、変位していることを示している。また、図6Aは、エリア設定部250が検出エリアとしてエリアS1を設定していることを示す。さらに、図6Bは、エリア設定部250が検出エリアとしてエリアS2を設定していることを示す。
図7は、撮像画像におけるノイズを説明する図である。図8は、ノイズとエリアサイズの関係を説明する図である。図7において、縦軸は変位、横軸は時刻を示す。図8において、縦軸はノイズ、横軸はエリアサイズを示す。
図7は、車両120を含まない複数の撮像画像に対して、撮像画像時刻順に検出した変位を示す。この場合、各撮像画像間から変位は算出されないので、変位算出結果は各時刻において0になる。実際には、図7に示すように、撮像素子101(図3参照)のノイズ、大気の揺らぎなどにより、変位bがノイズ成分として算出される。そのため、例えば、変位bの分散aをノイズと考えることが出来る。なお、分散ではなく標準偏差をノイズと考えてもよい。
このようなノイズは、一般的には白色雑音である。そのため、テンプレートマッチングにおいては、図6AのエリアS1のようにエリアサイズを大きくすると、図8に示すように、ノイズが平均化され、ノイズの影響は小さくなる。すなわち、エリアサイズを大きくすると、ノイズは飽和値cに近づいていく。一方、図6BのエリアS2のように、検出エリアの領域に対して変位が発生している領域の割合を大きくすることで、変位に関する感度が向上する。
また、図9に示すように、エリアサイズが大きくなるほど、変位検出の感度は小さくなる。図9は、変位検出の感度とエリアサイズの関係を説明する図である。図9において、縦軸は感度、横軸はエリアサイズを示す。エリアサイズが大きい場合、設定した検出エリアの領域に対して変位していない部分が占める領域の割合が大きくなる。従って、テンプレートマッチングを行う場合、変位していない部分に合わせ込む力が強くなり、変位検出の感度が小さくなってしまう。
このことから、エリアサイズとSN比(シグナルノイズ比)の関係は図10のようになると考えられる。図10は、エリアサイズとSN比の関係を説明する図である。図10において、縦軸はSN比、横軸はエリアサイズである。図10に示すように、SN比にピークがある場合は、ピーク位置に対応するエリアサイズを検出エリアの大きさとして設定すればよい。また、SN比にピークがない場合は、図8においてノイズレベルが立ち上がるエリアサイズS3を検出エリアの大きさとして設定してもよい。
エリア設定部250は、上記のいずれかの方法でエリアサイズを算出する。
次に、エリア設定部250は、空間情報取得部230が取得した距離情報から、1ピクセル当たりの実際の長さを取得する。エリア設定部250は、その長さを用いて、算出したエリアサイズを調整する(ステップS402)。
エリア設定部250は、1ピクセルあたりの実際の長さに応じて、エリアサイズを調整する。エリア設定部250は、例えば、実際の長さにおいて10cmなどの基準を設定し、エリアサイズがその基準となるサイズになるように、空間情報を用いてタイヤ121の位置ごとにエリアサイズ(ピクセルサイズ)を調整する。これは、同じ基準のエリアサイズを用いないと、同じ重さがかかった時の変位が同じ値にならなくなってしまうためである。すなわち、エリアサイズを実際の長さに対応したピクセルサイズに変換する。
図11Aおよび図11Bは、撮像装置100とタイヤ121の位置関係を説明する図である。図12Aは、図11Aの状態で撮像装置100によってタイヤ121が撮像された撮像画像を示す図である。図12Bは、図12Bの状態で撮像装置100によってタイヤ121が撮像された撮像画像を示す図である。
図11Aは、タイヤ121が撮像装置100から遠い位置にあることを示す。図11Bは、タイヤ121が撮像装置100に近い位置にあることを示す。また、図12Aは、図11Aの状態において、撮像装置100が生成した撮像画像500を示す。図12Bは、図11Bの状態において、撮像装置100が生成した撮像画像510を示す。図12Aおよび図12Bに示すように、撮像時の撮像装置100とタイヤ121との間の距離から、撮像画像500におけるタイヤ501は、撮像画像510におけるタイヤ511より小さく撮像される。
ここで、図12Aにおけるタイヤ501の位置は、図3の点F1の位置に対応している。また、図12Bにおけるタイヤ511の位置は、図3の点F3の位置に対応している。この時、空間情報取得部230が算出した1ピクセル当たりの実際の長さは、点F1とその周辺の画素において3/5cmであり、点F3とその周辺の画素において3/20cmであったとする。この時、エリアサイズ(縦×横)が3cm×60cmであったとすると、撮像画像500における検出エリア502のエリアサイズは5ピクセル×100ピクセルとなり、撮像画像510における検出エリア512のエリアサイズは20ピクセル×400ピクセルとなる。図12Aにおいて検出エリア502の大きさは5×100ピクセルを示しており、図12Bにおいて検出エリア512の大きさは20×400ピクセルを示している。このようにエリアサイズを調整することで、撮影画像上では、検出エリア502、512の大きさは異なるが、変位を検出する対象の領域の大きさを同じにすることができる。
変位算出部260は、撮像画像500の場合は、撮像画像500のうち検出エリア502内の画像のみを用いて変位を算出する。また、変位算出部260は、撮像画像510の場合は、撮像画像510のうち検出エリア512内の画像のみを用いて変位を算出する。
[1−3.効果等]
実施の形態1の変位計測装置200は、走行路130の路面131と、路面131に接触位置において接触している車両120のタイヤ121とが撮像された撮像画像を用いて、車両120による路面131の変位を計測する変位計測装置であって、エリア設定部250と、変位算出部260とを備える。エリア設定部250は、撮像画像を生成する撮像装置100と、接触位置との距離を示す距離情報を用いて、撮像画像における検出エリアの大きさを設定する。変位算出部260は、撮像画像のうち検出エリア内の画像のみを用いて、路面131の変位を算出する。
空間情報を用いて検出エリアを設定することで、撮像装置100の配置の変化、撮像画像内での検出エリアの位置の変化などに対してロバストな変位計測を行うことができる。従って、変位計測の精度を向上させることが出来る。
さらに、撮像画像内のピクセル変位から空間情報を用いた幾何変換によって実際の変位を計測することができる。
(実施の形態2)
[2−1.構成]
図13は、本開示の実施の形態2に係る変位計測装置600の構成を示すブロック図である。図13において、実施の形態1と同様の動作を行う構成要素には同符号を付与し、説明を省略する。
図13に示されるとおり、変位計測装置600は、入出力I/F210と、制御部620と、エリア設定部650と、変位算出部260と、メモリ670とを備える。
変位計測装置600は、例えば、メモリ670に記憶されたプログラムをマイクロプロセッサが実行することによって実現される。
制御部620は、各部の動作を制御する。制御部620は、例えば、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを有する。
エリア設定部650は、撮像画像において、路面131の変位を検出するために用いる検出エリアを設定する。検出エリアの設定については後述する。
実施の形態2の変位計測装置600は、実施の形態1の変位計測装置200と異なり、空間情報取得部230を備えていない。実施の形態2においては、制御部620は、入出力I/F210を介して、撮像装置100自身、または、他の装置から空間情報を取得する。そして、制御部620は、空間情報をメモリ670に格納する。例えば、制御部620は、撮像装置100がTOF(Time Of Flight)カメラである場合は、撮像装置100が計測した空間情報を取得する。また、制御部620は、ステレオカメラや多視点ステレオカメラ、パターン投影、レーザー測距計などにより計測した空間情報を取得してもよい。ここで、ステレオカメラや多視点カメラから空間情報を取得する場合、大きさが既知のキャリブレーションボートを同時に撮影することにより空間情報のキャリブレーションを行ってもよいし、ユーザが手入力で空間情報のキャリブレーションを行ってもよい。
また、実施の形態2の変位計測装置600は、実施の形態1の変位計測装置200と異なり、位置検出部240を備えていない。実施の形態2においては、制御部620は、走行路130に埋め込まれた埋め込み式センサや路側に設置されたレーザーセンサーなどからタイヤ位置を示す情報を取得する。制御部620は、取得したタイヤ位置を示す情報をメモリ670に格納する。
エリア設定部650は、撮像画像において、路面131の変位を検出するために用いる検出エリアを設定する。
[2−2.動作]
実施の形態2の変位計測装置600の動作は、図4のフローチャートの動作と同じである。実施の形態1との相違点は、ステップS302およびステップS303の動作において、制御部620が、入出力I/F210を介して外部機器より各情報を取得して、その情報をメモリ670に格納する点である。また、エリア設定部650の動作もエリア設定部250の動作と異なるので、ここでは、エリア設定部650の動作について説明する。
図14は、実施の形態2に係る検出エリアの設定の方法を説明する図である。図14において、縦軸は変位、横軸は接触位置(タイヤ直下)からの距離を示す。図14において、路面131が沈み込む方向を負とし、接触位置での変位を−1.0に正規化している。図14に示すように、接触位置からの距離が大きくなる程、変位は0に近づく。
エリア設定部650は、図14に示す変位の空間分布形状から検出エリアを設定する。エリア設定部650は、例えば、路面131の変位が接触位置の変位の0.8倍となるところまでを検出エリアに設定する。図14の場合、距離0(接触位置)から距離L1までの範囲をエリアサイズとする。これは、変位は距離L2まで発生しているが、距離L1までのエリアサイズでも十分変位検出精度が確保できるためである。
[2−3.効果等]
実施の形態2では、エリア設定部650は、変位の空間分布形状を用いて、変位が発生している領域の中で所定の大きさの変位以上の変位が検出されている領域を検出エリアに設定する。これにより、検出エリアの設定における処理量を削減することができる。
なお、エリア設定部650は、ノイズのみから検出エリアを設定してもよい。例えば、図8に示すノイズの立ち上がるエリアサイズS3を最適な検出エリアの大きさとしてもよい。このようにすることで、さらに処理量を削減することが可能となる。
また、エリア設定部650は、路面変位の空間分布形状を用いて検出エリアを設定した。しかし、本開示はこれに限定されない。エリア設定部650は、変位検出感度を用いて検出エリアを設定してもよい。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1、2について説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
本開示では、計測対象を1台の撮像装置を用いて撮像した。しかし、複数台の撮像装置を用いて生成した撮像画像について本開示と同様の処理を行い、複数の算出結果から、最終的な変位を算出してもよい。また、複数の撮像画像を利用してもよい。これにより、算出精度を向上させることができる。
また、撮像装置100の路面131に対する傾きが例えば、路面131の変位により変化してしまった場合、グローバル動き、不動点の動き、3次元再構成、SFM(Structure from Motion)などによる撮像装置100の位置推定などから、撮像装置100の傾きを推定して、メモリが記憶している設置情報を補正してもよい。
また、本開示では、走行路130を走行する車両120により発生する路面131の変位を計測する場合を例にとって説明した。しかし、本開示は、これに限定するものではなく、床面など面を有する計測対象に荷重物が置かれた時の面の変位を測定するのにも適用できる。
本開示において、変位測定装置は、マイクロプロセッサとメモリとを備えるコンピュータにおいて、メモリに記憶されたプログラムをマイクロプロセッサが実行することによって実現される構成の例であるとして説明した。しかしながら、変位計測装置は、上記実現例と同等の機能を有していれば、必ずしも上記実現例通りに実現される構成の例に限定される必要はない。例えば、変位計測装置を構成する構成要素の一部又は全部が、専用回路によって実現される構成の例であっても構わない。
また、変位計測装置における各構成要素(機能ブロック)は、IC(Integrated Circuit)、LSI(Large Scale Integration)等の半導体装置により個別に1チップ化されてもよいし、一部又は全部を含むように1チップ化されてもよい。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、変位計測装置に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
本開示は、面を有する計測対象に荷重物が置かれた時の計測対象の変位を、撮像画像を用いて計測する変位計測装置に利用可能である。
1 変位計測システム
100 撮像装置
200,600 変位計測装置
210 入出力I/F
220,620 制御部
230 空間情報取得部
240 位置検出部
250,650 エリア設定部
260 変位算出部
270,670 メモリ

Claims (11)

  1. 計測対象と、前記計測対象に接触位置において接触している荷重物とが撮像された撮像画像を用いて、前記荷重物による前記計測対象の変位を計測する変位計測装置であって、
    前記撮像画像における前記荷重物の位置を検出する位置検出部と、
    前記荷重物がないときの前記計測対象と前記撮像画像を生成する撮像装置との距離を空間的に示す距離情報と、前記位置検出部が検出した前記荷重物の位置とを用いて、前記撮像画像における検出エリアの位置および大きさを設定するエリア設定部と、
    前記撮像画像のうち前記検出エリア内の画像のみを用いて、前記変位を算出する変位算出部と、
    を備えた、変位計測装置。
  2. 前記エリア設定部は、前記距離情報が示す距離が短いほど前記検出エリアが大きくなるように、前記検出エリアの大きさを設定する、請求項1記載の変位計測装置。
  3. 前記変位算出部は、前記荷重物による変位がないときに撮像されるノイズを算出し、
    前記エリア設定部は、前記撮像画像におけるエリアサイズに対する前記変位と前記ノイズのSN比がピーク値のとき、または、前記エリアサイズに対する前記ノイズの傾きが変化するときのエリアサイズを前記検出エリアの大きさとして設定する、請求項1または2のいずれかに記載の変位計測装置。
  4. 前記変位算出部は、テンプレートマッチングにより前記変位を算出する、請求項1〜3のいずれかに記載の変位計測装置。
  5. 前記変位算出部は、前記距離情報と前記変位とを用いて、前記荷重物による前記計測対象の実寸の変位を算出する、請求項1〜4のいずれかに記載の変位計測装置。
  6. 前記距離情報を格納する記憶部を備える、請求項1〜5のいずれかに記載の変位計測装置。
  7. 前記距離情報は、前記計測対象に対する前記撮像装置の高さ、および、前記計測対象に対する前記撮像装置の撮影角度に基づき定められる、請求項1〜6のいずれかに記載の変位計測装置。
  8. 前記撮像装置の前記測定対象に対する設置情報を用いて、前記測定対象の各点が前記撮像画像に投影されている各点を算出し、前記距離情報を算出する距離情報取得部を備える、請求項1〜7のいずれかに記載の変位計測装置。
  9. 前記変位算出部は、複数の撮影画像を撮像時刻順に取出し、前記エリア設定部が設定した検出エリア内の画像を用いて、前記変位を算出する、請求項1〜8のいずれかに記載の変位計測装置。
  10. 前記測定対象が走行路であり、
    前記荷重物が車両であり、
    前記接触位置は、前記走行路と前記車両のタイヤが接している位置である、
    請求項1〜9のいずれかに記載の変位計測装置。
  11. 計測対象と、前記計測対象に接触位置において接触している荷重物とが撮像された撮像画像を用いて、前記荷重物による前記計測対象の変位を計測する変位計測方法であって、
    前記撮像画像における前記荷重物の位置を検出する位置検出ステップと、
    前記荷重物がないときの前記計測対象と前記撮像画像を生成する撮像装置との距離を空間的に示す距離情報と、前記位置検出ステップで検出した前記荷重物の位置とを用いて、前記撮像画像における検出エリアの位置および大きさを設定するエリア設定ステップと、
    前記撮像画像のうち前記検出エリア内の画像のみを用いて、前記変位を算出する変位算出ステップと、
    を備えた、変位計測方法。
JP2019502444A 2017-02-28 2017-09-25 変位計測装置および変位計測方法 Active JP6883767B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017036231 2017-02-28
JP2017036231 2017-02-28
PCT/JP2017/034422 WO2018158994A1 (ja) 2017-02-28 2017-09-25 変位計測装置および変位計測方法

Publications (2)

Publication Number Publication Date
JPWO2018158994A1 JPWO2018158994A1 (ja) 2020-01-09
JP6883767B2 true JP6883767B2 (ja) 2021-06-09

Family

ID=63369854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502444A Active JP6883767B2 (ja) 2017-02-28 2017-09-25 変位計測装置および変位計測方法

Country Status (4)

Country Link
US (1) US10914572B2 (ja)
JP (1) JP6883767B2 (ja)
CN (1) CN110023712A (ja)
WO (1) WO2018158994A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10062176B2 (en) * 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
JP7296279B2 (ja) * 2019-08-30 2023-06-22 住友重機械工業株式会社 形状計測装置、及び検出器の校正方法
US11781420B2 (en) 2021-03-25 2023-10-10 Chengdu University Of Technology Displacement measuring device and speed measuring method of drilling traction robot

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278109A (ja) * 1995-04-03 1996-10-22 Natl Res Inst For Metals 非接触型変位量測定装置
JP3612821B2 (ja) * 1995-09-29 2005-01-19 スズキ株式会社 車載用距離測定装置
JP3562250B2 (ja) * 1997-07-29 2004-09-08 日産自動車株式会社 先行車両検出装置
JP3369114B2 (ja) * 1998-10-30 2003-01-20 富士通株式会社 画像計測による自動合焦方法及び装置
JP2000171924A (ja) * 1998-12-09 2000-06-23 K Net Systems:Kk デジタル三次元画像測定システム
JP2000258133A (ja) * 1999-03-09 2000-09-22 Jt Tohsi Inc 非接触伸び計
KR100431083B1 (ko) * 2002-01-25 2004-05-12 한국전자통신연구원 구간 검색기 및 그의 구동 방법과 이를 이용한 코드 검색기
EP1499129B1 (en) * 2002-04-25 2011-12-28 Panasonic Corporation Object detection device, object detection server, and object detection method
JP2004046464A (ja) * 2002-07-10 2004-02-12 Nippon Telegr & Teleph Corp <Ntt> 移動物体3次元位置推定装置及びその方法、プログラム並びにその記録媒体
US6934013B2 (en) * 2002-08-20 2005-08-23 Reginald Vachon Compressed symbology strain gage
JP2005242703A (ja) * 2004-02-26 2005-09-08 Toyota Motor Corp 画像処理装置および画像処理方法
JP3785577B1 (ja) * 2004-12-10 2006-06-14 関西ティー・エル・オー株式会社 ひび割れ検出システム及びひび割れ検出方法
JP2006318062A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
JP2006318060A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
US7609955B2 (en) * 2005-11-22 2009-10-27 Panasonic Corporation Image taking device, portable terminal device, image taking method, and program
JP5424787B2 (ja) 2009-09-15 2014-02-26 大和製衡株式会社 軸重計測装置、軸重計測装置の計測精度確認システムおよび軸重計測装置の計測精度確認方法
JP4948660B2 (ja) * 2010-05-14 2012-06-06 西日本旅客鉄道株式会社 構造物変位量測定方法
JP2012008484A (ja) * 2010-06-28 2012-01-12 Fuji Xerox Co Ltd 清掃装置及びこれを用いた画像形成装置
JP5849335B2 (ja) * 2010-07-14 2016-01-27 国立大学法人静岡大学 接触状態検出装置、接触状態検出方法、接触状態検出用コンピュータプログラム、接触状態検出装置を備える電気伝導度測定システムおよび接触状態検出方法を含む電気伝導度測定方法
KR101223209B1 (ko) * 2010-12-10 2013-01-17 한국과학기술원 형상정보를 고려한 물성 진단장치 및 방법
CN102589523A (zh) * 2011-01-11 2012-07-18 香港理工大学深圳研究院 远距离监测建筑物位移的方法和所用装备
JP5909890B2 (ja) 2011-06-23 2016-04-27 株式会社大林組 変位観測方法および変位観測システム
US9092676B2 (en) * 2011-08-02 2015-07-28 Nissan Motor Co., Ltd. Object detector and object detection method
US9721169B2 (en) * 2012-07-27 2017-08-01 Clarion Co., Ltd. Image processing device for detecting vehicle in consideration of sun position
JP2014085156A (ja) * 2012-10-19 2014-05-12 Mitsubishi Heavy Ind Ltd ひずみ計測方法及びひずみ計測システム
JP2014085157A (ja) * 2012-10-19 2014-05-12 Mitsubishi Heavy Ind Ltd ひずみ計測方法及びひずみ計測システム
JP6147347B2 (ja) * 2013-08-07 2017-06-14 シャープ株式会社 撮像装置
JP2015036632A (ja) * 2013-08-12 2015-02-23 キヤノン株式会社 距離計測装置、撮像装置、距離計測方法
JP2015106116A (ja) * 2013-12-02 2015-06-08 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置
JP2016004382A (ja) * 2014-06-16 2016-01-12 トヨタ自動車株式会社 動き情報推定装置
CA2955224C (en) * 2014-08-08 2020-05-26 Applied Research Associates, Inc. Systems, methods, and apparatuses for measuring deformation of a surface
JPWO2016031229A1 (ja) * 2014-08-27 2017-06-22 パナソニックIpマネジメント株式会社 道路地図作成システム、データ処理装置および車載装置
JP6064150B2 (ja) * 2014-09-25 2017-01-25 パナソニックIpマネジメント株式会社 投影装置
JP6308962B2 (ja) * 2015-03-19 2018-04-11 株式会社安藤・間 変位又はひずみ算出プログラム、及び変位又はひずみ測定方法
JP6511892B2 (ja) * 2015-03-20 2019-05-15 日本電気株式会社 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2017043258A1 (ja) * 2015-09-09 2017-03-16 シャープ株式会社 計算装置および計算装置の制御方法

Also Published As

Publication number Publication date
US10914572B2 (en) 2021-02-09
WO2018158994A1 (ja) 2018-09-07
US20190265020A1 (en) 2019-08-29
CN110023712A (zh) 2019-07-16
JPWO2018158994A1 (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
US10982951B2 (en) Axle-load measuring apparatus and axle-load measuring method
US11009436B2 (en) Rigidity measurement apparatus and rigidity measurement method
JP6970893B2 (ja) 変位検出装置および変位検出方法
US9621793B2 (en) Information processing apparatus, method therefor, and measurement apparatus
JP6182866B2 (ja) 校正装置、距離計測装置及び車両
US8970853B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
US10311591B2 (en) Displacement detecting apparatus and displacement detecting method
US20180160110A1 (en) Method for calibrating a camera and calibration system
JP6883767B2 (ja) 変位計測装置および変位計測方法
EP2887313B1 (en) Image processing apparatus, system, image processing method, and computer-readable recording medium
KR20120079144A (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
US20180005405A1 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP2015206798A (ja) 距離算出装置
JP7117639B2 (ja) 軸重計測装置および軸重計測方法
US8102516B2 (en) Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same
JP6365744B2 (ja) プログラム、記録媒体、及び校正方法
KR101976495B1 (ko) 카메라 설치높이 측정을 위한 영상 분석 장치 및 방법
JP5981353B2 (ja) 3次元計測装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20181210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210416

R151 Written notification of patent or utility model registration

Ref document number: 6883767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151