WO2020129554A1 - 観測方法及び観測装置 - Google Patents

観測方法及び観測装置 Download PDF

Info

Publication number
WO2020129554A1
WO2020129554A1 PCT/JP2019/046259 JP2019046259W WO2020129554A1 WO 2020129554 A1 WO2020129554 A1 WO 2020129554A1 JP 2019046259 W JP2019046259 W JP 2019046259W WO 2020129554 A1 WO2020129554 A1 WO 2020129554A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
point
image
points
area
Prior art date
Application number
PCT/JP2019/046259
Other languages
English (en)
French (fr)
Inventor
日下 博也
晃浩 野田
悠樹 丸山
今川 太郎
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2020561244A priority Critical patent/JPWO2020129554A1/ja
Publication of WO2020129554A1 publication Critical patent/WO2020129554A1/ja
Priority to US17/346,582 priority patent/US20210304417A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

観測方法は、対象物(1)が撮像された映像を表示し(S20)、表示された映像における少なくとも1つの点(2a~2q)の指定を受け付け(S40)、指定された少なくとも1つの点(2a~2q)に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点(6)を設定し(S60)、複数の観測点(6)のそれぞれについて映像における動きを観測する(S80)。

Description

観測方法及び観測装置
 本開示は、対象物の動きを観測する観測方法及び観測装置に関する。
 インフラ構造物の点検には、レーザ又はカメラなどを利用した外観調査方法が適用されている。例えば、特許文献1は、カメラにより撮像された映像の白黒映像処理を行った後に、亀裂のみを抽出するために数種のフィルタリング作業を行い、クラック分析を通して亀裂幅を測定する映像処理技法を利用した構造物及び製品のクラック幅測定方法を開示している。
特開2008-139285号公報
 しかしながら、特許文献1に記載の技術では、構造物及び製品のクラック幅を測定する際に、幅の異なる複数の溝を有するキャリブレーションバーを亀裂のある検査対象の表面に配置して撮影する必要があり、手間がかかる。
 そこで、本開示では、対象物の映像において複数の観測点を容易に設定することができる観測方法及び観測装置を提供する。
 本開示の一態様に係る観測装置は、対象物が撮像された映像を表示し、表示された前記映像における少なくとも1つの点の指定を受け付け、指定された前記少なくとも1つの点に基づいて、前記映像における領域又はエッジを特定し、特定された前記領域内又は前記エッジ上に複数の観測点を設定し、前記複数の観測点のそれぞれについて前記映像における動きを観測する。
 なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータで読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。
 本開示に係る観測方法及び観測装置によれば、対象物の映像において複数の観測点を容易に設定することができる。
図1は、実施の形態1に係る観測システムの一例を示す概略図である。 図2は、実施の形態1に係る観測システムの機能構成の一例を示すブロック図である。 図3は、実施の形態1に係る観測装置の動作の一例を示すフローチャートである。 図4は、表示部が表示した対象物の映像の一例を示す図である。 図5は、表示部に表示された対象物の映像において指定された少なくとも1つの点の一例を示す図である。 図6は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の一例を示す図である。 図7は、図6に示す観測領域の拡大図である。 図8は、連続する2つのフレームの間における観測ブロックの動きを算出する一例を示す図である。 図9は、図8に示す式を用いて算出された評価値の近似曲線の一例を示す図である。 図10は、設定ステップの詳細な処理フローの一例を示すフローチャートである。 図11は、観測領域内に複数の観測点候補を設定する一例を示す図である。 図12は、図11に示す複数の観測点候補の全てが観測点として設定される例を示す図である。 図13は、観測領域内に設定された複数の観測点候補のうち観測点条件に適合しない観測点候補が存在する一例を示す図である。 図14は、複数の観測点候補のうち、観測点条件に適合しない観測点候補を観測点候補から除外して複数の観測点を設定する例を示す図である。 図15は、観測領域内に設定された複数の観測点候補のうち、観測点条件に適合しない観測点候補が存在する他の例を示す図である。 図16は、複数の観測点候補のうち、観測点条件に適合しない観測点候補を観測点候補から除外して複数の観測点を設定する他の例を示す図である。 図17は、表示部に表示された対象物の映像において指定された少なくとも1つの点の他の例を示す図である。 図18は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の他の例を示す図である。 図19は、表示部に表示された対象物の映像において指定された少なくとも1つの点の他の例を示す図である。 図20は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の他の例を示す図である。 図21は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の他の例を示す図である。 図22は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の他の例を示す図である。 図23は、ユーザが映像において指定した3以上の点に基づいて設定された2以上の観測領域の一例を示す図である。 図24は、ユーザが映像において指定した3以上の点に基づいて設定された2以上の観測領域の他の例を示す図である。 図25は、設定部が再設定領域を設定する例を示す図である。 図26は、設定部が再設定領域に複数の観測点を設定し直す例を示す図である。 図27は、実施の形態2に係る観測システムの一例を示す概略図である。 図28は、表示部が表示した対象物の映像の一例を示す図である。 図29は、ユーザが指定した少なくとも1つの点と重なる1つのエッジ上に設定された複数の観測点の一例を示す図である。 図30は、ユーザが指定した少なくとも1つの点と重なる1つのエッジと、当該1つのエッジと連続する他のエッジとの間に設定された複数の観測点の一例を示す図である。 図31は、ユーザが指定した少なくとも1つの点のそれぞれと重なる2つのエッジ上に設定された複数の観測点の他の例を示す図である。 図32は、ユーザが指定した少なくとも1つの点のそれぞれと重なる2つのエッジの間に設定された複数の観測点の他の例を示す図である。 図33は、他の実施の形態に係る観測装置の構成の一例を示すブロック図である。 図34は、他の実施の形態に係る観測装置の動作の一例を示すフローチャートである。
 (本開示の概要)
 本開示の一態様の概要は、以下の通りである。
 本開示の一態様に係る観測方法は、対象物が撮像された映像を表示し、表示された前記映像における少なくとも1つの点の指定を受け付け、指定された前記少なくとも1つの点に基づいて、前記映像における領域又はエッジを特定し、特定された前記領域内又は前記エッジ上に複数の観測点を前記映像において設定し、前記複数の観測点のそれぞれについて前記映像における動きを観測する。
 上記方法によれば、ユーザは、対象物の映像において少なくとも1つの点を指定することにより、映像において領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を容易に設定することができる。これにより、ユーザは、対象物の動きを簡便に観測することができる。
 例えば、本開示の一態様に係る観測方法では、前記複数の観測点は、前記少なくとも1つの点よりも数が多くてもよい。
 これにより、ユーザは、映像において少なくとも1つの点を指定することにより、対象物のうちの動きを観測したい領域に簡便に複数の観測点を設定することができる。
 例えば、本開示の一態様に係る観測方法では、前記少なくとも1つの点に基づいて特定される領域は、前記少なくとも1つの点の近傍を頂点とする矩形形状の領域であってもよい。
 これにより、ユーザは、対象物のうちの動きを観測したい領域を簡便に指定することができる。
 例えば、本開示の一態様に係る観測方法では、前記少なくとも1つの点に基づいて特定される領域は、前記少なくとも1つの点の近傍を中心とする円形形状又は矩形形状の領域であってもよい。
 これにより、ユーザは、対象物のうちの動きを観測したい領域を簡便に指定することができる。
 例えば、本開示の一態様に係る観測方法では、前記少なくとも1つの点に基づいて特定される領域は、前記対象物の部分領域として識別される領域であってもよい。
 これにより、ユーザは、例えば、対象物のうちの動きを観測したい領域を簡便に指定することができる。
 例えば、本開示の一態様に係る観測方法では、前記少なくとも1つの点に基づいて特定される領域は、複数の対象物としてそれぞれ識別される複数の領域のうち、前記少なくとも1つの点に最も近い領域、又は、前記少なくとも1つの点を含む領域であってもよい。
 これにより、ユーザは、映像において複数の対象物が存在する場合に、これらの対象物のうちの動きを観測したい対象物の近傍又は対象物上に少なくとも1つの点を指定することにより、動きを観測したい対象物を簡便に指定することができる。
 例えば、本開示の一態様に係る観測方法では、前記複数の観測点は、前記少なくとも1つの点に基づいて特定されるエッジ上に設定されてもよい。
 これにより、対象物が例えばケーブル、ワイヤ、鉄骨、鋼材、パイプ、柱、ポール、又は、バーなどの細長い物体である場合、ユーザは、映像において少なくとも1つの点を指定することにより、動きを観測したい対象物のエッジ上に複数の観測点を簡便に設定することができる。
 例えば、本開示の一態様に係る観測方法では、前記少なくとも1つの点に基づいて特定されるエッジは、前記映像において識別される複数のエッジのうち、前記少なくとも1つの点に最も近いエッジ、又は、前記少なくとも1つの点と重なるエッジであってもよい。
 これにより、ユーザは、映像において複数のエッジが存在する場合に、これらのエッジのうちの動きを観測したいエッジの近傍又はエッジ上に少なくとも1つの点を指定することにより、動きを観測したいエッジを簡便に指定することができる。
 例えば、本開示の一態様に係る観測方法は、前記複数の観測点の設定では、指定された前記少なくとも1つの点に基づいて、複数の観測点候補を前記映像において設定し、前記複数の観測点候補のうち、観測点条件に適合しない観測点候補を除外して、複数の観測点を設定してもよい。
 上記方法によれば、観測点条件に適合する観測点候補を観測点として設定することができる。観測点条件は、対象物の動きを観測するために適した領域を決定するための条件である。より具体的には、上記方法において、観測点条件に適合するか否かを判定することにより、映像において、白飛び又は黒つぶれが生じた領域、不明瞭な領域、若しくは、対象物に異物が付着した領域など、対象物の動きを観測するために適していない領域(以下、不適合領域ともいう)を特定する。そのため、上記方法によれば、不適合領域に複数の観測点候補が設定されても、不適合領域を特定することにより、当該不適合領域に設定された観測点候補を除外して、複数の観測点を設定することができる。
 例えば、本開示の一態様に係る観測方法は、前記観測点条件に対する前記複数の観測点のそれぞれの適合度を前記映像において表示してもよい。
 これにより、ユーザは、例えば、観測点条件に対する複数の観測点のそれぞれの適合度を参照しながら、複数の観測点のうちの所定の範囲の適合度を有する観測点を選択して、複数の観測点として設定することができる。
 例えば、本開示の一態様に係る観測方法は、さらに、前記複数の観測点のそれぞれについて動きを観測した結果に基づき、複数の観測点を設定し直してもよい。
 これにより、例えば、複数の観測点のうち他の観測点と動きが異なる観測点がある場合、当該動きが異なる観測点を含む所定の領域において、複数の観測点の密度が高くなるように、複数の観測点を設定し直すことができる。他の観測点と動きが異なる観測点の近傍では、歪が生じているため、当該動きが異なる観測点を含む所定の領域において、複数の観測点を密に設定することにより、歪みが生じている部分を精度良く特定することができる。
 また、本開示の一態様に係る観測装置は、対象物が撮像された映像を表示する表示部と、表示された前記映像における少なくとも1つの点の指定を受け付ける受付部と、指定された前記少なくとも1つの点に基づいて、前記映像における領域又はエッジを特定し、特定された前記領域内又は前記エッジ上に複数の観測点を設定する設定部と、前記複数の観測点のそれぞれについて前記映像における動きを観測する観測部と、を備える。
 上記構成によれば、観測装置は、ユーザが対象物の映像において指定した少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を容易に設定することができる。
 なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能な記録ディスク等の非一時的記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。コンピュータで読み取り可能な記録媒体は、例えばCD-ROM等の不揮発性の記録媒体を含む。また、装置は、1つ以上のサブ装置で構成されてもよい。装置が2つ以上のサブ装置で構成される場合、当該2つ以上の装置は、1つの機器内に配置されもよく、分離した2つ以上の機器内に分かれて配置されてもよい。本明細書及び請求の範囲では、「装置」とは、1つの装置を意味し得るだけでなく、複数のサブ装置からなるシステムも意味し得る。
 以下、本開示に係る観測方法及び観測装置について、図面を参照しながら具体的に説明する。
 なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置及び接続形態、ステップ(工程)、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 また、以下の実施の形態の説明において、略同一のような「略」を伴った表現が用いられる場合がある。例えば、略同一とは、主要な部分が同じであること、あるいは、2つの要素が共通の性質を有することなどを意味する。
 また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
 (実施の形態1)
 以下、実施の形態1に係る観測方法等について説明する。
 [1-1.観測システムの概要]
 まず、実施の形態1に係る観測システムの概要について、図1及び図2を参照しながら具体的に説明する。図1は、実施の形態に係る観測システム300の一例を示す概略図である。図2は、実施の形態に係る観測システム300の機能構成の一例を示すブロック図である。
 観測システム300は、対象物1の映像を撮像し、撮像された映像における少なくとも1つの点の指定を受け付けて、当該指定された点に基づいて、当該指定された点よりも数が多い複数の観測点を映像において設定し、複数の観測点のそれぞれについて動きを観測するためのシステムである。観測システム300によれば、対象物1を撮像した映像における複数の観測点のそれぞれについて動きを観測することにより、対象物1において、例えば歪み又は亀裂などの不具合が生じ得る箇所及び不具合が生じた箇所を検出することができる。
 対象物1は、建物、橋梁、トンネル、道路、ダム、堤防、又は、防音壁などの構造物であってもよく、飛行機、自動車、及び、列車などの乗り物であってもよく、タンク、パイプライン、ケーブル、発電機などの設備であってもよく、これらを構成する装置又は部品であってもよい。
 図1及び図2に示すように、観測システム300は、観測装置100と、撮像装置200と、を備える。以下、各装置について説明する。
 [1-2.撮像装置]
 撮像装置200は、例えば、イメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。撮像装置200は、対象物1の映像を撮像する。例えば、撮像装置200は、対象物1に所定の外部負荷が付加されている時間を含む期間に、対象物1を撮像する。なお、実施の形態1においては所定の外部負荷が付加されている状態を例に説明するが、必ずしも外部負荷があることが前提ではなく、例えば外部負荷は無くとも対象物1の自重による負荷のみが付加される状態であってもよい。また、撮像装置200は、モノクロ方式及びカラー方式のいずれであってもよい。
 ここで、所定の外部負荷は、例えば、車両又は列車などの移動体が通過する際に生じる荷重、風圧、音源から発せられる音、又は、振動発生器などの装置により発生される振動などであってもよい。所定とは、一定の大きさ及び一定の方向である場合に限らず、大きさ又は方向が変化する場合を含んでもよい。つまり、対象物1に付加される外部負荷の大きさ及び方向が一定であってもよいし、変化してもよい。例えば、所定の外部負荷が移動物の通過により発生する荷重である場合、撮像装置200が撮像する対象物1に移動体が近づいた時に対象物1に付加される荷重は、急激に上昇し、車両が通過している間、荷重は最大となり、通過した直後に、荷重は急激に低下する。このように、対象物1に付加される所定の外部負荷は、対象物1が撮像される間に変化してもよい。また、例えば、所定の外部負荷が振動発生器などの機器により発生される振動である場合、撮像装置200が撮像する対象物1に付加される振動は、一定の大きさで、かつ、一定の方向に振幅を有する振動、又は、時々刻々と大きさと方向が変化する振動であってもよい。このように、対象物1に付加される所定の外部負荷は、対象物1が撮像される間、一定であってもよいし、変化してもよい。
 なお、図1では、観測システム300が1つの撮像装置200を備える例を示しているが、2つ以上の撮像装置200を備えてもよい。例えば、2つ以上の撮像装置200は、対象物1に沿って連続的に配置されてもよい。このとき、2つ以上の撮像装置200は、それぞれ対象物1の映像を撮像する。これにより、例えば、対象物1が1つの映像に収まりきれない場合、一度に対象物1を撮像することができるため、作業性が向上される。また、2つ以上の撮像装置200は、対象物1の両側に配置されてもよい。このとき、2つ以上の撮像装置200は、それぞれ対象物1の異なる部分や方向、異なる面の映像を撮像する。これにより、例えば、2つ以上の撮像装置200は、対象物1の異なる部分や方向、異なる面を一度に対象物1を撮像することができるため、作業性が向上される。また、同一方向からの撮像では得られない対象物1の挙動を観測することができ有用である。なお、2つ以上の撮像装置200を備えた場合に、これらの撮像装置200による撮像を非同期で行っても同期して行ってもよい。特に、撮像を同期して行った場合には、2つ以上の撮像装置200で撮像した同時刻の映像を比較又は分析することができる。
 なお、図1では、撮像装置200は、一方向のみ撮像可能な撮像装置である例を示しているが、撮像装置200は、複数方向を撮像可能な撮像装置であってもよく、全方位撮像可能な撮像装置であってもよい。これにより、例えば、1つの撮像装置200で対象物1の複数の箇所を同時に撮像することができる。
 なお、撮像装置200は、上記の例に限られず、例えば、測距カメラ、ステレオカメラ、又は、TOF(Time-Of-Flight)方式のカメラであってもよい。これにより、観測装置100は、対象物1の動きを3次元で検出することができるため、より高精度に不具合のある箇所を検出することができる。
 [1-3.観測装置の構成]
 観測装置100は、対象物1が撮像された映像において指定された点よりも数が多い複数の観測点を設定し、当該複数の観測点のそれぞれについて動きを観測するための装置である。観測装置100は、例えば、コンピュータであり、プロセッサ(不図示)と、ソフトウェアプログラム又はインストラクションが格納されたメモリ(不図示)と、を備える。プロセッサがソフトウェアプログラムを実行することによって、観測装置100は、後述する複数の機能を実現する。また、観測装置100は、専用の電子回路(不図示)で構成されてもよい。この場合、後述する複数の機能は、別々の電子回路で実現されてもよいし、集積された1つの電子回路で実現されてもよい。
 図1及び図2に示すように、観測装置100は、撮像装置200と、例えば、通信可能に接続される。このとき、観測装置100と撮像装置200との通信方法は、Bluetooth(登録商標)などの無線通信であってもよく、Ethernet(登録商標)などの有線通信であってもよい。なお、観測装置100と撮像装置200とは通信可能に接続されていなくてもよい。例えば、観測装置100は、脱着可能なメモリ、例えば、USB(Universal Serial Bus)メモリを介して、撮像装置200から複数の映像を取得してもよい。
 図2に示すように、観測装置100は、対象物1が撮像された映像を撮像装置200から取得する取得部10と、取得した映像を表示する表示部20と、表示部20に表示された映像における少なくとも1つの点の指定を受け付ける受付部40と、指定された少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された当該領域内又は当該エッジ上に複数の観測点を映像において設定する設定部60と、複数の観測点のそれぞれについて映像において動きを観測する観測部80と、を備える。
 取得部10は、撮像装置200から送信された対象物1の映像を取得し、取得した映像を表示部20に出力する。
 表示部20は、取得部10から出力された映像を取得し、取得した映像を表示する。さらに、表示部20は、制御部30からの指示に応じてユーザに提示するための各種情報を表示してもよい。表示部20は、例えば、例えば液晶ディスプレイ、又は、有機エレクトロルミネッセンス(有機EL)ディスプレイなどで構成され、画像及び文字情報を表示する。
 受付部40は、ユーザからの操作を受け付けて、ユーザからの操作信号を設定部60に出力する。例えば、受付部40は、表示部20に表示された対象物1の映像において少なくとも1つの点をユーザが指定すると、ユーザが指定した少なくとも1つの点の情報を設定部60に出力する。受付部40は、例えば、キーボード、マウス、タッチパネル、又は、マイクなどである。受付部40は、表示部20上に配置されてもよく、例えば、タッチパネルで実現される。受付部40は、例えば、タッチパネル上でユーザの指が触れた位置を検知し、設定部60に位置情報を出力する。より具体的には、ユーザが表示部20に表示されたボタン、バー、及び、キーボードなどの領域を指で触れると、触れた指の位置をタッチパネルが検知することで、受付部40は、ユーザからの操作信号を設定部60に出力する。タッチパネルは、静電容量式タッチパネル、又は、感圧式タッチパネルであってもよい。また、受付部40は、表示部20上に配置されていなくてもよく、例えば、マウスで実現される。受付部40は、マウスのカーソルで選択された表示部20上の領域の位置情報を検知することにより、ユーザの操作信号を設定部60に出力してもよい。
 設定部60は、受付部40から出力されたユーザからの操作信号を取得し、取得した操作信号に基づき、複数の観測点を映像において設定する。例えば、設定部60は、受付部40から出力された少なくとも1つの点の情報を取得し、取得した当該情報に基づいて、映像における領域又はエッジを特定し、特定された当該領域内又は当該エッジ上に複数の観測点を設定する。より具体的には、受付部40から出力された少なくとも1つの点の情報を取得すると、当該情報に基づいて、映像において観測領域を設定する。観測領域は、上記の少なくとも1つの点によって映像において定められる領域であり、複数の観測点は、当該観測領域内に設定される。設定された複数の観測点は、当該指定された点よりも数が多くてもよい。設定部60は、観測領域内に複数の観測点を設定すると、映像においてユーザが指定した少なくとも1つの点の情報と、観測領域の情報と、複数の観測点の情報とを紐づけて、メモリ(不図示)に格納する。観測領域及び複数の観測点を設定する方法の詳細については、後述する。
 観測部80は、メモリに格納された観測領域及び複数の観測点の情報を読み出し、複数の観測点のそれぞれについて動きを観測する。なお、複数の観測点のそれぞれは、1画素に対応する領域の中心点や端の点であってもよく、複数画素に対応する領域の中心点や端の点であってもよい。以下、この観測点を中心点とする領域を、「観測ブロック」と呼ぶ。また、複数の観測点のそれぞれの動き(つまり、変位)は、移動方向及び移動距離を表す空間的な変化量であり、例えば、動きを示す動きベクトルである。ここでの移動距離は、対象物1が実際に移動した距離ではなく、対象物1が実際に移動した距離に対応する値である。例えば、移動距離は、実際に移動した距離に対応する各観測ブロックにおける画素数である。観測部80は、各観測ブロックの動きとして、例えば、各観測ブロックの動きベクトルを導出してもよい。この場合、観測部80は、例えば、ブロックマッチング法を利用して、各観測ブロックの動きを推定することで、各観測ブロックの動きベクトルを導出する。複数の観測点それぞれの動きを観測する方法の詳細については、後述する。
 なお、複数の観測点のそれぞれの動きの導出方法は、ブロックマッチング法に限られず、例えば、正規化相関法(Normalized Cross Correlation)、及び、位相相関法(Phase Correlation)などの相関法、サンプリングモアレ法、特徴点抽出法(例えば、エッジ抽出)、又は、レーザスペックル相関法などを用いてもよい。
 なお、観測装置100は、複数の観測点それぞれの情報と、複数の観測点それぞれの動きを観測した結果に基づく情報とを紐づけしてメモリ(不図示)に格納してもよい。これにより、観測装置100のユーザは、所望のタイミングで観測結果に基づく情報をメモリ(不図示)から読み出すことができる。このとき、観測装置100は、受付部40が受け付けたユーザの操作に基づいて、観測結果に基づく情報を表示部20に表示させてもよい。
 なお、受付部及び表示部は、例えば、観測装置100以外の他の装置が備えてもよい。また、観測装置100は、コンピュータを例に挙げたが、インターネットなどの通信ネットワークを介して接続されるサーバ上に設けられてもよい。
 [1-4.観測装置の動作]
 続いて、実施の形態1に係る観測装置100の動作の一例について、図3を参照しながら説明する。図3は、実施の形態1に係る観測装置100の動作の一例を示すフローチャートである。なお、実施の形態1に係る観測システムの動作としては、図3に示す取得ステップS10の前に、撮像装置200が対象物1の映像を撮像する撮像ステップが含まれる。撮像ステップでは、撮像装置200は、例えば、対象物1に付加される外部負荷が変化しているときに対象物1の映像を撮像する。これにより、観測部80は、取得部10が取得した映像に基づいて、例えば、対象物1に外部負荷が付加される前の複数の観測点と、対象物1に外部負荷が付加された状態の複数の観測点と、の変位を導出することができる。
 図3に示すように、取得部10は、対象物1が撮像された映像を取得する(取得ステップS10)。観測装置100は、撮像装置200から逐次映像を取得してもよいし、所定の期間撮像した映像を取得してもよい。なお、観測装置100は、撮像装置200による対象物1の撮像が終了した後に、対象物1が撮像された1つ以上の映像を撮像装置200から取得してもよい。取得部10による映像の取得方法については、特に限定されない。上述したように、取得部10は、無線通信によって映像を取得してもよく、USBメモリなどの脱着可能なメモリを介して映像を取得してもよい。
 次いで、表示部20は、取得ステップS10で取得部10が取得した対象物1の映像を表示する(表示ステップS20)。図4は、表示部20が表示した対象物1の映像の一例を示す図である。図4に示すように、対象物1は、例えば、橋梁である。
 次いで、受付部40は、表示ステップS20で表示部20が表示した映像における少なくとも1つの点の指定を受け付ける(受付ステップS40)。受付部40は、指定された少なくとも1つの点の情報を設定部60に出力する。より具体的には、ユーザが表示部20に表示された映像において少なくとも1つの点を指定すると、ユーザが指定した少なくとも1つの点の情報を設定部60に出力する。図5は、表示部20に表示された対象物1の映像において指定された少なくとも1つの点の一例を示す図である。図5に示すように、対象物1の映像において点2a及び点2bの2点が指定されると、受付部40は、点2a及び点2bの位置などの情報を設定部60に出力する。
 次いで、設定部60は、指定された少なくとも1つの点(ここでは、点2a及び点2b)に基づいて、対象物1の映像における領域又はエッジを特定し、特定された当該領域内又はエッジ上に複数の観測点を設定する(設定ステップS60)。以下、複数の観測点の設定方法について、図6及び図7を参照しながらより具体的に説明する。図6は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の一例を示す図である。図6に示すように、設定部60は、受付ステップS40で受付部40が受け付けたユーザの操作情報(ここでは、ユーザが指定した2つの点である点2a及び点2bの位置などの情報)に基づいて、映像において観測領域3を設定する。より具体的には、設定部60は、ユーザが指定した2つの点2a及び2bの情報を取得し、取得した情報に基づいて、点2a及び点2bのそれぞれを頂点とし、かつ、点2a及び点2bが対角線上に位置するように矩形形状の領域を設定する。
 観測領域3は、少なくとも1つの点に基づいて映像において特定される領域であり、図7の複数の観測点6は、観測領域3内に設定される。観測領域3は、少なくとも1つの点の近傍を頂点とする矩形形状の領域であってもよく、少なくとも1つの点の近傍を中心とする円形形状又は矩形形状の領域であってもよい。近傍とは、所定範囲内であることを意味し、例えば、10画素以内である。なお、所定の範囲は、これに限られず、対象物1の画像の撮像倍率などにより適宜設定され得る。円形形状は、略円形であればよく、例えば、円形形状、楕円形形状である。なお、観測領域3は、上記の形状に限られず、例えば、三角形形状、四角形形状、五角形形状、又は六角形形状などの多角形形状であってもよい。
 図7は、図6に示す観測領域3の拡大図である。図7に示すように、設定部60は、観測領域3内に複数の観測点6を設定する。より具体的には、設定部60は、観測領域3の大きさ、つまり、映像における観測領域3の画素数と、観測領域3内に設定され得る観測点6の個数及び観測点6間の間隔などのデータとが対応付けられた対応表(不図示)をメモリ(不図示)から読み出し、読み出した対応表に基づき、観測領域3内に複数の観測点6を設定する。
 図7は、さらに、観測領域3において、点線で囲まれた部分を拡大した図も示している。複数の観測点6のそれぞれは、例えば、観測ブロック7の中心点である。観測ブロック7は、1画素に対応する領域であってもよく、複数画素に対応する領域であってもよい。観測ブロック7は、対応表に基づいて設定される。
 設定部60は、ユーザが指定した少なくとも1つの点(ここでは、点2a及び点2b)の情報と、観測領域3の情報と、複数の観測点6及び複数の観測ブロック7の情報と、を紐づけて、メモリ(不図示)に格納する。なお、設定ステップS60のより詳細な処理フローについては、図10を参照して後述する。
 次いで、観測部80は、複数の観測点のそれぞれについて映像における動きを観測する(観測ステップS80)。上述したように、観測点6は、例えば、観測ブロック7の中心点である。複数の観測点6のそれぞれについての動きは、例えば、ブロックマッチング法により、複数の観測ブロック7における画像のずれ量を算出することにより導出される。つまり、複数の観測点6それぞれの動きは、複数の観測点6それぞれを中心点とする観測ブロック7の動きに対応する。なお、図8のフレームF及びGの間における観測ブロック7a中の画像のずれ(つまり、動き)は、観測ブロック7aにおける対象物1の変位を表す。以下、観測部80の動作について、図8及び図9を参照しながらより具体的に説明する。図8は、連続する2つのフレームF及びGの間における観測ブロック7aの動きを算出する一例を示す図である。図8の(a)は、映像におけるフレームFにおける観測ブロック7aの一例を示す図であり、図8の(b)は、フレームFと連続するフレームGにおける観測ブロック7aの一例を示す図である。また、図8に示す式は、フレームFにおける観測ブロック7aとフレームGにおける観測ブロック7aとのずれ量の絶対値(以下、単に「ずれ量」という。)を評価値として算出する式である。例えば、図8に示すように、観測部80は、映像において、連続する2つのフレームF及びGを選択し、フレームF及びGの間における観測ブロック7aのずれ量に対する評価値を算出する。評価値が最小となるときのずれ量は、2つのフレームF及びG間の画素単位の本来のずれ量に相当する。
 図9は、図8に示す式を用いて算出された評価値の近似曲線の一例を示す図である。図9における黒丸は、整数画素単位の評価値を模式的に示す。図9に示すように、観測部80は、算出した評価値の近似曲線を作成し、近似曲線において評価値が最小となるときのずれ量を本来のずれ量として導出してもよい。これにより、より細かい単位(サブピクセル単位)の本来のずれ量を導出することができる。
 以下、設定ステップS60について、図10~図12を参照して、より具体的に説明する。図10は、設定ステップS60の詳細な処理フローの一例を示すフローチャートである。図10では、受付部40から出力された少なくとも1つの点の情報を取得した後の処理フローを示している。
 図10に示すように、設定部60は、ユーザにより指定された少なくとも1つの点に基づいて領域を特定する(ステップS61)。より具体的には、図11に示すように、設定部60は、ユーザにより指定された点2a及び点2bのそれぞれを頂点とし、かつ、点2a及び点2bが対角線上に位置する矩形形状の領域を特定する。例えば、設定部60は、点2a及び点2bから表示部20の表示領域の水平方向と垂直方向に延びた4辺で矩形形状の領域を特定する。このように特定された領域を観測領域3(図6参照)と呼ぶ。
 図11は、観測領域3内に複数の観測点候補4を設定する一例を示す図である。設定部60は、ステップS61で特定された観測領域3に、当該少なくとも1つの点(ここでは、点2a及び点2b)よりも数が多い複数の観測点候補4を設定する(ステップS62)。
 次いで、設定部60は、ステップS62で設定された複数の観測点候補4について、観測点候補4毎の処理ループを開始し(ステップS63)、観測点候補4毎に観測点条件に適合するか否かの判定を行い(ステップS64)、複数の観測点候補4のうち観測点条件に適合する観測点候補4を観測点6に設定する処理を行う。複数の観測点候補4の全てについて、観測点候補4毎の処理ループを実施すると、観測点候補4毎の処理ループを終了する(ステップS67)。観測点候補4毎の処理ループについてより具体的に説明する。設定部60は、複数の観測点候補4の中からある観測点候補4を選択し、当該観測点候補4について、観測点条件に適合するか否かを判定する。設定部60は、当該観測点候補4が観測点条件に適合すると判定した場合(ステップS64でYES)、当該観測点候補4を観測点6(図7参照)に設定する(ステップS65)。この場合、設定部60は、例えば、当該観測点6にフラグを付して、メモリ(不図示)に格納する。なお、メモリ(不図示)は、設定部60とは別の構成として観測装置100に備えられてもよい。
 一方、設定部60は、ステップS62で設定された複数の観測点候補4の中からある観測点候補4を選択し、当該観測点候補4が観測点条件に適合しないと判定した場合(ステップS63でNO)、当該観測点候補4を除外する(ステップS66)。この場合、設定部60は、例えば、当該観測点候補4が観測点条件に適合しないという判定結果をメモリ(不図示)に格納する。
 ステップS64にて、ある観測点候補4が観測点条件に適合するか否かを判定する際に、設定部60は、当該ある観測点候補4を中心点とする観測ブロック候補(以下、ある観測ブロック候補)の画像自体を、又は、ある観測ブロック候補の画像と当該ある観測ブロック候補周辺の複数の観測ブロック候補(以下、他の複数の観測ブロック候補)のそれぞれの画像とを、評価又は比較する。このとき、設定部60は、これらの画像について、信号レベル、周波数特性、コントラスト、ノイズ、エッジ成分、及び、色などの画像が有する特徴を比較する。
 このようにして、設定部60は、複数の観測点候補4の全てについて観測点条件に適合するか否かの判定(ステップS64)を行い、複数の観測点6を設定する。図12は、図11に示す複数の観測点候補4の全てが観測点6として設定される例を示す図である。図12に示すように、図11に示す複数の観測点候補4の全てが観測点条件に適合した場合、観測領域3内の全ての観測点候補4は、観測点6として設定される。なお、観測領域3に設定された複数の観測点候補4のうち、観測点条件に適合しない観測点候補4を含む場合については、図13~図16を参照して後述する。
 観測点条件は、対象物1の動きを観測するために適した領域を決定するための条件であって、以下の3つの条件が含まれる。観測点条件(1)は、観測点が設定される対象領域に、対象物1が存在することである。観測点条件(2)は、観測点が設定される対象領域の画質が良好であることである。観測点条件(3)は、観測点が設定される対象領域に、観測の妨げとなり得る異物が存在しないことである。したがって、観測点条件に適合する観測点候補4とは、これらの3つの条件全てを満たす領域に設定された観測点候補4を示す。
 なお、対象領域に対象物1が存在するとは、対象領域に対象物1の画像が含まれることであり、例えば、対象領域に、空又は雲などの対象物1とは異なる背景、若しくは、対象物1の前方又は背後に対象物1以外の別物体の画像が含まれないことをいう。
 対象物1の存在は、観測ブロック候補の画像を評価し、観測ブロック候補の第1の所定の条件が予め設定した範囲内にあることで判別することができる。第1の所定の条件は、例えば、[1]画像の信号レベルの平均、分散、標準偏差、最大値、最小値又は中央値、[2]画像の周波数特性、[3]画像のコントラスト、[4]画像のノイズの平均値、分散値、標準偏差、最大値、最小値、中央値、又は、ノイズの周波数特性、[5]画像の色又は色信号の平均値、分散値、標準偏差、最大値、最小値若しくは中央値、及び、[6]画像中のエッジ成分の割合、量、又は、強さである。
 また、第1の所定の条件[1]~[6]においては観測ブロック候補の画像の特徴が予め設定した範囲内にあるか否かによって対象物1の存在の有無を判別したが、これに限られない。例えば、第1の所定の条件[1]~[6]で挙げた画像の特徴の評価結果の平均及び分散などの統計値又はそれらの類似度によって複数の観測ブロック候補をグループ分けし、得られたグループ毎に対象物1の存在の有無を判別してもよい。例えば、得られたグループのうち、最も多くの観測ブロック候補からなるグループ、又は、その逆で最も少ない観測ブロック候補からなるグループに、対象物1が存在すると判定してもよい。なお、上述の最多又は最少といった1つのグループに対象物1が存在すると判定されるのではなく、複数のグループに亘って対象物1が存在すると判定されてもよい。また、複数の観測ブロック候補のそれぞれの位置関係も考慮に入れてグループ分けをしてもよく、例えば、複数の観測ブロック候補のうち画像内での距離が近い観測ブロック候補ほど同一グループに分類されやすくなってもよい。このように複数の観測ブロック候補のそれぞれの位置関係を考慮してグループ分けすることで、対象領域に対象物1が存在するか否かを判定する精度が向上される。対象物1が存在する範囲は、連続した1つの範囲となることが多いため、上述した方法によって対象物1が存在しないと判定された観測ブロック候補が、対象物1が存在すると判定された複数の観測ブロック候補に囲まれた孤立した観測ブロック候補、又は、対象物1が存在すると判定された複数の観測ブロック候補に囲まれた少数の観測ブロック候補である場合、当該対象物1が存在しないと判定された観測ブロック候補を、対象物1が存在すると判定し直してもよい。これにより、対象物1の存在の有無を判定する際に、誤判定の発生を低減することができる。
 なお、対象領域の画質が良好であるとは、例えば、撮像装置200に入射する光量が適切であり、画像における物体の識別が可能である状態をいう。対象領域の画質が良好でないとは、画像における物体の識別が難しい状態であり、例えば、対象領域の輝度の平均値が閾値の上限よりも大きい高輝度領域(例えば、白飛びの領域)、又は、対象領域の輝度の平均値が閾値の下限値よりも小さい低輝度領域(例えば、黒つぶれの領域)である。これ以外に、ピントずれ又はレンズ収差によって画像がぼやけている状態、大気ゆらぎによって画像に変形又はぼやけが生じている状態、若しくは、撮像装置200が地面の振動又は風によって振動することによって画像にぶれが生じている状態も含まれる。
 対象領域の画質が良好であることは、観測ブロック候補の画像を評価し、観測ブロック候補の第2の所定の条件が予め設定した範囲内にあることで判別することができる。第2の所定の条件は、例えば、[7]画像の信号レベル(例えば、信号レベルが上述の白飛びとなるような高い値ではない、又は、黒つぶれとなるような低い値ではない)、[8]画像の信号レベルの平均値、分散値、標準偏差、最大値、最小値、又は、中央値、[9]画像の周波数特性、[10]画像のコントラスト、[11]画像のノイズの平均値、分散値、標準偏差、最大値、最小値、中央値、ノイズの周波数特性、又は、SNR(Signal Noise Ratio)、[12]画像の色又は色信号の平均値、分散値、標準偏差、最大値、最小値若しくは中央値、[13]画像中のエッジ成分の割合、量、強さ又は方向、及び、[14]画像中の[1]~[13]に挙げた特徴の時間的な変化である。
 また、上述の大気ゆらぎ、又は、撮像装置200の振動による画像の変形、ぼやけ、若しくはぶれは、時間的な画像の変化として現れる場合が多い。そのため、これらが生じておらず対象領域の画質が良好であることは、観測ブロック候補の画像を評価し、同一の観測ブロック候補の第3の所定の条件が予め設定した範囲内にあることで判別することができる。第3の所定の条件は、例えば、[15]画像の時間的な変形(変形量、変形率、変形方向)、拡大量、縮小量、面積の変化(変化量、変化率)、若しくは、その平均値又は分散値、[16]画像のエッジの時間的な変形又は曲がり、[17]画像のエッジ幅の時間的な変化、[18]画像の周波数特性の時間的な変化、[19]対象物1の画像において想定される動きに対して、画像から検出される方向も含んだ画像の移動又は変位の比、である。
 また、上述の大気ゆらぎによる画像の変形又はぼやけは、複数の観測ブロック候補に亘って生じる変化である場合が多い。そのため、これらの変化が生じておらず対象領域の画質が良好であることは、複数の観測ブロック候補の画像において、複数の観測ブロック候補のうち隣接する観測ブロック候補間の第4の所定の条件が予め設定した範囲内にあることで判別することができる。第4の所定の条件は、例えば、[20]画像の変形、拡大量、縮小量、面積の変化、画像のエッジの変形又は曲がり、画像のエッジ幅の変化、画像の周波数特性の変化、対象物1の画像において想定される動きに対して、画像から検出される方向も含んだ画像の移動又は変位の比、若しくはそれらの平均値又は分散値の差異である。上述の大気ゆらぎが発生した場合、対象物1の動きの観測、つまり、測定を正確に行うことは困難である。このように対象物1の動きの観測を妨げる現象が生じた場合、観測装置100は、ユーザに対象物1の動きを正確に観測できない状況である旨通知してもよい。ユーザへの通知は、例えば、画像又は音声により実行される。これにより、ユーザは対象物1の動きを観測するために適していない状況を避けて対象物1の動きを観測することができる。より具体的には、設定部60は、上述の[15]~[20]の所定の条件に基づき、画質が良好でないと判定した場合、その原因として大気ゆらぎが発生している可能性が高いと判定する。このとき、観測装置100は、表示部20に当該判定結果及びその原因を表示させてもよく、スピーカー(不図示)に警告音又は所定の音声を発生させてもよい。さらに、設定部60は、大気ゆらぎが発生している可能性が高いという判定結果と、全ての観測点候補が観測点条件に適合しないという判定結果と、を紐づけてメモリ(不図示)に格納する。また、大気ゆらぎが発生していると判定した場合には、撮像装置200の撮像周期(フレームレート)を高く設定して撮像するように撮像装置200を制御する手段(不図示)を設け、大気ゆらぎが対象物1の動きの観測結果に及ぼす影響を軽減するようにしてもよい。
 なお、観測の妨げとなり得る異物とは、例えば、対象物1とは異なる動く移動体、及び、対象物1に付着した付着物である。移動体は、対象物1とは異なる動く物体であれば特に限定されない。例えば、移動体は、飛行機、列車、自動車、バイク及び自転車などの乗り物、ラジコンヘリコプター及びドローンなどの無人飛行物、動物、人間及び昆虫などの生き物、並びに、ボール、ブランコ及びブーメランなどの遊具などである。また、付着物は、例えば、ポスターなどの貼り紙、銘板、シール、及び、ごみなどである。
 映像において設定された観測点に重なる形で移動体が通過すると、当該観測点の動きは、対象物1の動きと異なるものとなる。つまり、観測装置100により観測される当該観測点の動きは、対象物1の動きに対応していない。また、映像において付着物上に観測点が設定された場合、例えば当該付着物の表面にテクスチャがないとき、若しくは、付着物が風又は対象物1の振動などの影響で揺れるとき、対象物1の動きを正確に観測することが困難である。そのため、設定部60は、観測点条件(3)に適合しない領域、つまり、上記のような観測の妨げとなり得る異物の映像を含む領域を観測点条件に適合しない領域(不適合領域)として観測領域3から除外する。これにより、不適合領域に設定された観測点候補4を観測点候補から除外することができる。例えば、設定部60は、映像において移動体を検知すると、当該移動体を観測対象から除外する。言い換えると、設定部60は、映像において当該移動体と対象物1とが重なる領域を不適合領域として観測領域3から除外する。また、設定部60は、映像において対象物1上に付着物を検知すると、付着物と対象物1とが重なる領域を不適合領域として観測領域3から除外する。
 なお、観測の妨げとなり得る異物を判定する方法としては、例えば、観測ブロック候補が上述の条件[14]、及び、[15]~[19]のいずれかを満たさない場合、当該観測ブロック候補が観測の妨げとなり得る異物を含むと判定する方法がある。また、例えば、[21]複数の観測ブロック候補それぞれの画像の変位を観測し、複数の観測ブロック候補のうち、他の観測ブロック候補に比べて大きな画像の変位が観測される孤立した観測ブロック候補若しくは隣接した少数の観測ブロック候補、又は、複数の観測ブロック候補の画像の変位の平均値以上の画像の変位が観測される孤立した観測ブロック候補若しくは隣接した少数の観測ブロック候補がある場合、当該孤立した若しくは隣接した少数の観測ブロック候補が観測の妨げとなり得る異物を含むと判定する方法がある。さらに、[22]図9で説明した評価値の時間的な変化を評価する方法もある。例えば、観測点が設定される対象領域に異物が存在しない場合、観測ブロック候補の画像から求められる評価値の時間的変化は、画像の変化又は変形が少ないため、小さい。しかしながら、対象領域に異物が存在する場合、観測ブロック候補の画像から求められる評価値の時間的変化は、画像の変化又は変形が大きいため、異物が存在しない場合に比べて大きくなる。そのため、観測ブロック候補の画像から求められる評価値が予め設定した値よりも、時間的に大きく変化した場合は、対象領域に観測の妨げとなり得る異物が存在すると判定する。[23]異物が撮像した映像の全面を覆うような大きさにならないならば、上述の評価値の変化は異物が進入した限られた観測ブロック候補において発生するため、各観測ブロック候補においては、近接する周辺の観測ブロック候補の評価値と、当該各観測ブロック候補の評価値と、を比較し、評価値の差が予め設定した値よりも大きい場合、対象領域に観測の妨げとなり得る異物が存在すると判定してもよい。なお、移動体などの移動する異物は、複数の観測ブロック候補から観測点条件に適合する観測ブロック候補を選定する期間だけでなく、それ以外のタイミングでも映像において発生する可能性が十分にある。例えば、対象物1の動きの測定中に、移動体が映像において観測ブロックと重なるように通過することもある。その場合には、上述の方法で、映像において移動体を検知して、当該移動体が観測ブロックと重なるように通過したという情報をメモリ(不図示)に格納してもよい。また、移動体が通過した観測ブロックでは、少なくとも当該移動体が通過している間は、対象物1の動きを正確に観測できない。そのため、対象物1の動きを正確に観測できなかった期間の当該観測ブロックにおける対象物1の動きは、当該観測ブロックに近接する他の観測ブロックにおける対象物1の動きの観測結果を使って補間されてもよい。より具体的には、観測装置100は、当該観測ブロックに近接する他の観測ブロックにおける対象物1の動きの平均値を、当該観測ブロックにおける対象物1の動きの観測結果としてメモリ(不図示)に格納してもよい。また、観測装置100は、メモリ(不図示)に格納されている情報、例えば、移動体が映像において当該観測ブロックと重なるように通過したという情報をメモリ(不図示)から読み出し、対象物1の動きの観測が終了した後に、当該観測ブロックに移動体が重なるように通過した期間おける対象物1の動きを、当該観測ブロックに近接する他の観測ブロックにおける対象物1の動きの観測結果から補間してもよい。
 なお、[1]~[23]に挙げた所定の条件の設定値は、予め設定されている例を説明したが、対象物1の動きの観測に使用する映像に応じて適宜設定されてもよい。
 また、観測ブロック候補が観測点条件(1)~(3)のそれぞれに適合するか否かを判定する方法として、上記の[1]~[23]に挙げた所定の条件に基づいた方法を説明したが、これに限られない。観測ブロック候補が各観測点条件に適合するか否かの判定に利用できる方法は、上述のように観測点条件毎に必ずしも分類される訳ではなく、例えば、観測点条件(1)で説明した判定方法を、観測ブロック候補が観測点条件(2)又は観測点条件(3)に適合するか否かの判定に利用すること、若しくは、観測点条件(2)又は観測点条件(3)で説明した判定方法を、観測ブロック候補が観測点条件(1)に適合するか否かの判定に利用することも可能である。
 以下、観測領域内に設定された観測点候補のうち、観測点条件に適合しない観測点候補が存在する場合について、図面を参照しながら具体的に説明する。
 図13は、観測領域3a内に設定された複数の観測点候補4のうち観測点条件に適合しない観測点候補4が存在する一例を示す図である。図14は、複数の観測点候補4のうち、観測点条件に適合しない観測点候補4を観測点候補から除外して複数の観測点6を設定する例を示す図である。図13及び図14に示すように、観測領域3aは、ユーザにより指定された点2c及び点2dのそれぞれを頂点とし、かつ、点2c及び点2dが対角線上に位置するように設定された矩形形状の領域である。図13に示すように、設定部60は、観測領域3a内に複数の観測点候補4を設定する(図10のステップS62)。設定部60は、ステップS62で設定された複数の観測点候補4のうち、観測点条件(1)に適合しない観測点候補4を特定し、観測点候補から除外する(図10のステップS66)。言い換えると、設定部60は、観測領域3aのうち、対象物1が存在しない領域(以下、不適合領域5a)を特定し、当該不適合領域5aに設定された観測点候補4を削除する。図14に示すように、設定部60は、図13に示す観測領域3a内に設定された全ての観測点候補4について観測点条件に適合するか否かを判定した後(図10のステップS67)、観測領域3a内に複数の観測点6を設定する。これにより、設定された観測領域3aに、対象物1が存在しない領域が含まれている場合でも、設定部60は、観測点候補4が観測点条件に適合する領域に設定されたか否かを判定することにより、適切に、複数の観測点6を設定することができる。
 図15は、観測領域3a内に設定された複数の観測点候補4のうち、観測点条件に適合しない観測点候補4が存在する他の例を示す図である。図16は、複数の観測点候補4のうち、観測点条件に適合しない観測点候補4を観測点候補から除外して複数の観測点6を設定する他の例を示す図である。図15に示すように、設定部60は、観測領域3a内に複数の観測点候補4を設定する(図10のステップS62)。設定部60は、ステップS62で設定された複数の観測点候補4のうち、観測点条件(1)~(3)のいずれかに適合しない観測点候補4を特定し、観測点候補から除外する(図10のステップS66)。このとき、設定部60は、観測領域3aのうち、対象物1が存在しない領域(上記の不適合領域5a)及び画質が良好でない領域(以下、不適合領域5b)を特定し、不適合領域5a及び不適合領域5bに設定された観測点候補4を削除する。図16に示すように、設定部60は、図15に示す観測領域3a内に設定された全ての観測点候補4について観測点条件に適合するか否かを判定した後(図10のステップS67)、観測領域3a内に複数の観測点6を設定する。これにより、設定された観測領域3aに、対象物1が存在しない領域及び画質が良好でない領域が含まれる場合であっても、設定部60は、観測点候補4が観測点条件に適合する領域に設定されたか否かを判定することにより、適切に、複数の観測点6を設定することができる。
 図示しないが、設定部60は、観測点条件に対する複数の観測点6のそれぞれの適合度を算出し、対象物1の映像において当該適合度を表示部20に表示させてもよい。各観測点6の適合度は、パーセント又は5段階評価などの数字で表示されてもよく、適合度に応じて色分けして表示されてもよい。なお、この適合度とは、設定された各観測点6が上述した観測点条件の判定方法で設定した条件にどの程度適合していたかを示す指標である。
 なお、観測領域は、ユーザが映像において指定した2つの点のそれぞれを頂点とし、かつ、当該2つの点が対角線上に位置する矩形形状の領域である例について説明したが、観測領域はこの例に限られない。例えば、観測領域は、ユーザが映像において指定した少なくとも1つの点によって、以下のように設定されてもよい。
 図17は、表示部20に表示された対象物1の映像において指定された少なくとも1つの点の他の例を示す図である。図18は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の他の例を示す図である。図17に示すように、対象物1の映像において点2e、点2f及び点2g(以下、点2e~2f)の3つの点が指定されると、受付部40は、点2e~2fの位置などの情報を設定部60に出力する。次いで、図18に示すように、設定部60は、指定された点2e~2fの情報に基づいて、点2e~2fのそれぞれを頂点とする三角形形状の観測領域3eを設定し、設定した観測領域3e内に複数の観測点6を設定する。図18では、3つの点が指定される観測領域3eは三角形形状の領域を示しているが、これに限られない。例えば、4つの点、5つの点、6つの点、n個の点が指定される観測領域3eは、四角形形状、五角形形状、六角形形状、n角形形状などであってもよい。
 図19は、表示部20に表示された対象物1の映像において指定された少なくとも1つの点の他の例を示す図である。図20、図21及び図22は、ユーザが映像において指定した少なくとも1つの点に基づいて設定された観測領域の他の例を示す図である。図19に示すように、対象物1の映像において点2iが指定されると、受付部40は、点2iの位置などの情報を設定部60に出力する。次いで、図20に示すように、設定部60は、指定された点2iの情報に基づいて、点2iを中心とする円形形状の観測領域3hを設定し、設定した観測領域3h内に複数の観測点6を設定する。ここでは、観測領域3hは、点2iを中心とする円形形状の領域である例を示したが、図21に示すように、観測領域3h2は、点2iを中心とする矩形形状の領域であってもよい。図21では、観測領域3h2は四角形形状の領域を示しているが、これに限られない。観測領域3h2は、例えば、三角形形状、五角形形状、六角形形状などであってもよい。また、図22に示すように、ユーザが映像において橋桁11上に点2iを指定すると、設定部60は、橋桁11と同一の対象物として識別される領域を観測領域3iとして設定する。
 また、設定部60は、ユーザが映像において指定した複数の点の情報に基づいて、2以上の観測領域を設定してもよい。
 図23は、ユーザが映像において指定した複数(3つ)箇所における少なくとも1つの点に基づいて設定された複数(3つ)の観測領域の一例を示す図である。図23に示すように、例えば、ユーザが対象物1の映像において、橋桁11の近傍に点2j及び点2kを指定すると、設定部60は、点2j及び点2kのそれぞれを頂点とし、かつ、点2j及び点2kが対角線上に位置する矩形形状の観測領域3jを設定する。次いで、ユーザが橋桁11上に点2lを指定すると、設定部60は、点2lを中心とする円形形状の観測領域3lを設定する。次いで、橋脚12bの近傍に点2m及び点2nを指定すると、設定部60は、点2m及び点2nのそれぞれを頂点とし、かつ、点2m及び点2nが対角線上に位置する矩形形状の観測領域3mを設定する。
 図24は、ユーザが映像において指定した複数(3つ)箇所における少なくとも1つの点に基づいて設定された複数(3つ)の観測領域の他の例を示す図である。図24に示すように、例えば、ユーザが対象物1の映像において、橋桁11上に点2oを指定すると、設定部60は、橋桁11の点2oを含む面で、対象物1の一部分として識別される部分領域を観測領域3oとして設定する。次いで、ユーザが橋脚12bの上に点2pを指定すると、設定部60は、橋脚12bの点2pを含む面で、対象物1の一部分として識別される部分領域を観測領域3pとして設定する。また、ユーザが橋脚12aの近傍に点2qを指定すると、設定部60は、複数の対象物(例えば、橋桁11、及び、支承など)としてそれぞれ識別される複数の領域のうち、点2qに最も近い領域を観測領域3qとして設定する。設定部60は、これらの観測領域のそれぞれに、上述した処理フローに従い、複数の観測点6を設定する。
 なお、このとき、点2o又は点2pを含む面、若しくは点2qに近接する領域を識別する方法としては、画像中の明るさ(輝度)、色、テクスチャ、及び、エッジ等の特徴を利用して、画像内をセグメント化する技術(いわゆる、画像セグメンテーション)が知られており、これを利用して画像中における対象物の一つの面又は部分領域を特定してもよい。また、上述した測距カメラ、ステレオカメラ、又は、TOF(Time-Of-Flight)方式のカメラを利用すれば、撮影する対象物の奥行方向の情報(いわゆる、デプスマップ)を観測することが可能であり、この情報を用いて、例えば3次元空間上で同一面上に存在する部分を画像中から抽出して画像における対象物の一つの面を特定してもよいし、3次元空間上の位置関係で画像における対象物の一つの部分を特定してもよい。
 観測部80は、複数の観測点6のそれぞれについて動きを観測し、観測結果をメモリ(不図示)に格納する。ここで、観測点6の動きとは、動き自身と、その動きの傾向とを含む意味である。このとき、観測部80は、複数の観測点6のうち他の観測点6と動きが異なる観測点6がある場合、当該動きが異なる観測点6にフラグを付して、メモリ(不図示)に格納する。設定部60は、観測結果をメモリ(不図示)から読み出し、他の観測点6と動きが異なる観測点6を含む再設定領域を設定し、再設定領域に複数の観測点6を設定し直す。図25は、設定部60が再設定領域を設定する例を示す図である。図26は、設定部60が再設定領域に複数の観測点6を設定し直す例を示す図である。設定部60は、観測領域3o、3p及び3qのそれぞれに設定された複数の観測点6について動きを観測した観測結果を、メモリ(不図示)から読み出し、他の観測点6と動きが異なる観測点6を検出する。次いで、設定部60は、他の観測点6と動きが異なる観測点6を含む所定の範囲の領域をそれぞれ再設定領域8a、8b、8c、8d及び8e(以下、8a~8e)として設定する。次いで、設定部60は、再設定領域8a~8e内の複数の観測点6を設定し直す。例えば、設定部60は、図26に示すように、再設定領域8a~8eにおいて複数の観測点6の密度が高くなるように複数の観測点6を設定し直してもよい。また、設定部60は、再設定領域8a~8eのそれぞれにおいて、他の観測点6と動きが異なる観測点6の個数及び位置などの情報に基づき、例えば、他の観測点6と動きが異なる観測点6の近傍にのみ複数の観測点6の密度が高くなるように複数の観測点6を設定し直してもよい。これにより、観測部80は、対象物1に生じる動きだけでなく、例えば、歪みのような微細な変化も検出することができる。そのため、観測部80は、対象物1において、例えば、亀裂、空洞、又は、今後亀裂が生じ得る箇所などの劣化した部分を特定することができる。
 [効果]
 実施の形態1に係る観測方法は、対象物が撮像された映像を表示し、表示された映像における少なくとも1つの点の指定を受け、指定された少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を映像において設定し、複数の観測点のそれぞれについて映像における動きを観測する。
 上記方法によれば、ユーザは、対象物の映像において少なくとも1つの点を指定することにより、映像において領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を容易に設定することができる。これにより、ユーザは、対象物の動きを簡便に観測することができる。
 例えば、実施の形態1に係る観測方法では、複数の観測点は、少なくとも1つの点よりも数が多くてもよい。
 これにより、ユーザは、映像において少なくとも1つの点を指定することにより、対象物のうちの動きを観測したい領域に簡便に複数の観測点を設定することができる。
 例えば、実施の形態1に係る観測方法では、少なくとも1つの点に基づいて特定される領域は、少なくとも1つの点の近傍を頂点とする矩形形状の領域であってもよい。
 これにより、ユーザは、対象物のうちの動きを観測したい領域を簡便に指定することができる。
 例えば、実施の形態1に係る観測方法では、少なくとも1つの点に基づいて特定される領域は、少なくとも1つの点の近傍を中心とする円形形状又は矩形形状の領域であってもよい。
 これにより、ユーザは、対象物のうちの動きを観測したい領域を簡便に指定することができる。
 例えば、実施の形態1に係る観測方法では、少なくとも1つの点に基づいて特定される領域は、対象物の部分領域として識別される領域であってもよい。
 これにより、ユーザは、対象物のうちの動きを観測したい領域を簡便に指定することができる。
 例えば、実施の形態1に係る観測方法では、少なくとも1つの点に基づいて特定される領域は、複数の対象物としてそれぞれ識別される複数の領域のうち、少なくとも1つの点に最も近い領域、又は、少なくとも1つの点を含む領域であってもよい。
 これにより、ユーザは、映像において複数の対象物が存在する場合に、これらの対象物のうちの動きを観測したい対象物の近傍又は対象物上に少なくとも1つの点を指定することにより、動きを観測したい対象物を簡便に指定することができる。
 例えば、実施の形態1に係る観測方法は、複数の観測点の設定では、指定された少なくとも1つの点に基づいて、複数の観測点候補を映像において設定し、複数の観測点候補のうち、観測点条件に適合しない観測点候補を除外して、複数の観測点を設定してもよい。
 上記方法によれば、観測点条件に適合する観測点候補を観測点として設定することができる。観測点条件は、対象物の動きを観測するために適した領域を決定するための条件である。より具体的には、上記方法において、観測点条件に適合するか否かを判定することにより、映像において、白飛び又は黒つぶれが生じた領域、不明瞭な領域、若しくは、対象物に異物が付着した領域など、対象物の動きを観測するために適していない領域(以下、不適合領域ともいう)を特定する。そのため、上記方法によれば、不適合領域に複数の観測点候補が設定されても、不適合領域を特定することにより、当該不適合領域に設定された観測点候補を除外して、複数の観測点を設定することができる。
 例えば、実施の形態1に係る観測方法は、観測点条件に対する複数の観測点のそれぞれの適合度を映像において表示してもよい。
 これにより、ユーザは、例えば、観測点条件に対する複数の観測点のそれぞれの適合度を参照しながら、複数の観測点のうちの所定の範囲の適合度を有する観測点を選択して、複数の観測点として設定することができる。
 例えば、実施の形態1に係る観測方法は、さらに、複数の観測点のそれぞれについて動きを観測した結果に基づき、複数の観測点を設定し直してもよい。
 これにより、例えば、複数の観測点のうち他の観測点と動きが異なる観測点がある場合、当該動きが異なる観測点を含む所定の領域において、複数の観測点の密度が高くなるように、複数の観測点を設定し直すことができる。他の観測点と動きが異なる観測点の近傍では、歪が生じているため、当該動きが異なる観測点を含む所定の領域において、複数の観測点を密に設定することにより、歪みが生じている部分を精度良く特定することができる。
 また、実施の形態1に係る観測装置は、対象物が撮像された映像を表示する表示部と、表示された映像における少なくとも1つの点の指定を受け付ける受付部と、指定された少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を映像において設定する設定部と、複数の観測点のそれぞれについて動きを観測する観測部と、を備える。
 上記構成によれば、観測装置は、ユーザが対象物の映像において指定した少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を容易に設定することができる。
 (実施の形態2)
 続いて、実施の形態2に係る観測システム及び観測装置について説明する。
 [観測システム及び観測装置]
 実施の形態1では、設定部60は、ユーザが指定した少なくとも1つの点によって映像において定められる領域である観測領域内に、少なくとも1つの点よりも数が多い複数の観測点を設定する例について説明した。実施の形態2では、設定部60は、ユーザが指定した少なくとも1つの点に基づいて特定されるエッジ上に、少なくとも1つの点よりも数が多い複数の観測点を設定する点で、実施の形態1と異なる。以下、実施の形態1と異なる点を中心に説明する。
 図27は、実施の形態2に係る観測システム300aの一例を示す概略図である。図27に示すように、観測システム300aは、観測装置100aと撮像装置200とを備える。観測装置100aは、実施の形態1に係る観測装置100と同じ構成を有するが、設定部60における処理フローが異なる。より具体的には、観測装置100aは、対象物1aにおける複数のエッジを識別し、識別した複数のエッジのうち、ユーザが指定した少なくとも1つの点に基づいて所定のエッジを設定し、所定のエッジ上又は所定のエッジにより定められた領域内に複数の観測点6を設定する点で異なる。
 観測システム300aは、例えば、吊り橋又は斜張橋などの複数のケーブルを有する構造物である対象物1aの映像を撮像し、撮像された映像における少なくとも1つの点の指定を受け付けて、当該指定された点によって映像において定められるエッジ(以下、観測エッジ)上に、当該指定された点よりも数が多い複数の観測点を設定し、複数の観測点のそれぞれについて動きを観測する。ここで、観測エッジは、映像において識別される複数のエッジのうち、ユーザが指定した少なくとも1つの点に最も近いエッジ、又は、当該少なくとも1つの点と重なるエッジである。以下、観測エッジが、映像において識別される複数のエッジのうち、ユーザが指定した少なくとも1つの点と重なるエッジである場合について図面を参照しながらより具体的に説明する。
 図28は、表示部20が表示した対象物1aの映像の一例を示す図である。図28に示すように、表示部20は、撮像装置200が撮像した対象物1aの映像を表示する。対象物1aは、例えば、ケーブル14を有する吊り橋である。ユーザは、対象物1aの映像において点2rを指定する。
 図29は、ユーザが指定した少なくとも1つの点2rと重なる1つのエッジ上に設定された複数の観測点6の一例を示す図である。図29に示すように、ユーザが映像においてケーブル14のエッジ上の1点2rを指定すると、設定部60は、映像において連続する複数のエッジを識別し、識別した複数のエッジのうち点2rと重なるエッジ上に複数の観測点6を設定する。なお、設定部60は、識別した複数のエッジのうち、1つのケーブル14を構成する2つのエッジ上に複数の観測点6を設置してもよく、図30に示すように、2つのエッジの間に複数の観測点6を設置してもよい。
 図30は、ユーザが指定した少なくとも1つの点2rと重なる1つのエッジと、当該1つのエッジと連続する、又は近接する他のエッジとの間に設定された複数の観測点6の一例を示す図である。図30に示すように、ユーザが映像においてケーブル14のエッジ上の1点2rを指定すると、設定部60は、映像において連続する、又は近接する2つのエッジを識別し、識別した2つのエッジの間に複数の観測点6を設定する。
 続いて、ユーザが映像においてケーブル14の異なるエッジを指定した場合について説明する。図31は、ユーザが指定した少なくとも1つの点2s及び点2tのそれぞれと重なる2つのエッジ上に設定された複数の観測点6の他の例を示す図である。図31に示すように、ユーザが映像においてケーブル14の異なる2つのエッジ上のそれぞれに点2sと点2tとを指定した場合、設定部60は、映像において連続する複数のエッジを識別し、識別した複数のエッジのうち点2sと重なるエッジ上と、点2tと重なるエッジ上とに、複数の観測点6を設定する。
 図32は、ユーザが指定した少なくとも1つの点2s及び点2tのそれぞれと重なる2つのエッジの間に設定された複数の観測点6の他の例を示す図である。図32に示すように、ユーザが映像においてケーブル14の異なる2つのエッジ上のそれぞれに点2s及び点2tを指定すると、設定部60は、映像において点2sと重なる連続する1つのエッジと、点2tと重なる連続する他のエッジとを識別し、これらの2つの連続するエッジの間に複数の観測点6を設定する。
 なお、観測エッジが、映像において識別される複数のエッジのうち、ユーザが指定した少なくとも1つの点に最も近いエッジである場合も、上記と同様に、複数の観測点6は、連続する1つのエッジ上、連続する2つのエッジ上、又は、連続する2つのエッジの間に設定される。
 [効果]
 例えば、実施の形態2に係る観測方法では、複数の観測点は、少なくとも1つの点に基づいて特定されるエッジ上に設定されてもよい。
 これにより、対象物が例えばケーブル、ワイヤ、鉄骨、鋼材、パイプ、柱、ポール、又は、バーなどの細長い物体である場合、ユーザは、映像において少なくとも1つの点を指定することにより、動きを観測したい対象物のエッジ上に複数の観測点を簡便に設定することができる。
 例えば、本開示の一態様に係る観測方法では、少なくとも1つの点に基づいて特定されるエッジは、映像において識別される複数のエッジのうち、少なくとも1つの点に最も近いエッジ、又は、少なくとも1つの点と重なるエッジであってもよい。
 これにより、ユーザは、映像において複数のエッジが存在する場合に、これらのエッジのうちの動きを観測したいエッジの近傍又はエッジ上に少なくとも1つの点を指定することにより、動きを観測したいエッジを簡便に指定することができる。
 (他の実施の形態)
 以上、本開示の1つ又は複数の態様に係る観測方法及び観測装置について、上記の実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構成される形態も、本開示の1つ又は複数の態様の範囲内に含まれてもよい。
 まず、他の実施の形態に係る観測装置について説明する。図33は、他の実施の形態に係る観測装置101の構成の一例を示すブロック図である。
 図33に示すように、観測装置101は、対象物が撮像された映像を表示する表示部20と、指定された映像における少なくとも1つの点の指定を受け付ける受付部40と、指定された少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を設定する設定部60と、複数の観測点のそれぞれについて映像における動きを観測する観測部80と、を備える。
 図34は、他の実施の形態に係る観測装置101の動作の一例を示すフローチャートである。図34に示すように、表示部20は、対象物が撮像された映像を表示する(表示ステップS20)。次いで、受付部は、表示ステップS20で表示部20が表示した映像における少なくとも1つの点の指定を受け付ける(受付ステップS40)。受付部40は、指定された少なくとも1つの点の情報を設定部60に出力する。次いで、設定部60は、指定された少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を設定する(設定ステップS60)。次いで、観測部80は、複数の観測点のそれぞれについて映像における動きを観測する(観測ステップS80)。
 これにより、観測装置は、ユーザが対象物の映像において指定した少なくとも1つの点に基づいて、映像における領域又はエッジを特定し、特定された領域内又はエッジ上に複数の観測点を容易に設定することができる。
 例えば、上記実施の形態における観測システムでは1台の撮像装置で構成する場合を説明したが、2台以上の複数の撮像装置を用いて構成してもよい。これにより、複数の撮像された映像を取得できるため、ステレオ撮像による奥行方向の測定技術又はデプスマップ測定技術、若しくは、SfM(Structure from Motion)などの3次元再構成技術を用いて、対象物1の3次元の変位又は形状をも精度良く計測することができる。このため、当該観測システムを、例えば対象物1の3次元的な変位の計測、並びに、実施の形態1及び実施の形態2で説明した観測点の設定に利用することにより、亀裂の進展方向をより精度良く特定するなどといったことができる。
 例えば、上記実施の形態における観測装置が備える構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、観測装置は、取得部と、導出部と、特定部と、を有するシステムLSIから構成されてもよい。
 システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLISは、その機能を達成する。
 なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法は、LSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいは、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
 さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
 また、本開示の一態様は、このような観測装置だけではなく、観測装置に含まれる特徴的な構成部をステップとする観測方法であってもよい。また、本開示の一態様は、観測方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータで読み取り可能な非一時的な記録媒体であってもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の観測装置などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、対象物が撮像された映像を表示し、表示された映像における少なくとも1つの点の指定を受け、指定された少なくとも1つの点に基づいて、少なくとも1つの点よりも数が多い複数の観測点を映像において設定し、複数の観測点のそれぞれについて動きを観測する観測方法を実行させる。
 本開示は、対象物の動きを観測する観測点を簡便に設定できる観測装置に広く利用可能である。
 1、1a 対象物
 2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t 点
 3、3a、3e、3h、3h2、3i、3j、3l、3m、3o、3p、3q 観測領域
 4 観測点候補
 5a、5b 不適合領域
 6 観測点
 7、7a 観測ブロック
 8a、8b、8c、8d 再設定領域
 10 取得部
 11 橋桁
 12a、12b 橋脚
 13a、13b 支承
 14 ケーブル
 20 表示部
 30 制御部
 40 受付部
 60 設定部
 80 観測部
 100、100a、101 観測装置
 200 撮像装置
 300、300a 観測システム

Claims (12)

  1.  対象物が撮像された映像を表示し、
     表示された前記映像における少なくとも1つの点の指定を受け付け、
     指定された前記少なくとも1つの点に基づいて、前記映像における領域又はエッジを特定し、
     特定された前記領域内又は前記エッジ上に複数の観測点を設定し、
     前記観測点のそれぞれについて前記映像における動きを観測する、
     観測方法。
  2.  前記複数の観測点は、前記少なくとも1つの点よりも数が多い、
     請求項1に記載の観測方法。
  3.  前記少なくとも1つの点に基づいて特定される領域は、前記少なくとも1つの点の近傍を頂点とする矩形形状の領域である、
     請求項2に記載の観測方法。
  4.  前記少なくとも1つの点に基づいて特定される領域は、前記少なくとも1つの点の近傍を中心とする円形又は矩形形状の領域である、
     請求項2に記載の観測方法。
  5.  前記少なくとも1つの点に基づいて特定される領域は、前記対象物の部分領域として識別される領域である、
     請求項2~4のいずれか一項に記載の観測方法。
  6.  前記少なくとも1つの点に基づいて特定される領域は、複数の対象物としてそれぞれ識別される複数の領域のうち、前記少なくとも1つの点に最も近い領域、又は、前記少なくとも1つの点を含む領域である、
     請求項2に記載の観測方法。
  7.  前記複数の観測点は、前記少なくとも1つの点に基づいて特定されるエッジ上に設定される、
     請求項1又は2に記載の観測方法。
  8.  前記少なくとも1つの点に基づいて特定されるエッジは、前記映像において識別される複数のエッジのうち、前記少なくとも1つの点に最も近いエッジ、又は、前記少なくとも1つの点と重なるエッジである、
     請求項7に記載の観測方法。
  9.  前記複数の観測点の設定では、
     指定された前記少なくとも1つの点に基づいて、複数の観測点候補を前記映像において設定し、
     前記複数の観測点候補のうち、観測点条件に適合しない観測点候補を除外して、複数の観測点を設定する、
     請求項1~8のいずれか一項に記載の観測方法。
  10.  前記観測点条件に対する前記複数の観測点のそれぞれの適合度を前記映像において表示する、
     請求項9に記載の観測方法。
  11.  さらに、前記複数の観測点のそれぞれについて動きを観測した結果に基づき、複数の観測点を設定し直す、
     請求項1~10のいずれか一項に記載の観測方法。
  12.  対象物が撮像された映像を表示する表示部と、
     表示された前記映像における少なくとも1つの点の指定を受け付ける受付部と、
     指定された前記少なくとも1つの点に基づいて、前記映像における領域又はエッジを特定し、特定された前記領域内又は前記エッジ上に複数の観測点を設定する設定部と、
     前記複数の観測点のそれぞれについて前記映像における動きを観測する観測部と、
     を備える、
     観測装置。
PCT/JP2019/046259 2018-12-19 2019-11-27 観測方法及び観測装置 WO2020129554A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020561244A JPWO2020129554A1 (ja) 2018-12-19 2019-11-27
US17/346,582 US20210304417A1 (en) 2018-12-19 2021-06-14 Observation device and observation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-237093 2018-12-19
JP2018237093 2018-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/346,582 Continuation US20210304417A1 (en) 2018-12-19 2021-06-14 Observation device and observation method

Publications (1)

Publication Number Publication Date
WO2020129554A1 true WO2020129554A1 (ja) 2020-06-25

Family

ID=71101106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046259 WO2020129554A1 (ja) 2018-12-19 2019-11-27 観測方法及び観測装置

Country Status (3)

Country Link
US (1) US20210304417A1 (ja)
JP (1) JPWO2020129554A1 (ja)
WO (1) WO2020129554A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049632A (zh) * 2022-06-28 2022-09-13 深圳市瀚德智能机器人有限公司 管带扭转检测方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245438A (ja) * 2001-02-20 2002-08-30 Shigenori Tanaka 3次元コンピュータグラフィックス作成支援装置、3次元コンピュータグラフィックス作成支援方法、及び3次元コンピュータグラフィックス作成支援プログラム
JP2004102562A (ja) * 2002-09-09 2004-04-02 Fuji Xerox Co Ltd 紙識別照合装置及び紙識別照合方法
JP2006285910A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP2009276073A (ja) * 2008-05-12 2009-11-26 Toyota Industries Corp 平面推定方法、曲面推定方法、および平面推定装置
JP2017059015A (ja) * 2015-09-17 2017-03-23 三菱電機株式会社 観測器制御装置、観測器制御方法及び観測器制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10062176B2 (en) * 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245438A (ja) * 2001-02-20 2002-08-30 Shigenori Tanaka 3次元コンピュータグラフィックス作成支援装置、3次元コンピュータグラフィックス作成支援方法、及び3次元コンピュータグラフィックス作成支援プログラム
JP2004102562A (ja) * 2002-09-09 2004-04-02 Fuji Xerox Co Ltd 紙識別照合装置及び紙識別照合方法
JP2006285910A (ja) * 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP2009276073A (ja) * 2008-05-12 2009-11-26 Toyota Industries Corp 平面推定方法、曲面推定方法、および平面推定装置
JP2017059015A (ja) * 2015-09-17 2017-03-23 三菱電機株式会社 観測器制御装置、観測器制御方法及び観測器制御プログラム

Also Published As

Publication number Publication date
JPWO2020129554A1 (ja) 2020-06-25
US20210304417A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR101870902B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6857218B2 (ja) 損傷情報処理装置及び損傷情報処理方法
WO2016152076A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2016152075A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
JP2016218762A (ja) 画像処理装置、方法及びプログラム
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
WO2017179535A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
CN110287826A (zh) 一种基于注意力机制的视频目标检测方法
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
JP6723798B2 (ja) 情報処理装置、方法、プログラム
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
WO2020129554A1 (ja) 観測方法及び観測装置
JP6960047B2 (ja) 振動解析装置、振動解析装置の制御方法、振動解析プログラムおよび記録媒体
US20220076399A1 (en) Photographing guide device
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法
JP2019219248A (ja) 点群処理装置、点群処理方法およびプログラム
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
JP6897448B2 (ja) 線幅推定プログラム、装置、及び方法
Saravanan et al. Operational modal analysis of light pole-viaduct system from video measurements using phase-based motion magnification
JP2021140693A (ja) 試験片上の欠陥検出の方法およびそのシステム
JP4351090B2 (ja) 画像処理装置および画像処理方法
JP2024066079A (ja) 計測装置、計測システム及び計測方法
US20240144624A1 (en) Measurement apparatus, measurement system, and measurement method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19900697

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020561244

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19900697

Country of ref document: EP

Kind code of ref document: A1