JPWO2020090154A1 - 情報提示方法、情報提示装置、及び、情報提示システム - Google Patents

情報提示方法、情報提示装置、及び、情報提示システム Download PDF

Info

Publication number
JPWO2020090154A1
JPWO2020090154A1 JP2020554759A JP2020554759A JPWO2020090154A1 JP WO2020090154 A1 JPWO2020090154 A1 JP WO2020090154A1 JP 2020554759 A JP2020554759 A JP 2020554759A JP 2020554759 A JP2020554759 A JP 2020554759A JP WO2020090154 A1 JPWO2020090154 A1 JP WO2020090154A1
Authority
JP
Japan
Prior art keywords
information
color
image
images
monochrome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020554759A
Other languages
English (en)
Other versions
JP7336773B2 (ja
Inventor
今川　太郎
太郎 今川
晃浩 野田
晃浩 野田
悠樹 丸山
悠樹 丸山
日下　博也
博也 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2020090154A1 publication Critical patent/JPWO2020090154A1/ja
Application granted granted Critical
Publication of JP7336773B2 publication Critical patent/JP7336773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Abstract

情報提示方法は、モノクロカメラ（２０）で構造物（Ｏ）を撮像した２以上のモノクロ画像と、カラーカメラ（３０）で構造物（Ｏ）を撮像した１以上の第１カラー画像であって、２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像とを取得する取得ステップ（Ｓ１０）と、２以上のモノクロ画像に基づいて構造物（Ｏ）の動きを示す変位を検出する検出ステップ（Ｓ２０）と、２以上のモノクロ画像と１以上の第１カラー画像とに基づいて、変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成ステップ（Ｓ３０〜Ｓ５０）と、提示情報を出力する出力ステップ（Ｓ６０）とを含む。

Description

本開示は、情報提示方法、情報提示装置、及び、情報提示システムに関する。
従来、橋梁等のインフラ構造物の点検は、作業員が定期的に橋梁等を目視検査又は打音検査することで行われている。しかし、点検箇所は膨大であり、また構造物の設置場所によっては確認作業が困難となり、作業員の負担となっている。そこで、カメラを用いて構造物の検査を行うことが検討されている。
カメラを用いた検査においては、橋梁等の動きを高精度に検出することが望まれる。例えば、特許文献１には、計測対象物に設けられた複数の格子パターンの変位を算出することで、計測対象物の動きを計測する計測装置が開示されている。
特開２０１５−１４１１５１号公報
計測装置においては、構造物の変位の計測が高精度に行われるとともに、計測結果がわかりやすく提示されることが望まれる。しかしながら、特許文献１の計測装置では、計測結果をわかりやすく提示することについては、考慮されていない。
そこで、本開示は、構造物の変位の計測を高精度に行えるとともに、計測結果をわかりやすく提示することができる情報提示方法、情報提示装置及び情報提示システムを提供することを目的とする。
本開示の一態様に係る情報提示方法は、第１撮像装置で構造物を撮像した２以上のモノクロ画像と、前記第１撮像装置と異なる第２撮像装置で前記構造物を撮像した１以上の第１カラー画像であって、前記２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像とを取得する取得ステップと、前記２以上のモノクロ画像に基づいて前記構造物の動きを示す変位を検出する検出ステップと、前記２以上のモノクロ画像と前記１以上の第１カラー画像とに基づいて、前記変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成ステップと、前記提示情報を出力する出力ステップとを含む。
本開示の一態様に係る情報提示装置は、第１撮像装置で構造物を撮像した２以上のモノクロ画像を取得する第１取得部と、前記第１撮像装置と異なる第２撮像装置で前記構造物を撮像した１以上の第１カラー画像であって、前記２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像を取得する第２取得部と、前記２以上のモノクロ画像に基づいて前記構造物の動きを示す変位を検出する変位検出部と、前記２以上のモノクロ画像と前記１以上の第１カラー画像とに基づいて、前記変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成部と、前記提示情報を出力する出力部とを備える。
本開示の一態様に係る情報提示システムは、上記の情報提示装置と、前記構造物を含む前記２以上のモノクロ画像を撮像し、撮像した前記２以上のモノクロ画像を前記情報提示装置に出力するモノクロカメラと、前記構造物を含む前記１以上のカラー画像を撮像し、撮像した前記１以上のカラー画像を前記情報提示装置に出力するカラーカメラとを備える。
本開示の一態様に係る情報提示方法、情報提示装置及び情報提示システムによれば、構造物の変位の計測を高精度に行えるとともに、計測結果をわかりやすく提示することができる。
図１は、実施の形態１に係る情報提示システムの構成を示す概略図である。 図２は、実施の形態１に係る情報提示システムの機能構成を示すブロック図である。 図３Ａは、実施の形態１に係る情報提示装置が取得する画像データの第１例を示す図である。 図３Ｂは、実施の形態１に係る情報提示装置が取得する画像データの第２例を示す図である。 図３Ｃは、実施の形態１に係る情報提示装置が取得する画像データの第３例を示す図である。 図４は、実施の形態１に係るモノクロ画像とカラー画像との対応付けを説明するための図である。 図５は、実施の形態１に係る情報提示装置の動作を示すフローチャートである。 図６は、実施の形態２に係る情報提示システムの機能構成を示すブロック図である。 図７は、実施の形態２に係るモノクロ画像とカラー画像との対応付けを説明するための図である。 図８は、実施の形態２に係る情報提示装置の動作を示すフローチャートである。
（本開示の概要）
本開示の一態様に係る情報提示方法は、第１撮像装置で構造物を撮像した２以上のモノクロ画像と、前記第１撮像装置と異なる第２撮像装置で前記構造物を撮像した１以上の第１カラー画像であって、前記２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像とを取得する取得ステップと、前記２以上のモノクロ画像に基づいて前記構造物の動きを示す変位を検出する検出ステップと、前記２以上のモノクロ画像と前記１以上の第１カラー画像とに基づいて、前記変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成ステップと、前記提示情報を出力する出力ステップとを含む。
これにより、構造物の変位の検出をモノクロ画像に基づいて行うことができるので、第１カラー画像に基づいて変位を検出する場合に比べ構造物の変位の検出を高精度に行うことができる。つまり、構造物の変位の計測を高精度に行うことができる。また、検出された変位を示す情報を含むカラー画像（第２カラー画像）が提示情報として出力されるので、モノクロ画像が出力される場合に比べ、わかりやすい結果を提示することができる。よって、本開示の一態様に係る情報提示方法によれば、構造物の変位の計測を高精度に行えるとともに、計測結果をわかりやすく提示することができる。
例えば、構造物がインフラ構造物である場合、撮像装置が撮像した画像に基づいて検出された結果を、検査員以外の人も確認することが想定される。検査員以外の人とは、例えば、インフラ構造物の管理者などの検査に対する専門知識が少ない人（以降において、非検査員とも記載する）などである。そのため、非検査員にもわかるような計測結果が提示されることが望まれる。
上記の方法であれば、カラー画像で計測結果が提示されるので、非検査員が見ても状況把握がしやすくわかりやすい結果を提示することができる。つまり、上記の方法であれば、画像を用いて高精度に変位を計測することと、計測結果をわかりやすい提示することとを両立することができる。
また、前記提示情報生成ステップは、前記２以上のモノクロ画像と前記１以上の第１カラー画像とにおける画素位置を対応づける対応付けステップと、前記対応付けステップで得られる対応付け結果に基づいて、前記変位を示す情報を前記第１カラー画像に重畳することで前記第２カラー画像を生成する重畳ステップとを含んでもよい。
これにより、生成される第２カラー画像は、情報量が少ない第１カラー画像に、モノクロ画像に基づいて計測された計測結果（変位を示す情報）が重畳された画像となる。よって、提示情報の情報量が増加することを抑制しつつ、高精度の変位計測及びわかりやすい結果の提示を両立することができる。
また、第２カラー画像のみが記憶装置に記憶される場合、情報量の多いモノクロ画像が記憶されないので、計測結果を記憶しておくための記憶容量を削減することができる。
また、前記提示情報生成ステップは、前記２以上のモノクロ画像と前記１以上の第１カラー画像とにおける画素位置を対応づける対応付けステップと、前記１以上のカラー画像に基づいて色情報を取得する色情報取得ステップと、前記対応付けステップで得られる対応付け結果と、前記色情報とに基づいて、前記２以上のモノクロ画像から第３カラー画像を生成するカラー画像生成ステップと、前記変位を示す情報を前記第３カラー画像に重畳することで前記第２カラー画像を生成する重畳ステップとを含んでもよい。
これにより、生成される第２カラー画像は、情報量が多いモノクロ画像をカラー化した第３カラー画像に、モノクロ画像に基づいて計測された計測結果（変位を示す情報）が重畳された画像となる。つまり、提示情報は、高精細なカラー画像に計測結果が重畳された画像を含む。よって、さらにわかりやすく計測結果を提示することができる。
また、第２カラー画像のみが記憶装置に記憶される場合、さらに追加で変位の計測（例えば、第２カラー画像に写っているが、変位を計測していない位置の変位の計測）を行いたいときなどに、第２カラー画像を用いて追加の計測を高精度に行うことが可能である。つまり、追加の撮像などを行うことなく、第２カラー画像を用いて所望の位置の変位を高精度に計測可能である。
また、前記第１撮像装置は、モノクロカメラであり、前記第２撮像装置は、カラーカメラであってもよい。
これにより、モノクロカメラにより撮像されたモノクロ画像とカラーカメラにより撮像された第１カラー画像とに基づいて、高精度の変位計測及びわかりやすい計測結果の提示を両立することができる。例えば、一般的にモノクロカメラはカラーカメラより高精細な画像を撮像可能である。そのため、モノクロカメラにより撮像されたモノクロ画像に基づいて変位を計測することで、当該変位を高精度にかつ容易に計測することができる。また、カラーカメラにより撮像されたカラー画像を用いることで、変位の計測に用いないカラー画像であって、容量の増加が抑制されたカラー画像を容易に取得可能である。
また、前記変位を示す情報は、前記２以上のモノクロ画像における前記構造物の位置の変化を示す変位ベクトルを含んでもよい。
これにより、第２カラー画像には、変位を示す情報として変位ベクトルが重畳される。非検査員は、変位ベクトルを見ることで、変位の大きさ及び向きなどを容易に知ることができる。つまり、よりわかりやすく計測結果を提示することができる。
また、前記取得ステップでは、前記構造物を撮像したときの音声情報をさらに取得し、前記提示情報生成ステップでは、前記音声情報をさらに含む前記提示情報を生成してもよい。
これにより、撮像時の状況(例えば、車両の接近、会話音声等)を、後からでも把握しやすくなる。例えば、撮像時にその場所にいなかった人（例えば、非検査員など）であっても、計測結果として音声が出音されることで、撮像時の状況を把握しやすくなる。また、異音がするなどの音による異常を検出することができる。
また、前記２以上のモノクロ画像と前記１以上のカラー画像とは、互いに同期間を含むように撮像された画像であってもよい。
これにより、モノクロ画像に基づいて検出した変位を、例えば、当該モノクロ画像と同期間に撮像された画像に基づくカラー画像に重畳することで、さらにわかりやすい計測結果を提示することができる。例えば、撮像時の情報がさらにわかりやすい計測結果を提示することができる。なお、モノクロ画像と同期間に撮像された画像とは、当該モノクロ画像であってもよいし、第１カラー画像であってもよい。また、画像に基づくカラー画像とは、上記の第１カラー画像であってもよいし、第３カラー画像であってもよい。
また、前記２以上のモノクロ画像及び前記１以上の第１カラー画像の少なくともいずれか１つは、前記構造物に荷重が加えられているときに撮像された画像であってもよい。
これにより、例えば、２以上のモノクロ画像の少なくとも１つが構造物に荷重が加えられているときに撮像された画像である場合、当該構造物の一部に異常があるときに、当該一部とその他の部分との変位の差が計測結果に顕著に現れることが想定される。つまり、構造物の異常を検出すやすくなる。また、１以上の第１カラー画像が構造物に荷重が加えられているときに撮像された画像である場合、構造物に荷重が加えられているときの様子を提示することができる。つまり、計測結果をよりわかりやすい提示することができる。
また、前記１以上の第１カラー画像は、前記２以上のモノクロ画像より解像度が低い画像であってもよい。
これにより、第１カラー画像の容量を抑えつつ、モノクロ画像に基づいて変位量をより精度よく検出することができる。
また、前記１以上の第１カラー画像は、前記２以上のモノクロ画像よりフレームレートが低い画像であってもよい。
これにより、第１カラー画像の容量を抑えつつ、モノクロ画像に基づいて変位の経時変化をより精度よく（より細かく）検出することができる。
また、前記取得ステップで取得される前記２以上のモノクロ画像は、前記第１撮像装置が撮像した画像を可逆圧縮した画像であり、前記取得ステップで取得される前記１以上のカラー画像は、前記第２撮像装置が撮像した画像を不可逆圧縮した画像であってもよい。
これにより、撮像装置が撮像した画像を記憶しておくときの記憶容量を減らすことができる。また、モノクロ画像は可逆圧縮であるため、圧縮されたデータをデコードするときに、劣化が生じない。よって、デコードされたモノクロ画像に基づいて、精度よく変位を検出することができる。また、カラー画像は、不可逆圧縮により圧縮されることで、カラー画像の容量をより小さくすることができる。
また、前記２以上のモノクロ画像は、グローバルシャッタ方式のイメージセンサを有する前記第１撮像装置により撮像された画像であってもよい。
これにより、２以上のモノクロ画像はブレが少ない画像となるので、より精度よく構造物の変位を計測することができる。
また、前記１以上のカラー画像は、ローリングシャッタ方式のイメージセンサを有する前記第２撮像装置により撮像された画像であってもよい。
これにより、カラーカメラがローリングシャッタ方式のイメージセンサを有していることでカラーカメラのコストを下げることができる。よって、より精度が高い計測結果を、より低コストで取得することができる。
本開示の一態様に係る情報提示装置は、第１撮像装置で構造物を撮像した２以上のモノクロ画像を取得する第１取得部と、前記第１撮像装置と異なる第２撮像装置で前記構造物を撮像した１以上の第１カラー画像であって、前記２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像を取得する第２取得部と、前記２以上のモノクロ画像に基づいて前記構造物の動きを示す変位を検出する変位検出部と、前記２以上のモノクロ画像と前記１以上の第１カラー画像とに基づいて、前記変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成部と、前記提示情報を出力する出力部とを備える。
これにより、上記の情報提示方法と同様の効果を奏する。
本開示の一態様に係る情報提示システムは、上記の情報提示装置と、前記構造物を含む前記２以上のモノクロ画像を撮像し、撮像した前記２以上のモノクロ画像を前記情報提示装置に出力するモノクロカメラと、前記構造物を含む前記１以上のカラー画像を撮像し、撮像した前記１以上のカラー画像を前記情報提示装置に出力するカラーカメラとを備える。
これにより、モノクロカメラにより撮像されたモノクロ画像と、カラーカメラにより撮像された第１カラー画像とを用いて、構造物の変位の計測を高精度に行えるとともに、計測結果をわかりやすく提示することができる情報提示システムを実現することができる。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態及び変形例は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態及び変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
また、本明細書において、同一などの要素間の関係性を示す用語、および、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
また、以下の明細書において、画像（例えば、モノクロ画像及びカラー画像）は、特に記載がない場合は動画である例について説明するが、静止画であってもよい。動画は、複数の静止画によって構成される。
（実施の形態１）
以下、本実施の形態に係る情報提示方法等について、図１〜図５を参照しながら説明する。
［１−１.情報提示システムの構成］
まずは、本実施の形態に係る情報提示方法を実行する情報提示装置を含む情報提示システム１０について、図１〜図４を参照しながら説明する。図１は、本実施の形態に係る情報提示システム１０の構成を示す概略図である。図２は、本実施の形態に係る情報提示システム１０の機能構成を示すブロック図である。
図１及び図２に示すように、情報提示システム１０は、例えば、構造物Ｏを撮像し、当該撮像した画像に基づいて構造物Ｏの変位を計測し、計測した結果を提示する計測結果提示システムである。言い換えると、情報提示システム１０は、画像を用いた構造物Ｏの点検、及び、点検結果を提示するシステムである。構造物Ｏは、情報提示システム１０が変位を計測する計測対象物の一例であり、例えば、橋梁などのインフラ構造物である。構造物Ｏは、例えば、自動車又は鉄道などの車両が走行する橋梁である。
情報提示システム１０は、モノクロカメラ２０と、カラーカメラ３０と、情報提示装置５０と、表示装置６０とを備える。なお、情報提示システム１０は、表示装置６０を備えていなくてもよい。
モノクロカメラ２０及びカラーカメラ３０は、構造物Ｏを検査するための画像を撮像し、撮像した画像を情報提示装置５０に出力する撮像装置である。モノクロカメラ２０及びカラーカメラ３０は、例えばイメージセンサを備えるデジタルビデオカメラ又はデジタルスチルカメラである。
モノクロカメラ２０は、構造物Ｏを撮像したモノクロ画像データを情報提示装置５０に出力する。モノクロ画像データが示す画像（以降において、モノクロ画像とも記載する）が静止画である場合、モノクロカメラ２０は、構造物Ｏの変位を計測するために２以上のモノクロ画像を情報提示装置５０に出力する。モノクロカメラ２０は、グローバルシャッタ方式又はローリングシャッタ方式のイメージセンサを有するが、変位を高精度に検出する観点から、グローバルシャッタ方式のイメージセンサ（例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ）を有するとよい。言い換えると、モノクロ画像は、グローバルシャッタ方式のイメージセンサを有するモノクロカメラ２０により撮像された画像であるとよい。なお、本実施の形態に係るモノクロ画像データは、カラーカメラ３０により撮像されたカラー画像を画像処理して生成したモノクロ画像ではない。なお、本願における「モノクロ画像」とは、例えば、白黒（グレースケール）画像である。また、モノクロカメラ２０は、第１撮像装置の一例である。
カラーカメラ３０は、構造物Ｏを撮像したカラー画像データを情報提示装置５０に出力する。カラー画像データが示す画像（以降において、第１カラー画像とも記載する）が静止画である場合、カラーカメラ３０は、構造物Ｏの変位を重畳して表示するために１以上の第１カラー画像を情報提示装置５０に出力する。カラーカメラ３０は、グローバルシャッタ方式又はローリングシャッタ方式のイメージセンサを有するが、カラーカメラ３０のコスト低減の観点からローリングシャッタ方式のイメージセンサを有するとよい。言い換えると、第１カラー画像は、ローリングシャッタ方式のイメージセンサ（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を有するカラーカメラ３０により撮像された画像であるとよい。また、カラーカメラ３０は、モノクロカメラ２０とは異なる撮像装置であり、第２撮像装置の一例である。
上記のように、本実施の形態に係る情報提示システム１０は、互いに異なる撮像装置で同一の構造物Ｏを撮像する。
また、モノクロカメラ２０及びカラーカメラ３０は、撮像した画像の各フレームにタイムスタンプを埋め込む処理を行ってもよい。また、モノクロカメラ２０及びカラーカメラ３０はそれぞれ、ＧＰＳ（Global Positioning System）時計を有しており、当該ＧＰＳ時計を介して取得した時刻を含む画像データを情報提示装置５０に出力してもよい。モノクロカメラ２０及びカラーカメラ３０それぞれがＧＰＳ時計を有していることで、モノクロ画像と第１カラー画像との同期を容易に確認することができる。つまり、後述するマッチング部５４における処理量を低減することができるので、情報提示装置５０における処理時間の短縮及び消費電力の低減につながる。
カラー画像データは、モノクロ画像データより情報量が少ない画像データである。なお、ここでの情報量が少ないとは、構造物Ｏの変位を計測するための情報が少ないことを意味する。具体的には、情報量が少ないとは、カラー画像データの解像度がモノクロ画像データの解像度より低いこと、及び、カラー画像データのフレームレートがモノクロ画像のフレームレートより低いことの少なくとも一方を含む。言い換えると、第１カラー画像は、モノクロ画像より解像度及びフレームレートの少なくとも一方が低い画像である。
第１カラー画像の解像度及びフレームレートは、検査員などが当該第１カラー画像を見たときに構造物Ｏ及び当該構造物Ｏの周囲の様子を認識することができる程度であればよい。また、モノクロ画像の解像度及びフレームレートは、構造物Ｏの変位を計測することができる程度であればよく、計測したい変位量などに応じて適宜決定されるとよい。例えば、第１カラー画像の解像度は、ＨＤ（１４４０×１０８０）であり、モノクロ画像の解像度は、４Ｋ（３８４０×２１６０）である。また、例えば、第１カラー画像のフレームレートは、６０ｆｐｓ（frames per second）であり、モノクロ画像のフレームレートは、２００ｆｐｓである。
図２では、画像の大きさが解像度を示しており、画像の枚数がフレームレートを示している。つまり、図２では、第１カラー画像の解像度はモノクロ画像の解像度より低く、かつ第１カラー画像のフレームレートはモノクロ画像のフレームレートより低い例を示している。
また、モノクロ画像データは、モノクロカメラ２０が撮像した画像に所定の画像処理が行われて生成された画像データであってもよく、カラー画像データは、カラーカメラ３０が撮像した画像に所定の画像処理が行われて生成された画像データであってもよい。所定の画像処理とは、例えば、画像データの容量を削減するために、画像データを圧縮する処理（符号化処理）である。
例えば、情報提示装置５０が取得するモノクロ画像データは、モノクロカメラ２０が撮像した画像を第１圧縮率で圧縮した画像により生成された画像データであってもよい。また、例えば、情報提示装置５０が取得するカラー画像データは、カラーカメラ３０が撮像した画像を第２圧縮率で圧縮した画像により生成された画像データであってもよい。そして、第２圧縮率は、第１圧縮率より圧縮率が高い。なお、情報量が少ないとは、第２圧縮率が第１圧縮率より高いことを含む。また、例えば、カラーカメラ３０が撮像した画像は圧縮されるが、モノクロカメラ２０が撮像した画像は圧縮されなくてもよく、これも第２圧縮率が第１圧縮率より高いことに含まれる。つまり、モノクロ画像データは、非圧縮の画像から生成された画像データであってもよい。また、例えば、カラーカメラ３０が撮像した画像を不可逆圧縮することでカラー画像データが生成され、モノクロカメラ２０が撮像した画像を可逆圧縮することでモノクロ画像データが生成されてもよい。つまり、モノクロ画像は可逆情報であり、カラー画像は不可逆情報であってもよい。なお、可逆圧縮及び不可逆圧縮の処理方法は、特に限定されない。
第１カラー画像は、Ｈ．２６４圧縮などの圧縮処理により圧縮されてもよい。なお、所定の画像処理は、例えば、撮像した画像の一部の画素を間引く処理であってもよい。例えば、モノクロカメラ２０とカラーカメラ３０とが等しい解像度の画像を撮像する場合、カラーカメラ３０はモノクロカメラ２０より多くの画素を間引くことでモノクロ画像より情報量が少ない第１カラー画像を生成してもよい。
なお、上記のように画像処理（例えば、圧縮処理）が行われる場合などにおいては、モノクロカメラ２０及びカラーカメラ３０の撮像条件（例えば、解像度及びフレームレートなど条件）は、同じであってもよい。つまり、モノクロカメラ２０及びカラーカメラ３０が撮像した画像に画像処理が行われた結果、第２取得部５２が取得する第１カラー画像は第１取得部５１が取得するモノクロ画像より情報量が少ない画像となっていればよい。
また、カラーカメラ３０は、マイクとスピーカを備えており、カラー画像データとともに構造物Ｏを撮像したときの音声情報（音声データ）を情報提示装置５０に出力してもよい。なお、マイク及びスピーカは、モノクロカメラ２０が備えていてもよい。なた、モノクロカメラ２０又はカラーカメラ３０は、音声情報を情報提示装置５０に出力しなくてもよい。
図１では、モノクロカメラ２０及びカラーカメラ３０は、１つの三脚４０に固定されている、つまり構造物Ｏまでの距離及び姿勢が等しくなるように配置されている例を示しているがこれに限定されない。構造物Ｏまでの距離、及び、構造物Ｏに対する姿勢は、モノクロカメラ２０及びカラーカメラ３０それぞれにおいて適宜決定されればよい。例えば、モノクロカメラ２０及びカラーカメラ３０の画角又は光軸は、異なっていてもよい。
また、モノクロ画像と第１カラー画像とは、同時に撮影されていれば、互いに非同期に撮像された画像であってもよい。つまり、モノクロカメラ２０及びカラーカメラ３０は、同期間を含むように独立して撮像を行ってもよい。なお、モノクロ画像と第１カラー画像とは、互いに同期間を含むようにして撮像された画像であることに限定されない。例えば、所定の鉄道が構造物Ｏを通過するなど、時刻又は日時を変えても同じ状況を再現できる場合などは、モノクロカメラ２０とカラーカメラ３０とが同時刻に撮像されなくてもよい。
情報提示装置５０は、モノクロカメラ２０から取得したモノクロ画像データとカラーカメラ３０から取得したカラー画像データとに基づいて、構造物Ｏの変位を計測した計測結果を示す提示情報を表示装置６０に出力する計測結果提示装置である。図２に示すように、情報提示装置５０は、第１取得部５１と、第２取得部５２と、変位検出部５３と、マッチング部５４と、転移部５５と、重畳部５６と、出力部５７と、記憶部５８とを備える。情報提示装置５０が備える各構成要素は、例えば、ＣＰＵ（Central Processing Unit）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現される。
第１取得部５１は、モノクロカメラ２０で構造物Ｏを撮像したモノクロ画像データを取得する取得部である。第１取得部５１は、取得したモノクロ画像データを変位検出部５３及びマッチング部５４に出力する。
第２取得部５２は、カラーカメラ３０で構造物Ｏを撮像したカラー画像データを取得する取得部である。なお、本実施の形態では、第２取得部５２は、カラーカメラ３０から構造物Ｏを撮像したときの音声情報をさらに取得する。第２取得部５２は、取得したカラー画像データをマッチング部５４及び重畳部５６に出力する。また、第２取得部５２は、カラー画像データ及び音声情報を重畳部５６に出力する。
第１取得部５１及び第２取得部５２による画像データの取得方法は、特に限定されない。第１取得部５１及び第２取得部５２は、モノクロカメラ２０及びカラーカメラ３０から無線通信又は有線通信によって画像データを取得してもよいし、着脱可能なメモリ（例えばＵＳＢ（Universal Serial Bus）メモリ）を介してモノクロカメラ２０及びカラーカメラ３０から画像データを取得してもよい。
第１取得部５１及び第２取得部５２は、無線通信又は有線通信を介してモノクロカメラ２０及びカラーカメラ３０と通信可能に接続される通信インターフェースである。なお、第１取得部５１及び第２取得部５２は、１つの取得部として構成されていてもよい。
ここで、第１取得部５１及び第２取得部５２が取得する画像データについて、図３Ａ〜図３Ｃを参照しながら説明する。図３Ａは、本実施の形態に係る情報提示装置５０が取得する画像データの第１例を示す図である。図３Ｂは、本実施の形態に係る情報提示装置５０が取得する画像データの第２例を示す図である。図３Ｃは、本実施の形態に係る情報提示装置５０が取得する画像データの第３例を示す図である。
図３Ａの（ａ）及び（ｂ）に示すように、２以上のモノクロ画像及び第１カラー画像の少なくともいずれか１つは、構造物Ｏ（例えば、橋梁）を車両Ｔが通過しているときなど、当該構造物Ｏに荷重が加えられているときに撮像された画像であってもよい。言い換えると、モノクロカメラ２０及びカラーカメラ３０の少なくとも一方は、例えば、構造物Ｏに荷重が加わっている期間を含んで、当該構造物Ｏを撮像する。なお、構造物Ｏの変位を顕著に検出する観点から、２以上のモノクロ画像の少なくとも１つは、構造物Ｏに荷重が加わっている期間に撮像されるとよい。
図３Ｂの（ａ）及び（ｂ）に示すように、モノクロ画像は、第１カラー画像の一部の領域（例えば、図３Ｂの（ｂ）に示す破線領域Ｒ）を撮像した画像であってもよい。モノクロ画像は、少なくとも構造物Ｏにおける変位を計測したい部分を含む画像であればよい。モノクロカメラ２０は、例えば、カラーカメラ３０より狭角な撮像が可能な撮像装置であってもよい。また、モノクロカメラ２０は、モノクロ画像が第１カラー画像の一部の領域を撮像するような撮像条件で構造物Ｏを撮像してもよい。
また、第１カラー画像は、モノクロ画像より広い領域を撮像した画像であってもよい。カラーカメラ３０は、例えば、モノクロカメラ２０より広角な撮像が可能な撮像装置であってもよく、例えば全方位カメラ（３６０°カメラ）であってもよい。また、カラーカメラ３０は、モノクロ画像が第１カラー画像の一部の領域を撮像するような撮像条件で構造物Ｏを撮像してもよい。これにより、マッチング部５４による位置合わせを容易に行うことができる。
図３Ｃの（ａ）及び（ｂ）に示すように、第１カラー画像は、モノクロ画像よりフレームレートが低い画像であってもよい。第１カラー画像は、モノクロ画像と解像度が等しく、かつモノクロ画像よりフレームレートが低い画像であってもよい。
図２を再び参照して、変位検出部５３は、モノクロ画像に基づいて構造物Ｏの動きを示す変位を検出する処理部である。構造物Ｏの変位とは、構造物Ｏの動きを示しており、構造物Ｏが動いた方向及び移動量の少なくとも１つを含む。変位検出部５３は、２つのモノクロ画像（２つの静止画）を取得した場合、一方のモノクロ画像データ（例えば、撮像した時刻が古いモノクロ画像データ）における構造物Ｏの位置を基準とし、当該基準と他方のモノクロ画像における構造物Ｏの位置とに基づいて、構造物Ｏの変位を計測する。変位検出部５３は、３つ以上のモノクロ画像データを取得した場合も同様に、３つ以上のモノクロ画像データのうちの１つのモノクロ画像データにおける構造物Ｏの位置を基準とし、当該基準と他のモノクロ画像データにおける構造物Ｏの位置とに基づいて、構造物Ｏの変位の時系列データを計測する。なお、基準となるモノクロ画像は、構造物Ｏが変位していないときに撮像された画像、又は、構造物Ｏに車両Ｔが通過していないときに撮像された画像が用いられてもよい。
変位検出部５３は、上記のように、モノクロ画像及び第１カラー画像のうちモノクロ画像のみに基づいて構造物Ｏの変位を計測する。モノクロ画像は、モノクロカメラ２０で撮像された画像であり、第１カラー画像より情報量が多い画像である。変位検出部５３は、モノクロ画像に基づいて変位を計測することで、第１カラー画像に基づいて変位を計測する場合に比べ、より精度良く変位を計測することができる。変位検出部５３は、例えば、モノクロ画像の各フレーム（モノクロ画像が静止画である場合は、２つ以上のモノクロ画像）間の構造物Ｏの変位を計測する。変位検出部５３は、例えば、ブロックマッチング、相関法、サンプリングモアレ法、特徴点追跡法など一般的な変位検出方法を用いることができる。ここで相関法としては、正規化相関法（normalized cross correlation）、位相相関法（phase correlation）、レーザスペックル相関法などが挙げられる。変位検出の精度は、ピクセル単位でもサブピクセル単位でもよい。また、ＳＩＦＴ（Scale Invariant Feature Transform）等の特徴点追跡により変位を検出してもよい。
変位検出部５３は、例えば、計測した変位を示す情報（以降において変位情報とも記載する）を算出し、当該情報を転移部５５に出力する。変位情報は、例えば、構造物Ｏの位置の変化を示す変位ベクトル（動きベクトルであり、図４の変位ベクトルＶ１〜Ｖ４を参照）を含んでいてもよい。変位検出部５３は、基準としたモノクロ画像以外のモノクロ画像のそれぞれにおいて、変位ベクトルを算出する。検査員等は、当該変位ベクトルを含む提示情報を確認することで、構造物Ｏの変位の経時変化を容易に知ることができる。
なお、変位情報は、視覚的に変位の度合や特徴が認識できる情報であればよく、変位ベクトルに限定されない。変位情報は、例えば、構造物Ｏの変形、振動、歪などを示す情報であってもよい。構造物Ｏの変形を示す情報を例に説明すると、変位情報は、当該構造物Ｏが変形した後の形状を示す曲線であってもよい。
マッチング部５４は、モノクロ画像と第１カラー画像とに基づいて、モノクロ画像の各フレームと第１カラー画像の各フレームとの時間及び画素位置の対応付けを行う処理部である。マッチング部５４は、例えば、画像認識を用いてモノクロ画像と第１カラー画像との対応関係を推測する。なお、時間の対応付けとは、モノクロ画像の各フレームが第１カラー画像の各フレームのうちのどのフレームと撮像された時刻が近いかを対応付ける処理である。また、画素位置の対応付けとは、モノクロ画像の構造物Ｏと第１カラー画像の構造物Ｏとの位置合わせを行うことを含む。モノクロ画像と第１カラー画像とが、互いに解像度、フレームレート及び視点の少なくとも１つが異なっている場合に、上記の対応付けを行うことを要する。
マッチング部５４は、モノクロ画像の各フレームと第１カラー画像の各フレームとのそれぞれで画像の特徴点を抽出し、抽出した特徴点の対応関係に基づいてモノクロ画像と第１カラー画像との時間及び画素位置の対応付けを行う。ここで、マッチング部５４における対応付けの処理について、図４を参照しながら説明する。図４は、本実施の形態に係るモノクロ画像Ｍと第１カラー画像Ｃとの対応付けを説明するための図である。ここでは、４つのモノクロ画像（４つのフレーム）Ｍ１〜Ｍ４と、２つの第１カラー画像（２つのフレーム）Ｃ１及びＣ２とを例に説明する。また、一例として、モノクロ画像のフレームレートは２００ｆｐｓであり、第１カラー画像のフレームレートは６０ｆｐｓである。マッチング部５４は、例えば、ＳＩＦＴやＯＲＢ（Oriented FAST and Rotated BRIEF)、ＢＲＩＳＫ（Binary Robust Invariant Scalable Keypoints）などの特徴点を検出する。
マッチング部５４は、モノクロ画像Ｍ１〜Ｍ４と、第１カラー画像Ｃ１及びＣ２とのそれぞれにおいて、特徴点を抽出する。そして、マッチング部５４は、抽出した特徴点の対応関係により、モノクロ画像Ｍ１〜Ｍ４と第１カラー画像Ｃ１及びＣ２との時間における対応付けを行う。図４では、第１カラー画像Ｃ１は、モノクロ画像Ｍ１及びＭ２を撮像している期間に撮像された画像であり、モノクロ画像Ｍ１及びＭ２と対応付けられている例を示している。また、第１カラー画像Ｃ２は、モノクロ画像Ｍ３及びＭ４を撮像している期間に撮像された画像であり、モノクロ画像Ｍ３及びＭ４と対応付けられている例を示している。なお、第１カラー画像は、少なくとも１つのモノクロ画像と対応付けられていればよい。例えば、第１カラー画像Ｃ１は、モノクロ画像Ｍ１及びＭ２のうち撮像された時間が最も近いモノクロ画像Ｍ１と対応付けられてもよい。
上記の対応付け方法であれば、モノクロカメラ２０及びカラーカメラ３０が内蔵時計を有しており、当該内蔵時計の時刻に基づいてモノクロ画像と第１カラー画像との時間を対応付けるより精度よく時間を対応付けることができる。なお、内蔵時計とは、例えば、現在時刻を計測する汎用のタイマＩＣ（タイマ回路）、または、リアルタイムクロックＩＣなどにより実現される。また、上記の対応付け方法であれば、モノクロカメラ２０とカラーカメラ３０とを選択するときの制約が少なくなる。つまり、モノクロカメラ２０とカラーカメラ３０とが同期がとれていないカメラ（例えば、市販されているカメラ）を用いた場合であっても、モノクロ画像と第１カラー画像との時間を対応付けることができる。よって、本実施の形態に係る情報提示システム１０の実用性が向上する。
次に、マッチング部５４は、時間が対応付けられたモノクロ画像と第１カラー画像とに基づいて、位置合わせを行う。具体的には、マッチング部５４は、時間が対応付けられたモノクロ画像と第１カラー画像との特徴量の対応関係により位置合わせを行う。
なお、マッチング部５４は、画像に動いている物体（例えば、車両Ｔ）が映っている場合、上記の特徴点の対応付けと、当該物体の物体認識及び物体追跡などとを組み合わせる、又は、上記の特徴点の対応付けに替えて当該物体の物体認識及び物体追跡などを行うことにより位置の対応付けを行ってもよい。
なお、マッチング部５４は、モノクロ画像データ及びカラー画像データに、ＧＰＳ時計を介して取得した時刻の情報が含まれている場合、当該時刻の情報を用いて時間の対応付けを行ってもよい。また、マッチング部５４は、２つのモノクロ画像データと１つのカラー画像データを取得した場合、時間を対応付ける処理を行わなくてもよい。つまり、マッチング部５４は、少なくとも画素位置の対応付けを行えばよい。
マッチング部５４は、モノクロ画像と第１カラー画像とを対応付けた対応情報を転移部５５に出力する。
図２を再び参照して、転移部５５は、モノクロ画像及び第１カラー画像の一方から他方に重畳する情報（例えば、変位ベクトル）を生成する処理部である。本実施の形態では、転移部５５は、変位検出部５３による変位の検出結果と、マッチング部５４による対応付け結果とに基づいて、変位の検出結果を提示するための画像における変位の結果の提示態様を決定する処理部である。情報提示装置５０は、第１カラー画像に変位ベクトルを重畳した画像（第２カラー画像の一例であり、図２に示す第２カラー画像Ｐを参照）を含む提示情報を出力する。また、図２に示す第２カラー画像Ｐに含まれる変位ベクトルＶ（第２カラー画像Ｐ中の矢印）は、変位を示す情報の一例である。
転移部５５は、解像度及び視点が異なっているモノクロ画像と第１カラー画像とにおいて、モノクロ画像に基づいて検出された変位を示す情報（変位情報であり、例えば、変位ベクトル）を第１カラー画像に重畳するときの第１カラー画像における位置、大きさ、向きなどを調整する。言い換えると、転移部５５は、モノクロ画像に基づいて検出された変位情報を第１カラー画像に重畳するための転移情報に変換する処理を行う。なお、転移部５５は、１つの第１カラー画像に対して２以上のモノクロ画像が対応付けられている場合、２以上のモノクロ画像それぞれの変位に基づいて第１カラー画像に重畳するため転移情報を１つ決定してもよいし、２以上のモノクロ画像のうち所定の数のモノクロ画像（例えば、１つのモノクロ画像）に基づいて第１カラー画像に重畳するため転移情報を１つ決定してもよい。そして、転移部５５は、決定した転移情報を重畳部５６に出力する。転移部５５は、例えば、転移情報として変位ベクトルを重畳部５６に出力する。
図４を例に説明すると、転移部５５は、例えば、第１カラー画像Ｃ１に重畳するための変位ベクトルＶ５を、変位ベクトルＶ１及びＶ２の少なくとも一方に基づいて決定する。図４では、変位ベクトルＶ１及びＶ２の両方に基づいて変位ベクトルＶ５を決定している例を示している。転移部５５は、例えば、変位ベクトルＶ１及びＶ２を平均した平均ベクトルを変位ベクトルＶ５として決定してもよいし、変位ベクトルＶ１及びＶ２に所定の係数（重み）を演算したベクトルを平均した平均ベクトルを変位ベクトルＶ５として決定してもよい。所定の係数は、例えば、第１カラー画像Ｃ１と撮像時刻が近いモノクロ画像の変位ベクトルほど変位ベクトルＶ５への影響度合いが大きくなるように（例えば、所定の係数が大きな値となるように）決定されてもよい。また、転移部５５は、第１カラー画像と最も撮像時刻が近いモノクロ画像における変位ベクトル（例えば、第１カラー画像Ｃ１においては変位ベクトルＶ１）を変位ベクトルＶ５として決定してもよい。また、変位ベクトルＶ６も同様に、変位ベクトルＶ３及びＶ４に基づいて決定される。なお、変位ベクトルＶ５及びＶ６は変位を示す情報であり、転移情報の一例である。また、転移情報には、変位ベクトルと対応する第１カラー画像を特定するための情報が含まれていてもよい。
図２を再び参照して、重畳部５６は、モノクロ画像と第１カラー画像とに基づいて、変位情報を提示する第２カラー画像を含む提示情報を生成する処理部である。本実施の形態では、重畳部５６は、モノクロ画像と第１カラー画像とに基づく転移情報を、第１カラー画像に重畳することで提示情報を生成する。具体的には、重畳部５６は、転移情報に含まれる変位ベクトルを当該変位ベクトルに対応する第１カラー画像に重畳する。図４を例に説明すると、重畳部５６は、変位ベクトルＶ５を第１カラー画像Ｃ１に重畳し、変位ベクトルＶ６を第１カラー画像Ｃ２に重畳する。
重畳部５６は、変位ベクトルを重畳して生成されて第２カラー画像を含む提示情報を出力部５７に出力する。本実施の形態では、情報提示装置５０は、音声データをカラーカメラ３０から取得している。つまり、情報提示装置５０は、当該音声データに含まれる第１音声情報をカラーカメラ３０から取得している。そのため、重畳部５６は、第２カラー画像を形成する画像データ（以降において、第２カラー画像データとも記載する）と当該第２カラー画像データに対応する第２音声情報とを出力部５７に出力する。なお、重畳部５６は、少なくとも第２カラー画像データを出力部５７に出力すればよい。また、第２カラー画像データ及び第２音声情報は、提示情報の一例である。また、重畳部５６は、提示情報を生成する提示情報生成部の一例である。
また、第２音声情報は、第１音声情報に基づく情報であり、例えば、第１音声情報に所定の加工が行われたデータであってもよい。第２音声情報は、例えば、第１音声情報の一部を抜き出した情報であってもよい。第２音声情報は、例えば、第１音声情報のうち、車両Ｔが構造物Ｏを通過しているときの音声情報を抜き出したものであってもよい。また、第２音声情報は、例えば、第１音声情報のうち所定以上の音量の音声情報を抜き出したものであってもよい。また、所定の加工は、それ以外の加工であってもよい。所定の加工は、例えば、所定の音（例えば、構造物Ｏにおける異音）を強調して出音するための加工であってもよい。なお、第２音声情報は、所定の加工が行われていない情報であってもよい。つまり、第１音声情報と第２音声情報とは、同一の情報であってもよい。
なお、重畳部５６は、第１カラー画像に変位ベクトルを重畳するときに、変位ベクトルの提示態様を変化させてもよい。重畳部５６は、例えば、変位ベクトルの大きさ又は向きが所定の範囲外であった場合、当該変位ベクトルを他の変位ベクトルと異なる態様（例えば、他の変位ベクトルと異なる色（例えば、赤色）で表示する、又は、点滅して表示するなど）で第１カラー画像に重畳してもよい。
出力部５７は、重畳部５６から取得した提示情報を表示装置６０に出力する出力部である。出力部５７による画像データの出力方法は、特に限定されない。出力部５７は、表示装置６０に無線通信又は有線通信によって画像データを出力してもよいし、着脱可能なメモリ（例えばＵＳＢメモリ）を介して表示装置６０に提示情報を出力してもよい。出力部５７は、無線通信又は有線通信を介して表示装置６０と通信可能に接続される通信インターフェースである。
記憶部５８は、重畳部５６が生成した提示情報を記憶する記憶装置である。記憶部５８は、第１取得部５１及び第２取得部５２が取得したモノクロ画像データ及びカラー画像データを記憶してもよい。また、記憶部５８は、情報提示装置５０が備える各処理部が実行する制御プログラムを記憶していてもよい。記憶部５８は、例えば、半導体メモリなどによって実現される。
表示装置６０は、情報提示装置５０から提示情報を取得し、提示情報を画像として出力する装置である。画像は、写真、イラスト又は文字等を含む。表示装置６０は、液晶ディスプレイ等である。表示装置６０が出力した画像は検査員などによって視認され、検査員が構造物Ｏに異常があるか否か、又は、追加の点検等が必要であるか否かなどを判断する際に用いられる。
なお、表示装置６０は、提示装置の一例である。情報提示システム１０は、表示装置６０とともに、又は、表示装置６０に代えて、音を出力する装置を提示装置として備えていてもよい。また、情報提示システム１０は、プロジェクタなどの対象物（例えば、スクリーン）に提示情報を表示する装置を提示装置として備えていてもよい。情報提示装置５０が遠隔地に配置されている場合、表示装置６０と情報提示装置５０とは、ネットワークを介して接続されていてもよい。また、表示装置６０とモノクロカメラ２０及びカラーカメラ３０とは、ネットワークを介して接続されていてもよい。
［１−２.情報提示装置の動作］
次に、上記の情報提示装置５０の動作について、図５を参照しながら説明する。図５は、本実施の形態に係る情報提示装置５０の動作を示すフローチャートである。
図５に示すように、情報提示装置５０は、モノクロ画像及び第１カラー画像を取得する（Ｓ１０）。情報提示装置５０は、ステップＳ１０において、モノクロカメラ２０（第１撮像装置の一例）が構造物Ｏを撮像したモノクロ画像と、カラーカメラ３０（第２撮像装置の一例）が構造物Ｏを撮像した第１カラー画像であって、モノクロ画像より情報量が少ない第１カラー画像とを取得する。つまり、情報提示装置５０は、互いに異なる撮像装置により同一の構造物Ｏを撮像したモノクロ画像及び第１カラー画像を取得する。
具体的には、第１取得部５１は、モノクロカメラ２０からモノクロ画像データを取得し、第２取得部５２は、カラーカメラ３０からカラー画像データを取得する。なお、第１取得部５１及び第２取得部５２が画像データを取得するタイミングは特に限定されず、モノクロカメラ２０及びカラーカメラ３０が撮像しているときに逐次取得してもよいし、撮像が終了した後に取得してもよい。
第１取得部５１は、取得したモノクロ画像データを変位検出部５３及びマッチング部５４に出力する。第２取得部５２は、取得したカラー画像データをマッチング部５４及び重畳部５６に出力する。なお、ステップＳ１０は、取得ステップの一例である。また、本実施の形態では、取得ステップにおいて、第２取得部５２は音声データ（第１音声情報）をさらに取得する。
次に、変位検出部５３は、モノクロ画像に基づいて、構造物Ｏの変位を検出する（Ｓ２０）。具体的には、変位検出部５３は、モノクロ画像及びカラー画像のうちモノクロ画像のみに基づいて、当該モノクロ画像に映っている構造物Ｏの変位を検出する。なお、ステップＳ２０は、検出ステップの一例である。
次に、マッチング部５４は、モノクロ画像及び第１カラー画像に基づいて、時空間対応点をマッチングする（Ｓ３０）。具体的には、マッチング部５４は、モノクロ画像及びカラー画像から特徴点を抽出し、当該特徴点の対応関係から、モノクロ画像と第１カラー画像との時間及び空間（位置）の少なくとも一方を対応付ける。マッチング部５４は、例えば、ステップＳ３０において、モノクロ画像と第１カラー画像とにおける画素位置を対応付ける。マッチング部５４は、時間及び位置の少なくとも一方を対応付けた対応情報を転移部５５に出力する。なお、ステップＳ３０は、対応付けステップの一例である。
次に、転移部５５は、変位検出部５３が検出した変位を第１カラー画像に応じて変換する（Ｓ４０）。具体的には、転移部５５は、変位検出部５３が検出した変位（例えば、変位ベクトル）を、第１カラー画像の大きさ、及び、当該第１カラー画像に対応する複数のモノクロ画像それぞれの変位などに基づいて、第１カラー画像において当該変位を示す情報である転移情報に変換する。転移部５５は、変位情報を変換した転移情報を重畳部５６に出力する。
次に、重畳部５６は、転移部５５から取得した転移情報（変位）を第１カラー画像に重畳することで、第２カラー画像を含む提示情報を生成する（Ｓ５０）。重畳部５６は、例えば、ステップＳ３０で得られる対応付け結果に基づいて、転移情報を第１カラー画像に重畳することで第２カラー画像を生成する。なお、第２取得部５２が音声データ（第１音声情報）を取得している場合、提示情報には当該第１音声情報に基づく第２音声情報が含まれる。なお、ステップＳ５０は、重畳ステップの一例である。
次に、出力部５７は、重畳部５６が生成した提示情報を出力する（Ｓ６０）。つまり、情報提示装置５０は、表示装置６０に提示情報を提示させる。これにより、モノクロ画像データに基づいて精度良く計測された変位を、視認しやすい第１カラー画像に重畳して表示することができる。なお、ステップＳ６０は、出力ステップの一例である。
なお、図５に示すステップＳ３０〜Ｓ５０は、モノクロ画像と第１カラー画像とに基づいて、変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成ステップの一例である。なお、提示情報生成ステップは、第２カラー画像を含む提示情報を生成できればよく、例えば、ステップＳ３０及びＳ４０は含まれていなくてもよい。また、本実施の形態では、当該提示情報生成ステップにおいて、第２音声情報をさらに含む提示情報が生成される。
以上のように、本実施の形態に係る情報提示装置５０は、モノクロ画像と第１カラー画像とにおける画素位置を対応づける。そして、情報提示装置５０は、対応付け結果（マッチング結果とも記載し、対応情報の一例）に基づいて、変位情報を第１カラー画像に重畳することで第２カラー画像を含む提示情報を生成する。
（実施の形態２）
以下、本実施の形態に係る情報提示方法等について、図６〜図８を参照しながら説明する。なお、以下の説明では、実施の形態１との相違点を中心に説明し、実施の形態１と同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。
［２−１.情報提示システムの構成］
まずは、本実施の形態に係る情報提示方法を実行する情報提示装置５０ａを含む情報提示システム１０ａについて、図６及び図７を参照しながら説明する。図６は、本実施の形態に係る情報提示システム１０ａの機能構成を示すブロック図である。
図６に示すように、情報提示システム１０ａは、モノクロカメラ２０、カラーカメラ３０、情報提示装置５０ａ、及び、表示装置６０を備える。本実施の形態に係る情報提示システム１０ａは、情報提示装置５０ａが第１カラー画像の色情報に基づいて、モノクロ画像をカラー画像（第３カラー画像の一例）に変換する点が実施の形態１に係る情報提示装置５０と異なる。
情報提示装置５０ａは、実施の形態１に係る情報提示装置５０が備える各構成要素に加えて、カラー画像生成部５９を備える。また、転移部５５及び重畳部５６における処理が異なる。
転移部５５は、第１カラー画像と、マッチング部５４による対応付け結果とに基づいて、モノクロ画像をカラー画像に変換するための色情報を生成する処理部である。転移部５５は、第１カラー画像に基づいて第１色情報を取得し、当該第１色情報と対応付け結果とに基づいて、モノクロ画像を第３カラー画像に変換するための第２色情報を生成する。情報提示装置５０ａは、第１色情報に基づいてカラー化したモノクロ画像である第３カラー画像に、変位の計測結果を重畳した画像（第２カラー画像の一例）を出力する。転移部５５は、解像度及び視点が異なっているモノクロ画像と第１カラー画像とにおいて、第１カラー画像に基づいて取得された第１色情報を、対応情報に基づいてモノクロ画像をカラー化するための第２色情報に変換する。言い換えると、転移部５５は、第１カラー画像に基づいて取得した第１色情報を用いて、モノクロ画像をカラー化する（例えば、第１色情報を第２色情報に転移する）ための処理を行う。なお、以降において、第２色情報を単に色情報とも記載する。
なお、転移部５５は、１つの第１カラー画像に対して２以上のモノクロ画像が対応付けられている場合、２以上のモノクロ画像それぞれに同一の第２色情報を対応付けてもよい。また、２つの第１カラー画像を撮像する間に複数のモノクロ画像が撮影されている場合、当該複数のモノクロ画像に対応する第２色情報を２つの第１カラー画像の第１色情報に基づいて決定してもよい。そして、転移部５５は、生成した第２色情報をカラー画像生成部５９に出力する。
ここで、転移部５５における色情報の生成の処理について、図７を参照しながら説明する。図７は、本実施の形態に係るモノクロ画像とカラー画像との対応付けを説明するための図である。ここでは、４つのモノクロ画像（４つのフレーム）Ｍ１１〜Ｍ１４と、２つの第１カラー画像（２つのフレーム）Ｃ１１及びＣ１２とを例に説明する。
転移部５５は、例えば、モノクロ画像Ｍ１１及びＭ１２に色の情報を付加するために、第１カラー画像Ｃ１１から取得した第１色情報と、対応付け結果とに基づいて、色情報を生成する。また、転移部５５は、例えば、モノクロ画像Ｍ１３及びＭ１４に色の情報を付加するために、第１カラー画像Ｃ１２から取得した第１色情報と、対応付け結果とに基づいて、色情報を生成する。なお、画像に車両Ｔ等の動く物体が映っていない場合、第１カラー画像Ｃ１１及びＣ１２に基づいて、モノクロ画像Ｍ１１〜Ｍ１４に色を付加する色情報を決定してもよい。つまり、モノクロ画像Ｍ１１〜Ｍ１４のそれぞれは、１つの色情報に基づいて、色が付加されてもよい。
図６を再び参照して、カラー画像生成部５９は、モノクロ画像データと色情報とに基づいて、モノクロ画像に色情報を重畳して高精細な第３カラー画像を生成する処理部である。モノクロ画像に色情報を重畳して生成された第３カラー画像は、第２取得部５２が取得した第１カラー画像より情報量が多い画像である。
なお、カラー画像生成部５９は、モノクロ画像の全領域をカラー化することに限定されない。カラー画像生成部５９は、例えば、モノクロ画像のうち、変位を検出する領域及びその周囲のみをカラー化してもよい。これにより、検査員は、表示装置６０により表示された画像のうち、どの領域を注視すべきかを容易に認識することができる。
カラー画像生成部５９は、生成した第３カラー画像を形成するカラー画像データを重畳部５６に出力する。
重畳部５６は、変位情報に基づいて第３カラー画像に変位を重畳する処理を行う。重畳部５６は、例えば、変位情報に含まれる変位ベクトルＶ１１〜Ｖ１４（図７参照）を当該変位ベクトルに対応する第３カラー画像に重畳する処理を行う。図７のモノクロ画像Ｍ１１を例に説明すると、重畳部５６は、変位ベクトルＶ１１を第１カラー画像Ｃ１１に基づく色情報によりカラー化されたモノクロ画像Ｍ１１に重畳する。
重畳部５６は、変位ベクトルを重畳して生成された第２カラー画像を形成するカラー画像データを含む提示情報を出力部５７に出力する。本実施の形態では、情報提示装置５０ａは第１音声情報をカラーカメラ３０から取得している。そのため、重畳部５６は、第２カラー画像を形成する第２カラー画像データと当該第２カラー画像データに対応する第２音声情報とを出力部５７に出力する。なお、重畳部５６は、少なくとも第２カラー画像データを出力部５７に出力すればよい。また、第２カラー画像データ及び第２音声情報は、提示情報の一例である。
［２−２.情報提示装置の動作］
次に、上記の情報提示装置５０ａの動作について、図８を参照しながら説明する。図８は、本実施の形態に係る情報提示装置５０ａの動作を示すフローチャートである。情報提示装置５０ａの動作として、実施の形態１に係る情報提示装置５０ａの動作に加えて、ステップＳ３０とステップＳ５０との間に、ステップＳ７０及びＳ８０の処理を行う。また、ステップＳ６０における処理が異なる。
図８に示すように、転移部５５は、第１カラー画像に基づいて、第２色情報（色情報）を取得する（Ｓ７０）。具体的には、転移部５５は、第２取得部５２が取得した第１カラー画像に基づく第１色情報と、対応情報とに基づいて、モノクロ画像をカラー化するための第２色情報を算出する。なお、転移部５５は、モノクロ画像及び第１カラー画像が同一の視点から撮像された画像である場合、第１カラー画像及び対応情報のうち第１カラー画像のみに基づいて、第２色情報を取得してもよい。つまり、第１色情報と第２色情報とは同一の情報であってもよい。そして、転移部５５は、第２色情報をカラー画像生成部５９に出力する。なお、ステップＳ７０は、色情報取得ステップの一例である。
次に、カラー画像生成部５９は、ステップＳ３０で取得するマッチング結果（例えば、対応情報）と第２色情報（色情報）とに基づいて、モノクロ画像から第３カラー画像を生成する（Ｓ８０）。第３カラー画像は、モノクロ画像と同一の解像度及びフレームレートである高精細なカラー画像である。カラー画像生成部５９は、生成した第３カラー画像を形成する第３カラー画像データを重畳部５６に出力する。なお、第２取得部５２が第１音声情報を取得している場合、第３カラー画像データには第２音声情報が含まれる。なお、ステップＳ８０は、カラー画像生成ステップの一例である。
重畳部５６は、変位検出部５３が計測した変位を第３カラー画像に重畳することで、第２カラー画像を含む提示情報を生成する（Ｓ５０）。なお、第２取得部５２が第１音声情報を取得している場合、提示情報には第２音声情報が含まれる。
なお、図８に示すステップＳ３０〜Ｓ５０は、モノクロ画像と第１カラー画像とに基づいて、変位を示す情報を提示するための第２カラー画像を含む提示情報を生成する提示情報生成ステップの一例である。なお、提示情報生成ステップは、第２カラー画像を含む提示情報を生成できればよく、例えば、ステップＳ３０の処理は含まれていなくてもよい。
以上のように、本実施の形態に係る情報提示装置５０ａは、対応付け結果（対応情報）と第１カラー画像に基づく第２色情報とに基づいて、モノクロ画像から第３カラー画像を生成する。そして、情報提示装置５０ａは、変位を示す情報（変位情報）を第３カラー画像に重畳することで第２カラー画像を含む提示情報を生成する。
（他の実施の形態）
以上、本開示の１つまたは複数の態様に係る情報提示方法、情報提示装置及び情報提示システムについて、実施の形態１及び２（以降において、実施の形態等とも記載する）に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記実施の形態等における情報提示装置は、構造物の変位として、構造物同士を締結する締結部材（例えば、ボルト、ナット、又はリベット）の変位を計測してもよい。なお、締結部材の変位とは、例えば、締結部材の回転角及び移動距離の少なくとも一方を含む。なお、回転角は、回転方向及び回転した角度を含み、移動距離は、移動方向及び移動した距離を含む。
また、上記実施の形態等では、第１撮像装置がモノクロカメラであり、第２撮像装置がカラーカメラである例について説明したが、これに限定されない。第１撮像装置は、モノクロ画像を情報提示装置に出力可能な撮像装置であれば、特に限定されない。また、第２撮像装置は、モノクロ画像より情報量が少ないカラー画像を情報提示装置に出力可能な撮像装置であれば、特に限定されない。
また、上記実施の形態等では、情報提示装置は、１台のモノクロカメラ及びカラーカメラから画像を取得したが、これに限定されない。情報提示システムは、互いに視点が異なる複数のモノクロカメラ及びカラーカメラを備えており、情報提示装置は、複数のモノクロカメラ及びカラーカメラのそれぞれから画像データを取得してもよい。これにより、変位検出部は、３次元空間における変位を検出可能である。また、提示情報は、３次元カラー画像であってもよい。
また、上記実施の形態等では、情報提示装置は、撮像装置及び提示装置を備えていない例を示したが、撮像装置及び提示装置の少なくとも一方を備えていてもよい。この場合には撮像装置は、情報提示装置の一部である撮像部として機能し、提示装置は情報提示装置の一部である提示部（例えば、表示部又は報知部）として機能する。また、情報提示装置に含まれる複数の機能構成（変位検出部、マッチング部、転移部及び重畳部など）は、分散コンピューティング又はクラウドコンピューティングによって実現されてもよい。
また、上記実施の形態等におけるマッチング部の処理は、例えば、予め学習された機械学習モデルを用いて行われてもよい。例えば、マッチング部の内部に、学習データを用いて学習された機械学習モデルが実装される。マッチング部は、例えば、モノクロ画像とカラー画像とを入力情報として機械学習モデルに入力し、モノクロ画像とカラー画像との時間及び位置の少なくとも一方の対応関係を示す情報（対応情報）を出力として取得する。上記のように、マッチング部による画像認識を用いたモノクロ画像とカラー画像との対応関係の取得は、機械学習モデルを用いて行われてもよい。
また、上記実施の形態等における情報提示装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。例えば、情報提示装置は、取得部と、検出部と、マッチング部と、転移部と、重畳部とを有するシステムＬＳＩから構成されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記実施の形態等では、情報提示措置は、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。
また、上記実施の形態等における情報提示システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本開示の一態様は、情報提示方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記各実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示は、構造物を撮像した画像を計測した結果を提示する情報提示装置に広く利用可能である。
１０、１０ａ 情報提示システム
２０ モノクロカメラ（第１撮像装置）
３０ カラーカメラ（第２撮像装置）
４０ 三脚
５０、５０ａ 情報提示装置
５１ 第１取得部
５２ 第２取得部
５３ 変位検出部
５４ マッチング部
５５ 転移部
５６ 重畳部（提示情報生成部）
５７ 出力部
５８ 記憶部
５９ カラー画像生成部
６０ 表示装置
Ｃ、Ｃ１、Ｃ２、Ｃ１１、Ｃ１２ 第１カラー画像
Ｍ、Ｍ１〜Ｍ４、Ｍ１１〜Ｍ１４ モノクロ画像
Ｏ 構造物
Ｐ 第２カラー画像
Ｒ 破線領域
Ｔ 車両
Ｖ１〜Ｖ１４ 変位ベクトル（変位を示す情報）

Claims (15)

  1. 第１撮像装置で構造物を撮像した２以上のモノクロ画像と、前記第１撮像装置と異なる第２撮像装置で前記構造物を撮像した１以上の第１カラー画像であって、前記２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像とを取得する取得ステップと、
    前記２以上のモノクロ画像に基づいて前記構造物の動きを示す変位を検出する検出ステップと、
    前記２以上のモノクロ画像と前記１以上の第１カラー画像とに基づいて、前記変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成ステップと、
    前記提示情報を出力する出力ステップとを含む
    情報提示方法。
  2. 前記提示情報生成ステップは、
    前記２以上のモノクロ画像と前記１以上の第１カラー画像とにおける画素位置を対応づける対応付けステップと、
    前記対応付けステップで得られる対応付け結果に基づいて、前記変位を示す情報を前記第１カラー画像に重畳することで前記第２カラー画像を生成する重畳ステップとを含む
    請求項１に記載の情報提示方法。
  3. 前記提示情報生成ステップは、
    前記２以上のモノクロ画像と前記１以上の第１カラー画像とにおける画素位置を対応づける対応付けステップと、
    前記１以上のカラー画像に基づいて色情報を取得する色情報取得ステップと、
    前記対応付けステップで得られる対応付け結果と、前記色情報とに基づいて、前記２以上のモノクロ画像から第３カラー画像を生成するカラー画像生成ステップと、
    前記変位を示す情報を前記第３カラー画像に重畳することで前記第２カラー画像を生成する重畳ステップとを含む
    請求項１に記載の情報提示方法。
  4. 前記第１撮像装置は、モノクロカメラであり、
    前記第２撮像装置は、カラーカメラである
    請求項１〜３のいずれか１項に記載の情報提示方法。
  5. 前記変位を示す情報は、前記２以上のモノクロ画像における前記構造物の位置の変化を示す変位ベクトルを含む
    請求項１〜４のいずれか１項に記載の情報提示方法。
  6. 前記取得ステップでは、前記構造物を撮像したときの音声情報をさらに取得し、
    前記提示情報生成ステップでは、前記音声情報をさらに含む前記提示情報を生成する
    請求項１〜５のいずれか１項に記載の情報提示方法。
  7. 前記２以上のモノクロ画像と前記１以上のカラー画像とは、互いに同期間を含むように撮像された画像である
    請求項１〜６のいずれか１項に記載の情報提示方法。
  8. 前記２以上のモノクロ画像及び前記１以上の第１カラー画像の少なくともいずれか１つは、前記構造物に荷重が加えられているときに撮像された画像である
    請求項１〜７のいずれか１項に記載の情報提示方法。
  9. 前記１以上の第１カラー画像は、前記２以上のモノクロ画像より解像度が低い画像である
    請求項１〜８のいずれか１項に記載の情報提示方法。
  10. 前記１以上の第１カラー画像は、前記２以上のモノクロ画像よりフレームレートが低い画像である
    請求項１〜９のいずれか１項に記載の情報提示方法。
  11. 前記取得ステップで取得される前記２以上のモノクロ画像は、前記第１撮像装置が撮像した画像を可逆圧縮した画像であり、
    前記取得ステップで取得される前記１以上のカラー画像は、前記第２撮像装置が撮像した画像を不可逆圧縮した画像である
    請求項１〜１０のいずれか１項に記載の情報提示方法。
  12. 前記２以上のモノクロ画像は、グローバルシャッタ方式のイメージセンサを有する前記第１撮像装置により撮像された画像である
    請求項１〜１１のいずれか１項に記載の情報提示方法。
  13. 前記１以上のカラー画像は、ローリングシャッタ方式のイメージセンサを有する前記第２撮像装置により撮像された画像である
    請求項１〜１２のいずれか１項に記載の情報提示方法。
  14. 第１撮像装置で構造物を撮像した２以上のモノクロ画像を取得する第１取得部と、
    前記第１撮像装置と異なる第２撮像装置で前記構造物を撮像した１以上の第１カラー画像であって、前記２以上のモノクロ画像より情報量が少ない１以上の第１カラー画像を取得する第２取得部と、
    前記２以上のモノクロ画像に基づいて前記構造物の動きを示す変位を検出する変位検出部と、
    前記２以上のモノクロ画像と前記１以上の第１カラー画像とに基づいて、前記変位を示す情報を提示する第２カラー画像を含む提示情報を生成する提示情報生成部と、
    前記提示情報を出力する出力部とを備える
    情報提示装置。
  15. 請求項１４に記載の情報提示装置と、
    前記構造物を含む前記２以上のモノクロ画像を撮像し、撮像した前記２以上のモノクロ画像を前記情報提示装置に出力するモノクロカメラと、
    前記構造物を含む前記１以上のカラー画像を撮像し、撮像した前記１以上のカラー画像を前記情報提示装置に出力するカラーカメラとを備える
    情報提示システム。
JP2020554759A 2018-10-29 2019-07-01 情報提示方法、情報提示装置、及び、情報提示システム Active JP7336773B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018203309 2018-10-29
JP2018203309 2018-10-29
PCT/JP2019/026007 WO2020090154A1 (ja) 2018-10-29 2019-07-01 情報提示方法、情報提示装置、及び、情報提示システム

Publications (2)

Publication Number Publication Date
JPWO2020090154A1 true JPWO2020090154A1 (ja) 2021-09-24
JP7336773B2 JP7336773B2 (ja) 2023-09-01

Family

ID=70462597

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554759A Active JP7336773B2 (ja) 2018-10-29 2019-07-01 情報提示方法、情報提示装置、及び、情報提示システム

Country Status (4)

Country Link
US (1) US11348225B2 (ja)
JP (1) JP7336773B2 (ja)
CN (1) CN112313472B (ja)
WO (1) WO2020090154A1 (ja)

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852502A (en) * 1996-05-31 1998-12-22 American Digital Imaging, Inc. Apparatus and method for digital camera and recorder having a high resolution color composite image output
JP4322990B2 (ja) * 1999-03-03 2009-09-02 坂田電機株式会社 地表面画像監視装置
JP4114792B2 (ja) * 2003-04-24 2008-07-09 国際航業株式会社 構造物変位計測装置および構造物変位計測方法
JP2005062414A (ja) * 2003-08-11 2005-03-10 Canon Inc 画像記録装置及びその制御方法
JP2005348221A (ja) * 2004-06-04 2005-12-15 Seiko Epson Corp 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体
WO2006054200A1 (en) * 2004-11-16 2006-05-26 Koninklijke Philips Electronics N.V. Rendering images based on image segmentation
WO2007029443A1 (ja) * 2005-09-09 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
JP4809291B2 (ja) * 2007-06-01 2011-11-09 株式会社豊田中央研究所 計測装置及びプログラム
US8302868B2 (en) * 2010-01-15 2012-11-06 Metrologic Instruments, Inc. Parallel decoding scheme for an indicia reader
WO2012001755A1 (ja) * 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
JP5338762B2 (ja) * 2010-07-14 2013-11-13 株式会社豊田中央研究所 ホワイトバランス係数算出装置及びプログラム
JP2013015679A (ja) * 2011-07-04 2013-01-24 Panasonic Corp 立体写真撮影装置、及び立体写真撮影方法
JP2013055569A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置、情報処理装置、それらの制御方法、および、プログラム
JP2013223211A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置、撮像処理方法、およびプログラム
JP5798696B2 (ja) * 2012-11-30 2015-10-21 富士フイルム株式会社 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置
JP6181373B2 (ja) * 2013-01-18 2017-08-16 東芝メディカルシステムズ株式会社 医用情報処理装置及びプログラム
JP6156724B2 (ja) * 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
KR101545511B1 (ko) * 2014-01-20 2015-08-19 삼성전자주식회사 의료 영상 재생 방법, 의료 영상 재생 장치, 및 컴퓨터 판독가능 기록매체
JP6323929B2 (ja) 2014-01-30 2018-05-16 国立大学法人 和歌山大学 計測装置及び橋梁検査方法
JP6348289B2 (ja) * 2014-01-31 2018-06-27 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
JP2015148498A (ja) * 2014-02-06 2015-08-20 コニカミノルタ株式会社 測距装置および測距方法
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
JP6568719B2 (ja) * 2014-08-29 2019-08-28 株式会社 日立産業制御ソリューションズ 撮像方法及び撮像装置
JP2016058637A (ja) * 2014-09-11 2016-04-21 株式会社日立ハイテクノロジーズ オーバーレイ計測方法、装置、および表示装置
US9894298B1 (en) * 2014-09-26 2018-02-13 Amazon Technologies, Inc. Low light image processing
US9319585B1 (en) * 2014-12-18 2016-04-19 Omnivision Technologies, Inc. High resolution array camera
JP6659130B2 (ja) * 2015-12-04 2020-03-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
CN105827990B (zh) * 2016-01-22 2018-12-04 维沃移动通信有限公司 一种自动曝光方法及移动终端
JP6682287B2 (ja) * 2016-02-05 2020-04-15 キヤノンメディカルシステムズ株式会社 Ｘ線撮影システム
JP6350923B2 (ja) * 2016-02-24 2018-07-04 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法
US10062176B2 (en) * 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
US10645268B2 (en) * 2016-03-09 2020-05-05 Huawei Technologies Co., Ltd. Image processing method and apparatus of terminal, and terminal
CN105635972A (zh) * 2016-03-10 2016-06-01 北京小米移动软件有限公司 图像处理方法及装置
US10341543B2 (en) * 2016-04-28 2019-07-02 Qualcomm Incorporated Parallax mask fusion of color and mono images for macrophotography
WO2017195858A1 (ja) * 2016-05-13 2017-11-16 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
JP6687969B2 (ja) * 2016-07-28 2020-04-28 公益財団法人鉄道総合技術研究所 変状検出装置及び変状検出プログラム
GB2555675B (en) * 2016-08-05 2019-05-08 Secr Defence Method and apparatus for generating an enhanced digital image of a physical object or environment
DE112017005807T5 (de) * 2016-11-17 2019-09-12 Sony Corporation Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
US10354129B2 (en) * 2017-01-03 2019-07-16 Intel Corporation Hand gesture recognition for virtual reality and augmented reality devices
JP6583839B2 (ja) * 2018-04-27 2019-10-02 パナソニックＩｐマネジメント株式会社 動体監視装置、サーバ装置、および動体監視システム
US20210127051A1 (en) * 2019-10-28 2021-04-29 Byton North America Corporation Camera fusion and illumination for an in-cabin monitoring system of a vehicle

Also Published As

Publication number Publication date
CN112313472A (zh) 2021-02-02
CN112313472B (zh) 2023-12-26
JP7336773B2 (ja) 2023-09-01
US11348225B2 (en) 2022-05-31
WO2020090154A1 (ja) 2020-05-07
US20210104031A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6330987B2 (ja) 画像処理装置、画像処理方法、及び記憶媒体
US10636121B2 (en) Calibration method and apparatus for panoramic stereo video system
US8786718B2 (en) Image processing apparatus, image capturing apparatus, image processing method and storage medium
JP6677098B2 (ja) 全天球動画の撮影システム、及びプログラム
JP6568374B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2011027483A1 (ja) 画像処理装置及び画像処理方法
KR101990368B1 (ko) 감시 카메라 및 감시 시스템
JP2013236232A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
US20200410664A1 (en) Measurement device and measurement method
US20120033854A1 (en) Image processing apparatus
JP2008216127A (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2017224974A (ja) 撮像装置および撮像システム並びに外観検査装置および製造方法
JP7336773B2 (ja) 情報提示方法、情報提示装置、及び、情報提示システム
JP2014014629A (ja) 被写体の形態観察に用いる等高線画像生成方法，及びこれを用いる側弯症スクリーニングシステム
US20220076399A1 (en) Photographing guide device
US11494934B2 (en) Image processing device, image processing method, and monitoring system
CN107959769B (zh) 一种摄像机
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
JPWO2020054584A1 (ja) 合成処理システム、合成処理装置、及び合成処理方法
JP2020194400A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015080048A (ja) カメラ装置、監視システム、これに用いるプログラム、及び撮像方法
EP3496390B1 (en) Information processing device, information processing method, and storage medium
JP5400604B2 (ja) 画像圧縮装置および画像圧縮方法
JP2524016B2 (ja) 画像変位測定装置
WO2016067470A1 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230809

R151 Written notification of patent or utility model registration

Ref document number: 7336773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151