WO2018155267A1 - 画像表示装置及び画像表示方法並びにプログラム - Google Patents

画像表示装置及び画像表示方法並びにプログラム Download PDF

Info

Publication number
WO2018155267A1
WO2018155267A1 PCT/JP2018/004962 JP2018004962W WO2018155267A1 WO 2018155267 A1 WO2018155267 A1 WO 2018155267A1 JP 2018004962 W JP2018004962 W JP 2018004962W WO 2018155267 A1 WO2018155267 A1 WO 2018155267A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
thermal
thermal image
visible
Prior art date
Application number
PCT/JP2018/004962
Other languages
English (en)
French (fr)
Inventor
博樹 衛藤
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2019501242A priority Critical patent/JP7042398B2/ja
Priority to CN201880013107.6A priority patent/CN110326292B/zh
Priority to EP18758368.7A priority patent/EP3588943B1/en
Publication of WO2018155267A1 publication Critical patent/WO2018155267A1/ja
Priority to US16/541,318 priority patent/US11037334B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D7/00Indicating measured values
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/02Constructional details
    • G01J5/025Interfacing a pyrometer to an external device or network; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00Investigating or analyzing materials by the use of thermal means
    • G01N25/72Investigating presence of flaws
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Abstract

画像表示装置は、被写体の可視画像および被写体の温度情報を色で示す熱画像の少なくとも一方を表示する表示部と、表示部を制御する制御部と、を備える。制御部は、熱画像(41)と可視画像(40)とを含む第1の画像と、可視画像は含まず、第1の画像の熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像(41c)を含む第2の画像と、のいずれかを表示部に表示させる。

Description

画像表示装置及び画像表示方法並びにプログラム
 本開示は、熱画像を表示可能な画像表示装置に関する。
 熱画像は、物体から放射される遠赤外線の光を用いて、物体の温度を計測するために使用される画像である。熱画像によって物体の温度がわかるため、異常発熱を起こしている箇所の特定やパイプの中に入り込んだ水の位置や壁面内の空洞位置の特定など欠陥箇所の特定を物体から離れた位置から行うことが可能である。一方、熱画像だけでは実際の位置の特定が困難なため、可視画像と併せて撮影を行い熱画像と可視画像を合わせて表示する方法が考案されている。
 特許文献1は赤外線構造物診断方法を開示する。この赤外線構造物診断方法によれば、欠陥部指定画面として、熱画像と可視画像とを並置して示す第1の表示画面と、熱画像と可視画像とを重ね合わせて示す第2の表示画面と、可視画像のみを上記の第1及び第2の表示画面よりも高い解像度で示す第3の表示画面の少なくとも1つ以上が用意され、診断者により選択された表示画面を表示手段に表示する。診断者により自由に選択された画面を表示することにより、使用者にとって使い勝手のよい診断方法を提供している。
特開2005-16995号公報
 離れた位置から異常発熱等を起こしている箇所を特定する場合、発熱箇所を容易に拡大できることが業務効率を上げていく上で重要である。特許文献1では各画像間の遷移は釦の押下によって行うため、直感的に理解し難いという課題があった。また、可視画像は拡大して表示することが可能な一方で、熱画像は拡大して表示できないので、熱源とその周辺の温度分布を理解することは困難であった。
 本開示は、これらの課題を鑑み、ユーザが熱源の温度情報を直感的かつ容易に認識できる画像表示装置を提供する。
 本開示の第1の態様において画像表示装置が提供される。画像表示装置は、被写体の可視画像および被写体の温度情報を色で示す熱画像の少なくとも一方を表示する表示部と、表示部を制御する制御部と、を備える。制御部は、熱画像と可視画像とを含む第1の画像と、可視画像は含まず、第1の画像の熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像を含む第2の画像と、のいずれかを表示部に表示させる。
 本開示の第2の態様において、被写体の温度情報を色で示す熱画像を表示装置に表示させる画像表示方法が提供される。その画像表示方法は、被写体の可視画像と、被写体の温度情報を色で示す熱画像とを取得し、表示装置に表示させる画像を、ユーザによる熱画像を拡大または縮小するための操作に応じて、熱画像と可視画像とを含む第1の画像と、可視画像は含まず、第1の画像の熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像を含む第2の画像とのいずれかに切り替える。
 本開示の画像表示装置によれば、熱源の温度状態を直感的かつ容易に認識できる態様で表示する。これによりユーザは熱源の温度状態を直感的に理解しやすくなる。
図1Aは、本開示の一実施の形態の情報処理装置の外観を示す図であり、情報処理装置を表面から見た図である。 図1Bは、本開示の一実施の形態の情報処理装置の外観を示す図であり、情報処理装置を裏面から見た図である。 図2は、本開示の一実施の形態の情報処理装置の内部構成を示すブロック図である。 図3は、情報処理装置のコントローラの機能的な構成を示す図である。 図4は、情報処理装置において表示される熱画像の遷移を説明した図である。 図5は、第3表示モードにおいて表示される、温度値が示された熱画像を説明した図である。 図6は、赤外線カメラと可視光カメラの画角の違いを説明した図である。 図7は、画面に表示される熱画像の切替え動作を示すフローチャートである。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態1)
 [1-1.構成]
 図1Aおよび図1Bは、本開示の画像表示装置の一実施の形態である情報処理装置10の外観を示す図である。図1Aは情報処理装置10を表面から見た図であり、図1Bは情報処理装置10を背面から見た図である。情報処理装置10はいわゆるタブレット端末である。情報処理装置10は、その表面側に、表示部13と、表示部13に重畳して配置されたタッチパネル15とを有する。情報処理装置10は、その背面側に、可視光カメラ17と、赤外線カメラ19とを備える。
 図2は、情報処理装置10の内部構成を示すブロック図である。情報処理装置10は、その全体動作を制御するコントローラ11と、種々の情報を表示する表示部13と、ユーザが操作を行うタッチパネル15と、データやプログラムを記憶するデータ記憶部16とを備える。さらに、情報処理装置10は、ネットワークに接続するための通信モジュール21と、外部機器を接続するための機器インタフェース23とを備える。
 表示部13は例えば、液晶ディスプレイや有機ELディスプレイで構成される。
 タッチパネル15(操作部の一例)はユーザの指やスタイラスペンによるタッチ操作を検出する入力デバイスである。タッチパネル15は、その操作領域が表示部13の表示領域と重畳するように配置されている。情報処理装置10は、操作部材として、タッチパネル15に加えて、情報処理装置10に物理的に設けられたボタンやスライドスイッチをさらに備えてもよい。情報処理装置10は、タッチパネル15上でのユーザ操作(ピンチイン/ピンチアウト操作)に応じて画像の表示倍率を変化(縮小/拡大)させて表示部13に表示することができる。
 通信モジュール21はネットワークに接続するための回路(モジュール)であり、3G、4G、LTE、WiMAX(登録商標)といった通信規格にしたがい通信を行う。機器インタフェース23は外部機器と接続するための回路(モジュール)であり、USB(登録商標)、HDMI(登録商標)、Bluetooth(登録商標)等の通信規格にしたがい通信を行う。
 データ記憶部16は所定の機能を実現するために必要なパラメータ、データ及び制御プログラム等を記憶する記録媒体である。データ記憶部16は、情報処理装置10の後述の機能を実現するための、熱画像表示アプリケーション16a(制御プログラム)と、温度・色情報変換テーブル16bとを格納する。データ記憶部16は例えばハードディスク(HDD)や半導体記憶装置(SSD)や半導体メモリ(RAM)で構成される。温度・色情報変換テーブル16bは、赤外線カメラ19により生成された熱画像の画素の温度と、画素の色とを対応付けた参照テーブルである。
 可視光カメラ17(第1カメラの一例)は、可視光の波長領域に感度を持ち、被写体からの可視光を検出して画像(以下「可視画像」という)を生成する撮像装置である。赤外線カメラ19(第2カメラの一例)は、赤外線の波長領域に感度を持つ撮像装置であり、被写体からの赤外線を検出して画像(以下「赤外画像」という)を生成する撮像装置である。
 コントローラ11はCPUを含み、制御プログラムを実行することにより以下に説明する情報処理装置10の機能を実現する。なお、コントローラ11は、所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。コントローラ11は、CPU以外に、MPU、GPU、DSP、FPGA、ASIC等の種々の回路で構成することができる。
 図3は、コントローラ11の機能的な構成を示す図である。コントローラ11は、第1画像処理部11aと、第2画像処理部11bと、第3画像処理部11cと、表示処理部11dとを含む。これらの処理部11a~11dは、コントローラ11が熱画像表示アプリケーション16a(制御プログラム)を実行することにより実現される。
 [1-2.動作]
 以上のように構成される情報処理装置10の動作を以下に説明する。
 本実施の形態の情報処理装置10は、赤外線カメラ19で撮影した赤外画像に基づく熱画像を表示部13に種々の態様で表示する熱画像表示機能を有する。ここで、熱画像とは、赤外画像において、各画素の色をその画素に含まれる被写体の温度情報に応じて設定して生成した画像である。この熱画像表示機能は熱画像表示アプリケーション16aにより実現される。
 [1-2-1.表示モード]
 情報処理装置10は熱画像表示機能における熱画像の表示モードとして第1~第3表示モードを有する。図4(A)は第1表示モードを示した図である。第1表示モードは、赤外線カメラ19で撮像された赤外画像に基づく熱画像41と、可視光カメラ17で撮像された可視画像40とを並べて表示する。図4(B)は第2表示モードを示した図である。第2表示モードは、可視画像は表示しないが、第1表示モードの熱画像41よりも拡大した熱画像41bを表示する。図4(C)は第3表示モードを示した図である。第3表示モードは、第2表示モードの熱画像41bよりもさらに拡大した熱画像41cを表示する。特に、第3表示モードは、熱画像41cの所定領域毎に、その領域の温度を示す数値(温度値)が表示される(図5参照)。熱画像41cにおいて、温度値が示される1つの所定領域は赤外画像(すなわち、赤外線カメラ19の撮像素子)の1つの画素に対応している。すなわち、第3表示モードでは、赤外画像の画素毎に温度値が表示される。
 ユーザは、タッチパネル15上で画像に対するジェスチャ操作(ピンチイン/ピンチアウト)を行うことにより、表示部13に表示される画像の倍率(表示倍率)を変更することができる。特に、情報処理装置10は、ユーザ操作に基づき変化する熱画像の表示倍率に応じて表示モードを第1~第3表示モードのいずれかに切り替える。
 例えば、第1表示モードで熱画像41が表示されているときに、ユーザにより熱画像41に対するピンチアウト(拡大)操作がなされると、熱画像41が拡大されて表示される。ユーザにより連続して拡大操作がなされ、やがて可視画像40が見えなくなるまで熱画像41が拡大されたときに、表示モードが第1表示モードから第2表示モードに切り替えられる。
 第2表示モードにおいて、さらにユーザにより熱画像41bに対する拡大操作がなされ、やがて熱画像41bの拡大率(または表示倍率)が所定倍率になると、表示モードが第2表示モードから第3表示モードに切り替えられる。
 第3表示モードにおいて、ユーザにより熱画像41bに対するピンチイン(縮小)操作がなされると、熱画像41bが縮小されて表示される。第3表示モードの状態からユーザにより熱画像41cに対するピンチイン(縮小)操作がなされ、熱画像41cの拡大率(または表示倍率)が所定倍率になると、表示モードが第3表示モードから第2表示モードに切り替えられる。
 また、第2表示モードにおいて、熱画像41bがさらに縮小され、可視画像40が見える程度の大きさになると、表示モードが第2表示モードから第1表示モードに切り替えられる。
 以上のように、熱画像の拡大率(表示倍率)に応じて熱画像の表示モードが切り替えられる。
 第1~第3表示モードのそれぞれにおいて表示部13に表示される画像の生成について説明する。以下、第1表示モードにおいて表示される画像を「第1シーン画像」、第2表示モードにおいて表示される画像を「第2シーン画像」、第3表示モードにおいて表示される画像を「第3シーン画像」という。
 図3に示すように、可視光カメラ17で撮像された可視画像のデータおよび赤外線カメラ19で撮像された赤外画像のデータはデータ記憶部16に格納される。コントローラ11(第1ないし第3画像処理部11a~11c)は、データ記憶部16に記憶された可視画像データ及び熱画像データに基づいて第1ないし第3シーン画像を生成する。
 (1)第1シーン画像の生成
 図6は、情報処理装置10における可視光カメラ17と赤外線カメラ19の撮像範囲(画角)の違いを説明した図である。同図に示すように、可視光カメラ17は、赤外線カメラ19よりも広い撮像範囲を有する。表示部13に表示させる可視画像と熱画像は同じ画角(被写体)であることが好ましい。このため、コントローラ11(第1画像処理部11a)は、可視光カメラ17により生成された可視画像の領域R1から、赤外線カメラ19により生成された赤外画像の領域R2と重なる領域R3(斜線領域)の部分をトリミングする。コントローラ11は、予め領域R1~R3の位置を示す情報を保持しており、この情報に基づき可視画像の領域R1中の領域R3の部分の画像を切り出すことができる。
 赤外線カメラ19により生成される赤外画像は、画素毎に、その画素領域の被写体の温度を示す情報を含む。コントローラ11は、赤外線カメラ19により生成される赤外画像から、画素毎にその画素の温度に応じて色付けした熱画像を生成する。このような熱画像により、ユーザは直感的に被写体の温度を認識できる。具体的には、コントローラ11は、温度・色情報変換テーブル16bを参照して、赤外画像の各画素の温度情報に基づき各画素の色を決定して、温度に応じて各画素を色付けした熱画像を生成する。
 コントローラ11は、トリミングにより生成された可視画像と、生成した熱画像とを並べて配置して第1シーン画像を生成する。最初に第1シーン画像が生成されるときは、可視画像と熱画像とは同じサイズである。その後、熱画像が拡大された場合、コントローラ11は、拡大した熱画像を可視画像の一部の上に重ねて第1シーン画像を生成する。
 (2)第2シーン画像の生成処理
 コントローラ11(第2画像処理部11b)は、可視光カメラ17により可視画像の領域R1のうち、赤外線カメラ19による熱画像の領域R2と重なる領域R3(斜線領域)をトリミングして抽出する。コントローラ11は、トリミングされた可視画像の輪郭(エッジ)を抽出してエッジ画像を生成する。さらに、コントローラ11は、ユーザが直感的に温度を認識しやすいように、温度・色情報変換テーブル16bを参照し、温度に基づき色付けされた熱画像を生成する。そして、コントローラ11は、エッジ画像と熱画像とを重畳して第2シーン画像を生成する。
 (3)第3シーン画像の生成処理
 コントローラ11(第3画像処理部11c)は、ユーザが視覚的に温度を認識しやすいように、温度・色情報変換テーブル16bを参照し、温度に基づき色付けされた熱画像を生成する。さらに、コントローラ11は、温度に基づき色付けされた熱画像の所定の画素領域毎に、その画素領域の温度を示す数値を重畳して第3シーン画像を生成する。
 [1-2-2.熱画像表示の切替え]
 図7は、情報処理装置10における熱画像表示の切替え動作を示すフローチャートである。以下、図7のフローチャートを参照して情報処理装置10における熱画像表示の切替え動作を説明する。本処理は主としてコントローラ11(表示処理部11d)により実行される。
 コントローラ11(表示処理部11d)は、タッチパネル15から、熱画像に対するユーザ操作(ピンチイン/ピンチアウト)に関する情報を入力する(S11)。コントローラ11は、ユーザのピンチイン操作またはピンチアウト操作に応じて熱画像の表示倍率(拡大率)を設定する(S12)。表示倍率(拡大率)は、赤外線カメラ19により生成された赤外画像のサイズを基準に設定される。
 その後、コントローラ11は、ユーザ操作に基づき設定された表示倍率(拡大率)に基づき表示モードの切替えを行う(S13~S16、S18~S21)。具体的にはコントローラ11は以下のように表示モードの切替えを行う。
 第1表示モードにおいて、設定された熱画像の表示倍率が第1所定値よりも大きいときは(S13でYES)、コントローラ11は、表示モードを第1表示モードから第2表示モードに切り替える(S18)。これにより、図4(A)に示すような熱画像41と可視画像40が並べて表示される状態から、図4(B)に示すような拡大された熱画像41bが表示される状態に切り替えられる。ここで、第1所定値は、例えば、表示部13の表示領域上で、拡大された熱画像41により可視画像40が全て隠れてしまうときの熱画像の表示倍率(拡大率)の値に設定される。
 第2表示モードにおいて、設定された熱画像の表示倍率が第1所定値よりも小さいときは(S14でYES)、コントローラ11は、表示モードを第2表示モードから第1表示モードに切り替える(S19)。これにより、図4(B)に示すような熱画像41bが表示領域全体に表示される状態から、図4(A)に示すような熱画像41と可視画像40が表示される状態に切り替えられる。
 第2表示モードにおいて、設定された熱画像の表示倍率が第2所定値(>第1所定値)よりも大きいときは(S15でYES)、コントローラ11は、表示モードを第2表示モードから第3表示モードに切り替える(S20)。これにより、図4(B)に示すような熱画像41bが表示される状態から、図4(C)及び図5に示すような温度値が重畳された熱画像41cが表示される状態に切り替えられる。第3表示モードで表示される第3シーン画像で表示される1つの温度値は、赤外線カメラ19の撮像素子の1画素に対応する被写体の温度を示す。よって第3シーン画像において、赤外線カメラ19の1画素に対応する画素領域のサイズが小さいと、ユーザが温度値を視認する程度の数値をその画素領域に重ねて表示することができない。よって、第2所定値は、赤外線カメラ19の1画素に対応する熱画像の画素領域の大きさが、ユーザが視認できる程度の大きさの数値(温度値)を配置できるような大きさになる表示倍率の値に設定される。例えば、ユーザが視認できる程度の画素領域の大きさとして、縦32画素×横32画素の領域が必要な場合、熱画像は32×32倍に拡大されたときに、赤外線カメラ19の1画素に対応する熱画像の画素領域において、ユーザが視認できる程度の大きさの数値(温度値)を配置できる。よって、この場合、第2所定値は32×32倍に設定される。
 また、第3表示モードにおいて、設定された熱画像の表示倍率が第2所定値よりも小さいときは(S16でYES)、コントローラ11は、表示モードを第3表示モードから第2表示モードに切り替える(S21)。これにより、図4(C)に示すような温度値が重畳された熱画像41cが表示される状態から、図4(B)に示すような、温度値は示されず、可視画像のエッジ画像が重畳された熱画像41bが表示される状態に切り替えられる。
 その後、コントローラ11は、設定した表示倍率で画像を拡大または縮小して表示させる(S17)。
 以上のように、本実施の形態の情報処理装置10によれば、ユーザのタッチ操作に応じて熱画像を拡大、縮小できる。また、熱画像を拡大させることにより、対象物(熱源)の温度を数値で確認することができる。すなわち、温度を確認したい対象物(熱源)の位置とその温度情報をその周辺も含めて単純な動作で視覚的に認識することができ、ユーザは温度情報を直感的に理解しやすくなる。
 なお、上記の例では、3つの表示モードを設定したが、表示モードの態様はこれに限定されない。すなわち、第2表示モードを設けずに、第1表示モードと第3表示モードの間で切り替えるようにしてもよい。この場合、第3表示モードにおいて、熱画像の表示倍率が十分に大きくない場合、赤外画像(赤外線カメラ19の撮像素子)の1画素の温度を示す数値を視認できる程の大きさに表示できない場合がある。よって、第3表示モードにおいて、熱画像の表示倍率が所定値よりも小さい場合に、赤外画像の所定数の画素の温度の平均値を表示するようにすればよい。ここで、所定数は、所定数の画素の領域の大きさが、ユーザが認識できる程度の数値を表示できる大きさとなるような値に設定する。これにより、ユーザにより視認できるように温度を示す数値を表示することができる。
 [1-3.効果等]
 以上のように、本実施の形態の情報処理装置10(画像表示装置の一例)は、被写体の可視画像および被写体の温度情報を色で示す熱画像の少なくとも一方を表示する表示部13と、表示部13を制御するコントローラ11(制御部の一例)と、を備える。コントローラ11は、熱画像41と可視画像40とを含む第1シーン画像(第1の画像の一例)と、可視画像は含まず、第1シーン画像の熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像41cを含む第3シーン画像(第2の画像の一例)とのいずれかを表示部13に表示させる。
 上記構成により、第1シーン画像では、可視画像と熱画像が並べて配置されることから、熱画像における熱源の位置や形状を可視画像により正確に把握することができる。また、第3シーン画像では、熱画像に重畳して温度情報を表示するため(図4(C),図5参照)、ユーザは対象物の温度を容易に把握することができる。このようにユーザは目的に応じて必要な画像を表示させることができる。
 情報処理装置10は、表示部13に表示される熱画像を拡大または縮小するためのユーザ操作を入力するタッチパネル(操作部の一例)をさらに備える。コントローラ11は、ユーザ操作に基づく熱画像の拡大率に応じて表示部に表示させる画像を切り替える。これにより、拡大/縮小という簡単な操作により温度情報の提示方法を切り替えることができる。
 コントローラ11は、さらに、可視画像は含まず、第1シーン画像の熱画像41よりも拡大され且つ第3シーン画像の熱画像41cよりも縮小された熱画像41bを含む第2シーン画像を表示部13に表示可能である。コントローラ11は、第1ないし第3シーン画像のいずれかを表示部13に表示させる。これにより、画像の拡大率に応じて熱画像の表示態様を段階的に切り替えることができる。
 第2シーン画像は、可視画像から抽出したエッジ画像が重畳された熱画像を含む。これにより熱画像において熱源の輪郭をより認識し易くなる。
 熱画像は赤外線カメラ19により撮像された赤外画像から生成される。第3シーン画像における温度を示す数値は、赤外画像の1画素から得られる温度情報が示す温度の値を示す。これにより、熱源の各領域の温度の値を把握することができる。
 また、本実施の形態は、被写体の温度情報を色で示す熱画像を表示部に表示させる画像表示方法も開示する。
 その画像表示方法は、被写体の可視画像と、被写体の温度情報を色で示す熱画像とを取得し、表示部(表示装置の一例)に表示させる画像を、ユーザによる熱画像を拡大または縮小するための操作に応じて、熱画像と可視画像とを含む第1シーン画像(第1の画像)と、可視画像は含まず、第1の画像の熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像を含む第3シーン画像(第2の画像)とのいずれかに切り替える。
 上記の画像表示方法において、さらに、可視画像は含まず、第1の画像の熱画像よりも拡大され且つ第2の画像の熱画像よりも縮小された熱画像を含む第2シーン画像(第3の画像)を表示部に表示させてもよい。このとき、表示部に表示させる画像を、ユーザによる熱画像を拡大または縮小するための操作に応じて、第1ないし第3シーン画像のうちのいずれかに切り替える。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
 実施の形態1では、第3表示モードにおいて熱画像41cの数値は、赤外画像(赤外線カメラ19の撮像素子)の1画素の温度を示していたが、温度値の表示の方法はこれに限定されない。熱画像41cの数値は、赤外画像の複数画素で構成される領域内の温度の平均値、最小値および最大値の少なくとも一つを示してもよい。
 実施の形態1においては、タッチパネル15上の操作に基づき画像の表示倍率の変更を行ったが、表示倍率の変更のための操作手段はタッチパネルに限定されない。マウスホイールのような任意の入力デバイスを表示倍率の変更の手段として利用できる。
 実施の形態1では、画像表示装置としてタブレット端末を例として用いて説明したが、本開示の思想は他の種類の電子機器に対しても適用できる。例えば、本開示の思想は、スマートフォン、ノート型PCのような電子機器にも適用できる。
 熱画像表示アプリケーション16aおよび温度・色情報変換テーブル16bは、光ディスクやメモリカードのような可搬性の記録媒体から情報処理装置10にインストールしてもよいし、ネットワークを介してサーバからダウンロードしてもよい。
 実施の形態1では、第2シーン画像は、エッジ画像と熱画像とを含むが、本開示の思想はこれに限らない。第2シーン画像は、熱画像を含むがエッジ画像を含まないこととしてもよい。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
 したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示の画像表示装置は、対象物の温度情報を直感的に認識しやすい方法でユーザに提示することを可能とする。よって、本開示の画像表示装置は、対象物の温度情報をユーザに提示する装置に有用である。
 10 情報処理装置
 11 コントローラ
 13 表示部
 16 データ記憶部
 16a 熱画像表示アプリケーション
 16b 温度・色情報変換テーブル
 17 可視光カメラ
 19 赤外線カメラ

Claims (11)

  1.  被写体の可視画像および被写体の温度情報を色で示す熱画像の少なくとも一方を表示する表示部と、
     前記表示部を制御する制御部と、を備え、
     前記制御部は、
     前記熱画像と前記可視画像とを含む第1の画像と、
     前記可視画像は含まず、前記第1の画像の熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像を含む第2の画像とのいずれかを前記表示部に表示させる、画像表示装置。
  2.  前記表示部に表示される熱画像を拡大または縮小するためのユーザ操作を入力する操作部をさらに備え、
     前記制御部は、前記ユーザ操作に基づく前記熱画像の拡大率に応じて前記表示部に表示させる画像を前記第1の画像と前記第2の画像とのいずれかに切り替える、請求項1記載の画像表示装置。
  3.  前記制御部は、
      さらに、前記可視画像は含まず、前記第1の画像の熱画像よりも拡大され且つ前記第2の画像の熱画像よりも縮小された熱画像を含む第3の画像を前記表示部に表示可能であり、
      前記第1ないし第3の画像のいずれかを前記表示部に表示させる、
    請求項1記載の画像表示装置。
  4.  前記第3の画像は、前記可視画像から抽出したエッジ画像が重畳された熱画像を含む、請求項3記載の画像表示装置。
  5.  前記熱画像は赤外線カメラにより撮像された赤外画像から生成され、
     前記第2の画像における温度を示す数値は、前記赤外画像の1画素から得られる温度情報の値を示す、請求項1記載の画像表示装置。
  6.  前記熱画像は赤外線カメラにより撮像された赤外画像から生成され、
     前記第2の画像における温度を示す数値は、前記赤外画像の所定数の画素から得られる温度情報の値の平均値を示す、請求項1記載の画像表示装置。
  7.  前記可視画像を撮影可能な第1カメラと、赤外画像を撮影可能な第2カメラと、をさらに備え、
     前記制御部は、前記赤外画像に基づき前記熱画像を生成する、請求項1記載の画像表示装置。
  8.  タブレット端末である、請求項1記載の画像表示装置。
  9.  被写体の温度情報を色で示す熱画像を表示装置に表示させる画像表示方法であって、
     前記被写体の可視画像と、前記被写体の温度情報を色で示す熱画像とを取得し、
     前記表示装置に表示させる画像を、ユーザによる前記熱画像を拡大または縮小するための操作に応じて、
     前記熱画像と前記可視画像とを含む第1の画像と、
     前記可視画像は含まず、前記第1の画像の前記熱画像よりも拡大した熱画像であって、所定の領域毎に温度を示す数値が重ねられた熱画像を含む第2の画像とのいずれかに切り替える、画像表示方法。
  10.  さらに、前記可視画像は含まず、前記第1の画像の前記熱画像よりも拡大され且つ前記第2の画像の前記熱画像よりも縮小された熱画像を含む第3の画像を前記表示装置に表示させ、
     前記表示装置に表示させる画像を、前記ユーザによる前記熱画像を拡大または縮小するための前記操作に応じて、前記第1ないし第3の画像のうちのいずれかに切り替える、請求項9記載の画像表示方法。
  11.  請求項9または10記載の画像表示方法を情報処理装置に実行させるためのプログラム。
PCT/JP2018/004962 2017-02-23 2018-02-14 画像表示装置及び画像表示方法並びにプログラム WO2018155267A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019501242A JP7042398B2 (ja) 2017-02-23 2018-02-14 画像表示装置及び画像表示方法並びにプログラム
CN201880013107.6A CN110326292B (zh) 2017-02-23 2018-02-14 图像显示装置、图像显示方法及存储介质
EP18758368.7A EP3588943B1 (en) 2017-02-23 2018-02-14 Image display device, image display method, and program
US16/541,318 US11037334B2 (en) 2017-02-23 2019-08-15 Image display device, image display method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017032525 2017-02-23
JP2017-032525 2017-02-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/541,318 Continuation US11037334B2 (en) 2017-02-23 2019-08-15 Image display device, image display method, and program

Publications (1)

Publication Number Publication Date
WO2018155267A1 true WO2018155267A1 (ja) 2018-08-30

Family

ID=63252619

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/004962 WO2018155267A1 (ja) 2017-02-23 2018-02-14 画像表示装置及び画像表示方法並びにプログラム

Country Status (5)

Country Link
US (1) US11037334B2 (ja)
EP (1) EP3588943B1 (ja)
JP (1) JP7042398B2 (ja)
CN (1) CN110326292B (ja)
WO (1) WO2018155267A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085303A1 (ja) * 2018-10-22 2020-04-30 パナソニックIpマネジメント株式会社 情報処理装置及び情報処理方法
WO2022091702A1 (ja) * 2020-10-30 2022-05-05 富士フイルム株式会社 赤外線熱画像解析装置、赤外線熱画像解析方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386588B2 (en) * 2016-12-27 2022-07-12 Sony Corporation Product design system and design image correction apparatus
JP7367597B2 (ja) * 2020-04-17 2023-10-24 新東工業株式会社 画像表示装置、画像表示方法及び制御プログラム
JP2022086489A (ja) 2020-11-30 2022-06-09 新東工業株式会社 画像表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023142A1 (fr) * 2000-09-04 2002-03-21 Noboru Hayakawa Indicateur de temperature et systeme de surveillance de temperature
JP2005016991A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断システム
JP2005016995A (ja) 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP2010194073A (ja) * 2009-02-25 2010-09-09 Terumo Corp 赤外線サーモグラフィ装置
JP2015194367A (ja) * 2014-03-31 2015-11-05 株式会社電子技術工房 温度計測装置およびその計測結果の表示処理用のプログラムならびに温度計測システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5695346A (en) * 1989-12-07 1997-12-09 Yoshi Sekiguchi Process and display with moveable images
US7484885B1 (en) * 2004-06-30 2009-02-03 Raytek Corporation Thermal imager having sunlight exposure protection mechanism
US7965314B1 (en) * 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
JP2006333132A (ja) * 2005-05-26 2006-12-07 Sony Corp 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
EP2197199B1 (en) * 2008-12-12 2017-10-18 Testo SE & Co. KGaA Thermal imaging camera and method for constructing a thermographic image
US10044946B2 (en) * 2009-06-03 2018-08-07 Flir Systems Ab Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
CN101945224B (zh) * 2009-07-01 2015-03-11 弗卢克公司 热成像方法
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックIpマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
US9204062B2 (en) * 2011-08-24 2015-12-01 Fluke Corporation Thermal imaging camera with range detection
JP6110396B2 (ja) * 2012-10-05 2017-04-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体
US20150062346A1 (en) * 2013-09-04 2015-03-05 Jacob Fraden Mobile thermal imaging device
US9436367B2 (en) * 2013-12-18 2016-09-06 Flir Systems Ab Processing an infrared (IR) image based on swipe gestures
US10506193B2 (en) * 2016-07-19 2019-12-10 Snap-On Incorporated Methods and systems for displaying a thermal image and information related to servicing a vehicle
US10924670B2 (en) * 2017-04-14 2021-02-16 Yang Liu System and apparatus for co-registration and correlation between multi-modal imagery and method for same
TWI634348B (zh) * 2017-07-26 2018-09-01 英屬維京群島商宇博先進股份有限公司 具熱顯像功能的穿戴式裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023142A1 (fr) * 2000-09-04 2002-03-21 Noboru Hayakawa Indicateur de temperature et systeme de surveillance de temperature
JP2005016991A (ja) * 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断システム
JP2005016995A (ja) 2003-06-24 2005-01-20 Railway Technical Res Inst 赤外線構造物診断方法
JP2010194073A (ja) * 2009-02-25 2010-09-09 Terumo Corp 赤外線サーモグラフィ装置
JP2015194367A (ja) * 2014-03-31 2015-11-05 株式会社電子技術工房 温度計測装置およびその計測結果の表示処理用のプログラムならびに温度計測システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085303A1 (ja) * 2018-10-22 2020-04-30 パナソニックIpマネジメント株式会社 情報処理装置及び情報処理方法
US20210231502A1 (en) * 2018-10-22 2021-07-29 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus for helping intuitive and easy recognition of temperature of heat source
JPWO2020085303A1 (ja) * 2018-10-22 2021-09-09 パナソニックIpマネジメント株式会社 情報処理装置及び情報処理方法
WO2022091702A1 (ja) * 2020-10-30 2022-05-05 富士フイルム株式会社 赤外線熱画像解析装置、赤外線熱画像解析方法、及びプログラム

Also Published As

Publication number Publication date
EP3588943B1 (en) 2023-11-08
US11037334B2 (en) 2021-06-15
CN110326292A (zh) 2019-10-11
EP3588943A4 (en) 2020-02-12
US20190371014A1 (en) 2019-12-05
EP3588943A1 (en) 2020-01-01
CN110326292B (zh) 2021-10-08
JP7042398B2 (ja) 2022-03-28
JPWO2018155267A1 (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
WO2018155267A1 (ja) 画像表示装置及び画像表示方法並びにプログラム
US11874177B2 (en) Image display device and image display method
US10230907B2 (en) Thermal imaging device and normative photographing method for thermal image
JP2019079056A (ja) モバイル端末、方法、プログラムおよび記録媒体
US10055081B2 (en) Enabling visual recognition of an enlarged image
US20140184526A1 (en) Method and apparatus for dual display
CN110574000B (zh) 显示装置
US20210231502A1 (en) Information processing apparatus for helping intuitive and easy recognition of temperature of heat source
KR20150106330A (ko) 화상 표시 장치 및 화상 표시 방법
JP6579905B2 (ja) 情報処理装置、情報処理装置の表示制御方法、及びプログラム
JP5152317B2 (ja) プレゼンテーション制御装置及びプログラム
JP6716519B2 (ja) 表示装置及び表示方法
WO2014167675A1 (ja) 電子機器
US11948482B2 (en) Display method and non-transitory computer-readable storage medium storing program
JP2014212406A (ja) 画像処理装置および画像処理プログラム
TWI493433B (zh) 被遮蔽畫面投影方法及應用該方法之可攜式電子裝置
JP2018128803A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2010146026A (ja) 表示制御装置
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP2017163261A (ja) 画像表示装置及び画像表示方法
JP2017204718A (ja) 撮像装置およびそのズーム制御方法
JP2016136325A (ja) 画像処理装置及びプログラム
JP6224407B2 (ja) 表示装置及び表示方法
KR20150076885A (ko) 표시장치 및 이의 표시방법
JP2018106412A (ja) 画像処理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18758368

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019501242

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018758368

Country of ref document: EP

Effective date: 20190923