JP7311099B2 - 画像表示システム - Google Patents

Description

本発明は，画像表示システムに関する。

近年の情報処理技術の発展に伴い，表示装置の画面サイズ（縦，横の大きさ）を大きく超える巨大画像情報を，確認する必要がある場合がある。たとえば，橋梁やトンネルなどの社会インフラ構造物をＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）や点検ロボットなどによって撮影して合成した巨大な画像情報から，社会インフラ構造物のひび割れなどの損傷を確認することが検討されている。また，病理学分野，病理検査分野では，デジタル顕微鏡やバーチャルスライドなどのデジタルパソロジー技術で撮影した組織標本の巨大画像情報から診断を行うことがある。

このような巨大画像情報を表示装置で表示する場合には，たとえば特許文献１に示すような技術がある。

特開２００９－１１８２１１号公報

特許文献１に記載された発明を用いることで，巨大画像情報について，解像度を十分に生かしながら表示装置に表示することはできる。しかし，巨大画像情報は，表示装置では表示しきれないので，縦，横に何度もスクロールをしなければ巨大画像情報の全体に亘って視認することはできない。そのため，特許文献１に記載された発明を用いたとしても，巨大画像情報を表示することはできるものの，操作者が巨大画像情報のどこを視認したかを確認することまではできない。

たとえば巨大画像情報からインフラ構造物の損傷などを確認する場合，巨大画像情報に損傷があるか否かを，その全体に亘って操作者は確認する必要がある。その場合，巨大画像情報を縦，横に適宜，スクロールをしながら確認することになるが，漏れなく確認することは容易ではない。

デジタル顕微鏡やバーチャルスライドなどのデジタルパソロジー技術で撮影した組織標本の巨大画像から診断を行う場合も同様に，巨大画像情報における悪性細胞の有無などを確認し，診断を行うが，これも巨大画像情報で漏れなく確認することは容易ではない。

本発明者は上記課題に鑑み，巨大画像情報について確認漏れが発生しないような画像表示システムを発明した。

第１の発明は、デジタルパソロジー技術で撮影した巨大画像情報または構造物を撮影した巨大画像情報を表示し，操作者が目視により確認を行う画像表示システムであって，前記画像表示システムは，前記巨大画像情報の一部である第１の領域の画像情報の表示処理を行う第１の表示処理部と，前記巨大画像情報の全部または一部であって前記第１の領域を含む第２の領域の画像情報の表示処理を行う第２の表示処理部と，を有しており，過去の巨大画像情報における確認結果と位置情報とに基づいて前記確認対象となる巨大画像情報における重点領域を判定して，前記判定した重点領域を，前記第１の表示処理部および／または前記第２の表示処理部が表示をし，前記第１の表示処理部は，前記操作者によるあらかじめ定められた確認済の操作を受け付けることで，前記第１の領域を目視による確認済として判定し，前記第２の表示処理部は，確認済とされた前記第１の領域に対応する領域について，前記第２の領域で表示変更をする，画像表示システムである。

本発明のように構成することで，確認した部分領域を全体領域に反映することができ，確認漏れの発生を抑止することができる。
確認したか否かは，能動的に操作を受け付けると良い。能動的に操作を受け付ける場合には，表示している領域ごとの特性に応じて確認済か否かを判定できる。
巨大画像情報はその大きさから，注意が散漫になりがちである。そこで，特に重点的に確認をすべき領域を重点領域として表示しておくことで，確認漏れの抑止を図ることができる。

上述の発明において，前記第１の表示処理部は，さらに，前記第１の領域の画像情報を所定時間以上表示することで，前記第１の領域を確認済として判定する，画像表示システムのように構成することができる。

確認したか否かは，本発明のように自動的に判定をしても良い。自動的に判定する場合には，確認済の操作の失念を抑止することができる。

上述の発明において，前記第２の表示処理部は，前記第２の領域の画像情報または前記巨大画像情報に対して，前記確認済とされた前記第１の領域の画像情報の合計の面積割合を表示する，画像表示システムのように構成することができる。

確認済の領域の面積の割合を表示することで，操作者は，あとどの程度の確認をすれば良いのかを認識することができ，作業ペースの調整などに役立てることができる。

第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現することができる。すなわち，コンピュータを，デジタルパソロジー技術で撮影した巨大画像情報または構造物を撮影した巨大画像情報の一部である第１の領域の画像情報の表示処理を行う第１の表示処理部，前記巨大画像情報の全部または一部であって前記第１の領域を含む第２の領域の画像情報の表示処理を行う第２の表示処理部，として機能させる画像表示プログラムであって，過去の巨大画像情報における確認結果と位置情報とに基づいて前記確認対象となる巨大画像情報における重点領域を判定して，前記判定した重点領域を，前記第１の表示処理部および／または前記第２の表示処理部が表示をし，前記第１の表示処理部は，前記操作者によるあらかじめ定められた確認済の操作を受け付けることで，前記第１の領域を目視による確認済として判定し，前記第２の表示処理部は，確認済とされた前記第１の領域に対応する領域について，前記第２の領域で表示変更をする，画像表示プログラムである。

本発明の画像表示システムを用いることで，巨大画像情報について確認漏れが発生しないようにすることができる。

本発明の画像表示システムの全体の構成の一例を模式的に示す図である。 本発明の画像表示システムで用いるコンピュータのハードウェア構成の一例を模式的に示す図である。 本発明の画像表示システムの全体の処理プロセスの一例を示すフローチャートである。 部分領域の表示処理の処理プロセスの一例を示すフローチャートである。 全体領域の表示処理の処理プロセスの一例を示すフローチャートである。 部分領域表示ウィンドウの一例を示す図である。 全体領域表示ウィンドウの一例を示す図である。 座標の変換を模式的に示す図である。 本発明の処理を模式的に示す図である。 部分領域表示ウィンドウで重点領域を表示した場合を示す図である。 全体領域表示ウィンドウで重点領域を表示した場合を示す図である。

本発明の画像表示システム１の全体のシステム構成の一例を図１に，画像表示システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。

画像表示システム１は，コンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報を通信する通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。

画像表示システム１は一台のコンピュータによって実現されていてもよいが，その一部または全部の機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。

本発明の画像表示システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。

入力端末３は，表示処理を行う巨大画像情報を表示端末２に入力する。巨大画像情報とは，後述する全体領域を表示するための表示領域（全体領域表示ウィンドウ２００）の大きさ（画素数）よりも大きな縦および／または横の大きさ（画素数）を有する画像情報である。好ましくは，巨大画像情報の縦および／または横の大きさ（画素数）は，後述する表示端末２における表示装置７２の縦および／または横の大きさ（画素数）よりも大きいことが好ましい。入力端末３としては，たとえば，タブレット型コンピュータやスマートフォンなどの可搬型通信端末や，デジタル顕微鏡やバーチャルスライドなどのデジタルパソロジー技術などで用いる巨大画像情報を撮影する装置であってもよい。

表示端末２は，画像情報入力受付処理部２０と画像情報記憶部２１と部分領域表示処理部２２と全体領域表示処理部２３とを有する。

画像情報入力受付処理部２０は，入力端末３から巨大画像情報の入力を受け付け，後述する画像情報記憶部２１に記憶させる。

画像情報記憶部２１は，画像情報入力受付処理部２０で入力を受け付けた巨大画像情報を記憶する。

部分領域表示処理部２２（第１の表示処理部）は，等倍など，操作者が指定する表示倍率で巨大画像情報の一部分の領域（部分領域，第１の領域）の画像情報１０３を表示装置７２に表示する。部分領域表示処理部２２は，表示装置７２において，部分領域の画像情報１０３を表示するための表示領域（部分領域表示ウィンドウ１００）に表示する。部分領域表示ウィンドウ１００には，当該ウィンドウで表示する部分領域の画像情報１０３の範囲を変更するために，たとえばスクロールバーのような表示範囲を変更する指示部１０１や，表示倍率を変更する指示部（図示せず）を備えていると良い。図６に部分領域表示ウィンドウ１００の一例を示す。

部分領域表示処理部２２は，当該ウィンドウに表示した部分領域の画像情報１０３を操作者が確認したかを，所定の確認済ボタン１０２の押下を受け付ける，当該部分領域の画像情報１０３の表示時間を計時部（図示せず）で計時し，所定時間以上表示されていた，などによって確認済であることを判定すると，当該部分領域表示ウィンドウ１００に表示していた部分領域の画像情報１０３の座標（相対座標）を，巨大画像情報の座標系に変換することで，巨大画像情報における部分領域の座標（画像座標）を算出する。そして算出した画像座標を全体領域表示処理部２３に渡す。

全体領域表示処理部２３（第２の表示処理部）は，巨大画像情報の全体の領域（全体領域，第２の領域）の画像情報２０３を表示装置７２に表示する。全体領域表示処理部２３は，表示装置７２において，全体領域の画像情報２０３を表示するための表示領域（全体領域表示ウィンドウ２００）に表示する。巨大画像情報の大きさは，少なくとも全体領域表示ウィンドウ２００よりも大きいので，全体領域表示処理部２３は，巨大画像情報の全体が全体領域表示ウィンドウ２００に表示可能となる倍率で縮小して表示をする。なお，本明細書で全体領域とは，好ましくは巨大画像情報の全体であるが，必ずしも巨大画像情報の全体である必要はなく，操作者による確認が必要な範囲の全体であって，部分領域の画像情報１０３よりも広い領域であれば足りる。図７に全体領域表示ウィンドウ２００の一例を示す。

全体領域表示処理部２３は，部分領域表示処理部２２から，部分領域表示ウィンドウ１００で表示して確認済の部分領域の画像座標を受け取ると，その画像座標が対応する，全体領域表示ウィンドウ２００における座標（相対座標）を算出する。そしてその算出した座標の領域を確認済領域２０１として，表示を変更する処理を実行する。たとえばハッチングをする，色を変更するなど，各種の表示変更処理を行う。図７では確認済領域２０１についてハッチングをしている。

また全体領域表示処理部２３は，全体領域の画像情報２０３のうち，どの程度の割合が確認済となったかを算出し，その割合を表示領域（確認済割合表示領域２０２）に表示する。具体的には，確認済として受け付けた部分領域の画像座標から算出した全体領域表示ウィンドウ２００における相対座標に基づいて，確認済とした部分領域の画像情報１０３の合計の面積を算出し，全体領域の画像情報の面積で除算することで算出する。

部分領域表示ウィンドウ１００で表示する部分領域，全体領域表示ウィンドウ２００で表示する全体領域は，それぞれのウィンドウ内の相対座標で管理され，巨大画像情報における画像座標系とは一致していない。そこで，部分領域表示ウィンドウ１００で表示して確認した部分領域の画像情報１０３に対応する領域を，全体領域表示ウィンドウ２００における全体領域の画像情報２０３に反映させるためには，座標系の変換を行わなければならない。座標系の変換を模式的に示すのが図８である。

図８（ａ）は巨大画像情報を模式的に示した図であり，巨大画像情報の画像座標系（絶対座標）における原点がＯ１（０，０），点Ａが（Ｘ，Ｙ）である。図８（ｂ）は巨大画像情報の一部分を倍率αで表示している部分領域の画像情報１０３であり，部分領域表示ウィンドウ１００における座標系（相対座標）における原点がＯ２（０，０），点Ａが（ａ，ｂ）である。また図８（ｃ）は巨大画像情報の全体を倍率βで表示している全体領域の画像情報２０３であり，全体領域表示ウィンドウ２００における座標系（相対座標）における原点がＯ３（０，０），点Ａが（ｃ，ｄ）である。点Ａは，それぞれ巨大画像情報，部分領域の画像情報１０３，全体領域の画像情報２０３でそれぞれ対応する点であるが，いずれも異なる座標系であることから座標は一致しない。また，部分領域の画像情報１０３の原点Ｏ２は，巨大画像の画像座標系においては，Ｏ２（Ｘ０，Ｙ０）の座標である。

部分領域表示処理部２２は，部分領域で表示している点Ａの座標（ａ，ｂ）を画像座標系に変換するには，
点Ａ（Ｘ，Ｙ）＝（ａ×α＋Ｘ０，ｂ×α＋Ｙ０）
を演算することで，画像座標系における点Ａの座標に変換できるので，この演算により算出した画像座標系における座標を全体領域表示処理部２３に渡す。

また全体領域表示処理部２３は，巨大画像情報の画像座標系における点Ａ（Ｘ，Ｙ）を全体領域表示ウィンドウ２００で表示している点Ａの座標（ｃ，ｄ）に変換するには，
点Ａ（ｃ，ｄ）＝（Ｘ×β，Ｙ×β）
を演算する。

なお，上述では，巨大画像の画像座標系に変換した上で，全体領域表示処理部２３がその座標系における座標に変換したが，部分領域表示ウィンドウ１００の相対座標系から全体領域表示ウィンドウ２００の相対座標系に直接，変換をしても良い。この場合，
点Ａ（ｃ，ｄ）＝（（ａ×α＋Ｘ０）×β，（ｂ×α＋Ｙ０）×β）
を演算すれば，直接，全体領域表示ウィンドウ２００で表示している点Ａの座標に変換できる。

つぎに本発明の画像表示システム１を用いて巨大画像情報を表示する場合の一例を説明する。巨大画像情報が橋梁を撮影した巨大画像情報であって，そこに写っているひび割れなどの異常を表示装置７２の表示端末２で表示して，操作者が目視による確認を行う場合を説明する。

入力端末３は，橋梁を巨大画像情報を表示端末２に入力し，表示端末２の画像情報入力受付処理部２０は，橋梁の巨大画像情報の入力を受け付け（Ｓ１００），それを画像情報記憶部２１に記憶させる（Ｓ１１０）。

橋梁を撮影した巨大画像情報を表示端末２の表示装置７２で表示して，目視による確認を行う操作者は，表示端末２で所定の操作を行うことで，巨大画像情報の表示要求を行う。そして，この表示要求を受け付けると（Ｓ１２０），表示端末２は，画像情報記憶部２１から選択された巨大画像情報を抽出する。

部分領域表示処理部２２は，表示端末２の表示装置７２に部分領域表示ウィンドウ１００を表示して，部分領域表示ウィンドウ１００で指定された倍率α（たとえば等倍（実寸大）であればα＝１）の大きさで巨大画像情報の一部を表示する。この場合の部分領域表示ウィンドウ１００の一例が図６である。そして，部分領域表示処理部２２は，部分領域表示ウィンドウ１００に対する表示処理を実行する（Ｓ１３０）。

また，全体領域表示処理部２３は，表示端末２の表示装置７２に全体領域表示ウィンドウ２００を表示して，全体領域表示ウィンドウ２００の大きさにあわせて巨大画像情報を表示する。この場合，好ましくは巨大画像情報の全体を縮小して表示をすることが好ましいが，全体を表示せずとも，部分領域表示ウィンドウ１００で表示する部分領域の画像情報１０３よりは広い範囲の巨大画像情報の一部を縮小して表示しても良い。全体領域表示ウィンドウ２００で巨大画像情報の全部または一部を表示する倍率をβとする。そして全体領域表示処理部２３は，全体領域表示ウィンドウ２００に対する表示処理を実行する（Ｓ１４０）。

具体的には，部分領域表示処理部２２が，操作者による，部分領域表示処理部２２で表示する部分領域の指定を受け付けると，その指定された範囲の部分領域の画像情報１０３を抽出し，部分領域表示ウィンドウ１００で表示をする（Ｓ２００）。

そして操作者が当該部分領域の画像情報１０３について，異常の有無について確認した場合，確認済ボタン１０２の押下を受け付けることで，当該部分領域については確認であると判定し（Ｓ２１０，Ｓ２２０），部分領域表示処理部２２は，確認済とされた部分領域を構成する各座標（４点であってもよいし，対角の位置にある２点であってもよい）について，
Ｘ＝ａ×α＋Ｘ０
Ｙ＝ｂ×α＋Ｙ０
を演算することで，画像座標系に変換をする（Ｓ２３０）。

なお，確認済ボタン１０２の押下を受け付けるほか，所定時間，当該部分領域が表示されたことを計時部（図示せず）で計時することで，部分領域表示処理部２２は確認済と判定しても良い。また，確認済ボタン１０２の押下と，計時部による計時の双方を用いても良い。この場合には，早く確認が終わった場合にはつぎの部分領域の確認に進める一方，確認済ボタン１０２の押下の失念にも対応することができる。

全体領域表示処理部２３は，部分領域表示処理部２２において部分領域が確認済であることの判定を受け付けると，部分領域表示処理部２２が算出した各座標を受け取り，その座標に基づいて，
ｃ＝Ｘ×β
ｄ＝Ｙ×β
を演算することで，全体領域表示処理部２３における相対座標系に変換をする（Ｓ３００）。

そして全体領域表示ウィンドウ２００において，Ｓ３００で算出した相対座標系の各座標による領域の表示変更処理を行う。また，表示変更処理を行った領域（確認済とされた部分領域）の面積を算出し，全体領域の面積で除算することで，確認済とした部分領域の割合を確認済割合表示領域２０２に表示する。

そしてある部分領域の確認が終了すると，操作者は，部分領域表示ウィンドウ１００で表示する部分領域を変更し，再度，同様に，確認を行う。そして，図４における部分領域の表示処理，図５における全体領域の表示処理を同様に実行することで，変更した部分領域の確認を行える。このような処理を模式的に示すのが図９である。

以上のような処理を実行することで，操作者は，巨大画像情報においてどの領域の確認をしているのか，どの領域の確認が終了したのかを，全体領域表示ウィンドウ２００を視認することで確認することができるので，確認漏れを抑止することができる。

実施例１では全体領域における確認済の部分領域を表示変更する場合を説明したが，本実施例では画像表示システム１の別の実施態様として，全体領域における重点領域を表示変更してもよい。重点領域とは，操作者が巨大画像情報において重点的に確認をすべき領域であり，たとえば，操作者がより注意深く確認する必要のある領域であったり，巨大画像情報全体を確認する前に優先して確認すべき領域である。

たとえば巨大画像情報が橋梁の画像情報の場合，中間層が多数の層からなるニューラルネットワークの各層のニューロン間の重み付け係数が最適化された学習モデルに対して，橋梁の巨大画像情報を入力し，その出力値に基づいて，損傷領域を判定する。この場合の学習モデルとしては，橋梁や構造物のさまざまな巨大画像情報に損傷領域を与えたものを用いることができる。このような深層学習（ディープラーニング）や機械学習で自動的に判定した領域を重点領域としても良いし，過去の確認結果で損傷があると判定した箇所の領域を重点領域としてもよい。重点領域は，巨大画像情報の表示目的において，逐次，設定することができる。

過去の確認結果で損傷があると判定した箇所の領域については，巨大画像情報の撮影時に，ＧＰＳ装置などの位置情報取得装置によって，巨大画像情報と位置情報とを対応づけているので，それによって，過去の巨大画像情報における損傷箇所と，今回の巨大画像情報の領域の位置とを対応づけることができる。

重点領域は，部分領域表示処理部２２が表示する部分領域表示ウィンドウ１００の部分領域の画像情報１０３，全体領域表示処理部２３が表示する全体領域表示ウィンドウ２００の全体領域の画像情報２０３において，それぞれ表示変更することで，実行できる。これを模式的に示すのが図１０および図１１である。図１０は部分領域表示ウィンドウ１００で重点領域１０４を表示した場合であり，図１１は全体領域表示ウィンドウ２００で重点領域２０４を表示した場合を示す図である。

全体領域表示処理部２３は，全体領域表示ウィンドウ２００において重点領域２０４を表示する場合，確認済領域２０１との違いを明示するため，異なる表示処理を行うと良い。

本発明の画像表示システム１を用いることで，巨大画像情報について確認漏れが発生しないようにすることができる。

１：画像表示システム
２：表示端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：部分領域表示処理部
２３：全体領域表示処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
１００：部分領域表示ウィンドウ
１０１：指示部
１０２：確認済ボタン
１０３：部分領域の画像情報
１０４：重点領域
２００：全体領域表示ウィンドウ
２０１：確認済領域
２０２：確認済割合表示領域
２０３：全体領域の画像情報
２０４：重点領域

Claims (4)

1. デジタルパソロジー技術で撮影した巨大画像情報または構造物を撮影した巨大画像情報を表示し，操作者が目視により確認を行う画像表示システムであって，
   前記画像表示システムは，
   前記巨大画像情報の一部である第１の領域の画像情報の表示処理を行う第１の表示処理部と，
   前記巨大画像情報の全部または一部であって前記第１の領域を含む第２の領域の画像情報の表示処理を行う第２の表示処理部と，を有しており，
   過去の巨大画像情報における確認結果と位置情報とに基づいて前記確認対象となる巨大画像情報における重点領域を判定して，前記判定した重点領域を，前記第１の表示処理部および／または前記第２の表示処理部が表示をし，
   前記第１の表示処理部は，
   前記操作者によるあらかじめ定められた確認済の操作を受け付けることで，前記第１の領域を目視による確認済として判定し，
   前記第２の表示処理部は，
   確認済とされた前記第１の領域に対応する領域について，前記第２の領域で表示変更をする，
   ことを特徴とする画像表示システム。
2. 前記第１の表示処理部は，さらに，
   前記第１の領域の画像情報を所定時間以上表示することで，前記第１の領域を確認済として判定する，
   ことを特徴とする請求項１に記載の画像表示システム。
3. 前記第２の表示処理部は，
   前記第２の領域の画像情報または前記巨大画像情報に対して，前記確認済とされた前記第１の領域の画像情報の合計の面積割合を表示する，
   ことを特徴とする請求項１または請求項２に記載の画像表示システム。
4. コンピュータを，
   デジタルパソロジー技術で撮影した巨大画像情報または構造物を撮影した巨大画像情報の一部である第１の領域の画像情報の表示処理を行う第１の表示処理部，
   前記巨大画像情報の全部または一部であって前記第１の領域を含む第２の領域の画像情報の表示処理を行う第２の表示処理部，として機能させる画像表示プログラムであって，
   過去の巨大画像情報における確認結果と位置情報とに基づいて前記確認対象となる巨大画像情報における重点領域を判定して，前記判定した重点領域を，前記第１の表示処理部および／または前記第２の表示処理部が表示をし，
   前記第１の表示処理部は，
   前記操作者によるあらかじめ定められた確認済の操作を受け付けることで，前記第１の領域を目視による確認済として判定し，
   前記第２の表示処理部は，
   確認済とされた前記第１の領域に対応する領域について，前記第２の領域で表示変更をする，
   ことを特徴とする画像表示プログラム。

Images