JP6021053B2 - 動画視認性定量化装置、動画視認性定量化方法、及びプログラム - Google Patents

Description

本発明は、動画視認性定量化装置、動画視認性定量化方法、及びプログラムに関する。

例えば土木分野や医療分野においては、観測対象物を撮影した動画や、観測対象物の画像が切り替えられて表示される動画を観察することにより、観測対象物に関する知見を得ることが一般に行われている（例えば、特許文献１参照）。

特開２０１１−１９３９９７号公報

しかしながら、動画に対する判読は観察者の主観に大きく依存するため、動画で表示される観測対象物を客観的（定量的）に評価することは困難であった。

本発明は上記課題を鑑みてなされたものであり、動画で表示される対象物を客観的に評価することができる動画視認性定量化装置、動画視認性定量化方法、及びプログラムを提供することを目的とする。

上記目的を達成するため本発明の一つの側面に係る動画視認性定量化装置は、連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得する取得部と、前記取得部で取得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出する算出部と、前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択する選択部と、前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付す着色部と、を備える。

本発明によれば、動画で表示される対象物を客観的に評価することができる動画視認性定量化装置、動画視認性定量化方法、及びプログラムを提供することができる。

本発明の一実施形態である動画視認性定量化システムの構成例を示す図である。 クライアント１０のハードウェア構成例を示す図である。 動画視認性定量化装置２０のハードウェア構成例を示す図である。 ＣＰＵ４０の機能ブロックの構成例を示す図である。 エンボス処理における仮想光の照射方向の一例を示す図である。 エンボス処理におけるフィルタ係数の一例を示す図である。 エンボス処理の一例を示す図である。 動画視認性定量化装置２０の機能ブロックの構成例を示す図である。 動画視認性定量化装置システムにおける処理手順の一例を示すフローチャートである。 画像特徴合成動画生成の処理手順の一例を示すフローチャートである。 画像特徴合成動画生成処理のイメージ図である。 合成元画像及び特徴強調画像の一例を示す図である。 平均の特徴量が強調された特徴強調画像のエンボス画像の一例を示す図である。 画像特徴合成画像の一例を示す図である。 視認性評価図生成の処理手順の一例を示すフローチャートである。 視認性評価図生成処理のイメージ図である。 所定の画素における画像濃度値の変動について説明するための図である。 空間周波数について説明するための図である。 周波数及びパワーレベルによって定まる色を示す図である。 画像特徴合成動画及び視認性評価図の一例を示す図を示す図である。 合成元画像、画像特徴合成動画及び視認性評価図の一領域を拡大した図である。 クライアント１０に表示される画面の一例を示す図である。

本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。

＝＝＝システム構成＝＝＝
本発明の一実施形態である動画視認性定量化システムの構成例について説明する。

図１に示すように、動画視認性定量化システムは、クライアント１０及び動画視認性定量化装置２０を含んで構成されている。そして、クライアント１０及び動画視認性定量化装置２０は、ネットワーク３０を介して通信可能に接続されている。

クライアント１０は、例えば、パーソナルコンピュータや携帯情報端末、携帯電話機等の情報処理装置である。クライアント１０は、例えば判読対象となる動画を、ネットワーク３０を介して動画視認性定量化装置２０に送信する。そして、クライアント１０は、動画視認性定量化装置２０で生成され、ネットワーク３０を介して送信されてくる視認性評価図（表示画像）を表示する。

動画視認性定量化装置２０は、例えば、ＰＣサーバやワークステーション等の情報処理装置である。動画視認性定量化装置２０は、クライアント１０から送信されてくる動画から、動画で表示される対象物を客観的に評価するための視認性評価図を生成し、ネットワーク３０を介してクライアント１０に送信する。

ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）等であり、クライアント１０と動画視認性定量化装置２０とを通信可能に接続する。なお、ネットワーク３０は、有線とすることもできるし、無線とすることもできる。

＜＜＜クライアントの構成＞＞＞
クライアント１０の構成について説明する。図２に示すように、クライアント１０は、ＣＰＵ（Central Processing Unit）４０、メモリ４１、記憶装置４２、表示インタフェース（Ｉ／Ｆ）４３、入力インタフェース（Ｉ／Ｆ）４４、通信インタフェース（Ｉ／Ｆ）４５、及び記録媒体読取装置４６を含んで構成されている。

ＣＰＵ４０は、メモリ４１に格納されたプログラムを実行することにより、クライアント１０を統括制御し、クライアント１０における様々な機能を実現する。メモリ４１は、例えばＲＡＭ（Random Access Memory）等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置４２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース４３は、ディスプレイ等の表示装置５０に画像を表示させるためのビデオカード等のインタフェース装置である。

入力インタフェース４４は、キーボードやマウス、各種デジタル機器等の入力装置５１からデータを入力するためのＵＳＢ（Universal Serial Bus）やＰＳ／２（Personal System/2）等のインタフェース装置である。通信インタフェース４５は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置４６は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５２に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。

なお、クライアント１０は、例えば、ＣＣＤ（Charge Coupled Device）カメラやデジタルカメラ等の入力装置５１を介して画像や動画を取得し、記憶装置４２に格納する。また、クライアント１０は、判読対象となる画像や動画を、例えば、記録媒体５２から読み取り、記憶装置４２に格納することができる。また、クライアント１０は、例えば、ネットワーク３０を介して他の情報処理装置（不図示）から画像や動画を取得することもできる。

＜＜＜動画視認性定量化装置の構成＞＞＞
次に、動画視認性定量化装置２０の構成について説明する。図３に、動画視認性定量化装置２０のハードウェア構成例を示す。動画視認性定量化装置２０は、ＣＰＵ６０、メモリ６１、記憶装置６２、通信インタフェース６３、及び記録媒体読取装置６４を含んで構成されている。

ＣＰＵ６０は、メモリ６１に格納されたプログラムを実行することにより、動画視認性定量化装置２０を統括制御し、動画視認性定量化装置２０における様々な機能を実現する。メモリ６１は、例えばＲＡＭ等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置６２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース６３は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置６４は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５３に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。

＜＜＜ＣＰＵ４０に実現される機能の一例について＞＞＞
ＣＰＵ４０は、撮影された動画（動画を構成するフレーム）を動画視認性定量化装置２０に転送するだけでなく、例えば、判読対象となる画像が入力された場合、判読対象の画像の特徴が強調された動画（画像特徴合成動画）を生成して動画視認性定量化装置２０に転送する。図４は、ＣＰＵ４０が画像特徴合成動画を生成する際に、ＣＰＵ４０に実現される機能ブロックの一例である。

ＣＰＵ４０は、特徴強調処理部７０、エンボス画像生成部７１、及び画像特徴合成画像生成部７２を含んで構成されている。なお、特徴強調処理部７０等の機能ブロックは、ＣＰＵ４０がメモリ４１に格納されたプログラムを実行することにより実現される。

特徴強調処理部７０は、メモリ６１に格納された画像のうち、合成対象画像を読み出し、合成対象画像に対してテクスチャ強調処理やエッジ強調処理等の強調処理を施す。ここで、合成対象画像とは、例えばＣＣＤカメラ等の入力装置５１から得られる合成元画像の合成相手であり、前述した特徴強調処理が施される前の画像である。また、テクスチャ強調処理では、画像に対し、相関、分散、コントラスト、エントロピー等のフィルタが適用され、エッジ強調処理では、画像に対し、１次微分・差分型のPrewittフィルタや、１次微分・テンプレート型のRobinsonフィルタ等が適用される。なお、合成対象画像に施される強調処理は、利用者が入力装置５１を操作することによって適宜指定される。そして、特徴強調処理部７０は、特徴強調処理が施された特徴強調画像をメモリ６１に格納する。

エンボス画像生成部７１は、メモリ６１から特徴強調画像を読み出す。そして、エンボス画像生成部７１は、特徴強調画像に対して複数方向を光源とみなす複数のエンボス画像を生成する。なお、生成された複数のエンボス画像はメモリ６１に格納される。

エンボス画像生成部７１は、図５に例示されるように、特徴強調画像の北側を０度として右回りで４５度ずつ角度をずらした８方向を照射方向として、８つのエンボス画像を生成することができる。この場合、各照射方向におけるエンボス処理に用いられるフィルタ係数は、例えば、図６（ａ）〜（ｈ）に示した３×３の行列とすることができる。なお、図６（ａ）〜（ｈ）に示したフィルタ係数は一例であり、行列内の数値（重み）や行列のサイズを変更することも可能である。

エンボス画像生成部７１におけるエンボス処理の一例を示す。本実施の形態では、合成対象画像の各画素の画像濃度値は、例えば８ビット（０〜２５５）であるとする。図７に例示されるように、エンボス処理前の特徴強調画像の一部を示す３×３の画素の中心の値が“１８”、左上の値が“５”、右下の値が“１３５”であるとする。このとき、図６（ｄ）に示したフィルタ係数を用いてエンボス処理を行うと、３×３の中心画素のエンボス処理後の値は、（−５＋１３５）＋１２８＝２５８となる。ただし、エンボス画像生成部７１は、エンボス処理後の値が“２５５”を越えている場合は、画像濃度値が２５５以下となるように調整する。このようにして、特徴強調画像の各画素に対してエンボス処理が行われる。なお、エンボス処理では複数の画素の差が求められるため、特徴強調画像に対してエンボス処理が施されると、特徴強調画像のエッジが強調されることになる。

画像特徴合成画像生成部７２は、例えば、メモリ６１から複数のエンボス画像を読み出し、これら複数のエンボス画像のそれぞれに対し、メモリ６１から読み出された合成元画像を合成して、複数の画像特徴合成画像を生成する。なお、合成元画像は、いわゆる判読対象となる元画像であり、前述のように、ＣＣＤカメラ等の入力装置５１から得られる。また、画像特徴合成画像生成部７２は、メモリ６１に格納された複数の画像特徴合成画像を読み出して、利用者等の指示に応じて動画視認性定量化装置２０に転送する。

画像特徴合成動画生成部７３は、例えば、メモリ６１に格納された複数の画像特徴合成画像を読み出し、これらの複数の画像特徴合成画像が連続的に切り替えて表示される画像特徴合成動画を生成する。また、生成された画像特徴合成動画は、メモリ６１に格納される。

＜＜＜動画視認性定量化装置２０の一例について＞＞＞
図８に示すように、動画視認性定量化装置２０は、判定部８０、平均化部８１、取得部８２、フーリエ変換処理部８３、選択部８４、及び視認性評価図生成部８５を含んで構成される。

判定部８０は、転送されたフレームがカラーか否か、つまりフレームがＲＧＢバンドを含むか、単バンドのみであるか否かを判定する。

平均化部８１は、転送されたフレームがカラーである場合、フレームに含まれるＲ画像，Ｇ画像，Ｂ画像を抽出する。また、平均化部８１は、Ｒ画像，Ｇ画像，Ｂ画像のそれぞれのフレームが転送された場合、Ｒ画像，Ｇ画像，Ｂ画像をバンドごとに選別する。そして、平均化部８１は、複数のＲ画像のそれぞれにおける画素ごとの画像濃度値ＤＲ（第１濃度値）と、複数のＧ画像のそれぞれにおける画素ごとの画像濃度値ＤＧ（第２濃度値）と、複数のＢ画像のそれぞれにおける画素ごとの画像濃度値ＤＢ（第３濃度値）と、を取得する。平均化部８１は、動画のフレームが表示される順序に対応させて、画素ごとの画像濃度値ＤＲ，ＤＧ，ＤＢの平均値を算出する。具体的には、平均化部８１は、ｎ番目に表示されるＲ，Ｇ，Ｂ画像における画素ごとの画像濃度値ＤＲ，ＤＧ，ＤＢを加算して３で割ることにより、ｎ番目に表示されるカラー画像（Ｒ，Ｇ，Ｂ画像の合成画像）の画素ごとの画像濃度値ＤＡを算出する。

取得部８２は、転送された動画がカラーの場合、平均化部８１で算出されたカラー画像の画素ごとの画像濃度値ＤＡを、カラー画像が表示される順序に対応させて取得する。具体的には、取得部８２は、ｎ番目に表示されるカラー画像の画像ごとの画像濃度値ＤＡは、“ｎ”番目と対応させて取得する。一方、転送された動画が単バンドの場合、取得部８２は、各フレームの画素ごとの画像濃度値を、フレームが表示される順序に対応させて取得する。

フーリエ変換処理部８３（算出部）は、取得部８２で取得された取得結果に対し、離散フーリエ変換処理を施して、画素ごとの画像濃度値の変化に応じた周波数成分を算出する。

選択部８４は、画素ごと算出された周波数成分のうち、パワー（振幅）が最大となる周波数を画素ごとに選択する。

視認性評価図生成部８５（着色部）は、動画に含まれるフレーム画像間における画像濃度値の変化の特徴を表示する視認性評価図を生成する。視認性評価図生成部８５は、表示用の画像の各画素に対し、選択部８４の選択された周波数と、選択された周波数成分のパワーと、に応じた色を着色して視認性評価図（表示画像）を生成する。また、視認性評価図生成部８５は、生成した視認性評価図をクライアント１０に送信する。

＝＝＝処理説明＝＝＝
次に、動画視認性定量化装置２０を用いた動画視認性定量化システムにおける処理の流れについて説明する。
図９に例示されるように、まず、クライアント１０では、動画が選択される（Ｓ１００１）。そして、クライアント１０は、選択された動画の複数のフレームを動画視認性定量化装置２０に送信する（Ｓ１００２）。
動画視認性定量化装置２０は、クライアント１０から送信されてくる複数のフレームを受信し（Ｓ１００３）、メモリ６１に格納する。
また、動画視認性定量化装置２０は、メモリ６１から複数のフレームを読み出し、視認性評価図生成処理を実行し（Ｓ１００４）、生成した視認性評価図をメモリ６１に格納する。
さらに、動画視認性定量化装置２０は、メモリ６１から視認性評価図を読み出してクライアント１０に送信する（Ｓ１００５）。
クライアント１０は、動画視認性定量化装置２０から送信されてくる視認性評価図を受信し（Ｓ１００６）、表示装置５０に視認性評価図を表示する（Ｓ１００７）。

＜＜＜画像特徴合成動画の生成処理について＞＞＞
ここでは、画像特徴合成動画の生成処理について説明する。なお、図１０は、画像特徴合成動画生成処理の一例を示すフローチャートであり、図１１は、画像特徴合成動画生成処理のイメージ図である。

特徴強調処理部７０は、メモリ６１に格納された合成対象画像を読み出し、合成対象画像が、カラー画像（ＲＧＢ画像）であるか単バンド画像であるかを判定する（Ｓ１１０１）。合成対象画像がカラー画像の場合（Ｓ１１０１:カラー）、特徴強調処理部７０は、指定されたバンドの合成対象画像（例えば、Ｒ画像）を生成する（Ｓ１１０２）。一方、合成対象画像が単バンドである場合（Ｓ１１０１：単バンド）、または、処理Ｓ１１０２にて単バンドの合成対象画像が生成された場合、特徴強調処理部７０は、単バンドの合成対象画像に対し、指定された特徴強調処理を施す（Ｓ１１０３）。なお、図１１の例では、合成対象画像であるＲ画像１５０に対し、例えばエッジ強調処理が施され、特徴強調画像１５１が生成されている。なお、生成された特徴強調画像１５１は、メモリ６１に格納される。

そして、エンボス画像生成部７１は、特徴強調画像１５１に対して、指定された照射方向及びエンボスパターンに従ったエンボス処理を施して複数のエンボス画像を生成する（Ｓ１１０４）。図１１の例では、特徴強調画像１５１に対し、照射方向を４５度刻みとする８つのエンボス処理が施されることにより、８枚のエンボス画像１６０ａ〜１６０ｈが生成され、メモリ６１に格納される。

画像特徴合成画像生成部７２は、エンボス画像生成部７１で生成された画像と、合成元画像とをメモリ６１から読み出して合成し、画像特徴合成画像を生成する（Ｓ１１０５）。ここで、図１１において、合成元画像がカラー画像１７０である場合について説明する。画像特徴合成画像生成部７２は、８枚のエンボス画像１６０ａ〜１６４ｈと、カラー画像１７０とを合成し、８枚の画像特徴合成画像１８０ａ〜１８０ｈを生成する。また、画像特徴合成画像生成部７２は、８枚のエンボス画像１６０ａ〜１６４ｈと、カラー画像１７０から生成されるＲ画像１７１ａとを合成し、８枚の画像特徴合成画像１９０ａ〜１９０ｈを生成する。なお、Ｇ画像１７１ｂ，Ｂ画像１７１ｃに対しても同様の処理が施されるため、画像特徴合成画像１９１ａ〜１９１ｈ，１９２ａ〜１９２ｈが生成される。そして、生成された画像特徴合成画像１８０ａ〜１８０ｈ，１９０ａ〜１９０ｈ等は、メモリ６１に格納される。なお、詳細は後述するが、Ｒ画像１７１ａ等に対して生成された画像特徴合成画像１９０ａ〜１９０ｈ等は、動画視認性定量化装置２０へと送信される。

画像特徴合成動画生成部７３は、メモリ６１に格納された８枚の画像特徴合成画像１８０ａ〜１８０ｈを読み出し、指定された表示順序及び表示速度に従って、画像特徴合成動画２００を生成する（Ｓ１１０６）。なお、この画像特徴合成動画２００は、メモリ６１に格納される。

なお、処理Ｓ１１０５で実行される画像特徴合成画像は、例えば、以下の式（１）、（２）を用いて求めることができる。具体的には、画像特徴合成画像１８０の各画素の画素値をＱ（ｉ）とし、カラー画像１７０の各画素の画素値をＰとし、エッジ強調画像１６０の画素の画素値の和をＥ（ｉ）とし、ｉをエッジ強調処理の方向を示す１〜８の自然数とすると、画素値Ｑ（ｉ）は、例えば、画素値Ｅ（ｉ）が１２８以上の場合には次式（１）によって求めることができ、画素値Ｅ（ｉ）が１２８未満の場合には次式（２）によって求めることができる。
Ｑ（ｉ）＝２×（Ｐ＋Ｅ（ｉ）−Ｐ×Ｅ（ｉ）／２５５）−２５５・・・（１）
Ｑ（ｉ）＝Ｐ×Ｅ（ｉ）×２／２５５・・・（２）

＝＝＝動画生成例＝＝＝
画像特徴合成動画の生成例について説明する。なお、生成例では、特徴強調処理を施すフィルタとして、“平均”の特徴量を強調するフィルタが選択されていることとする。さらに、生成例では、特徴強調画像に対し、照射方向を４５度刻みの８方向のエンボス処理が施され、画像特徴合成画像の表示される順序を右回りとしている。

図１２（ａ）に示された画像は、合成元画像及び合成対象画像となるコンクリート表面画像（カラー）である。このため、図１２（ａ）に示した画像が、例えば図１１に示す合成元のカラー画像１７０となる。また、図１２（ｂ）に示された画像は、合成対象画像（カラー画像１７０）のＲバンド画像における“平均”の特徴量が強調された特徴強調画像１５１である。

そして、本実施形態では、特徴強調画像１５１に対して８方向のエンボス処理が施され、図１３に示すように、８枚のエンボス画像１６０ａ〜１６０ｈが生成される。この結果、エンボス画像１６０ａ〜１６０ｈでは、単バンド画像１５０の“平均”の特徴量がより強調されることになる。

次に、画像特徴合成画像の例を示す。図１２（ａ）に例示されるように合成元画像であるカラー画像１７０に、平均の特徴量が強調されたエンボス画像１６０ａ〜１６０ｈの夫々が合成されることにより、図１４に示す、画像特徴合成画像１８０ａ〜１８０ｈが生成されている。

そして、画像特徴合成動画１９０は、画像特徴合成画像１８０ａ〜１８０ｈが、指定された表示速度で右回りに繰り返し表示されるものとなっている。画像特徴合成動画１９０では、残像錯視効果により画像全体が鮮鋭化されるとともに、擬似回転錯視が誘発されて凹凸が強調されるため、カラー画像１７０の画質が維持されつつ、カラー画像１７０の特徴が強調される。

＜＜＜視認性評価図の生成処理について＞＞＞
画像特徴合成動画に基づいて、視認性評価図が生成される処理（図９の処理Ｓ１００４）の詳細ついて、図１５に例示するフローチャート、及び図１６の処理イメージ図を用いて詳細に説明する。ここで、動画視認性定量化装置２０には、処理Ｓ１００３において、図１１で示した、Ｒ画像の画像特徴合成画像１９０ａ〜１９０ｈ、Ｇ画像の画像特徴合成画像１９１ａ〜１９１ｈ、Ｂ画像の画像特徴合成画像１９２ａ〜１９２ｈが送信されていることとする。

まず、判定部８０は、転送されたフレームがカラーか否かを判定する（Ｓ１２０１）。転送されたフレームが単バンドであると判定された場合（Ｓ１２０１：単バンド）、判定部８０は、各フレームにおける画素ごとに画像濃度値をメモリ６１に格納する（Ｓ１２０２）。

一方、転送されたフレームが、カラーであると判定された場合（Ｓ１２０１：カラー）、平均化部８１は、ＲＧＢの各バンドのフレームにおける画素ごとに、画像濃度値をメモリ６１に格納する（Ｓ１２０３）。たとえば、Ｒバンドの画像特徴合成画像１９０ａの画素数が、６４０００個（横３２０個、縦２００個）である場合、６４０００個の画素のそれぞれの画像濃度値ＤＲが、８枚のフレーム（画像特徴合成画像１９０ａ〜１９０ｈ）ごとにメモリ６１に格納される。なお、Ｇバンド、Ｂバンドについても同様である。そして、平均化部８１は、表示されるフレームごとに、各画素の画像濃度値の平均値を算出する（Ｓ１２０４）。具体的には、１枚目のフレーム（画像特徴合成画像１９０ａ，１９１ａ，１９２ａ）の画素ごとの画像濃度値ＤＲ，ＤＧ，ＤＢを加算して３で割る。これにより、１番目に表示される１枚目のフレームに対しては、６４０００個の平均値（画像濃度値ＤＡ）が算出されることになる。なお、２〜８枚目のフレームに対しても同様である。

取得部８２は、メモリ６１に格納された各フレームにおける画素ごとの画像濃度値を取得する（Ｓ１２０５）。なお、取得部８２が取得する画素ごとの画像濃度値は、フレームがカラーの場合は平均値（画像濃度値ＤＡ）となる。図１７は、取得部８２が取得する所定の画素Ｐの画像濃度値の一例である。図１７では、たとえば１枚目のフレームの画素Ｐの画像濃度値が“１００”であり、２枚目のフレームの画素Ｐの画像濃度値が“１４０”である。このため、この場合には、フレームが１から８に切り替わるたびに、画素Ｐの画像濃度値は、“１００”→“１４０” →“１６０” →“１４０” →“１００” →“６０” →“４０” →“６０” と変化する。したがって、画像特徴合成動画２００が再生されると、つまり、１枚目のフレームから８枚目のフレームが繰り返し切り替えられると、画素Ｐの画像濃度値の時間変動は、図１７の一点鎖線に示すような波形で繰り返し変化する。

また、フーリエ変換処理部８３は、処理Ｓ１２０５で取得された取得結果に対し、離散フーリエ変換処理を施して、画素ごとの画像濃度値の変化に応じた周波数成分を算出する（Ｓ１２０６）。図１７の例では、８枚のフレーム（８ピクセル）が繰り返し順次切り替えて表示されるため、図１８に示す４つの空間周波数ｆ１〜ｆ４（ｆ４＞ｆ１）ごとのパワーが求められる。なお、空間周波数ｆ１〜ｆ４のそれぞれは、０．１２５，０．２５，０．３７５，０．５（ｃｙｃｌｅ／ｐｉｘｅｌ）となる。

そして、選択部８４は、画素ごとにパワー（振幅）が最大となる周波数を選択する（Ｓ１２０７）。また、視認性評価図生成部８５は、図１６に示す視認性評価図３００のそれぞれの画素に対し、選択部８４で選択された周波数と、選択された周波数のパワーとに応じた色を付す（Ｓ１２０８）。なお、視認性評価図３００は、転送されてくるフレームの画素数と等しい画素数（例えば、６４０００個（横３２０個、縦２００個））を含むこととする。

図１９は、視認性評価図生成部８５が着色する色と、周波数及びパワーとの関係を示す図である。視認性評価図生成部８５は、所定の画素Ｐで周波数ｆ１のパワーが最大である場合、所定の画素Ｐに対して“緑”の色を付す。また、その際に、周波数ｆ１のパワーのレベルが高くなると濃い緑色を付し、周波数ｆ１のパワーレベルが低くなると薄い緑色を付す。なお、パワーレベルは、例えば１０段階に分けられている。また、視認性評価図生成部８５は、所定の画素Ｐで周波数ｆ２のパワーが最大の場合、所定の画素Ｐに対して“青”の色を付し、周波数ｆ３のパワーが最大の場合、所定の画素Ｐに対して“赤”の色を付し、周波数ｆ４のパワーが最大の場合、所定の画素Ｐに対して“紫”の色を付す。 “青”，“赤”，“紫”のそれぞれの色も、“緑”の色と同様に、パワーレベルが高くなるにつれて濃くなる。なお、図１９では図示していないが、パワーレベルが“１”より小さい画素は、“黒”が着色される。

＝＝＝画像特徴合成動画と視認性評価図の一例＝＝＝
図２０（ａ）は、図１２（ａ）に示したコンクリート表面のカラー画像１７０に基づいて生成された画像特徴合成動画２００を便宜上静止画として例示した画像である。なお、図２０（ａ）の画像特徴合成動画２００における静止画は、実際の動的陰影変化を把握する上での単に一つの目安を与えるものである。

図２０（ｂ）は、カラー画像１７０に基づいて生成された、視認性評価図３００の一例である。なお、図２０（ｂ）の視認性評価図３００は、前述した処理（図１０，１６等で説明した手順）によって生成される。

図２１（ａ）〜（ｃ）のそれぞれは、図１２（ａ）のコンクリート表面のカラー画像１７０、図２０（ａ）の画像特徴合成動画２００、及び図２０（ｂ）の視認性評価図３００の一部の領域（図２０（ａ），（ｂ）において、実線で囲まれた領域に相当）を拡大した図である。なお、図２１（ａ）〜（ｃ）では、同じ領域が拡大されている。図２１（ａ）と、図２１（ｂ），（ｃ）を比較すると、図２１（ｂ），（ｃ）は、図２１（ａ）の合成元画像（カラー画像１７０）よりも、あきらかに画像特徴分析・抽出、画像判読精度が高くなっている。

また、図２１において、領域Ａは、コンクリートの表面の凹凸が少ない領域であり、領域Ｂは、深い凹みがある領域であり、領域Ｃは、きめの細かい凹凸がある領域である。図２１（ｃ）の視認性評価図３００の領域Ａは、非常に薄い“緑”（空間周波数ｆ１：パワーレベルが“１”）と、“黒”（パワーレベルが“１”より小さい成分）の色が表示されている。一方、きめの粗い凹みがある領域Ｂには、非常に濃い“緑”（空間周波数ｆ１：パワーレベル“７”）が表示され、きめの細かい凹みがある領域Ｃには、濃い“赤”（空間周波数ｆ３：パワーレベル“４”）が表示されている。

つまり、画像特徴合成動画２００においては、きめが粗い領域の画素ほど、画像濃度値が高い空間周波数で変化する。さらに、凹凸の激しい領域の画素ほど、パワーレベルが高くなる傾向がある。したがって、画像特徴合成動画２００を判読する際に、視認性評価図３００を確認することにより、画像特徴合成動画２００の視認性を客観的（定量的）に評価することが可能となる。さらに、視認性評価図３００では、画素を４０クラスの色に分けて分類することが可能となっている。このような細かな分類は、例えばクラスター解析や最尤法等を用いた解析では不可能である。

なお図２２は、クライアント１０に表示される表示画面３００の一例である。元画像表示領域３１０には、合成元画像（例えば、図１２（ａ））が表示され、動画表示領域３１１には、例えば画像特徴合成動画（例えば、図２０（ａ））が表示され、視認性評価図表示領域３１２には、視認性評価図（例えば、図２０（ｂ））が表示される。なお、表示画面３００には、視認性評価図を評価するためのレベルゲージ等を設けても良い。

以上、本発明の一実施形態である動画視認性定量化システムについて説明した。本実施形態では、視認性評価図３００で対象物の特徴を定量的に評価したが、例えば、対象物の所定の領域（例えば、図２１の領域Ｃ）のみの周波数成分（空間周波数及びパワーの関係）を画素ごとにグラフとして表示させても良い。このような場合であっても、対処物の特徴を定量的に評価できる。

また、本実施形態では、視認性評価図３００を、周波数とパワーとに応じた色を付して表示したが、周波数に応じた色のみでも良い。つまり、空間周波数によって定まる色（“緑”色等）の濃淡をパワーによって変化せずに表示させても良い。このような場合であっても、画像特徴合成動画２００においては、表面のきめが粗等を視覚的に定量的に評価できる。

また、視認性評価図３００では、視認性評価図３００に含まれる全ての画素（例えば、６４０００個）において、周波数とパワーとに応じた色が付されて表示されている。このため、より詳細に画像特徴合成動画２００の特徴を客観的に把握することが可能となる。さらに、視認性評価図３００において空間周波数ｆ１が選択されている領域や、所定値（例えば、パワーレベル“５”）以上となる領域の面積の計算、つまり、占有領域分析をすることも可能である。

また、動画視認性定量化装置２０は、送信される動画がカラー、単バンドの何れであっても、視認性評価図３００を生成することができる。

また、動画視認性定量化装置２０は、様々な特徴が強調された画像特徴合成動画２００の視認性評価図３００を生成することができる。このため、強調される特徴（例えば、“エントロピー”，“平均”等）ごとに、周波数、パワーとの関係を定量的に把握することも可能である。

前述した実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく変更、改良されるとともに、本発明にはその等価物も含まれる。

例えば、前述した実施の形態においては、クライアント１０を用いた構成としたが、クライアント１０を用いず、動画視認性定量化装置２０において、画像特徴合成動画２００の生成等が行われることとしてもよい。

また、本実施形態では、離散フーリエ変換の結果において、画素ごとの最大パワーを選択したがこれに限られない。例えば、空間周波数ｆ１〜ｆ４における最大パワーに加え、第２，第３パワーをあわせて利用しても良い。具体的には、例えば、各パワーの平均値を算出し、平均パワーに応じた色の濃度を着色しても良い。この結果、様々な視認性評価図を創出することが可能となる。また、視認性評価図の発色により、振幅成分と空間周波数成分間の多角的分析が可能である。

また、視認性評価図３００において、所定の閾値より高いパワーレベルの画素のみ表示させても良い。このような機能を設けることにより、より観測対象物の画像特徴分析・抽出、画像判読精度を向上できる。

１０ クライアント
２０ 動画視認性定量化装置
３０ ネットワーク
４０ ＣＰＵ
４１ メモリ
４２ 記憶装置
４３ 表示インタフェース
４４ 入力インタフェース
４５ 通信インタフェース
４６ 記録媒体読取装置
５０ 表示装置
５１ 入力装置
５２ 記録媒体
５３ 記録媒体
６０ ＣＰＵ
６１ メモリ
６２ 記憶装置
６３ 通信インタフェース
６４ 記録媒体読取装置
７０ 特徴強調処理部
７１ エンボス画像生成部
７２ 画像特徴合成画像生成部
７３ 画像特徴合成動画生成部
８０ 判定部
８１ 平均化部
８２ 取得部
８３ フーリエ変換処理部
８４ 選択部
８５ 視認性評価図生成部

Claims (5)

1. 連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得する取得部と、
   前記取得部で取得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出する算出部と、
   前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択する選択部と、
   前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付す着色部と、
   を備えることを特徴とする動画視認性定量化装置。
2. 請求項１に記載の動画視認性定量化装置であって、
   前記複数の画像のそれぞれは、赤色画像、緑色画像、及び青色画像を含み、
   前記取得部は、
   複数の前記赤色画像のそれぞれにおける前記画素ごとの第１濃度値と、複数の前記緑色画像のそれぞれにおける前記画素ごとの第２濃度値と、複数の前記青色画像のそれぞれにおける前記画素ごとの第３濃度値との平均値を算出する平均化部と、
   前記平均値を、前記複数の画像のそれぞれが表示される順序に対応させて取得する平均値取得部と、
   を含むことを特徴とする動画視認性定量化装置。
3. 請求項１または２に記載の動画視認性定量化装置であって、
   合成対象画像に対して所定の強調処理を施す強調処理部と、
   前記強調処理が施された強調画像に対して、複数方向のそれぞれから光を照射したかのようなエンボス処理を施して複数のエンボス画像を生成するエンボス処理部と、
   前記複数のエンボス画像のそれぞれに、合成元画像を合成して前記複数の画像を生成する合成画像生成部と、
   を更に備えることを特徴とする動画視認性定量化装置。
4. 連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得し、
   取得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出し、
   前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択し、
   前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付すこと、
   を特徴とする動画視認性定量化方法。
5. コンピュータに、
   連続的に切り替えられて表示される複数の画像のそれぞれにおける画素ごとの濃度値を、前記複数の画像が表示される順序に対応させて取得する手順と、
   取得された取得結果に対してフーリエ変換処理を施して、前記画素ごとの濃度値の変化に応じた周波数成分を算出する手順と、
   前記画素ごとに算出された前記周波数成分である複数の空間周波数のうち、振幅が最大となる空間周波数を前記画素ごとに選択する手順と、
   前記複数の画像のそれぞれにおける前記画素ごとに対応する表示画像の画素に対し、前記画素ごとに選択された前記空間周波数と、前記空間周波数のそれぞれに割り当てられた複数段階の振幅のうち、前記画素ごとに選択された前記空間周波数の振幅と、に応じた色を付す手順と、
   を実行させるためのプログラム。