JP4653154B2

JP4653154B2 - 状況変化配信表示装置およびその方法

Info

Publication number: JP4653154B2
Application number: JP2007322048A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-12-13
Filing date: 2007-12-13
Publication date: 2011-03-16
Anticipated expiration: 2027-12-13
Also published as: JP2009147614A

Description

本発明は、状況変化配信表示装置およびその方法に関するものであり、例えば、マルチメディア分野、符号化分野、通信分野、遠隔監視分野において、カメラで取得された画像情報から必要最小限の情報に変換することが必要とされる産業分野に属する。

近年では、ＩＰカメラやカメラを備えた携帯電話などが用られ、画像や映像に関する情報のやり取りがユビキタスに行われている。また、静止画のみならず、動画による状況の変化を送受信する機会が増えている。こうした中、通信帯域は広帯域化しつつあるものの、高精細と呼ばれるような数千画素四方の画像サイズでの通信は特殊な場合に限られている。一方で、低ビットレートでは、画質が著しく悪いだけでなく、状況を把握できないこともある。

従来より、カメラで撮影された情報は、画像圧縮され、限られた帯域が有効に活用される。その一方で、波の監視、人の監視、車の監視などでは、細かい特徴がわかりにくくなっている問題がある。そのため、画面の色合い、コントラストの調整やホワイトバランス、ブロックノイズ削減などが行われて、視認性をよく工夫がなされている。これは、画像処理では前処理と呼ばれている方法に属している。

防災上、携帯電話を通じて、災害現場の状況を撮影して、防災センタなどへ送信されることが想定されている。あるいは、ＩＰカメラでも動画や静止画を撮影したあと、携帯電話へ画像伝送することが必要とされている。
R.P. Wildes, M.J.Amabile, A-M. Lanzillotto, and T-S. Leu, "Recovering estimates of fluid flow from image sequence data", Computer Vision and Image Understanding, vol. 80, pp. 246-266, 2000.

第１の問題点は、伝送容量が大きいため、配信先で表示した画像がぼやけてしまうことである。第２の問題点は、伝送容量が大きいため、送信に時間を要することである。第３の問題点は、画像圧縮技術以外によっては、伝送容量を小さくできないことである。

本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、低ビットレートでも状況変化を高速に伝えられる状況変化配信表示装置およびその方法を提供することにある。

上記の課題を解決するために、本発明では、時系列画像や静止画像などから、画像処理により、重要な特徴量を検出し、その特徴量を予め定めておいた別の表現に割り当てて通信する。

請求項１の本発明は、状況変化する対象の画像を入力するデータ入力手段と、前記入力された画像を時系列に蓄積する画像蓄積手段と、前記蓄積された画像を画像処理することによって、当該画像における濃淡値の時系列での変化を検出する変化領域検出手段と、前記検出された変化を示す特徴量を予め定められた別の表現に割り当てる特徴量割当手段と、前記別の表現で表現された情報を配信先に配信する配信手段と、前記配信された情報を表示する表示手段とを備えた状況変化配信表示装置であって、前記別の表現で表現された情報は、予め等間隔に配置された粒子を前記検出された変化を示す特徴量に応じて移動させた場合における当該粒子の座標位置であり、前記特徴量割当手段は、前記濃淡値の時系列での変化からオプティカルフロー法で求めた大きさと角度からなるフローベクトルを、近傍の重み付けをして速度を求めるための式（８）のｕ _i,j （ただし、iは縦方向の座標、jは縦方向の座標）に代入して速度を算出し、前記粒子の座標位置の時間変化を、前記粒子が変化時間の間に、前記算出した速度で変化前の座標位置から移動した位置として求めるものであり、前記速度を算出する際の近傍の範囲を式（９）におけるしきい値ｔｈが３〜５となる範囲とすることを特徴とする状況変化配信表示装置をもって解決手段とする。

請求項２の本発明は、状況変化する対象の画像を入力するデータ入力手段が当該画像を入力し、前記入力された画像を時系列に蓄積する画像蓄積手段が当該画像を時系列に蓄積し、前記蓄積された画像を画像処理することによって、当該画像における濃淡値の時系列での変化を検出する変化領域検出手段が当該変化を検出し、前記検出された変化を示す特徴量を予め定められた別の表現に割り当てる特徴量割当手段が当該特徴量を当該別の表現に割り当て、前記別の表現で表現された情報を配信先に配信する配信手段が当該情報を当該配信先に配信し、前記配信された情報を表示する表示手段が当該情報を表示する状況変化配信表示方法であって、前記別の表現で表現された情報は、予め等間隔に配置された粒子を前記検出された変化を示す特徴量に応じて移動させた場合における当該粒子の座標位置であり、前記特徴量割当手段が前記特徴量を前記別の表現に割り当てる処理は、前記濃淡値の時系列での変化からオプティカルフロー法で求めた大きさと角度からなるフローベクトルを、近傍の重み付けをして速度を求めるための式（８）のｕ _i,j （ただし、iは縦方向の座標、jは縦方向の座標）に代入して速度を算出し、前記粒子の座標位置の時間変化を、前記粒子が変化時間の間に、前記算出した速度で変化前の座標位置から移動した位置として求めるものであり、前記速度を算出する際の近傍の範囲を式（９）におけるしきい値ｔｈが３〜５となる範囲とすることを特徴とする状況変化配信表示方法をもって解決手段とする。

請求項３の本発明は、請求項２記載の状況変化配信表示方法を前記各手段を備える状況変化配信装置に実行させるコンピュータプログラムをもって解決手段とする。

本発明によれば、低ビットレートでも状況変化を高速に伝えられる状況変化配信表示装置およびその方法を提供することができる。

以下、本発明の実施の形態に係る状況変化配信表示装置およびその方法を図面を参照して説明する。

図１は、本実施の形態に係る状況変化配信表示装置の構成を示すブロック図である。

状況変化配信表示装置は、図示しないカメラを通じて、状況変化する対象の画像を入力するデータ入力手段１００と、入力された画像を時系列に蓄積する画像蓄積手段１１０と、蓄積された画像を画像処理することによって、当該画像における濃淡値の時系列での変化を検出する変化領域検出手段１２０と、検出された変化を示す特徴量を予め定められた別の表現に割り当てる特徴量割当手段１３０と、別の表現で表現された情報を配信先に配信する配信手段１４０と、配信された情報を表示する表示手段１５０とを備える。

情報配信元および配信先のそれぞれは、コンピュータが所定のコンピュータプログラムを実行することで構成され、これにより、各手段が状況変化配信表示方法を実行する。

状況変化する対象とは、例えば、災害現場の様子である。データ入力手段１００は、例えば、そのような災害現場で使用される、カメラを備えた携帯電話である。この場合、画像蓄積手段１１０には、携帯電話からネットワークを通じて送られてきた画像が蓄積される。

表示手段１５０は、防災センタなどにおける携帯電話やパーソナルコンピュータ等の端末の画面などであり、表示手段１５０は、配信手段１４０からネットワークを通じて送信された情報を表示する。特徴量は、例えば、画像を構成する濃淡値の時系列での変化を示すものである。特徴量は、例えば、所定の設定値を超えたものに限定してもよい。

図２は、海岸付近に打ち寄せる波の状況を映像モニタリングした例である。２つのシーンがあるが、時間の推移とともに、大波が海岸の岩場へ打ち寄せているのがわかる。このようなシーンでは、波の荒さや高さが、状況を表す基本量と考えられる。このような情報は、固定センサによる方法ではかなり工夫しないと安定して検出できない。しかし、映像を用いることで、その視覚的な状況変化をよくみることができる。

図３は、時間と空間で変化していく波を例に、さまざまな基本特徴量を検出した結果の例である。

図３は、（ａ）入力画像を例としている。（ｂ）エッジ画像は、１枚の画像から得られる波の荒さを表す、テクスチャとなる。

（ｃ）や（ｄ）の時間差分は、時系列画像２枚から単純差分計算により求められ、変化の移動量がわかる。特に、高さ方向に波が向う場合は、時間差分は顕著にその様子を表す。

続けて、この時間差分から、（ｅ）エッジ画像を検出できるので、変化した領域の荒さがわかる。

画像１枚からは、（ｆ）画像平均輝度の時系列変化を求められる。各画素は、濃淡値を８ビット階調でもつので、１画素当りの濃淡値は容易に計算できる。波が高さ方向に成長していくときに、画像平均輝度（濃淡値）は大きくなる。また、（ｇ）画像平均輝度の時間差分値は、単位フレームあたりの輝度値の変化を示す。

各フレームにおいて、オプティカルフローを計算し、その平均の大きさと角度を計算することで、時系列変化をみることができる（（ｈ）を参照））。

このオプティカルフローだけを時系列表示することができる。こうすると、波が上方に向っている様子と広がり直感的にわかる。

図４は、時間と空間で変化していく波を例に、フローベクトルと仮想粒子表示を検出した結果の例である。

（ａ）に示すようなオプティカルフローを表現したフローベクトルに加え、さらに、（ｂ）に示すように、仮想粒子による表示が可能である。ここでは、ある初期フレーム全体に、等間隔に粒子を２次元的に密に配置する。そして、各粒子を、推定されていくオプティカルフローの動きに従って移動させていく。これにより、どの領域が大きく変化し、どの領域があまり変化しなかったという状況が容易にわかる。

図５、図６は、図３、図４とは別のシーンの例である。各基本特徴量の時系列変化が、波の様子に従って異なっていることを示す。このことが、波のシーンの状況を識別できることを示す例である。

以下、変化領域検出手段１２０と特徴量割当手段１３０とによる処理を具体的に説明する。

画像における座標(i,j)にある画素の時間tでの濃淡値をImg(i,j,t)と定義する。画像１枚（フレーム）の画素数は、N・Mである（例えば、縦の画素数がN、横の画素数がM）と定義する。ただし、0≦i≦N、0≦j≦M、i,jは整数である。

画像平均輝度は、式（１）で求まる。画像平均輝度の時間差分は、式（２）で求まる。時間差分は、式（３）で求まる。これらの変化は、変化領域検出手段１２０により検出される。

特徴量割当手段１３０は、オプティカルフロー法つまり非特許文献１などにおける手法を用いる。ここでは、時系列で連続する２枚の画像が比較され、時系列の変化が検出される。特徴量割当手段１３０は、検出された変化を示す特徴量をフローベクトルの表現に割り当てる。フローベクトルは、式（４）のように２次元成分（大きさと角度）で表現される。

特徴量割当手段１３０は、特徴量を前述の仮想粒子（粒子）の座標位置で表現してもよい。粒子の座標位置の時間変化は、式（５）で求まる。

なお、ｎ個の粒子の画像内の座標位置は、式（６）である。

ここで、式（７）のように速度を定義する。速度は、例えば、式（４）のフローベクトルと同じである。

また速度は、近傍の重み付けされた速度でもよい。つまり、速度は、式（８）とし、式（９）の条件を課してもよい。式（９）のしきい値thは、例えば、３〜５とし、その範囲内のみに限定すればよい。

図７は、撮影した動画を携帯電話で、別の話者へ伝送する場合、従来方式と本実施の形態の方式での情報が提示されるまでの時間の違いを示す。従来方式では、動画像を伝送して、別の話者へ表示するまでに１８０秒要した。同じ動画像を上述のような仮想粒子の座標位置を求めて、それを伝送した場合は5秒であった。このように、状況変化に関して、本実施の形態の方式を用いることで、３６倍の高速化が可能であった。また、本実施の形態の方式では、電子メールへ文字情報として置き換えることが容易であるため、防災上、通信が混雑した場合でも比較的通信が連続的である特徴がある。

以上説明したように、本実施の形態によれば、低ビットレートでも状況変化を高速に通信するために、時系列画像や静止画像などから、画像処理により、重要な特徴量を検出し、その特徴量を予め定めておいた別の表現に割り当てて通信することで、通信のビットレートが低ビットレートでも状況変化を高速に伝えることができる。

なお、状況変化配信表示装置の各手段を構成すべく実行されるコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に格納し、陳列などして流通させたり、当該コンピュータプログラムをインターネットなどの通信網を介して伝送させてもよい。

本実施の形態に係る状況変化配信表示装置の構成を示すブロック図である。海岸付近に打ち寄せる波の状況を映像モニタリングした例である。時間と空間で変化していく波を例に、さまざまな基本特徴量を検出した結果の例である。時間と空間で変化していく波を例に、フローベクトルと仮想粒子表示を検出した結果の例である。図３とは別のシーンの例である。図４とは別のシーンの例である。従来方式と本実施の形態の方式での情報が提示されるまでの時間の違いを示す。

符号の説明

１００データ入力手段
１１０画像蓄積手段
１２０変化領域検出手段
１３０特徴量割当手段
１４０配信手段
１５０表示手段

Claims

状況変化する対象の画像を入力するデータ入力手段と、
前記入力された画像を時系列に蓄積する画像蓄積手段と、
前記蓄積された画像を画像処理することによって、当該画像における濃淡値の時系列での変化を検出する変化領域検出手段と、
前記検出された変化を示す特徴量を予め定められた別の表現に割り当てる特徴量割当手段と、
前記別の表現で表現された情報を配信先に配信する配信手段と、
前記配信された情報を表示する表示手段と
を備えた状況変化配信表示装置であって、
前記別の表現で表現された情報は、予め等間隔に配置された粒子を前記検出された変化を示す特徴量に応じて移動させた場合における当該粒子の座標位置であり、
前記特徴量割当手段は、
前記濃淡値の時系列での変化からオプティカルフロー法で求めた大きさと角度からなるフローベクトルを、近傍の重み付けをして速度を求めるための式（１）のｕ _i,j （ただし、iは縦方向の座標、jは縦方向の座標）に代入して速度を算出し、前記粒子の座標位置の時間変化を、前記粒子が変化時間の間に、前記算出した速度で変化前の座標位置から移動した位置として求めるものであり、
前記速度を算出する際の近傍の範囲を式（２）におけるしきい値ｔｈが３〜５となる範囲とすることを特徴とする状況変化配信表示装置。
状況変化する対象の画像を入力するデータ入力手段が当該画像を入力し、
前記入力された画像を時系列に蓄積する画像蓄積手段が当該画像を時系列に蓄積し、
前記蓄積された画像を画像処理することによって、当該画像における濃淡値の時系列での変化を検出する変化領域検出手段が当該変化を検出し、
前記検出された変化を示す特徴量を予め定められた別の表現に割り当てる特徴量割当手段が当該特徴量を当該別の表現に割り当て、
前記別の表現で表現された情報を配信先に配信する配信手段が当該情報を当該配信先に配信し、
前記配信された情報を表示する表示手段が当該情報を表示する状況変化配信表示方法であって、
前記別の表現で表現された情報は、予め等間隔に配置された粒子を前記検出された変化を示す特徴量に応じて移動させた場合における当該粒子の座標位置であり、
前記特徴量割当手段が前記特徴量を前記別の表現に割り当てる処理は、
前記濃淡値の時系列での変化からオプティカルフロー法で求めた大きさと角度からなるフローベクトルを、近傍の重み付けをして速度を求めるための式（３）のｕ _i,j （ただし、iは縦方向の座標、jは縦方向の座標）に代入して速度を算出し、前記粒子の座標位置の時間変化を、前記粒子が変化時間の間に、前記算出した速度で変化前の座標位置から移動した位置として求めるものであり、
前記速度を算出する際の近傍の範囲を式（４）におけるしきい値ｔｈが３〜５となる範囲とすることを特徴とする状況変化配信表示方法。
請求項２に記載の状況変化配信表示方法を前記各手段を備える状況変化配信装置に実行させるコンピュータプログラム。