JP4434164B2 - 輪郭データを利用した画像転送 - Google Patents

Description

この発明は、動画や静止画などの画像を転送する技術に関する。

画像の転送には、ＪＰＥＧやＭＰＥＧなどの画像圧縮規格に従って圧縮された画像データを転送するのが一般的である（例えば特許文献１）。

特開２００３−２９９００５号公報

しかし、携帯電話網などの狭帯域通信経路を利用する場合には、従来の圧縮画像データを十分な速度で転送できない場合があった。

本発明は、狭帯域通信経路においても十分高速に画像を転送することのできる技術を提供することを目的とする。

上記目的を達成するために、本発明の画像転送装置は、
複数の画像フレームを送信するための画像転送装置であって、
個々の画像フレームを表す画像データから、前記画像フレーム内の顔の輪郭を抽出するとともに、前記顔の輪郭データとして、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含むワイヤフレームモデルで表現された輪郭データを作成する輪郭抽出処理部と、
画像フレーム毎に、前記画像データと前記輪郭データとのうちの一方を選択する選択部と、
前記選択されたデータを外部の受信装置に送信する送信部と、
を備えることを特徴とする。

この構成によれば、画像フレーム毎に画像データと輪郭データのうちの一方を選択して受信装置に送信するので、受信装置において、これらの２種類のデータから元の画像に近似した画像を再構築することが可能である。また、輪郭データは画像データよりもデータ量が大幅に少なくて済むので、狭帯域通信経路においても十分高速に画像を転送することができる。

前記選択部は、画像のシーンが変更されたか否かを判定し、シーンが変更されている場合には前記画像データを選択し、シーンが変更されていない場合には前記輪郭データを選択するようにしてもよい。

この構成では、シーンが変更されている場合には画像データが転送されるので、受信装置においてシーン変更後の画像を正確に再現することができる。また、シーンが変更されていない場合には輪郭データが転送されるので、転送データ量を削減することができ、また、受信装置において元の画像に近似した画像をかなり正確に再生することが可能である。

前記輪郭抽出処理部は、さらに、前記ワイヤフレームモデルの中央部分における勾配を示す輪郭方向ベクトルを抽出し、
前記選択部は、前記輪郭方向ベクトルの向きの変化に応じてシーンが変更されたか否かを判定するものとしてもよい。

この構成では、重要な画像要素である輪郭の方向が画像フレーム内で大幅に変更されているか否かを判定でき、また、この判定に応じて画像データと輪郭データのうちの一方を送信することが可能である。

本発明による画像送受信システムは、
複数の画像フレームを送受信するための画像送受信システムであって、
上記画像転送装置と、
前記画像転送装置から送信されたデータを受信して再生する画像受信装置と、
を備え、
前記画像受信装置は、
前記画像データ及び前記輪郭データから画像を再構築する画像再構築部を備えており、
前記画像再構築部は、
前記画像データを受信したときは、前記画像データに基づいて画像フレームを生成し、
前記輪郭データを受信したときは、前記輪郭データで表される輪郭内にレンダリング処理を実行することによって前記輪郭内の画素値を決定し、これによって画像フレームを生成することを特徴とする。

このシステムによれば、狭帯域通信経路においても十分高速に画像を転送することができ、また、画像受信装置において元の画像に近似した画像を再生することが可能である。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像転送方法および装置、画像受信再生方法及び装置、画像送受信方法及び画像送受信システム、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を以下の順序で説明する。
A．第１実施例：
B．第２実施例：
C．変形例

A．第１実施例：
図１は、本発明の一実施例としての画像転送システムの構成を示す説明図である。この画像転送システムは、監視領域ＭＳに置かれた監視ロボット１００と、携帯電話網の基地局４００とを備えており、これらはネットワークＮＥＴを介して互いに接続されている。基地局４００は、携帯電話としての機能を有する携帯端末４１０と無線通信を行うものである。

なお、監視ロボット１００とネットワークＮＥＴとの間の接続経路の一部には、無線通信が使用されていることが好ましい。具体的には、例えば、監視ロボット１００が無線通信によって監視領域ＭＳ内の無線ＬＡＮ（図示省略）に接続されており、この無線ＬＡＮがゲートウェイ（又はルータ）を介して外部のネットワークＮＥＴに接続されている構成を採用することができる。なお、この例では、ネットワークＮＥＴとしてインターネットが使用されているが、ネットワークとしてはインターネット以外の任意のネットワーク構成を採用することが可能である。

図２は、監視ロボット１００と携帯端末４１０の機能を示すブロック図である。監視ロボット１００は、目の位置に設けられた撮像部１１０と、画像転送処理モジュール１２０と、通信処理部１４０とを備えている。画像転送処理モジュール１２０は、動体認識処理モジュール１２２と、顔認識処理モジュール１２４と、追跡制御処理モジュール１２６と、輪郭抽出処理モジュール１２８と、転送データ選択処理モジュール１３０と、を備えている。なお、各モジュールの機能の詳細については後述する。これらのモジュールは、ハードウェアで実現してもよく、あるいは、ソフトウェアで実現してもよい。監視ロボット１００には、さらに、ロボット１００を監視領域ＭＳ内で移動させたり、ロボット１００の各部を動かしたりするための駆動機構１５０が設けられている。

携帯端末４１０は、表示部４２０と、画像再構築モジュール４３０と、通信処理部４４０とを備えている。画像再構築モジュール４３０は、監視ロボット１００から送信されたデータに基づいて画像を再構築し、表示部４２０に表示する機能を有している。この機能の詳細については後述する。なお、携帯端末４１０は、画像再構築モジュール４３０の機能を実現するために、レンダリング処理などの画像処理を高速に実行可能なＧＰＵ（Graphics Processing Unit）を備えていることが好ましい。

図３は、第１実施例における処理の全体を示すフローチャートである。ステップＳ１０では、監視ロボット１００の動体認識処理モジュール１２２が、撮像部１１０からの映像に基づいて、動体が検出されたか否かを判定する。動体が検出された場合には、動体認識処理モジュール１２２は、ステップＳ２０において、動体が人であるか否かを判定する。この判定は、例えば、動体の輪郭の形状や、動体に人の顔が存在するか否かに基づいて行うことができる。動体に人の顔が存在するか否かは、顔認識処理モジュール１２４によって判定するようにしてもよい。動体が人でない場合には全体の処理を終了して待機状態に戻り、一方、動体が人（以下、単に「被写体」と呼ぶ）の場合にはステップＳ３０以降の処理が実行される。なお、ステップＳ１０，Ｓ２０は省略することも可能である。

ステップＳ３０では、監視ロボット１００が被写体の顔を含む画像を撮像する。この際には、撮像部１１０で撮像された画像が顔認識処理モジュール１２４に転送され、顔認識処理モジュール１２４によって顔を含む画像であると判定されるまで、この撮像と顔認識処理とが繰り返される。なお、顔を含む画像を取得できるように、追跡制御処理モジュール１２６と顔認識処理モジュール１２４とが協働してロボット１００を制御することによって、被写体を追跡しつつ撮像を行うようにしてもよい。このように、ロボット１００は駆動機構１５０（「移動機構」とも呼ぶ）を有しているので、被写体を追跡してその顔を含む画像を取得することができるという利点がある。

ステップＳ４０では、輪郭抽出処理モジュール１２８が、画像内の顔の輪郭と、その輪郭の方向を示す輪郭方向ベクトルとを抽出する。

図４（Ａ）〜（Ｅ）は、動画の複数のフレームＦ１〜Ｆ５における輪郭と輪郭方向ベクトルの例を示している。なお、本明細書において、「画像フレーム」又は「フレーム」とは、１画面分の画像を意味している。輪郭抽出処理モジュール１２８は、個々のフレームの中から、顔領域の輪郭ＯＬ１〜ＯＬ５を抽出する。この輪郭ＯＬj（jはフレーム番号）は、顔のワイヤフレームモデルの一種であり、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含んでいる。経線と緯線は、例えば、顔領域の外周形状と顔の部品（例えば目）の配置とに基づいて、顔を包含する曲面を推測することによって求めることができる。なお、輪郭ＯＬjは、これ以外の任意の曲線部分を含むものとして構成することが可能である。

図４（Ａ）〜（Ｅ）には、さらに、輪郭の方向を示す輪郭方向ベクトルＮＶ１〜ＮＶ５も示されている。輪郭方向ベクトルＮＶj（jはフレーム番号）は、輪郭ＯＬjの中央部分における勾配（gradient）を計算することによって得ることができる。より具体的には、例えば、輪郭の経線と緯線のそれぞれに関して方向微分（gradient）を求め、それらを合成することによって、輪郭方向ベクトルＮＶjを得ることができる。なお、本実施例ではベクトルの方向のみが重要なので、全てのベクトルの長さを単位長さに設定してもよい。

図３のステップＳ５０では、転送データ選択処理モジュール１３０が、シーン変更があったか否かを判定する。以下に説明するように、本実施例では、輪郭方向ベクトルＮＶjの向きに基づいてシーン変更の有無が判定される。

図５は、第１実施例におけるシーン変更判定処理の内容を示す説明図である。図５（Ａ）〜（Ｅ）は、図４（Ａ）〜（Ｅ）と同じフレームにおける輪郭方向ベクトルＮＶを示している。図５（Ｆ）は、これらの輪郭方向ベクトルＮＶをＸ−Ｙ座標平面上に表示したものである。ここで、Ｘ−Ｙ座標系は、顔領域（顔輪郭）の中心を原点とする座標系である。本実施例において、或るフレーム（「現行フレーム」と呼ぶ）でシーン変更があったか否かは、現行フレームの顔領域の輪郭方向ベクトルＮＶjの向きが、現行フレームの直前のフレーム（「直前フレーム」と呼ぶ）の顔領域の輪郭方向ベクトルＮＶj-1の向きから所定の閾値以上変化したか否かによって判定することができる。この判定の閾値は、例えば４５度に設定することができる。図５（Ａ）〜（Ｄ）に示す最初の４つのフレームでは輪郭方向ベクトルＮＶの方向の変化が小さいので、シーン変更は無いものと判断される。一方、図５（Ｅ）に示す５番目のフレームでは、その輪郭方向ベクトルＮＶ５の向きが直前フレームの輪郭方向ベクトルＮＶ４から４５度以上変化しているので、シーン変更があったものと判定される。

図３のステップＳ５０においてシーン変更があったものと判定された場合には、ステップＳ６０において、転送データ選択処理モジュール１３０がピクセル画像データを選択し、通信処理部１４０がこのピクセル画像データを携帯端末４１０に送信する。ここで、「ピクセル画像データ」とは、ＪＰＥＧ画像データやビットマップデータなどのように、画像データが画素値を表している画像データを意味している。ピクセル画像データを、「静止画フレームデータ」あるいは単に「画像データ」とも呼ぶ。なお、ピクセル画像データとしては、圧縮画像データを利用することが好ましい。

一方、ステップＳ５０においてシーン変更が無いものと判定された場合には、ステップＳ７０において、転送データ選択処理モジュール１３０が顔領域の輪郭を表す輪郭データを選択し、通信処理部１４０がこの輪郭データを携帯端末４１０に送信する。図４の例では、１番目と５番目のフレームＦ１，Ｆ５ではピクセル画像データが転送されており、２番目から４番目のフレームＦ２〜Ｆ４では輪郭データが転送されている。

携帯端末４１０の画像再構築モジュール４３０は、監視ロボット１００から転送されたデータに基づいて、フレームＦ１〜Ｆ５を再構築する。具体的には、ピクセル画像データを受信したときには、画像再構築モジュール４３０は、そのピクセル画像データに基づいて画像フレームを再生して表示部４２０に表示する。一方、輪郭データを受信したときは、画像再構築モジュール４３０は、輪郭データで表される顔領域の輪郭内にレンダリング処理を実行することによって輪郭内の画素値を決定し、これによって画像フレームを再生して表示部４２０に表示する。レンダリング処理では、例えば、現行フレームの輪郭内の各画素位置に、その直前フレームの輪郭内における対応位置の画素値がコピーされる。このようなレンダリング処理を行う場合には、ピクセル画像データを転送するフレームにおいて、その輪郭データも併せて転送するようにしてもよい。レンダリング処理としては、上述したもの以外の種々のものを利用可能である。

なお、レンダリング処理において、顔領域の輪郭の外部については直前フレームの背景をそのままコピーしても良い。この場合に、顔領域の輪郭が画面内で移動しており、現行フレームの背景の一部分が直前フレームでは顔領域であった場合には、その背景部分に周囲の画素値をコピーするようにしてもよい。あるいは、輪郭の外部の画素には、画素値として所定値（例えば８ビットの画素値では０，１２８，２５５など）を割り当てるようにしてもよい。

このようにして携帯端末４１０の表示部４２０に表示される動画は、通常の動画データに基づいて再生される動画よりも品質が若干劣るものであり、元の動画に近似した「疑似動画」と呼べるものである。しかし、輪郭データのみを転送するフレームに関しては、通常の動画データよりも転送データ量を大幅に低減することができるので、携帯電話網などの狭帯域通信路を経由する動画転送に適したものである。

なお、ステップＳ５０において顔領域の輪郭方向ベクトルに基づいてシーン変更の有無を判定した理由は、転送される画像の中で顔領域が重要な画像要素だからである。すなわち、監視領域ＭＳから遠隔地にいる携帯端末４１０のユーザは、監視ロボット１００から転送される画像を観察して、被写体が不審な人物か否かを判定することを期待している。このためには、少なくとも被写体の顔領域を携帯端末４１０で再生したいという要望がある。従って、顔領域の輪郭方向ベクトルの向きの変化が大きい場合にシーン変更があったものと判定してピクセル画像データを転送すれば、このような要望を満たすことが可能である。

図３のステップＳ８０では、画像転送処理モジュール１２０によって、所定の規則に従って画像転送を停止すべきか継続すべきかが判定される。画像転送を継続すると判定された場合には、ステップＳ３０に戻り、上述したステップＳ３０〜Ｓ８０の処理が繰り返される。ステップＳ８０の判定では、例えば、画像転送開始から一定時間が経過した場合に画像転送を停止するものと判定してもよい。あるいは、被写体の顔が撮像できなくなった場合に画像転送を停止するものと判定してもよい。

このように、本実施例では、シーン変更がある場合にはピクセル画像データを転送し、シーン変更が無い場合には輪郭データを転送するようにしたので、狭帯域通信路を経由して動画を転送する際に、転送データ量を大幅に低減することができる。従って、受信側の携帯端末４１０において、元の動画に近似する動画をなめらかに再生することが可能である。

B．第２実施例：
図６は、第２実施例における画像転送の内容を示す説明図であり、第１実施例の図３に対応する図である。第２実施例は、図３のステップＳ５０の内容を変更した点だけが第１実施例と異なっており、他の処理手順や装置構成は第１実施例と同じである。

図６のステップＳ５０ａでは、現行フレームが所定番目のフレームか否かが判定される。そして、現行フレームが所定番目のフレームである場合にはステップＳ６０でピクセル画像データが転送され、一方、所定番目のフレームで無い場合にはステップＳ７０で輪郭データが転送される。例えば、１フレーム分をピクセル画像データを転送し、その後の３フレーム分は輪郭データのみを転送する、という転送処理を繰り返すようにしてもよい。

このように、所定番目のフレームについてのみピクセル画像データを転送するようにしても、第１実施例と同様に、転送データ量を大幅に低減することが可能である。但し、第２実施例においてシーンが大幅に変更された場合（例えば顔領域が画面から消失した場合）には、輪郭抽出処理モジュール１２８（図２）が顔領域の輪郭データを抽出できない可能性がある。従って、この点では第１実施例の方が好ましい。但し、第２実施例において、大幅なシーン変更があった場合にはピクセル画像データを転送するように処理手順を構成すれば、このような不具合の発生を防止することが可能である。

C．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

C１．変形例１：
ピクセル画像データと輪郭データのいずれを選択するかの判定方法としては、第１実施例や第２実施例で説明した方法以外の任意の方法を採用することができる。但し、この選択は、何らかの所定の規則に従って行われることが好ましい。

C２．変形例２：
上記実施例では、受信装置として携帯端末４１０を利用していたが、受信装置としては、携帯端末以外の任意の装置を利用することが可能である。

C３．変形例３：
上記実施例では、シーン変更が無い場合に顔領域の輪郭データを転送するものとしていたが、本発明は、顔領域以外の特定の画像要素の輪郭データを転送する場合にも適用可能である。例えば、画像フレーム内にある動体の全体の輪郭を表す輪郭データを転送するようにしてもよい。なお、特定の画像要素を認識するために、その特定の画像要素を認識するための認識処理モジュールを画像転送処理モジュール１２０（図２）内に設けておくことが好ましい。

C４．変形例４：
上記実施例では、顔領域の輪郭方向ベクトルの方向の変化に応じてシーン変更の有無を判定していたが、これ以外の任意の方法でシーン変更を判定することが可能である。例えば、現行フレームと直前フレームの平均画素値の差が所定の閾値以上となった場合にシーン変更があったものと判定することができる。

E５．変形例５：
監視ロボットとしては、任意の形状や機能のロボットを使用することが可能である。例えば、動物の形状を有するペット用ロボットを使用するようにしてもよい。

E６．変形例６：
上記実施例では動画を転送する例を説明したが、本発明は、複数の静止画を転送する場合にも適用可能である。

本発明の一実施例としての画像転送システムの構成を示す説明図である。 監視ロボットと携帯端末の機能を示すブロック図である。 第１実施例における画像転送の内容を示す説明図である。 各フレームの輪郭と輪郭方向ベクトルを示す説明図である。 シーン変更判定処理の内容を示す説明図である。 第２実施例における画像転送の内容を示す説明図である。

符号の説明

１００…監視ロボット
１１０…撮像部
１２０…画像転送処理モジュール
１２２…動体認識処理モジュール
１２４…顔認識処理モジュール
１２６…追跡制御処理モジュール
１２８…輪郭抽出処理モジュール
１３０…転送データ選択処理モジュール
１４０…通信処理部
１５０…駆動機構
４００…基地局
４１０…携帯端末
４２０…表示部
４３０…画像再構築モジュール
４４０…通信処理部

Claims (5)

1. 複数の画像フレームを送信するための画像転送装置であって、
   個々の画像フレームを表す画像データから、前記画像フレーム内の顔の輪郭を抽出するとともに、前記顔の輪郭データとして、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含むワイヤフレームモデルで表現された輪郭データを作成する輪郭抽出処理部と、
   画像フレーム毎に、前記画像データと前記輪郭データとのうちの一方を選択する選択部と、
   前記選択されたデータを外部の受信装置に送信する送信部と、
   を備えることを特徴とする画像転送装置。
2. 請求項１記載の画像転送装置であって、
   前記選択部は、画像のシーンが変更されたか否かを判定し、シーンが変更されている場合には前記画像データを選択し、シーンが変更されていない場合には前記輪郭データを選択する、画像転送装置。
3. 請求項２記載の画像転送装置であって、
   前記輪郭抽出処理部は、さらに、前記ワイヤフレームモデルの中央部分における勾配を示す輪郭方向ベクトルを抽出し、
   前記選択部は、前記輪郭方向ベクトルの向きの変化に応じてシーンが変更されたか否かを判定する、画像転送装置。
4. 複数の画像フレームを送受信するための画像送受信システムであって、
   請求項１ないし３のいずれかに記載の画像転送装置と、
   前記画像転送装置から送信されたデータを受信して再生する画像受信装置と、
   を備え、
   前記画像受信装置は、
   前記画像データ及び前記輪郭データから画像を再構築する画像再構築部を備えており、
   前記画像再構築部は、
   前記画像データを受信したときは、前記画像データに基づいて画像フレームを生成し、
   前記輪郭データを受信したときは、前記輪郭データで表される輪郭内にレンダリング処理を実行することによって前記輪郭内の画素値を決定し、これによって画像フレームを生成することを特徴とする画像送受信システム。
5. 複数の画像フレームを外部の受信装置に送信するための画像転送方法であって、
   （ａ）個々の画像フレームを表す画像データから、前記画像フレーム内の顔の輪郭を抽出するとともに、前記顔の輪郭データとして、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含むワイヤフレームモデルで表現された輪郭データを作成する工程と、
   （ｂ）画像フレーム毎に、前記画像データと前記輪郭データとのうちの一方を選択する工程と、
   （ｃ）前記選択されたデータを外部の受信装置に送信する工程と、
   を備えることを特徴とする画像転送方法。

Images