JP4568607B2 - ビデオホン画像における頭部姿勢を補正する方法、画像プロセッサ及びワイヤレスビデオホンシステム - Google Patents

Description

本発明は、ビデオホンシステム、より具体的には、ビデオホン画像における頭部姿勢を補正する方法及び装置に係る。

消費者市場は、様々な通信及び媒体選択肢を提供する。例えば、電話線を介して接続されるユーザ間のオーディオ及びビデオ通信を可能にする様々なビデオホンが知られている。ビデオホンシステムは、一般的に、双方向オーディオ通信を可能にするマイクロホン及びスピーカと、双方向ビデオ通信を可能にするカメラ及びディスプレイを有する。

ビデオホン用途用の技術は、ビデオホン選択肢が、多くの無線電話サービスプロバイダによって提供される程度まで進歩している。従って、ワイヤレスビデオホンは、ワイヤレスリンクを介して接続されるユーザ間のオーディオ及びビデオ通信を可能にする。特に移動するユーザでは問題となるビデオホン通信における１つの一般的な問題は、ビデオホン呼の片方の又は両方の参加者が、常にカメラに顔の正面画像を提示できるわけではないということである。例えば、ユーザが、ビデオホンのカメラ部分を手に持ちながら歩き歩道を見ている場合、遠隔にいる参加者は、一般的に、ユーザの顔のうちの「あごの画像」を見ることになる。同様に、ビデオホンのカメラ部分がユーザの机上に置かれる場合に、ユーザが机に着席し、コンピュータディスプレイを見るために頭を動かすと、遠隔にいる参加者は、ユーザの顔の「横顔の画像」を見ることになる。

従って、ビデオホン画像における頭部姿勢を補正し、それにより、遠隔にいる参加者が、相手方の参加者の適切な正面画像を見るようにする方法及び装置が必要である。更に、ワイヤレスホンでの実施に適した頭部姿勢を推定及び補正する改良された技術が必要である。

一般的に、ディスプレイ上に正面画像が表示されるようビデオ画像における頭部姿勢を補正する画像処理システム及び方法を開示する。開示する頭部姿勢補正器は、頭部の向きを推定し、正面画像を提示するために、必要である場合には、その頭部姿勢の向きを調整する。頭部姿勢の向きは、顔表面の３次元モデルを生成し、所望の正面画像を与えるようその３次元顔モデルの向き調整することにより調整される。開示する頭部姿勢補正器は、送信又は受信画像（又は両方）の頭部姿勢を補正するようユーザのビデオホン内に組み込まれるか、又は、ビデオホン通信の１人以上の参加者の頭部画像を自動的に調整するようネットワーク上のサーバ内に組み込まれてもよい。頭部姿勢補正器の計算要件は、ワイヤレスビデオホンでの実施に適している。

本発明のより完全な理解、並びに本発明の更なる特徴及び利点は、以下の詳細な説明及び図面を参照することによって得られるであろう。

図１は、従来のビデオホンシステム１００を示す。図１に示すように、例示的な従来のビデオホンシステム１００は、２人以上のユーザ間でのオーディオ及びビデオ通信を可能にするマイクロホン１１０、スピーカ１２０、カメラ１３０、及びディスプレイ１４０を有する。従来のビデオホンシステム１００は、例えば、ソニー・エリクソン・モバイルコミュニケーションズ社から市販されるもののような任意の入手可能なビデオホンシステムとして具現化し得る。当業者には明らかであるように、マイクロホン１１０、スピーカ１２０、カメラ１３０、及びディスプレイ１４０は、デスクトップホンのように１つのユニットに一体化されても、又は、２つ以上のモジュラーユニットとして具現化されてもよい。例えば、カメラ１３０及びディスプレイ１４０は、マイクロホン１１０及びスピーカ１２０を有する従来の電話機へのモジュラー取付け部品として具現化され得る。１つの特定の実施では、従来のビデオホンシステム１００は、ソニー・エリクソン・モバイルコミュニケーションズ社から市販されるカメラ付属品を有するＴ６８ｉビデオホンシステムとして具現化され得る。

図２は、本発明がその中で動作可能なネットワーク環境２００を示す。図２に示すように、本発明の特徴を組み込む第１のビデオホンシステム２１０は、ネットワーク２２０を介して、１つ以上の追加のビデオホンシステム、例えばビデオホンシステム２７０と通信する。ネットワーク２２は、１つ以上の有線或いは無線ネットワーク、又はそれらの組み合わせとして具現化され得る。第１のビデオホンシステム２１０は、図１に示すビデオホンシステム１００といった従来のビデオホンシステムとして具現化されてもよく、本発明の特徴及び機能を与えるよう変更される。追加のビデオホンシステム２７０は、従来のビデオホンシステムであっても本発明の特徴を組み込むビデオホンシステムであってもよい。

本発明の１つの面では、ビデオホンシステム２１０は、図３と共に以下に説明する頭部姿勢推定及び補正処理３００を行う頭部姿勢補正器２５０を有する。頭部姿勢補正器２５０は、当業者には明らかであるように、デスクトップホンのように１つのユニットに従来のビデオホンシステム１００と共に一体にされても、又は、従来のビデオホンシステム１００へのモジュラー取付け部品として具現化されてもよい。

頭部姿勢補正器２５０は、例示的な実施例では、第２のユーザに対する表示のために伝送されるローカルユーザの画像を処理するよう第１のユーザのビデオホン２１０内に実装されるが、頭部姿勢補正器２５０は、或いは、第１のビデオホン２１０のユーザに対する表示のために１つ以上の追加のビデオホンシステム２７０から受信した遠隔ユーザの画像を処理し得る。更なる変形では、頭部姿勢補正器２５０は、本発明の教示内容に従ってビデオホン通信の全参加者の頭部画像を自動的に調整するようサービスプロバイダによってネットワーク２２０上のサーバ内に実装されることも可能である。

図３は、頭部姿勢推定及び補正処理３００の例示的な実施を説明するフローチャートである。一般的に、頭部姿勢推定及び補正処理３００は、ビデオホン画像がユーザの適切な正面画像であることを確実にする。頭部姿勢推定及び補正処理３００の計算要件は、ワイヤレスホンでの実施に適している。

図３に示すように、頭部姿勢推定及び補正処理３００は最初に、段階３１０において、ビデオホンシステム２１０のカメラから画像のシーケンスを得る。その後、頭部推定及び補正処理３００は、段階３２０において、例えば、Y. Li、S. Gong、及びH. Liddellによる「Support Vector Regression and Classification Based Multi-View Face Detection and Recognition」（自動顔及びジェスチャ認識についてのＩＥＥＥ会議、２００年）に記載される分類技術といったパターン認識技術を用いて頭部姿勢を推定する。この文書は、本願に参照として組み込む。一般的に、段階３２０において使用される分類技術は、正面画像、あごの画像、又は横顔の画像といった頭部姿勢の特徴を与える。１つの変形では、分類技術は更に、真の正面画像からあごの画像又は横顔画像がはずれる程度も与える。頭部姿勢を推定する多くの方法は、計算集約的であり、ノイズの影響を受けやすいが、本発明は、多くの場合、顔画像が予想されるビデオホン環境においては、現実的な解決方法があることを認識する。次に、段階３３０において、頭部姿勢が正面画像であるか否かを判断するためにテストが行われる。段階３３０において、頭部姿勢は正面画像であると判断されると、本発明の頭部姿勢補正技術は必要ではなく、段階３４０において、無修正画像が伝送される。

しかし、段階３３０において、頭部姿勢は正面画像ではないと判断されると、段階３５０において、「動作からの構築化（structure from motion）」技術といったコンピュータビジョン技術を用いて顔画像のシーケンスから顔表面の３次元モデルが計算される。顔画像のシーケンスから顔表面の３次元モデルを計算する好適な技術の詳細な説明は、例えば、M. Brandによる「Morphable 3D Models from Video」（コンピュータビジョン＆パターン認識（ＣＶＰＲ）（２００１））又はM. Brandによる「Flexible Flow for 3D Nonrigid Tracking and Shape Recovery」（コンピュータビジョン＆パターン認識（ＣＶＰＲ）（２００１））を参照されたい。これらはそれぞれ本願に参照として組み込む。一般的な表面を推定する多くの方法は、計算集約的であり、ノイズの影響を受けやすいが、本発明は、多くの場合は、顔表面が予想されるビデオホン環境においては、現実的な解決方法があることを認識する。

次に、段階３６０において、頭部姿勢が横顔画像であるか否かを判断するためにテストが行われる。段階３６０において、頭部姿勢は横顔画像であると判断されると、段階３７０において、横顔画像には示されていない頭部の残りの部分を推定するよう対称顔仮定が使用される。プログラム制御は次に、段階３８０に進む。

段階３６０において、頭部姿勢が横顔画像ではなく、画像は、あご画像又は額画像であると判断されると、プログラム制御は、段階３８０に直接進む。段階３８０において、３次元顔表面の向きが調整されて、正面画像が与えられる。

具体的には、３次元顔表面の基点は、入力画像が撮られた場所から顔表面の鼻先の前の点まで動かされる。例えば、あごの画像は、所望の基点より下から撮られる。従って、基点補正が、３次元座標を上方向に動かすことによって達成される。同様に、額画像は、３次元座標を下方向に動かすことによって補正される。横顔画像は、顔表面の３次元座標を、顔表面の垂直軸について９０度回転させることによって補正される。次に、標準の透視投影を適用することにより、正面画像を得ることができる。

次に、段階３９０において、修正画像が、遠隔ユーザに伝送される。その後、プログラム制御は終了する。

尚、本願において図示及び説明した実施例及び変形は、本発明の原理を説明するに過ぎず、本発明の範囲及び精神から逸脱することなく当業者による様々な修正が可能であることを理解するものとする。

従来のビデオホンシステムを示す図である。 本発明がその中で動作可能なネットワーク環境を示す図である。 図２の画像補正処理の例示的な実施を説明するフローチャートである。

Claims (23)

1. 手持ち式ワイヤレスビデオホンシステムのカメラで撮影された画像を処理する方法であって、該画像は、ネットワークで接続された少なくとも１つの他の手持ち式ビデオホンシステムのディスプレイで再生されるものであり、各々の手持ち式ビデオホンシステムは画像プロセッサを有し、当該方法は、
   前記手持ち式ワイヤレスビデオホンシステムのユーザの頭部の正面、あご又は横顔を示す画像を、前記画像プロセッサに提供する段階と、
   前記頭部の向きを、正面画像、あごの画像又は横顔の画像の内の何れかとして推定する頭部パターン認識技術を用いて、前記画像における前記頭部の向きを推定する段階と、
   前記頭部の向きが前記正面画像のものないと判断された場合、前記頭部の向きを前記あごの画像又は前記横顔の画像の何れかとする推定方向に基づくコンピュータビジョン技術を用いて、前記ユーザの顔表面の３次元モデルを計算する段階と、
   前記頭部の向きを前記あごの画像又は前記横顔の何れかとする推定方向に基づいて調整された正面画像を供給するように、前記顔表面の３次元モデルの向きを調整する段階と
   を有し、前記手持ち式ワイヤレスビデオホンシステムの前記カメラ及び前記ディスプレイは単独の装置に一体化され、前記手持ち式ワイヤレスビデオホンシステムを使用する際、前記カメラは、前記ユーザの頭部画像を捕捉する、方法。
2. 前記計算する段階は、調整された横顔画像に対して顔の対称性を仮定し、完全な顔表面の３次元モデルを得る段階をさらに有する、請求項１記載の方法。
3. 前記計算する段階は、動く構造を考慮して前記顔表面の３次元モデルを得る段階をさらに有する、請求項１記載の方法。
4. 前記推定する段階では、あごの画像又は横顔の画像が真の正面画像から逸脱する程度を示す分類法が行われる、請求項１記載の方法。
5. 前記計算する段階は、変形可能な３次元モデルを生成する、請求項１記載の方法。
6. 調整された向きを有する前記顔表面の３次元モデルを、２次元空間にマッピングする段階をさらに有する、請求項１記載の方法。
7. 調整された画像を、遠隔ユーザに伝送する段階をさらに有する、請求項１記載の方法。
8. 調整された画像を、ローカルユーザに提示する段階をさらに有する、請求項１記載の方法。
9. 手持ち式ワイヤレスビデオホンシステムのカメラで撮影された画像を処理する画像プロセッサであって、該画像は、ネットワークで接続された少なくとも１つの他の手持ち式ビデオホンシステムのディスプレイで再生されるものであり、当該画像プロセッサは、
   前記手持ち式ビデオホンシステムのユーザの頭部の正面、あご又は横顔を示す画像を格納するメモリと、
   前記頭部の向きが正面でないと判断された場合、前記頭部の向きを前記あごの画像又は前記横顔の画像のいずれかとする頭部パターン認識技術を用いて、前記画像における前記頭部の向きを推定し、前記頭部の向きを前記あごの画像又は前記横顔の画像の何れかとする推定方向に基づくコンピュータビジョン技術を用いて前記ユーザの顔表面の３次元モデルを計算し、前記頭部の向きを前記あごの画像又は前記横顔の何れかとする推定方向に基づいて調整された正面画像を供給するように、前記顔表面の３次元モデルの向きを調整する頭部姿勢補正器と
   を有し、前記手持ち式ワイヤレスビデオホンシステムの前記カメラ、当該画像プロセッサ及び前記ディスプレイは単独の装置に一体化され、前記手持ち式ワイヤレスビデオホンシステムを使用する際、前記カメラは、前記ユーザの頭部画像を捕捉する、画像プロセッサ。
10. 前記頭部姿勢補正器は、調整された横顔画像に対して顔の対称性を仮定し、完全な顔表面の３次元モデルを得る、請求項９記載の画像プロセッサ。
11. 前記頭部姿勢補正器は、動く構造を考慮して前記顔表面の３次元モデルを得る、請求項９記載の画像プロセッサ。
12. 前記頭部姿勢補正器は、あごの画像又は横顔の画像が真の正面画像から逸脱する程度を示す分類法を使用して前記頭部の向きを得る、請求項９記載の画像プロセッサ。
13. 前記顔表面の３次元モデルは、変形可能な３次元モデルである、請求項９記載の画像プロセッサ。
14. 前記頭部姿勢補正器は、調整された向きを有する前記顔表面の３次元モデルを、２次元修正画像にマッピングする、請求項９記載の画像プロセッサ。
15. 前記２次元修正画像は、遠隔ユーザに伝送される、請求項１４記載の画像プロセッサ。
16. 前記２次元修正画像は、ローカルユーザに提示される、請求項１４記載の画像プロセッサ。
17. 画像プロセッサを有するワイヤレスビデオホンシステムであって、該画像プロセッサは手持ち式の当該ワイヤレスビデオホンシステムのカメラで撮影された画像を処理し、該画像は、ネットワークで接続された少なくとも１つの他の手持ち式ビデオホンシステムのディスプレイで再生されるものであり、当該ワイヤレスビデオホンシステムは、
    当該ワイヤレスビデオホンシステムのユーザの頭部の正面、あご又は横顔を示す画像を格納するメモリと、
    前記頭部の向きが正面画像のものでないと判断された場合、前記頭部の向きを前記あごの画像又は前記横顔の画像の何れかとする頭部パターン認識技術を用いて前記画像における前記頭部の向きを推定し、前記頭部の向きを前記あごの画像又は前記横顔の画像の何れかとする推定方向に基づくコンピュータビジョン技術を用いて当該ワイヤレスビデオホンシステムのユーザの顔表面の３次元モデルを計算し、前記頭部の向きを前記あごの画像又は前記横顔の何れかとする推定方向に基づいて調整された正面画像を供給するように、前記顔表面の３次元モデルの向きを調整する頭部姿勢補正器と
    を有し、前記手持ち式ワイヤレスビデオホンシステムの前記カメラ及び前記ディスプレイは単独の装置に一体化され、前記手持ち式ワイヤレスビデオホンシステムを使用する際、前記カメラは、前記ユーザの頭部画像を捕捉する、ワイヤレスビデオホンシステム。
18. 前記頭部姿勢補正器は、調整された横顔画像に対して顔の対称性を仮定し、完全な顔表面の３次元モデルを得る、請求項１７記載のワイヤレスビデオホンシステム。
19. 前記頭部姿勢補正器は、動く構造を考慮して前記顔表面の３次元モデルを得る、請求項１７記載のワイヤレスビデオホンシステム。
20. 前記頭部姿勢補正器は、あごの画像又は横顔の画像が真の正面画像から逸脱する程度を示す分類法を使用して前記頭部の向きを得る、請求項１７記載のワイヤレスビデオホンシステム。
21. 前記頭部姿勢補正器は、調整された向きを有する前記顔表面の３次元モデルを、２次元修正画像にマッピングする、請求項１７記載のワイヤレスビデオホンシステム。
22. 前記２次元修正画像は、遠隔ユーザに伝送される、請求項２１記載のワイヤレスビデオホンシステム。
23. 前記２次元修正画像は、ローカルユーザに提示される、請求項２１記載のワイヤレスビデオホンシステム。

Images