JP6283108B2

JP6283108B2 - 画像処理方法及び装置

Info

Publication number: JP6283108B2
Application number: JP2016526410A
Authority: JP
Inventors: 岩▲リン▼ 郭; 田王; ▲徳▼▲軍▼ ▲張▼
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2013-08-19
Filing date: 2014-01-06
Publication date: 2018-02-21
Anticipated expiration: 2034-01-06
Also published as: WO2015024362A1; US20160105636A1; CN104427291B; US9392218B2; EP2999221A4; EP2999221A1; CN104427291A; JP2016527791A

Description

本発明は、画像データ処理技術の分野に関し、具体的には、画像処理方法及び装置に関する。

この出願は、２０１３年８月１９日に中国特許庁に出願され、“IMAGE PROCESSING METHOD AND DEVICE”と表題が付けられた中国特許出願第201310362321.1号に対する優先権を主張するとともに、それはその全体における参照によりここに組み込まれている。

没入型会議システムは、次の世代のマルチメディア会議システムの典型であるとともに、没入型会議システムは、より現実的で、かつ実体験のように感じるユーザ経験を提供することができる。一般に、ユーザが会議に参加しているときに没入型経験を得ることを可能にするために、ハイディフィニション・オーディオ／ビデオ、立体音響、３次元ビデオ、及び強化現実技術のような新しい技術が没入型会議システムに適用される。

概して、没入型会議システムは、２つのタイプのカメラを含む。一方のタイプは、ユーザのカラー画像をキャプチャすることができる従来のカラーカメラであり、もう一方のタイプは、ユーザとカメラとの間の距離の距離画像をキャプチャすることができる奥行きカメラである。奥行きカメラによりキャプチャされた奥行き情報は、３次元画像合成、骨格識別、及び追跡のような、それに続く技術的処理において大いに役立つ。

現存する没入型会議システムでは、会議システムのビデオ画像に対して合成が実行される場合に、ネットワーク帯域幅の占有率が比較的高くなる。

本発明の実施例は、ビデオ画像において異なるレベルのユーザの注意を伴う画像の分割を実行するとともに、分割された画像に対して異なる符号化方法を使用する画像処理方法及び装置を提供し、したがって、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができる。

前述の技術的問題を解決するために、本発明の実施例は下記の技術的解決法を開示する。

第１の態様によれば、画像処理方法であって、対象物のビデオ画像及び距離画像を収集するステップと、同じ瞬間における前記ビデオ画像に対応するビデオ画像フレームを、前記ビデオ画像フレームにおける前景画像の輪郭を獲得するために、前記距離画像を使用することにより分割するステップと、前記ビデオ画像フレームに対応する符号化データを獲得するために、前記前景画像の前記輪郭に従って、前記ビデオ画像フレームにおける前記前景画像の前記輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及び前記ビデオ画像フレームにおける前記輪郭の外側のビデオ画像のピクセルに対する第２の符号化を実行するステップであって、前記第１の符号化の符号化レートが前記第２の符号化の符号化レートより高い、ステップと、前記ビデオ画像フレームに対応する前記符号化データ、及び前記前景画像の前記輪郭に対応する奥行きデータを出力するステップとを含む、方法が提供される。

前述の第１の態様に関連して、第１の可能な実施方法において、同じ瞬間における前記ビデオ画像に対応するビデオ画像フレームを、前記ビデオ画像フレームにおける前景画像の輪郭を獲得するために、前記距離画像を使用することにより分割する前記ステップは、前記距離画像及び前記ビデオ画像フレームの前記ビデオ画像に対してピクセルアライメントを実行するステップと、複数のピクセルの中から１つのピクセルを分割点として判定するために、前記距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算するステップであって、前記ピクセルと全ての隣接ピクセルとの間の奥行き差の分散が設定しきい値より大きい、ステップと、全ての分割点を判定するために前記距離画像の全てのピクセルをトラバースするステップと、全ての前記分割点に従って前記ビデオ画像フレームにおける前記前景画像の前記輪郭を獲得するステップとを含む。

前述の第１の態様に関連して、第２の可能な実施方法において、前記輪郭に対応する奥行きデータを出力する前記ステップは、前記輪郭に従って前記距離画像を二値画像に単純化するステップと、前記二値画像に対して符号化処理を実行するとともに、前記二値画像に対応する符号化データを出力するステップとを含む。

前述の第１の態様及び第１の可能な実施方法に関連して、第３の可能な実施方法において、前記前景画像の前記輪郭に対応する奥行きデータを出力する前記ステップは、全ての前記分割点における各分割点の座標情報を獲得するステップと、全ての前記座標情報に対して圧縮処理を実行し、全ての前記座標情報に対応するとともに前記圧縮処理を用いて獲得される圧縮データを出力するステップとを含む。

第２の態様によれば、画像処理方法であって、ビデオ画像フレームの符号化データ、及び前記ビデオ画像フレームにおける前景画像の輪郭に対応する奥行きデータを受信するステップであって、前記ビデオ画像フレームでは、前記ビデオ画像フレームに対応する前記符号化データを獲得するために、前記前景画像の前記輪郭に従って、前記前景画像の前記輪郭の内側のビデオ画像のピクセルに対して第１の符号化が実行され、前記輪郭の外側のビデオ画像のピクセルに対して第２の符号化が実行されるとともに、前記第１の符号化の符号化レートが前記第２の符号化の符号化レートより高い、ステップと、前記ビデオ画像フレームにおける前記前景画像を獲得するために、前記奥行きデータに従って前記ビデオ画像フレームを分割するステップと、前記前景画像を再生するステップとを含む、方法が提供される。

前述の第２の態様に関連して、第１の可能な実施方法において、当該方法は、前記前景画像が再生される場合に、プリセットされた背景画像又はピクチャを再生し、前記背景画像又はピクチャを前記前景画像の背景として使用するステップを更に含む。

第３の態様によれば、画像処理装置であって、対象物のビデオ画像及び距離画像を収集するように構成される収集モジュールと、同じ瞬間における前記ビデオ画像に対応するビデオ画像フレームを、前記ビデオ画像フレームにおける前景画像の輪郭を獲得するために、前記距離画像を使用することにより分割するように構成される輪郭分割モジュールと、前記ビデオ画像フレームに対応する符号化データを獲得するために、前記前景画像の前記輪郭に従って、前記ビデオ画像フレームにおける前記前景画像の前記輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及び前記ビデオ画像フレームにおける前記輪郭の外側のビデオ画像のピクセルに対する第２の符号化を実行するように構成されるビデオ符号化モジュールであって、前記第１の符号化の符号化レートが前記第２の符号化の符号化レートより高い、前記ビデオ符号化モジュールと、前記ビデオ画像フレームに対応する前記符号化データを出力するように構成される第１の出力モジュールと、前記前景画像の前記輪郭に対応する奥行きデータを出力するように構成される第２の出力モジュールとを含む、装置が提供される。

前述の第３の態様に関連して、第１の可能な実施方法において、前記輪郭分割モジュールは、前記距離画像及び前記ビデオ画像フレームの前記ビデオ画像に対してピクセルアライメントを実行するように構成されるピクセルアライメントユニットと、複数のピクセルの中から１つのピクセルを分割点として判定するために、前記距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算するように構成される奥行き差計算ユニットであって、前記ピクセルと全ての隣接ピクセルとの間の奥行き差の分散が設定しきい値より大きい、前記奥行き差計算ユニットと、全ての分割点を判定するために前記距離画像の全てのピクセルをトラバースするように構成される分割点判定ユニットと、全ての前記分割点に従って前記ビデオ画像フレームにおける前記前景画像の前記輪郭を獲得するように構成される輪郭獲得ユニットとを含む。

前述の第３の態様に関連して、第２の可能な実施方法において、前記第２の出力モジュールは、前記輪郭に従って前記距離画像を二値画像に単純化するように構成される二値画像単純化ユニットと、前記二値画像に対して符号化処理を実行するように構成される二値画像符号化ユニットと、前記二値画像に対応する符号化データを出力するように構成される二値画像出力ユニットとを含む。

前述の第３の態様及び第１の可能な実施方法に関連して、第３の可能な実施方法において、前記第２の出力モジュールは、全ての前記分割点における各分割点の座標情報を獲得するように構成される座標獲得ユニットと、全ての前記座標情報に対して圧縮処理を実行するように構成される圧縮ユニットと、全ての前記座標情報に対応するとともに前記圧縮処理を用いて獲得される圧縮データを出力するように構成される座標出力ユニットとを含む。

第４の態様によれば、画像処理装置であって、ビデオ画像フレームの符号化データ、及び前記ビデオ画像フレームにおける前景画像の輪郭に対応する奥行きデータを受信するように構成される受信モジュールであって、前記ビデオ画像フレームでは、前記ビデオ画像フレームに対応する前記符号化データを獲得するために、前記前景画像の前記輪郭に従って、前記前景画像の前記輪郭の内側のビデオ画像のピクセルに対して第１の符号化が実行され、前記輪郭の外側のビデオ画像のピクセルに対して第２の符号化が実行されるとともに、前記第１の符号化の符号化レートが前記第２の符号化の符号化レートより高い、前記受信モジュールと、前記ビデオ画像フレームにおける前記前景画像を獲得するために、前記奥行きデータに従って前記ビデオ画像フレームを分割するように構成される前景画像分割モジュールと、前記前景画像を再生するように構成される前景再生モジュールとを含む、装置が提供される。

前述の第４の態様に関連して、第１の可能な実施方法において、当該画像処理装置は、前記前景画像が再生される場合に、プリセットされた背景画像又はピクチャを再生し、前記背景画像又はピクチャを前記前景画像の背景として使用するように構成される背景再生モジュールを更に含む。

第５の態様によれば、前述のうちのいずれか１つによる２つの画像処理装置を含む、画像処理システムが提供される。

本発明の実施例では、ビデオ画像フレームにおける前景画像の輪郭がビデオ画像フレームを分割することにより獲得され、ビデオ画像フレームにおける“前景”画像と“背景”画像が前景画像の輪郭に従って相互に区別されることができ、さらに、異なる方法における符号化処理が、“前景”画像に含まれるビデオ画像のピクセル及び“背景”画像に含まれるビデオ画像のピクセルに対して実行され、すなわち、より高い符号化レートの符号化方法が輪郭の内側の“前景”画像のために使用され、より低い符号化レートの符号化方法が輪郭の外側の“背景”画像のために使用される。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像フレーム伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。さらに、距離画像における全てのピクセルに対応する奥行きデータの代わりに、輪郭に対応するピクセルの奥行きデータのみが送信されるので、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率は更に下げられることができる。

本発明の実施例における技術的解決法をより明確に説明するために、下記は、実施例を説明するために必要とされる添付図面を簡単に説明する。明らかに、当業者は、創造的な努力なしでこれらの添付図面からさらに他の図面を導き出し得る。

本発明による画像処理方法の実施例のフローチャートである。図１におけるステップ１０１の実行のフローチャートである。本発明による別の画像処理方法の実施例のフローチャートである。本発明による画像処理装置の実施例の構造的な構成図である。図４における輪郭分割モジュールの構造的な構成図である。図４における第２の出力モジュール４０５の構造的な構成図である。図４における第２の出力モジュール４０５の別の構造的な構成図である。本発明による別の画像処理装置の実施例の構造的な構成図である。本発明によるさらに別の画像処理装置の実施例の構造的な構成図である。本発明による特定のアプリケーションシナリオである。

本発明の実施例における技術的解決法を当業者により良く理解させるとともに、本発明の実施例の目的、特徴、及び利点をより明確にするために、下記は、添付図面を参照して、さらに本発明の実施例における技術的解決法を詳細に説明する。

最初に、本発明において提供される画像処理方法が説明される。本発明において提供される画像処理方法、並びに画像処理装置及びシステムは、没入型会議システムに適用され得る。

図１を参照すると、図１は、本発明による画像処理方法の実施例のフローチャートであり、方法は、具体的に下記を含み得る。

ステップ１０１：対象物のビデオ画像及び距離画像を収集する。

この実施例は、ビデオ画像を送信する側における画像処理方法を説明する。このステップでは、ユーザのカラービデオ画像がカラーカメラを使用することによりキャプチャされることができ、一方では、ユーザとカメラとの間の距離の距離画像が奥行きカメラを使用することによりキャプチャされることができる。

ステップ１０２：同じ瞬間におけるビデオ画像に対応するビデオ画像フレームを、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、距離画像を使用することにより分割する。

本発明において提供される画像処理方法、装置、及びシステムは、没入型会議システムに適用され得る。実際は、没入型会議システムの場合には、より高いレベルのユーザの注意を伴うビデオ画像は、実際に受け取られたビデオ画像の単なる一部分である。ユーザが注意を払うビデオ画像のこの部分は“前景”と称されるとともに、ユーザがほとんど注意を払わないビデオ画像の別の部分は“背景”と称される。例えば、一般的なテレビ会議では、ユーザは、現在のシステムにおいてユーザと交信する全ての他の人に注意を払い、したがって、これらの人の画像は“前景”であり、ユーザがこれらの人を除いて注意を払わない画像は“背景”である。

前述のステップでは、同じ瞬間におけるビデオ画像に対応するビデオ画像フレームが、距離画像を使用することにより分割されるとともに、ビデオ画像フレームにおける前景画像の輪郭が、画像分割を使用することにより獲得される。この分割方法を使用することにより、各ビデオ画像フレームにおける前景画像の輪郭が獲得され得る。

前景画像の輪郭を使用することにより、ビデオ画像フレームにおける“前景”と“背景”が分割され得る。ビデオ画像フレームの一連のピクセルにおいて、輪郭の内側の全てのピクセルは“前景”画像を形成し、そして輪郭の外側の全てのピクセルは“背景”画像を形成する。

ステップ１０３：ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、ビデオ画像フレームにおける前景画像の輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及びビデオ画像フレームにおける輪郭の外側のビデオ画像のピクセルに対する第２の符号化を実行し、ここで、第１の符号化の符号化レートは第２の符号化の符号化レートより高い。

このステップでは、ＲＯＩ（Region of Interest、関心領域）符号化が、前景画像の輪郭を使用することにより、ビデオ画像フレームに対して実行される。ビデオ画像フレームにおける前景画像の輪郭の内側のビデオ画像のピクセル及びビデオ画像フレームにおける前景画像の輪郭の外側のビデオ画像のピクセルに対して異なる符号化方法で符号化を実行することは、より高い符号化レートの符号化方法がビデオ画像における前景画像の輪郭の内側の“前景”画像のために使用され、そしてより低い符号化レートの符号化方法がビデオ画像における前景画像の輪郭の外側の“背景”画像のために使用されることを含む。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。

ステップ１０４：ビデオ画像フレームに対応する符号化データ、及び前景画像の輪郭に対応する奥行きデータを出力する。

このステップでは、ビデオ画像フレームに対応する符号化データ、及び輪郭に対応する奥行きデータが一緒に出力され、したがって、受信端は、前景画像の輪郭に対応する奥行きデータに従って、ビデオ画像フレームにおける“前景”画像と“背景”画像を分割する輪郭を獲得するとともに、前景画像の輪郭に従って、復号によって獲得されたビデオ画像フレームからビデオ画像フレームにおける“前景”画像を更に獲得する。

距離画像における全てのピクセルに対応する奥行きデータの代わりに、前景画像の輪郭に対応するピクセルの奥行きデータのみが送信されるので、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率は更に下げられることができる。

本発明のこの実施例では、ビデオ画像フレームにおける前景画像の輪郭がビデオ画像フレームを分割することにより獲得され、ビデオ画像フレームにおける“前景”画像と“背景”画像が前景画像の輪郭に従って相互に区別されることができ、さらに、異なる方法における符号化処理が、“前景”画像に含まれるビデオ画像のピクセル及び“背景”画像に含まれるビデオ画像のピクセルに対して実行され、すなわち、より高い符号化レートの符号化方法が輪郭の内側の“前景”画像のために使用され、より低い符号化レートの符号化方法が輪郭の外側の“背景”画像のために使用される。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像フレーム伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。さらに、距離画像における全てのピクセルに対応する奥行きデータの代わりに、前景画像の輪郭に対応するピクセルの奥行きデータのみが送信されるので、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率は更に下げられることができる。

本発明の技術的解決法の理解を容易にするために、下記は、特定の実施方法を使用することにより本発明の技術的解決法を詳細に説明する。

特定の実施の間、前述のステップ１０１では、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、同じ瞬間におけるビデオ画像に対応するビデオ画像フレームが距離画像を使用することにより分割され、ここで、このステップの特定の実施方法は図２で示されるとともに、具体的に下記の実行ステップを含み得る。

ステップ２０１：距離画像及びビデオ画像フレームのビデオ画像に対してピクセルアライメントを実行する。

このステップでは、同じ瞬間に奥行きカメラ及びカラーカメラにより収集された距離画像及びカラー画像に対してピクセルアライメントが実行される。

具体的には、カラー画像の解像度が距離画像の解像度より高い場合に、カラー画像の解像度は距離画像の解像度へダウンサンプルされ、カラー画像の解像度が距離画像の解像度より低い場合に、カラー画像の解像度は距離画像の解像度へアップサンプルされ、又はカラー画像の解像度が距離画像の解像度と等しい場合に、処理は行われる必要がない。

ステップ２０２：複数のピクセルの中から１つのピクセルを分割点として判定するために、距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算し、ここで、ピクセルと全ての隣接ピクセルとの間の奥行き差の分散は設定しきい値より大きい。

このステップでは、距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算することは、一般に、距離画像上の各ピクセルと隣接の８つのピクセルとの間の奥行き差を計算している。実際には、距離画像上の各ピクセルの値は投影された空間点の座標であり、それは空間点から奥行きセンサが配置された平面までの距離がＺであることを示し、ここで単位はｍｍである。距離画像上の不連続点、すなわち分割点は、これらの奥行き差を計算することにより抽出され得る。

ピクセルに関しては、計算された８つの奥行き差の中の１つ又は複数の奥行き差と残りの奥行き差との間に明らかな差異がある場合に、すなわち、８つの奥行き差の分散が特定の設定しきい値より大きい場合に、そのピクセルは分割点として判定され得る。

ステップ２０３：全ての分割点を判定するために距離画像の全てのピクセルをトラバースする。

このステップでは、各ピクセルと隣接ピクセルとの間の奥行き差の前述の計算が、全ての分割点を判定するために、距離画像上の各ピクセルに対して順次に実行される。

ステップ２０４：全ての分割点に従ってビデオ画像における前景画像の輪郭を獲得する。

このステップでは、全ての分割点が判定される場合に、全ての分割点が接続されたあとで、ビデオ画像において“前景”画像を“背景”画像と区別する輪郭が形成され得る。

本発明のこの実施例では、ビデオ画像フレームを受信端に送信するプロセスにおいて、輪郭に対応する奥行きデータが同様に送信される必要がある。輪郭に対応する奥行きデータを出力するために、本発明のこの実施例は下記の２つの処理方法を提供する。

（１）距離画像は、輪郭に従って二値画像に単純化され、二値画像に対して符号化処理が実行されるとともに、二値画像に対応する符号化データが出力される。

この方法では、輪郭の内側の全てのピクセルの値が０に設定され、そして輪郭の外側の全てのピクセルの値が１に設定される。

出力するステップの間に、二値画像に単純化された距離画像に対して符号化処理が実行され、さらに、符号化によって別個に処理された二値画像及びカラー画像の符号列が出力されるとともに、ビデオ画像を見るために、受信端に対して伝送ネットワークを通して送信される。

さらに、二値画像に対して符号化が実行される場合に、ＪＢＩＧ２符号器が適用され得る。

（２）全ての分割点における各分割点の座標情報が獲得され、全ての座標情報に対して圧縮処理が実行されるとともに、全ての座標情報に対応するとともに圧縮処理を用いて獲得される圧縮データが出力される。

この方法では、分割点に対応するピクセルの空間座標又はベクトル座標を含む、全ての分割点の座標情報が獲得され、例えば、空間座標は（ｘ、ｙ）の座標になる。その場合に、全ての分割点の座標情報は集約されて、例えば、データセットを示す。全ての分割点の座標情報を含むデータセットに対して圧縮が実行され、圧縮されたデータセットは、ビデオ画像を見るために、受信端に対して伝送ネットワークを通して送信される。

前述の実施例は、画像処理プロセスにおいて画像を送信する側における画像処理方法を主に説明する。対応して、本発明は、画像処理方法を更に提供し、それは画像処理プロセスにおいて画像を受信する側における画像処理方法である。

図３を参照すると、図３は、本発明による画像処理方法の実施例のフローチャートであり、方法は、具体的に下記を含み得る。

ステップ３０１：ビデオ画像フレームの符号化データ、及びビデオ画像フレームにおける前景画像の輪郭に対応する奥行きデータを受信し、ここで、ビデオ画像フレームでは、ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、前景画像の輪郭の内側のビデオ画像のピクセルに対して第１の符号化が実行され、輪郭の外側のビデオ画像のピクセルに対して第２の符号化が実行されるとともに、第１の符号化の符号化レートは第２の符号化の符号化レートより高い。

このステップでは、受信側は、送信側により送信された、ビデオ画像フレームに対応する符号化データ、及びビデオ画像フレームにおける前景画像の輪郭に対応する奥行きデータを受信する。ビデオ画像を送信する側は、画像分割によって、ビデオ画像フレームにおける前景画像の輪郭を獲得し、輪郭を使用することにより、ビデオ画像フレームにおいて“前景”を“背景”から分離している。ビデオ画像フレームにおいて、輪郭の内側の全てのピクセルは“前景”画像を形成し、そして輪郭の外側の全てのピクセルは“背景”画像を形成する。

さらに、受信側により受信された、ビデオ画像フレームに対応する符号化データにおいて、ビデオ画像を送信する側は、ビデオ画像フレームにおける前景画像の輪郭の内側の“前景”画像に対して、より高い符号化レートの符号化方法を使用しているとともに、ビデオ画像フレームにおける前景画像の輪郭の外側の“背景”画像に対して、より低い符号化レートの符号化方法を使用している。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。

ステップ３０２：ビデオ画像フレームにおける前景画像を獲得するために、奥行きデータに従ってビデオ画像フレームを分割する。

このステップでは、受信側は、送信側により収集されたビデオ画像を獲得するために、受信された符号化データに対して復号を実行し得るとともに、受信されたビデオ画像における前景画像を更に獲得するために、受信された奥行きデータに従って受信されたビデオ画像を分割し得る。一般に、前景画像のこの部分は、ビデオユーザがより多くの注意を払う画像部分である。

ステップ３０３：前景画像を再生する。

このステップでは、ビデオ画像における前景画像が分割されたあとで、前景画像は再生され得る。ほとんどの場合、ユーザは、受信されたビデオ画像において、前景画像を除いて背景画像には注意を払わないとともに、背景画像のこの部分は再生されない。

例えば、一般的なテレビ会議では、ユーザは、現在のシステムにおいてユーザと交信する全ての他の人に注意を払い、したがって、これらの人の画像は“前景”であり、ユーザがこれらの人を除いて注意を払わない画像は“背景”である。本発明のこの実施例によれば、ビデオを受信する側では、ユーザがより多くの注意を払う、現在のシステムにおいてユーザと交信するこれらの人の画像のみが再生されるが、しかしながら、ユーザがこれらの人を除いて注意を払わない“背景”画像は再生されない。

没入型会議システムの場合には、前景画像が再生される場合に、前景画像は、再生のために、テレビ会議システムにおける会議インタフェースにおける再生ウィンドウ上に準備され得る。

本発明のこの実施例では、ビデオ画像を送信する側は、ビデオ画像フレームを分割することによりビデオ画像フレームにおける前景画像の輪郭を獲得し、前景画像の輪郭に従って、ビデオ画像フレームにおいて“前景”画像を“背景”画像と区別することができ、さらに、“前景”画像に含まれるビデオ画像のピクセル及び“背景”画像に含まれるビデオ画像のピクセルに対して異なる方法における符号化処理を実行し、すなわち、より高い符号化レートの符号化方法が輪郭の内側の“前景”画像のために使用され、より低い符号化レートの符号化方法が輪郭の外側の“背景”画像のために使用される。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像フレーム伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。さらに、距離画像における全てのピクセルに対応する奥行きデータの代わりに、前景画像の輪郭に対応するピクセルの奥行きデータのみが送信されるので、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率は更に下げられることができる。

ほとんどの場合、ユーザは、受信されたビデオ画像において、前景画像を除いて背景画像には注意を払わない。ユーザがテレビ会議に参加する場合に、ユーザの没入型経験を向上させるために、背景画像のこの部分は再生されないかもしれず、その代わりに、前景画像が再生される場合に、プリセットされた背景画像又はピクチャが再生され、背景画像又はピクチャが前景画像の背景として使用される。例えば、没入型会議システムの会議インタフェース上で、現在のシステムにおいてユーザと交信する相手方ユーザの人物画像は、一般に、“前景”画像である。“前景”画像のこの部分が再生される場合に、プリセットされた背景画像又はピクチャが再生されることができ、プリセットされた背景画像又はピクチャは、会議インタフェースの“背景”画像として使用されるとともに、会議インタフェース上で再生された相手方ユーザの人物画像と一緒に再生される。

本発明において提供される画像処理方法の実施例に対応して、本発明は、画像処理装置を更に提供する。

図４に示されたように、図４は、本発明において提供される画像処理装置の実施例であり、装置は、具体的に、対象物のビデオ画像及び距離画像を収集するように構成される収集モジュール４０１と、同じ瞬間におけるビデオ画像に対応するビデオ画像フレームを、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、距離画像を使用することにより分割するように構成される輪郭分割モジュール４０２と、ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、ビデオ画像フレームにおける前景画像の輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及びビデオ画像フレームにおける輪郭の外側のビデオ画像のピクセルに対する第２の符号化を実行するように構成されるビデオ符号化モジュールであって、第１の符号化の符号化レートが第２の符号化の符号化レートより高い、ビデオ符号化モジュール４０３と、ビデオ画像フレームに対応する符号化データを出力するように構成される第１の出力モジュール４０４と、前景画像の輪郭に対応する奥行きデータを出力するように構成される第２の出力モジュール４０５とを含み得る。

本発明のこの実施例では、収集モジュールを使用することにより対象物のビデオ画像及び距離画像が収集され、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、画像処理装置内の輪郭分割モジュールを使用することによりビデオ画像フレームが分割され、ビデオ画像フレームにおける“前景”画像と“背景”画像が輪郭に従って相互に区別され、さらに、ビデオ符号化モジュールを使用することにより、異なる方法における符号化処理が、“前景”画像に含まれるビデオ画像のピクセル及び“背景”画像に含まれるビデオ画像のピクセルに対して実行され、すなわち、より高い符号化レートの符号化方法が輪郭の内側の“前景”画像のために使用され、より低い符号化レートの符号化方法が輪郭の外側の“背景”画像のために使用される。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。さらに、距離画像における全てのピクセルに対応する奥行きデータの代わりに、前景画像の輪郭に対応するピクセルの奥行きデータのみが送信されるので、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率は更に下げられることができる。

本発明において提供される実行可能な実施例では、図５に示されたように、輪郭分割モジュール４０２が、具体的に、距離画像及びビデオ画像フレームのビデオ画像に対してピクセルアライメントを実行するように構成されるピクセルアライメントユニット５０１と、複数のピクセルの中から１つのピクセルを分割点として判定するために、距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算するように構成される奥行き差計算ユニットであって、ピクセルと全ての隣接ピクセルとの間の奥行き差の分散が設定しきい値より大きい、奥行き差計算ユニット５０２と、全ての分割点を判定するために距離画像の全てのピクセルをトラバースするように構成される分割点判定ユニット５０３と、全ての分割点に従ってビデオ画像における前景画像の輪郭を獲得するように構成される輪郭獲得ユニット５０４とを含み得る。

本発明において提供される実行可能な実施例では、図６に示されたように、第２の出力モジュール４０５は、具体的に、輪郭に従って距離画像を二値画像に単純化するように構成される二値画像単純化ユニット６０１と、二値画像に対して符号化処理を実行するように構成される二値画像符号化ユニット６０２と、二値画像に対応する符号化データを出力するように構成される二値画像出力ユニット６０３とを含み得る。

この実施方法では、輪郭の内側の全てのピクセルの値が０に設定され、そして輪郭の外側の全てのピクセルの値が１に設定される。出力するステップの間に、符号化処理が二値画像に単純化された距離画像に対して実行され、さらに、符号化によって別個に処理された二値画像及びカラー画像の符号列が出力されるとともに、ビデオ画像を見るために、受信端に対して伝送ネットワークを通して送信される。

本発明において提供される別の実行可能な実施例では、図７に示されたように、第２の出力モジュール４０５は、具体的に、全ての分割点における各分割点の座標情報を獲得するように構成される座標獲得ユニット７０１と、全ての座標情報に対して圧縮処理を実行するように構成される圧縮ユニット７０２と、全ての座標情報に対応するとともに圧縮処理を用いて獲得される圧縮データを出力するように構成される座標出力ユニット７０３とを含み得る。

この実施方法では、分割点に対応するピクセルの空間座標又はベクトル座標を含む、全ての分割点の座標情報が獲得され、例えば、空間座標は（ｘ、ｙ）の座標になる。その場合に、全ての分割点の座標情報は集約されて、例えば、データセットを示す。全ての分割点の座標情報を含むデータセットに対して圧縮が実行され、圧縮されたデータセットは、ビデオ画像を見るために、受信端に対して伝送ネットワークを通して送信される。

前述の画像処理装置は、画像処理プロセスにおいて画像を送信する側における対応装置である。本発明のこの実施例では、画像処理装置が提供され、ここで、画像処理装置は、画像処理プロセスにおいて画像を受信する側における対応装置である。

図８に示されたように、図８は、本発明において提供される画像処理装置の実施例であり、装置は、具体的に、ビデオ画像フレームの符号化データ、及びビデオ画像フレームにおける前景画像の輪郭に対応する奥行きデータを受信するように構成される受信モジュールであって、ビデオ画像フレームでは、ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、前景画像の輪郭の内側のビデオ画像のピクセルに対して第１の符号化が実行され、輪郭の外側のビデオ画像のピクセルに対して第２の符号化が実行されるとともに、第１の符号化の符号化レートが第２の符号化の符号化レートより高い、受信モジュール８０１と、ビデオ画像フレームにおける前景画像を獲得するために、ビデオ画像フレームを分割するように構成される前景画像分割モジュール８０２と、前景画像を再生するように構成される前景再生モジュール８０３とを含み得る。

本発明において提供される別の実施例では、図９に示されたように、画像処理装置は、前景画像が再生される場合に、プリセットされた背景画像又はピクチャを再生し、背景画像又はピクチャを前景画像の背景として使用するように構成される背景再生モジュール８０４を更に含み得る。

ほとんどの場合、ユーザは、受信されたビデオ画像において、前景画像を除いて背景画像には注意を払わない。ユーザがテレビ会議に参加する場合に、ユーザの没入型経験を向上させるために、本発明のこの実施例では、背景画像のこの部分は再生されないかもしれず、その代わりに、前景画像が再生される場合に、プリセットされた背景画像又はピクチャが再生され、背景画像又はピクチャが前景画像の背景として使用される。

対応して、本発明は、画像処理システムを更に提供する。システムは、具体的に、画像送信装置と、画像受信装置とを含み得る。

画像送信装置は、対象物のビデオ画像及び距離画像を収集し、同じ瞬間におけるビデオ画像に対応するビデオ画像フレームを、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、距離画像を使用することにより分割し、ビデオ画像フレームに対応する符号化データを獲得するために、前景画像の輪郭に従って、ビデオ画像フレームにおける前景画像の輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及びビデオ画像フレームにおける輪郭の外側のビデオ画像のピクセルに対する第２の符号化であって、第１の符号化の符号化レートが第２の符号化の符号化レートより高い符号化を実行し、ビデオ画像フレームに対応する符号化データ、及び前景画像の輪郭に対応する奥行きデータを出力するように構成される。

画像受信装置は、ビデオ画像フレームの符号化データ、及びビデオ画像フレームにおける前景画像の輪郭に対応する奥行きデータを受信し、ビデオ画像フレームにおける前景画像を獲得するために、奥行きデータに従ってビデオ画像フレームを分割し、前景画像を再生するように構成される。

前述のシステムの実施例では、画像送信装置の側において、ビデオ画像フレームにおける前景画像の輪郭がビデオ画像フレームを分割することにより獲得され、ビデオ画像フレームにおける“前景”画像と“背景”画像が前景画像の輪郭に従って相互に区別されることができ、さらに、異なる方法における符号化処理が、“前景”画像に含まれるビデオ画像のピクセル及び“背景”画像に含まれるビデオ画像のピクセルに対して実行され、すなわち、より高い符号化レートの符号化方法が輪郭の内側の“前景”画像のために使用され、より低い符号化レートの符号化方法が輪郭の外側の“背景”画像のために使用される。これらの符号化方法を使用することにより、符号化プロセスにおけるビットの利用率が削減されることができ、ビデオ画像フレーム伝送プロセスにおけるネットワーク帯域幅の占有率が下げられることができ、“前景”画像の画質が改善されることができる。さらに、距離画像における全てのピクセルに対応する奥行きデータの代わりに、前景画像の輪郭に対応するピクセルの奥行きデータのみが送信されるので、ビデオ画像伝送プロセスにおけるネットワーク帯域幅の占有率は更に下げられることができる。

さらに、前述のシステムでは、画像送信装置は、図２において示された実行手続き、及び輪郭に対応する奥行きデータを出力するための前述の２つの処理方法を更に実行し得る。画像受信装置は、図３において示された実行手続きを更に実行し得るとともに、前景画像が再生される場合に、プリセットされた背景画像又はピクチャを再生し、背景画像又はピクチャを前景画像の背景として使用することができる。

下記は、特定のアプリケーションシナリオを使用することにより、前述の技術的解決法をさらに詳しく説明する。

図１０において示されたアプリケーションシナリオでは、“ａ”側の画像送信装置における奥行きカメラ１００１は、ユーザとカメラとの間の距離の距離画像をキャプチャするように構成され、カラーカメラ１００２は、現在のビデオ画像のビデオ画像フレームを獲得するために、ユーザのカラービデオ画像をキャプチャするように構成され、輪郭分割モジュール１００３は、ビデオ画像フレームを、ビデオ画像フレームにおける前景画像の輪郭を獲得するために、距離画像を使用することにより分割するように構成され、距離画像は輪郭に従って二値画像に単純化されるとともに、ＪＢＩＧ２符号器１００４を使用することにより二値画像に対して符号化処理が実行され、一方では、前景画像の輪郭を使用することによるビデオ画像フレームに対するＲＯＩ符号化が、ＲＯＩ符号化をベースにしたビデオ符号器１００５を使用することにより実施される。２つのタイプの符号化データは、ネットワーク１００６を通して、“ｂ”側の画像受信装置におけるＪＢＩＧ２復号器１００７及びＲＯＩ復号器１００８に送信される。ビデオ画像フレームにおける前景画像の輪郭は、ＪＢＩＧ２復号器を使用することにより獲得され、さらに、ビデオ画像フレームにおける前景画像は、前景画像分割モジュール１００９を使用することにより別々に分割され、その上、背景再生モジュール１０１０は、前景画像が再生される場合に、プリセットされた背景画像又はピクチャが再生されるとともに、前景画像の背景として使用されることを実施するように構成される。

当業者は、本明細書中で開示される実施例において説明される例と組み合わせて、ユニット及びアルゴリズムステップが、電子ハードウェア、又は、コンピュータソフトウェアと電子ハードウェアの組み合わせにより実施され得ることに、気付くかもしれない。機能がハードウェアにより実行されるか又はソフトウェアにより実行されるかは、技術的解決法の特定のアプリケーション及び設計制約条件に依存する。当業者は、各特定のアプリケーションに対して説明された機能を実施するために異なる方法を使用し得るが、しかし、その実施は本発明の範囲を超えるものと考えられるべきではない。

都合が良くそして簡潔な記述のために、前述のシステム、装置、及びユニットの詳細な作業処理については、前述の方法の実施例の対応する処理に対して参照が行われるとともに、詳細は再度ここでは説明されない、ということが当業者によって明らかに理解され得る。

本願において提供されるいくらかの実施例では、開示されたシステム、装置、及び方法は他の様式で実施され得る、ということが理解されるべきである。例えば、説明された装置の実施例は、単に代表的である。例えば、ユニットの分割は、単に論理的な機能の分割であるとともに、実際の実装例では他の分割であるかもしれない。例えば、複数のユニット又はコンポーネントは、別のシステムに結合され得るか若しくは統合され得るか、又は、いくつかの特徴は、無視され得るか若しくは実行されないかもしれない。さらに、表示されたか若しくは論じられた相互の結合又は直接的な結合又は通信接続は、いくつかインタフェースを使用することにより実施され得る。装置又はユニットの間の間接的な結合又は通信接続は、電子的方式、機械的方式、又は他の方式において実施され得る。

別個の部品として説明されるユニットは、物理的に分離しているかもしれないし、又は物理的に分離していないかもしれないとともに、ユニットとして表示される部品は、物理的なユニットであるかもしれないし、又は物理的なユニットでないかもしれず、１つの位置に位置付けられるかもしれないし、又は複数のネットワークユニットに対して分散されるかもしれない。いくつか又は全てのユニットは、実施例の解決法の目的を達成するために、実際のニーズに従って選択され得る。

さらに、本発明の実施例における機能ユニットは１つの演算処理装置に統合され得るか、又は、それぞれのユニットは物理的に単独で存在し得るか、又は、２つ以上のユニットは１つのユニットに統合される。

機能がソフトウェア機能ユニットの形式で実施されるとともに、独立した製品として販売されるか又は使用される場合に、機能は、コンピュータ読み取り可能な記憶媒体に記憶され得る。そのような理解に基づくと、本発明の技術的解決法は本質的に、又は、従来技術に貢献する部分は、又は、技術的解決法の一部は、ソフトウェア製品の形式で実施され得る。ソフトウェア製品は、記憶媒体に記憶されるとともに、コンピュータ装置（それはパーソナルコンピュータ、サーバ、若しくはネットワーク装置であり得る）又はプロセッサに、本発明の実施例において説明された方法のステップの全部又は一部を実行するように指示するためのいくらかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読出し専用メモリ（ＲＯＭ、Read-Only Memory）、ランダムアクセスメモリ（ＲＡＭ、Random Access Memory）、磁気ディスク、又は光ディスクのような、プログラムコードを記憶することができるあらゆる媒体を含む。

前述の説明は、本発明の単なる具体的な実施方法にすぎず、本発明の保護範囲を限定することを意図していない。本発明において開示された技術的な範囲内の当業者によって容易に判断されるあらゆる変形又は置換は、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、請求項の保護範囲に支配されるものとする。

Claims

画像処理方法であって、
対象物のビデオ画像及び距離画像を収集するステップと、
同じ瞬間における前記ビデオ画像に対応するビデオ画像フレームを、前記ビデオ画像フレームにおける前景画像の輪郭を獲得するために、前記距離画像を使用することにより分割するステップと、
前記ビデオ画像フレームに対応する符号化データを獲得するために、前記前景画像の前記輪郭に従って、前記ビデオ画像フレームにおける前記前景画像の前記輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及び前記ビデオ画像フレームにおける前記輪郭の外側のビデオ画像のピクセルに対する第２の符号化を実行するステップであって、前記第１の符号化の符号化レートが前記第２の符号化の符号化レートより高い、ステップと、
前記ビデオ画像フレームに対応する前記符号化データ、及び前記前景画像の前記輪郭に対応する奥行きデータを出力するステップとを含み、
同じ瞬間における前記ビデオ画像に対応するビデオ画像フレームを、前記ビデオ画像フレームにおける前景画像の輪郭を獲得するために、前記距離画像を使用することにより分割する前記ステップが、
前記距離画像及び前記ビデオ画像フレームの前記ビデオ画像に対してピクセルアライメントを実行するステップと、
複数のピクセルの中から１つのピクセルを分割点として判定するために、前記距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算するステップであって、前記ピクセルと全ての隣接ピクセルとの間の奥行き差の分散が設定しきい値より大きい場合に前記ピクセルが前記分割点として判定される、ステップと、
全ての分割点を判定するために前記距離画像の全てのピクセルをトラバースするステップと、
全ての前記分割点に従って前記ビデオ画像フレームにおける前記前景画像の前記輪郭を獲得するステップとを含む、方法。
前記前景画像の前記輪郭に対応する奥行きデータを出力する前記ステップが、
前記輪郭に従って前記距離画像を二値画像に単純化するステップと、
前記二値画像に対して符号化処理を実行するとともに、前記二値画像に対応する符号化データを出力するステップとを含む、請求項１に記載の方法。
前記前景画像の前記輪郭に対応する奥行きデータを出力する前記ステップが、
全ての前記分割点における各分割点の座標情報を獲得するステップと、
全ての前記座標情報に対して圧縮処理を実行し、全ての前記座標情報に対応するとともに前記圧縮処理を用いて獲得される圧縮データを出力するステップとを含む、請求項１に記載の方法。
画像処理装置であって、
対象物のビデオ画像及び距離画像を収集するように構成される収集モジュールと、
同じ瞬間における前記ビデオ画像に対応するビデオ画像フレームを、前記ビデオ画像フレームにおける前景画像の輪郭を獲得するために、前記距離画像を使用することにより分割するように構成される輪郭分割モジュールと、
前記ビデオ画像フレームに対応する符号化データを獲得するために、前記前景画像の前記輪郭に従って、前記ビデオ画像フレームにおける前記前景画像の前記輪郭の内側のビデオ画像のピクセルに対する第１の符号化、及び前記ビデオ画像フレームにおける前記輪郭の外側のビデオ画像のピクセルに対する第２の符号化を実行するように構成されるビデオ符号化モジュールであって、前記第１の符号化の符号化レートが前記第２の符号化の符号化レートより高い、前記ビデオ符号化モジュールと、
前記ビデオ画像フレームに対応する前記符号化データを出力するように構成される第１の出力モジュールと、
前記前景画像の前記輪郭に対応する奥行きデータを出力するように構成される第２の出力モジュールとを備え、
前記輪郭分割モジュールが、
前記距離画像及び前記ビデオ画像フレームの前記ビデオ画像に対してピクセルアライメントを実行するように構成されるピクセルアライメントユニットと、
複数のピクセルの中から１つのピクセルを分割点として判定するために、前記距離画像上の各ピクセルと隣接ピクセルとの間の奥行き差を計算するように構成される奥行き差計算ユニットであって、前記ピクセルと全ての隣接ピクセルとの間の奥行き差の分散が設定しきい値より大きい場合に前記ピクセルが前記分割点として判定される、前記奥行き差計算ユニットと、
全ての分割点を判定するために前記距離画像の全てのピクセルをトラバースするように構成される分割点判定ユニットと、
全ての前記分割点に従って前記ビデオ画像フレームにおける前記前景画像の前記輪郭を獲得するように構成される輪郭獲得ユニットとを備える、装置。
前記第２の出力モジュールが、
前記輪郭に従って前記距離画像を二値画像に単純化するように構成される二値画像単純化ユニットと、
前記二値画像に対して符号化処理を実行するように構成される二値画像符号化ユニットと、
前記二値画像に対応する符号化データを出力するように構成される二値画像出力ユニットとを備える、請求項４に記載の装置。
前記第２の出力モジュールが、
全ての前記分割点における各分割点の座標情報を獲得するように構成される座標獲得ユニットと、
全ての前記座標情報に対して圧縮処理を実行するように構成される圧縮ユニットと、
全ての前記座標情報に対応するとともに前記圧縮処理を用いて獲得される圧縮データを出力するように構成される座標出力ユニットとを備える、請求項４に記載の装置。