JP7485108B2 - 画像処理装置、カメラ装置、および画像処理方法 - Google Patents

Description

本発明の一実施形態は、カメラで撮影した画像を処理する画像処理装置、カメラ装置、および画像処理方法に関する。

遠隔地間をネットワークで接続して遠隔会議を行なう場合、１つのカメラで複数の会議参加者を撮影することがある。しかし、１つのカメラで複数の会議参加者を撮影すると、各会議参加者の顔画像が小さくなる。したがって、会議参加者は、それぞれの表情を読み取りにくくなる。

そこで、例えば特許文献１では、複数の会議参加者を同時に撮影した画像から個々の会議参加者の画像を切り出すが開示されている。

また、特許文献２には、複数の拠点、複数の会議参加者、および資料を一つの画面に示する構成が開示されている。

また、特許文献３には、魚眼レンズの画像を平面画像に変換する構成が開示されている。

国際公開第２０１８／０６１１７３号 特開２０１１－６１３１４号公報 特開２０１５－１９１６２号公報

会議では、会議参加者の表情および感情を読み取ることでスムーズなコミュニケーションを行うことができる。しかし、複数の会議参加者が表示された画像から各会議参加者の感情を読み取るのは難しい。

そこで、本発明の一実施形態の目的は、複数の会議参加者が表示された画像から各会議参加者の感情を直感的に読み取ることができる画像処理装置、カメラ装置および画像処理方法を提供することにある。

画像処理装置は、複数の会議参加者を撮影した画像データを取得する画像データ取得部と、前記画像データ取得部で取得した画像データから、各会議参加者の顔画像を検出する顔画像検出部と、前記画像データに基づく画像を出力する画像構成部と、検出した顔画像に基づいて各参加者の感情を推定する感情推定部と、推定した感情に基づいて各参加者の顔画像の表示態様を変更する表示態様変更部と、を備えている。

本発明の一実施形態によれば、複数の会議参加者が表示された画像から各会議参加者の感情を直感的に読み取ることができる。

画像処理装置を含むカメラ装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 画像処理機能（画像処理装置）を示すブロック図である。 カメラ１１が撮影した画像の一例を示す図である。 再構成後の画像の一例を示す図である。 遠隔会議を構成する複数の画像処理装置のそれぞれの処理の流れを示した図である。 画像処理装置の動作を示すフローチャートである。 顔画像とともに会議に関連するコンテンツを画像に表示する例を示す図である。 表情推定部、感情推定部、および表示態様変更部をさらに備えた画像処理機能を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 表示態様の変更例を示す図である。

本実施形態の画像処理装置は、複数の会議参加者を撮影した画像データを取得する画像データ取得部と、前記画像データ取得部で取得した画像データから、各会議参加者の顔画像を検出する顔画像検出部と、検出した顔画像を切り出して１つの画像に再構成する画像構成部と、検出した顔画像に基づいて各参加者の感情を推定する感情推定部と、推定した感情に基づいて各参加者の顔画像の表示態様を変更する表示態様変更部と、を備えている。

本実施形態の画像処理装置は、複数の会議参加者を同時に撮影した画像から個々の会議参加者の顔画像を切り出して１つの画像に再構成することで、各会議参加者の表情を読み取り易くする。さらに、画像処理装置は、会議参加者の感情により顔画像を変化させるため、より直感的に各会議参加者の感情を読み取ることができる。例えば、画像処理装置は、楽しいと感じている参加者の顔画像を揺れる様に表示させる。揺れるという画像変化を見た参加者は、当該顔画像に対応する参加者が楽しい感情を抱いていると直感的に認識することができる。なお、前記表示態様変更部は、前記推定した感情に基づいて、前記画像における前記顔画像の表示位置を変更してもよいし、前記推定した感情に基づいて、前記顔画像にアニメーションを付加してもよい。また、前記表示態様変更部は、前記推定した感情に基づいて顔画像の色を変更してもよい。なお、色の変更には、色相の変更、明暗の変更、彩度の変更、およびトーンの変更等を含む。

また、画像処理装置は、検出した顔画像に基づいて各会議参加者の表情を推定する表情推定部を備えていてもよい。この場合、前記感情推定部は、前記表情推定部で推定した表情に基づいて前記感情を推定する。表情は、感情を表すための一つの指標である。表情と感情は密接に関連する。よって、画像処理装置は、顔画像からまず表情を推定し、推定した表情に基づいて感情を推定することで、より精度よく感情を推定することができる。

また、前記画像は、前記顔画像とともに前記会議に関連するコンテンツ（例えば共有資料）を前記画像に表示してもよい。

会議参加者は、話者と聴者とを含む。話者は、プレゼンテーション資料等のコンテンツを用いて会話を行なう。この様なコンテンツは、例えばプロジェクター用のスクリーンまたはモニタに表示される。話者および聴者は、スクリーンまたはモニタを見ながら会議を行なう。聴者は、スクリーンを見るため、同じ室内にいる話者の表情とコンテンツとを同時に見ることが難しい。話者も、同じ室内にいる聴者の表情とコンテンツとを同時に見ることが難しい。

しかし、上述の様に、画像処理装置は、個々の会議参加者の顔画像とコンテンツとを１つの画像として再構成する。そのため、会議参加者は、互いの表情を見ながら会話を行なうことができるため、スムーズな会議を行なうことができる。

また、前記画像は、遠隔会議を構成する複数の画像処理装置の全てにおいて共通であってもよい。つまり、全ての拠点において、同じ画像が表示されてもよい。通常、遠隔会議では、遠端側の画像を大きく表示し、近端側の画像を小さく表示する。この場合、参加者は、ある拠点とある拠点とで会話しているという意識が強くなる。しかし、本実施形態の画像処理装置は、個々の参加者の顔画像を切り出して再構成された１つの画像を全ての拠点において共有し、全ての拠点において同じ画像を表示する。したがって、参加者は、遠端側か近端側かを意識することなく、同じ場にいて会議を行なっているように認識しやすくなる。

以下、本実施形態の具体的構成について説明する。図１は、画像処理装置１０を含むカメラ装置１の構成を示すブロック図である。図２は、画像処理装置１０の動作を示すフローチャートである。

カメラ装置１は、カメラ１１、ＣＰＵ１２、ＤＳＰ１３、メモリ１４、ユーザインタフェース（ＵＩ）１５、スピーカ（ＳＰ）１６、マイク（ＭＩＣ）１７、および通信インタフェース（Ｉ／Ｆ）１８を備えている。カメラ装置１は、例えばパーソナルコンピュータ等の情報処理装置により実現される。

図３は、画像処理装置１０に対応する機能的ブロック図である。これら機能的構成は、ＣＰＵ１２およびＤＳＰ１３等のハードウェアがメモリ１４からプログラムを読み出して実行することにより実現される。つまり、画像処理装置１０は、ＣＰＵ１２およびＤＳＰ１３等のハードウェアがメモリ１４からプログラムを読み出して実行することにより実現される。

画像処理装置１０は、画像データ取得部１００、顔画像検出部１０１、および画像構成部１０２を備えている。画像データ取得部１００は、カメラ１１から画像データを受信する（Ｓ１１）。

カメラ１１は、プロジェクターのスクリーンと同様に、室内の壁等に設置される。カメラ１１は、複数の参加者を撮影するように構成されている。したがって、カメラ１１は、複数の遠隔会議参加者を撮影した画像データを生成する。カメラ１１は、画像データ取得部の一例である。なお、画像処理装置１０およびカメラ１１はカメラ装置１として一体である必要はなく、それぞれ別の装置であってもよい。この場合、画像処理装置１０は、ＵＳＢ等の通信Ｉ／Ｆを介して、カメラから画像データを受信する。この場合、ＵＳＢ等の通信Ｉ／Ｆが画像データ取得部を構成する。

顔画像検出部１０１は、受信した画像データから、各遠隔会議参加者の顔画像を検出する（Ｓ１２）。顔画像の検出手法は、どの様な手法でもよい。例えば、顔画像検出部１０１は、受信した画像データから顔画像の特徴量を抽出し、顔画像のデータベースとテンプレートマッチングすることにより、顔画像を検出する。顔画像検出部１０１は、ニューラルネットワークにより顔画像を検出してもよい。また、顔画像検出部１０１は、ディープラーニング等の学習処理を組み合わせてもよい。

顔画像の検出結果を示す情報は、画像構成部１０２に出力される。画像構成部１０２は、顔画像の検出結果に基づいて、受信した画像データから、顔画像を切り出す（Ｓ１３）。

図４は、カメラ１１が撮影した画像の一例を示す図である。図４の画像の例では、３名の会議参加者が含まれている。したがって、顔画像検出部１０１は、３名の会議参加者のそれぞれの顔画像を検出する。画像構成部１０２は、検出した３名の会議参加者の顔画像を切り出す。画像構成部１０２は、切り出した顔画像（以下、個別顔画像と称する。）をそれぞれ拡大し、１つの画像として再構成する（Ｓ１４）。

画像構成部１０２は、再構成した画像データを通信Ｉ／Ｆ１８を介して出力する（Ｓ１５）。例えば、再構成した画像データは、例えばプロジェクタまたはモニタ等の表示装置に出力する。

これにより、図５に示す様に、プロジェクタのスクリーンまたはモニタには、全ての会議参加者の顔画像が１つの画像に表示される。よって、会議参加者は、それぞれの表情を読み取り易くなり、感情も読み取り易くなる。

なお、遠隔会議を構成する場合には、画像構成部１０２は、個別顔画像を通信Ｉ／Ｆ１８を介してパケットデータとして他装置に送信する。この場合、通信Ｉ／Ｆ１８は、パケット送信部を構成する。また、画像構成部１０２は、通信Ｉ／Ｆ１８を介して、他装置から出力された個別顔画像をパケットデータとして受信する。この場合、通信Ｉ／Ｆ１８は、パケット受信部を構成する。画像構成部１０２は、自装置で切り出した個別顔画像と、他装置から受信した個別顔画像と、をそれぞれ拡大して合成して、１つの画像として再構成する。

図６は、遠隔会議を構成する複数の画像処理装置１０のそれぞれの処理の流れを示した図である。図７は、画像処理装置１０の動作を示すフローチャートである。図７において、図２のフローチャートと共通する処理は同一の符号を付し、説明を省略する。

複数の画像処理装置１０において、それぞれの画像構成部１０２は、それぞれのカメラ１１で撮影した画像から顔画像を切り出す（Ｓ１３）。それぞれの画像構成部１０２は、個別顔画像を通信Ｉ／Ｆ１８を介して送受信する（Ｓ２１）。画像構成部１０２は、自装置で切り出した個別顔画像と、他装置から受信した個別顔画像と、をそれぞれ拡大して合成して、１つの画像として再構成する（Ｓ２２）。再構成した画像データは、例えばプロジェクタまたはモニタ等の表示装置に出力する（Ｓ２３）。

このようにして、遠隔会議を構成する各拠点のスクリーンまたはモニタには、遠隔会議の全ての参加者の顔画像が１つの画像に表示される。よって、会議参加者は、それぞれの表情を読み取り易くなり、感情も読み取り易くなる。なお、個別顔画像を拡大することは必須ではない。全ての会議参加者が１つの画像に表示されるだけでも、１つの画面を見るだけで全ての会議参加者の顔を見ることができるため、従来よりもそれぞれの表情を読み取り易くなり、感情も読み取り易くなる。

なお、Ｓ１４の処理において、画像構成部１０２は、個別顔画像とともに会議に関連するコンテンツ（例えば共有資料）を画像に表示してもよい。例えば、図８に示す様に、遠隔会議を構成する画像処理装置のうち一部の装置が共有資料を送信する。画像構成部１０２は、Ｓ１４の処理において、送受信した共有資料を含めた画像を再構成する。

これにより、会議参加者は、互いの表情を見ながら会話を行い、かつ共有資料も同時に見ることができるため、よりスムーズな会議を行なうことができる。

なお、再構成した画像は、遠隔会議を構成する全ての画像処理装置１０において共通してもよいし、近端側の会議参加者を大きくしてもよい。ただし、全ての拠点において同じ画像を表示することで、会議参加者は、遠端側か近端側かを意識することなく、同じ場にいて会議を行なっているように認識しやすくなる。

また、各会議参加者の画像も、全て同じ大きさで表示してもよいし、近端側の会議参加者を大きく、遠端側の会議参加者を小さく表示してもよい。また、話者を検出して、話者の個別顔画像を大きく表示してもよい。

また、画像処理は、個々の拠点の装置において行う必要はなく、サーバで行ってもよい。各拠点の装置は、カメラ１１で撮影した画像データをサーバに送信する。サーバは、個別顔画像を切り出して、１つの画像に再構成する。サーバは、再構成した画像データを個々の拠点に配信する。また、例えば個別顔画像の切り出しを個々の拠点の装置が行ってもよい。サーバは、各拠点の装置から個別顔画像を受信し、１つの画像に再構成する。

図９は、さらに、表情推定部１０３、感情推定部１０４、および表示態様変更部１０５を備えた画像処理装置１０の機能的ブロック図である。図１０は、画像処理装置１０の動作を示すフローチャートである。図１０において、図２のフローチャートと共通する処理は同一の符号を付し、説明を省略する。

図９に示す各構成も、ＣＰＵ１２およびＤＳＰ１３等のハードウェアがメモリ１４からプログラムを読み出して実行することにより実現される。

表情推定部１０３は、画像構成部１０２から個別顔画像を受信する（Ｓ２１）。表情推定部１０３は、個別顔画像に基づいて各参加者の表情を推定する（Ｓ２２）。表情推定の手法は、どの様な手法でもよい。例えば、表情推定部１０３は、受信した画像データから顔画像の特徴量を抽出し、各種の表情に対応する顔画像のデータベースとテンプレートマッチングすることにより、表情を推定する。表情は、例えば、笑い、驚き、泣き、怒り、暗い、明るい、あるいは緊張等の表情が含まれる。また、表情には、無表情も含まれる。表情推定部１０３は、ニューラルネットワークにより表情を推定してもよい。また、表情推定部１０３は、ディープラーニング等の学習処理を組み合わせてもよい。

推定された表情を示す情報は、感情推定部１０４に出力される。感情推定部１０４は、表情推定部１０３で推定された表情に基づいて、各参加者の感情を推定する（Ｓ２３）。感情推定の手法も、どの様な手法でもよい。例えば、感情推定部１０４は、表情と感情とを対応付けた感情データベースを参照して、受信した表情にマッチングする感情を選択する。感情は、例えば、楽しい、真剣、退屈、感動、興奮、悲しみ、怒り、諦め、驚き、嫌悪、恐怖、困惑あるいは満足等の様々な感情が含まれる。例えば、怒りまたは驚きは、表情と感情が一致する。また、笑いの表情、または明るい表情は、喜びの感情と相関は高い。また、感情推定部１０４は、視線に関する情報に基づいて感情を推定してもよい。感情推定部１０４は、画像構成部１０２から個別顔画像を受信して、視線情報を抽出する。視線が正面を向いている場合には、真剣さが高く、視線が他の方向を向いている場合には、怠惰な感情であると推定することができる。

なお、表情推定部１０３による表情推定結果に基づいて感情を推定することは必須ではない。例えば、感情推定部１０４は、受信した画像データから顔画像の特徴量を抽出し、各種の表情に対応する顔画像のデータベースとテンプレートマッチングすることにより、感情を直接的に推定してもよい。ただし、表情は、感情を推定するための１つの指標である。したがって、感情推定部１０４は、表情推定部１０３による表情推定結果に基づいて感情を推定することにより、より高精度に感情を推定することができる。

また、感情推定部１０４は、ニューラルネットワークにより感情を推定してもよいし、ディープラーニング等の学習処理を組み合わせてもよい。

感情推定部１０４の推定結果は、表示態様変更部１０５に出力される。表示態様変更部１０５は、画像構成部１０２から画像データを受信する（Ｓ２５）。表示態様変更部１０５は、感情推定部１０４で推定した感情に基づいて各参加者の顔画像の表示態様を変更する（Ｓ２６）。表示態様の変更は、色を変更する、位置を変更する、大きさを変更する、またはアニメーションを付加する、等が含まれる。

例えば、図１１の例では、表示態様変更部１０５は、楽しい感情を持つ会議参加者の画像に対して、揺らすアニメーションを付加している。なお、感情の度合いに応じてアニメーションの強弱を変更してもよい。

また、表示態様変更部１０５は、話者等の真剣な感情を持つ会議参加者の画像を大きくし、退屈な感情を持つ会議参加者の画像を小さくしてもよい。また、表示態様変更部１０５は、話者等の真剣な感情を持つ会議参加者を上方向に移動し、退屈な感情を持つ会議参加者の画像を下方向に移動してもよい。

また、表示態様変更部１０５は、似た感情を持つ会議参加者の画像同士を近づけてもよい。例えば、表示態様変更部１０５は、真剣な感情の持つ会議参加者同士を近づける、退屈な感情を持つ会議参加者同士を近づける。

あるいは、表示態様変更部１０５は、楽しい感情を持つ会議参加者および真剣な感情を持つ会議参加者の画像を明るく表示し、退屈の感情を持つ会議参加者の画像を暗く表示してもよい。つまり、表示態様変更部１０５は、感情に応じて色を変更してもよい。

なお、図９乃至図１１に示した例では、画像構成部１０２による個別顔画像の再構成は必須ではない。画像構成部１０２は、複数の会議参加者を撮影した画像をそのまま出力し、表示態様変更部１０５は、複数の会議参加者を撮影した画像において、各会議参加者の画像の表示態様を変更するだけでもよい。この様に、個別顔画像の再構成を行なわなくとも、会議参加者は、複数の会議参加者が表示された画像から各会議参加者の感情を直感的に読み取ることができる。

本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

１…カメラ装置
１０…画像処理装置
１１…カメラ
１２…ＣＰＵ
１３…ＤＳＰ
１４…メモリ
１５…ユーザインタフェース（ＵＩ）
１６…スピーカ（ＳＰ）
１７…マイク（ＭＩＣ）
１８…通信Ｉ／Ｆ
１０１…顔画像検出部
１０２…画像構成部
１０３…表情推定部
１０４…感情推定部
１０５…表示態様変更部

Claims (15)

1. 遠隔会議の複数の拠点から、複数の会議参加者を撮影した画像データを取得する画像データ取得部と、
   前記画像データ取得部で取得した画像データから、各会議参加者の顔画像を検出する顔画像検出部と、
   前記画像データをそのまま用いて一つの画像に構成する画像構成部と、
   検出した顔画像に基づいて各参加者の感情を推定する感情推定部と、
   推定した感情に基づいて各参加者の顔画像の表示態様を変更する表示態様変更部と、
   を備え、
   前記画像は、遠隔会議を構成する複数の画像処理装置の全てにおいて共通する、
   画像処理装置。
2. 検出した顔画像に基づいて各参加者の表情を推定する表情推定部を備え、
   前記感情推定部は、前記表情推定部で推定した表情に基づいて前記感情を推定する、
   請求項１に記載の画像処理装置。
3. 前記画像構成部は、前記顔画像とともに前記遠隔会議に関連するコンテンツを前記画像に表示する、
   請求項１または請求項２に記載の画像処理装置。
4. 前記表示態様変更部は、前記推定した感情に基づいて、前記画像における前記顔画像の表示位置を変更する、
   請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記表示態様変更部は、前記推定した感情に基づいて、前記顔画像にアニメーションを 付加する、
   請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記表示態様変更部は、前記推定した感情に基づいて、前記顔画像の色を変更する、
   請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記画像構成部は、全ての会議参加者の顔画像を同じ大きさで前記画像に再構成する、
   請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 請求項１乃至請求項７のいずれか１項に記載の画像処理装置と、
   前記画像データを取得するためのカメラと、
   を備えたカメラ装置。
9. 遠隔会議の複数の拠点から、複数の会議参加者を撮影した画像データを取得することと、
   取得した画像データから、各会議参加者の顔画像を検出することと、
   前記画像データをそのまま用いて一つの画像に構成することと、
   検出した顔画像に基づいて各参加者の感情を推定することと、
   推定した感情に基づいて各参加者の顔画像の表示態様を変更することと、
   を備え、
   前記画像は、遠隔会議を構成する複数の画像処理装置の全てにおいて共通する、
   画像処理方法。
10. 検出した顔画像に基づいて各参加者の表情を推定し、
    推定した表情に基づいて前記感情を推定する、
    請求項９に記載の画像処理方法。
11. 前記顔画像とともに前記遠隔会議に関連するコンテンツを前記画像に表示する、
    請求項９または請求項１０に記載の画像処理方法。
12. 前記推定した感情に基づいて、前記画像における前記顔画像の表示位置を変更する、
    請求項９乃至請求項１１のいずれか１項に記載の画像処理方法。
13. 前記推定した感情に基づいて、前記顔画像にアニメーションを付加する、
    請求項９乃至請求項１２のいずれか１項に記載の画像処理方法。
14. 前記推定した感情に基づいて、前記顔画像の色を変更する、
    請求項９乃至請求項１３のいずれか１項に記載の画像処理方法。
15. 前記画像を再構成することにおいて、全ての会議参加者の顔画像を同じ大きさで前記画像に再構成する、
    請求項９乃至請求項１４のいずれか１項に記載の画像処理方法。

Images