JP6967065B2 - 情報処理装置、プログラム、及び、情報処理方法 - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

近年、ビデオ通話の利用頻度が増加している。ビデオ通話のユーザは、自分の動画像を相手先ユーザに提供することにより、コミュニケーションの質を向上させることができる。

従来、ビデオ通話で用いる動画像を加工する技術が知られている。例えば、特許文献１は、ユーザの動画像を、相手先ユーザが所望するフォーマットで提供する技術を開示している。

特開２０１４−０７５７７９号公報

ユーザは、自分の動画像（例えば、顔の画像、及び、背景の画像）の提供に抵抗を感じる場合がある。例えば、女性ユーザは、自分の動画像を提供せずに、音声のみでビデオ通話に参加する傾向がある。

しかし、特許文献１では、相手先ユーザに提供される動画像は、相手先ユーザが任意に決める。つまり、ユーザは、相手先ユーザに提供される動画像を自身で決めることはできない。したがって、動画像の提供に対するユーザの抵抗感を取り除くことはできない。

本発明の目的は、ビデオ通話における動画像の利用を促すことである。

本発明の一態様は、
カメラによって取得された第１動画データの輝度を補正する手段を備え、
前記輝度が補正された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、前記顔を含まない第２動画像と、を認識する手段を備え、
前記認識された第２動画像を補正する手段を備え、
前記輝度が補正された第１動画データに含まれる第１動画像と、前記補正された第２動画像と、を含む第２動画データを生成する手段を備え、
ビデオ通話アプリケーションに前記第２動画データを提供する手段を備える、
情報処理装置である。

本発明によれば、ビデオ通話における動画像の利用を促すことができる。

本実施形態の情報処理システムの構成を示すブロック図。 図１のクライアント端末にインストールされたアプリケーションの機能を示す図。 本実施形態のメークアップパターンデータベースのデータ構造を示す図。 本実施形態の情報処理のフローチャート。 図４の第２動画データの生成の詳細なフローチャート。 本実施形態の情報処理において表示される画面例を示す図。 本実施形態の情報処理において表示される画面例を示す図。 本実施形態の情報処理において表示される画面例を示す図。 本実施形態の情報処理において表示される画面例を示す図。 本実施形態の情報処理において表示される画面例を示す図。 本実施形態の情報処理において表示される画面例を示す図。 本実施形態の情報処理において表示される画面例を示す図。 変形例３のメークアップパターンデータベースのデータ構造を示す図。 変形例３の情報処理において表示される画面例を示す図。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

図１に示すように、情報処理システム１は、クライアント端末１０と、サーバ３０とを備える。
クライアント端末１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

クライアント端末１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント端末１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。

サーバ３０は、リクエストに応じたレスポンスをクライアント端末１０に送信する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。

（１−１）クライアント端末の構成
図１を参照して、クライアント端末１０の構成について説明する。

図１に示すように、クライアント端末１０は、記憶装置１１と、ＣＰＵ（Central Processing Unit）１２と、入出力インタフェース１３と、通信インタフェース１４、カメラ１５と、マイク１６と、とを備える。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
プログラムは、例えば、ＯＳ（Operating System）のプログラム、又は、情報処理を実行するアプリケーションのプログラムである。図２に示すように、アプリケーションは、仮想カメラアプリケーション１２０と、ビデオ通話アプリケーション１２１と、を含む。
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータ
・画像処理ライブラリ（例えば、画像の特徴量に基づいて画像中の特定部位を認識するための画像認識アルゴリズム、画像の輝度を最適化するための輝度補正パラメータ、及び、画像に適用すべき画像処理フィルタ）
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

図１のＣＰＵ１２は、記憶装置１１に記憶されたプログラムを実行することによって、クライアント端末１０の機能を実現するように構成される。ＣＰＵ１２は、コンピュータの一例である。

入出力インタフェース１３は、クライアント端末１０に接続される入力デバイスからユーザの指示を受け付け、かつ、クライアント端末１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース１４は、クライアント端末１０とサーバ３０との間の通信を制御するように構成される。

カメラ１５は、動画データを取得するように構成される。カメラ１５は、クライアント端末１０のユーザの顔の少なくとも一部の動画像（以下「第１動画像」という）を撮像することにより、第１動画像を含む動画データ（以下「第１動画データ」という）を取得する。

マイク１６は、音声データを取得するように構成される。

（１−２）アプリケーションの機能
クライアント端末１０のアプリケーションの機能について説明する。図２は、図１のクライアント端末にインストールされたアプリケーションの機能を示す図である。

図２に示すように、ＣＰＵ１２は、仮想カメラアプリケーション１２０の機能と、ビデオ通話アプリケーション１２１の機能と、を実現するプロセッサである。

仮想カメラアプリケーション１２０は、第１動画データを補正することにより第２動画データを生成し、かつ、第２動画データをビデオ通話アプリケーション１２１に提供するように構成される。仮想カメラアプリケーション１２０の機能は、ビデオ通話アプリケーション１２１の機能とは独立した機能であっても良いし、ビデオ通話アプリケーション１２１の機能の一部であっても良い。

ビデオ通話アプリケーション１２１は、ビデオデータを、通信インタフェース１４経由でサーバ３０に送信するように構成される。ビデオデータは、第２動画データと、音声データと、を含む。

サーバ３０は、ビデオ通話シーケンスを制御するように構成される。ビデオ通話シーケンスでは、複数のクライアント端末１０の間でビデオデータが共有される。

（２）データベース
本実施形態のデータベースについて説明する。図３は、本実施形態のメークアップパターンデータベースのデータ構造を示す図である。

図３に示すように、メークアップパターンデータベースは、「パターンＩＤ」フィールドと、「パターン名」フィールドと、「補正パラメータ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「補正パラメータ」フィールドは、顔の部位毎の画像、及び、背景の画像を補正するための補正パラメータを含む。具体的には、「補正パラメータ」フィールドは、「唇」フィールドと、「瞼」フィールドと、「目」フィールドと、「睫毛」フィールドと、「頬」フィールドと、「背景」フィールドと、を含む。各フィールドには、補正パラメータＩＤ「ＣＰ１」〜「ＣＰ６」が関連付けられる。補正パラメータＩＤは、補正パラメータを識別する情報である。
メークアップパターンデータベースは、記憶装置１１に記憶される。

「パターンＩＤ」フィールドには、パターンＩＤが格納される。パターンＩＤは、メークアップパターンを識別する情報である。メークアップパターンは、ユーザの顔の各部位の画像を補正するための補正パラメータの組合せである。

「パターン名」フィールドには、メークアップパターンの名称を示す情報（例えば、テキスト）が格納される。

「補正パラメータ」フィールドには、補正パラメータが格納される。
具体的には、「唇」フィールドには、唇の画像（例えば、口紅の濃度、光沢感、ツヤのレベル、及び、パール感の少なくとも１つ）を補正するための補正パラメータが格納される。
「瞼」フィールドには、瞼の画像（例えば、アイシャドウの濃度、光沢感、ツヤのレベル、及び、パール感の少なくとも１つ）を補正するための補正パラメータが格納される。
「目」フィールドには、目の画像（例えば、目の形状）を補正するための補正パラメータが格納される。
「睫毛」フィールドには、睫毛の画像（例えば、マスカラの濃度）を補正するための補正パラメータが格納される。
「頬」フィールドには、頬の画像（例えば、チークの濃度）を補正するための補正パラメータが格納される。
各フィールドの数値が高いほど、第１動画像の各部位に施されるメークアップのレベル（例えば、濃度）が高くなる。

「背景」フィールドには、第２動画像を補正するための補正パラメータが格納される。第２動画像を補正するための補正パラメータは、例えば、以下の少なくとも１つを含む。
・第２動画像のブラーレベルを補正するための補正パラメータ（例えば、ブラーレベルが高いほど、第２動画像の視認性が低下する（つまり、ユーザにとって見えにくくなる））
・第２動画像の色を変更するための補正パラメータ（例えば、グレースケール又は透明化のレベルを示す値）
・第２動画像にモザイク処理を適用するための補正パラメータ（例えば、モザイク処理のレベルを示す値）
・第２動画像に別の画像を合成するための補正パラメータ（例えば、合成すべき画像の割合を示す値）

（３）情報処理のフロー
本実施形態の情報処理のフローについて説明する。図４は、本実施形態の情報処理のフローチャートである。図５は、図４の第２動画データの生成の詳細なフローチャートである。図６〜図１２は、本実施形態の情報処理において表示される画面例を示す図である。

図４及び図５の各ステップは、図２の仮想カメラアプリケーション１２０の機能である。

図４に示すように、クライアント端末１０は、第１動画データの取得（Ｓ１００）を実行する。
具体的には、ユーザが仮想カメラアプリケーション１２０の起動を指示すると、ＣＰＵ１２は、仮想カメラアプリケーション１２０のプログラムを実行し、画面Ｐ１００（図６）をディスプレイに表示する。

図６Ａに示すように、画面Ｐ１００は、領域Ａ１００と、ボタンＢ１００と、を含む。
領域Ａ１００には、フェイスラインＬ１００（図６Ａ）及び画像ＩＭＧ１００（図６Ｂ）が表示される。画像ＩＭＧ１００は、カメラ１５が取得する動画データに対応するプレビュー画像である。
ボタンＢ１００は、第１動画データの取得の指示を受け付けるためのオブジェクトである。ユーザが自身の顔の輪郭をフェイスラインＬ１００に合わせた後、ボタンＢ１００を指定すると、ＣＰＵ１２は、領域Ａ１００に表示された画像ＩＭＧ１００（図６Ｂ）に対応する第１動画データをカメラ１５から取得する。

図４に示すように、クライアント端末１０は、第１動画像及び第２動画像の認識（Ｓ１０１）を実行する。

具体的には、ＣＰＵ１２は、記憶装置１１に記憶された画像認識アルゴリズムを用いて、ステップＳ１００で取得した第１動画データの特徴量に基づいて、第１動画像と、第２動画像と、を認識する。第２動画像とは、第１動画データにおいて第１動画像以外の動画像である。つまり、第２動画像は、ユーザの顔を含まない動画像（例えば、ユーザの背景を含む動画像）である。
次に、ＣＰＵ１２は、第１動画データの特徴量に基づいて、第１動画像に含まれる顔の部位（例えば、唇、瞼、目、頬、鼻、髪型、輪郭、眉、及び、睫毛）を認識する。

ステップＳ１０１の後、クライアント端末１０は、第２動画データの生成（Ｓ１０２）を実行する。

図５に示すように、クライアント端末１０は、明るさ補正（Ｓ１０２０）を実行する。

具体的には、ＣＰＵ１２は、ステップＳ１０１で認識された第１動画像のうち、顔の一部（例えば、頬）に対応する画像の輝度を特定する。
次に、ＣＰＵ１２は、特定した輝度が所定範囲内に含まれるように、第１動画像及び第２動画像（つまり、第１動画データの全体の画像）の輝度を補正する。
次に、ＣＰＵ１２は、画面Ｐ１０１（図７）をディスプレイに表示する。

図７に示すように、画面Ｐ１０１は、領域Ａ１０１と、ボタンＢ１０１ａ及びＢ１０１ｂと、を含む。
ボタンＢ１０１ａは、第１動画像の輝度の変更の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０１ａを＋側又は−側に移動させると、ＣＰＵ１２は、第１動画像の輝度を、ボタンＢ１０１ａの位置に応じた値に変更する。ユーザは、ボタンＢ１０１ａを移動させることにより、第１動画データの全体の画像の明るさを調整することができる。
ボタンＢ１０１ｂは、第１動画像の輝度の確定の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０１ｂを指定すると、ステップＳ１０２０が終了する。
領域Ａ１０１には、画像ＩＭＧ１０１が表示される。画像ＩＭＧ１０１は、輝度が補正された後の第１動画像のプレビュー画像である。

ユーザがボタンＢ１０１ｂ（図７）を指定すると、図５に示すように、クライアント端末１０は、メークアップパターン補正（Ｓ１０２１）を実行する。

具体的には、ＣＰＵ１２は、画面Ｐ１０２（図８）をディスプレイに表示する。

図８に示すように、画面Ｐ１０２は、領域Ａ１０２と、ボタンＢ１０２ａ〜Ｂ１０２ｈと、を含む。
領域Ａ１０２には、画像ＩＭＧ１０２が表示される。
ボタンＢ１０２ａ〜Ｂ１０２ｅは、メークアップパターンの指示を受け付けるためのオブジェクトである。ボタンＢ１０２ａ〜Ｂ１０２ｅには、それぞれ、パターンＩＤ「ＭＰ００１」〜「ＭＰ００５」（図３）が割り当てられる。ユーザがボタンＢ１０２ａ〜Ｂ１０２ｅの何れかを指定すると、ＣＰＵ１２は、ユーザが指定したボタンに割り当てられたパターンＩＤによって識別されるメークアップパターン（つまり、ユーザが指定したボタンに対応する補正パラメータの組合せ）を選択する。次に、ＣＰＵ１２は、選択したメークアップパターンを用いて、第１動画像の各部位の画像を補正することにより、第２動画データを生成する。この場合の画像ＩＭＧ１０２は、メークアップ補正後の第１動画像のプレビュー画像である。
ボタンＢ１０２ｆは、補正パラメータの変更（Ｓ１０２３）の指示を受け付けるためのオブジェクトである。
ボタンＢ１０２ｇは、メークアップパターン補正の解除の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０２ｇを指定すると、ＣＰＵ１２は、メークアップパターン補正を解除する。この場合の画像ＩＭＧ１０２は、第１動画像のプレビュー画像ＩＭＧ１０１（図７）と同一である。
ボタンＢ１０２ｈは、ビデオ通話アプリケーション１２１の起動の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０２ｈを指定すると、ＣＰＵ１２は、ビデオ通話アプリケーション１２１のプログラムを実行する。

ユーザがボタンＢ１０２ｈ（図８）を指定すると（Ｓ１０２２−ＮＯ）、図５の処理は終了する。
ユーザがボタンＢ１０２ａ〜Ｂ１０２ｅ（図８）の何れかを指定し、かつ、ボタンＢ１０２ｆ（図８）を指定すると（Ｓ１０２２−ＹＥＳ）、図５に示すように、クライアント端末１０は、補正パラメータの変更（Ｓ１０２３）を実行する。

具体的には、ＣＰＵ１２は、画面Ｐ１０３（図８）をディスプレイに表示する。

図８に示すように、画面Ｐ１０３は、ボタンＢ１０３ａ〜Ｂ１０３ｃを含む。
ボタンＢ１０３ａは、メークアップパターンのカスタマイズ（Ｓ１０２３ａ）の指示を受け付けるためのオブジェクトである。
ボタンＢ１０３ｂは、フィルタ補正（Ｓ１０２３ｂ）の指示を受け付けるためのオブジェクトである。
ボタンＢ１０３ｃは、背景補正（Ｓ１０２３ｃ）の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０３ｃを指定すると、ＣＰＵ１２は、画面Ｐ１０６（図１１）をディスプレイに表示する。

ユーザがボタンＢ１０３ａ（図８）を指定すると、ＣＰＵ１２は、メークアップパターンのカスタマイズ（Ｓ１０２３ａ）を実行する。
具体的には、ＣＰＵ１２は、画面Ｐ１０４（図９）をディスプレイに表示する。

図９に示すように、画面Ｐ１０４は、領域Ａ１０４と、ボタンＢ１０４ａ〜Ｂ１０４ｇと、を含む。
領域Ａ１０４には、画像ＩＭＧ１０４が表示される。画像ＩＭＧ１０４は、変更後の補正パラメータに対応する第１動画像のプレビュー画像である。
ボタンＢ１０４ａ〜Ｂ１０４ｅは、変更対象の補正パラメータの指示を受け付けるためのオブジェクトである。ボタンＢ１０４ａ〜Ｂ１０４ｅには、それぞれ、図３の補正パラメータＩＤ「ＣＰ１」〜「ＣＰ５」が割り当てられる。ユーザがボタンＢ１０４ａ〜Ｂ１０４ｅの何れかを指定すると、ＣＰＵ１２は、変更対象の補正パラメータを特定する。変更対象の補正パラメータは、ユーザが指定したボタンに割り当てられた補正パラメータＩＤよって識別される補正パラメータである。
ボタンＢ１０４ｆは、変更後の補正パラメータの値の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０４ｆを＋側又は−側に移動させると、ＣＰＵ１２は、変更対象の補正パラメータを、ボタンＢ１０４ｆの位置に応じた値に変更する。ユーザは、ボタンＢ１０４ｆを移動させることにより、変更対象の補正パラメータを調整することができる。
ボタンＢ１０４ｇは、変更後の補正パラメータの保存の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０４ｇを指定すると、ＣＰＵ１２は、変更後の補正パラメータを記憶装置１１に記憶する。

一例として、ユーザが、ボタンＢ１０２ａ及びＢ１０３ａ（図８）を指定し、かつ、ボタンＢ１０４ａ、Ｂ１０４ｆ、及び、Ｂ１０４ｇ（図９）を指定すると、ＣＰＵ１２は、図３のパターンＩＤ「ＭＰ００５」に関連付けられた各フィールドに、パターンＩＤ「ＭＰ００１」に関連付けられた各フィールドの値をコピーする。
次に、ＣＰＵ１２は、ボタンＢ１０４ｆの位置に応じた値を用いて、パターンＩＤ「ＭＰ００５」に関連付けられた「唇」フィールドを更新する。

ユーザがボタンＢ１０３ｂ（図８）を指定すると、図５に示すように、クライアント端末１０は、フィルタ補正（Ｓ１０２３ｂ）を実行する。
具体的には、ＣＰＵ１２は、画面Ｐ１０５（図１０）をディスプレイに表示する。

図１０に示すように、画面Ｐ１０５は、領域Ａ１０５と、ボタンＢ１０５ａ〜Ｂ１０５ｅと、を含む。
領域Ａ１０５には、画像ＩＭＧ１０５が表示される。画像ＩＭＧ１０５は、フィルタ補正後の第１動画像のプレビュー画像である。
ボタンＢ１０５ａは、フィルタ補正の解除の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０５ａを指定すると、ＣＰＵ１２は、フィルタ補正を実行しない。この場合の画像ＩＭＧ１０５は、画像ＩＭＧ１０２（図８）と同一である。
ボタンＢ１０５ｂ〜Ｂ１０５ｄは、画像処理フィルタの指示を受け付けるためのオブジェクトである。ボタンＢ１０５ｂ〜Ｂ１０５ｄには、それぞれ、画像処理フィルタ「ＦＩＬＥＴＲ１」〜「ＦＩＬＴＥＲ３」が割り当てられる。
画像処理フィルタ「ＦＩＬＥＴＲ１」は、顔の少なくとも一部（例えば、頬）に対応する画像のコントラストが所定範囲内に含まれるように、第１動画像の輝度、コントラスト、彩度、及び、色調を補正するための補正パラメータを含む。
画像処理フィルタ「ＦＩＬＥＴＲ２」は、顔の少なくとも一部（例えば、頬）に対応する画像の彩度が所定範囲内に含まれるように、第１動画像の輝度、コントラスト、彩度、及び、色調を補正するための補正パラメータを含む。
画像処理フィルタ「ＦＩＬＥＴＲ３」は、顔の少なくとも一部（例えば、頬）に対応する画像の色調が所定範囲内に含まれるように、第１動画像の輝度、コントラスト、彩度、及び、色調を補正するための補正パラメータを含む。
ユーザがボタンＢ１０５ｂ〜Ｂ１０５ｄの何れかを指定すると、ＣＰＵ１２は、ユーザが指定したボタンに割り当てられた画像処理フィルタを第１動画像に適用する。この場合、画像ＩＭＧ１０５は、画像処理フィルタが適用された後の第１動画像のプレビュー画像である。
ボタンＢ１０５ｅは、フィルタ補正の確定の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０５ｅを指定すると、ＣＰＵ１２は、フィルタ補正後の補正パラメータを、パターンＩＤ「ＭＰ００５」（図３）に関連付けられた各フィールドに格納する。これにより、フィルタ補正後のメークアップパターンが保存される。

一例として、ユーザが、ボタンＢ１０２ａ及びＢ１０３ｂ（図８）を指定し、かつ、ボタンＢ１０５ｂ及びＢ１０５ｅ（図１０）を指定すると、ＣＰＵ１２は、ボタンＢ１０５ｂに割り当てられた画像処理フィルタを用いて、パターンＩＤ「ＭＰ００５」に関連付けられた各フィールドの値を変更する。

図５に示すように、ユーザがボタンＢ１０３ｃ（図８）を指定すると、クライアント端末１０は、背景補正（Ｓ１０２３ｃ）を実行する。
具体的には、ＣＰＵ１２は、画面Ｐ１０６（図１１）をディスプレイに表示する。

図１１に示すように、画面Ｐ１０６は、領域Ａ１０６と、ボタンＢ１０６ａ及びＢ１０６ｂと、を含む。
ボタンＢ１０６ａは、第２動画像のブラーレベルの変更の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０６ａを＋側又は−側に移動させると、ＣＰＵ１２は、第２動画像のブラーレベルを、ボタンＢ１０６ａの位置に応じた値に変更する。ユーザは、ボタンＢ１０６ａを移動させることにより、背景をぼかすことができる。
領域Ａ１０６には、画像ＩＭＧ１０６ａ及びＩＭＧ１０６ｂが表示される。
画像ＩＭＧ１０６ａは、第１動画像のプレビュー画像である。画像ＩＭＧ１０６ａは、ボタンＢ１０６ａが移動しても変化しない。
画像ＩＭＧ１０６ｂは、第２動画像のプレビュー画像である。画像ＩＭＧ１０６ｂは、ボタンＢ１０６ａの位置に応じてブラーレベルが変化する。
ボタンＢ１０６ｂは、ブラーレベルの確定の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１０６ｂを指定すると、ＣＰＵ１２は、ブラーレベルと、パターンＩＤ「ＭＰ００５」と、を関連付けて記憶装置１１に記憶する。

一例として、ユーザが、ボタンＢ１０２ａ及びＢ１０３ｃ（図８）を指定し、かつ、ボタンＢ１０６ａ及びＢ１０６ｂ（図１１）を指定すると、ＣＰＵ１２は、ボタンＢ１０６ａの位置に応じた値を用いて、図３のパターンＩＤ「ＭＰ００５」に関連付けられた「背景」フィールドを更新する。

ユーザがボタンＢ１０２ｈ（図８）を指定すると（Ｓ１０２２−ＮＯ）、クライアント端末１０は、図４の第２動画データの提供（Ｓ１０３）を実行する。

具体的には、ＣＰＵ１２は、ビデオ通話アプリケーション１２１のプログラムを実行し、画面Ｐ１１０（図１２）をディスプレイに表示する。

図１２に示すように、画面Ｐ１１０は、領域Ａ１１０ａ及びＡ１１０ｂと、ボタンＢ１１０と、を含む。
領域Ａ１１０ａには、画像ＩＭＧ１１０ａ及びＩＭＧ１１０ｂが表示される。
画像ＩＭＧ１１０ａは、ステップＳ１０２（図４）で得られる第１動画像である。
画像ＩＭＧ１１０ｂは、ステップＳ１０２で得られる第２動画像である。
領域Ａ１１０ｂには、ビデオ通話アプリケーション１２１に予め登録された相手先ユーザのユーザ名が表示される。例えば、ユーザが相手先ユーザ「ＵＳＥＲ１」及びボタンＢ１１０を指定すると、ＣＰＵ１２は、通信インタフェース１４を介して、ビデオ通話リクエストをサーバ３０に送信する。
ボタンＢ１１０は、ビデオ通話シーケンスの開始のリクエスト（以下「ビデオ通話リクエスト」という）の指示を受け付けるためのオブジェクトである。ユーザがボタンＢ１１０を指定すると、ＣＰＵ１２は、ビデオ通話リクエストをサーバ３０に送信する。

相手先ユーザがビデオ通話リクエストに応答すると、サーバ３０は、ビデオ通話シーケンスを開始する。ビデオ通話シーケンスでは、ユーザのクライアント端末１０と、相手先ユーザのクライアント端末との間で、ビデオデータが送受信される。クライアント端末１０が送信するビデオデータは、領域Ａ１１０ａに表示されたプレビュー画像に対応する第２動画データを含む。

ビデオ通話シーケンスが開始してからビデオ通話シーケンスが終了する迄の間、仮想カメラアプリケーション１２０は、図３の処理を実行することにより、第２動画データをビデオ通話アプリケーション１２１に提供し続ける。

一例として、ユーザが、ビデオ通話中にボタンＢ１０１ａ（図７）を移動させると、ビデオ通話中に、第２動画データの全体の画像の明るさを変更することができる。
ユーザが、ビデオ通話中にボタンＢ１０１ａ〜Ｂ１０２ｅ（図８）の何れかを指定すると、ビデオ通話中にメークアップパターンを変更することができる。

なお、ステップＳ１０２０〜Ｓ１０２３は順不同である。
ステップＳ１０２０を実行する場合、ステップＳ１０２１は省略可能である。
ステップＳ１０２１を実行する場合、ステップＳ１０２０は省略可能である。
ステップＳ１０２３ａ〜Ｓ１０２３ｃの少なくとも１つは省略可能である。

（４）変形例
本実施形態の変形例について説明する。

（４−１）変形例１
変形例１について説明する。

変形例１のクライアント端末１０は、背景補正（Ｓ１０２３ｃ）において、ユーザの指示の有無に関わらず、所定条件を満たす場合に第２動画像を補正する。

一例として、ＣＰＵ１２は、第１動画像に対する第２動画像の割合が所定値以上である（つまり、背景が所定の大きさより多く映る）場合、当該割合に応じて第２動画像を補正する。
別の例として、ＣＰＵ１２は、第１動画像の認識率が所定値以下である場合、当該認識率に応じて第２動画像を補正する。

変形例１によれば、コミュニケーションの質を向上させるのに十分な顔の動画像を相手先ユーザに提供できない場合、背景の動画像をぼかすことができる。これにより、背景の動画像だけが相手先ユーザに提供されることを回避することができる。

（４−２）変形例２
変形例２について説明する。

変形例２のクライアント端末１０は、メークアップパターン補正（Ｓ１０２１）において、ユーザが指定したメークアップパターンではなく、ユーザに関する情報（以下「ユーザ情報」という）に応じたメークアップパターンを選択しても良い。

一例として、記憶装置１１には、ユーザ情報が記憶される。ユーザ情報は、例えば、以下の情報の少なくとも１つである。
・ユーザのプロフィール（例えば、ユーザ名、ユーザの性別、及び、ユーザの職業）に関する情報
・ユーザのビデオ通話履歴（例えば、ビデオ通話の日時、ビデオ通話の相手先ユーザのプロフィール、ビデオ通話の目的（一例として、会議、外国語のレッスン））に関する情報
・ユーザの行動ログ（例えば、ユーザが使用している化粧品又は洋服、ユーザが購入した化粧品又は洋服の購入履歴に関する情報）
・ユーザの心理状態（例えば、ストレスレベル）に関する情報
・ステップＳ１０１で認識された顔の部位（例えば、輪郭）の特徴量を示す情報

パターンＩＤには、ユーザ情報が関連付けられる。

ＣＰＵ１２は、メークアップパターン補正（Ｓ１０２１）において、ユーザ情報に関連付けられたパターンＩＤにより識別されるメークアップパターンを選択する。

変形例２によれば、ユーザに対して、当該ユーザにとって最適なメークアップパターンを提案することができる。

（４−３）変形例３
変形例３について説明する。

変形例３のクライアント端末１０は、図５のメークアップパターンのカスタマイズ（Ｓ１０２３ａ）において、記憶装置１１に記憶されたメークアップパターンデータベースを更新するのではなく、変更後の補正パラメータを含むメークアップパターンを、サーバ３０の記憶装置に記憶する。

図１３は、変形例３のメークアップパターンデータベースのデータ構造を示す図である。図１４は、変形例３の情報処理において表示される画面例を示す図である。

図１３に示すように、メークアップパターンデータベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「補正パラメータ」フィールドと、を含む。各フィールドは、互いに関連付けられている。「補正パラメータ」フィールドは、図３と同様である。

「ユーザＩＤ」フィールドには、ユーザＩＤが格納される。ユーザＩＤは、ユーザを識別する除法である。

「ユーザ名」フィールドには、ユーザの名前を示す情報（例えば、テキスト）が格納される。

ユーザ（ユーザ名「ＵＳＥＲ１」）が使用するクライアント端末１０ａのＣＰＵ１２ａは、メークアップパターンのカスタマイズ（Ｓ１０２３ａ）において、変更後の補正パラメータを含むメークアップパターンと、ユーザＩＤ「Ｕ００１」と、ユーザ名「ＵＳＥＲ１」と、をサーバ３０に送信する。
サーバ３０は、クライアント端末１０ａから送信されたメークアップパターンと、ユーザＩＤと、ユーザ名と、を関連付けて記憶する。

ステップＳ１０２１（図５）において、ユーザ（ユーザ名「ＵＳＥＲ２」）が使用するクライアント端末１０ｂのＣＰＵ１２ｂは、画面Ｐ２００（図１４）をディスプレイに表示する。

図１４に示すように、画面Ｐ２００は、領域Ａ２００ａ及びＡ２００ｂと、ボタンＢ２００ａ〜Ｂ２００ｃと、を含む。
領域Ａ２００ａには、メークアップパターンをサーバ３０に保存したユーザのユーザ名が表示される。
領域Ａ２００ｂには、メークアップパターンを適用した場合のユーザ（ユーザ名「ＵＳＥＲ２」）の第１画像のプレビュー画像が表示される。
ボタンＢ２００ａ及びＢ２００ｂは、ユーザの指示を受け付けるためのオブジェクトである。ボタンＢ２００ａ及びＢ２００ｂには、メークアップパターンをサーバ３０に保存したユーザを識別するユーザＩＤ「Ｕ００１」及び「Ｕ００３」が割り当てられる。ユーザ（ユーザ名「ＵＳＥＲ２」）がボタンＢ２００ａ及びＢ２００ｂを指定すると、ＣＰＵ１２ｂは、ユーザ（ユーザ名「ＵＳＥＲ２」）が指定したボタンに割り当てられたユーザＩＤに関連付けられたメークアップパターンを選択する。

一例として、ユーザ名（「ＵＳＥＲ２」）が、ボタンＢ２００ａ及びＢ２００ｃ（図１４）を指定すると、ＣＰＵ１２ｂは、図１３のユーザＩＤ「Ｕ００１」に関連付けられたメークアップパターンを用いて、第１動画像の各部位の画像を補正することにより、第２動画データを生成する。

変形例３によれば、ユーザは、他のユーザがカスタマイズしたメークアップパターンを使用することができる。

（４−４）変形例４
変形例４について説明する。

変形例４のメークアップパターンは、図３の補正パラメータに加えて、以下の部位の少なくとも１つを補正するための補正パラメータを含む。
・髪型
・顔の輪郭
・眉の形状
・睫毛の形状
・鼻の形状、
・唇の形状
・ファンデーションの濃度

（４−５）変形例５
変形例５について説明する。

変形例５のクライアント端末１０は、ステップＳ１０１において第１動画像の認識に失敗した場合、第１動画データに含まれる第１動画像（つまり、メークアップを施していない顔の画像）が相手先ユーザに提供されることを回避する。認識に失敗した場合とは、例えば、第１動画像の認識率が所定の閾値以下の場合である。

一例として、ＣＰＵ１２は、ステップＳ１０１において第１動画像の認識に失敗した場合、ステップＳ１０２及びＳ１０３の処理を実行しない。
これにより、第１動画像の認識に失敗した場合、相手先ユーザのクライアント端末１０には、第２動画データは提供されない。この場合、相手先ユーザのクライアント端末１０のディスプレイは、ブラックアウトする。

別の例として、ＣＰＵ１２は、ステップＳ１０１において第１動画像の認識に失敗した場合、ステップＳ１０２の処理を実行せず、かつ、ステップＳ１０３において、第１動画像の認識に成功したときに生成された第２動画データを提供する。
これにより、第１動画像の認識に失敗した場合、相手先ユーザのクライアント端末１０のディスプレイには、第１動画像の認識に成功したときの顔の画像が静止画のように表示される。

別の例として、ＣＰＵ１２は、ステップＳ１０１において第１動画像の認識に失敗した場合、ステップＳ１０２において、第１動画像及び第２動画像（つまり、第１動画データの全体の画像）について、以下の少なくとも１つの補正パラメータを、第１動画データの全体の画像の視認性が低下するように変更する。
・ブラーレベルを補正するための補正パラメータ
・色を変更するための補正パラメータ（例えば、グレースケールへの変換、又は、透明化のレベルを示す値）
・モザイク処理を適用するための補正パラメータ（例えば、モザイク処理のレベルを示す値）
・別の画像を合成するための補正パラメータ（例えば、合成すべき画像の割合を示す値）
これにより、第１動画像の認識に失敗した場合、相手先ユーザのクライアント端末１０のディスプレイには、少なくとも第１動画像の視認性が低い画像（例えば、ブラーレベルを補正するための補正パラメータを変更した場合、第１動画データの全体がぼやけた画像）が表示される。

変形例５によれば、ステップＳ１０１において第１動画像の認識に失敗した場合、メークアップを施していない顔の画像が相手先ユーザに提供されることを回避することができる。

（４−６）変形例６
変形例６について説明する。変形例６は、ステップＳ１０２０において、ステップＳ１０１で認識された第１動画像の少なくとも一部の輝度を補正する例である。

一例として、ＣＰＵ１２は、ステップＳ１０１で認識された第１動画像のうち、顔の一部（例えば、頬）に対応する画像の輝度を特定する。
次に、ＣＰＵ１２は、特定した輝度が所定範囲内に含まれるように、第１動画像の全体の輝度、又は、特定した輝度を補正する。

（４−７）変形例７
変形例７について説明する。変形例７は、仮想カメラアプリケーション１２０が、カメラ１５の設定値を変更する例である。

一例として、変形例７のＣＰＵ１２は、図５のステップＳ１０２０において、顔の一部（例えば、頬）に対応する画素の輝度を特定した後、特定した輝度が所定範囲内に含まれるように、カメラ１５の設定値を変更する。

別の例として、ステップＳ１０２３ｂにおいて、ユーザが、ボタンＢ１０５ｂ（図１０）を指定すると、ＣＰＵ１２は、ボタンＢ１０５ｂに割り当てられた画像処理フィルタ「ＦＩＬＴＥＲ１」に含まれる補正パラメータに基づいて、カメラ１５の設定値を変更する。

変形例７によれば、カメラ１５が、輝度、コントラスト、彩度、及び、色調の少なくとも１つが補正された第１動画データを取得する。ＣＰＵ１２は、第１動画データについて、輝度、コントラスト、彩度、及び、色調の少なくとも１つを補正する必要はない。これにより、ＣＰＵ１２の処理量を低減することができる。

（５）小括
本実施形態を小括する。

本実施形態の第１態様は、
カメラ（１５）によって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、顔を含まない第２動画像と、を認識する手段（Ｓ１０１）を備え、
第１動画データの輝度を補正する手段（Ｓ１０２０）を備え、
認識された第２動画像を補正する手段（Ｓ１０２３ｃ）を備え、
輝度が補正された第１動画データに含まれる第１動画像と、補正された第２動画像と、を含む第２動画データを生成する手段（Ｓ１０２）を備え、
ビデオ通話アプリケーション（１２１）に第２動画データを提供する手段（Ｓ１０３）を備える、
情報処理装置（例えば、クライアント端末１０）である。

本実施形態の第２態様は、
カメラ（１５）によって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、顔を含まない第２動画像と、を認識する手段（Ｓ１０１）を備え、
認識された第１動画像の輝度を補正する手段（Ｓ１０２０）を備え、
認識された第２動画像を補正する手段（Ｓ１０２３ｃ）を備え、
補正された第１動画像と、補正された第２動画像と、を含む第２動画データを生成する手段（Ｓ１０２）を備え、
ビデオ通話アプリケーションに第２動画データを提供する手段（Ｓ１０３）を備える、
情報処理装置（例えば、クライアント端末１０）である。

これらの態様によれば、ユーザは、ビデオ通話で用いる自分の顔を含む動画像を容易に加工することができる。これにより、ビデオ通話における動画像の利用を促すことができる。

別の態様では、輝度を補正する手段（Ｓ１０２０）は、認識された第１動画像の輝度が所定範囲に含まれるように、輝度を補正しても良い。

この態様によれば、ユーザは、ビデオ通話で用いる自分の顔の画像の印象を容易に変更することができる。

別の態様では、第２動画像を補正する手段（Ｓ１０２３ｃ）は、ユーザの指示を受け付けた場合、第１動画データにおける第２動画像の割合が所定の閾値以上の場合、及び、第１動画像の認識に失敗した場合の少なくとも１つの場合に、第２動画像を補正しても良い。

別の態様では、第２動画像を補正する手段（Ｓ１０２３ｃ）は、第２動画像の視認性が低下するように、第２動画像を補正しても良い。

これらの態様によれば、ユーザは、背景（例えば、部屋に配置されている家具）の画像が相手先ユーザに見られてしまうことを自動的に回避することができる。

別の態様によれば、複数のメークアップパターンの何れかを選択する手段（Ｓ１０２１）を備え、
選択されたメークアップパターンを用いて第１動画像を補正する手段（Ｓ１０２１）を備え、
第２動画データを生成する手段（Ｓ１０２）は、補正された第１動画像と、補正された第２動画像と、を含む第２動画データを生成しても良い。

別の態様では、選択する手段（Ｓ１０２１）は、ユーザが指定したメークアップパターン、又は、ユーザに関するユーザ情報（例えば、プロフィール）に応じたメークアップパターンを選択しても良い。

これらの態様によれば、ユーザは、ビデオ通話で用いる自分の顔の画像に所望のメークアップを施すことができる。

本実施形態の第３態様は、
カメラ（１５）によって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、顔を含まない第２動画像と、を認識する手段（Ｓ１０１）を備え、
複数のメークアップパターンの何れかを選択する手段（Ｓ１０２１）を備え、
選択されたメークアップパターンを用いて認識された第１動画像を補正する手段（Ｓ１０２１）を備え、
補正された第１動画像と、認識された第２動画像と、を含む第２動画データを生成する手段（Ｓ１０２）を備え、
ビデオ通話アプリケーションに第２動画データを提供する手段（Ｓ１０３）を備える、
情報処理装置である。

この態様によれば、ユーザは、ビデオ通話で用いる自分の顔を含む動画像を容易に加工することができる。これにより、ビデオ通話における動画像の利用を促すことができる。

別の態様では、ユーザの指示に応じて、各補正する手段の補正パラメータを変更する手段（Ｓ１０２３）を備えても良い。

この態様によれば、ユーザは、所望のメークアップが施された動画像を得ることができる。

別の態様では、変更された補正パラメータを、ユーザを識別するユーザＩＤと関連付けて記憶装置（３０）に記憶する手段（Ｓ１０２３）を更に備えても良い。

この態様によれば、ユーザは、他のユーザがカスタマイズしたメークアップパターンを使用することができる。

別の態様では、第２動画データを提供する手段（Ｓ１０３）は、第１動画像の認識に失敗した場合、第２動画データの提供を停止する、又は、第１動画像の認識に成功したときに生成された第２動画データを提供しても良い。

この態様によれば、顔の画像の認識に失敗した場合、メークアップを施していない顔の画像が相手先ユーザに提供されることを回避することができる。

（６）その他の変形例

記憶装置１１は、ネットワークＮＷを介して、クライアント端末１０と接続されてもよい。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：情報処理システム
１０ ：クライアント端末
１１ ：記憶装置
１２ ：ＣＰＵ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：カメラ
１６ ：マイク
３０ ：サーバ
１２０ ：仮想カメラアプリケーション
１２１ ：ビデオ通話アプリケーション

Claims (12)

1. カメラによって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、前記顔を含まない第２動画像と、を認識する手段を備え、
   前記第１動画データの輝度を補正する手段を備え、
   前記第１動画データにおける前記第２動画像の割合が所定の閾値以上の場合、又は、前記第１動画像の認識に失敗した場合の少なくとも１つの場合に、前記認識された第２動画像を補正する手段を備え、
   前記輝度が補正された第１動画データに含まれる第１動画像と、前記補正された第２動画像と、を含む第２動画データを生成する手段を備え、
   ビデオ通話アプリケーションに前記第２動画データを提供する手段を備える、
   情報処理装置。
2. カメラによって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、前記顔を含まない第２動画像と、を認識する手段を備え、
   前記認識された第１動画像の輝度を補正する手段を備え、
   前記第１動画データにおける前記第２動画像の割合が所定の閾値以上の場合、又は、前記第１動画像の認識に失敗した場合の少なくとも１つの場合に、前記認識された第２動画像を補正する手段を備え、
   前記補正された第１動画像と、前記補正された第２動画像と、を含む第２動画データを生成する手段を備え、
   ビデオ通話アプリケーションに前記第２動画データを提供する手段を備える、
   情報処理装置。
3. 前記輝度を補正する手段は、前記認識された第１動画像の輝度が所定範囲に含まれるように、前記輝度を補正する、請求項１又は２に記載の情報処理装置。
4. 前記第２動画像を補正する手段は、前記第２動画像の視認性が低下するように、前記第２動画像を補正する、請求項１〜請求項３の何れかに記載の情報処理装置。
5. 複数のメークアップパターンの何れかを選択する手段を備え、
   前記選択されたメークアップパターンを用いて前記第１動画像を補正する手段を備え、
   前記第２動画データを生成する手段は、前記補正された第１動画像と、前記補正された第２動画像と、を含む第２動画データを生成する、請求項１〜請求項４の何れかに記載の情報処理装置。
6. 前記選択する手段は、前記ユーザが指定したメークアップパターン、又は、前記ユーザに関するユーザ情報に応じたメークアップパターンを選択する、請求項５に記載の情報処理装置。
7. 前記ユーザによる補正パラメータを変更するための指示に応じて、各補正する手段の補正パラメータを変更する手段を備える、請求項１〜請求項６の何れかに記載の情報処理装置。
8. 前記変更された補正パラメータを、前記ユーザを識別するユーザＩＤと関連付けて記憶装置に記憶する手段を備える、請求項７に記載の情報処理装置。
9. 前記第２動画データを提供する手段は、前記第１動画像の認識に失敗した場合、前記第２動画データの提供を停止する、又は、前記第１動画像の認識に成功したときに生成された第２動画データを提供する、請求項１〜請求項８の何れかに記載の情報処理装置。
10. コンピュータを、請求項１〜請求項９の何れかに記載の各手段として機能させるためのプログラム。
11. カメラによって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、前記顔を含まない第２動画像と、を認識するステップを備え、
    前記第１動画データの輝度を補正するステップを備え、
    前記第１動画データにおける前記第２動画像の割合が所定の閾値以上の場合、又は、前記第１動画像の認識に失敗した場合の少なくとも１つの場合に、前記認識された第２動画像を補正するステップを備え、
    前記輝度が補正された第１動画データに含まれる第１動画像と、前記補正された第２動画像と、を含む第２動画データを生成するステップを備え、
    ビデオ通話アプリケーションに前記第２動画データを提供するステップを備える、
    情報処理方法。
12. カメラによって取得された第１動画データにおいて、ユーザの顔の少なくとも一部を含む第１動画像と、前記顔を含まない第２動画像と、を認識するステップを備え、
    前記認識された第１動画像の輝度を補正するステップを備え、
    前記第１動画データにおける前記第２動画像の割合が所定の閾値以上の場合、又は、前記第１動画像の認識に失敗した場合の少なくとも１つの場合に、前記認識された第２動画像を補正するステップを備え、
    前記補正された第１動画像と、前記補正された第２動画像と、を含む第２動画データを生成するステップを備え、
    ビデオ通話アプリケーションに前記第２動画データを提供するステップを備える、
    情報処理方法。

Images