JP6946684B2 - 電子情報ボードシステム、画像処理装置、及びプログラム - Google Patents

Description

本発明は、電子情報ボードシステム、画像処理装置、及びプログラムに関する。

従来、企業、教育機関、行政機関等において、ディスプレイ（ボード）上での入力操作（インタラクティブ操作）により、ユーザが文字等を入力できる電子情報ボードシステムが知られている（例えば、特許文献１を参照）。電子情報ボードシステムは、インタラクティブ・ホワイトボード（ＩＷＢ、Interactive Whiteboard）、または電子黒板等とも称されている。

近年、電子情報ボードシステムにおいて、ボードの上部等にカメラを設け、当該カメラにより撮影された画像を、他の電子情報ボードシステムとの間で相互に送受信することにより、遠隔地とのテレビ会議を行える技術の普及が進んでいる。

しかしながら、従来技術では、例えば、電子情報ボードシステムから見て比較的広い視野角に会議の参加者が位置する場合等において、テレビ会議の相手先にとって、会議の参加者の様子が分かりにくいという問題がある。

そこで、会議の参加者の様子を、より分かり易く伝えることができる技術を提供することを目的とする。

画像処理装置は、第１の画像と、前記第１の画像とは異なる視点から撮影された第２の
画像とを取得する取得部と、前記第１の画像と前記第２の画像とから各ユーザの顔の領域
を検出する検出部と、前記検出部により検出された各ユーザの顔の領域の間を区切りの位
置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせる合成部と
、を有し、前記合成部は、前記第１の画像及び前記第２の画像に含まれる各ユーザの顔の領域が重ならないように前記第１の画像と前記第２の画像とを繋ぎ合わせる。

開示の技術によれば、会議の参加者の様子を、より分かり易く伝えることができる。

実施形態に係る情報処理システムのシステム構成の一例を示す図である。 第１の実施形態に係るＩＷＢのハードウェア構成の一例を示す図である。 第１の実施形態に係るＩＷＢの画像処理装置の機能ブロックの一例を示す図である。 実施形態に係る情報処理システムの処理の一例を示すシーケンス図である。 第１の実施形態に係る画像の合成処理について説明する図である。 画像を合成する処理の一例を示すフローチャートである。 射影変換処理について説明する図である。 各画像の継ぎ目を決定する処理について説明する図である。 各画像を横に並べて合成した画像の例を説明する図である。 射影変換及び高さ調整をしない場合の、各画像を横に並べて合成した画像の例を説明する図である。 第２の実施形態に係る画像の合成処理について説明する図である。 第３の実施形態に係る画像の合成処理について説明する図である。 第４の実施形態に係るＩＷＢのハードウェア構成の一例を示す図である。 第４の実施形態に係るＩＷＢの機能ブロックの一例を示す図である。 第４の実施形態に係る発話者をズーム表示する処理の一例を示すフローチャート図である。 発話者の方向を推定する処理について説明する図である。 発話者をズーム表示する画面の例を示す図である。 第５の実施形態に係るＩＷＢのハードウェア構成の一例を示す図である。 第５の実施形態に係る画像を切り替える処理の一例を示すフローチャート図である。 送信する画像を切り替える処理について説明する図である。 ３つのカメラの画像を合成する例を説明する図である。 検出された顔の領域に、所定の画像等を合成する例について説明する図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜システム構成＞
まず、本実施形態に係る通信システム１のシステム構成について、図１を用いて説明する。図１は、実施形態に係る通信システム１のシステム構成の一例を示す図である。

図１に示すように、本実施形態に係る通信システム１は、複数のインタラクティブ・ホワイトボード（ＩＷＢ）１０−１、１０−２、・・・（以下で、それぞれを区別する必要がない場合は、単に「ＩＷＢ１０」と称する。）を有する。各ＩＷＢ１０の間は、インターネット、ＬＡＮ（Local Area Network）、無線ＬＡＮ等のネットワークを介して互いに通信可能に接続されている。

ＩＷＢ１０は、カメラ１０１Ａ、カメラ１０１Ｂ、パネル部２０、スタンド３０、及び画像処理装置４０を有する。

カメラ１０１Ａ、カメラ１０１Ｂは、パネル部２０の左右にそれぞれ設置される。なお、カメラ１０１Ａ、カメラ１０１Ｂは、いずれの高さで設置されてもよい。また、カメラ１０１Ａ、カメラ１０１Ｂは、ＩＷＢ１０の正面に設置された机におけるユーザが着席する位置のうち、ＩＷＢ１０から最も遠い位置のユーザを撮影可能な向きで設置される。カメラ１０１Ａ、カメラ１０１Ｂは、当該最も遠い位置のユーザのみが重複して撮影されるような向きで設置されてもよい。

パネル部２０は、液晶方式、有機ＥＬ方式、またはプラズマ方式等のフラットパネルディスプレイであり、パネル部２０の筐体前面には、画像を表示するタッチパネル１０２が設置されている。

スタンド３０は、パネル部２０や画像処理装置４０を支持する。なお、ＩＷＢ１０は、スタンド３０を有しない構成としてもよい。

画像処理装置４０は、パネル部２０により検知された座標位置に書き込まれた文字や図形等を、パネル部２０に表示する。また、画像処理装置４０は、カメラ１０１Ａ、カメラ１０１Ｂで撮影された画像を合成し、他のＩＷＢ１０に送信する。また、画像処理装置４０は、他のＩＷＢ１０から受信した画像を、パネル部２０に表示する。

ＩＷＢ１０−１は、他のＩＷＢ１０−２、・・・と、カメラ１０１Ａ、カメラ１０１Ｂの画像（動画）、音声、パネル部２０上の描画等を送受信し、テレビ会議を行う。

なお、ＩＷＢ１０は、公知の画像表示システムであるプロジェクタと比較すると、明るい部屋でも画質と視認性が落ちないこと、ペン入力等のインタラクティブ機能が容易であること、プロジェクタのように人が表示画面の前に立っても影にならないこと等の利点を有する。

［第１の実施形態］
＜ハードウェア構成＞
次に、第１の実施形態に係るＩＷＢ１０のハードウェア構成について、図２を用いて説明する。図２は、第１の実施形態に係るＩＷＢ１０のハードウェア構成の一例を示す図である。

ＩＷＢ１０は、カメラ１０１Ａ、カメラ１０１Ｂ、タッチパネル１０２、マイク１０３、スピーカ１０４等を有する。

また、ＩＷＢ１０の画像処理装置４０は、ＣＰＵ１０５、記憶装置１０６、メモリ１０７、外部Ｉ／Ｆ１０８、及び入力装置１０９等を有する。

カメラ１０１Ａ、カメラ１０１Ｂは、画像（動画）を撮影し、ＣＰＵ１０５に送信する。カメラ１０１Ａ、カメラ１０１Ｂは、例えば、タッチパネル１０２の左右にそれぞれ設置されており、それぞれのカメラは互いに光軸が異なるような位置関係で配置されている（視点が異なる向きで配置されている）。

タッチパネル１０２は、ホバリング検知機能を有するディスプレイ一体型の静電容量方式タッチパネル等であり、ユーザが指もしくはペンでタッチパネルに触れた座標をＣＰＵ１０５に送信する。また、タッチパネル１０２は、ＣＰＵ１０５から受信した、他の場所の会議の画像（動画）データを表示する。

マイク１０３は、会議参加者の音声を取得し、ＣＰＵ１０５に送信する。

スピーカ１０４は、ＣＰＵ１０５から受信した、他の場所の会議の音声データを出力する。

ＣＰＵ１０５は、ＩＷＢ１０全体の機器制御を行う。また、ＣＰＵ１０５は、ビデオ会議の制御を行う。具体的には、ＣＰＵ１０５は、カメラ１０１、マイク１０３、及びタッチパネル１０２からそれぞれ取得した画像（動画）を合成した画像（動画）データ、音声データ、及び描画データをエンコードし、外部Ｉ／Ｆ１０８から、他のＩＷＢ１０に送信する。

また、ＣＰＵ１０５は、外部Ｉ／Ｆ１０８から受信した画像（動画）データ、音声データ、及び描画データをデコードし、画像（動画）データ、及び描画データをタッチパネル１０２に表示させ、音声データをスピーカ１０４に出力させる。なお、ＣＰＵ１０５は、Ｈ．２６４／ＡＶＣ、Ｈ．２６４/ＳＶＣ、Ｈ．２６５等の規格に準拠して、上述のエンコード、デコードを行う。なお、上述のエンコード、デコードは、ＣＰＵ１０５、記憶装置１０６、メモリ１０７を用いて実行する代わりに、ＧＰＵ（Graphics Processing Unit）やＤＳＰ（Digital Signal Processor）でのソフトウェア処理か、あるいはＡＳＩＣやＦＰＧＡによるハードウェア処理を行うことにより、より高速に実行できる。

記憶装置１０６は、例としてフラッシュメモリやＨＤＤ（Hard Disk Drive）といった不揮発性の記憶媒体であり、プログラム等の記憶を行う。

メモリ１０７は、ＤＤＲメモリのような揮発性のメモリであり、ＣＰＵ１０５が使用するプログラムの展開、および演算データの一時保存を行う。

外部Ｉ／Ｆ１０８は、インターネット等を経由して他のＩＷＢ１０と接続し、画像データ等の送受信を行う。外部Ｉ／Ｆ１０８は、例えば、１０Ｂａｓｅ−Ｔ、１００Ｂａｓｅ−ＴＸ、１０００Ｂａｓｅ−Ｔに準拠した有線ＬＡＮ、８０２．１１ａ／ｂ／ｇ／ｎに準拠した無線ＬＡＮによる通信を行う。

また、外部Ｉ／Ｆ１０８は、外部装置とのインタフェースである。外部装置には、記録媒体１０３ａ等がある。ＩＷＢ１０は、外部Ｉ／Ｆ１０８を介して記録媒体１０８ａの読み取りや書き込みを行うことができる。記録媒体１０８ａには、フレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリ等がある。

入力装置１０９は、キーボードやボタン等を有し、ユーザからＩＷＢ１０の機器制御等の操作を受け付ける。

＜機能構成＞
次に、図３を参照し、第１の実施形態に係るＩＷＢ１０の画像処理装置４０の機能構成について説明する。図３は、第１の実施形態に係るＩＷＢ１０の画像処理装置４０の機能ブロックの一例を示す図である。

ＩＷＢ１０の画像処理装置４０は、取得部４１、検出部４２、合成部４３、表示制御部４４、通信部４５、及び制御部４６を有する。これら各部は、ＩＷＢ１０の画像処理装置４０にインストールされた１以上のプログラムが、ＩＷＢ１０の画像処理装置４０のＣＰＵに実行させる処理により実現される。

取得部４１は、カメラ１０１Ａ、カメラ１０１Ｂによりそれぞれ異なる視点から連続的に撮影された各画像（動画）を取得する。

検出部４２は、取得部４１により取得された各画像から、ユーザの顔の領域を検出する。

合成部４３は、検出部４２により検出された、カメラ１０１Ａの画像における各ユーザの顔の領域の間を区切りの位置とし、カメラ１０１Ａの画像の一部と、カメラ１０１Ｂの画像の少なくとも一部とを、当該区切りの位置で繋ぎ合わせ、各画像に含まれる各ユーザの顔の領域が重複せずに含まれる画像を合成する。

制御部４６は、画像、音声、描画等のデータのエンコード及びデコード、他のＩＷＢ１０とのビデオ会議のセッション等の制御を行う。

表示制御部４４は、制御部４６に指示に従い、画像、音声、描画等のデータを、ＩＷＢ１０のタッチパネル１０２に表示させる。

通信部４５は、他のＩＷＢ１０との通信を行う。通信部４５は、例えば、合成部４３により合成され、制御部４６にエンコードされた画像データ等を、他のＩＷＢ１０に送信する。

＜処理＞
次に、図４を参照し、実施形態に係る通信システム１の処理について説明する。図４は、実施形態に係る通信システム１の処理の一例を示すシーケンス図である。

ステップＳ１において、ＩＷＢ１０−１、ＩＷＢ１０−２、・・・の各制御部４６は、例えば、ユーザによる操作に応じて、ＩＷＢ１０−１、ＩＷＢ１０−２、・・・の間で、セッションを確立する。これにより、ＩＷＢ１０−１、ＩＷＢ１０−２、・・・の間で、画像（動画）、音声、描画等を送受信する通信が開始される。

続いて、ＩＷＢ１０−１の合成部４３は、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された画像を合成する（ステップＳ２）。図５は、第１の実施形態に係る画像の合成処理について説明する図である。図５（Ａ）は、ＩＷＢ１０が設置された会議スペースを真上から見た場合の配置の例を示す図である。図５（Ａ）の例では、ＩＷＢ１０の正面に机５０１が設置され、ユーザＡ乃至ユーザＣが、ＩＷＢ１０から見て机５０１の左側の手前から順に着席しており、ユーザＤ乃至ユーザＦが、ＩＷＢ１０から見て机５０１の右側の手前から順に着席しており、ユーザＸが、ＩＷＢ１０から見て机５０１の奥の正面に着席している。

また、ＩＷＢ１０のパネル部２０の右側と左側に、カメラ１０１Ａ、カメラ１０１Ｂがそれぞれ設置されている。カメラ１０１Ａ、カメラ１０１Ｂは、各レンズ面に直行する直線５０２Ａ、５０２Ｂが、ＩＷＢ１０の前方の所定の位置で交差するように設置されている。

図５（Ｂ）に示すように、カメラ１０１Ａにより、ユーザＡ乃至ユーザＣ、及びユーザＸの顔が、略正面から重ならずに撮影され、ユーザＤ乃至ユーザＦの顔が、斜めから重なって撮影される。

また、図５（Ｃ）に示すように、カメラ１０１Ｂにより、ユーザＤ乃至ユーザＦ、及びユーザＸの顔が、略正面から重ならずに撮影され、ユーザＡ乃至ユーザＣの顔が、斜めから重なって撮影される。

ステップＳ２の処理により、図５（Ｄ）に示すように、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された画像が合成され、ユーザＡ乃至ユーザＣ、ユーザＤ乃至ユーザＦ、及びユーザＸの顔が、略正面から重ならずに撮影された画像が生成される。

続いて、ＩＷＢ１０−１の制御部４６は、合成した画像、音声、描画をエンコードする（ステップＳ３）。

続いて、ＩＷＢ１０−１の通信部４５は、エンコードされた画像データ、音声データ、描画データを送信する（ステップＳ４）。

続いて、ＩＷＢ１０−２の制御部４６は、受信した画像データ、音声データ、描画データをデコードする（ステップＳ５）。

続いて、ＩＷＢ１０−２の制御部４６は、デコードした画像データ、音声データ、描画データを出力する（ステップＳ６）。

なお、ステップＳ２乃至ステップＳ５の処理は、ＩＷＢ１０−１、ＩＷＢ１０−２、・・・の間において、双方向で行われる。

≪合成処理≫
続いて、ステップＳ２の、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された画像を合成する処理について、より詳細に説明する。図６は、画像を合成する処理の一例を示すフローチャートである。

ステップＳ１０１において、取得部４１は、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像を取得する。

続いて、合成部４３は、取得した各画像が水平になるように射影変換する（ステップＳ１０２）。ここで、合成部４３は、例えば、ハフ変換（Hough変換）を用いて、各画像中の各直線を検出し、当該各直線が略水平になるよう、各画像に射影変換を施す。または、合成部４３は、後述するステップＳ１０３で検出されたユーザの顔の大きさに基づいて、当該ユーザまでの距離を推定し、推定した距離に応じた角度で各画像に射影変換を施してもよい。

図７は、射影変換処理について説明する図である。ステップＳ１０２において、合成部４３は、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像から、部屋の壁と天井との境界線や、壁とドアの上部との境界線等を検出する。そして、検出した境界線が略水平になるよう、各画像に射影変換を施し、台形状の画像とする。図７（Ａ）は、図５（Ａ）に示す位置に配置されたカメラ１０１Ａによる撮影画像の例である。図７（Ｂ）は、図５（Ａ）に示す位置に配置されたカメラ１０１Ｂによる撮影画像の例である。図７（Ａ）において、部屋の壁と天井との境界線５５１や、壁とドアの上部との境界線５５２が、水平になるように射影変換されている。また、図７（Ｂ）において、壁とドアの上部との境界線５５３が、水平になるように射影変換されている。これにより、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像を合成した場合の違和感を低減できる。

続いて、検出部４２は、各画像から、各ユーザの顔を検出する（ステップＳ１０３）。なお、各ユーザの顔を検出する処理は、例えば、Haar-like特徴等を用いる公知技術を用いて行うようにしてもよい。

続いて、検出部４２は、各画像から検出した各ユーザの顔を認識する（ステップＳ１０４）。なお、各ユーザの顔を認識する処理は、公知技術を用いて行うようにしてもよい。例えば、検出部４２は、各ユーザの顔のパーツの相対的な位置や大きさ、目や鼻やほお骨やあごの形を特徴として検出し、各ユーザを識別可能とする。

続いて、合成部４３は、検出部４２により検出されたユーザの顔の位置、及び特徴に基づいて、各画像に同一のユーザの顔が含まれているか否かを判定する（ステップＳ１０５）。ここで、合成部４３は、例えば、カメラ１０１Ａにより撮影された画像から検出された各ユーザの顔の特徴と、カメラ１０１Ｂにより撮影された画像から検出された各ユーザの顔の特徴とを比較し、特徴の類似度が所定の閾値以上の場合に、同一のユーザの顔が含まれていると判定してもよい。

この場合、合成部４３は、例えば、まず、各画像における最も大きさが小さい顔同士の特徴の類似度を判定し、類似度が所定の閾値以上でない場合、各画像における顔の大きさが比較的小さい順に、特徴の類似度を判定するようにしてもよい。これにより、各画像に同一のユーザの顔が含まれている場合、比較的高速に、各画像に同一のユーザの顔が含まれていることを判定できる。

各画像に同一のユーザの顔が含まれていない場合（ステップＳ１０５でＮＯ）、合成部４３は、各画像を横に並べて合成し（ステップＳ１０６）、処理を終了する。これにより、例えば、カメラ１０１Ａ、及びカメラ１０１Ｂの視野角が比較的狭い場合等において、図５（Ａ）に示すユーザＸ等の顔が、カメラ１０１Ａの画像、及びカメラ１０１Ｂの画像のうちの少なくとも一方に、顔の検出や顔の認識が可能な程度に写っていない場合は、合成を行わないようにすることができる。

各画像に同一のユーザの顔が含まれている場合（ステップＳ１０５でＹＥＳ）、合成部４３は、検出部４２により検出された各ユーザの顔の位置、及び特徴に基づいて、各画像の継ぎ目（「区切りの位置」の一例。）を決定する（ステップＳ１０７）。ここで、合成部４３は、各画像を横に並べて合成した際に、合成後の画像において、同一のユーザの顔が重複しない位置を、各画像の継ぎ目として決定する。

図８は、各画像の継ぎ目を決定する処理について説明する図である。図８に示すように、図７の画像において、顔として検出された領域６０１乃至６０９が検出されたとする。この場合、合成部４３は、各領域６０１乃至６０９の中間に垂線６１１乃至６１７を算出し、継ぎ目の候補とする。なお、継ぎ目の候補は、各領域における隣接する各端間の中間でもよいし、各領域の中心間の中間でもよい。あるいは、中間に限らず、各領域の間の任意の位置でもよい。この場合、例えば、合成される際の各画像の幅ができるだけ均等になるような位置でもよい。

なお、領域６０１、及び領域６０５は、壁や腕等が、顔であると誤検出された領域である。合成部４３は、複数のフレーム（例えば毎秒３０フレームの動画における５フレーム）の顔検出結果を平均化し、誤検出の影響を低減（Ｓ／Ｎ比の向上）させる。例えば、所定数のフレームにおいて、所定回数以上検出されない領域を、誤検出（ノイズ）である判定し、ステップＳ１０７の各画像の継ぎ目を決定する処理に用いないようする。

合成部４３は、各ユーザの顔の位置、及び特徴に基づいて、継ぎ目の候補のうち、継ぎ目を決定する。

合成部４３は、図８の例では、図８（Ａ）の最も面積が小さい領域６０４のユーザの顔と、図８（Ｂ）の最も面積が小さい領域６０７のユーザの顔とが、顔認識による特徴の類似度が所定の閾値以上であるため、同一のユーザの顔であると判定する。そのため、合成部４３は、当該ユーザが重複しないよう、図８（Ａ）の右端の位置と図８（Ｂ）の垂線６１６の位置とを継ぎ目にすると決定する。または、合成部４３は、図８（Ａ）の垂線６１３の位置と、図８（Ｂ）の垂線６１５の位置とを継ぎ目にすると決定してもよい。この場合、合成部４３は、同一のユーザの顔であると判定された図８（Ａ）の領域６０４と、図８（Ｂ）の領域６０７のうち、面積が大きい方の領域が合成後の画像に含まれるよう、継ぎ目を決定してもよい。これにより、テレビ会議の相手先において、当該ユーザの顔が比較的大きく表示される。

なお、図８（Ａ）の右端は、カメラ１０１Ａで撮影された画像において予め右端として設定された位置でもよい。この場合、画像における当該右端よりも右側の部分はカットされる。

これにより、ユーザの顔を検出せずにカメラ１０１Ａ、カメラ１０１Ｂの画像を所定の位置を継ぎ目として合成する場合と比較すると、ユーザの顔が、異なる視点からの各画像を合成したものになる可能性がなくなるため、より自然な、違和感の少ない画像を生成することができる。

続いて、合成部４３は、検出したユーザの顔の位置に基づいて、各画像の高さを調整する（ステップＳ１０８）。ここで、合成部４３は、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像から検出された顔の領域のうち、同一ユーザの顔の領域であると見なした最も面積が小さい領域の高さが略同じになるように、各画像の高さを調整する。図８の例では、図８（Ａ）の領域６０４の高さ６２１と、図８（Ｂ）の領域６０７の高さ６２２とが同じになるように、各画像の高さを揃える。

続いて、合成部４３は、決定した各画像の継ぎ目の位置で、各画像を横に並べて繋ぎ合わせる（ステップＳ１０９）。

図９は、各画像を横に並べて合成した画像の例を説明する図である。図９では、図８（Ａ）の右端の位置と図８（Ｂ）の垂線６１６の位置とが継ぎ目として、横に並べられている。ここで、合成部４３は、図８（Ｂ）における継ぎ目よりも左側の画像はカットする。なお、図８（Ａ）の垂線６１３の位置と、図８（Ｂ）の垂線６１５の位置とを継ぎ目にする場合は、図８（Ａ）における継ぎ目よりも右側の画像はカットされ、図８（Ｂ）における継ぎ目よりも左側の画像はカットされる。

また、合成部４３は、ステップＳ１０２の射影変換によって生じた、高さ方向の空白部分が表示されないよう、画像の上下をカットする。

また、合成部４３は、各画像において、継ぎ目と対抗する側の領域で、顔の領域が検出されていない部分はカットする。図９では、図８（Ａ）の領域６０２よりも所定座標以上左側の部分と、図８（Ｂ）の領域６０９よりも所定座標以上右側の部分がカットされている。

図１０は、射影変換及び高さ調整をしない場合の、各画像を横に並べて合成した画像の例を説明する図である。

図１０に示すように、ステップＳ１０２の射影変換、及びステップＳ１０８の各画像の高さ調整をしない場合と、図９に示すように射影変換及び高さ調整をした場合とを比較すると、図９の方が、一の会議室の風景としてより自然な画像となる。

なお、上述した図６のステップＳ１０３乃至ステップＳ１０７の各画像の継ぎ目を決定する処理は、動画のフレーム毎に行うと処理の負荷が大きくなるうえに、ユーザのわずかな動作に応じて継ぎ目が変化するため、視聴者にとって快適な画像（動画）ではなくなる可能性がある。そのため、図６のステップＳ１０３乃至ステップＳ１０７の処理は、所定の時間間隔（例えば、約１０〜３０秒に一度などの時間単位間隔、または、数百フレームに１回などのフレーム間隔）等の頻度で行う。またはカメラ１０１Ａ、カメラ１０１Ｂの撮影可能な範囲にユーザが入った際や、当該範囲からユーザが出た際に行ってもよい。

一方、図６のステップＳ１０１、ステップＳ１０２、ステップＳ１０８、ステップＳ１０９処理は、カメラ１０１Ａ、カメラ１０１Ｂにより各々撮影された各動画中の各フレームについて実行される。この場合、合成部４３は、前回にステップＳ１０３乃至ステップＳ１０７の処理を行った際に決定した継ぎ目の位置等の算出結果を用いて、ステップＳ１０２、ステップＳ１０８、ステップＳ１０９処理を行う。

なお、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像において、部屋の照明や外光の影響により明るさに相違がある場合、明るさ補正等の光学補正を行い、各画像における明るさの相違を小さくしてもよい。

また、継ぎ目の位置が変更された場合、離散的に変更する代わりに、前回の継ぎ目の位置から今回の継ぎ目の位置まで連続的に（スムーズに）移動させるようにしてもよい。

＜変形例＞
≪同一ユーザ判定の変形例≫
ステップＳ１０７において、検出部４２による顔認識を行わずに、合成部４３は、各画像において顔として検出された各領域の大きさ（面積）が最も小さい領域の顔を、同一ユーザの顔であると見なすようにしてもよい。

例えば、図８（Ａ）の例では、検出した顔の各領域のうち誤検出ではない各領域６０２乃至６０４のうち、一番左側に位置する領域６０２の面積が一番大きく、領域６０３、領域６０４と、位置が右側になるに連れて面積が小さくなっている。

図８（Ｂ）の例では、検出した顔の各領域６０６乃至６０９のうち、一番右側に位置する領域６０９の面積が一番大きく、領域６０８、領域６０７と、位置が左側になるに連れて面積が小さくなり、一番左側の領域６０６の面積は大きくなっている。

この場合、合成部４３は、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像から検出された顔の領域のうち、最も面積が小さい領域の顔を、同一ユーザの顔であると見なし、当該ユーザが重複しないよう、当該ユーザの顔の領域を含まない位置で、各画像を横に並べる際の継ぎ目を決定する。

図８の例では、図８（Ａ）の領域６０４と、図８（Ｂ）の領域６０７の面積が一番小さい。このため、合成部４３は、同一ユーザの顔の領域と推定し、図８（Ａ）の右端の位置と図８（Ｂ）の垂線６１６の位置とを継ぎ目にすると決定する。または、図８（Ａ）の垂線６１３の位置と、図８（Ｂ）の垂線６１５の位置とを継ぎ目にすると決定してもよい。

また、合成部４３は、顔認識結果や、顔の大きさを用いる代わりに、継ぎ目の候補の間の長さが最も短い区間の継ぎ目の候補を、継ぎ目と決定してもよい。例えば、図８（Ｂ）の例では、各継ぎ目の候補の間の長さが最も短い、垂線６１５及び垂線６１６の区間の継ぎ目の候補である垂線６１６を、継ぎ目と決定してもよい。

≪一方の画像のみを使用する変形例≫
合成部４３は、カメラ１０１Ａ、カメラ１０１Ｂにより撮影された各画像において、いずれか一方の画像においてのみ、検出部４２によりユーザの顔が検出された場合、各画像を合成せずに、ユーザの顔が検出された一方の画像のみを、テレビ会議の相手先に送信してもよい。この場合、他方の画像においてユーザの顔が検出された際に、上述した図６の処理による合成を行うようにしてもよい。

≪３つ以上のカメラの画像を並べる変形例≫
２つのカメラの画像を横に並べる代わりに、３つ以上のカメラの画像を横に並べるようにしてもよい。この場合、上述した例と同様に、他の画像と繋ぎ合わせる際の継ぎ目を、各ユーザの顔の間の位置とすればよい。

［第２の実施形態］
第１の実施形態では、ＩＷＢ１０の正面に、ＩＷＢ１０に平行な線を短辺とする矩形の机が設置されている場合の例について説明した。第２の実施形態では、ＩＷＢ１０の正面に、略円形の机が設置されている場合の例について説明する。第２の実施形態によれば、会議の参加者が略円形の机を囲んで着席している場合でも、第１の実施形態と同様に、各画像を合成することができる。なお、第２の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。以下では、第１の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。

図１１は、第２の実施形態に係る画像の合成処理について説明する図である。図１１（Ａ）は、ＩＷＢ１０が設置された会議スペースを真上から見た場合の配置の例を示す図である。図１１（Ａ）の例では、ＩＷＢ１０の正面に略円形の机５０１Ａが設置され、ユーザＡ乃至ユーザＣが、ＩＷＢ１０から見て机５０１Ａの左側の手前から順に着席しており、ユーザＤ乃至ユーザＦが、ＩＷＢ１０から見て机５０１Ａの右側の手前から順に着席しており、ユーザＸが、ＩＷＢ１０から見て机５０１Ａの奥の正面に着席している。

図１１（Ｂ）に示すように、カメラ１０１Ａにより、ユーザＡ乃至ユーザＣ、及びユーザＸの顔が重ならずに撮影される。

また、図１１（Ｃ）に示すように、カメラ１０１Ｂにより、ユーザＤ乃至ユーザＦ、及びユーザＸの顔が重ならずに撮影される。

この場合、図５に示す第１の実施形態の場合と異なり、カメラ１０１Ａ及びカメラ１０１Ｂから見て、位置が一番遠いユーザはユーザＸではない。図１１（Ａ）の例では、カメラ１０１Ａから見て、位置が一番遠いユーザはユーザＢまたはユーザＣである。また、カメラ１０１Ｂから見て、位置が一番遠いユーザはユーザＥまたはユーザＦである。

そこで、第２の実施形態に係る合成部４３は、最も大きさが小さい顔同士の特徴の類似度を最初に判定する代わりに、前回の図６のステップＳ１０７の処理において、各画像において同一のユーザの顔であると判定した各領域の位置を記憶しておく。

そして、第２の実施形態に係る合成部４３は、今回の図６のステップＳ１０７の処理において、今回のステップＳ１０３の処理により検出部４２に検出された各画像における各ユーザの顔の領域のうち、当該記憶していた位置に最も近い顔同士の特徴の類似度を最初に判定する。

なお、当該記憶していた位置に最も近い顔同士の特徴の類似度が所定の閾値以上でない場合、任意の順で、一方の画像における各ユーザの顔と、他方の画像における各ユーザの顔との特徴の類似度が所定の閾値以上であるか否かを判定する。これにより、各画像に同一のユーザの顔が含まれている場合、比較的高速に、各画像に同一のユーザの顔が含まれていることを判定できる。

［第３の実施形態］
第１の実施形態では、ＩＷＢ１０の正面に、ＩＷＢ１０に平行な線を短辺とする矩形の机が設置されている場合の例について説明した。第３の実施形態では、ＩＷＢ１０の正面に、ＩＷＢ１０に平行な線を長辺とする矩形の机が設置されている場合の例について説明する。第３の実施形態によれば、会議の参加者が、ＩＷＢ１０と正対する矩形の机を囲んで着席している場合でも、第１の実施形態と同様に、各画像を合成することができる。なお、第３の実施形態は一部を除いて第１の実施形態または第２の実施形態と同様であるため、適宜説明を省略する。以下では、第１の実施形態または第２の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。

図１２は、第３の実施形態に係る画像の合成処理について説明する図である。図１２（Ａ）は、ＩＷＢ１０が設置された会議スペースを真上から見た場合の配置の例を示す図である。図１２（Ａ）の例では、ＩＷＢ１０の正面に、ＩＷＢ１０に平行な線を長辺とする矩形の机５０１Ｂが設置され、ユーザＡ乃至ユーザＥが、ＩＷＢ１０から見て机５０１Ｂの左側から順に着席している。

図１２（Ｂ）に示すように、カメラ１０１Ａにより、ユーザＡ乃至ユーザＤの顔が重ならずに撮影される。

また、図１２（Ｃ）に示すように、カメラ１０１Ｂにより、ユーザＢ乃至ユーザＥ、及びユーザＸの顔が重ならずに撮影される。

図１２（Ａ）の例では、カメラ１０１Ａから見て、位置が一番遠いユーザはユーザＡである。また、カメラ１０１Ｂから見て、位置が一番遠いユーザはユーザＥである。また、各画像において、ユーザＢ乃至ユーザＤの顔の領域が含まれる。

そこで、第３の実施形態に係る合成部４３は、各画像に複数の同一ユーザが含まれる場合、当該複数の同一ユーザにおける中央部に位置するユーザと、当該ユーザの隣のユーザとの間を、継ぎ目と決定する。

図１２の例では、合成部４３は、図１２（Ｂ）の継ぎ目の候補５７１乃至候補５７３のうち、複数の同一ユーザＢ乃至ユーザＤにおける中央部に位置するユーザＣに近い候補５７２または候補５７３を継ぎ目と決定する。

また、合成部４３は、図１２（Ｃ）の継ぎ目の候補５７４乃至候補５７６において、複数の同一ユーザＢ乃至ユーザＤにおける中央部に位置するユーザＣに近い候補５７４または候補５７５のうち、各画像を横に並べて合成した際に、合成後の画像において、同一のユーザの顔が重複しない方を、各画像の継ぎ目として決定する。すなわち、例えば、一方の画像において図１２（Ｂ）の候補５７２が継ぎ目とされた場合は、他方の画像において図１２（Ｃ）の継ぎ目の候補５７４が継ぎ目とされる。

この場合、合成部４３は、複数の同一ユーザにおける中央部に位置するユーザの顔であると判定された一方の画像における領域と、他方の画像における領域のうち、面積が大きい方の領域が合成後の画像に含まれるよう、継ぎ目を決定してもよい。これにより、テレビ会議の相手先において、当該ユーザの顔が比較的大きく表示される。

［第４の実施形態］
第４の実施形態では、第１の実施形態乃至第３の実施形態の機能に加え、複数のマイクを用いて話者を検出し、話者の顔をズーム表示する例について説明する。なお、第４の実施形態は一部を除いて第１の実施形態乃至第３の実施形態と同様であるため、適宜説明を省略する。以下では、第１の実施形態乃至第３の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。

＜ハードウェア構成＞
図１３は、第４の実施形態に係るＩＷＢ１０のハードウェア構成の一例を示す図である。

第４の実施形態に係るＩＷＢ１０は、第１の実施形態に係るマイク１０３に代えて、マイク１０３Ａ、及びマイク１０３Ｂを有する。

マイク１０３Ａ、及びマイク１０３Ｂは、それぞれ、例えば、カメラ１０１Ａ、及びカメラ１０１Ｂの近傍に設置される。

＜機能構成＞
図１４は、第４の実施形態に係るＩＷＢ１０の機能ブロックの一例を示す図である。

第４の実施形態に係るＩＷＢ１０は、推定部４７をさらに有する。推定部４７は、ＩＷＢ１０にインストールされた１以上のプログラムが、ＩＷＢ１０のＣＰＵに実行させる処理により実現される。

推定部４７は、発話者の方向を推定する。

また、第４の実施形態に係る取得部４１は、さらに、マイク１０３Ａ、及びマイク１０３Ｂにより集音された各音声を取得する。

また、第４の実施形態に係る合成部４３は、さらに、推定部４７に推定された発話者の方向に応じた領域を拡大し、中央下部に重ねて合成する。

＜処理＞
図１５は、第４の実施形態に係る発話者をズーム表示する処理の一例を示すフローチャート図である。

ステップＳ２０１において、取得部４１は、マイク１０３Ａ、及びマイク１０３Ｂが検出した音声を取得する。

続いて、推定部４７は、マイク１０３Ａ、及びマイク１０３Ｂが検出した各音声の音量の差に基づいて、発話者の方向を推定する（ステップＳ２０２）。

図１６は、発話者の方向を推定する処理について説明する図である。図１６に示すように、発話者（ユーザＤ）からの音量は距離（６５１Ａ、６５１Ｂ）に応じて減衰するため、マイク１０３Ａ、及びマイク１０３Ｂが検出する音量には差が生じる。推定部４７は、この音量の差から、音源である発話者の方向を推測する。

続いて、合成部４３は、カメラ１０１Ａ、及びカメラ１０１Ｂから検出した顔のうち、推定した方向に位置するユーザの顔を選択する（ステップＳ２０３）。ここで、発話者の方向と、カメラ１０１Ａ、及びカメラ１０１Ｂから検出した顔の方向を照合することで、発話者の顔の領域を特定する。なお、顔の方向は、例えば、検出された顔の領域の大きさと、当該顔の領域の画像上の座標とに基づいて算出してもよい。

続いて、合成部４３は、選択したユーザの顔をズーム表示する（ステップＳ２０４）。

図１７は、発話者をズーム表示する画面の例を示す図である。合成部４３は、カメラ１０１Ａ、及びカメラ１０１Ｂの画像を、第１の実施形態乃至第３の実施形態と同様に合成した後、例えば、合成した画像の中央下部に、発話者の顔の領域６６１を含む領域６６２を拡大して表示する。これにより、カメラ１０１Ａ、及びカメラ１０１Ｂの画像を合成した画像において、机５０１が分離されたように表示されている部分に、発話者をズーム表示することができる。

なお、会議の参加者が互いに近くに存在する場合等、発話者を特定しにくい場合、マイク１０３Ａ、及びマイク１０３Ｂにより検出した音源の方向にいる数人の顔を含む領域をズームアップ表示してもよい。

［第５の実施形態］
第１の実施形態では、ＩＷＢ１０の左右に設置された２つのカメラの画像を並べて合成する例について説明した。第５の実施形態では、第１の実施形態乃至第３の実施形態の機能に加え、ＩＷＢ１０の上にもカメラを設け、当該カメラの画像と、左右に設置された２つのカメラの画像を並べて合成した画像とを切り替える例について説明する。なお、第３の実施形態は一部を除いて第１の実施形態乃至第３の実施形態と同様であるため、適宜説明を省略する。以下では、第１の実施形態乃至第３の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。

＜ハードウェア構成＞
図１８は、第５の実施形態に係るＩＷＢ１０のハードウェア構成の一例を示す図である。

第５の実施形態に係るＩＷＢ１０は、さらに、カメラ１０１Ｃを有する。

カメラ１０１Ｃは、例えば、タッチパネル１０２の上の位置に設置される。

＜処理＞
図１９は、第５の実施形態に係る画像を切り替える処理の一例を示すフローチャート図である。

ステップＳ３０１において、合成部４３は、カメラ１０１Ｃの視野を、ＩＷＢ１０への手書き入力操作を行う等のため、ユーザが塞いでいるか否かを判定する。ここで、例えば、カメラ１０１Ｃの画像における全画素の輝度の総和が所定の閾値以下の場合に、カメラ１０１Ｃの視野をユーザが塞いでいると判定してもよい。

カメラ１０１Ｃの視野をユーザが塞いでいない場合（ステップＳ３０１でＮＯ）、制御部４６は、カメラ１０１Ｃの画像をエンコードし、他のＩＷＢ１０に送信し（ステップＳ３０２）、処理を終了する。

図２０は、送信する画像を切り替える処理について説明する図である。図２０（Ａ）のように、カメラ１０１Ａ、カメラ１０１Ｂ、及びカメラ１０１Ｃの視野が塞がれていない場合、カメラ１０１Ｃの画像を利用する。

カメラ１０１Ｃの視野をユーザが塞いでいる場合（ステップＳ３０１でＹＥＳ）、合成部４３は、カメラ１０１Ｂ及びカメラ１０１Ｃの画像を合成する（ステップＳ３０３）。なお、ステップＳ３０３の画像を合成する処理は、第１の実施形態乃至第３の実施形態の図６に示す画像合成処理と同様である。

図２０（Ｂ）のように、カメラ１０１Ｃの視野が塞がれている場合、合成部４３は、カメラ１０１Ａ及びカメラ１０１Ｂの画像を利用する。なお、例えば、カメラ１０１Ａの視野が塞がれている場合、合成部４３は、カメラ１０１Ｂ及びカメラ１０１Ｃの画像を合成して利用してもよい。

続いて、制御部４６は、合成した画像をエンコードし、他のＩＷＢ１０に送信し（ステップＳ３０４）、処理を終了する。

＜第５の実施形態の変形例＞
合成部４３は、カメラ１０１Ａ、カメラ１０１Ｂ、及びカメラ１０１Ｃのうちのいずれかの視野を、ユーザが塞いでいない場合、カメラ１０１Ａ、カメラ１０１Ｂ、及びカメラ１０１Ｃの各画像を合成してもよい。

図２１は、３つのカメラ１０１の画像を合成する例を説明する図である。図２１に示すように、合成部４３は、例えば、カメラ１０１Ａ、及びカメラ１０１Ｂの画像を合成した画像の中央下部に、カメラ１０１Ｃの画像における中央下部の領域７００を重ねるように合成してもよい。これにより、カメラ１０１Ａ、及びカメラ１０１Ｂの画像を合成した画像において、机５０１が分離されたように表示されている部分に、カメラ１０１Ｃの画像における机５０１の画像を表示することができる。

また、カメラ１０１Ｃとして、例えばキネクト（Kinect）のように、赤外線センサー等で取得した、ユーザまでの距離を示す深度情報や、発話者の方向を示す音声方向を検出するような多機能カメラを用いてもよい。この場合、合成部４３は、多機能カメラ１０１Ｃから取得した音声方向を用いて、第２実施形態と同様に、発話者のズーム表示を行ってもよい。また、この場合、合成部４３は、多機能カメラ１０１Ｃから取得した深度情報も用いて、ステップＳ１０５の各画像の高さ調整をしてもよい。これにより、より正確に、高さを調整できる。

＜第１の実施形態乃至第５の実施形態の変形例＞
合成部４３は、検出された顔の領域に、所定の画像等を合成してもよい。図２２は、検出された顔の領域に、所定の画像等を合成する例について説明する図である。図２２に示すように、合成部４３は、会議の参加者が顔の非表示にしたい場合、検出された顔の領域に、予め設定されたアイコン（アニメ顔）をはめ込むようにしてもよい。または、合成部４３は、検出された顔の領域を黒く塗り潰してもよい。また、合成部４３は、検出された顔の領域に、予め登録された名前の文字情報をはめ込むようにしてもよい。

＜効果＞
上述した各実施形態によれば、それぞれ異なる視点から撮影された複数の画像中のユーザの顔を検出し、少なくとも一方の画像において検出された複数のユーザの顔と顔の間の領域をつなぎ目として、各画像を横に並べた画像を合成する。

これにより、例えば、電子情報ボードシステムから見て比較的広い視野角に会議の参加者が位置する場合等においても、１つのカメラで撮影された画像のように、違和感なく会議の様子を相手先に伝えることができる。

また、例えば、複数のカメラで、それぞれ異なる視点（位置及び角度）から会議の参加者を撮影できるため、１つのカメラで撮影する場合と比べて、当該参加者を正面から撮影できる。

さらに、例えば、複数のカメラで、それぞれ異なる視点（位置及び角度）から会議の参加者を撮影できるため、電子情報ボードシステムのボードの中央上部に設置された１つのカメラで撮影する場合と比べて、ユーザがボード上で描画等を行う際に、当該ユーザの体によりカメラの視野が塞がれてしまうことを防止できる。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、ＩＷＢ１０の画像処理装置４０の、例えば、検出部４２、合成部４３等の各機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

また、上述した各実施の形態に示す構成や処理を適宜組み合わせることとしてもよい。

１ 通信システム
１０ ＩＷＢ（「電子情報ボードシステム」の一例）
１０１Ａ カメラ（「第１のカメラ」の一例）
１０１Ｂ カメラ（「第２のカメラ」の一例）
１０１Ｃ カメラ
２０ パネル部（「ボード」の一例）
４０ 画像処理装置
４１ 取得部
４２ 検出部
４３ 合成部
４４ 表示制御部
４５ 通信部（「送信部」の一例）
４６ 制御部
４７ 推定部

特開２０１４−１５０４９７号公報

Claims (9)

1. 第１の画像と、前記第１の画像とは異なる視点から撮影された第２の画像とを取得する取得部と、
   前記第１の画像と前記第２の画像とから各ユーザの顔の領域を検出する検出部と、
   前記検出部により検出された各ユーザの顔の領域の間を区切りの位置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせる合成部と、
   を有し、
   前記合成部は、前記第１の画像及び前記第２の画像に含まれる各ユーザの顔の領域が重ならないように前記第１の画像と前記第２の画像とを繋ぎ合わせる、
   画像処理装置。
2. 前記検出部は、各ユーザの顔を認識し、
   前記合成部は、前記検出部により認識された各ユーザの顔に基づいて、前記第１の画像及び前記第２の画像に含まれる各ユーザの顔の領域が重複せずに含まれる画像を合成する、
   請求項１記載の画像処理装置。
3. 第１の画像と、前記第１の画像とは異なる視点から撮影された第２の画像とを取得する取得部と、
   前記第１の画像と前記第２の画像とから各ユーザの顔の領域を検出する検出部と、
   前記検出部により検出された各ユーザの顔の領域の間を区切りの位置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせる合成部と、
   を有し、
   前記合成部は、前記第１の画像及び前記第２の画像に、同一のユーザの顔が含まれない場合、前記第１の画像と、前記第２の画像とを並べて繋ぎ合わせる、
   画像処理装置。
4. 第１の画像と、前記第１の画像とは異なる視点から撮影された第２の画像とを取得する取得部と、
   前記第１の画像と前記第２の画像とから各ユーザの顔の領域を検出する検出部と、
   前記検出部により検出された各ユーザの顔の領域の間を区切りの位置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせる合成部と、
   を有し、
   前記合成部は、前記第１の画像における各ユーザの顔の領域のうち最も小さい領域と、
   前記最も小さい領域に隣接する顔の領域との間を区切りの位置とする、
   画像処理装置。
5. 前記取得部は、前記第１の画像と前記第２の画像とを動画像として取得し、
   前記合成部は、前記動画像のフレーム画像に対して、所定の間隔で合成する、
   請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 第１の画像と、前記第１の画像とは異なる視点から撮影された第２の画像とを取得する取得部と、
   前記第１の画像と前記第２の画像とから各ユーザの顔の領域を検出する検出部と、
   前記検出部により検出された各ユーザの顔の領域の間を区切りの位置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせる合成部と、
   を有し、
   前記合成部は、前記第１の画像の少なくとも一部の高さ、及び前記第２の画像の少なくとも一部の高さのうち少なくとも一方を、前記第１の画像及び前記第２の画像における同一のユーザの顔の各領域の高さが揃うように調整して合成する、
   画像処理装置。
7. 前記合成部は、前記第１の画像の背景と、前記第２の画像の背景の傾きの差が縮小するよう、前記第１の画像、及び前記第２の画像を補正する、
   請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 第１のカメラ、第２のカメラ、ボード、及び画像処理装置を有する電子情報ボードシステムであって、
   前記第１のカメラ、及び前記第２のカメラは、それぞれ異なる視点から、前記ボードの前方を撮影し、
   前記画像処理装置は、
   前記第１のカメラで撮影された第１の画像と、前記第２のカメラで撮影された第２の画像とを取得する取得部と、
   前記第１の画像と前記第２の画像とから各ユーザの顔の領域を検出する検出部と、
   前記検出部により検出された各ユーザの顔の領域の間を区切りの位置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせる合成部と、
   を有する電子情報ボードシステム。
9. コンピュータに、
   第１の画像と、前記第１の画像とは異なる視点から撮影された第２の画像とを取得する処理と、
   前記第１の画像と前記第２の画像とから各ユーザの顔の領域を検出する処理と、
   前記検出する処理により検出された各ユーザの顔の領域の間を区切りの位置とし、前記第１の画像と前記第２の画像とを前記区切りの位置で繋ぎ合わせ合成する処理と、
   前記合成する処理では、前記第１の画像及び前記第２の画像に含まれる各ユーザの顔の領域が重ならないように前記第１の画像と前記第２の画像とを繋ぎ合わせる処理
   を実行させるプログラム。

Images