JP7074056B2 - 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理システム、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えばネットワークを介した通信により画像や音声を送信し、コミュニケーションを実行する画像処理装置、画像処理システム、および画像処理方法、並びにプログラムに関する。

ネットワークを介した双方向通信により画像や音声を送受信するテレビ会議システム等の双方向コミュニケーションシステムは、様々な分野で利用されている。
昨今では、高精細の大型ディスプレイが多く利用され、また、ネットワークを介して通信される画像、音声の品質も向上しており、ディスプレイに表示された遠隔のユーザとのコミュニケーションを、同じ会議室で行っているような感覚で行うことが可能となっている。

さらに、特許文献１（特開２０１０－１７１６９５号公報）には、コミュニケーションを行う人物等のユーザを表示部（ディスプレイ）に表示する際、等身大の表示を行うことで、臨場感のある対話を可能としたシステムを開示している。
表示部に表示する人物の大きさを実際の大きさで表示することで、表示部に表示されるコミュニケーション相手が、あたかもその場にいるような感覚で対話を行うことを可能としたシステムである。

しかし、特許文献１に記載の技術は、等身大表示を行うものの、例えば表示部（ディスプレイ）の形、ディスプレイの置かれている場所、あるいは表示部を見る視聴者の目線の位置等については考慮していない。

例えば、テーブルの上に置かれているディスプレイと、床に置かれているディスプレイに同じユーザ画像を表示すると、表示ユーザの顔の位置が大きく異なることになる。
また、視聴ユーザが立っている場合と、座っている場合とでは、視聴ユーザの眼線の位置が大きく異なってくる。

このように、表示部の高さや、視聴ユーザの目の位置等を考慮しないと、視聴ユーザと表示ユーザの目線の高さが大きく異なる場合が発生する。この結果、例えば、視聴ユーザは、上を見上げて、表示ユーザの顔を見て会話をしなければならないといった事態が生じ、スムーズなコミュニケーションが実行できなくなる等の問題が発生する。

特開２０１０－１７１６９５号公報

本開示は、例えば、上述の問題点に鑑みてなされたものであり、例えば、通信ネットワークを介したコミュニケーションシステムにおいて利用される表示部（ディスプレイ）に被写体の表示を行う場合、表示部のサイズや載置場所の高さ等の表示部情報や、表示被写体（表示ユーザ）の情報、さらに、視聴者の目線位置等の視聴者情報を考慮して、被写体の表示態様を制御して、違和感を減少させた自然な被写体表示を可能とする画像処理装置、画像処理システム、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
表示部の表示領域情報を取得する表示領域情報取得部と、
表示部に表示する被写体を含む入力画像を取得する画像取得部と、
前記入力画像を解析する画像情報解析部と、
前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
ネットワークにより接続された第１画像処理装置と第２画像処理装置との間で画像送受信を実行する画像処理システムであり、
前記第１画像処理装置は、
表示部の表示領域情報を取得する表示領域情報取得部と、
前記第２画像処理装置から、表示部に表示する被写体を含む入力画像を受信する通信部と、
前記入力画像を解析する画像情報解析部と、
前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有する画像処理システムにある。

さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
表示領域情報取得部が、表示部の表示領域情報を取得する表示領域情報取得ステップと、
画像取得部が、表示部に表示する被写体を含む入力画像を取得する画像取得ステップと、
画像情報解析部が、前記入力画像を解析する画像情報解析ステップと、
表示態様決定部が、前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定ステップと、
出力画像生成部が、前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成ステップを実行する画像処理方法にある。

さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
表示領域情報取得部が、表示部の表示領域情報を取得する表示領域情報取得ステップと、
画像取得部が、表示部に表示する被写体を含む入力画像を取得する画像取得ステップと、
画像情報解析部が、前記入力画像を解析する画像情報解析ステップと、
表示態様決定部が、前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定ステップと、
出力画像生成部が、前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、例えば双方向コミュニケーションを実行する画像処理装置に表示する被写体画像を、表示部や、被写体、あるいは視聴者等の各情報に応じた最適な表示画像とする構成が実現される。
具体的には、表示領域情報取得部が、表示部の表示領域情報を取得し、画像取得部が、表示部に表示する被写体を含む入力画像を取得する。さらに、画像情報解析部が、入力画像解析処理を実行し、表示態様決定部が、解析結果を適用して表示部に表示する被写体の表示態様を決定し、決定した表示態様に従って生成した出力画像を表示部に表示する。実物大表示を行った場合の被写体欠落部に対する処理や、視線位置の修正等を実行し、自然な被写体表示を実行する。
本構成により、例えば双方向コミュニケーションを実行する画像処理装置に表示する被写体画像を、表示部や、被写体、あるいは視聴者等の各情報に応じた最適な表示画像とする構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

双方向コミュニケーションシステムについて説明する図である。 画像処理装置のハードウェア構成例について説明する図である。 画像処理装置の機能構成について説明する図である。 表示領域情報について説明する図である。 体部位検出の例について説明する図である。 被写体画像を３Ｄモデル背景画像に重畳表示した画像の例について説明する図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 体部位検出例について説明する図である。 被写体の身長測定例について説明する図である。 被写体の実物大（等身大）表示例について説明する図である。 被写体の実物大（等身大）表示例について説明する図である。 表示領域上端と被写体身長との比較処理について説明する図である。 表示領域上端と被写体身長との比較処理について説明する図である。 被写体の欠落部位について説明する図である。 被写体と視聴ユーザの視点位置の差について説明する図である。 被写体と視聴ユーザの視点位置の差について説明する図である。 被写体の実物大表示例について説明する図である。 被写体の実物大表示例について説明する図である。 被写体の実物大表示例について説明する図である。 被写体と視聴ユーザの視点位置を近づけた画像の表示例について説明する図である。 被写体と視聴ユーザの視点位置を近づけた画像の表示例について説明する図である。 被写体の欠落部位を隠した画像の表示例について説明する図である。 被写体の欠落部位を隠した画像の表示例について説明する図である。 構図を優先した画像の表示例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、画像処理システム、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．双方向コミュニケーション処理の概要について
２．画像処理装置のハードウェア構成例について
３．画像処理装置の機能的構成例について
４．画像処理装置の実行する処理シーケンスと具体的表示例について
５．本開示の構成のまとめ

［１．双方向コミュニケーション処理の概要について］
まず、双方向コミュニケーション処理の概要について説明する。
図１は、双方向コミュニケーションシステム構成の一例を示す図である。

図１には、
（１）第１ロケーション
（２）第２ロケーション
これらの２つのロケーションの構成例を示している。
これら２つのロケーションは、各々離れた遠隔地にあり、各ロケーションにいるユーザ同士が、双方向コミュニケーションを行う。各ロケーションのシステム同士がネットワーク３０を介して接続されている。

第１ロケーションには、ユーザＡがいる。
また、第１ロケーションには、表示部（ディスプレイ）１１、カメラ１２、音声入出力部（マイク＆スピーカ）１３ａ～ｂを備えた画像処理装置１０がある。
一方、第２ロケーションには、ユーザＢがいる。
また、第２ロケーションには、表示部（ディスプレイ）２１、カメラ２２、音声入出力部（マイク＆スピーカ）２３ａ～ｂを備えた画像処理装置２０がある。

第１ロケーションのカメラ１２は、第１ロケーションのユーザＡを撮影し、ネットワーク３０を介して第２ロケーションの画像処理装置２０に送信する。
第２ロケーションの画像処理装置２０は、第１ロケーションの画像処理装置１０から送信されたユーザＡの画像を表示部２１に表示する。
この表示処理に際して、表示ユーザであるユーザＡの実物大（等身大）表示を行う。

画像処理装置２０は、この実物大表示処理に際して、表示部２１の大きさや、表示部２１の置かれた高さ、表示ユーザの表示可能な部位（撮影画像に含まれる被写体画像の部位）、さらに、表示ユーザと視聴ユーザ（ユーザＢ）の視点位置（目線の高さ）の差異等を考慮した表示制御を実行する。

なお、第１ロケーションの音声入出力部（マイク＆スピーカ）１３ａ，ｂは、第１ロケーションのユーザＡの発話等の音声を取得し、取得音声データが、ネットワーク３０を介して第２ロケーションの画像処理装置２０に送信される。
第２ロケーションの画像処理装置２０は、第１ロケーションからの受信音声を、音声入出力部（マイク＆スピーカ）２３ａ，ｂを介して出力する。

一方、第２ロケーションのカメラ２２ａは、第２ロケーションのユーザＢを撮影し、ネットワーク３０を介して第１ロケーションの画像処理装置１０に送信する。
第１ロケーションの画像処理装置１０は、第２ロケーションの画像処理装置２０から送信されたユーザＢの画像を表示部１１に表示する。
この表示処理に際して、表示ユーザであるユーザＢの実物大（等身大）表示を行う。

画像処理装置１０は、この実物大表示処理に際して、表示部１１の大きさや、表示部１１の置かれた高さ、表示ユーザの表示可能な部位（撮影画像に含まれる被写体画像の部位）、さらに、表示ユーザと視聴ユーザ（ユーザＡ）の視点位置（目線の高さ）の差異等を考慮した表示制御を実行する。

なお、第２ロケーションの音声入出力部（マイク＆スピーカ）２３ａ，ｂは、第２ロケーションのユーザＢの発話等の音声データを取得し、取得音声データが、ネットワーク３０を介して第１ロケーションの画像処理装置１０に送信される。
第１ロケーションの画像処理装置１０は、第２ロケーションからの受信音声を、音声入出力部（マイク＆スピーカ）１３ａ，ｂを介して出力する。

このような処理により、第１ロケーションのユーザＡと、第２ロケーションのユーザＢは、遠隔地のユーザの画像と発話を表示部、スピーカを介して取得し、双方向コミュニケーションを行うことが可能となる。

このような双方向コミュニケーション処理において、表示部１１，２１に表示されるユーザの表示画像として、実物大の画像を用い、さらに、視聴ユーザの視線位置に応じた表示制御等を行うことで、コミュニケーション相手が、その場にいるような臨場感を持ってコミュニケーションを行うことが可能となる。

［２．画像処理装置のハードウェア構成例について］
次に、図２を参照して図１に示す画像処理装置１０や、画像処理装置２０のハードウェア構成例について説明する。
図２には、図１に示す画像処理装置１０や、画像処理装置２０に相当する画像処理装置１００のハードウェア構成例を示している。
画像処理装置１００は、本実施形態において、情報処理装置として構成され得る。画像処理装置１００は、具体的には、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、スマートフォン、タブレット端末、ゲーム機器、プロジェクタ、ポータブルプロジェクタ等の情報処理装置であってもよい。

同図において、画像処理装置１００は、コントローラ１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、入出力インタフェース１０５、及び、これらを互いに接続するバス１０４を備える。

コントローラ１０１は、必要に応じてＲＡＭ１０３等に適宜アクセスし、各種演算処理を行いながら画像処理装置１００の各ブロック全体を統括的に制御する。コントローラ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であってもよい。ＲＯＭ１０２は、コントローラ１０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１０３は、コントローラ１０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース１０５には、撮像部１０６、表示部（ディスプレイ）１０７、操作受付部１０８、記憶部１０９、通信部１１０等が接続される。なお、入出力インタフェース１０５は、これらの各要素の他、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子やＩＥＥＥ端子等を介して外部周辺機器と接続可能に構成されてもよい。また、入出力インタフェース１０５には、これら各要素の他、図示しない撮像部等が接続されていてもよい。

撮像部１０６は、例えば、図１に示すユーザＡ、ユーザＢ等、双方向コミュニケーションを実行する被写体を撮影するカメラであり、例えばビデオカメラによって構成される。
なお、撮像部１０６による撮影画像は、撮像部１０６側の表示部１０７の表示領域１０７ａの位置やサイズを解析するための情報としても利用される。

表示部（ディスプレイ）１０７は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、プロジェクタ等を用いた表示デバイスである。なお、表示部（ディスプレイ）１０７には、画像が表示される表示領域１０７ａが画定される。

操作受付部１０８は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１０８がタッチパネルである場合、そのタッチパネルは表示部（ディスプレイ）１０７と一体となり得る。

記憶部１０９、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、フラッシュメモリ（ＳＳＤ；Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１０９には、上記ＯＳや各種アプリケーション、各種データが記憶される。記憶部１０９は、また、後述する入力画像や、画像情報、生成した出力画像群等の記憶領域としても利用される。

通信部１１０は、例えばＥｔｈｅｒｎｅｔ（登録商標）用のＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）であり、ネットワークを介した通信処理を担う。

以上のようなハードウェア構成の画像処理装置１００は、以下のような機能的構成を有する。

［３．画像処理装置の機能的構成例について］
次に、図３を参照して画像処理装置１００の機能的構成例について説明する。
図３は、画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、表示領域情報取得部２０１と、画像取得部２０２と、画像情報解析部２０３と、表示態様決定部２０４と、出力画像生成部２０５と、再生部２０６を備える。

表示領域情報取得部２０１は、図２に示す画像処理装置１００の表示部１０７の表示領域１０７ａ（ディスプレイの画面／プロジェクタの投影面）の仕様、例えば、表示領域１０７ａの縦、横のサイズ、解像度（ピクセル数）、ピクセルピッチ、表示領域１０７ａが存する空間の床、もしくは地面からの表示領域下端までの高さを取得する。

表示領域情報取得部２０１が取得する表示領域情報の具体例について、図４を参照して説明する。
表示領域情報取得部２０１は、図４に示すように表示部１０７について、以下の各情報を取得する。
（ａ）表示領域横サイズ２２１、
（ｂ）表示領域縦サイズ２２２、
（ｃ）床、または地面から、表示領域下端までの高さ２２３、
（ｄ）解像度２２４、
（ｅ）ピクセルピッチ２２５、

なお、これらの仕様が記憶部１０９や表示部１０７付属のメモリ等に記録されていれば、そこから、これらの情報を取得としてもよい。これらの情報が記録されていない場合は、撮影部１０６による表示領域１０７ａの撮影画像を用いて、表示領域１０７ａの仕様を取得してもよい。

画像取得部２０２は、処理対象の入力画像（表示用画像）を取得する。このときの入力画像は、記憶部１０９に記録されていた画像、撮影部１０６が撮影した画像、通信部１１０を介して遠隔地から送信された映像でもよい。また、入力画像は、被写体人物のみ切り出された画像でもよい。

画像情報解析部２０３は、体部位検出部２０３ａと被写体情報取得部２０３ｂを有し、被写体についての情報を含む入力画像の情報を解析する。体部位検出部２０３ａは、入力画像から、被写体人物の体の部位を検出する。

例えば、図５に示すような頭部、左右の足首などの体部位を検出する。
これらの体部位検出は、入力画像（表示用画像）に含まれる表示ユーザ（被写体）である人体の画像解析いわゆるモーションキャプチャ技術を適用して実行される。
体部位検出部２０３ａは、人体の頭部、手、足等の部位、肘、肩、膝等の関節など、撮影画像に含まれる被写体としての人体を構成する各部位を識別する。

被写体情報取得部２０３ｂは、入力画像（表示用画像）に含まれる被写体の領域の検出や、被写体が存する空間の床、地面の検出、あるいは被写体の実際の大きさ等についての解析技術を用いて、被写体の実サイズ（身長）を解析する。
なお、体部位検出部２０３ａ、被写体情報取得部２０３ｂは入力画像に記録されたメタデータから体部位検出結果、被写体情報を取得してもよい。

表示態様決定部２０４は、実物大画像生成部２０４ａ、最適表示態様決定部２０４ｂを有する。

実物大画像生成部２０４ａは、被写体を実物大表示するための画像を生成する。
例えば、表示領域情報取得部２０１によって取得された表示領域１０７ａの仕様と入力画像の情報とに基づいて、被写体が表示領域１０７ａに実物大で表示されるように入力画像を拡大または縮小し、被写体を実物大表示するための画像データを生成する。

最適表示態様決定部２０４ｂは、表示領域仕様取得部２０１が取得した表示領域１０７ａの仕様や、画像情報解析部２０３において解析された被写体情報を適用して、予め規定された最適表示態様判定アルゴリズムを実行し、最適な表示態様を決定する。具体的には、例えば、以下のような判定処理を実行する。
（ａ）表示領域上端が表示対象となる被写体人物の身長より高いか否かの判定処理
（ｂ）表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域があるか否かの判定処理、
（ｃ）表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合以下か否かの判定処理、
（ｄ）表示対象となる被写体人物の視点位置と、視聴ユーザの視点位置の差が予め規定したしきい値以下か否かの判定処理、

最適表示態様決定部２０４ｂは、例えば上記（ａ）～（ｄ）の判定処理を含む最適表示態様判定アルゴリズムを実行し、最適な表示態様を決定する。具体的には、最適な表示画像のサイズや、表示位置、あるいはマスク処理の要否等を決定する。
なお、具体的処理シーケンスについては、後段においてフローチャートを参照して説明する。

出力画像生成部２０５は、表示画像サイズ調整部２０５ａと、画像表示位置決定部２０５ｂを有する。
表示画像サイズ調整部２０５ａは、最適表示態様決定部２０４ｂにおいて決定した最適表示画像の表示を行うための表示画像のサイズ調整を実行する。
最適表示態様決定部２０４ｂにおいて決定した最適表示画像が実物大サイズである場合は、実物大画像生成部２０４ａの生成した画像を利用する。
また、最適表示態様決定部２０４ｂにおいて決定した最適表示画像が実物大サイズでない場合は、実物大画像生成部２０４ａの生成した画像の縮小、または拡大等を実行して、最適表示態様決定部２０４ｂにおいて決定した最適表示画像に適合した画像サイズの表示画像を生成する。

表示位置決定部２０５ｂは、最適表示態様決定部２０４ｂにおいて決定した最適表示画像の表示を行うための表示画像の表示位置を決定する。

出力画像生成部２０５は、決定された表示画像サイズや表示位置等に従った出力画像を生成する。入力画像が被写体人物のみ切り出された画像の場合、例えば、平面の静止画や動画、３Ｄモデル画像を背景画像として、入力画像を前景として重畳して出力画像を生成してもよい。
図６は、表示部１０７に、３Ｄモデル画像２４１を背景として表示し、平面の被写体（表示ユーザ）２４２を重畳表示した例を示す図である。

再生部２０６は、例えば、図６に示すような出力画像を再生する。再生部２０７は、例えば、表示部１０７によって実現される。

［４．画像処理装置の実行する処理シーケンスと具体的表示例について］
次に、画像処理装置の実行する処理シーケンスと具体的表示例について説明する。

図７、図８に，画像処理装置１００の処理シーケンスを説明するフローチャートを示す。
なお、図７、図８に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って、プログラム実行機能を持つＣＰＵ等を備えたコントローラからなるデータ処理部の制御の下に実行される。
図７以下のフローの各ステップの処理について、順次、説明する。

（ステップＳ１０１～Ｓ１０２）
まず、ステップＳ１０１～１０２において、画像処理装置の表示領域情報取得部２０１が表示部１０７の表示領域１０７ａに関する情報を取得する。
これは、先に図４を参照して説明した処理であり、表示領域情報取得部２０１は、図４に示すように表示部１０７について、以下の各情報を取得する。

（ａ）表示領域横サイズ２２１、
（ｂ）表示領域縦サイズ２２２、
（ｃ）床、または地面から、表示領域下端までの高さ２２３、
（ｄ）解像度２２４、
（ｅ）ピクセルピッチ２２５、

なお、これらの仕様が記憶部１０９や表示部１０７付属のメモリ等に記録されていれば、そこから、これらの情報を取得としてもよい。これらの情報が記録されていない場合は、撮影部１０６による表示領域１０７ａの撮影画像を用いて、表示領域１０７ａの仕様を取得してもよい。

（ステップＳ１０３）
次に、ステップＳ１０３において、画像取得部１０２が、表示部１０７の表示領域１０７ａに表示する入力画像（表示用画像）を取得する。

なお、上記のステップＳ１０１～Ｓ１０３の処理順は、特に問わない。
また、ディスプレイなど物理的に壁に設置され固定されている表示領域１０７を利用する場合、上記のステップＳ１０１～Ｓ１０２の表示領域情報取得処理は、表示処理の開始前に一度行うだけでよい。

ただし、例えば、ポータブルプロジェクタなど、表示領域１０７ａが移動する場合、表示領域の縦横の入れ替え、床や地面からの表示領域下端までの高さが変化する可能性がある場合等には、上記のステップＳ１０１～Ｓ１０２の表示領域情報取得処理は、随時、定期的に実行する必要がある。

（ステップＳ１０４）
続いて、ステップＳ１０４において、画像情報解析部２０３の体部位検出部２０３ａが、入力画像（表示用画像）内の被写体人物の頭部、足首などの部位を検出する。
この処理は、先に図５を参照して説明した処理である。

画像情報解析部２０３の体部位検出部２０３ａは、入力画像から、被写体人物の体の部位を検出する。例えば、図５に示すような頭部、左右の足首などの体部位を検出する。これらの体部位検出は、入力画像（表示用画像）に含まれる表示ユーザ（被写体）である人体の画像解析いわゆるモーションキャプチャ技術を適用して実行される。
体部位検出部２０３ａは、人体の頭部、手、足等の部位、肘、肩、膝等の関節など、撮影画像に含まれる被写体としての人体を構成する各部位を識別する。

具体的な入力画像（表示用画像）内の被写体に対する体の部位検出処理例を図９に示す。
図９には、以下の３つの体部位検出例を示している。
（１）体部位検出例１
（２）体部位検出例２
（３）体部位検出例３

（１）体部位検出例１は、膝上から上半身の被写体画像が入力画像として入力されている場合の体部位検出例である。
（２）体部位検出例２は、人体全体の被写体画像が入力画像として入力されている場合の体部位検出例である。
（３）体部位検出例３は、首から下の被写体画像が入力画像として入力されている場合の体部位検出例である。

（ステップＳ１０５）
続いて、ステップＳ１０５において、画像情報解析部２０３の被写体情報取得部２０３ｂが、入力画像内の被写体人物の実サイズ（身長）を測定する。

被写体情報取得部２０３ｂは、入力画像（表示用画像）に含まれる被写体の領域の検出や、被写体が存する空間の床、地面の検出、あるいは被写体の実際の大きさ等についての解析技術を用いて、被写体の実サイズ（身長）を解析する。

なお、双方向コミュニケーションシステムにおいて、例えば、被写体側のカメラ（例えば必ず全身が写る広角カメラ等）で画像を撮影するとともに、測定済のデータを画像対応のメタデータとして付加して、撮影画像に併せて送信し、表示処理を実行する装置側で、このメタ情報を利用して被写体実サイズ解析等の処理を行なってもよい。

図１０は、ステップＳ１０５における被写体情報取得部２０３ｂによる被写体身長算出例を示す図である。
被写体情報取得部２０３ｂは、まず、ステップＳ１０５ａにおいて、被写体の設置面（床）を検出する。
その後、ステップＳ１０５ｂにおいて、体部位検出結果を利用して被写体の身長を算出する。具体的には、例えば、頭部～床までの長さを算出する。

（ステップＳ１０６）
次に、ステップＳ１０６において、表示態様決定部２０４の実物大画像生成部２０４ａが、表示領域１０７ａのサイズと画像解像度、ピクセルピッチ、被写体人物の実サイズ（身長）等から、被写体を等身大で表示するための実物大表示画像の生成処理を実行する。

図１１、図１２は、被写体の実物大画像表示例を示す図である。画像サイズ調整部２０４は、表示領域１０７ａのピクセルピッチｐｐ（ｍｍ／ｐｉｘｅｌ）の情報から、被写体が実物大で表示されるように、実物大画像Ｇｒの幅（Ｐｗｒ（ｐｉｘｅｌ））及び高さ（Ｐｈｒ（ｐｉｘｅｌ））のピクセル数を決定する。ピクセルピッチは、表示領域１０７ａ固有の値である解像度と表示領域１０７ａのサイズの情報から算出され得る。

図１１、図１２において、実物大被写体画像の高さである身長をＨｒ（ｍｍ）とすると、ピクセル数で、Ｐｈｒ（ｐｉｘｅｌ）と表すものとすると、以下の式（１）が成り立つ。
身長＝Ｈｒ（ｍｍ）＝Ｐｈｒ（ｐｉｘｅｌ）×ｐｐ（ｍｍ／ｐｉｘｅｌ）・・・（１）

なお、図１１や図１２に示す例は、被写体としての人体の全体が表示領域に表示可能な例である。
実際は、このように被写体全体が表示部に表示可能になるとは限らない。
図８のフローに示すステップＳ１０７以下の処理において、最適表示態様決定部２０４ｂが、表示領域仕様取得部２０１が取得した表示領域１０７ａの仕様や、画像情報解析部２０３において解析された被写体情報を適用して、予め規定された最適表示態様判定アルゴリズムを実行し、最適な表示態様を決定する。

（ステップＳ１０７）
図８のフローに示すステップＳ１０７～ステップＳ１０９の判定処理は、図３に示す表示態様決定部２０４の最適表示態様決定部２０４ｂが実行する処理である。
最適表示態様決定部２０４ｂは、表示領域仕様取得部２０１が取得した表示領域１０７ａの仕様や、画像情報解析部２０３において解析された被写体情報を適用して、予め規定された最適表示態様判定アルゴリズムを実行し、最適な表示態様を決定する。具体的には、例えば、以下のような判定処理を実行する。

（判定ａ）表示領域上端が表示対象となる被写体人物の身長より高いか否かの判定処理
（判定ｂ）表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域があるか否かの判定処理、
（判定ｃ）表示対象となる被写体人物の視点位置と、視聴ユーザの視点位置の差が予め規定したしきい値以下か否かの判定処理、
（判定ｄ）表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合以下か否かの判定処理、

最適表示態様決定部２０４ｂは、例えば上記（判定ａ）～（判定ｄ）の判定処理を含む最適表示態様判定アルゴリズムを実行し、最適な表示態様を決定する。具体的には、最適な表示画像のサイズや、表示位置、あるいはマスク処理の要否等を決定する。

最適表示態様決定部２０４ｂは、まず、ステップＳ１０７において、上記（判定ａ）の判定処理を行なう。すなわち、
（判定ａ）表示領域上端が表示対象となる被写体人物の身長より高いか否かの判定処理、
上記判定処理を実行する。

具体的には、表示領域１０７ａの上端が被写体人物の身長より高いか、否かを判定する。なお、表示領域１０７ａの上端の高さとは、表示部の表示画像を見る視聴ユーザのいる床、あるいは地面等からの高さである。

表示領域１０７ａの上端の高さは、表示領域情報取得部２０１が、ステップＳ１０１～Ｓ１０２において取得した情報、すなわち、先に図４を参照して説明した表示領域情報を用いて算出される。
具体的には、図４に示す、
（ａ）表示領域縦サイズ２２２と、
（ｂ）床、または地面から、表示領域下端までの高さ２２３、
上記（ａ），（ｂ）の合計が、表示領域１０７ａの上端の高さとして算出される。

被写体人物の身長は、ステップＳ１０５において画像情報解析部２０３の被写体情報取得部２０３ｂが取得した被写体の身長である。

ステップＳ１０７では、
表示領域の上端高さと、
被写体身長、
これらを比較する。すなわち、以下の判定式が成立するか否かを判定する。
表示領域の上端高さ≧被写体身長

上記判定式が成立、すなわち、表示領域の上端高が、被写体身長以上であれば、ステップＳ１０７の判定はＹｅｓとなり、ステップＳ１０８に進む。
一方、上記判定式が不成立、すなわち、表示領域の上端高が、被写体身長未満であれば、ステップＳ１０７の判定はＮｏとなり、ステップＳ１２４に進む。

図１３は、表示領域上端が被写体身長より高い例を示す図である。
この場合、被写体（表示ユーザ）の顔を含む頭部は、表示領域に全て表示される。なお、表示部に表示される被写体（表示ユーザ）は実物大であり、被写体（表示ユーザ）の高さは、被写体の身長に一致することになる。

一方、図１４は、表示領域上端が被写体身長より低い例を示す図である。
この場合、被写体（表示ユーザ）の顔を含む頭部は、少なくともその一部が表示領域に表示できない。

（ステップＳ１０８）
ステップＳ１０７の判定処理において、表示領域の上端高が、被写体身長以上であれば、ステップＳ１０７の判定はＹｅｓとなり、ステップＳ１０８に進む。
最適表示態様決定部２０４ｂは、ステップＳ１０８において、上記（判定ｂ）の判定処理を行なう。すなわち、
（判定ｂ）表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域があるか否かの判定処理、
上記判定処理を実行する。

図１５（ａ）は、被写体人物を実物大表示する際、欠落して表示できない部位がない例を示す図である。
この欠落部分の判定処理は、例えば画像情報解析部２０３の体部位検出部２０３ａにおいて検出された体部位に基づいて判定することができる。

一方、図１５（ｂ）は、被写体人物を実物大表示する際、欠落して表示できない部位がある例を示す図である。
この図１５（ｂ）には、例えば画像情報解析部２０３の体部位検出部２０３ａにおいて、入力画像から検出された体部位として足部分に欠落部位があり、表示できない体の部分が存在すると判定される。

このステップＳ１０８において、表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域がないと判定した場合は、ステップＳ１０８の判定結果がＹｅｓとなり、ステップＳ１０９に進む。
一方、欠落領域があると判定した場合は、ステップＳ１０８の判定結果がＮｏとなり、ステップＳ１１０に進む。

（ステップＳ１０９）
ステップＳ１０８において、表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域がないと判定した場合は、ステップＳ１０８の判定結果がＹｅｓとなり、ステップＳ１０９に進む。
最適表示態様決定部２０４ｂは、ステップＳ１０９において、上記（判定ｃ）の判定処理を行なう。すなわち、
（判定ｃ）表示対象となる被写体人物の視点位置と、視聴ユーザの視点位置の差が予め規定したしきい値以下か否かの判定処理、
上記判定処理を実行する。
なお、上記しきい値は、予め規定されたしきい値である。

また、視点位置の差分とは、被写体人物の視点位置と、視聴ユーザの視点位置の高さの差分である。
図１６は、被写体（表示ユーザ）の視点位置（高さ）と、視聴ユーザの視点位置（高さ）との差が小さく、予め設定したしきい値以下である場合の例を示す図である。
一方、図１７は、被写体（表示ユーザ）の視点位置（高さ）と、視聴ユーザの視点位置（高さ）との差が大きく、予め設定したしきい値より大である場合の例を示す図である。

このステップＳ１０９において、被写体（表示ユーザ）の視点位置（高さ）と、視聴ユーザの視点位置（高さ）との差が小さく、予め設定したしきい値以下であると判定した場合は、ステップＳ１０９の判定結果がＹｅｓとなり、ステップＳ１２１に進む。
一方、被写体（表示ユーザ）の視点位置（高さ）と、視聴ユーザの視点位置（高さ）との差が小さく、予め設定したしきい値より大きいと判定した場合は、ステップＳ１０９の判定結果がＮｏとなり、ステップＳ１２２に進む。

（ステップＳ１２１）
ステップＳ１０９において、被写体（表示ユーザ）の視点位置（高さ）と、視聴ユーザの視点位置（高さ）との差が小さく、予め設定したしきい値以下であると判定した場合は、ステップＳ１０９の判定結果がＹｅｓとなり、ステップＳ１２１に進む。
ステップＳ１２１の処理は、被写体の画像表示処理である。

この処理は、図３に示す出力画像生成部２０５が実行する。表示画像サイズ調整部２０５ａが、表示態様決定部２０４において決定した表示態様に従って表示画像サイズを調整し、画像表示位置決定部２０５ｂが、表示態様決定部２０４において決定した表示態様に従って被写体の表示位置を決定して出力画像を生成して表示部に表示する。

ステップＳ１２１の処理は、
被写体表示処理－Ａであり、
被写体を床から実物大で表示する処理を実行する。
図１８～図２０は、床からの実物大表示の例を示す図である。なお、被写体を表示する基準となる床は、視聴者側の床である。

図１８に示す例は、縦長の表示領域に被写体（表示ユーザ）を実物大表示した例である。視聴ユーザの立っている床面から被写体（表示ユーザ）の頭頂部までの高さは、被写体（表示ユーザ）の身長に相当する高さとなる。

図１９に示す例は、横長の表示領域に被写体（表示ユーザ）を実物大表示した例である。視聴ユーザの立っている床面から被写体（表示ユーザ）の頭頂部までの高さは、被写体（表示ユーザ）の身長に相当する高さとなる。

図２０に示す例は、図１９に示すより小さな横長の表示領域に被写体（表示ユーザ）を実物大表示した例である。視聴ユーザの立っている床面から被写体（表示ユーザ）の頭頂部までの高さは、被写体（表示ユーザ）の身長に相当する高さとなる。

（ステップＳ１２２）
一方、ステップＳ１０９において、被写体（表示ユーザ）の視点位置（高さ）と、視聴ユーザの視点位置（高さ）との差が大きく、予め設定したしきい値より大きいと判定した場合は、ステップＳ１０９の判定結果がＮｏとなり、ステップＳ１２２に進む。
ステップＳ１２２の処理は、被写体の画像表示処理である。

この処理は、図３に示す出力画像生成部２０５が実行する。表示画像サイズ調整部２０５ａが、表示態様決定部２０４において決定した表示態様に従って表示画像サイズを調整し、画像表示位置決定部２０５ｂが、表示態様決定部２０４において決定した表示態様に従って被写体の表示位置を決定して出力画像を生成して表示部に表示する。

ステップＳ１２２の処理は、
被写体表示処理－Ｂであり、
視聴ユーザと、被写体（表示ユーザ）の視点を近づけた表示画像を生成して表示する処理を実行する。なお、被写体画像は実物大の画像である。

すなわち、視聴ユーザと、被写体（表示ユーザ）の視点の高さのずれを小さくした被写体実物大画像を生成して出力する。
図２１～図２２は、この処理によって生成された表示画像、すなわち、被写体（表示ユーザ）の視点を近づけた表示画像の例を示す図である。

図２１は、被写体（表示ユーザ）の表示領域における表示位置を変更することで、視聴ユーザと、被写体（表示ユーザ）の視点の高さのずれを少なくした表示画像を生成した例を示す図である。
図２１には、以下の２つの図を示している。
（１ａ）視聴ユーザと、被写体（表示ユーザ）の視点の差分が大きい入力画像
（１ｂ）視聴ユーザと、被写体（表示ユーザ）の視点を近づける画像処理を実行して生成した表示画像
図（１ａ）は、処理前の画像であり、図（１ｂ）は処理後の画像である。図（１ａ）に示す画像に含まれる被写体（表示ユーザ）の表示位置を変更することで、図（１ｂ）に示すように、視聴ユーザと、被写体（表示ユーザ）の視点を近づけた表示画像を生成している。

図２２は、被写体（表示ユーザ）の表示位置変更に合わせて、背景の３Ｄ画像モデルの視点位置を変更することで、視聴ユーザと、被写体（表示ユーザ）の視点を近づけた表示画像を生成した例を示す図である。
図２２には、以下の２つの図を示している。
（２ａ）視聴ユーザと、被写体（表示ユーザ）の視点の差分が大きい入力画像
（２ｂ）視聴ユーザと、被写体（表示ユーザ）の視点を近づける画像処理を実行して生成した表示画像
図（２ａ）は、処理前の画像であり、図（２ｂ）は処理後の画像である。図（２ａ）に示す画像に含まれる被写体（表示ユーザ）の表示位置を変更するとともに、背景の３Ｄ画像モデルの視点位置を変更することで、視聴ユーザと、被写体（表示ユーザ）の視点を近づけるとともに、背景を含む全体の画像を自然な画像とした表示画像を生成している。

（ステップＳ１１０）
次に、ステップＳ１０８において、表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域があると判定した場合のステップＳ１１０以下の処理について説明する。

ステップＳ１０８において、表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域があると判定した場合は、ステップＳ１０８の判定結果がＮｏとなり、ステップＳ１１０に進む。
最適表示態様決定部２０４ｂは、ステップＳ１１０において、上記（判定ｄ）の判定処理を行なう。すなわち、
（判定ｄ）表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合以下か否かの判定処理、
上記判定処理を実行する。
なお、上記しきい値は、予め規定されたしきい値である。

このステップＳ１１０において、表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合以下であると判定した場合は、ステップＳ１１０の判定結果がＹｅｓとなり、ステップＳ１２３に進む。
一方、表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合より多いと判定した場合は、ステップＳ１１０の判定結果がＮｏとなり、ステップＳ１２４に進む。

（ステップＳ１２３）
ステップＳ１１０において、表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合以下であると判定した場合は、ステップＳ１１０の判定結果がＹｅｓとなり、ステップＳ１２３に進む。
ステップＳ１２３の処理は、被写体の画像表示処理である。

この処理は、図３に示す出力画像生成部２０５が実行する。表示画像サイズ調整部２０５ａが、表示態様決定部２０４において決定した表示態様に従って表示画像サイズを調整し、画像表示位置決定部２０５ｂが、表示態様決定部２０４において決定した表示態様に従って被写体の表示位置を決定して出力画像を生成して表示部に表示する。

ステップＳ１２３の処理は、
被写体表示処理－Ｃであり、
被写体の欠落部位を隠す処理を実行して被写体を実物大で表示する処理を実行する。
図２３～図２４は、被写体の欠落部位を隠す処理を実行して被写体を実物大で表示した表示例を示す図である。

図２３に示す例は、縦長の表示領域に被写体（表示ユーザ）を実物大表示した例であり、撮影画像に含まれていない被写体の足元の欠落領域にマスク領域を設定して表示画像とした例である。

図２４に示す例は、縦長の表示領域に被写体（表示ユーザ）を実物大表示した例であり、撮影画像に含まれていない被写体の足元の欠落領域にマスク用のオブジェクトとしてテーブルを重畳表示して表示画像とした例である。

このような設定とすることで、被写体（表示ユーザ）を違和感なく表示することができる。

（ステップＳ１２４）
一方、ステップＳ１１０において、表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合より多いと判定した場合は、ステップＳ１１０の判定結果がＮｏとなり、ステップＳ１２４に進む。
ステップＳ１２４の処理は、被写体の画像表示処理である。

この処理は、図３に示す出力画像生成部２０５が実行する。表示画像サイズ調整部２０５ａが、表示態様決定部２０４において決定した表示態様に従って表示画像サイズを調整し、画像表示位置決定部２０５ｂが、表示態様決定部２０４において決定した表示態様に従って被写体の表示位置を決定して出力画像を生成して表示部に表示する。

ステップＳ１２４の処理は、
被写体表示処理－Ｄであり、
被写体の実物大表示は実行せず、構図を優先した表示処理を実行する。
図２５には、以下の２つの図を示している。
（１ａ）欠落部位の大きい被写体の実物大表示例
（１ｂ）欠落部位の大きい被写体の構図優先表示例
図（１ａ）は、処理前の画像であり、図（１ｂ）は処理後の画像である。図（１ａ）に示す画像に含まれる被写体（表示ユーザ）は上半身しか含まれず、欠落部が大きい。
図（１ｂ）に示す例は、被写体（表示ユーザ）を拡大して、実際の身長より高い被写体像を生成して表示した例であり、実物大表示にこだわることなく、構図を優先して表示画像を生成した例である。

なお、構図を優先した画像表示とは、例えば、表示領域に占める被写体の割合を多くする等の処理である。具体的には、例えば、被写体の顔を大きく表示する等、欠落部位の存在が気にならないような画像を生成して表示する処を行う。

図７、図８に示すフローチャートを参照して説明したように、本開示の画像処理装置は、表示態様決定部２０４の最適表示態様決定部２０４ｂにおいて、最適な画像表示を実行するための様々な判定処理（ステップＳ１０７～Ｓ１１０）を行ない、これらの判定結果に応じて決定した表示態様で被写体（表示ユーザ）の表示処理を行なう。

表示態様決定部２０４の最適表示態様決定部２０４ｂにおいて実行する判定処理は以下の処理である。
（判定ａ（ステップＳ１０７））表示領域上端が表示対象となる被写体人物の身長より高いか否かの判定処理
（判定ｂ（ステップＳ１０８））表示対象となる被写体人物の実物大表示により、表示部に表示できない欠落領域があるか否かの判定処理、
（判定ｃ（ステップＳ１０９））表示対象となる被写体人物の視点位置と、視聴ユーザの視点位置の差が予め規定したしきい値以下か否かの判定処理、
（判定ｄ（ステップＳ１１０））表示対象となる被写体画像に頭部が含まれ、頭部以外の欠落部分は予め規定したしきい値割合以下か否かの判定処理、

これらの判定結果に応じて、４種類の異なる表示処理（ステップＳ１２１～Ｓ１２４）を選択的に実行する。具体的には、以下の４種類の表示処理である。
（（表示処理Ａ（ステップＳ１２１））：床（視聴ユーザの立ち位置）から実物大の被写体を表示する。
（（表示処理Ｂ）（ステップＳ１２２））：視聴ユーザと被写体の視点を近づける画像処理を実行して被写体表示を実行する。
（（表示処理Ｃ）（ステップＳ１２３））：被写体の欠落部位を隠す画像処理を実行して被写体の実物大表示を実行する。
（（表示処理Ｄ）（ステップＳ１２４））：被写体の実物大表示にこだわることなく構図を優先した画像を生成して被写体表示を実行する。

このように、本開示の画像処理装置は、画像領域情報や、被写体情報、さらに視聴者情報等に応じて最適な表示態様を決定して、決定した表示態様で、被写体を含む画像を生成して表示する構成としている。この処理の結果、様々な表示部、入力画像に応じた最適な画像出力が実現される。
従って、例えば双方向コミュニケーションを行う場合に、表示部に表示された被写体を見ながらコミュニケーションを実行する視聴ユーザは、違和感のないコミュニケーションを行うことが可能となる。

［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 表示部の表示領域情報を取得する表示領域情報取得部と、
表示部に表示する被写体を含む入力画像を取得する画像取得部と、
前記入力画像を解析する画像情報解析部と、
前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有する画像処理装置。

（２） 前記表示態様決定部は、
表示領域の上端が、被写体人物の身長より高いか否かを判定し、
前記出力画像生成部は、
表示領域の上端が、被写体人物の身長より高い場合、被写体の実物大画像を含む出力画像の生成処理を実行し、
表示領域の上端が、被写体人物の身長より高くない場合、構図優先の出力画像を生成する（１）に記載の画像処理装置。

（３） 前記構図優先の出力画像は、被写体の顔領域を含む出力画像である（２）に記載の画像処理装置。

（４） 前記表示態様決定部は、
被写体人物を実物大表示する場合に、欠落領域が発生するか否かを判定し、
前記出力画像生成部は、
欠落領域が発生すると判定された場合、欠落領域に対するマスク処理を行なった出力画像、または、構図優先の出力画像を生成する（１）～（３）いずれかに記載の画像処理装置。

（５） 前記マスク処理を行なった出力画像は、前記欠落領域が隠れるマスク用のオブジェクトを被写体画像上に重畳した画像である（４）に記載の画像処理装置。

（６） 前記表示態様決定部は、
被写体人物を実物大表示する場合に、欠落領域が発生するか否かを判定し、
欠落領域が発生すると判定された場合、さらに、
入力画像に頭部が含まれ、かつ欠落領域が一定割合以下か否かを判定し、
前記出力画像生成部は、
入力画像に頭部が含まれ、かつ欠落領域が一定割合以下であると判定された場合には、欠落領域に対するマスク処理を行なった出力画像を生成し、
入力画像に頭部が含まれ、かつ欠落領域が一定割合以下であると判定されなかった場合には、構図優先の出力画像を生成する（１）～（５）いずれかに記載の画像処理装置。

（７） 前記表示態様決定部は、
表示部に表示される被写体の視線高さと、前記表示部を見る視聴ユーザの視線高さとの視線高さ差分がしきい値以下か否かを判定し、
前記出力画像生成部は、
前記視線高さ差分がしきい値以下でない場合、前記視線高さ差分を小さくした出力画像を生成する（１）～（６）いずれかに記載の画像処理装置。

（８） 前記出力画像生成部は、
前記視線高さ差分がしきい値以下でない場合、前記被写体の表示位置を変更して前記視線高さ差分を小さくした出力画像を生成する（７）に記載の画像処理装置。

（９） 前記出力画像生成部は、
前記視線高さ差分がしきい値以下でない場合、観察視点位置を変更した背景画像上に表示位置を変更した被写体画像を重畳した出力画像を生成する（７）に記載の画像処理装置。

（１０） 前記画像処理装置は、さらに、
データ通信を実行する通信部を有し、
前記画像情報解析部は、
前記通信部が受信した入力画像の解析処理を実行する（１）～（９）いずれかに記載の画像処理装置。

（１１） 前記画像処理装置は、さらに、
撮像部を有し、
前記表示態様決定部は、
前記撮像部の撮影した視聴ユーザの情報を適用して表示部に表示する被写体の表示態様を決定する（１）～（１０）いずれかに記載の画像処理装置。

（１２） ネットワークにより接続された第１画像処理装置と第２画像処理装置との間で画像送受信を実行する画像処理システムであり、
前記第１画像処理装置は、
表示部の表示領域情報を取得する表示領域情報取得部と、
前記第２画像処理装置から、表示部に表示する被写体を含む入力画像を受信する通信部と、
前記入力画像を解析する画像情報解析部と、
前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有する画像処理システム。

（１３） 画像処理装置において実行する画像処理方法であり、
表示領域情報取得部が、表示部の表示領域情報を取得する表示領域情報取得ステップと、
画像取得部が、表示部に表示する被写体を含む入力画像を取得する画像取得ステップと、
画像情報解析部が、前記入力画像を解析する画像情報解析ステップと、
表示態様決定部が、前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定ステップと、
出力画像生成部が、前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成ステップを実行する画像処理方法。

（１４） 画像処理装置において画像処理を実行させるプログラムであり、
表示領域情報取得部が、表示部の表示領域情報を取得する表示領域情報取得ステップと、
画像取得部が、表示部に表示する被写体を含む入力画像を取得する画像取得ステップと、
画像情報解析部が、前記入力画像を解析する画像情報解析ステップと、
表示態様決定部が、前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定ステップと、
出力画像生成部が、前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成ステップを実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、例えば双方向コミュニケーションを実行する画像処理装置に表示する被写体画像を、表示部や、被写体、あるいは視聴者等の各情報に応じた最適な表示画像とする構成が実現される。
具体的には、表示領域情報取得部が、表示部の表示領域情報を取得し、画像取得部が、表示部に表示する被写体を含む入力画像を取得する。さらに、画像情報解析部が、入力画像解析処理を実行し、表示態様決定部が、解析結果を適用して表示部に表示する被写体の表示態様を決定し、決定した表示態様に従って生成した出力画像を表示部に表示する。実物大表示を行った場合の被写体欠落部に対する処理や、視線位置の修正等を実行し、自然な被写体表示を実行する。
本構成により、例えば双方向コミュニケーションを実行する画像処理装置に表示する被写体画像を、表示部や、被写体、あるいは視聴者等の各情報に応じた最適な表示画像とする構成が実現される。

１０，２０ 画像処理装置
１１，２１ 表示部（ディスプレイ）
１２，２２ カメラ
１３，２３ スピーカ
３０ ネットワーク
１００ 画像処理装置
１０１ コントローラ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ バス
１０５ 入出力インタフェース
１０６ 撮像部
１０７ 表示部
１０７ａ 表示領域
１０８ 操作受付部
１０９ 記憶部
１１０ 通信部
２０１ 表示領域情報取得部
２０２画像取得部
２０３ 画像情報解析部
２０３ａ 体部位検出部
２０３ｂ 被写体情報取得部
２０４ 表示態様決定部
２０４ａ 実物大画像生成部
２０４ｂ 最適表示態様決定部
２０５ 出力画像生成部
２０５ａ 表示画像サイズ調整部
２０５ｂ 画像表示位置決定部
２０６ 再生部

Claims (11)

1. 表示部の表示領域情報を取得する表示領域情報取得部と、
   表示部に表示する被写体を含む入力画像を取得する画像取得部と、
   前記入力画像を解析する画像情報解析部と、
   前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
   前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有し、
   前記表示態様決定部は、
   表示領域の上端が、被写体人物の身長より高いか否かを判定し、
   前記出力画像生成部は、
   表示領域の上端が、被写体人物の身長より高い場合、被写体の実物大画像を含む出力画像の生成処理を実行し、
   表示領域の上端が、被写体人物の身長より高くない場合、構図優先の出力画像を生成する画像処理装置。
2. 前記構図優先の出力画像は、被写体の顔領域を含む出力画像である請求項１に記載の画像処理装置。
3. 表示部の表示領域情報を取得する表示領域情報取得部と、
   表示部に表示する被写体を含む入力画像を取得する画像取得部と、
   前記入力画像を解析する画像情報解析部と、
   前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
   前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有し、
   前記画像情報解析部は、
   前記入力画像から被写体人物の体の部位を検出する体部位検出部を有し、
   前記表示態様決定部は、
   被写体人物を実物大表示する場合に、前記体部位検出部が検出した前記入力画像に含まれる前記被写体人物の体の部位情報に基づいて欠落領域が発生するか否か、および発生する欠落領域の部位を判定し、
   前記出力画像生成部は、
   欠落領域が発生すると判定された場合、欠落領域の部位に応じて欠落領域に対するマスク処理を行なった出力画像、または、構図優先の出力画像を生成する画像処理装置。
4. 前記マスク処理を行なった出力画像は、前記欠落領域が隠れるマスク用のオブジェクトを被写体画像上に重畳した画像である請求項３に記載の画像処理装置。
5. 前記表示態様決定部は、
   被写体人物を実物大表示する場合に、前記体部位検出部が検出した前記入力画像に含まれる前記被写体人物の体の部位情報に基づいて欠落領域が発生するか否か、および発生する欠落領域の部位を判定し、
   欠落領域が発生すると判定された場合、さらに、
   入力画像に頭部が含まれ、かつ欠落領域が一定割合以下か否かを判定し、
   前記出力画像生成部は、
   入力画像に頭部が含まれ、かつ欠落領域が一定割合以下であると判定された場合には、欠落領域に対するマスク処理を行なった出力画像を生成し、
   入力画像に頭部が含まれ、かつ欠落領域が一定割合以下であると判定されなかった場合には、構図優先の出力画像を生成する請求項３に記載の画像処理装置。
6. 表示部の表示領域情報を取得する表示領域情報取得部と、
   表示部に表示する被写体を含む入力画像を取得する画像取得部と、
   前記入力画像を解析する画像情報解析部と、
   前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
   前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有し、
   前記表示態様決定部は、
   表示部に表示される被写体の視線高さと、前記表示部を見る視聴ユーザの視線高さとの視線高さ差分がしきい値以下か否かを判定し、
   前記出力画像生成部は、
   前記視線高さ差分がしきい値以下でない場合、観察視点位置を変更した背景画像上に表示位置を変更した被写体画像を重畳した出力画像を生成する画像処理装置。
7. 前記画像処理装置は、さらに、
   データ通信を実行する通信部を有し、
   前記画像情報解析部は、
   前記通信部が受信した入力画像の解析処理を実行する請求項１～６いずれかに記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   撮像部を有し、
   前記表示態様決定部は、
   前記撮像部の撮影した視聴ユーザの情報を適用して表示部に表示する被写体の表示態様を決定する請求項１～７いずれかに記載の画像処理装置。
9. ネットワークにより接続された第１画像処理装置と第２画像処理装置との間で画像送受信を実行する画像処理システムであり、
   前記第１画像処理装置は、
   表示部の表示領域情報を取得する表示領域情報取得部と、
   前記第２画像処理装置から、表示部に表示する被写体を含む入力画像を受信する通信部と、
   前記入力画像を解析する画像情報解析部と、
   前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定部と、
   前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成部を有し、
   前記表示態様決定部は、
   表示領域の上端が、被写体人物の身長より高いか否かを判定し、
   前記出力画像生成部は、
   表示領域の上端が、被写体人物の身長より高い場合、被写体の実物大画像を含む出力画像の生成処理を実行し、
   表示領域の上端が、被写体人物の身長より高くない場合、構図優先の出力画像を生成する画像処理システム。
10. 画像処理装置において実行する画像処理方法であり、
    表示領域情報取得部が、表示部の表示領域情報を取得する表示領域情報取得ステップと、
    画像取得部が、表示部に表示する被写体を含む入力画像を取得する画像取得ステップと、
    画像情報解析部が、前記入力画像を解析する画像情報解析ステップと、
    表示態様決定部が、前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定ステップと、
    出力画像生成部が、前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成ステップを実行し、
    前記表示態様決定部は、
    表示領域の上端が、被写体人物の身長より高いか否かを判定し、
    前記出力画像生成部は、
    表示領域の上端が、被写体人物の身長より高い場合、被写体の実物大画像を含む出力画像の生成処理を実行し、
    表示領域の上端が、被写体人物の身長より高くない場合、構図優先の出力画像を生成する画像処理方法。
11. 画像処理装置において画像処理を実行させるプログラムであり、
    表示領域情報取得部が、表示部の表示領域情報を取得する表示領域情報取得ステップと、
    画像取得部が、表示部に表示する被写体を含む入力画像を取得する画像取得ステップと、
    画像情報解析部が、前記入力画像を解析する画像情報解析ステップと、
    表示態様決定部が、前記画像情報解析部の解析結果を適用して表示部に表示する被写体の表示態様を決定する表示態様決定ステップと、
    出力画像生成部が、前記表示態様決定部の決定した表示態様に従って表示部に表示する出力画像を生成する出力画像生成ステップを実行させ、
    前記プログラムは、さらに、
    前記表示態様決定部に、
    表示領域の上端が、被写体人物の身長より高いか否かを判定させ、
    前記出力画像生成部に、
    表示領域の上端が、被写体人物の身長より高い場合、被写体の実物大画像を含む出力画像の生成処理を実行させ、
    表示領域の上端が、被写体人物の身長より高くない場合、構図優先の出力画像を生成させるプログラム。

Images