JP6283160B2 - 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法 - Google Patents

Description

本発明は、表示装置に接続される情報処理装置に関する。

従来、２点間で互いの映像を含む情報を双方向で通信するコミュニケーション装置がある（例えば、特許文献１を参照）。

特開２０１２−８５１７２号公報

しかし、特許文献１には、部屋等に固定的に設置されたディスプレイを用いて相手とコミュニケーションをとることが開示されているのみである。

本発明は、上記した問題に鑑み、画像を用いたコミュニケーションの利便性を高めることを課題とする。

本発明では、上記課題を解決するために、以下の構成を採用した。即ち、本発明は、第一の表示装置および第二の表示装置に接続されるコンピュータを、前記第一の表示装置を視認するユーザを撮像可能なカメラを用いて撮像された第一画像を取得する第一画像取得手段と、ネットワークを介して接続された他の情報処理装置から、該他の情報処理装置のユーザを撮像可能な他のカメラを用いて撮像された第二画像を取得する第二画像取得手段と、前記第一画像を、前記第一の表示装置および前記第二の表示装置の少なくとも何れかに表示させ、前記第二画像を、前記第一の表示装置および前記第二の表示装置の少なくとも何れかに表示させる表示制御手段と、として機能させるための情報処理プログラムである。

また、前記情報処理プログラムは、前記コンピュータを、前記第一の表示装置と前記第二の表示装置との間で、前記第一画像または前記第二画像の表示状態を切り替える切替手段として更に機能させてもよい。

また、前記表示制御手段は、前記第一画像を前記第一の表示装置に表示させ、前記第二画像を前記第二の表示装置に表示させてもよい。

また、前記表示制御手段は、前記第一画像を前記第二の表示装置に更に表示させてもよい。

また、前記表示制御手段は、前記第一画像および前記第二画像を前記第一の表示装置に表示させ、前記第一画像および前記第二画像の何れでもない画像を前記第二の表示装置に表示させてもよい。

また、前記切替手段によって切り替えられる表示状態には、前記第一画像を前記第一の表示装置に表示させ且つ前記第二画像を前記第二の表示装置に表示させる第一の表示状態
と、前記第一画像および前記第二画像を前記第一の表示装置に表示させ且つ前記第一画像および前記第二画像の何れでもない画像を前記第二の表示装置に表示させる第二の表示状態と、が含まれてもよい。

また、前記第一の表示装置および前記第二の表示装置は、夫々、第一表示領域および第二表示領域を有し、前記表示制御手段は、前記第一画像および前記第二画像の一方を、前記第一の表示装置の前記第一表示領域および前記第二の表示装置の前記第一表示領域に表示させ、他方を、前記第一の表示装置の前記第二表示領域および前記第二の表示装置の前記第二表示領域に表示させてもよい。

また、前記情報処理プログラムは、前記コンピュータを、前記第一表示領域と前記第二表示領域との間で、前記第一画像および前記第二画像を入れ替える切替手段として更に機能させてもよい。

また、前記情報処理プログラムは、前記コンピュータを、前記第一の表示装置に設けられて前記ユーザによる操作を受け付ける操作受付手段として更に機能させ、前記切替手段は、前記操作受付手段によって前記第一の表示装置における前記第二表示領域を指示する操作が受け付けられた場合に、前記第一の表示装置および前記第二の表示装置の夫々において、前記第一画像および前記第二画像を入れ替えてもよい。

また、前記表示制御手段は、同一の表示装置において、前記第一表示領域が、前記第二表示領域に比べて広い領域となるように表示制御してもよい。

また、前記第一の表示装置は、前記ユーザによって占有可能な表示装置であり、前記第二の表示装置は、前記ユーザ以外の閲覧者からも視認可能な表示装置であってもよい。

また、前記コンピュータは、可搬型情報処理装置に接続され、前記第一の表示装置および前記カメラは、該可搬型情報処理装置に設けられてもよい。

また、本発明は、情報処理装置、１または複数の情報処理装置を有する情報処理システム、コンピュータによって実行される方法、またはコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることが出来る記録媒体をいう。

本発明によれば、画像を用いたコミュニケーションの利便性を高めることが可能となる。

実施形態に係る情報処理システムのハードウェア構成の概略を示す図である。 実施形態に係る情報処理システムの機能構成の概略を示す図である。 実施形態に係る発呼側ビデオチャット処理の流れを示すフローチャートＡである。 実施形態に係る発呼側ビデオチャット処理の流れを示すフローチャートＢである。 実施形態におけるビデオチャットアプリケーションの宛先ユーザ選択画面を示す図である。 実施形態におけるビデオチャットアプリケーションの接続前演出画面を示す図である。 実施形態におけるビデオチャットアプリケーションの接続演出画面を示す図である。 実施形態におけるビデオチャットアプリケーションの終了演出画面を示す図である。 実施形態におけるビデオチャットアプリケーションの終了後演出画面を示す図である。 実施形態に係る着呼側ビデオチャット処理の流れを示すフローチャートである。 実施形態において、外部ディスプレイに通信相手画像を、内蔵ディスプレイにユーザ画像を表示させるディスプレイ割当の例を示す図である。 実施形態において、外部ディスプレイには通信相手画像およびユーザ画像の何れも表示せず、内蔵ディスプレイに通信相手画像およびユーザ画像を表示させるディスプレイ割当の例を示す図である。 実施形態において、ビデオチャットを行いながら「お絵描きチャット」を行う場合のディスプレイ割当の例を示す図である。 実施形態において、ビデオチャットの画像上に「お絵描きチャット」を行う場合のディスプレイ割当の例を示す図である。 実施形態において、外部ディスプレイおよび内蔵ディスプレイの夫々に通信相手画像およびユーザ画像を表示させるディスプレイ割当の例を示す図である。 実施形態において、ジャイロセンサーによる出力を用いて行われる画像の傾き補正の概要を示す図である。 実施形態における、ビデオチャット中の画像のキャプチャ処理の流れを示すシーケンス図である。

以下、本発明の実施の形態を、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態毎に具体的構成が適宜採用されてよい。例えば、本発明は、一般的なコンピュータにおいて実行される情報処理プログラム、情報処理装置、１または複数の情報処理装置を有する情報処理システムおよび情報処理方法等にも適用することが出来る。

＜実施形態に係るシステムの概要＞
図１は、本実施形態に係る情報処理システム１００のハードウェア構成の概略を示す図である。本実施形態に係る情報処理システム１００は、テレビジョン受像機等の外部ディスプレイ３に接続される据置型の第一情報処理装置１と、内蔵ディスプレイ２６、カメラ２９およびマイクロフォン２８を有する可搬型（手持ち型、携帯型等）の第二情報処理装置２と、を備える。第二情報処理装置２は可搬型であるため、ユーザが自由に持ち歩くことができ、第二情報処理装置２の内蔵ディスプレイ２６はユーザによる使用中、当該ユーザによって占有可能である。なお、第二情報処理装置２は、第一情報処理装置１のコントローラであってもよい。また、第二情報処理装置２は、ディスプレイ付の操作装置であってもよい。

また、情報処理システム１００は、インターネット等のネットワークを介して他の１または複数の情報処理システム１００と接続される。ネットワークを介して接続された複数の情報処理システム１００は、夫々の情報処理システム１００におけるカメラ２９およびマイクロフォン２８を用いて入力された動画像および音声を、ネットワークを介して互い
に送受信することで、ユーザにビデオチャット機能を提供する。

本実施形態では、第二情報処理装置２において入力された動画像および音声は無線通信部２４および１６を介して第一情報処理装置１に送信され、第一情報処理装置１が、ネットワークを介して他の情報処理システム１００に対して動画像および音声を送信する。他の情報処理システム１００から受信された動画像および音声は、第一情報処理装置１から第二情報処理装置２に対して送信され、第二情報処理装置２は、受信した動画像および音声をデコードして、内蔵ディスプレイ２６および内蔵スピーカ３０から出力する。但し、他の情報処理システム１００とネットワークを介して通信する手段は、第二情報処理装置側２に備えられてもよい。第一情報処理装置１は、受信された動画像および音声を、外部ディスプレイ３および外部スピーカ４に出力させる。

第一情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、補助記憶装置１４と、第二情報処理装置２との間で無線通信を行うための無線通信部１６と、外部ディスプレイ３および外部スピーカ４に接続される出力インターフェース１７と、ネットワークを介して他の情報処理システム１００と通信するためのネットワークインターフェース１８と、を備える情報処理装置である。

ＣＰＵ１１は、中央処理装置であり、ＲＡＭ１２およびＲＯＭ１３等に展開された命令およびデータを処理することで、ＲＡＭ１２、補助記憶装置１４等の、第一情報処理装置１に備えられた各構成を制御する。また、ＲＡＭ１２は、主記憶装置であり、ＣＰＵ１１によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３は、第一情報処理装置１の制御部を構成する。

補助記憶装置１４は、不揮発性の記憶装置であり、主に第一情報処理装置１の電源を落としても保持したい情報、例えば、ＲＡＭ１２にロードされる第一情報処理装置１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、後述する処理を実行するための各種プログラムの他、第一情報処理装置１によって使用される各種データが書き込まれ、読み出される。補助記憶装置１４としては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。また、補助記憶装置１４として、第一情報処理装置１に対して着脱可能に装着される可搬媒体が用いられてもよい。可搬媒体の例としては、ＥＥＰＲＯＭ等によるメモリーカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等が挙げられる。可搬媒体による補助記憶装置１４と、可搬型ではない補助記憶装置１４とは、組み合わせて用いることも可能である。

無線通信部１６は、所定の帯域の電波を送受信し、第二情報処理装置２との無線通信を行うためのデバイスである。

第二情報処理装置２は、ＣＰＵ２１と、ＲＡＭ２２と、ＲＯＭ２３と、第一情報処理装置１との間で無線通信を行うための無線通信部２４と、ジャイロセンサー２５と、内蔵ディスプレイ２６と、内蔵ディスプレイ２６に設けられたタッチパネル２７と、マイクロフォン２８と、カメラ２９と、内蔵スピーカ３０と、が電気的に接続された情報処理装置である。なお、第一情報処理装置１および第二情報処理装置２の具体的なハードウェア構成に関しては、実施の形態毎に適宜構成要素の省略や置換、追加が行われてよい。

第二情報処理装置２に備えられたＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３および無線通信
部２４については、第一情報処理装置１に備えられたＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３および無線通信部１６と概略同様であるため、説明を省略する。

第二情報処理装置２は、第一情報処理装置１の無線通信部１６によって送信され、無線通信部２４によって受信された動画像および音声をデコードして、内蔵ディスプレイ２６および内蔵スピーカ３０から出力する。なお、動画像および音声のデコードは、ＣＰＵ２１によって行われてもよいし、ＣＰＵ２１とは別にデコード用のプロセッサを設け（図示は省略する）、このプロセッサによって行われてもよい。

また、第二情報処理装置２に設けられたジャイロセンサー２５、タッチパネル２７、マイクロフォン２８およびカメラ２９等の入力装置を介して取得された情報は、無線通信部２４および１６を介して、第一情報処理装置１に送信される。

カメラ２９は、第二情報処理装置２をユーザが利用する状態で、ユーザを撮像可能な位置、換言すれば、撮像方向がユーザを向く位置に設けられる。ここで、第二情報処理装置２をユーザが利用する状態とは、第二情報処理装置２をユーザが利用するために机等に置いた状態、またはユーザによって利用のために把持されている状態、等である。このような位置にカメラ２９が設けられることで、情報処理システム１００は、ユーザが後述するビデオチャットアプリケーションを利用している間、ユーザを撮像することが出来る。

また、情報処理システム１００は、ネットワークを介してサーバと通信可能である。サーバは、情報処理システム１００のユーザ情報と関連付けて、情報処理システム１００の接続先情報を管理する。サーバは、情報処理システム１００からの要求に応じて、通信相手のユーザ情報に関連付けて保持されている接続先情報を通知する。

図２は、本実施形態に係る情報処理システム１００の機能構成の概略を示す図である。本実施形態に係る情報処理システム１００は、ＣＰＵ１１および２１が、ＲＡＭ１２および２２に展開された各種プログラムを夫々解釈および実行することで、ユーザ画像取得部３１、通信相手画像取得部３２、表示制御部３３、切替部３４および通信制御部３５を備える情報処理システム１００として機能する。

ユーザ画像取得部３１は、カメラ２９を用いて撮像されたユーザ画像を取得する。また、通信相手画像取得部３２は、ネットワークを介して接続された他の情報処理システム１００から、当該他の情報処理システム１００のユーザの画像である通信相手画像を取得する。

表示制御部３３は、ユーザ画像を、内蔵ディスプレイ２６および外部ディスプレイ３の少なくとも何れかに表示させ、通信相手画像を、内蔵ディスプレイ２６および外部ディスプレイ３の少なくとも何れかに表示させる。ビデオチャット中の、外部ディスプレイ３と内蔵ディスプレイ２６とに表示される画像を割り当てる場合のバリエーションについては、図１０Ａから図１０Ｄを用いて後述する。

切替部３４は、内蔵ディスプレイ２６と外部ディスプレイ３との間で、ユーザ画像または通信相手画像の表示状態を切り替える。本実施形態に係る情報処理システム１００は、ビデオチャットに用いる画像を２つのディスプレイに対して様々なパターンで割り当てることが出来、また、ビデオチャット中に、ビデオチャットに用いる画像が表示されるディスプレイを自由に変更することが可能である。例えば、切替部３４によって切り替えられる表示状態には、図１０Ａから図１０Ｄを用いて後述する表示状態が含まれる。

通信制御部３５は、サーバまたは通信相手の情報処理システム１００との間でネットワ
ークを介して行われる通信を制御する。

＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、本実施形態に係るフローチャートに示された処理の具体的な内容および処理順序は、本発明を実施するための一例である。具体的な処理内容および処理順序は、本発明の実施の形態毎に適宜選択されてよい。

図３Ａおよび図３Ｂは、本実施形態に係る発呼側ビデオチャット処理の流れを示すフローチャートである。本フローチャートに示された発呼側ビデオチャット処理は、ユーザ操作に基づいて、情報処理システム１００にインストールされたビデオチャットアプリケーションが起動されたことを契機として実行される。

ステップＳ１０１およびステップＳ１０２では、ユーザの動画像および宛先ユーザリストが表示され、ビデオチャットの通信相手の選択が受け付けられる。ビデオチャットアプリケーションが起動されると、ユーザ画像取得部３１は、カメラ２９で撮像されている現在の動画像、即ち、ユーザの現在の動画像を取得し、表示制御部３３は、取得されたユーザの動画像を第二情報処理装置２の内蔵ディスプレイ２６に表示させる。また、表示制御部３３は、更に、外部ディスプレイ３および内蔵ディスプレイ２６に、宛先ユーザリストを表示させる（ステップＳ１０１）。

図４は、本実施形態におけるビデオチャットアプリケーションの宛先ユーザ選択画面を示す図である。外部ディスプレイ３には、宛先ユーザリストに登録されているユーザのアバターが表示され、内蔵ディスプレイ２６には、宛先ユーザリストに登録されているユーザのアイコンおよび名前が、ユーザの動画像に重畳されて表示される。外部ディスプレイ３には、更に、ユーザと宛先ユーザリストに登録されているユーザとの関係性や、過去のビデオチャットの記録（キャプチャされた画像や、後述する「お絵描きチャット」で編集された画像等）が表示されてもよい。また、内蔵ディスプレイ２６に表示されるユーザの動画像は、アプリケーションの起動と同時に表示されてもよいし、アプリケーションの起動後、ユーザによる表示操作を待って表示されてもよい。

なお、外部ディスプレイ３および内蔵ディスプレイ２６に表示される宛先ユーザリストは、所定の優先順位に従って並べられていることが好ましい。例えば、宛先ユーザリストは、これまでにビデオチャットを行った合計時間が長い順や、これまでにビデオチャットを行った回数が多い順、等の利用頻度の高い宛先ユーザの順番で、外部ディスプレイ３および内蔵ディスプレイ２６に宛先ユーザを表示される。図４に示された例では、優先順位が高い順に左から右へユーザのアバターまたはアイコンが並べられる。但し、アイコンの並びは左から右の並びに限定されない。アイコンは、上下方向に並べられてもよいし、複数列／複数行に亘って並べられてもよい。また、宛先ユーザの表示順は、ビデオチャットの利用頻度に基づく順番でなくてもよい。例えば、宛先ユーザは、以前にビデオチャットを行った日付に基づいて最新のものから順番に並べられてもよいし、ユーザ名に基づいて「あいうえお」順に並べられてもよい。

また、内蔵ディスプレイ２６に表示されるユーザ画像は、カメラ２９による撮像画像を反転させたものとしてもよい。このようにすることで、ユーザは、内蔵ディスプレイ２６の表示を、自身を映す鏡のように扱うことが出来、内蔵ディスプレイ２６の表示を、ビデオチャット開始前に身だしなみを整える等の目的に用いることが出来る。

また、外部ディスプレイ３または内蔵ディスプレイ２６には、予めサーバから取得された宛先ユーザリスト上のユーザの情報に基づいて、夫々の宛先ユーザがオンライン状態（
通信相手の情報処理システム１００に接続可能な状態）であるか、またはオフライン状態（通信相手の情報処理システム１００に接続不可能な状態）であるかを示す表示がされてもよい。

内蔵ディスプレイ２６に宛先ユーザリストが表示されると、ユーザは、内蔵ディスプレイ２６に設けられたタッチパネル２７を介して所望の宛先ユーザのアイコンを選択する操作を行うことで、宛先ユーザを選択することが出来る。情報処理システム１００は、ユーザによる宛先ユーザの選択操作を受け付ける（ステップＳ１０２）。なお、本実施形態では、ビデオチャットを行う場合に、ユーザが行わなければならない操作は、ビデオチャットアプリケーションの起動操作、および宛先ユーザの選択操作であるため、ユーザは、２ステップの操作でビデオチャットを行うことが出来る。また、ビデオチャットアプリケーションの起動操作および宛先ユーザの選択操作を、夫々タッチパネル２７を１回タッチするのみの操作とした場合、ユーザは、タッチパネル２７を２回タッチするのみで、ビデオチャットを行うことが出来る。但し、誤発信を防ぐために、宛先ユーザの選択後に確認用の「発信ボタン」が有効化され、このボタンの押下を待って接続を開始することとしてもよい。その後、処理はステップＳ１０３へ進む。

ステップＳ１０３では、サーバへの接続が開始される。通信制御部３５は、サーバに接続し、宛先ユーザ（以降、「通信相手」と称する）の情報処理システム１００の接続先情報（例えば、ＩＰアドレス）を取得する。サーバは、ユーザ情報と、ユーザ情報に係る情報処理システム１００の接続先情報を保持しており、情報処理システム１００による接続先情報の要求に応じて、通信相手の接続先情報を返信する。サーバへの接続が開始されると、処理はステップＳ１０４へ進む。

ステップＳ１０４では、通信相手の家までユーザのアバターが歩くアニメーションが表示される。表示制御部３３は、通信相手の家に向かって、ユーザのアバターが道を歩いていくアニメーションを生成し、外部ディスプレイ３に表示させる。このアニメーションは、所定の時間（例えば、１０秒）表示される。

図５は、本実施形態におけるビデオチャットアプリケーションの接続前演出画面を示す図である。ここで表示されるアニメーションの道の両脇には、通信相手に関連する情報が表示される。表示制御部３３は、通信相手との前回のビデオチャットで撮像された画像の一部や、前回のビデオチャットで交わされた会話の一部を音声認識することで得られたテキスト等を、道の両脇に配置されるように、外部ディスプレイ３に表示させる。但し、接続前演出画面において、「道」を表示しない演出が行われてもよい。このような場合であっても、通信相手との前回のビデオチャットで撮像された画像の一部や、前回のビデオチャットで交わされた会話の一部を音声認識することで得られたテキスト等を、外部ディスプレイ３に表示させてよい。このようにすることで、本実施形態に係るビデオチャットアプリケーションは、ユーザに対して、これからビデオチャットを行う相手に関する記憶を思い出させ、またこれから始まるビデオチャットにおける会話のきっかけを与えることが出来る。但し、前回のビデオチャットで交わされた会話の一部は、音声のまま外部スピーカ４または第二情報処理装置２の内蔵スピーカ３０から出力されてもよい。なお、この間も第二情報処理装置２の内蔵ディスプレイ２６には、カメラ２９で撮像されたユーザの現在の動画像が表示される。また、内蔵ディスプレイ２６には、ビデオレター作成の選択肢が表示されてもよい。この選択肢は、アニメーションの表示中にタッチパネル２７を介して選択可能である。ビデオレターの作成が選択された場合の処理の流れについては後述する。その後、処理はステップＳ１０５へ進む。

ステップＳ１０５およびステップＳ１０６では、通信相手の状況およびビデオレター作成の選択状況が判定される。情報処理システム１００は、ステップＳ１０３において接続
したサーバから、通信相手の接続先情報が得られたか否かを判定することで、通信相手がオンライン状態（通信相手の情報処理システム１００に接続可能な状態）であるか、またはオフライン状態（通信相手の情報処理システム１００に接続不可能な状態）であるかを判定する（ステップＳ１０５）。また、情報処理システム１００は、ビデオレター作成を選択するユーザ操作が受け付けられたか否かを判定する（ステップＳ１０６）。ここで、通信相手がオフライン状態であると判定された場合、またはビデオレター作成が選択されたと判定された場合、処理はステップＳ１２１へ進む。一方、相手方がオンライン状態であり、且つビデオレター作成が選択されなかったと判定された場合、処理はステップＳ１０７へ進む。なお、通信相手がオフライン状態であると判定された場合（ステップＳ１０５でＹＥＳ）、自動的にビデオレターの作成（ステップＳ１２１）に進むのではなく、ユーザにビデオレターの作成の要否を選択させてもよい。ここで、ユーザによってビデオレターの作成が選択された場合にはステップＳ１２１以降のビデオレターの作成に進む。一方、ユーザによってビデオレターの作成が選択されなかった場合、本フローチャートに示された処理は終了する。

ステップＳ１０７では、ユーザのアバターが、通信相手の家に到着し、通信相手のアバターを家のドアの前で待つアニメーションが表示される。表示制御部３３は、通信相手の家にユーザのアバターが到着し、通信相手の家のドアを叩く（またはドアホンを押す）アニメーションを生成し、外部ディスプレイ３に表示させる。

図６は、本実施形態におけるビデオチャットアプリケーションの接続演出画面を示す図である。ステップＳ１０４における、ユーザのアバターが通信相手の家まで歩くアニメーション（図５を参照）や、ステップＳ１０７における、ユーザのアバターが通信相手の家に到着し、通信相手のアバターが家から現れるのを待つアニメーション（図６を参照）が表示されることで、本実施形態に係るビデオチャットアプリケーションは、ユーザに対して、これから通信相手と場所を共有して会話をする、あるいは通信相手に会いにいく、という印象を与えることが出来る。なお、この間も第二情報処理装置２の内蔵ディスプレイ２６には、カメラ２９で撮像されたユーザの現在の動画像が表示される。但し、家が表示されない演出が採用されてもよい。例えば、鏡が表示され、アバターが鏡の向こう側に移動するとビデオチャットが始まるような演出が考えられる。このような演出を行うことで、地理的に離れたユーザ同士があたかも空間を共有しているように会話することができるという、超日常的な世界を表現することが出来る。その後、処理はステップＳ１０８へ進む。

ステップＳ１０８では、通信相手の情報処理システム１００への接続および発呼が行われる。通信制御部３５は、ステップＳ１０３におけるサーバへの問い合わせによって得られた通信相手の接続先情報に基づいて、通信相手の情報処理システム１００へ接続する。また、この接続を介して、通信相手の情報処理システム１００へビデオチャット開始要求を送信し（発呼し）、通信相手の情報処理システム１００からの応答を待つ。通信相手の情報処理システム１００は、ビデオチャット開始要求を受信した（着呼した）ことをユーザに通知し、通信相手によるビデオチャットに応じるか否かの操作を待つ。その後、処理はステップＳ１０９へ進む。

なお、発呼側ユーザの情報処理システム１００は、発呼の後、着呼側ユーザの情報処理システム１００がビデオチャットの開始要求に応じる前に、着呼側ユーザの情報処理システム１００に対して、ユーザ画像取得部３１によって取得される動画像の送信を開始してもよい。ビデオチャットの開始前に着呼側ユーザの情報処理システム１００に送信された動画像の着呼側での処理については、図９に示すフローチャートを用いて後述する。

ステップＳ１０９では、ユーザに対して外見チェックが促される。情報処理システム１
００は、ステップＳ１０８における発呼の後、通信相手の情報処理システム１００からの応答を受信するまでの間、第二情報処理装置２の内蔵ディスプレイ２６に表示されたユーザの現在の動画像を参照して外見チェックを行うよう、ユーザに促すメッセージを出力する。メッセージは、テキストや画像として外部ディスプレイ３または内蔵ディスプレイ２６に出力されてもよいし、音声として外部スピーカ４または内蔵スピーカ３０に出力されてもよい。

ここで出力されるメッセージとしては、例えば、ユーザに笑顔を作るよう促すメッセージが挙げられる。情報処理システム１００は、ユーザに対して笑顔を作るよう促すメッセージを出力し、カメラ２９によって得られた画像を画像解析エンジンの笑顔検出機能を用いて解析することで、笑顔を検出する。笑顔が検出された場合、情報処理システム１００は、ユーザに対して笑顔が検出されたことを示す表示を行う。この表示は、メッセージの出力であってもよいし、ディスプレイにおける表示の変化であってもよい。その後、処理はステップＳ１１０へ進む。

ステップＳ１１０では、ビデオチャットが開始される。通信制御部３５は、通信相手の情報処理システム１００から、ビデオチャットに応じる旨の応答が受信されると、ユーザ画像取得部３１によって取得された動画像および音声の通信相手の情報処理システム１００への送信、および通信相手画像取得部３２による通信相手からの動画像および音声の受信、を開始することで、ビデオチャットを開始する。送受信されるユーザ画像および通信相手画像は、表示制御部３３によって外部ディスプレイ４または内蔵ディスプレイ２６に表示される。また、ビデオチャットの継続中、ユーザの情報処理システム１００と、通信相手の情報処理システム１００とは、動画像及び音声に限らず、ビデオチャットに必要な情報を、ネットワークを介して送受信する。ここで送受信される情報には、例えば、ビデオチャットの終了操作が受け付けられたことを示す情報や、後述する「お絵描きチャット」のための情報、後述するキャプチャ処理のために必要な情報、等が含まれる。

更に、ビデオチャット中には、ビデオチャットにおける画像の一部のキャプチャや、ビデオチャットで交わされた会話の一部の録音、等が行われる。このようにしてキャプチャまたは録音された画像の一部および会話の一部は、次回ビデオチャットが行われる際にステップＳ１０４で出力するための情報や、今回のビデオチャットの終了後にステップＳ１１４およびステップＳ２０９で出力するための情報として用いられる。その後、処理はステップＳ１１１へ進む。

ステップＳ１１１からステップＳ１１３では、ビデオチャットの終了操作が受け付けられ、ビデオチャットの終了処理が行われる。ステップＳ１１０で開始されたビデオチャットは、ユーザまたは通信相手によるビデオチャットの終了操作が行われるまで継続される。情報処理システム１００は、ユーザまたは通信相手によるビデオチャットの終了操作を受け付ける（ステップＳ１１１）。なお、ビデオチャットの終了操作が受け付けられたことを示す情報は、ユーザの情報処理システム１００と、通信相手の情報処理システム１００との間で、ネットワークを介して送受信される。ビデオチャットの終了操作が受け付けられると、表示制御部３３および通信制御部３５は、終了操作の受付から一定時間（例えば、５秒）ビデオチャットの動画像・音声の送受信および出力を継続してから（ステップＳ１１２）、通信相手の情報処理システム１００との接続を切断する（ステップＳ１１３）。ここで、一定時間とは、終了操作の受付後、セッションの切断や表示画像の切替等の通常の終了処理に必要となる時間よりも長い時間である。但し、ステップＳ１１２の一定時間継続処理は、ユーザ操作またはユーザ設定によってキャンセルされてもよい。本ステップの処理は、ビデオチャット処理に係る双方の情報処理システム１００によって互いに動画像・音声が送受信されることによるものであるため、一方の情報処理システム１００によって一定時間継続処理がキャンセルされた場合、他方の情報処理システム１００でも
一定時間継続処理がキャンセルされることが好ましい。

図７は、本実施形態におけるビデオチャットアプリケーションの終了演出画面を示す図である。図７には、終了演出として、ビデオチャット画面に、徐々に動画像の表示範囲が狭まっていくシャッターエフェクト（絞りエフェクト）が施される例が示されている。但し、終了演出に用いられるエフェクトは、例えばフェードアウトエフェクト等、その他のエフェクトであってもよい。終了操作の受付から一定時間ビデオチャットの動画像・音声の送受信および出力を継続することで、ビデオチャットの終了の際に即座に通信が途絶えることを避け、ユーザおよび通信相手に対して相手を見送る時間を与えることが出来、ユーザおよび通信相手は、互いに手を振ったり言葉を交わしたりしながら、ビデオチャットを終えることが出来る。つまり、本実施形態に係る終了演出によれば、また会いたくなるような別れ方を演出することが出来る。その後、処理はステップＳ１１４へ進む。

ステップＳ１１４では、通信相手の家からユーザのアバターが歩いて戻ってくるアニメーションが表示される。表示制御部３３は、通信相手の家から、ユーザのアバターが道を歩いて戻ってくるアニメーションを生成し、外部ディスプレイ３に表示させる。このアニメーションは、所定の時間（例えば、１０秒）表示される。

図８は、本実施形態におけるビデオチャットアプリケーションの終了後演出画面を示す図である。ここで表示されるアニメーションの道の両脇には、通信相手に関連する情報が表示される。表示制御部３３は、直前に終了したビデオチャットで撮像された画像の一部や、直前のビデオチャットで交わされた会話の一部を音声認識することで得られたテキスト等を、道の両脇に配置されるように、外部ディスプレイ３に表示させる。このようにすることで、ユーザに対して、ビデオチャットの内容を思い出させることが出来る。また、直前のビデオチャットの内容を振り返ることで、また会いたくなるような気持ちをユーザに抱かせることができる。但し、ビデオチャットで交わされた会話の一部は、音声のまま外部スピーカ４または第二情報処理装置２の内蔵スピーカ３０から出力されてもよい。その後、本フローチャートに示された処理は終了する。

ステップＳ１２１からステップＳ１２３では、ビデオレターの作成および送信が行われる。情報処理システム１００は、ユーザによるビデオレターの録画開始を指示する操作を受け付けると（ステップＳ１２１）、カメラ２９から入力され、ユーザ画像取得部３１によって取得される画像の録画を開始する（ステップＳ１２２）。録画は、ユーザによる録画終了を指示する操作が受け付けられるか、所定の録画上限時間に達した場合に終了する。録画が終了すると、情報処理システム１００は、録画された動画像の動画像ファイルを含むビデオレターを生成し、当該ビデオレターを、通信相手を宛先に設定してサーバに送信する（ステップＳ１２３）。このような処理を行うことによって、通信相手が不在である等の理由でビデオチャットが出来ない場合にも、ビデオレターによって通信相手にメッセージを送ることが出来る。通信相手は、その後、都合のよいときにそのビデオレターを見ることができるので、時間に縛られない動画像を用いたコミュニケーションを行うことができる。その後、本フローチャートに示された処理は終了する。

ビデオレターを受信したサーバは、通信相手の情報処理システム１００に対してビデオレターがあることを通知する。この通知を受けた通信相手の情報処理システム１００は、ビデオレターをサーバからダウンロードして再生する、またはサーバからストリーミング再生する、等の方法でビデオレターを再生する。但し、通信相手の接続先情報が判明している場合、ビデオレターは、サーバを介さずに通信相手の情報処理システム１００に送信されてもよい。

なお、ビデオレターには、通信相手にビデオレターの視聴を許可する日時が設定可能で
あってもよい。設定された視聴許可日時は、動画像ファイルのメタ情報に含まれるか、サーバに通知されることで、通信相手の情報処理システム１００による再生機能を制御する。ビデオレターに視聴許可日時が設定された場合、通信相手は、ビデオレターを受け取った場合でも、視聴許可日時になるまで、ビデオレターを視聴することが出来ない。このため、記念日等の前には、視聴許可日時として或る同一の日が設定されたビデオレターが受信リストに複数溜まっていき、当日にならないと内容がわからないことによる期待感をユーザに持たせることが出来る。

図９は、本実施形態に係る着呼側ビデオチャット処理の流れを示すフローチャートである。本フローチャートに示された着呼側ビデオチャット処理は、図３Ａおよび図３Ｂに示した発呼側ビデオチャット処理のステップＳ１０８において送信されたビデオチャット開始要求が着呼側ユーザの情報処理システム１００によって受信されたことを契機として実行される。なお、本フローチャートでは、着呼側ユーザが「ユーザ」として、発呼側ユーザが「通信相手」として説明される。

ステップＳ２０１およびステップＳ２０２では、ビデオチャットの着呼が通知され、ビデオチャットアプリケーションの起動操作が受け付けられる。発呼側の情報処理システム１００より送信されたビデオチャット開始要求が着呼側の情報処理システム１００によって受信されると、着呼側の情報処理システム１００は、着呼側の第一情報処理装置１または第二情報処理装置２に備えられたＬＥＤ（図示は省略する）を明滅させる、またはメッセージを外部ディスプレイ３、内蔵ディスプレイ２６、外部スピーカ４または内蔵スピーカ３０に出力する、等の方法で、ユーザに対して着呼を通知する（ステップＳ２０１）。そして、情報処理システム１００は、着呼していることの通知を受けたユーザによる応答操作、または自動応答機能によって、ビデオチャットアプリケーションを起動する（ステップＳ２０２）。但し、ビデオチャットアプリケーションが予め起動されている場合には、ステップＳ２０２に示された処理は省略される。その後、処理はステップＳ２０３へ進む。

ステップＳ２０３では、通信相手の動画像が表示される。表示制御部３３は、発呼側の情報処理システム１００が、着呼側の情報処理システム１００からの応答を待たずに動画像送信を開始している場合、受信した動画像を、外部ディスプレイ３または内蔵ディスプレイ２６に表示する。発呼側の動画像が、着呼側において着呼側が応答する前に表示されることで、あたかも自宅のドアの前に通信相手が訪れてドアスコープ等から来訪者を確認しているかのような印象を、着呼側のユーザに対して与えることが出来る。但し、通信相手の動画像に代えて通信相手のアバターが表示されてもよいし、ステップＳ２０３に示された処理は省略されてもよい。その後、処理はステップＳ２０４へ進む。

ステップＳ２０４およびステップＳ２０５では、ビデオチャットへの応答操作が受け付けられ、ビデオチャットが開始される。発呼側情報処理システム１００からの着呼があると、内蔵ディスプレイ２６に、着呼したビデオチャットに応答するためのボタンが表示される。ユーザは、内蔵ディスプレイ２６に設けられたタッチパネル２７を介して応答ボタンを選択する操作を行うことで、ビデオチャットを受け付けることが出来る（ステップＳ２０４）。表示制御部３３および通信制御部３５は、ユーザの情報処理システム１００から、ビデオチャットに応じる旨の応答が送信されると、ユーザの情報処理システム１００のカメラ２９およびマイクロフォン２８を用いて入力された動画像および音声の通信相手の情報処理システム１００への送信、および通信相手の情報処理システム１００からの動画像および音声の受信、を開始することで、ビデオチャットを開始する。その後、処理はステップＳ２０６へ進む。

ステップＳ２０６からステップＳ２０８の処理は、図３Ａおよび図３Ｂを用いて説明し
たステップＳ１１１からステップＳ１１３の処理と概略同様であるため、説明を省略する。その後、処理はステップＳ２０９へ進む。

ステップＳ２０９では、通信相手のアバターを見送るアニメーションが表示される。表示制御部３３は、通信相手のアバターをユーザのアバターが見送るアニメーションを生成し、外部ディスプレイ３に表示させる。このアニメーションは、所定の時間（例えば、１０秒）表示される。

ここで表示されるアニメーションでは、通信相手に関連する情報が表示される。表示制御部３３は、直前に終了したビデオチャットで撮像された画像の一部や、直前のビデオチャットで交わされた会話の一部を音声認識することで得られたテキスト等を、外部ディスプレイ３に表示させる。このようにすることで、ユーザに対して、ビデオチャットの内容を思い出させることが出来、またビデオチャットをしたいという気持ちを抱かせることが出来る。但し、ビデオチャットで交わされた会話の一部は、音声のまま外部スピーカ４または第二情報処理装置２の内蔵スピーカ３０から出力されてもよい。その後、本フローチャートに示された処理は終了する。

＜表示形態のバリエーション＞
本実施形態に係る情報処理システム１００によれば、ユーザは、第一情報処理装置１に接続される外部ディスプレイ３と、第二情報処理装置２の内蔵ディスプレイ２６との２つのディスプレイを用いてビデオチャットを行うことが可能である。このため、本実施形態に係る情報処理システム１００は、ビデオチャットに用いる画像を２つのディスプレイに対して様々なパターンで割り当てることが出来、また、ビデオチャット中に、ビデオチャットに用いる画像が表示されるディスプレイを自由に切り替えることが可能である。以下、ビデオチャット中に、外部ディスプレイ３と内蔵ディスプレイ２６とに表示される画像を割り当てる場合のバリエーションについて説明する。

図１０Ａは、本実施形態において、外部ディスプレイ３に通信相手画像を、内蔵ディスプレイ２６にユーザの画像（以下、単に「ユーザ画像」と称する）を表示させるディスプレイ割当の例を示す図である。図１０Ａに示す例では、第一情報処理装置１に接続される外部ディスプレイ３には、主に通信相手画像が表示される。但し、外部ディスプレイ３には、通信相手画像に比べて小さいサイズで、更にユーザ画像が表示されてもよい。また、第二情報処理装置２の内蔵ディスプレイ２６には、ユーザ画像が表示される。内蔵ディスプレイ２６にも、通信相手画像に比べて小さいサイズで、更にユーザ画像が表示されてよい（図１０Ｅを参照）。

図１０Ｅは、本実施形態において、外部ディスプレイ３および内蔵ディスプレイ２６の夫々に通信相手画像およびユーザ画像を表示させるディスプレイ割当の例を示す図である。図１０Ｅに示す例では、外部ディスプレイ３および内蔵ディスプレイ２６の夫々において、第一表示領域３ａ、２６ａおよび第二表示領域３ｂ、２６ｂが設定される。本実施形態において、第二表示領域３ｂ、２６ｂは、第一表示領域３ａ、２６ａに比べて狭い（換言すれば、第一表示領域３ａ、２６ａは、第二表示領域３ｂ、２６ｂに比べて広い）。初期状態において、外部ディスプレイ３の第一表示領域３ａには通信相手画像が表示され、外部ディスプレイ３の第二表示領域３ｂにはユーザ画像が表示される。また、内蔵ディスプレイ２６の第一表示領域２６ａには通信相手画像が表示され、内蔵ディスプレイ２６の第二表示領域２６ｂにはユーザ画像が表示される。

ここで、内蔵ディスプレイ２６の第二表示領域２６ｂ、即ち、小さく表示されている方の映像をタッチ操作することで、外部ディスプレイ３と内蔵ディスプレイ２６双方の表示構成を同時に切り替えることが出来るようにしてもよい。即ち、図１０Ｅの表示状態で、
情報処理システム１００の操作受付部（図示は省略する）によって内蔵ディスプレイ２６の第二表示領域２６ｂに対するタッチ操作が受け付けられると、切替部３４は、外部ディスプレイ３および内蔵ディスプレイ２６の何れにおいても、第一表示領域３ａ、２６ａと第二表示領域３ｂ、２６ｂとの表示内容を入れ替える。このような切替部３４による切り替えの結果、ユーザ映像と通信相手映像とで表示の大小関係は逆転し、ユーザ画像に比べて小さいサイズで、通信相手画像が表示される。ここで更に内蔵ディスプレイ２６の第二表示領域２６ｂがタッチ操作されると、切替部３４は、外部ディスプレイ３および内蔵ディスプレイ２６の何れにおいても、第一表示領域３ａ、２６ａと第二表示領域３ｂ、２６ｂとの表示内容を入れ替え、結果として、表示状態は図１０Ｅに示された関係に戻る。また、この操作によって、後述する「お絵描きチャット」の編集可能画像の切り替えも行うことが出来る。

通信相手画像およびユーザ画像を、図１０Ａまたは図１０Ｅに示す例のようにディスプレイに割り当てることで、ユーザの周囲に居る人々（家族等）は外部ディスプレイ３を介して通信相手（およびユーザ）のビデオチャットの内容を視聴しつつ、ユーザ自身は可搬型の第二情報処理装置２を携帯して移動しながら、内蔵ディスプレイ２６を介してビデオチャットを行うことが出来る。

図１０Ｂは、本実施形態において、外部ディスプレイ３には通信相手画像およびユーザ画像の何れも表示せず、内蔵ディスプレイ２６に通信相手画像およびユーザ画像を表示させるディスプレイ割当の例を示す図である。図１０Ｂに示す例では、第一情報処理装置１に接続される外部ディスプレイ３には、通信相手画像およびユーザ画像の何れも表示されず、他の画像が表示される。ここで外部ディスプレイ３に表示される他の画像は、ユーザ画像および通信相手画像の何れでもない画像であればよく、例えば、ビデオチャット画像の代わりに表示される何らかの壁紙画像であってもよいし、情報処理システム１００によって実行されている他のアプリケーション（ゲーム等）の画像であってもよい。内蔵ディスプレイ２６には、主に通信相手画像が表示され、通信相手画像に比べて小さいサイズで、ユーザ画像が表示される。図１０Ｂに示す例においても、内蔵ディスプレイ２６の「小さく表示されている方の映像」をタッチ操作することで、外部ディスプレイ３と内蔵ディスプレイ２６双方の表示構成を同時に切り替えることが出来るようにしてもよい。

通信相手画像およびユーザ画像を、図１０Ｂに示す例のようにディスプレイに割り当てることで、ビデオチャットを行っているユーザがテレビジョン受像機等の外部ディスプレイ３を占有することなくビデオチャットを行うことが出来る。また、ビデオチャットの動画像を周囲の人に見られないように隠したい場合にも好適である。本実施形態に示すディスプレイ割当は、ビデオチャット中に自由に切替可能であるため、ユーザの周囲に居る人々と共にビデオチャットを楽しんでいる場合には図１０Ａのディスプレイ割当とし、ユーザの周囲に居る人々が外部ディスプレイ３を用いて他のコンテンツを楽しみたいがユーザはビデオチャットを継続したいという場合や、ユーザのみがビデオチャットを楽しみたい場合には図１０Ｂのディスプレイ割当に切り替える（変更する）、等の対応が可能である。

図１０Ｃは、本実施形態において、ビデオチャットを行いながら「お絵描きチャット」を行う場合のディスプレイ割当の例を示す図である。ここで、「お絵描きチャット」とは、ビデオチャット中に、ビデオチャットの参加者によって編集可能な編集可能画像を用意し、ビデオチャットを行いながらこの編集可能画像に手書きで描いた線や図形を追加したり削除したりする編集を行うことで参加者間のコミュニケーションを図ることをいう。編集可能画像は、操作受付部（図示は省略する）によって受け付けられた、タッチパネル２７等のポインティングデバイスを介したユーザ操作に応じて編集される。例えば、ポインティングデバイスを介して指示される位置の変化に対応する軌跡が、編集可能画像上に特
定され、この軌跡に沿って編集可能画像に線や図形等が追加される。編集可能画像は、参加者のうちの１人のみによって編集可能であってもよいし、複数の参加者によって同時に編集可能であってもよい。図１０Ｃに示す例では、第一情報処理装置１に接続される外部ディスプレイ３には、通信相手画像およびユーザ画像に加えて、「お絵描きチャット」用の編集可能画像が表示される。編集可能画像の表示内容は、編集権限を有するユーザによる編集内容がリアルタイムで反映され、更新される。内蔵ディスプレイ２６には、主に編集可能画像の内容が表示される。なお、編集可能画像の編集は、内臓ディスプレイ２６に設けられたタッチパネル２７等への入力によって行われる。

図１０Ｄは、本実施形態において、ビデオチャットの画像上に「お絵描きチャット」を行う場合のディスプレイ割当の例を示す図である。図１０Ｄに示す例では、ビデオチャットの参加者によって編集可能な透過型の編集可能画像を、ビデオチャットの通信相手画像およびユーザ画像の上に重ねて表示させる。このため、ビデオチャットの参加者は、通信相手画像やユーザ画像上に落書きをする感覚で編集可能画像の編集を行い、参加者間のコミュニケーションを図ることが出来る。編集可能画像は、図１０Ｃを用いて説明した例と同様、参加者のうちの１人のみによって編集可能であってもよいし、複数の参加者によって同時に編集可能であってもよい。図１０Ｄに示す例では、第一情報処理装置１に接続される外部ディスプレイ３には、第一表示領域３ａおよび第二表示領域３ｂに通信相手画像およびユーザ画像が表示され、これらの夫々の画像に、「お絵描きチャット」用の編集可能画像が重ねて表示される。編集可能画像の表示内容は、編集権限を有するユーザによる編集内容がリアルタイムで反映され、更新される。内蔵ディスプレイ２６にも、第一表示領域２６ａおよび第二表示領域２６ｂに通信相手画像およびユーザ画像が表示され、これらの夫々の画像に、「お絵描きチャット」用の編集可能画像が重ねて表示される。但し、編集可能画像が重ねて表示されるのは、何れか一方の表示領域（例えば、第一表示領域３ａ、２６ａ）のみとし、他方の表示領域（例えば、第二表示領域３ｂ、２６ｂ）には編集可能画像が表示されないこととしてもよい。そして、内蔵ディスプレイ２６上に設けられたタッチパネル２７やポインティングデバイスを用いてお絵描きを行うことができ、そのお絵描きの入力結果が内蔵ディスプレイ２６および外部ディスプレイ３に反映される。

なお、図１０Ｄに示す例では、外部ディスプレイ３および内蔵ディスプレイ２６の夫々において、第一表示領域３ａ、２６ａおよび第二表示領域３ｂ、２６ｂが設定される。図１０Ｄに示す例では、内蔵ディスプレイ２６においてのみ第二表示領域２６ｂが第一表示領域２６ａに比べて狭い（換言すれば、第一表示領域２６ａが第二表示領域２６ｂに比べて広い）。但し、外部ディスプレイ３においても、第二表示領域３ｂが第一表示領域３ａに比べて狭くなるようにしてもよい。初期状態において、第一表示領域３ａ、２６ａには通信相手画像が表示され、第二表示領域３ｂ、２６ｂにはユーザ画像が表示される。

ここで、内蔵ディスプレイ２６の第二表示領域２６ｂ、即ち、小さく表示されている方の映像をタッチ操作することで、外部ディスプレイ３と内蔵ディスプレイ２６双方の表示構成を同時に切り替えることが出来るようにしてもよいことは、図１０Ｅを用いて説明した例と同様である。即ち、図１０Ｄの表示状態で、情報処理システム１００の操作受付部によって第二表示領域２６ｂに対するタッチ操作が受け付けられると、切替部３４は、外部ディスプレイ３および内蔵ディスプレイ２６の何れにおいても、通信相手画像およびユーザ画像が表示される表示領域を、第一表示領域３ａ、２６ａと第二表示領域３ｂ、２６ｂとの間で切り替える。ここで更に第二表示領域２６ｂがタッチ操作されると、切替部３４は、外部ディスプレイ３および内蔵ディスプレイ２６の何れにおいても、通信相手画像およびユーザ画像が表示される表示領域を切り替え、結果として、表示状態は図１０Ｄに示された関係に戻る。

但し、上述のタッチ操作によっても、編集可能画像が表示される表示領域は入れ替わら
ない。即ち、第一表示領域３ａ、２６ａに表示されていた編集可能画像は、タッチ操作によって通信相手画像およびユーザ画像が表示される表示領域が入れ替わっても、第一表示領域３ａ、２６ａに表示されたままとなる。同様に、第二表示領域３ｂ、２６ｂに表示されていた編集可能画像は、通信相手画像およびユーザ画像が表示される表示領域が入れ替わっても、第二表示領域３ｂ、２６ｂに表示されたままとなる。このようにすることで、ユーザによって編集された編集可能画像が重ねられる対象を、通信相手画像とユーザ画像との間で切り替えることが出来る。

なお、第一表示領域３ａ、２６ａおよび第二表示領域３ｂ、２６ｂの夫々に編集可能画像が重ねて表示される例について上述したが、編集可能画像が重ねて表示されるのは、何れか一方の表示領域（例えば、第一表示領域３ａ、２６ａ）のみとし、他方の表示領域（例えば、第二表示領域３ｂ、２６ｂ）には編集可能画像が表示されないこととしてもよい。この場合にも、第一表示領域３ａ、２６ａに表示されていた編集可能画像は、タッチ操作によって通信相手画像およびユーザ画像が表示される表示領域が入れ替わっても、第一表示領域３ａ、２６ａに表示されたままとなり、編集可能画像が重ねられる対象を、通信相手画像とユーザ画像との間で切り替えることが出来る。

また、ビデオチャットの画像上に「お絵描きチャット」を行う場合のディスプレイ割当には、図１０Ｄに示した例とは異なるディスプレイ割当が採用されてもよい。図１０Ｄに示した例では、通信相手画像およびユーザ画像を表示するための第一表示部および第二表示部として、外部ディスプレイ３および内蔵ディスプレイ２６の夫々に設けられた第一表示領域３ａ、２６ａおよび第二表示領域３ｂ、２６ｂが用いられる。このようなディスプレイ割当に代えて、外部ディスプレイ３を第一表示部とし、内蔵ディスプレイ２６を第二表示部とするようなディスプレイ割当が採用されてもよい。この場合、切替部は、第一表示部である外部ディスプレイ３と第二表示部である内蔵ディスプレイ２６との間で、表示内容を入れ替える。

なお、上記説明では、ユーザ画像／通信相手画像に透過型の編集可能画像を重ねて表示させる方法について説明したが、このような方法に代えて、ユーザ画像／通信相手画像の静止画像をキャプチャして、キャプチャ画像を編集可能画像として表示させる方法が採用されてもよい。

また、編集可能画像は、透過型であるか否かを問わず、通信相手に対して閲覧権限の有無を変更することが可能であり、また、通信相手の閲覧権限の有無に拘らず、編集権限を有するユーザはこれを編集することが可能である。通信相手に対して閲覧権限を付与していない（非公開）状態で編集可能画像を編集してから、通信相手に対して閲覧権限を付与する（公開する）ことで、編集可能画像を見た通信相手に対して驚きを与えることが出来る。当然、閲覧権限の付与後は、通信相手に対しても編集権限を付与し、複数ユーザによって同時に編集することが可能である。また、全てのビデオチャット参加者に閲覧権限を付与し（即ち、誰でも閲覧可能な状態とし）、編集権限をユーザ毎に付与できるようにしてもよい。

編集権限は、編集可能画像において、各ユーザが編集した部分毎に設定されてもよい。即ち、編集可能画像において、各ユーザは、自身が編集した部分（描いた線やその色等）について、消去または変更することが出来る。より具体的には、情報処理システム１００の画像編集部（図示は省略する）は、内蔵ディスプレイ２６を視認するユーザによる操作に応じて、編集可能画像のうち、内蔵ディスプレイ２６を視認するユーザによって編集された部分を消去または変更し、通信相手ユーザによる操作に応じて、編集可能画像のうち、通信相手ユーザによって編集された部分を消去または変更する。

即ち、本実施形態における「お絵描きチャット」では、編集可能画像に関して、閲覧権限および編集権限の２種類の権限が設定可能である。但し、このような権限を確認するために、ビデオチャット中に編集可能画像の設定情報等を参照することはユーザにとって煩雑であり、また分かり辛い。このため、ディスプレイへの表示状態や、アバターの表示状態によって、閲覧権限および編集権限を把握可能としてもよい。

例えば、外部ディスプレイ３への表示の有無によって通信相手への閲覧権限の有無を判断可能としてもよい。外部ディスプレイ３はユーザ以外からも容易に閲覧可能なディスプレイである。このため、ユーザは、外部ディスプレイ３に表示がある場合には、通信相手から閲覧されることを直感的に把握し、外部ディスプレイ３に表示がなく内蔵ディスプレイ２６のみに表示がある場合には、通信相手から閲覧されないことを直感的に把握することができる。また、ユーザは、閲覧権限の設定を意識することなく、編集可能画像を外部ディスプレイ３への表示のＯＮ／ＯＦＦという直感的な操作のみで、編集可能画像の閲覧権限を管理することが出来る。

また、例えば、編集可能画像の手前に重畳表示されるアバターによって、何れのユーザが編集権限を有しているかを判断可能としてもよい。この場合、編集可能画像には、編集権限を有するユーザのアバターが重畳表示される。また、この際に表示されるアバターは、編集権限を有していることが直感的に把握できるように、画材等をもっている状態で表示されてもよい。また、ユーザは、編集権限の設定を意識することなく、編集可能画像へのアバター表示のＯＮ／ＯＦＦという直感的な操作のみで、編集可能画像の編集権限を管理することが出来る。

また、本実施形態に係る情報処理システム１００は、内蔵ディスプレイ２６上で大きく表示される側の画像のサイズを変更する機能を備えていてもよい。例えば、縦横比３：４であるカメラ映像全体が映るように表示させるモード（カメラ映像の左右に余白を表示）や、カメラ映像の上端と下端をカットして縦横比９：１６のコントローラ画面全体に表示させるモード、を切り替えられるようにすることが出来る。

また、本実施形態に係る情報処理システム１００は、外部ディスプレイ３上で大きく表示される側の画像が、外部ディスプレイ３の表示領域に占める割合を変更する機能を備えていてもよい。例えば、情報処理システム１００は、外部ディスプレイ３上の大きい方の画像が外部ディスプレイ３の表示領域に占める割合を数段階で切り替える機能を備えていてもよい。このようにすることで、表示領域のサイズが大きい外部ディスプレイ３を用いる場合には画像の荒さが目立たない程度の画像サイズとし、一方、表示領域のサイズが小さい外部ディスプレイ３を用いる場合には可能な限り画面全体に表示させてユーザ体験を向上させることが出来る。

＜傾き補正＞
図１１は、本実施形態において、ジャイロセンサー２５による出力を用いて行われる画像の傾き補正の概要を示す図である。本実施形態に係る第二情報処理装置２は、カメラ２９を用いてユーザを撮像し、通信相手の情報処理装置に画像を送信するが、第二情報処理装置２がビデオチャット中にユーザに把持されて用いられる場合、カメラ２９によって撮像される画像が傾く場合がある。そこで、本実施形態に係る情報処理システム１００は、第二情報処理装置２が備えるジャイロセンサー２５から取得された情報を参照してカメラ２９の傾きを検出し、カメラ２９によって撮像された画像に傾き補正をかけることとした。図１１に示す例では、表示制御部３３は、ジャイロセンサー２５から取得された情報に基づいてカメラ２９の傾きθを得ると、撮像された画像を−θ回転させる傾き補正を行う。そして、表示制御部３３は、補正後の画像を、外部ディスプレイ３または内蔵ディスプレイ２６へ出力し、通信制御部３５は、通信相手の情報処理システム１００へ送信する。
但し、傾き補正は、通信相手の情報処理システム１００に行わせることとしてもよい。この場合、通信制御部３５は、通信相手の情報処理システム１００に対して、傾き補正前の画像と傾きθの情報を送信する。

＜画像キャプチャ＞
図１２は、本実施形態における、ビデオチャット中の画像のキャプチャ処理の流れを示すシーケンス図である。本シーケンス図に示すキャプチャ処理は、画像のキャプチャを指示するユーザ操作が受け付けられたことや、情報処理システム１００が自動的に画像のキャプチャを指示したことを契機として開始される。例えば、情報処理システム１００は、画像解析エンジンによってカメラ２９によって得られた画像から笑顔が検出されたタイミングや、マイクロフォン２８によって得られた音声のボリュームの変化量が所定値を超えたタイミングで、画像のキャプチャを指示する。なお、本シーケンス図に示されたキャプチャ処理は、発呼側ユーザおよび着呼側ユーザの何れからも行うことが可能である。

ステップＳ３０１からステップＳ３０４では、画像のキャプチャ指示が送受信され、画像のキャプチャが行われる。キャプチャ指示送信側の情報処理システム１００は、通信相手（キャプチャ指示受信側）の情報処理システム１００に対して、キャプチャ指示を送信する（ステップＳ３０１）。キャプチャ指示受信側の情報処理システム１００は、画像のキャプチャ指示を受信すると（ステップＳ３０２）、キャプチャ指示受信側の情報処理システム１００が有するカメラ２９の出力から、ネットワークを介した送信のための圧縮等の処理が施される前の画像をキャプチャして、画像ファイルＢを生成する（ステップＳ３０３）。また、キャプチャ指示送信側ユーザの情報処理システム１００は、キャプチャ指示受信側におけるキャプチャ（ステップＳ３０３）と同時かまたは近いタイミングで、キャプチャ指示送信側ユーザの情報処理システム１００が有するカメラ２９の出力から、ネットワークを介した送信のための圧縮等の処理が施される前の画像をキャプチャして、画像ファイルＡを生成する（ステップＳ３０４）。その後、処理はステップＳ３０５へ進む。

ステップＳ３０５からステップＳ３０７では、キャプチャされた画像ファイルＢが送受信され、キャプチャ画像ファイルＡおよびＢが保存される。キャプチャ指示受信側の情報処理システム１００は、ステップＳ３０３において生成された画像ファイルＢを、キャプチャ指示送信側ユーザの情報処理システム１００に対して送信する（ステップＳ３０５）。キャプチャ指示送信側ユーザの情報処理システム１００は、画像ファイルＢを受信すると（ステップＳ３０６）、受信された画像ファイルＢ（ステップＳ３０３で生成された画像ファイルＢ）を、ステップＳ３０４で生成された画像ファイルＡと関連付けて、第一情報処理装置１の補助記憶装置１４に保存する（ステップＳ３０７）。その後、本シーケンス図に示された処理は終了する。

本シーケンス図に示す処理によれば、画像のキャプチャを行う場合に、ネットワークを介して受信した画像に対してキャプチャを行うのではなく、通信相手の情報処理装置にキャプチャ指示を行ってキャプチャを行わせ、キャプチャされた画像を受信する。このため、キャプチャされる画像は、ネットワークを介した送信のための圧縮や、ネットワーク上でリアルタイムプロトコルによって通信を行う際のパケットロスやパケット遅延によるデータロスの影響がない良好な画質の画像を取得することが出来る。また、キャプチャ指示送信側の情報処理システム１００でもキャプチャ指示受信側と略同時にキャプチャを行い、双方でキャプチャされた画像を合成することで、ビデオチャットの様子を良好な画質で記録することが出来る。なお、キャプチャされる画像は、静止画像であってもよいし、時間の限定された（例えば、数秒程度の）動画像ファイルであってもよい。また、キャプチャ画像は、ステップＳ１０４やステップＳ１１４、ステップＳ２０９において、先述した通信相手に関連する情報として表示されてもよい。

＜ビデオチャットの保留機能＞
また、本実施形態に係る情報処理システム１００は、電話の保留機能のように、ビデオチャットを保留する機能を備えてもよい。この機能は、ビデオチャット中にその場を離れる際や、固定電話の着信があった際等、その時の映像や音声情報を相手に届けたくないときに使用することが出来る。本実施形態に係る保留機能において、情報処理システム１００は、保留操作を受け付けると、ユーザ画像および音声を通信相手に全く送信しないようにしてもよいし、ユーザの気配を感じさせるような情報（例えば、ぼかしの入った映像等）のみを送信してもよい。また、保留中にも編集可能画像を双方から編集可能とすることで、音声や映像を相手に伝えられない状況の中、手書きで状況を説明することとしてもよい。このようにすることで、保留待機中の通信相手を不安にさせないようにすることが出来る。なお、保留待機中にビデオチャット自体を切断する場合に、編集可能画像に相手宛のメッセージを残せることとしてもよい。

１００ 情報処理システム
１ 第一情報処理装置
２ 第二情報処理装置

Claims (17)

1. 第一の表示装置および第二の表示装置に接続されるコンピュータを、
   前記第一の表示装置を視認するユーザを撮像可能なカメラを用いて撮像された第一画像を取得する第一画像取得手段と、
   ネットワークを介して接続された他の情報処理装置から、該他の情報処理装置のユーザを撮像可能な他のカメラを用いて撮像された第二画像を取得する第二画像取得手段と、
   前記第一画像および前記第二画像を、第一の表示態様で前記第一の表示装置に表示させ、前記第一画像および前記第二画像を、前記第一の表示態様とは異なる第二の表示態様で前記第二の表示装置に表示させる表示制御手段と、
   として機能させるための情報処理プログラム。
2. 前記表示制御手段は、前記第一画像と、前記第二画像と、前記第一画像および前記第二画像の何れでもない画像とを前記第二の表示装置に表示させる、
   請求項１に記載の情報処理プログラム。
3. 前記第一の表示装置および前記第二の表示装置は、夫々、第一表示領域および第二表示領域を有し、
   前記表示制御手段は、前記第一画像および前記第二画像の一方を、前記第一の表示装置の前記第一表示領域および前記第二の表示装置の前記第一表示領域に表示させ、前記第一画像および前記第二画像の他方を、前記第一の表示装置の前記第二表示領域および前記第二の表示装置の前記第二表示領域に表示させる、
   請求項１または２に記載の情報処理プログラム。
4. 前記コンピュータを、
   前記第一表示領域と前記第二表示領域との間で、前記第一画像および前記第二画像を入れ替える切替手段として更に機能させる、
   請求項３に記載の情報処理プログラム。
5. 前記コンピュータを、
   前記第一の表示装置に設けられて前記ユーザによる操作を受け付ける操作受付手段として更に機能させ、
   前記切替手段は、前記操作受付手段によって前記第一の表示装置における前記第二表示領域を指示する操作が受け付けられた場合に、前記第一の表示装置および前記第二の表示装置のそれぞれにおいて、前記第一画像および前記第二画像を入れ替える、
   請求項４に記載の情報処理プログラム。
6. 前記表示制御手段は、同一の表示装置において、前記第一表示領域が、前記第二表示領域に比べて広い領域となるように表示制御する、
   請求項３から５の何れか一項に記載の情報処理プログラム。
7. 前記第一の表示装置は、前記ユーザによって占有可能な表示装置であり、前記第二の表示装置は、前記ユーザ以外の閲覧者からも視認可能な表示装置である、
   請求項１から６の何れか一項に記載の情報処理プログラム。
8. 前記コンピュータは、可搬型情報処理装置に接続され、
   前記第一の表示装置および前記カメラは、該可搬型情報処理装置に設けられる、
   請求項１から７の何れか一項に記載の情報処理プログラム。
9. 第一の表示装置および第二の表示装置に接続される情報処理装置であって、
   前記第一の表示装置を視認するユーザを撮像可能なカメラを用いて撮像された第一画像を取得する第一画像取得手段と、
   ネットワークを介して接続された他の情報処理装置から、該他の情報処理装置のユーザを撮像可能な他のカメラを用いて撮像された第二画像を取得する第二画像取得手段と、
   前記第一画像を、前記第一の表示装置および前記第二の表示装置の少なくとも何れかに表示させ、前記第二画像を、前記第一の表示装置および前記第二の表示装置の少なくとも何れかに表示させる表示制御手段と、
   前記第一画像および前記第二画像を、第一の表示態様で前記第一の表示装置に表示させ、前記第一画像および前記第二画像を、前記第一の表示態様とは異なる第二の表示態様で前記第二の表示装置に表示させる表示制御手段と、
   を備える情報処理装置。
10. 前記表示制御手段は、前記第一画像と、前記第二画像と、前記第一画像および前記第二画像の何れでもない画像とを前記第二の表示装置に表示させる、
    請求項９に記載の情報処理装置。
11. 前記第一の表示装置および前記第二の表示装置は、夫々、第一表示領域および第二表示領域を有し、
    前記表示制御手段は、前記第一画像および前記第二画像の一方を、前記第一の表示装置の前記第一表示領域および前記第二の表示装置の前記第一表示領域に表示させ、前記第一画像および前記第二画像の他方を、前記第一の表示装置の前記第二表示領域および前記第二の表示装置の前記第二表示領域に表示させる、
    請求項９または１０に記載の情報処理装置。
12. ユーザによって可搬であり第一の表示装置およびカメラを有する可搬情報処理装置を備え、第二の表示装置に接続される情報処理システムであって、
    前記カメラを用いて撮像された第一画像を取得する第一画像取得手段と、
    ネットワークを介して接続された他の情報処理装置から、該他の情報処理装置のユーザを撮像可能な他のカメラを用いて撮像された第二画像を取得する第二画像取得手段と、
    前記第一画像および前記第二画像を、第一の表示態様で前記第一の表示装置に表示させ、前記第一画像および前記第二画像を、前記第一の表示態様とは異なる第二の表示態様で前記第二の表示装置に表示させる表示制御手段と、
    を備える情報処理システム。
13. 前記表示制御手段は、前記第一画像と、前記第二画像と、前記第一画像および前記第二画像の何れでもない画像とを前記第二の表示装置に表示させる、
    請求項１２に記載の情報処理システム。
14. 前記第一の表示装置および前記第二の表示装置は、夫々、第一表示領域および第二表示領域を有し、
    前記表示制御手段は、前記第一画像および前記第二画像の一方を、前記第一の表示装置の前記第一表示領域および前記第二の表示装置の前記第一表示領域に表示させ、前記第一画像および前記第二画像の他方を、前記第一の表示装置の前記第二表示領域および前記第二の表示装置の前記第二表示領域に表示させる、
    請求項１２または１３に記載の情報処理システム。
15. 第一の表示装置および第二の表示装置に接続されるコンピュータが、
    前記第一の表示装置を視認するユーザを撮像可能なカメラを用いて撮像された第一画像を取得する第一画像取得ステップと、
    ネットワークを介して接続された他の情報処理装置から、該他の情報処理装置のユーザを撮像可能な他のカメラを用いて撮像された第二画像を取得する第二画像取得ステップと、
    前記第一画像および前記第二画像を、第一の表示態様で前記第一の表示装置に表示させ、前記第一画像および前記第二画像を、前記第一の表示態様とは異なる第二の表示態様で前記第二の表示装置に表示させる表示制御ステップと、
    を実行する情報処理方法。
16. 前記表示制御ステップは、前記第一画像と、前記第二画像と、前記第一画像および前記第二画像の何れでもない画像とを前記第二の表示装置に表示させる、
    請求項１５に記載の情報処理方法。
17. 前記第一の表示装置および前記第二の表示装置は、夫々、第一表示領域および第二表示領域を有し、
    前記表示制御ステップは、前記第一画像および前記第二画像の一方を、前記第一の表示装置の前記第一表示領域および前記第二の表示装置の前記第一表示領域に表示させ、前記第一画像および前記第二画像の他方を、前記第一の表示装置の前記第二表示領域および前記第二の表示装置の前記第二表示領域に表示させる、
    請求項１５または１６に記載の情報処理方法。

Images