JP7376524B2 - 情報処理システム - Google Patents

Description

本発明は、情報処理システム、画像切替システム、及び画像切替方法に関するものである。

近年、テレワークを行う機会が増加し、これに伴いビデオ会議も頻繁に行われている（例えば、特許文献１参照）。
また、作業効率向上のため、マルチモニタで作業を行うユーザも増加している。

特開２０２０－１０９９５４号公報

一般的に、ビデオ会議を行う場合、ビデオ会議に使用するカメラは１つに固定されている。このため、例えば、マルチモニタの環境でビデオ会議を行う場合に、カメラが取り付けられていないモニタをユーザが見ている間は、ユーザの横顔等が通信相手のモニタに表示されることとなり、相手に不愉快な印象を与えかねず、コミュニケーションの面で好ましくなかった。

本発明は、このような事情に鑑みてなされたものであって、コミュニケーションの向上を図ることのできる情報処理システム、画像切替システム、及び画像切替方法を提供することを目的とする。

本発明の第１態様は、第１カメラとディスプレイとを備える第１情報処理装置と、第２カメラとディスプレイとを備える第２情報処理装置とを備え、前記第１情報処理装置は、前記第２情報処理装置との接続が検出されている場合に、前記第１カメラによって取得された第１画像データに含まれる被写体が正面を向いていることを検知する顔検知部と、前記被写体が正面を向いていることが検知された場合に、前記第１画像データを前記第２情報処理装置に出力する出力制御部とを備え、前記第２情報処理装置は、前記第１情報処理装置から出力された前記第１画像データ及び前記第２カメラによって取得された第２画像データが入力可能とされ、前記第１画像データ及び前記第２画像データを択一的に出力する画像データ出力部を備え、前記画像データ出力部は、前記第１画像データが入力されている場合に、前記第１画像データを出力する情報処理システムである。

本発明の参考例としての一態様は、第１カメラによって取得された第１画像データ及び第２カメラによって取得された第２画像データが入力可能とされた画像切替システムであって、前記第１画像データ及び前記第２画像データを択一的に出力する画像データ出力部と、前記第１画像データに含まれる被写体が正面を向いていることを検知する顔検知部と、前記被写体が正面を向いていることが検知された場合に、前記第１画像データを前記画像データ出力部に出力する出力制御部とを備え、前記画像データ出力部は、前記第１画像データが入力されている場合に、前記第１画像データを出力する画像切替システムである。

本発明の参考例としての一態様は、カメラ及びディスプレイを備える情報処理装置であって、他の情報処理装置に対して外部装置として接続されている場合に、前記カメラによって取得された画像データに含まれる被写体が正面を向いていることを検知する顔検知部と、前記被写体が正面を向いていることが検知された場合に、前記カメラによって取得された画像データを前記他の情報処理装置に出力する出力制御部とを具備する情報処理装置である。

本発明の参考例としての一態様は、第１カメラによって取得された第１画像データ及び第２カメラによって取得された第２画像データが入力可能とされ、前記第１画像データ及び前記第２画像データを択一的に出力する画像データ出力部を備えるシステムの画像切替方法であって、前記第１画像データに含まれる被写体が正面を向いていることを検知する顔検知工程と、前記被写体が正面を向いていることが検知された場合に、前記第１画像データを前記画像データ出力部に出力する出力制御工程とをコンピュータが実行し、前記画像データ出力部は、前記第１画像データが入力されている場合に、前記第１画像データを出力する画像切替方法である。

本発明の参考例としての一態様は、第１カメラによって取得された第１画像データ及び第２カメラによって取得された第２画像データのうち、少なくともいずれか一方が入力され、入力された画像データに含まれる被写体が正面を向いていることを検知する顔検知部と、前記顔検知部の検知結果に基づいて、前記第１画像データ及び前記第２画像データを択一的に出力する画像データ出力部とを備える画像切替システムである。

本発明の参考例としての一態様は、前記第１カメラが設置された第１ディスプレイと、前記第２カメラが設置された第２ディスプレイと、上記記載の画像切替システムとを備え、前記画像データ出力部は、前記顔検知部の検知結果およびマウスカーソルの位置情報に基づいて、前記第１画像データ及び前記第２画像データを択一的に出力する情報処理システムである。

本発明の参考例としての一態様は、第１カメラ及び第１ディスプレイを備える情報処理装置であって、第２ディスプレイ及び前記第２ディスプレイに設置された第２カメラが外部装置として接続されている場合に、前記第１カメラによって取得された第１画像データ及び前記第２カメラによって取得された第２画像データのうち、少なくともいずれか一方が入力され、入力された画像データに含まれる被写体が正面を向いていることを検知する顔検知部と、前記顔検知部の検知結果に基づいて、前記第１画像データ及び前記第２画像データを択一的に出力する画像データ出力部とを備える情報処理装置である。

本発明の参考例としての一態様は、第１カメラによって取得された第１画像データ及び第２カメラによって取得された第２画像データのうち、少なくともいずれか一方が入力され、入力された画像データに含まれる被写体が正面を向いていることを検知する工程と、前記被写体が正面を向いているか否かに応じて、前記第１画像データ及び前記第２画像データを択一的に出力する工程とをコンピュータが実行する画像切替方法である。

コミュニケーションの向上を図ることができるという効果を奏する。

本発明の第１実施形態に係る情報処理システムの全体構成を概略的に示したシステム構成図である。 本発明の第１実施形態に係る第１情報処理装置のハードウェア構成の一例を示した概略構成図である。 本発明の第１実施形態に係る第２情報処理装置のハードウェア構成の一例を示した概略構成図である。 本発明の第１実施形態に係る情報処理システムが有する各種機能のうち、画像切替システムに関する機能の一例を抽出して示した機能ブロック図である。 本発明の第１実施形態に係る画像切替方法のうち、第１情報処理装置において実行される処理の手順の一例を示したフローチャートである。 本発明の第１実施形態に係る画像切替方法のうち、第２情報処理装置において実行される処理の手順の一例を示したフローチャートである。 ユーザがセカンドディスプレイを見ているときの第１画像データの一例を示した図である。 ユーザがセカンドディスプレイを見ているときの第２画像データの一例を示した図である。 本発明の第２実施形態に係る情報処理システムの全体構成を概略的に示したシステム構成図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。 本発明の第２実施形態に係る情報処理装置が有する各種機能のうち、画像切替に関する機能の一例を抽出して示した機能ブロック図である。 本発明の第２実施形態に係る画像切替方法の手順の一例を示したフローチャートである。 本発明の第２実施形態に係る画像切替方法を実現するためのソフトウェア構成の一例を示した図である。

〔第１実施形態〕
以下に、本発明の第１実施形態に係る情報処理システム、画像切替システム、及び画像切替方法について、図面を参照して説明する。
図１は、本発明の第１実施形態に係る情報処理システム１の全体構成を概略的に示したシステム構成図である。
図１に示すように、情報処理システム１は、第１情報処理装置１０と、第２情報処理装置２０とを備えている。以下の説明では、第１情報処理装置１０が外部装置として第２情報処理装置２０に接続される場合を想定して説明する。第１情報処理装置１０及び第２情報処理装置２０の一例として、ノートＰＣ、デスクトップ型ＰＣ、タブレット端末、スマートフォン等が挙げられる。

図２は、本発明の第１実施形態に係る第１情報処理装置１０の概略構成を示す機能ブロック図である。第１情報処理装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、メインメモリ１２、記憶部１３、カメラ１４、センサ１５、外部インターフェース１６、通信部１７、入力部１８、ディスプレイ１９等を備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。

ＣＰＵ１１は、例えば、バスを介して接続された記憶部１３に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により第１情報処理装置１０全体の制御を行うとともに、記憶部１３に格納された各種プログラムを実行することにより各種処理を実行する。

メインメモリ１２は、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ１１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。

記憶部１３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等であり、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の第１情報処理装置１０全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種デバイスドライバ、特定業務に向けられたアプリケーション、及び各種データやファイル等を格納する。また、記憶部１３には、各種処理を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。

カメラ１４は、例えば、レンズ等の撮像部とＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を備えており、ユーザによる入力部１８からの入力操作等に基づいてＣＰＵ１１によって制御される。

撮像部は、レンズ、レンズ駆動部、及びイメージセンサ等を備えている。レンズは、被写体からの光を取り込み、イメージセンサに被写体像を結像させる。イメージセンサは、レンズにより取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサでは、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換した画像データ（ＲＡＷデータ）をＩＳＰへ出力する。
また、このＲＡＷデータは、例えば、センサ１５に出力され、後述する顔検知処理に用いられてもよい。

ＩＳＰは、イメージセンサから出力された画像データ（ＲＡＷデータ）に対して所定の信号処理（画像処理）を実施する。ＩＳＰは、例えば、ＲＡＷデータに対して自動露出調整、自動ホワイトバランス調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等の各種処理を行う。ＩＳＰにおいて処理が行われた画像データは、バスを介してＣＰＵ１１に出力される。

センサ１５は、例えば、カメラ１４のイメージセンサから出力された画像データ（ＲＡＷデータ）、または、カメラ１４のＩＳＰから出力された画像データに基づいて顔検知処理を行う。例えば、センサ１５は、画像データに含まれる顔の特徴点を抽出し、抽出した特徴点を用いて被写体の顔が正面を向いていることを検知する。例えば、顔として特定された領域内に、目が２つ、鼻、口を検出できた場合に、被写体が正面を向いていることを検知する。センサ１５は、被写体が正面を向いていることを検知した場合に、そのことを示す顔検知信号をＣＰＵ１１に出力する。

なお、カメラ１４とセンサ１５とは一体化され、モジュールとして構成されていてもよい。この場合、撮像部のイメージセンサは解像度の異なる２つのＲＡＷデータを生成し、高い解像度のＲＡＷデータをＩＳＰに出力し、低い解像度のＲＡＷデータをセンサ１５に出力することとしてもよい。このように、解像度の低いＲＡＷデータをセンサ１５に出力することにより、顔検知に関する画像処理の処理負担を軽減させることができ、省電力化を図ることが可能となる。

また、センサ１５による顔検知機能をＣＰＵ１１が実現する構成としてもよい。この場合、センサ１５は不要となる。また、顔検知機能をＣＰＵ１１が実現する場合には、カメラ１４のイメージセンサから出力されたＲＡＷデータではなく、ＩＳＰによる画像処理後の画像データに基づいて顔検知を行うこととしてもよい。

外部インターフェース１６は、外部機器と接続するためのインターフェースである。外部機器の一例として、他の情報処理装置（例えば、第２情報処理装置２０）、外部モニタ、ＵＳＢメモリ、外付けＨＤＤ等が挙げられる。なお、図２に示した例では、外部インターフェースは、１つしか図示されていないが、複数の外部インターフェースを備えていてもよい。

通信部１７は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。
入力部１８は、例えば、キーボード、マウス、タッチパネル等、ユーザが第１情報処理装置１０に対して指示を与えるためのユーザインターフェースである。
ディスプレイ１９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等で構成される表示画面を有し、第１情報処理装置１０によって実行されたアプリケーションソフトウェアプログラムの結果等を表示するものである。

図３は、本発明の第１実施形態に係る第２情報処理装置２０のハードウェア構成の一例を示した概略構成図である。図３に示すように、第２情報処理装置２０は、例えば、第１情報処理装置１０とほぼ同様の構成とされ、ＣＰＵ２１、メインメモリ２２、記憶部２３、カメラ２４、外部インターフェース２５、通信部２６、入力部２７、及びディスプレイ２８を備えている。

図４は、本実施形態に係る情報処理システム１が有する各種機能のうち、画像切替システム３０に関する機能の一例を抽出して示した機能ブロック図である。
図４に示すように、画像切替システム３０は、一例として、顔検知部３１、出力制御部３２、出力先切替部３３、及び画像データ出力部３４を主な構成として備えている。
顔検知部３１、出力制御部３２、出力先切替部３３は、例えば、第１情報処理装置１０に搭載される機能である。画像データ出力部３４は、例えば、第２情報処理装置２０に搭載される機能である。

顔検知部３１は、例えば、センサ１５（図２参照）に搭載されている機能である。
また、出力制御部３２及び出力先切替部３３の機能は、第１情報処理装置１０のＣＰＵ１１（図２参照）によって実現される。具体的には、出力制御部３２及び出力先切替部３３の機能を実現するための一連の処理は、一例として、プログラム（例えば、画像切替プログラム）の形式で記憶部１３に記憶されており、このプログラムをＣＰＵ１１がメインメモリ１２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部１３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。また、この例に代えて、例えば、第１情報処理装置１０がＥＣ（Embedded Controller）を搭載している場合には、ＥＣによって実現されてもよい。

また、同様に、後述する画像データ出力部３４の機能を実現するための一連の処理は、一例として、プログラム（例えば、画像切替プログラム）の形式で第２情報処理装置２０の記憶部２３に記憶されており、このプログラムをＣＰＵ２１がメインメモリ２２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部２３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

顔検知部３１は、第１情報処理装置１０と第２情報処理装置２０との接続が検出されている場合に、カメラ１４によって取得された画像データ（以下「第１画像データ」という。）に含まれる被写体が正面を向いていることを検知する。なお、顔検知に用いられる画像データは、上述したように、ＩＳＰによる画像処理が行われる前のＲＡＷデータでもよい。

顔検知部３１は、第１画像データに含まれる顔の特徴点を抽出し、抽出した特徴点を用いて被写体の顔が正面を向いていることを検知する。例えば、顔検知部３１は、第１画像データに含まれる顔の特徴点を抽出し、抽出した特徴点を用いて被写体の顔が正面を向いていることを検知する。例えば、顔として特定された領域内に、目が２つ、鼻、口を検出できた場合に、被写体が正面を向いていることを検知する。顔検知部３１は、被写体が正面を向いていることを検知した場合に、そのことを示す顔検知信号を出力制御部３２に出力する。

出力制御部３２は、顔検知信号が入力された場合、すなわち、被写体（ユーザ）が正面を向いている場合に、第１画像データを第２情報処理装置２０に出力するように出力先切替部３３を制御する。また、出力制御部３２は、顔検知信号が入力されていない場合、すなわち、被写体が正面を向いていない場合には、第１画像データを第２情報処理装置２０以外の他の出力先（例えば、ＣＰＵ１１）に出力するように出力先切替部３３を制御する。

出力先切替部３３は、出力制御部３２からの制御指令に基づいて、第１画像データの出力先を切り替える。これにより、顔検知がされた場合には、第１画像データは外部インターフェース１６、２５を介して第２情報処理装置２０へ出力され、顔検知がされなかった場合には、第１画像データは第２情報処理装置２０以外の所定の出力先（例えば、ＣＰＵ１１）へ出力される。

画像データ出力部３４は、第１情報処理装置１０から出力された第１画像データ及びカメラ２４によって取得された第２画像データが入力可能とされ、第１画像データ及び第２画像データを択一的に出力する。画像データ出力部３４は、例えば、第１画像データが入力されている場合に、第１画像データを出力し、第１画像データが入力されていない場合に、第２画像データを出力する。画像データ出力部３４から出力された画像データは、例えば、通信部２６（図３参照）及びディスプレイ２８に出力される。通信部２６は、入力された画像データをネットワークを介して接続されている接続先に送信する。これにより、送信先のディスプレイには、通信部２６から送信された画像データが表示される。また、ディスプレイ２８は、入力された画像データを表示画面に表示させる。

次に、本実施形態に係る画像切替方法について図５及び図６を参照して説明する。図５は、本実施形態に係る画像切替方法のうち、第１情報処理装置１０において実行される処理の手順の一例を示したフローチャートである。また、図６は、本実施形態に係る画像切替方法のうち、第２情報処理装置２０において実行される処理の手順の一例を示したフローチャートである。

以下の説明では、一例として、第２情報処理装置２０に対して第１情報処理装置１０が外部装置として接続された場合を想定する。すなわち、第２情報処理装置２０のＣＰＵ２１からの指令に基づいて、第２情報処理装置２０が動作する場合について説明する。また、以下において、第２情報処理装置２０が備えるディスプレイ２８がメインディスプレイとして機能し、第１情報処理装置１０が備えるディスプレイ１９は、セカンドディスプレイとして機能する場合を想定して説明する。

まず、第２情報処理装置２０においてユーザがビデオ会議に関するアプリケーションを起動すると、第２情報処理装置２０から第１情報処理装置１０に対してビデオ会議アプリケーションが起動された旨を示す信号が送信される。第１情報処理装置１０では、この信号を受信すると、カメラ１４がオンになっているか否かを判定する（ＳＡ１）。この結果、カメラ１４がオンでない場合には（ＳＡ１：ＮＯ）、本処理を終了する。

一方、カメラ１４がオンである場合には（ＳＡ１：ＹＥＳ）、カメラ１４によって取得された第１画像データに基づいて顔検知処理を行う（ＳＡ２）。続いて、顔検知処理において、顔が検知されたか否か、例えば、顔の各特徴点である２つの目、鼻、口が特定されたか否かを判定する（ＳＡ３）。この結果、顔が検知された場合には、被写体が正面を向いていると判定し（ＳＡ３：ＹＥＳ）、カメラ１４によって取得された第１画像データを第２情報処理装置２０に出力し（ＳＡ４）、ステップＳＡ６に進む。一方、顔が検知されなかった場合には、被写体が正面を向いていないと判定し（ＳＡ３：ＮＯ）、第１画像データを第２情報処理装置２０以外の所定の出力先（例えば、ＣＰＵ２１）に出力し（ＳＡ５）、ステップＳＡ６に進む。

ステップＳＡ６では、ビデオ会議が終了したか否か、すなわち、ビデオ会議アプリケーションが終了された旨を示す信号を受信したか否かを判定する。この結果、ビデオ会議が終了されていない場合には（ＳＡ６：ＮＯ）、ステップＳＡ１に戻り、後続の処理を行う。また、ビデオ会議が終了された場合には（ＳＡ６：ＹＥＳ）、本処理を終了する。

また、第２情報処理装置２０では、ユーザがビデオ会議に関するアプリケーションを起動すると、第１情報処理装置１０から第１画像データ、すなわち、カメラ１４によって取得された第１画像データが入力されているか否かを判定する（ＳＢ１）。この結果、第１画像データが入力されている場合には（ＳＢ１：ＹＥＳ）、第１画像データを通信部２６及びディスプレイ２８に出力する（ＳＢ２）。これにより、第１画像データは通信部２６を介してビデオ会議に参加している各ユーザ端末に送信され、各ユーザ端末のディスプレイに表示される。また、ディスプレイ２８の表示画面に第１画像データが表示される。

一方、ステップＳＢ１において、第１画像データが入力されていない場合には（ＳＢ１：ＮＯ）、ユーザはメインディスプレイの方を向いているとみなし、カメラ２４によって取得された第２画像データを通信部２６及びディスプレイ２８に出力する。これにより、第２画像データが通信部２６を介してビデオ会議に参加している各ユーザ端末に送信され、各ユーザ端末のディスプレイに表示される。また、ディスプレイ２８の表示画面に第２画像データが表示される。
続いて、ユーザによってビデオ会議に関するアプリケーションが終了されたか否かを判定する（ＳＢ４）。この結果、ビデオ会議が終了していない場合には（ＳＢ４：ＮＯ）、ステップＳＢ１に戻り、後続の処理を実行する。一方、ビデオ会議が終了している場合には（ＳＢ４：ＹＥＳ）、本処理を終了する。

以上、説明してきたように、本実施形態に係る情報処理システム１、画像切替システム３０、及び画像切替方法によれば、例えば、ビデオ会議を行っているときに、ユーザがセカンドディスプレイであるディスプレイ１９の方を向いている場合には、カメラ１４によって取得された第１画像データが会議に参加しているユーザ端末に送信されることとなる。また、ユーザがメインディスプレイであるディスプレイ２８の方を向いている場合には、カメラ２４によって取得された第２画像データが会議に参加しているユーザ端末に送信されることとなる。

このように、メインディスプレイ（ディスプレイ２８）とセカンドディスプレイ（ディスプレイ１９）とを用いている環境において、ユーザがどちらのディスプレイを見て作業を行っているかをカメラ１４によって取得された画像データに基づいて判定し、その判定結果に基づいてビデオ会議の相手に送信する画像データを動的に切り替える。例えば、ユーザがセカンドディスプレイ（ディスプレイ２８）を見ている場合には、カメラ１４によって取得される第１画像データは、図７に示すように、ユーザが正面を向いている画像となり、その一方で、カメラ２４によって取得される第２画像データは、図８に示すようにユーザが横を向いている画像となる。このような場合、第２画像データではなく、第１画像データがビデオ会議の参加者のユーザ端末に送信され、ビデオ会議の参加者のユーザ端末には、ユーザが正面を向いた画像が表示されることとなる。この結果、相手に不愉快な印象を与えることなく、コミュニケーションの向上を図ることが可能となる。

以上、本発明の第１実施形態について説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

例えば、上述した実施形態では、第１情報処理装置１０がカメラ１４を、第２情報処理装置２０がカメラ２４を搭載する場合を例示して説明したが、これらカメラ１４、２４は外部装置としてそれぞれの情報処理装置に接続されていてもよい。

また、上述した実施形態では、第２情報処理装置２０に対して第１情報処理装置１０を外部装置として接続した場合を例示して説明したが、例えば、外部装置として接続される機器は、モニタでもよい。この場合、カメラ１４も外部装置として第２情報処理装置２０に接続されることとなる。また、この場合には、図４に示した第１情報処理装置１０が備える顔検知部３１、出力制御部３２、出力先切替部３３の機能は、第２情報処理装置２０に搭載されることとなる。すなわち、これらの機能は、第２情報処理装置２０のＣＰＵ２１によって実現されることとなる。

これにより、例えば、外部装置として接続されたモニタに取り付けられたカメラ１４によって取得された第１画像データは、第２情報処理装置２０に送信され、第２情報処理装置２０において、第１画像データに基づく顔検知処理が行われる。そして、顔検知処理の結果に応じて、カメラ１４によって取得された第１画像データ及びカメラ２４によって取得された第２画像データが択一的に選択され、出力されることとなる。なお、この場合において、カメラ１４とセンサ１５とが一体化されたカメラモジュールが外部装置として接続された場合には、カメラモジュールから第１画像データと顔検知結果を示す信号とが第２情報処理装置２０に出力されることとなる。

〔第２実施形態〕
次に、本発明の第２実施形態に係る情報処理システム、画像切替システム、及び画像切替方法について、図面を参照して説明する。

図９は、本発明の第２実施形態に係る情報処理システム４０の全体構成を概略的に示したシステム構成図である。
図９に示すように、情報処理システム４０は、情報処理装置５０を備えている。情報処理装置５０は、例えば、ノートＰＣ、デスクトップ型ＰＣ、タブレット端末、スマートフォン等の情報処理装置である。図９では、情報処理装置５０がノートＰＣの場合を例示している。また、情報処理システム４０は、第２カメラ５４ｂ及び第２ディスプレイ５８ｂを備えている。第２カメラ５４ｂは、第２ディスプレイ５８ｂに設置されている。第２カメラ５４ｂ及び第２ディスプレイ５８ｂは、情報処理装置５０に対して外部装置として接続されている。

図１０は、本実施形態に係る情報処理装置５０のハードウェア構成の一例を示した図である。
図１０に示すように、情報処理装置５０は、例えば、ＣＰＵ５１、メインメモリ５２、記憶部５３、第１カメラ５４ａ、外部インターフェース５５、通信部５６、入力部５７、第１ディスプレイ５８ａ、及びマイク５９等を備えている。これら各部は直接的にまたはバスを介して間接的に相互に接続されており互いに連携して各種処理を実行する。

ＣＰＵ５１は、例えば、バスを介して接続された記憶部５３に格納されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）により情報処理装置５０全体の制御を行うとともに、記憶部５３に格納された各種プログラムを実行することにより各種処理を実行する。

メインメモリ５２は、キャッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の書き込み可能なメモリで構成され、ＣＰＵ５１の実行プログラムの読み出し、実行プログラムによる処理データの書き込み等を行う作業領域として利用される。

記憶部５３は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等であり、例えば、Ｗｉｎｄｏｗｓ（登録商標）、ｉＯＳ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の情報処理装置５０全体の制御を行うためのＯＳ、周辺機器類をハードウェア操作するための各種デバイスドライバ、特定業務に向けられたアプリケーション、及び各種データやファイル等を格納する。また、記憶部５３には、後述する画像切替機能を実現するためのプログラムや、各種処理を実現するために必要とされる各種データが格納されている。

第１カメラ５４ａは、例えば、レンズ等の撮像部とＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を備えており、ユーザによる入力部５７からの入力操作等に基づいてＣＰＵ５１によって制御される。なお、第１カメラ５４ａの構成は、例えば、公知の構成とされており、一例として、上述した第１実施形態に係るカメラ１４と同様の構成とされている。

外部インターフェース５５は、外部機器と接続するためのインターフェースである。外部機器の一例として、カメラ、外部モニタ、ＵＳＢメモリ、外付けＨＤＤ等が挙げられる。なお、図１０に示した例では、外部インターフェース５５に、第２カメラ５４ｂ及び第２ディスプレイ５８ｂが接続されている。第２カメラ５４ｂは、例えば、公知の構成とされており、一例として、上述した第１実施形態に係るカメラ１４と同様の構成とされている。

通信部５６は、ネットワークに接続して他の装置と通信を行い、情報の送受信を行うためのインターフェースとして機能する。

入力部５７は、例えば、マウス５７ａ、キーボード（図示略）、タッチパネル（図示略）等、ユーザが情報処理装置５０に対して指示を与えるためのユーザインターフェースである。

第１ディスプレイ５８ａは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等で構成される表示画面を有し、ＣＰＵ５１によって実行されたアプリケーションソフトウェアプログラムの結果等を表示するものである。

マイク５９は、音声を音声データに変換して出力する。

図１１は、本発明の第２実施形態に係る情報処理装置５０が有する各種機能のうち、画像切替に関する機能の一例を抽出して示した機能ブロック図である。
図１１に示すように、画像切替部（画像切替システム）６０は、一例として、顔検知部６１、画像データ出力部６２を主な構成として備えている。

後述する各機能を実現するための一連の処理は、一例として、プログラム（例えば、画像切替プログラム）の形式で情報処理装置５０の記憶部５３に記憶されており、このプログラムをＣＰＵ５１がメインメモリ５２に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、記憶部５３に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

顔検知部６１には、例えば、第１カメラ５４ａによって取得された第１画像データ及び第２カメラ５４ｂによって取得された第２画像データが入力される。第１画像データ及び第２画像データは、イメージセンサから出力されたＲＡＷデータでもよいし、ＩＳＰによる画像処理後の画像データであってもよい。

顔検知部６１は、第１画像データ及び第２画像データに含まれている被写体が正面を向いているか否かをそれぞれ判定する。そして、被写体が正面を向いていることを検知した場合には、その画像データに顔検知情報を付加して画像データ出力部６２に出力する。ここで、顔検知に関する具体的な処理は、例えば、上述した第１実施形態に係る顔検知部３１の処理と同様である。

画像データ出力部６２には、顔検知部６１から第１画像データ及び第２画像データが入力される。また、これら画像データのうち、被写体が正面を向いていることが検知された画像データには、その旨を示す顔検知情報が付加されている。

また、画像データ出力部６２には、マイク５９の動作情報及び入力部５７の入力操作情報が入力される。画像データ出力部６２は、マイク５９の動作状態、入力部５７からの入力操作情報に基づくマウスカーソルの位置情報、及び顔検知部６１の検知結果に基づいて、第１画像データ及び第２画像データを択一的に選択し、選択した画像データを出力する。

例えば、画像データ出力部６２は、マイク５９がオン状態である場合であって、マウスカーソルが表示されているディスプレイと、被写体が正面を向いていると判定された画像データが取得されたカメラとの対応が一致している場合に、顔検知がされた画像データを出力する。ここで、「マイク５９がオン状態」とは、マイク５９から入力された音声がビデオ会議に参加している参加者のユーザ端末に送信される状態にある場合であり、マイク５９がミュート状態になっていない状態をいう。

例えば、画像データ出力部６２は、ディスプレイと、当該ディスプレイに設置されたカメラの対応付け情報を有している。本実施形態では、第１カメラ（第１画像データ）５４ａと第１ディスプレイ５８ａとが対応付けられ、第２カメラ５４ｂと第２ディスプレイ５８ｂとが対応付けられた情報を有している。画像データ出力部６２は、顔検知がされた画像データ（例えば、第２画像データ）に対応するディスプレイ（例えば、第２ディスプレイ５８ｂ）にマウスカーソルが表示されているか否かを判定する。換言すると、マウスカーソルが表示されているディスプレイとユーザの顔の向きとが一致しているか否かを判定する。そして、画像データ出力部６２は、ユーザの顔の向きとマウスカーソルが表示されているディスプレイとが一致する場合であって、マイク５９がオン状態にある場合に、顔検知情報が付加された画像データ、換言すると、ユーザが正面を向いていることが検知された画像データを出力する。

画像データ出力部６２から出力された画像データは、例えば、通信部５６に出力される。通信部５６は、入力された画像データをネットワークを介して接続されている接続先に送信する。これにより、送信先のディスプレイには、通信部５６から送信された画像データが表示される。

次に、本実施形態に係る画像切替方法について図１２を参照して説明する。図１２は、本実施形態に係る画像切替方法の手順の一例を示したフローチャートである。

以下の説明では、一例として、図９、図１０に示したように、情報処理装置５０に対して第２カメラ５４ｂ及び第２ディスプレイ５８ｂが外部装置として接続されているとともに、第２カメラ５４ｂが第２ディスプレイ５８ｂに設置されており、ユーザが第２ディスプレイ５８ｂを見ているときに、ユーザの正面の顔が第２カメラ５４ｂによって撮影されるものとする。

まず、情報処理装置５０においてユーザがビデオ会議に関するアプリケーションを起動すると、第２カメラ５４ｂがオンになっているか否かを判定する（ＳＣ１）。この結果、第２カメラ５４ｂがオンでない場合には（ＳＣ１：ＮＯ）、本処理を終了する。

一方、第２カメラ５４ｂがオンである場合には（ＳＣ１：ＹＥＳ）、ディスプレイ設定を確認する。例えば、第１ディスプレイ５８ａ及び第２ディスプレイ５８ｂの位置関係（例えば、右側に第１ディスプレイ５８ａが、左側に第２ディスプレイ５８ｂが配置されている等）を確認する（ＳＣ２）。

続いて、第１カメラ５４ａによって取得された第１画像データ及び第２カメラ５４ｂによって取得された第２画像データに基づいて顔検知処理を行う（ＳＣ３）。続いて、顔検知処理の結果、第２画像データにおいて顔検知が行われたか、換言すると、第２画像データにおいて、被写体の顔が正面を向いていることが検知されたか否かを判定する（ＳＣ４）。この結果、第２画像データにおいて顔検知が行われた場合には（ＳＣ４：ＹＥＳ）、第２ディスプレイ５８ｂにマウスカーソルが表示されているか否かを判定する（ＳＣ５）。すなわち、ユーザが顔を向けているディスプレイ上にマウスカーソルが表示されているか否かを判定する。

この結果、第２ディスプレイ５８ｂにマウスカーソルが表示されている場合には（ＳＣ５：ＹＥＳ）、続いて、マイク５９がオン状態にあるか否かを判定する（ＳＣ６）。この結果、マイク５９がオン状態にあると判定した場合には（ＳＣ６：ＹＥＳ）、第２画像データを出力する（ＳＣ７）。これにより、第２画像データは、通信部５６を介してビデオ会議に参加している各ユーザ端末に送信され、各ユーザ端末のディスプレイに表示される。

一方、ステップＳＣ４において、第１画像データにおいて顔検知が行われた場合（ＳＣ４：ＮＯ）、ステップＳＣ５において、第１ディスプレイ５８ａにマウスカーソルが表示されていると判定した場合（ＳＣ５：ＮＯ）、又は、ステップＳＣ６において、マイク５９がオフ（ミュート状態）になっていると判定した場合（ＳＣ６：ＮＯ）は、第１画像データを出力する（ＳＣ８）。

これにより、第１画像データは、通信部５６を介してビデオ会議に参加している各ユーザ端末に送信され、各ユーザ端末のディスプレイに表示される。

続いて、ユーザによってビデオ会議に関するアプリケーションが終了されたか否かを判定する（ＳＣ９）。この結果、ビデオ会議が終了していない場合には（ＳＣ９：ＮＯ）、ステップＳＣ１に戻り、後続の処理を実行する。一方、ビデオ会議が終了している場合には（ＳＣ９：ＹＥＳ）、本処理を終了する。

なお、上記フローチャートでは、第１画像データを出力する場合をデフォルトとして、各種条件が満たされた場合に、第１画像データから第２画像データに切り替える場合を説明したが、第２画像データを出力する場合をデフォルト設定とし、第１画像データについて上記各条件が満たされた場合に、第２画像データから第１画像データに切り替えることとしてもよい。また、どちらの画像データをデフォルトとするのかについては、ユーザが適宜設定できるような構成とされていてもよい。

次に、上述した情報処理装置５０の画像切替方法を実現するためのソフトウェア構成の一例について図１３を参照して説明する。図１３は、本実施形態に係る画像切替方法を実現するためのソフトウェア構成の一例を示した図である。
図１３に示すように、情報処理装置５０が備える画像切替部６０は、例えば、コントローラ７１、ドライバソフトウェア（以下「ドライバＳＷ」という。）７２、顔検知ソフトウェア（以下「顔検知ＳＷ」という。）７３、カメラ切替制御ソフトウェア（以下「カメラ切替制御ＳＷ」という。）７４、仮想カメラドライバ７５、及びビデオ会議アプリケーション（以下「ビデオ会議アプリ」という。）７６によって実現される。

コントローラ７１は、マウス５７ａからの入力操作情報、第１カメラ５４ａからの第１画像データ、及び第２カメラ５４ｂからの第２画像データを受け付ける。マウス５７ａからの入力操作情報は、コントローラ７１からドライバＳＷ７２に出力される。ドライバＳＷ７２は入力操作情報からマウスカーソルの位置（以下「マウス位置」という。）を検出し、マウス位置をカメラ切替制御ＳＷ７４に出力する。

また、第１画像データ及び第２画像データは、コントローラ７１から顔検知ＳＷ７３及び仮想カメラドライバ７５にそれぞれ出力される。
顔検知ＳＷ７３は、入力された第１画像データ、第２画像データを画像処理し、ユーザの正面画像が含まれる画像データを検知し、検知した画像データに関する情報を顔検知情報としてカメラ切替制御ＳＷ７４に出力する。

カメラ切替制御ＳＷ７４には、ドライバＳＷ７２からマウス位置が、顔検知ＳＷ７３から顔検知情報が、ビデオ会議アプリ７６からマイク動作情報が入力される。カメラ切替制御ＳＷ７４は、入力されたこれら情報に基づいて、顔検知がされた画像データが第２画像データであり、マウスカーソルが第２ディスプレイ５８ｂに表示されており、かつ、マイク５９がオン状態であるか否かを判定する。この結果、全ての条件を満たしている場合には、第２画像データを出力するべく、第２カメラ５４ｂを選択する旨のカメラ切替情報を仮想カメラドライバ７５に出力する。これにより、仮想カメラドライバ７５から第２画像データがビデオ会議アプリ７６に出力される。

一方、カメラ切替制御ＳＷ７４は、上記条件のうちいずれかの条件を満たしていない場合には、第１画像データを出力するべく、第１カメラ５４ａを選択する旨のカメラ切替情報を仮想カメラドライバ７５に出力する。これにより、仮想カメラドライバ７５から第１画像データがビデオ会議アプリ７６に出力される。

以上、説明してきたように、本実施形態に係る情報処理システム４０、情報処理装置５０、及び画像切替方法によれば、例えば、ビデオ会議を行っているときに、ユーザが第２ディスプレイ５８ｂの方を向いており、かつ、マウスカーソルが第２ディスプレイ５８ｂに表示されており、かつ、マイク５９がオン状態にある場合には、第２カメラ５４ｂによって取得された第２画像データが会議に参加しているユーザ端末に送信されることとなる。また、上述したいずれかの条件を満たしていない場合には、第１画像データが会議に参加しているユーザ端末に送信されることとなる。

このように、本実施形態によれば、第１ディスプレイ５８ａ及び第２ディスプレイ５８ｂを用いている環境において、ユーザがどちらのディスプレイを見て作業を行っているかを画像データに基づいて判定するだけでなく、そのときのマウスカーソルの位置やマイクの動作状態をも考慮して、画像データの切り替えを行う。例えば、ユーザが第２ディスプレイ５８ｂ上にプレゼン資料等を表示させて、ビデオ会議において説明するような場合には、ユーザは第２ディスプレイ５８ｂの方向に顔を向けるだけでなく、第２ディスプレイ５８ｂに表示されている資料等をマウス５７ｂ等の入力部５７で操作しながら説明を行うことが考えられる。また、この場合、マイク５９もオン状態にされている可能性が高い。
したがって、顔の向きだけでなく、マウスカーソルの位置情報及びマイク５９の動作状態を加味して、画像データを択一的に選択することにより、臨場感のある画像データをビデオ会議の参加者のユーザ端末に送信することが可能となる。この結果、コミュニケーションの向上を図ることが可能となる。

以上、本発明の第２実施形態について説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。また、上記実施形態を適宜組み合わせてもよい。
また、上記実施形態で説明した処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

例えば、上述した実施形態では、情報処理装置５０が第１カメラ５４ａを搭載している場合を例示して説明したが、第１カメラ５４ａも外部装置として情報処理装置５０に接続されていてもよい。

また、上述した実施形態では、画像データ出力部６２には、顔検知部６１を介して第１画像データ及び第２画像データが入力されることとしたが、顔検知部６１を介さずに、第１カメラ５４ａによって取得された第１画像データ及び第２カメラ５４ｂによって取得された第２画像データがそれぞれ入力されることとしてもよい。この場合、顔検知部６１からは顔が検知された画像データの情報（例えば、図１３の顔検知情報を参照）が入力されればよい。

また、上述した実施形態では、ソフトウェアによって顔検知を行っていたが、第１実施形態のように、顔検知機能を有するセンサ（例えば、センサ１５）を設け、センサの検知結果をＣＰＵ５１に出力することとしてもよい。この場合、センサに入力される画像データは、イメージセンサから出力された画像データ（ＲＡＷデータ）でもよいし、ＩＳＰから出力された画像データであってもよい。

また、上述した実施形態では、第１画像データ及び第２画像データの両方に対して顔検知処理を行っていたが、この例に限定されず、いずれか一方の画像データに対して顔検知処理を行うこととしてもよい。例えば、第１画像データのみを対象として顔検知処理を行い、第１画像データにおいて顔検知がされない場合には、第２画像データにユーザの正面画像が含まれているとみなすこととしてもよい。また、同様に、センサによって顔検知処理を行う場合には、第１画像データ及び第２画像データのいずれか一方の画像データに対して顔検知処理を行うこととしてもよい。また、センサは、カメラと一体化されていてもよいし、別体として設けられていてもよい。

また、上述した実施形態では、マウスカーソルの位置情報とマイクの動作状態との両方を用いて画像データの切り替えを行っていたが、この例に限定されず、例えば、第１実施形態で述べたように、顔検知の結果のみに基づいて画像データを切り替えることとしてもよい。例えば、図１２に示したフローチャートにおいて、ステップＳＣ５及びＳＣ６を省略してもよい。

また、上記に代えて、顔検知の結果と、マウスカーソルの位置情報及びマイクの動作状態の少なくともいずれか一方の情報とを用いて、画像データの切り替えを行うこととしてもよい。例えば、図１２に示したフローチャートにおいて、ステップＳＣ５及びステップＳＣ６のいずれか一方を省略してもよい。

また、上述した実施形態において、図１２に示したステップＳＣ４～ＳＣ６の各条件について、所定期間継続してその条件を満たしているか否かを判定することとしてもよい。例えば、ステップＳＣ４において、第２画像データに含まれる被写体が正面を向いていることが第１所定期間以上継続して検知されたか否かを判定することとしてもよい。同様に、ステップＳＣ５では、第２ディスプレイ上にマウスカーソルが表示されている状態が第２所定期間維持されたか否かを判定することとしてもよい。また、ステップＳＣ６では、マイクオンの状態が第３所定期間維持されたか否かを判定することとしてもよい。

また、この場合において、ステップＳＣ５及びステップＳＣ６の判定処理の両方又はいずれか一方を省略することとしてもよい。また、第１所定期間、第２所定期間、第３所定期間は適宜設定することができ、それぞれ異なる期間であってもよいし、一部又は全部を同じ期間に設定することも可能である。

１ ：情報処理システム
１０ ：第１情報処理装置
１１ ：ＣＰＵ
１２ ：メインメモリ
１３ ：記憶部
１４ ：カメラ
１５ ：センサ
１６ ：外部インターフェース
１７ ：通信部
１８ ：入力部
１９ ：ディスプレイ
２０ ：第２情報処理装置
２１ ：ＣＰＵ
２２ ：メインメモリ
２３ ：記憶部
２４ ：カメラ
２５ ：外部インターフェース
２６ ：通信部
２７ ：入力部
２８ ：ディスプレイ
３０ ：画像切替システム
３１ ：顔検知部
３２ ：出力制御部
３３ ：出力先切替部
３４ ：画像データ出力部
４０ ：情報処理システム
５０ ：情報処理装置
５１ ：ＣＰＵ
５２ ：メインメモリ
５３ ：記憶部
５４ａ ：第１カメラ
５４ｂ ：第２カメラ
５５ ：外部インターフェース
５６ ：通信部
５７ ：入力部
５７ａ ：マウス
５８ａ ：第１ディスプレイ
５８ｂ ：第２ディスプレイ
５９ ：マイク
６０ ：画像切替部（画像切替システム）
６１ ：顔検知部
６２ ：画像データ出力部
７１ ：コントローラ
７２ ：ドライバソフトウェア（ドライバＳＷ）
７３ ：顔検知ソフトウェア（顔検知ＳＷ）
７４ ：カメラ切替制御ソフトウェア（カメラ切替制御ＳＷ）
７５ ：仮想カメラドライバ
７６ ：ビデオ会議アプリケーション（ビデオ会議アプリ）

Claims (3)

1. 第１カメラとディスプレイとを備える第１情報処理装置と、
   第２カメラとディスプレイとを備える第２情報処理装置と
   を備え、
   前記第１情報処理装置は、
   前記第２情報処理装置との接続が検出されている場合に、前記第１カメラによって取得された第１画像データに含まれる被写体が正面を向いていることを検知する顔検知部と、
   前記被写体が正面を向いていることが検知された場合に、前記第１画像データを前記第２情報処理装置に出力する出力制御部と
   を備え、
   前記第２情報処理装置は、
   前記第１情報処理装置から出力された前記第１画像データ及び前記第２カメラによって取得された第２画像データが入力可能とされ、前記第１画像データ及び前記第２画像データを択一的に出力する画像データ出力部を備え、
   前記画像データ出力部は、前記第１画像データが入力されている場合に、前記第１画像データを出力する情報処理システム。
2. 前記第１カメラは外部装置として前記第１情報処理装置に接続されている請求項１に記載の情報処理システム。
3. 前記第２情報処理装置は、通信部を備え、
   前記画像データ出力部は、前記第１画像データ及び前記第２画像データを択一的に前記通信部に出力する請求項１又は２に記載の情報処理システム。