JP5928261B2

JP5928261B2 - 情報共有装置およびプログラム

Info

Publication number: JP5928261B2
Application number: JP2012195240A
Authority: JP
Inventors: クワフォルドペルニッラ; ジーキンバードナルド
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-10-07
Filing date: 2012-09-05
Publication date: 2016-06-01
Anticipated expiration: 2032-09-05
Also published as: US9131147B2; JP2013084248A; US20130088605A1

Description

ディスプレイに表示しているコンテンツを他の装置に送信する情報共有装置に関する。

非特許文献1には、Bluetooth(登録商標)を利用した公共のディスプレイとのやりとりに関する技術が記載されている。

ユー他(You et al.)、「家庭内大型ディスプレイとの複数ユーザーによる視覚を基にした対話の学習(Studying vision-based multiple-user interaction with in-home large displays)」、人間中心計算論に関する第3回ACM国際会議予稿集(Proceedings of the 3rd ACM international workshop on Human-centered computing)、2008年、p.19-26

小さなディスプレイに表示しているコンテンツを多くの人数(集団)で見ることは非常に困難である。一方で、携帯機器の画面に表示しているコンテンツを大型ディスプレイ等で見られるようにするのは面倒な作業である。そこで、小さなディスプレイで表示していたコンテンツを、ユーザーに面倒な設定を強いることなく、大型ディスプレイ等の他の装置で共有できるようにすることを目的とする。

第1の態様として、情報を表示するディスプレイと、カメラと、前記カメラで撮影した画像を用いて本情報共有装置に注目している人の数を算出し、当該人数が予め定めた閾値より大きいか否かを判断することによって集団の有無を検出する集団検出手段と、本情報共有装置の近くに存在する利用可能な他の装置を検出する装置検出手段と、前記集団検出手段で集団が検出された場合に、前記装置検出手段で検出した装置の少なくとも一つに対して、前記ディスプレイで表示していたコンテンツを送信する送信手段と、を備える情報共有装置がある。

第2の態様として、前記第1の態様において、前記装置検出手段は、検出した装置のディスプレイの大きさをさらに検出し、前記送信手段は、本情報共有装置のディスプレイよりも大きなディスプレイを有する装置にのみコンテンツを送信するようにしてもよい。

第3の態様として、前記第1の態様において、前記送信手段は、前記検出手段で検出した装置にプリンタが含まれていた場合に、コンテンツを当該プリンタが解釈可能なデータまたは命令列に変換して、当該プリンタに送信するようにしてもよい。

第4の態様として、前記第1の態様において、前記カメラで撮影した画像を用いて、そこに写っている人を特定する個人特定手段をさらに備え、前記送信手段は、特定した人と対応付けられている装置であって前記装置検出手段で検出した装置に含まれている装置に対して、コンテンツを送信するようにしてもよい。

第5の態様として、ディスプレイに情報を表示させる手段と、カメラからの画像を入力する手段と、カメラから入力した画像を用いて前記ディスプレイに注目している人の数を算出し、当該人数が予め定めた閾値より大きいか否かを判断することによって集団の有無を検出する集団検出手段と、近くに存在する利用可能な他の装置を検出する装置検出手段と、前記集団検出手段で集団が検出された場合に、前記装置検出手段で検出した装置の少なくとも一つに対して、前記ディスプレイで表示していたコンテンツを送信する送信手段として、コンピュータを機能させるためのプログラムがある。

第6の態様として、ディスプレイと、前記ディスプレイ装置の近くに存在する装置を検出する装置検出手段と、前記装置に注目している人の数を算出し、当該人数が予め定めた閾値より大きいか否かを判断することによって集団の有無を検出する集団検出手段と、前記集団検出手段で集団が検出された場合に、前記装置に対して、情報共有が可能である旨の通知を送信する手段と、前記通知を送信した装置からのコンテンツの送信を受けて、前記ディスプレイで当該コンテンツを表示する表示手段と、を備えることを特徴とする情報共有装置がある。

ユーザーに面倒な接続作業を強いることなく、あるディスプレイに表示していたコンテンツを他の装置に送信することを可能にする。

本実施形態におけるシステム構造の例を示すブロック図である。カメラによる顔検出の例を示す図である。カメラによる人物検出の例を示す図である。カメラによる人物検出の例を示す図である。本実施形態の機能の関係を示すブロック図である。本実施形態の処理の例を示すフローチャートである。本実施形態のコンピュータシステムの例を示すブロック図である。

本実施例における装置は、人の集団を検出し、これが検出された場合に共有コンテンツを適切な装置に送信する。共有コンテンツは、適切な装置(大きなディスプレイ、プリンタ等)に対してシームレスに、すなわちユーザーに対して違和感を与えることなく送信される。

本実施例では、人の集団検出を利用して、特に携帯機器と、大きなディスプレイまたは他の適切な装置との間のコンテンツ共有を行う。人の集団検出には、携帯機器に接続されたセンサー、その携帯機器のディスプレイよりも大きなディスプレイに接続されたセンサー、およびその両者に接続されたセンサーのいずれを用いても良い。ここで、大きなディスプレイとしては、共有すべき情報を多くの人に十分に示すことができるように、12インチ以上のサイズのディスプレイであることが望ましい。また、大きなディスプレイに注意を向けていない人を検出し、それに応じた動作を行うようにすることもできる。

会議においては、ノート型コンピュータまたはその他の携帯機器の小さな画面上に、情報が表示されることがままある。ノート型コンピュータや携帯電話等の小さなディスプレイは、複数の人に対して情報を表示することに適しているわけではない。しかしながら、近くに大きなディスプレイがある場合であっても、携帯機器の小さなディスプレイに表示する人が多いという事実がある。これは、携帯機器を他のディスプレイに接続するための手間が大きく、これを行おうとすると、会話や共同作業の流れを阻害してしまうからである。このような問題を解決するために、ここでは、ユーザーの携帯機器に注目している人の数、すなわちそのディスプレイを見るなどしてそこから情報を得ようとしている人の数を検出する。この人数が閾値を超える場合には、近くの大きなディスプレイへの表示を提案したり、また実際に表示したりするのである。この閾値は、ユーザーが予め設定してもよいし、共有される情報に応じて自動的に決定しても良い。

なお、携帯機器と大きなディスプレイとの間の物理的な接続が断たれたり、携帯機器が大きなディスプレイとの無線接続の範囲から外れたりした場合には、両者の論理的な接続は自動的に解除されるようにするのが好ましい。

ここで、人数を検出した後の情報共有として、大きなディスプレイ上で情報を共有するのではなく、他の装置を用いて情報共有を行うことも可能である。例えば、近くにあるプリンタを検出し、検出した人数に対応する枚数だけコンテンツを印刷してもよい。また、検出した集団に属する人が所持している携帯機器に情報を送信し、この携帯機器を用いて情報共有を行うことも可能である。また、共有すべき情報が音声情報の場合には、音声情報が出力できる装置、例えば外部のスピーカー、に対して情報を送信し、これを共有するようにしてもよい。さらには、ファクシミリに情報を送信してもよい。

装置に対して注目している集団を検出する技術は、共有ディスプレイに情報を表示する場合だけでなく、慎重に扱うべき情報(秘密情報や、個人情報等)を保護する場合に用いてもよい。例えば、部屋中に人が分散している場合には、当該情報の大きなディスプレイ上への表示を禁止し、小さなディスプレイの前に複数の人が集まっていることを検出した場合に、その小さなディスプレイ上に当該情報を表示するようにしてもよい。全ての情報を共有することを望まないユーザーに対しては、携帯機器上に表示されるコンテンツのうち、どのコンテンツを大きなディスプレイに送信するかのユーザー指示を、その携帯機器上で受け付けるようにしてもよい。この指定は、例えば、画面上の領域の指定を検出することで可能であるが、他の様々なコンテンツの指定方法が利用可能である。

本実施例では、以下の3つのサービスを用いる。1)人の集団を検出するサービス、2)携帯機器並びに近くのディスプレイおよびプリンタ等の情報共有用の装置の位置を検出するサービス、3)携帯機器から送信されたコンテンツを情報共有機器で出力するサービス、の3つである。さらに、先の3つのサービスからの情報を統合して適切な処理を決定するディスプレイ共有マネージャーを用いても良い。

人の集団の検出は、いくつかの異なる方法で実現できる。ノート型コンピュータ、スマートフォン、タブレットコンピュータ等の携帯機器で行うこともできるし(携帯機器中心のアプローチ)、大きなディスプレイの近傍に設置されたセンサーで行うこともできる(ディスプレイ中心のアプローチ)。さらには、これらを組み合わせた方法でもよい。

携帯機器中心のアプローチの場合、携帯機器に備えられている前面カメラ(スクリーンと同じ側を向いているカメラ)を用いて、そこに写っている人の顔を検出し、その顔の数を当該携帯機器に注目している人の数として用いることができる。人の数が閾値を超えた場合には、その旨がディスプレイマネージャーに通知される。

もちろん他の集団検出の方法も利用可能である。例えば、顔そのものを検出する代わりに、目等の顔の特徴部分を抽出するようにしてもよい。また、目の存在だけでなくその向き(視線)も検出するようにすることで、その機器の方を向いている人の数だけを計数するようにしてもよい。

人の集団を検出する方法には、集団内の他の人に画面を見易くするべく画面の前から離れる人の存在を判断する追跡機能を付加することもできる。また、多くの人に画面を見せるために移動している人の存在や、その画面を備えた装置の移動を検出するための様々なモーションセンサーを組み合わせてもよい。これによって、何人の人に画面を見せようとしているか、何人の人が画面を見ようとしているかをより正確に見積もることができる。このように、複数のセンサーを組み合わせる場合、単純な人数の閾値による判断は好ましくない。そこで、共有するデータのパターン検出を行う分類器を用いて、複数のセンサーからのデータを統合するようにする。

ディスプレイ中心のアプローチの場合、大きなディスプレイの近傍に配置されたセンサーを用いて、人の集団を検出する。このためのセンサーとしては、ビデオカメラやキネクト（KINECT(登録商標)）等のモーションセンサーを用いることが考えられる。

人の集団が検出された際にコンテンツを共有するためには、携帯機器および大きなディスプレイの一方は他方が認識できなければならない。このための手法としては、以下に例示するものが利用できる。

携帯機器中心のアプローチの場合の例としては、近くにあるBluetooth(登録商標)のノードを検出し、その中から大きなディスプレイに対応するノードのリストを保持するようにすることが挙げられる。また、近くに複数のディスプレイが存在する場合には、ユーザーに対してどのディスプレイに接続するかをユーザーに選択させる。さらに、Bluetooth(登録商標)以外の近接センサーとして、RFID(Radio Frequency IDentification)タグやNFC(近接場型通信)を用いてもよい。近くにあるディスプレイを検出する方法としては、公知の様々な方法が利用できるが、携帯機器または大きなディスプレイの位置を認識できるものもある。この場合、携帯機器は、検出した大きなディスプレイの位置を自身の位置と比較し、同じ部屋に存在しないと判断したものを排除するようにしてもよい。

ディスプレイ中心のアプローチでは、人の集団が大きなディスプレイの前で検出された場合に、近くにある装置(携帯機器を含む)に通知するようにすることができる。この際に、その正確な位置が検出できる場合には、同じ部屋にある装置にだけ通知するようにするのが好ましい。この通知を受けた装置は、情報をその大きなディスプレイで表示するか否かの判断をユーザーに求める。

人の集団を検出するセンサーが設置された大規模な公共のホールにおいて、その内部に設置された大きなディスプレイに共有情報を表示している場合を考える。情報を出力できる何らかの装置の近くにおいて、センサーが人の集団を検出した場合には、その装置に対して、大きなディスプレイでのコンテンツの共有が可能である旨の通知を送信する。通知を受けた装置を操作しているユーザーは、この通知に応じてコンテンツを共有するか否かの指示を行う。共有する旨の指示を受けた携帯機器は、表示しているコンテンツを、前記の大きなディスプレイに対して送信する。この場合の装置の例としては、小さなディスプレイを備えた携帯機器や、プリンタなどが挙げられる。

図1は、実施例の一般的なシステム構造を示している。これは、画面共有モジュール100、ディスプレイ共有マネージャー101、集団検出モジュール103、ディスプレイ検出モジュール102を備えている。さらには、人の集団または装置の位置が重要な場合には、位置検出モジュール104を備えてもよい。集団検出モジュール103は、人の集団を検出するのに用いられる。このモジュールは、一例として、検出した人の顔の数が、予め定めた閾値を超えた場合に、人の集団が存在するものと判断する。もちろん、顔の検出のアルゴリズムは公知の様々な手法が適用可能であるし、集団検出のアルゴリズムも閾値で判断する以外の様々な手法が適用可能である。

そして、人の集団が検出された場合には、ディスプレイ共有マネージャー101に対して、その集団の情報(その存在情報および場合によってはその位置情報)を送信する。また、これと並行して、ディスプレイ検出モジュール102が、近傍のBluetooth(登録商標)のノードをスキャンし、ディスプレイであると識別できるノードを検出する。なお、このノードは、コンテンツが出力できる装置であれば良いのであるが、ここでは例としてディスプレイを取り上げる。そして、ディスプレイが検出された場合には、ディスプレイ検出モジュール102は、その情報(その存在情報および場合によってはその位置情報)をディスプレイ共有マネージャー101に通知する。ディスプレイ共有マネージャー101は、通知された情報から、情報を表示しているディスプレイの近くにおける人の集団の存在、及びその近くの他のディスプレイの存在を認識した場合に、表示しているコンテンツを、他のディスプレイ(通常は、その装置のディスプレイよりも大きなディスプレイ)に表示するかを、ユーザーに問い合わせる。なお、近くに複数のディスプレイが検出された場合には、どのディスプレイに検出するかの選択肢も併せて提示する。

ユーザーがその大きなディスプレイでの表示(共有)を選択した場合には、ディスプレイ共有マネージャー101が、画面共有ソフトウェアを利用して、そのディスプレイでのコンテンツの表示を行い、情報共有を行う。

ディスプレイ検出モジュール102の通知を受けたディスプレイ共有マネージャー101が、情報共有を行っている2つのディスプレイ同士が、近くに存在しなくなったと判断した場合には、ユーザーにその旨を通知すると共に、その情報共有を続けるか否かの選択を促す。予め設定した時間内にユーザーの選択が無い場合には、自動的に情報共有を中止する。

プリンタを使った情報共有も、上述の携帯機器中心のアプローチで可能である。但し、違う点は、近くのディスプレイではなく近くのプリンタが検出されることである(もちろん両者を検出しても良い)。検出されたプリンタには、大きなディスプレイと同じ種類の識別子が与えられる。これは、Bluetooth(登録商標)タグ、RFIDタグ、NRCタグまたは他の同種の技術を用いることで実現できる。なお、ディスプレイ中心のアプローチも、適用可能である。いずれにせよ、ディスプレイ上に表示していたコンテンツをプリンタに送信する場合には、これをプリンタが解釈可能なデータや命令列に変換した上でプリンタに対して送信する。

電子メール等を通じた電子文書による情報共有を行う場合、集団内の個人の特定が有用であろう。個人を特定することで、それぞれの電子メールアドレスを入力せずにコンテンツの共有が可能になり、よりシームレスな情報共有が可能となる。ここで、顔検出アルゴリズムに加えて、一般的な顔認識アルゴリズムを用いることで、集団内の個人の識別及び特定が可能となる。検出した集団内の個人を特定した上で、その個人に対応付けて記憶されている電子メールアドレスに対して、携帯機器に表示していたコンテンツを含む電子メールを送信することで、情報共有を行うのである。また、特定した個人に対応付けて携帯機器が登録されている場合、電子メールを用いずに、その携帯機器に対して、直接コンテンツを送信することも可能である。

集団内の個人の特定を行わずとも、その個人の有する携帯機器に対して直接コンテンツの送信を行うことは可能である。集団の中にある携帯機器を検出した場合に、その一つ以上の携帯機器に対してBluetooth(登録商標)等を介して直接コンテンツを送信すればよい。この送信は、大きなディスプレイへの送信と並行して行うこともできる。コンテンツの発信元となっている携帯機器から、そのコンテンツを受信している携帯機器が離れた場合、情報共有が中断されるようにするのが好ましい。

共有されるコンテンツは、携帯機器の画面に表示されているものに限られない。人の活動そのものから共有される情報を抽出してもよい。例えば、集団の中の個人が特定されれば、その情報をアウェアネスシステム(人の存在情報や活動情報を共有するシステム)に送信して活用するようにしてもよい。

携帯機器中心のアプローチでは、備え付けのカメラによる顔検出で人の集団を検出する際に、そのカメラの向きおよび撮影範囲が問題となる。人がその携帯機器のディスプレイを見ることの出来る範囲よりも、カメラによる顔の検出が可能な範囲が狭いことがあるからである。しかしながら、この問題はカメラの進歩により解決されるであろう。

図2の(a)から(c)は、ノートパソコンに備え付けのカメラを使った、顔検出が可能な範囲を確認する実験の様子である。このカメラの解像度は320×240ピクセルである。この実験は、紙で作った3つの顔を壁に貼り付けて行った。それぞれの顔は、20×25cm(約8×10インチ)の長方形に内接する楕円であり、それぞれが8インチ(20cm)離れている。そして、その中央の顔の前に被験者が座り、被験者と壁との間の距離を、ゼロ、5インチ（約12.5cm）、10インチ（約25cm）と3段階に変化させた。図2(a)及び図2(b)から分かるように、壁との距離がゼロ及び5インチ（約12.5cm）の場合には、作り物の顔がカメラの撮影範囲からはみ出しているが2つの目と1つの口のセット3人分は、いずれの場合でも撮影可能であった。そして、この状態は壁との距離が8インチのところまで続いた。いずれにせよこの範囲では、図に示すように、真ん中の被験者の顔のみが顔として検出され、2つの作り物の顔は顔として検出されていない。ところが、図2(c)に示すように、壁との距離が10インチ（約25cm）になったところで、実施例で採用した顔検出アルゴリズムでは、作り物の顔が顔として検出(誤検出)されるようになった。これは、実験目的で意図的に起こした誤検出であるが、顔検出アルゴリズムの改善によって、誤検出を減らすことができるであろう。

図3は、ノートパソコンではなく、アイフォーン（iPhone(登録商標)）を用いた人の検出の例を示すものである。図3(a)は顔検出アルゴリズムでの検出結果を、図3(b)は鼻検出アルゴリズムでの検出結果をそれぞれ示している。また、図4は、アイパッド（iPad(登録商標)）を用いた顔検出の結果の例である。

図5は、本実施例における各機能の関係を示すブロック図である。携帯機器は、カメラ501、人の集団を検出する集団検出モジュール502、装置検出モジュール503を備えている。集団検出モジュール502は、カメラ501で撮影した画像を用い、場合によってはその他のセンサー507の検出結果と組み合わせて、携帯機器から情報を得ようとしている人の数を算出する。装置検出モジュール503は、携帯機器の近くにあり且つ利用可能なディスプレイ等の装置を検出する。ここで、集団検出モジュール502で算出した人の数が予め定めた閾値を超える場合には、装置検出モジュール503で検出した装置を、コンテンツ共有に適した装置として、ディスプレイ506に一覧表示する。一覧表示する装置としては、装置検出モジュール503で検出した装置、すなわち、近くにあって利用可能な装置全てを対象とするのではなく、何らかのフィルターによる絞込みを行っても良い。例えば、携帯機器との距離が比較的遠い装置を除外したり、異なる部屋にある装置を除外したりしてもよい。また、検出した装置のディスプレイの大きさが認識できる場合には、当該携帯機器よりも大きなディスプレイを有する装置のみを対象とするようにしてもよい。この場合、検出した人の数と、検出したディスプレイの大きさを考慮してその人数に見合わない大きさのディスプレイを有する装置を除外するようにしてもよい。また、セキュリティ上の問題がある装置を除外してもよい。また、顔検出モジュール504による個人特定が可能である場合には、前述したように、検出された集団に含まれる人と対応付けられた装置を、コンテンツ共有の対象としてもよい。この場合には、集団の人数が大きい場合であっても、小さなディスプレイしか有しない装置へのコンテンツ共有を可能とすべきである。送信モジュール505は、情報共有モジュール508の指令に基づき、共有するコンテンツを、コンテンツ共有の対象となる装置に送信する。なお、これらのモジュールは、ソフトウェアモジュールでも、ハードウェアモジュールでも良い。

図6は、実施例の処理の流れを示すフローチャートである。ステップ600では、携帯機器の近くにいる人(その携帯機器のディスプレイを覗き込むなどその機器から情報を得ようとしている人)の数を算出する。ステップ601は、その携帯機器の近くにあって利用可能な装置を検出する。ステップ602では、ステップ600で検出した人の数が閾値を超えている場合に、コンテンツを共有するのに適した装置のリストを作成し、コンテンツの共有を行う。なお、ここで、閾値を超えていない場合には、コンテンツの共有を行わない。

図7は、本実施例が実装されるコンピュータシステム700のブロック図である。システム700は、コンピュータプラットフォーム701、プロセッサ702、メモリ703を含んでいる。更に、コンピュータプラットフォーム701は、キーボード、マウス、タッチセンサー、音声入力装置等の入力装置704からの入力を受ける。また、ポータブルハードディスクドライブ、光ディスクドライブ(CDやDVD)等の、コンピュータが認識できる実行コードやデータを格納したリムーバルストレージ705と接続してもよい。また、インターネットやLAN等にあるネットワーク資源706と接続してもよい。ネットワーク資源706は、ネットワーク707上にあり、コンピュータプラットフォーム701に対して、命令、リクエストまたはデータを送信する。このネットワーク資源706との接続は、IEEE802.11、Bluetooth(登録商標)、携帯電話のプロトコル等のプロトコルを用いた無線接続でもよいし、電気ケーブルや光ファイバー等の物理的な接続でもよい。コンピュータプラットフォーム701はまた、ディスプレイ708に対してデータやその他の情報を出力し、これを介してユーザーへの情報伝達を行う。ディスプレイ708が、入力装置704を兼ねても良い。

５０１カメラ
５０２集団検出モジュール
５０３装置検出モジュール
５０６ディスプレイ

Claims

情報を表示するディスプレイと、
カメラと、
前記カメラで撮影した画像を用いて本情報共有装置に注目している人の数を算出し、当該人の数が予め定めた閾値より大きいか否かを判断することによって集団の有無を検出する集団検出手段と、
本情報共有装置の近くに存在する利用可能な他の装置を検出する装置検出手段と、
前記集団検出手段で集団が検出された場合に、前記装置検出手段で検出した装置の少なくとも一つに対して、前記ディスプレイで表示するコンテンツを送信する送信手段と、
前記カメラで撮影した画像を用いて、該画像に写っている人を特定する個人特定手段と、
を備え、
前記送信手段は、特定した人と対応付けられている装置であって前記装置検出手段で検出した装置に含まれている装置に対して、コンテンツを送信する、
ことを特徴とする情報共有装置。
前記装置検出手段は、特定した人と対応付けられている前記装置であって前記装置検出手段で検出した装置に含まれている前記装置のディスプレイの大きさをさらに検出し、
前記送信手段は、本情報共有装置のディスプレイよりも大きなディスプレイを有する装置にのみコンテンツを送信することを特徴とする、
請求項１記載の情報共有装置。
前記送信手段は、特定した人と対応付けられている前記装置であって前記装置検出手段で検出した装置に含まれている前記装置にプリンタが含まれていた場合に、コンテンツを当該プリンタが解釈可能なデータまたは命令列に変換して、当該プリンタに送信することを特徴とする、
請求項１記載の情報共有装置。
ディスプレイに情報を表示させる手段と、
カメラからの画像を入力する手段と、
前記カメラから入力した画像を用いて前記ディスプレイに注目している人の数を算出し、当該人の数が予め定めた閾値より大きいか否かを判断することによって集団の有無を検出する集団検出手段と、
近くに存在する利用可能な他の装置を検出する装置検出手段と、
前記集団検出手段で集団が検出された場合に、前記装置検出手段で検出した装置の少なくとも一つに対して、前記ディスプレイで表示するコンテンツを送信する送信手段と、
前記カメラで撮影した画像を用いて、該画像に写っている人を特定する個人特定手段と、
として、コンピュータを機能させるためのプログラムであって、
前記送信手段は、特定した人と対応付けられている装置であって前記装置検出手段で検出した装置に含まれている装置に対して、コンテンツを送信する、
コンピュータを機能させるためのプログラム。