JP2024023600A - 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋 - Google Patents

情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋 Download PDF

Info

Publication number
JP2024023600A
JP2024023600A JP2023207023A JP2023207023A JP2024023600A JP 2024023600 A JP2024023600 A JP 2024023600A JP 2023207023 A JP2023207023 A JP 2023207023A JP 2023207023 A JP2023207023 A JP 2023207023A JP 2024023600 A JP2024023600 A JP 2024023600A
Authority
JP
Japan
Prior art keywords
users
user
information processing
information
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023207023A
Other languages
English (en)
Inventor
晴紀 村田
Haruki Murata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2023207023A priority Critical patent/JP2024023600A/ja
Publication of JP2024023600A publication Critical patent/JP2024023600A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
    • H04L12/1403—Architecture for metering, charging or billing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/80—Rating or billing plans; Tariff determination aspects
    • H04M15/8033—Rating or billing plans; Tariff determination aspects location-dependent, e.g. business or home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/80—Rating or billing plans; Tariff determination aspects
    • H04M15/8066—According to the number of recipients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
    • H04M15/80—Rating or billing plans; Tariff determination aspects
    • H04M15/8066—According to the number of recipients
    • H04M15/8072—Group, conference or multi-party call
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3144—Cooling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/24—Accounting or billing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】同一の空間にいる複数人のユーザのコミュニケーションを支援するための効果的な演出を行う情報処理システムを提供する。【解決手段】空間に設置された映像を表示する映像表示装置と、空間の中にいるユーザが所持し、所持するユーザの位置情報を検知するための信号を出力するセンサ装置と、映像表示装置及びセンサ装置とにデータ通信可能に接続される情報処理装置と、を有する情報処理システムであって、情報処理装置は、空間内にいる複数人のユーザが所持するセンサ装置からそれぞれ出力された信号に基づいて検知した空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶するユーザ情報記憶手段（記憶部）と、複数人のユーザのそれぞれの位置情報に基づいて、映像表示装置が表示する映像による複数人のユーザ間のコミュニケーションを支援する環境演出を制御する環境演出手段（映像出力制御部）と、を有する。【選択図】図６

Description

本発明は、情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋に関する。
従来から、オフィスでの会議やプレゼンテーションにおいて、人感センサの検知結果に基づいて、照明装置、プロジェクタ、格納式スクリーン、ブラインドなどの各装置が映像を投影可能な環境へ、ユーザに煩雑な動作を行わせることなく準備できる技術が知られている（例えば特許文献１参照）。
近年のクラウドコンピューティングの普及により、ユーザは例えば遠隔会議サービスを利用できるようになった。遠隔会議サービスを利用することで、ユーザは交通費や移動時間を節約しながら、異なる場所にいるユーザと遠隔会議を行うことができる。このような遠隔会議は、今後ますます利用されることが予想される。
したがって、同一の場所にユーザが集まって（直接会って）行う会議は、遠隔会議とは異なる価値を提供することが求められる。なお、特許文献１は、このような問題について記載されているものではない。
本発明の実施の形態は、同一の空間にいる複数人のユーザのコミュニケーションを支援するための効果的な演出を行う情報処理システムを提供することを目的とする。
上記した課題を達成するために本願請求項１は、空間に設置された映像を表示する映像表示装置と、前記空間の中にいるユーザが所持し、所持するユーザの位置情報を検知するための信号を出力するセンサ装置と、前記映像表示装置及び前記センサ装置とにデータ通信可能に接続される情報処理装置と、を有する情報処理システムであって、前記情報処理装置は、前記空間内にいる複数人のユーザが所持する前記センサ装置からそれぞれ出力された信号に基づいて検知した前記空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶するユーザ情報記憶手段と、前記複数人のユーザのそれぞれの位置情報に基づいて、前記映像表示装置が表示する映像による前記複数人のユーザ間のコミュニケーションを支援する環境演出を制御する環境演出手段と、を有することを特徴とする。
本発明の実施の形態によれば、同一の空間にいる複数人のユーザのコミュニケーションを支援するための効果的な演出を行うことができる。
本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係る会議室の一例について説明するための図である。 本実施形態に係るコンピュータの一例のハードウェア構成図である。 本実施形態に係るスマートフォンの一例のハードウェア構成図である。 本実施形態に係るプロジェクタの一例のハードウェア構成図である。 本実施形態に係る情報処理装置の一例の機能構成図である。 本実施形態に係る情報処理システムで利用するテーブルの一例の構成図である。 本実施形態に係る情報処理システムの処理手順を示した一例のフローチャートである。 発話状態にあるユーザへのスポットライト処理の一例を示すイメージ図である。 発話状態にあるユーザへのスポットライト処理手順の一例のフローチャートである。 ユーザ間の距離に応じたスポットライト処理の一例を示すイメージ図である。 ユーザ間の距離に応じたスポットライト処理の具体例を示す一例のイメージ図である。 ユーザ間の距離に応じたスポットライト処理手順の一例のフローチャートである。 ユーザ間の距離に応じたスポットライト処理手順の他の例のフローチャートである。 ユーザ間の距離に応じた音出力処理手順の一例のフローチャートである。 本実施形態に係る情報処理システムのレポート出力の処理手順を示した一例のフローチャートである。
以下、本発明の実施形態について、図面を参照しながら説明する。本実施形態では複数人のユーザが集まる空間の例として、会議室の例を説明するが、会議室に限定するものではなく、セミナーや講義を行う部屋やミーティングスペースなど、様々な空間に適用できる。
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る情報処理システムの一例の構成図である。図２は本実施形態に係る会議室の一例について説明するための図である。図１の情報処理システム１は、情報処理装置１０、映像表示装置１２、センサ装置１４、スピーカ１６、カメラ１８、操作デバイス２０、ライト３０、スピーカ３２、におい出力装置３４、及びセンサ装置３６がインターネットやＬＡＮなどのネットワーク４０を介して通信可能に有線又は無線接続されている。また、操作デバイス２０は、マイク２２、タグ２４、及び操作ボタン２６を有する構成である。なお、会議室には形状や機能の異なる複数種類の操作デバイス２０を準備するようにしてもよい。例えば操作デバイス２０はタッチパネル、ジャイロセンサ、触覚センサなどを有する構成であってもよい。また、操作デバイス２０は大きさや質感が異なるものであってもよい。
会議室には、映像表示装置１２、センサ装置１４、スピーカ１６、カメラ１８、及び操作デバイス２０が設けられている。また、会議室に入る前にユーザが通過するアプローチは、ライト３０、スピーカ３２、におい出力装置３４、及びセンサ装置３６を有する構成である。図１では情報処理装置１０が会議室の外に設けられている例を示したが、会議室の中に設けられていてもよい。
アプローチのセンサ装置３６はアプローチを通過するユーザのタグから発信される発信ビーコン（電波）を、ユーザの位置情報を検知するための信号として受信し、情報処理装置１０に通知する。アプローチのライト３０は情報処理装置１０の制御により光を出力する。アプローチのスピーカ３２は情報処理装置１０の制御により音を出力する。アプローチのにおい出力装置３４は、情報処理装置１０の制御により、においを出力する。
情報処理装置１０は、センサ装置３６から通知された信号によりユーザの位置情報を検知し、検知したユーザの位置情報に従い、ユーザの気持ちを光、音、香りでリセットさせるアプローチ演出処理を行う。アプローチは、一人ずつしか通れない幅とすることで、会議室に入る又は会議室から出てきたユーザが個に戻る時間とすることが望ましい。会議室に入るユーザへのアプローチ演出処理及び会議室から出てきたユーザへのアプローチ演出処理は、異なっていてもよい。
会議室のセンサ装置１４は会議室にいるユーザのタグから発信される電波を、ユーザの位置情報を検知するための信号として受信し、情報処理装置１０に通知する。センサ装置１４はユーザの位置情報を検知するための信号を出力できる測位システムのセンサであればよく、計測対象側として専用タグ、スマートフォンや各種ＢＬＥセンサに対応するものであってもよい。情報処理装置１０は一つ以上のセンサ装置１４から通知されたユーザの位置情報を検知するための信号に基づき、会議室にいるユーザの位置情報をそれぞれ検知する。
会議室の操作デバイス２０は測位システムによる計測対象の一例である。例えば会議室のセンサ装置１４は、操作デバイス２０のタグ２４から発信される電波を受信し、情報処理装置１０に通知することにより、例えば図２に示すように、その操作デバイス２０を持つユーザの会議室の中における位置情報を検知するための信号を、情報処理装置１０に通知できる。なお、操作デバイス２０が内蔵する形態のタグ２４は一例であって、それ以外の形態のタグを利用してもよい。
会議室のカメラ１８は会議室を撮影し、撮影した映像データを情報処理装置１０に通知する。カメラ１８は例えばＫｉｎｅｃｔ（登録商標）のビデオカメラを利用できる。カメラ１８にＫｉｎｅｃｔ（登録商標）を利用する場合は、距離画像センサ、赤外線センサ、アレイマイクによる検出結果と、姿勢認識技術との組み合わせにより、ユーザの動き・姿勢を認識することができる。姿勢認識技術とは、ユーザがどのような姿勢をしているかを推定する技術である。
会議室にある複数台の映像表示装置１２はプロジェクタであって、図２に示すような会議室を仕切る面の一例の壁（前壁、後壁、右壁、及び左壁など）及び床に映像を情報処理装置１０の制御により表示する。複数台の映像表示装置１２を利用することで会議室は壁及び床の全面に投影が可能である。なお、会議室にある複数台の映像表示装置１２は会議室の壁及び床に埋め込まれたディスプレイ装置であってもよい。壁及び床に埋め込まれたディスプレイ装置を利用することで、会議室は壁及び床への映像の表示が可能となる。以下では、映像表示装置１２がプロジェクタである例を説明する。会議室のスピーカ１６は情報処理装置１０の制御により音を出力する。なお、図２で示した会議室の形状はあくまで一例であって、他の形状であってもよい。また、会議室は全て壁、床、天井等の面で仕切られている必要はなく、一部面で仕切られていないオープンな空間があってもよい。
操作デバイス２０は例えばユーザが手に持って利用することができるが、時計や眼鏡などユーザが身に着けて利用するウェアラブルデバイスの形態であってもよい。操作デバイス２０のマイク２２は、ユーザの声を電気信号に変換する。タグ２４は測位システムによる計測対象の一例である。操作ボタン２６はユーザからの操作を受け付ける。操作デバイス２０はユーザの声から変換した電気信号を、出力信号として情報処理装置１０に送信する。操作デバイス２０は操作ボタン２６から受け付けたユーザの操作を、操作信号として情報処理装置１０に送信する。
情報処理装置１０は、センサ装置１４から通知された信号により検知したユーザの位置情報、操作デバイス２０のマイク２２からの出力信号、及び操作デバイス２０の操作ボタン２６からの操作信号に基づき、会議室にいるユーザのチームワークを向上させることを目的として、同一の空間にいる複数人のユーザのコミュニケーションを支援するための後述のような環境演出処理を行う。
また、情報処理装置１０は後述のような環境演出処理により、例えばチームでのアイデアの発想を支援する。本実施形態に係る情報処理システム１では、後述のような映像や音響による環境演出の制御により、会議室の中にいる複数人のユーザのチームワークを向上させる。さらに、情報処理装置１０は後述のような環境演出処理により、個人の創造性の最大化と、チーム作業による多様性の実現と、を両立させる。例えば情報処理装置１０は後述のような環境演出処理により個人の脳を刺激することでアイデアの発散を支援し、アイデア発想の質を引き上げることができる。
後述のような環境演出処理の制御が可能な会議室は、例えばユーザがお酒を飲んで酔い、気分が上がり、発想を助けられたりコミュニケーションが促進されたりする効果を、デジタルによる環境演出（環境効果）によって実現する空間である。このような空間を以下ではデジタルアルコール空間と呼ぶことがある。デジタルアルコール空間は、個（ユーザ）が集まって生み出されるチームワークを最大化し、クリエイティブなモチベーションに変える空間である。なお、デジタルアルコール空間は、例えば仕事そのものを効率化するだけではなく、環境効果によって仕事をする人自身の感情・モチベーションを向上し、創造を支援する。
なお、図１に示す情報処理システム１の構成は一例である。例えば情報処理装置１０は単一のコンピュータ又は複数台のコンピュータにより実現してもよく、又、クラウドサービスを利用して実現してもよい。また、情報処理装置１０は、例えば、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。
＜ハードウェア構成＞
《コンピュータ》
情報処理装置１０は、例えば図３に示すハードウェア構成のコンピュータ５００により実現される。
図３は、本実施形態に係るコンピュータ５００の一例のハードウェア構成図である。図３に示されているように、コンピュータ５００はＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
これらのうち、ＣＰＵ５０１は、コンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ５０６は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワーク４０を利用してデータ通信をするためのインターフェースである。データバス５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
《スマートフォン》
操作デバイス２０は例えば図４に示すハードウェア構成のスマートフォン６００により実現してもよい。
図４は本実施形態に係るスマートフォン６００の一例のハードウェア構成図である。図４に示されているように、スマートフォン６００は、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＥＥＰＲＯＭ６０４、ＣＭＯＳセンサ６０５、撮像素子Ｉ／Ｆ６０６、加速度・方位センサ６０７、メディアＩ／Ｆ６０９、ＧＰＳ受信部６１１を備えている。
これらのうち、ＣＰＵ６０１は、スマートフォン６００全体の動作を制御する。ＲＯＭ６０２は、ＣＰＵ６０１やＩＰＬ等のＣＰＵ６０１の駆動に用いられるプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ＥＥＰＲＯＭ６０４は、ＣＰＵ６０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ６０５は、ＣＰＵ６０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサ６０５ではなく、ＣＣＤ（Charge Coupled Device）センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ６０６は、ＣＭＯＳセンサ６０５の駆動を制御する回路である。加速度・方位センサ６０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。
メディアＩ／Ｆ６０９は、フラッシュメモリ等の記録メディア６０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部６１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。
また、スマートフォン６００は、遠距離通信回路６１２、ＣＭＯＳセンサ６１３、撮像素子Ｉ／Ｆ６１４、マイク６１５、スピーカ６１６、音入出力Ｉ／Ｆ６１７、ディスプレイ６１８、外部機器接続Ｉ／Ｆ６１９、近距離通信回路６２０、近距離通信回路６２０のアンテナ６２０ａ、及びタッチパネル６２１を備えている。
これらのうち、遠距離通信回路６１２は、ネットワーク４０を介して、他の機器と通信する回路である。ＣＭＯＳセンサ６１３は、ＣＰＵ６０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ６１４は、ＣＭＯＳセンサ６１３の駆動を制御する回路である。マイク６１５は、音を電気信号に変える内蔵型の回路である。スピーカ６１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。
音入出力Ｉ／Ｆ６１７は、ＣＰＵ６０１の制御に従ってマイク６１５及びスピーカ６１６との間で音信号の入出力を処理する回路である。ディスプレイ６１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ（Electro Luminescence）などの表示手段の一種である。
外部機器接続Ｉ／Ｆ６１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路６２０は、ＮＦＣ（Near Field Communication）やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル６２１は、利用者がディスプレイ６１８を押下することで、スマートフォン６００を操作する入力手段の一種である。
また、スマートフォン６００は、バスライン６１０を備えている。バスライン６１０は図４に示されているＣＰＵ６０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
《プロジェクタ》
映像表示装置１２の一例であるプロジェクタ７００は例えば図５に示すハードウェア構成により実現してもよい。
図５は本実施形態に係るプロジェクタ７００の一例のハードウェア構成図である。図５に示すように、プロジェクタ７００は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、メディアＩ／Ｆ７０７、操作部７０８、電源スイッチ７０９、バスライン７１０、ネットワークＩ／Ｆ７１１、ＬＥＤ（Light Emitting Diode）駆動回路７１４、ＬＥＤ光源７１５、投写デバイス７１６、投写レンズ７１７、外部機器接続Ｉ／Ｆ７１８、ファン駆動回路７１９、冷却ファン７２０を備えている。
これらのうち、ＣＰＵ７０１は、プロジェクタ７００全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。
操作部７０８は種々のキー、ボタン及びＬＥＤ等が配設されており、ユーザによるプロジェクタ７００の電源のＯＮ／ＯＦＦ以外の各種操作を行うのに使用される。例えば操作部７０８は投写画像の大きさの調整操作、色調の調整操作、ピント調整操作、キーストン調整操作等の指示操作を受け付けて、受け付けた操作内容をＣＰＵ７０１に出力する。
電源スイッチ７０９は、プロジェクタ７００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。バスライン７１０は、図５に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。ネットワークＩ／Ｆ７１１は、インターネット等の通信ネットワーク９を利用してデータ通信をするためのインターフェースである。
ＬＥＤ駆動回路７１４は、ＣＰＵ７０１の制御下で、ＬＥＤ光源７１５の点灯及び消灯を制御する。ＬＥＤ光源７１５は、ＬＥＤ駆動回路７１４の制御によって点灯されると、投写光を投写デバイス７１６に照射する。投写デバイス７１６は、外部機器接続Ｉ／Ｆ７１８等を介して与えられた画像データに基づいて、空間光変調方式によりＬＥＤ光源７１５からの投写光を変調して得た変調光を、投写レンズ７１７を通して、スクリーンの投写面へ画像として投写する。投写デバイス７１６としては、例えば、液晶パネルまたはＤＭＤ（Digital Micromirror Device）等が用いられている。
上記ＬＥＤ駆動回路７１４、ＬＥＤ光源７１５、投写デバイス７１６及び投写レンズ７１７は、全体として、画像データに基づいて投写面に投写画像を投写する投写部（投写手段）として機能している。
外部機器接続Ｉ／Ｆ７１８は、直接、ＰＣ（Personal Computer）が接続され、ＰＣとの間で、制御信号や画像データを取得する。また、外部機器接続Ｉ／Ｆ７１８は各種の外部機器（スティックＰＣ７３０など）を接続するためのインターフェースである。ファン駆動回路７１９は、ＣＰＵ７０１及び冷却ファン７２０に接続されており、ＣＰＵ７０１からの制御信号に基づいて、冷却ファン７２０の駆動／駆動停止を行う。冷却ファン７２０は、回転することで、プロジェクタ７００の内部の空気を排気して、プロジェクタ７００の内部を冷却する。
また、ＣＰＵ７０１は、電源電力が供給されると、ＲＯＭ７０２に予め記憶されている制御プログラムに従って起動し、ＬＥＤ駆動回路７１４に制御信号を与えてＬＥＤ光源７１５を点灯させるとともに、ファン駆動回路７１９に制御信号を与えて冷却ファン７２０を所定の定格回転数で回転させる。また、プロジェクタ７００は、電源回路からの電源電力の供給が開始されると、投写デバイス７１６が画像表示可能状態になり、更に、他の種々の構成要素へ電源回路から電力が供給される。また、プロジェクタ７００は電源スイッチ７０９がＯＦＦ操作されると、電源スイッチ７０９から電源ＯＦＦ信号がＣＰＵ７０１に送られる。
ＣＰＵ７０１は、電源ＯＦＦ信号を検知すると、ＬＥＤ駆動回路７１４へ制御信号を与えてＬＥＤ光源７１５を消灯させる。ＣＰＵ７０１は、その後、所定時間が経過すると、ファン駆動回路７１９へ制御信号を与えて冷却ファン７２０を停止させるとともに、自身で自身の制御処理を終了させ、最後に電源回路へ指示を与えて電源電力の供給を停止させる。
＜機能構成＞
本実施形態に係る情報処理装置１０は、例えば図６に示すような機能構成により実現される。図６は本実施形態に係る情報処理装置の一例の機能構成図である。なお、図６の機能構成は、本実施形態の説明に不要な構成について適宜省略している。
図６の情報処理装置１０は、受信部５０、ユーザ検知部５２、発話量計測部５４、発話内容認識部５６、環境演出部５８、映像出力制御部６０、音出力制御部６２、ライト制御部６４、におい出力制御部６６、及び記憶部６８を有する構成である。
受信部５０は、センサ装置１４及び３６から、ユーザの位置情報を検知するための信号を受信する。受信部５０はカメラ１８の撮影結果を受信する。また、受信部５０は操作デバイス２０のマイク２２が変換したユーザの声の出力信号、及び操作ボタン２６が受け付けたユーザの操作信号を受信する。
ユーザ検知部５２は、センサ装置１４又は３６から受信したユーザの位置情報を検知するための信号から、会議室の中にいるユーザの位置情報又はアプローチを通過するユーザの位置情報、を検知する。発話量計測部５４は、操作デバイス２０から受信したユーザの声の出力信号から、会議室の中にいるユーザの発話量をそれぞれ計測する。
発話内容認識部５６は、操作デバイス２０から受信したユーザの声の出力信号から、会議室の中にいるユーザの発話内容をそれぞれ音声認識する。環境演出部５８は、ユーザ検知部５２が検知したユーザの位置情報、発話量計測部５４が計測したユーザの発話量、及び発話内容認識部５６が音声認識したユーザの発話内容、に基づき、会議室（デジタルアルコール空間）の環境演出及びアプローチのアプローチ演出を決定する。
環境演出部５８は、決定した環境演出及びアプローチ演出が実行されるように、映像出力制御部６０、音出力制御部６２、ライト制御部６４、及びにおい出力制御部６６を制御する。映像出力制御部６０は、環境演出部５８による制御に基づき、映像表示装置１２が表示する映像による環境演出を制御する。音出力制御部６２は、環境演出部５８による制御に基づき、スピーカ１６及び３２が出力する音による環境演出及びアプローチ演出を制御する。ライト制御部６４は、環境演出部５８による制御に基づき、ライト３０が出力する光によるアプローチ演出を制御する。におい出力制御部６６は、環境演出部５８による制御に基づき、におい出力装置３４が出力するにおいによるアプローチ演出を制御する。
記憶部６８は例えば図７に示すようなテーブルを記憶している。図７は本実施形態に係る情報処理システムで利用するテーブルの一例の構成図である。なお、図７で示されているように必ずしもテーブル形式である必要はなく、同様の情報を記憶して管理できていればよい。
図７（ａ）は映像表示装置情報記憶部の一例の構成図である。映像表示装置情報管理記憶部は項目として、映像表示装置ＩＤに壁及び床の投影範囲情報を関連付けて管理されている。映像表示装置ＩＤは映像表示装置１２を識別する識別情報の一例である。壁の投影範囲情報は、それぞれの映像表示装置１２が、会議室内のどの壁のどの範囲を投影可能かを表す情報である。床の投影範囲情報は、それぞれの映像表示装置１２が、会議室内の床のどの範囲を投影可能かを表す情報である。また、映像表示装置１２がプロジェクタの場合には、映像表示装置ＩＤには壁又は床の投影範囲情報の少なくとも何れかが関連付けられていればよい。
なお、映像表示装置１２がディスプレイの場合には、映像表示装置ＩＤに壁及び床の表示範囲情報が映像表示装置情報記憶部において関連付けて管理される。壁の表示範囲情報は会議室に設置されているそれぞれのディスプレイがどの壁のどの範囲で表示可能かを表す情報である。床の表示範囲情報は会議室に設置されているそれぞれのディスプレイがどの床のどの範囲で表示可能かを表す情報である。また、映像表示装置１２がディスプレイの場合には、映像表示装置ＩＤには壁又は床の表示範囲情報の少なくとも何れかが関連付けられていればよい。
また、図７（ｂ）はユーザ情報記憶部の一例の構成図である。ユーザ情報記憶部は項目として、ユーザＩＤ、タグＩＤ、位置情報、及び発話状態情報を有する。ユーザＩＤはユーザを識別する識別情報の一例である。タグＩＤは操作デバイス２０のタグ２４を識別する識別情報の一例である。位置情報は、検知したユーザの位置情報である。
発話状態情報は後述の発話中のユーザと発話中以外のユーザとを識別するための情報である。発話状態情報「Ｔｒｕｅ」は後述の発話中のユーザであることを表す。また、発話状態情報「Ｆａｌｓｅ」は後述の発話中以外のユーザであることを表す。なお、位置情報はユーザの位置情報を検知するたびに更新されるため、空間内の最新の位置情報がユーザＩＤに関連付けられて管理されている。
また、図７（ｃ）はログ記憶部の一例の構成図である。ログ記憶部は図７（ｂ）に示したユーザ情報を、会議が開始されてから終了するまでのログ情報として記憶する。ログ記憶部は項目として、日時、ユーザＩＤ、タグＩＤ、位置情報、発話状態情報、及び発話量情報を有する。なお、発話量情報は発話量計測部５４において計測された発話量を示しているが、図７（ｃ）のように発話量の大きさをレベルで示してもよいし、計測値などの数値で示してもよい。
また、例えば図７（ｃ）のログ記憶部の場合は「１７：００」に「ｕｓｅｒＡ」「ｕｓｅｒＢ」が参加済みであり、「１７：０１」に「ｕｓｅｒＣ」が遅れて参加したことが分かる。
＜処理＞
本実施形態に係る情報処理システム１は、例えば図８に示すような手順でデジタルアルコール空間を実現する。図８は、本実施形態に係る情報処理システムの処理手順を示した一例のフローチャートである。
本実施形態に係る情報処理システム１では、ステップＳ１０においてアプローチを通過するユーザを検知すると、ステップＳ１２に進み、環境演出部５８がライト制御部６４、音出力制御部６２、及びにおい出力制御部６６をそれぞれ制御することによって、アプローチのライト３０、スピーカ３２、及びにおい出力装置３４によるユーザの気持ちを光、音、香りでリセットさせるアプローチ演出処理を行う。アプローチ演出処理としては例えばアプローチのライト３０の光量を下げる演出処理、スピーカ３２によりリラックス効果のある環境音楽を出力する演出処理、におい出力装置３４によりリラックス効果のある香りを出力させる演出処理等を実行する。また、例えばアプローチ演出処理では、デジタルアルコール空間に入る又はデジタルアルコール空間から出るユーザが通過する通路において、ユーザを特定し、ユーザごとにアプローチ演出処理を異ならせるようにしてもよい。このような場合には予めユーザＩＤとアプローチ演出処理の内容を関連付けたユーザ情報を管理しておき、特定したユーザＩＤと管理しているユーザ情報に基づいてアプローチ演出処理を決定することでユーザごとにアプローチ演出処理を異ならせることができる。なお、アプローチ演出処理は、光、音、香りによる演出処理の少なくとも１つを含めばよく、アプローチのライト３０、スピーカ３２、及びにおい出力装置３４の少なくとも１つを制御すればよい。
また、本実施形態に係る情報処理システム１では、ステップＳ１４において会議室の中にいるユーザを検知すると、ステップＳ１６に進み、会議室の映像表示装置１２、及びスピーカ１６を制御して、後述のような映像や音響による環境演出処理を行う。環境演出処理は、例えば後述するような発話状態にあるユーザへのスポットライト処理、ユーザ間の距離に応じたスポットライト処理、ユーザ間の距離に応じた音出力処理など、である。
以下では、映像や音響による環境演出処理の一例として、発話状態にあるユーザへのスポットライト処理、ユーザ間の距離に応じたスポットライト処理、ユーザ間の距離に応じた音出力処理、及びレポート処理について説明する。なお、本実施形態に係る環境演出処理は上記の処理例に限定されるものではない。
例えばセンサ装置１４から通知された信号などの会議室の中の複数人のユーザの状態を表す情報に基づいて、会議室の中にいるユーザのチームの状態を判断し、その判断結果に応じてチームの状態を適切な方向に移行させるような処理であればよい。
《発話状態にあるユーザへのスポットライト処理》
ここでは図９及び図１０を用いて、発話状態にあるユーザへのスポットライト処理の一例について説明する。図９は発話状態にあるユーザへのスポットライト処理の一例を示すイメージ図である。図１０は発話状態にあるユーザへのスポットライト処理手順の一例のフローチャートである。
発話状態にあるユーザへのスポットライト処理は、例えば図９に示すように、会議室の中にいる複数人のユーザを、発話中のユーザと発話中以外のユーザとに分け、発話中以外のユーザから見た発話中のユーザの背後の壁上の領域１０００にスポットライトを当てる処理である。なお、スポットライト処理は領域１０００を領域１０００以外の領域よりも明るくする処理の他、領域１０００の色が領域１０００以外の領域の色よりも目立つようにする処理であってもよい。また、発話状態にあるユーザへのスポットライト処理は発話中のユーザの足元の領域にスポットライトを当てる処理であってもよい。
図９に示すように環境演出された会議室では、発話中以外のユーザが、発話中のユーザを視覚的に区別できるため、発話中以外のユーザが発話中のユーザに注目することが期待できる。なお、図９では会議室の壁や床に映像の投影が可能な複数台の映像表示装置１２のうち、一台の映像表示装置１２を示し、他の映像表示装置１２を省略している。
発話中以外のユーザが複数人いる場合は、発話中以外のユーザそれぞれから見た発話中のユーザの背後の壁上の領域１０００それぞれにスポットライトを当ててもよいし、何れかの領域１０００を選択してスポットライトを当ててもよい。
また、領域１０００にスポットライトを当てられる映像表示装置１２が複数台存在している場合は、複数台の映像表示装置１２で領域１０００にスポットライトを当てるようにしてもよいし、優先度に応じてスポットライトを当てる映像表示装置１２を選択するようにしてもよい。
図９に示したスポットライト処理は、例えば図１０の処理手順で実現できる。ステップＳ２０において、環境演出部５８は発話量計測部５４が会議室の中にいるユーザの発話量を計測すると、ステップＳ２２に進む。ステップＳ２２において、環境演出部５８は発話量計測部５４が計測したユーザの発話量に基づき、発話中のユーザを特定する。ここで発話中のユーザとは、発話量を計測したユーザが一人であれば、そのユーザである。発話量を計測したユーザが複数人であれば、発話量を計測したユーザから、所定のロジックに基づいてさらに発話中のユーザを特定してもよい。所定のロジックとは、例えば計測した発話量が一番大きいユーザを発話中のユーザとするロジックやユーザＩＤに関連付けておいた優先度が高いユーザを発話中のユーザとするロジックを含むが他のロジックであってもよい。
ステップＳ２４に進み、環境演出部５８は例えば図７（ｂ）のユーザ情報記憶部から発話中のユーザ及び発話中以外のユーザの位置情報を取得する。ステップＳ２６に進み、環境演出部５８は、発話中のユーザの位置情報、及び発話中以外のユーザの位置情報に基づいて、発話中以外のユーザから見た発話中のユーザの背後の領域１０００が映像表示装置１２により明るく照らされるように、映像出力制御部６０を制御する。なお、映像表示装置１２がディスプレイの場合には、ディスプレイによって表示される表示内容が明るくなるように映像出力制御部６０を制御する。なお、表示内容全体が明るくなる必要はなく、表示内容のうち少なくとも一部が明るくなるように制御すればよい。
会議室の中にいるユーザの発話が終了するか発話中のユーザが変化するまで、環境演出部５８はステップＳ２４～Ｓ３０の処理を繰り返す。発話中のユーザが変化すると、環境演出部５８はステップＳ２２に戻り、発話中のユーザを特定した後でステップＳ２４～Ｓ３０の処理を繰り返す。また、会議室の中にいるユーザの発話が終了すると、環境演出部５８は図１０のフローチャートの処理を終了する。
《ユーザ間の距離に応じたスポットライト処理》
ここでは図１１～図１３を用いて、ユーザ間の距離に応じたスポットライト処理の一例について説明する。図１１はユーザ間の距離に応じたスポットライト処理の一例を示すイメージ図である。図１２はユーザ間の距離に応じたスポットライト処理の具体例を示す一例のイメージ図である。図１３はユーザ間の距離に応じたスポットライト処理手順の一例のフローチャートである。
ユーザ間の距離に応じたスポットライト処理は、例えば図１１に示すように、会議室の中にいる複数人のユーザの間の距離に基づき、ユーザの足元に当てるスポットライトの領域１０００の大きさを変化させる処理である。なお、スポットライト処理は領域１０００を領域１０００以外の領域よりも明るくする処理の他、領域１０００の色が領域１０００以外の領域の色よりも目立つようにする処理であってもよい。
会議室の中にいる複数人のユーザの間の距離に基づき、ユーザの足元に当てるスポットライトの領域１０００の大きさを変化させる処理は、ユーザ間の距離が遠いほど、例えば図１２（Ａ）に示すように領域１０００を大きくするように、映像出力制御部６０を制御する。また、会議室の中にいる複数人のユーザの間の距離に基づき、ユーザの足元に当てるスポットライトの領域１０００の大きさを変化させる処理は、ユーザ間の距離が近いほど、例えば図１２（Ｂ）に示すように領域１０００を小さくするように、映像出力制御部６０を制御する。
なお、図１２の例は一例であって、ユーザ間の距離が遠いほど領域１０００を小さくするように映像出力制御部６０を制御し、ユーザ間の距離が近いほど領域１０００を大きくするように映像出力制御部６０を制御するようにしてもよい。
図１１及び図１２に示したスポットライト処理は、例えば図１３に示した手順で実現できる。ステップＳ４０において、環境演出部５８はユーザ検知部５２により会議室の中にいる複数人のユーザが検知されると、ステップＳ４２に進む。
ステップＳ４２において、環境演出部５８は検知した複数人のユーザの位置情報を例えば図７（ｂ）のユーザ情報記憶部から取得する。ステップＳ４４において、環境演出部５８は検知した複数人のユーザの位置情報から、会議室の中にいる複数人のユーザ間の距離を算出する。
ステップＳ４６に進み、環境演出部５８は算出したユーザ間の距離に基づき、ユーザの足元を照らす領域１０００の大きさを、例えば図１２のように変化させるように、映像出力制御部６０を制御する。会議が終了するまで、環境演出部５８はステップＳ４２～Ｓ４８の処理を繰り返す。ユーザが検知されなくなり、会議が終了すると、環境演出部５８は図１３のフローチャートの処理を終了する。
図１４はユーザ間の距離に応じたスポットライト処理手順の他の例のフローチャートである。図１４に示したユーザ間の距離に応じたスポットライト処理は、会議室の中にいる複数人のユーザの間の距離に基づき、ユーザの足元を照らす領域１０００の光量を変化させる処理である。
会議室の中にいる複数人のユーザの間の距離に基づき、ユーザの足元を照らす領域１０００の光量を変化させる処理は、例えばユーザ間の距離が遠いほど、領域１０００の光量を下げ、ユーザ間の距離が近いほど、領域１０００の光量を上げるように、映像出力制御部６０を制御する。
なお、会議室の中にいる複数人のユーザの間の距離に基づき、ユーザの足元を照らす領域１０００の光量を変化させる処理は、例えばユーザ間の距離が遠いほど、領域１０００の光量を上げ、ユーザ間の距離が近いほど、領域１０００の光量を下げるように、映像出力制御部６０を制御してもよい。
ステップＳ６０において、環境演出部５８はユーザ検知部５２により会議室の中にいる複数人のユーザが検知されると、ステップＳ６２に進む。ステップＳ６２において、環境演出部５８は検知した複数人のユーザの位置情報を例えば図７（ｂ）のユーザ情報記憶部から取得する。ステップＳ６４において、環境演出部５８は検知した複数人のユーザの位置情報から、会議室の中にいる複数人のユーザ間の距離を算出する。
ステップＳ６６に進み、環境演出部５８は算出したユーザ間の距離に基づき、ユーザの足元を照らす領域１０００の光量が変化するように、映像出力制御部６０を制御する。会議が終了するまで、環境演出部５８はステップＳ６２～Ｓ６８の処理を繰り返す。ユーザが検知されなくなり、会議が終了すると、環境演出部５８は図１４のフローチャートの処理を終了する。
《ユーザ間の距離に応じた音出力処理》
次に、ユーザ間の距離に応じた音出力処理の一例について説明する。図１５はユーザ間の距離に応じた音出力処理手順の一例のフローチャートである。図１５に示したユーザ間の距離に応じた音出力処理は、会議室の中にいる複数人のユーザの間の距離に基づき、会議室への音出力の音量を変化させる処理である。
会議室の中にいる複数人のユーザの間の距離に基づき、会議室への音出力の音量を変化させる処理は、例えばユーザ間の距離が遠いほど、音出力の音量を上げ、ユーザ間の距離が近いほど、音出力の音量を下げるように、音出力制御部６２を制御する。
なお、会議室の中にいる複数人のユーザの間の距離に基づき、会議室への音出力の音量を変化させる処理は、例えばユーザ間の距離が遠いほど、音出力の音量を下げ、ユーザ間の距離が近いほど、音出力の音量を上げるように、音出力制御部６２を制御してもよい。
ステップＳ８０において、環境演出部５８はユーザ検知部５２により会議室の中にいる複数人のユーザが検知されると、ステップＳ８２に進む。ステップＳ８２において、環境演出部５８は検知した複数人のユーザの位置情報を例えば図７（ｂ）のユーザ情報記憶部から取得する。ステップＳ８４において、環境演出部５８は検知した複数人のユーザの位置情報から、会議室の中にいる複数人のユーザ間の距離を算出する。
ステップＳ８６に進み、環境演出部５８は算出したユーザ間の距離に基づき、会議室のスピーカ１６からの音出力の音量が変化するように、音出力制御部６２を制御する。会議室の中にいるユーザの発話があるか、会議が終了するか、するまで、環境演出部５８はステップＳ８２～Ｓ９４の処理を繰り返す。
会議室の中にいるユーザの発話があると、環境演出部５８はステップＳ９０に進み、音出力の音量を下げるように、音出力制御部６２を制御し、会議室の中にいるユーザの発話が無くなるまで、音出力の音量を下げた状態を維持する。なお、会議室の中にいるユーザの発話が無くなると、ステップＳ８６による音出力の音量に戻る。そして、ユーザが検知されなくなり、会議が終了すると、環境演出部５８は図１５のフローチャートの処理を終了する。
《レポート処理》
次に、ユーザから受け付けた操作とユーザの位置情報とに応じて環境演出を行い、会議の終了後にレポートを出力するレポート処理の一例について説明する。図１６は、本実施形態に係る情報処理システムのレポート出力の処理手順を示した一例のフローチャートである。
ステップＳ１００において、環境演出部５８はユーザから会議時間（活動時間）の指定を受け付け、会議を開始する。環境演出部５８はユーザからの操作を受け付けるか、会議室の中にいるユーザの発話があるか、会議時間が終了するか、するまで、ステップＳ１０２～Ｓ１１２の処理を繰り返す。
ユーザからの操作を受け付けると、環境演出部５８はステップＳ１０４に進み、ユーザの位置情報を例えば図７（ｂ）のユーザ情報記憶部から取得する。ステップＳ１０６において環境演出部５８は、ユーザから受け付けた操作とユーザの位置情報とに応じて、映像表示装置１２及びスピーカ１６による環境演出を行う。
例えばステップＳ１０６では、ユーザから受け付けた操作とユーザの位置情報とに基づいて、デジタルアルコール空間の壁や床への情報・映像コンテンツの投影、壁や床に投影されている情報・映像コンテンツの選択、選択した情報・映像コンテンツの移動や拡大縮小などが行えるようにしてもよい。
また、会議室の中にいるユーザの発話があると、環境演出部５８はステップＳ１１０に進み、操作デバイス２０から受信したユーザの声の出力信号から音声認識されたユーザの発話内容に応じて、デジタルアルコール空間の壁や床への情報・映像コンテンツの追加投影を行う。
ステップＳ１１０におけるデジタルアルコール空間の壁や床への追加投影は、必ずしもユーザの発話内容に応じた情報・映像コンテンツでなくてもよく、ランダムな情報・映像コンテンツであってもよい。ランダムな情報・映像コンテンツをデジタルアルコール空間の壁や床へ追加投影することで、環境演出部５８は会議に参加するユーザの思考の集中と発散とをコントロールすることができる。
また、本実施形態に係る情報処理システム１は同一の情報・映像コンテンツであっても追加投影されるデジタルアルコール空間の壁や床により、表示される内容が異なる（例えば右脳的な表示や左脳的な表示など）フィードバックにより、会議に参加しているユーザの思考の集中と発散とをコントロールしてもよい。
なお、ユーザが検知されなくなり、会議が終了すると、環境演出部５８はステップＳ１１４に進み、会議室内でのユーザの移動軌跡などの会議中の状態を、レポートとして出力する。例えば、会議室内でのユーザの移動軌跡をレポートとして出力する場合には、図７（c）のログ記憶部の情報を参照し、会議開始から終了までの各ユーザの位置情報をユーザがコミュニケーションを行った空間の画像データや映像データに軌跡としてマッピングする描画処理を実行することで、ユーザの移動軌跡を可視化する画像データ又は映像データを作成する。空間の画像データや映像データは空間内に設置されたカメラ１８で撮影したデータであってもよいし、予め記憶しておいた画像データや映像データであってもよい。このようにして環境演出部５８は作成した画像データ又は映像データをレポートとして出力することができる。
また、ログ記憶部において管理されている発話状態も参照することで、発話状態にある日時の位置情報を軌跡として描画処理をする場合には発話状態にない場合と異なる色や形状で軌跡を描画処理して区別できるようにしてもよい。また、同様にして計測した発話量の大きさに応じて描画処理する軌跡の色や形状を異ならせてもよい。
このようなレポートを参照することで、環境演出によって複数人のユーザ間のコミュニケーションがどの程度活性化されたのか振り返ることができる。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、本実施形態で説明した情報処理システム１は一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理装置１０はサーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワーク４０や共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
さらに、情報処理装置１０は、開示された処理ステップを様々に組み合わせることもできる。情報処理装置１０の各要素は、1つの装置にまとめられていてもよいし、複数の装置に分けられていてもよい。
１ 情報処理システム
１０ 情報処理装置
１２ 映像表示装置
１４ センサ装置
１６ スピーカ
１８ カメラ
２０ 操作デバイス
２２ マイク
２４ タグ
２６ 操作ボタン
３０ ライト
３２ スピーカ
３４ におい出力装置
３６ センサ装置
５０ 受信部
５２ ユーザ検知部
５４ 発話量計測部
５６ 発話内容認識部
５８ 環境演出部
６０ 映像出力制御部
６２ 音出力制御部
６４ ライト制御部
６６ におい出力制御部
６８ 記憶部
特開２０１６－３２２０５号公報

Claims (13)

  1. 空間に設置された映像を表示する映像表示装置と、前記空間の中にいるユーザが所持し、所持するユーザの位置情報を検知するための信号を出力するセンサ装置と、前記映像表示装置及び前記センサ装置とにデータ通信可能に接続される情報処理装置と、を有する情報処理システムであって、
    前記情報処理装置は、
    前記空間内にいる複数人のユーザが所持する前記センサ装置からそれぞれ出力された信号に基づいて検知した前記空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶するユーザ情報記憶手段と、
    前記複数人のユーザのそれぞれの位置情報に基づいて、前記映像表示装置が表示する映像による前記複数人のユーザ間のコミュニケーションを支援する環境演出を制御する環境演出手段と、
    を有する情報処理システム。
  2. 前記情報処理装置は、
    前記複数人のユーザの発話量を、マイクからの出力信号に基づき、それぞれ計測する発話量計測手段、を更に有し、
    前記環境演出手段は、前記発話量計測手段による計測の結果に基づいて前記複数人のユーザの中から発話中のユーザを特定し、発話中のユーザと発話中以外のユーザとを視覚的に区別できるように、前記環境演出を制御すること
    を特徴とする請求項１記載の情報処理システム。
  3. 前記環境演出手段は、発話中以外のユーザから見た発話中のユーザの背後の領域が、他の領域よりも明るくなるように、前記環境演出を制御すること
    を特徴とする請求項２記載の情報処理システム。
  4. 前記環境演出手段は、前記複数人のユーザのそれぞれの位置情報から算出される前記複数人のユーザの間の距離に基づき、前記映像表示装置が表示する映像の大きさ又は光量を制御すること
    を特徴とする請求項１乃至３の何れか一項に記載の情報処理システム。
  5. 前記情報処理装置は、
    前記複数人のユーザに対する音をスピーカから出力する音出力制御手段、を更に有し、
    前記環境演出手段は、前記複数人のユーザの間の距離に基づき、前記音の音響演出を制御すること
    を特徴とする請求項４記載の情報処理システム。
  6. 前記ユーザ情報記憶手段は、前記複数人のユーザがそれぞれ所持する操作デバイスからの電波に基づき、前記空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶すること
    を特徴とする請求項１乃至５の何れか一項記載の情報処理システム。
  7. 前記環境演出手段は、前記空間を仕切る１つ以上の面に前記映像表示装置が表示する映像によって前記環境演出を変化させること
    を特徴とする請求項１乃至６の何れか一項記載の情報処理システム。
  8. 前記情報処理装置は、
    前記複数人のユーザの発話内容を、マイクからの出力信号に基づき、音声認識する発話内容認識手段、を更に有し、
    前記環境演出手段は、前記発話内容認識手段による音声認識の結果に基づいて、前記複数人のユーザの発話内容に応じた前記環境演出を制御すること
    を特徴とする請求項１乃至７の何れか一項記載の情報処理システム。
  9. 前記ユーザ情報記憶手段は、前記空間の中にいる複数人のユーザのそれぞれの位置情報の変化をログ情報として記憶しており、
    前記環境演出手段は、前記ログ情報に基づいて、前記空間の中にいる複数人のユーザのそれぞれの位置情報の軌跡に応じたレポート出力を行うこと
    を特徴とする請求項１乃至８の何れか一項記載の情報処理システム。
  10. 空間に設置された映像を表示する映像表示装置、及び前記空間の中にいるユーザが所持し、所持するユーザの位置情報を検知するための信号を出力するセンサ装置とデータ通信可能に接続された情報処理装置であって、
    前記空間内にいる複数人のユーザが所持する前記センサ装置からそれぞれ出力された信号に基づいて検知した前記空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶するユーザ情報記憶手段と、
    前記複数人のユーザのそれぞれの位置情報に基づいて、前記映像表示装置が表示する映像による前記複数人のユーザ間のコミュニケーションを支援する環境演出を制御する環境演出手段と、
    を有する情報処理装置。
  11. 空間に設置された映像を表示する映像表示装置、及び前記空間の中にいるユーザが所持し、所持するユーザの位置情報を検知するための信号を出力するセンサ装置とデータ通信可能に接続された情報処理装置を、
    前記空間内にいる複数人のユーザが所持する前記センサ装置からそれぞれ出力された信号に基づいて検知した前記空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶するユーザ情報記憶手段、
    前記複数人のユーザのそれぞれの位置情報に基づいて、前記映像表示装置が表示する映像による前記複数人のユーザ間のコミュニケーションを支援する環境演出を制御する環境演出手段、
    として機能させるためのプログラム。
  12. 空間に設置された映像を表示する映像表示装置と、前記空間の中にいるユーザが所持し、所持するユーザの位置情報を検知するための信号を出力するセンサ装置と、前記映像表示装置及び前記センサ装置とにデータ通信可能に接続される情報処理装置と、を有する情報処理システムの情報処理方法であって、
    前記空間内にいる複数人のユーザが所持する前記センサ装置からそれぞれ出力された信号に基づいて検知した前記空間の中にいる複数人のユーザのそれぞれの位置情報をユーザに関連付けて記憶するステップと、
    前記複数人のユーザのそれぞれの位置情報に基づいて、前記映像表示装置が表示する映像による前記複数人のユーザ間のコミュニケーションを支援する環境演出を制御するステップと、
    を有する情報処理方法。
  13. 請求項１乃至９の何れか一項記載の情報処理システムを有する部屋。
JP2023207023A 2020-02-26 2023-12-07 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋 Pending JP2024023600A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023207023A JP2024023600A (ja) 2020-02-26 2023-12-07 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020030869A JP7400531B2 (ja) 2020-02-26 2020-02-26 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋
JP2023207023A JP2024023600A (ja) 2020-02-26 2023-12-07 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020030869A Division JP7400531B2 (ja) 2020-02-26 2020-02-26 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋

Publications (1)

Publication Number Publication Date
JP2024023600A true JP2024023600A (ja) 2024-02-21

Family

ID=77366688

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020030869A Active JP7400531B2 (ja) 2020-02-26 2020-02-26 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋
JP2023207023A Pending JP2024023600A (ja) 2020-02-26 2023-12-07 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020030869A Active JP7400531B2 (ja) 2020-02-26 2020-02-26 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋

Country Status (3)

Country Link
US (1) US11556308B2 (ja)
JP (2) JP7400531B2 (ja)
CN (1) CN113315941A (ja)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4669041B2 (ja) * 2006-02-28 2011-04-13 パナソニック株式会社 ウェアラブル端末
JP4829696B2 (ja) 2006-06-19 2011-12-07 日本電信電話株式会社 会話支援システム
US8130273B2 (en) * 2008-01-25 2012-03-06 International Business Machines Corporation System and method for spotlight identification of audience members during question and answer sessions
JP5438338B2 (ja) 2009-02-24 2014-03-12 アズビル株式会社 設備制御システムおよび設備制御方法
CN102056368B (zh) * 2009-10-28 2013-08-07 华为终端有限公司 视频通讯中会场环境控制方法及装置
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US20110311144A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Rgb/depth camera for improving speech recognition
US9544158B2 (en) * 2011-10-05 2017-01-10 Microsoft Technology Licensing, Llc Workspace collaboration via a wall-type computing device
US8947493B2 (en) * 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9213462B2 (en) * 2012-10-10 2015-12-15 Microsoft Technology Licensing, Llc Unified communications application functionality in condensed views
US9377349B2 (en) * 2013-08-23 2016-06-28 Google Inc. Free-space optically accessed acoustically modulated retro-reflector arrays
US20150146078A1 (en) * 2013-11-27 2015-05-28 Cisco Technology, Inc. Shift camera focus based on speaker position
JP2016032205A (ja) 2014-07-29 2016-03-07 株式会社リコー 画像投影装置、画像投影方法、及びプログラム
US10297082B2 (en) * 2014-10-07 2019-05-21 Microsoft Technology Licensing, Llc Driving a projector to generate a shared spatial augmented reality experience
JP2016178487A (ja) 2015-03-20 2016-10-06 シャープ株式会社 投影装置
CN104994644B (zh) * 2015-07-03 2018-04-20 麦格创科技（深圳）有限公司 会议的灯光控制方法及系统
CN105163278A (zh) * 2015-08-12 2015-12-16 山东合天智汇信息技术有限公司 一种基于移动终端的无线客户端位置轨迹监控系统及方法
US9621795B1 (en) * 2016-01-08 2017-04-11 Microsoft Technology Licensing, Llc Active speaker location detection
JP2017169722A (ja) * 2016-03-23 2017-09-28 Ｒｉｎｋ合同会社 舞台用演出システム
JP6851745B2 (ja) * 2016-08-04 2021-03-31 富士通株式会社 画像制御方法、装置、及びプログラム
US10602591B2 (en) * 2017-08-29 2020-03-24 Abl Ip Holding Llc Mechatronic transforming luminaire swarm
CN107883247A (zh) * 2017-09-29 2018-04-06 广州市珀光电子科技发展有限公司 一种舞台照明系统
JP7352918B2 (ja) 2017-10-13 2023-09-29 チームラボ株式会社 発光するボールを利用した照明演出システム及び照明演出方法
JP7029161B2 (ja) 2017-11-30 2022-03-03 チームラボ株式会社 演出装置，演出システム，及び演出方法
US11336701B2 (en) * 2019-07-29 2022-05-17 Avaya Inc. Creation and sharing of contacts groups between communication participants

Also Published As

Publication number Publication date
US20210263704A1 (en) 2021-08-26
US11556308B2 (en) 2023-01-17
JP2021135701A (ja) 2021-09-13
JP7400531B2 (ja) 2023-12-19
CN113315941A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US20240080215A1 (en) Presenting overview of participant reactions within a virtual conferencing system
JP6854859B2 (ja) 照明装置
US10462421B2 (en) Projection unit
WO2017033513A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20170097581A (ko) 멀티-모달 투영 디스플레이
CN110383214B (zh) 信息处理装置、信息处理方法和记录介质
WO2020010577A1 (zh) 一种具有ai交互功能的微型投影仪及其投影方法
US9374554B1 (en) Display selection for video conferencing
KR20130100306A (ko) 모바일 전화기 호스팅 미팅 제어
CN108348810A (zh) 用于由计算机模拟生成的图像、视频和/或全息图的投影的方法和设备
WO2017056147A1 (ja) 照明装置
US11221760B2 (en) Information processing apparatus, information processing method, and storage medium
JP7400531B2 (ja) 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋
KR102136463B1 (ko) 스마트 디바이스 및 그 제어 방법
US20240073371A1 (en) Virtual participant interaction for hybrid event
US10545716B2 (en) Information processing device, information processing method, and program
US10228767B2 (en) Position-based interactive performance system
WO2019171907A1 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
US20230238018A1 (en) Information processing apparatus, information processing system, information processing method, and non-transitory recording medium
US12069409B2 (en) In-person participant interaction for hybrid event
KR102314025B1 (ko) 미디어 서버 및 컴퓨터 프로그램 제품
JP6193180B2 (ja) プレゼンテーション用端末及びプレゼンテーション方法
US11379174B2 (en) Information processing system, information processing apparatus, and information processing method
US20240220198A1 (en) Providing change in presence sounds within virtual working environment
JP2023089686A (ja) 情報表示システム、情報表示方法、情報処理装置、情報処理端末及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240806