JP6528574B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
JP6528574B2
JP6528574B2 JP2015140819A JP2015140819A JP6528574B2 JP 6528574 B2 JP6528574 B2 JP 6528574B2 JP 2015140819 A JP2015140819 A JP 2015140819A JP 2015140819 A JP2015140819 A JP 2015140819A JP 6528574 B2 JP6528574 B2 JP 6528574B2
Authority
JP
Japan
Prior art keywords
unit
information
input
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015140819A
Other languages
English (en)
Other versions
JP2017022661A (ja
Inventor
和紀 北澤
和紀 北澤
清人 五十嵐
清人 五十嵐
内山 裕章
裕章 内山
耕司 桑田
耕司 桑田
高橋 仁人
仁人 高橋
智幸 後藤
智幸 後藤
宣正 銀川
宣正 銀川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015140819A priority Critical patent/JP6528574B2/ja
Priority to US15/206,899 priority patent/US9699414B2/en
Publication of JP2017022661A publication Critical patent/JP2017022661A/ja
Application granted granted Critical
Publication of JP6528574B2 publication Critical patent/JP6528574B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403Linear arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
インターネット等のネットワークを介して画像(映像)や音声などをリアルタイムに送受信することで、遠隔地とのコミュニケーションを実現する会議システムが知られている。例えば、一方の参加者が用いる情報処理装置が、当該参加者の画像を撮影するとともに当該参加者の発言などの音声を収集し、他方の参加者が用いる情報処理装置へ送信する。そして、他方の参加者が用いる情報処理端末が、画像および音声を受信して出力することで、遠隔会議を実現する。
また、指向性を有するマイクを用いて収音方向の切替えを可能とし、発言者の音声を選択的に収音すると共に、撮影画像から発言者を含む領域を切出し、音声データと切出画像を送信する技術が開示されている。また、会議参加者の配置パターンに基づいて、会議参加者方向の音声データを送信する技術が開示されている。
しかしながら、従来では、情報処理装置にかかる処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図ることができない、という問題があった。
上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、撮影部と、音声の収音方向を切替え可能な音声入力部と、前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出す切出部と、前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信する送信部と、会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得する取得部と、取得した前記設定情報に応じて、前記音声入力部による前記収音方向および前記切出部による前記切出領域を制御する切出制御部と、を備える。前記音声入力部は、互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する複数の入力部と、前記音声データとして用いる前記音声信号を出力した前記入力部の選択を切替えることによって、前記収音方向を切替える切替部と、を有し、前記切出制御部は、取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部による前記収音方向を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出部による前記切出領域を制御する、第1の制御を、会議の始まる前の少なくとも第1のタイミングに行う。
本発明によれば、処理負荷の軽減を図ることができる、という効果を奏する。
図1は、本実施の形態の会議システムの構成の一例を示す図である。 図2は、本実施の形態の情報処理装置の一例を示すブロック図である。 図3は、複数の入力部の配置の一例を示す模式図である。 図4は、レイアウト管理情報および優先度情報のデータ構成の一例を示す図である。 図5は、レイアウト情報の一例を示す模式図である。 図6は、情報処理の流れの一例を示すフローチャートである。 図7は、情報処理の流れの一例を示すフローチャートである。 図8は、本実施の形態の情報処理装置の一例を示すブロック図である。 図9は、会議中に会議参加者が会議室内を移動した状態を示す説明図である。 図10は、情報処理の流れの一例を示すフローチャートである。 図11は、割込処理の手順の一例を示すフローチャートである。 図12は、ハードウェア構成図である。
以下、添付図面を参照しながら、本発明にかかる情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。なお、以下の実施の形態では、本発明を会議システムに適用した場合を一例として説明するが、これに限定されない。
(第1の実施の形態)
図1は、本実施の形態の会議システム1の構成の一例を示す図である。会議システム1は、複数の情報処理装置10と、サーバ20と、を備える。図1には、一例として、2台の情報処理装置10(情報処理装置10A、情報処理装置10B)を示した。しかし、会議システム1に含まれる情報処理装置10の数は、2台に限定されない。
複数の情報処理装置10およびサーバ20は、ネットワーク2を介して接続されている。ネットワーク2は、例えば、LAN(Local Area Network)やインターネットなどにより実現できる。
サーバ20は、複数の情報処理装置10間における画像や音声データなどの送受信を中継する中継機能を有する。また、サーバ20は、中継機能に加え、会議に参加する情報処理装置10間での会議の開始や終了などを制御する会議制御機能も有するが、ここでは説明を省略する。
複数の情報処理装置10は、それぞれ異なる拠点に配置されており、サーバ20を介して映像情報の送受信を行う。映像情報は、切出画像(詳細後述)と音声データとを含む。本実施の形態では、情報処理装置10として、テレビ会議用の専用端末を想定している。しかし、これに限定されず、情報処理装置10は、ノートPC(Personal Computer)、スマートフォン、及びタブレット端末などであってもよい。なお、以下の説明では、複数の情報処理装置10(情報処理装置10A、情報処理装置10B)の各々を区別する必要のない場合には、単に、情報処理装置10と称して説明する場合がある。
図2は、本実施の形態の情報処理装置10の一例を示すブロック図である。
情報処理装置10は、撮影部30と、音声入力部32と、記憶部34と、通信部36と、制御部38と、操作部40と、表示部42と、音声出力部44と、を備える。撮影部30、音声入力部32、記憶部34、通信部36、操作部40、表示部42、および音声出力部44は、制御部38にデータや信号授受可能に接続されている。
撮影部30は、会議において情報処理装置10を使用する、会議の参加者を撮影する。撮影部30は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子、およびレンズなどにより構成される撮像装置により構成される。なお、レンズは広角レンズであってもよい。
また撮影部30は、外部制御可能なメカニカルなPTZ(パン・チルト・ズーム)機能を有していてもよい。この場合、撮影部30は、自身の撮影範囲を外部制御可能に構成される。メカニカルなPTZ機能とは、撮影部30を物理的に動かしてPTZを行う機能である。
本実施の形態では、撮影部30は、360°の全方位を撮影可能なパノラマカメラである場合を説明する。すなわち、撮影部30は、全方位を撮影した画像(パノラマ画像)を得る。このため、撮影部30は、情報処理装置10を設置した会議室内の会議参加者の全てを撮影した画像を取得することが可能である。
音声入力部32は、入力された音声の音声信号を、音声データとして出力する。音声入力部32は、音声の収音方向を切替え可能である。音声入力部32は、制御部38の制御によって、収音方向が制御され、制御された収音方向の音声の音声信号を音声データとして出力する。すなわち、音声入力部32は、制御部38によって指向性を制御される。
音声入力部32は、複数の入力部46と、切替部48と、を含む。
入力部46は、互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する。すなわち、複数の入力部46の各々は、互いに異なる方向の一定範囲を収音範囲とし、複数の入力部46の各々には、対応する収音範囲で発生した音声が入力される。
本実施の形態では、情報処理装置10に設けられた複数の入力部46は、撮影部30の撮影可能な範囲で発生した音声(すなわち、会議出席者の音声)が、何れかの入力部46に入力されるように、情報処理装置10の筐体に配置されている。
図3は、情報処理装置10における、複数の入力部46(入力部46A〜入力部46F)の各々の配置の一例を示す模式図である。図3に示す例では、複数の入力部46(入力部46A〜入力部46F)の各々は、撮影部30の撮影可能な範囲(本実施の形態では、360°の全方位)を、複数の入力部46の全体の収音範囲が網羅するように、情報処理装置10の筐体に配置されている。
図2に戻り、切替部48は、音声入力部32に含まれる複数の入力部46の内、音声データとして用いる音声信号を出力した切替部48の選択を切替える。言い換えると、切替部48は、各入力部46の各々から出力された音声信号の有効/無効の切替えを行う。
これによって、切替部48は、音声入力部32の収音方向を切替える。切替部48は、制御部38の制御によって、何れの入力部46から出力された音声信号を音声データとして用いるかを切替え、切替えた入力部46から出力された音声信号を音声データとして出力する。
なお、切替部48は、少なくとも1つの入力部46から出力された音声信号を音声データとして用いるように切替えても良いし、複数の入力部46から出力された音声信号を音声データとして用いるように切替えても良い。
具体的には、切替部48が、特定の1つの入力部46を選択するように切替えた場合、選択された該入力部46が有する指向性の方向が、収音方向として制御される。また、切替部48が、音声入力部32に含まれる全ての入力部46を選択するように切替えた場合、音声入力部32に設けられた全ての入力部46の各々が有する指向性の方向(すなわち、全方向)が収音方向として制御される(すなわち、この場合、全指向性となる)。何れの方向を収音方向とするかは、制御部38によって制御される。
また、切替部48は、複数の入力部46から出力された音声信号を音声データとして出力する場合、切替部48では、これらの複数の入力部46の各々から出力された複数の音声信号を積算した信号を、音声データとして用いればよい。
ここで、複数の入力部46を配置した音声入力部32の動作の概念を説明する。
まず、マイクロフォンを8個1列に並べたマイクロフォンアレイ(入力部46に対応する)を例にして説明する。マイクロフォンアレイ装置では、各マイクロフォンから出力される音響信号に対して遅延器(遅延器は、各マイクロフォンに対して複数個設けられる)により遅延を付加した後に、この遅延を付加した音響信号を加算器で加算することにより、指向性を制御することが可能である。Spot1は、音源からの音響信号を集音するために設定される空間上の位置である主焦点、Spot2(主焦点の左側)およびSpot3(主焦点の右側)は、音源の位置を探知するために設定される空間上の位置である探知用焦点である。
各マイクロフォンから出力される音響信号は、それぞれアンプで増幅され、A番目の各遅延器により遅延が付加される。そして、それらの遅延器により遅延が付加された音響信号は、加算器で加算され、主信号となる。
A番目の遅延器に設定される遅延量は、主焦点Spot1から各マイクロフォンに到達して集音される音響信号が加算器Xによる加算時点で同相となるように設定される。これにより、主焦点Spot1から各マイクロフォンに到達する音響信号が強調される。
一方、主焦点Spot1とは異なる方向から到来する音響信号は、主焦点Spot1から到来する音響信号とは異なる時間差で集音されるので、各マイクロフォンで集音された後に加算されても同相化されず、主焦点Spot1から到来する音響信号に比べて強調効果が小さい。以上の結果、主焦点Spot1の方向に対して感度が高い指向性が形成される。
次に、B番目の各遅延器により遅延が付加された音響信号は、加算器Yで加算され、探知信号Out2となる。B番目の各遅延器に設定される遅延量は、探知用焦点Spot2から各マイクロフォンに到達して集音される音響信号が先の他の加算器による加算時点で同相となるように設定される。例えば、探知用焦点Spot2の位置は、マイクロフォンアレイから主焦点Spot1に向かって右側に設定される。
一方、C番目の遅延器により遅延が付加された音響信号は、加算器Zで加算され、探知信号Out3となる。C番目の遅延器に設定される遅延量は、探知用焦点Spot3から各マイクロフォンに到達して集音される音響信号が加算器Zによる加算時点で同相となるように設定される。探知用焦点Spot3の位置は、マイクロフォンアレイから主焦点Spot1に向かって左側に設定される。
また、探知用焦点Spot2とSpot3は、マイクロフォンアレイの中点Cと主焦点Spot1とを結ぶ線分L1に対して線対称となるように設定される。すなわち、中点Cと探知用焦点Spot2とを結ぶ線分L2が線分L1となす角、及び中点Cと探知用焦点Spot3とを結ぶ線分L3が線分L1となす角は、共にθである。
例えば、音源が主焦点Spot1の方向にあるときに主信号は最も大きくなり、音源が左右どちらかに移動すると、主信号Out1のレベルは減少する。これに対して、探知信号Out2,Out3は、音源が主焦点Spot1の方向にあるときは同レベルとなり、音源が負の方向(Spot2の方向)に移動すると、探知信号Out3が減少して探知信号Out2が増大し、音源が正の方向(Spot3の方向)に移動すると、探知信号Out2が減少して探知信号Out3が増大する。したがって、探知信号Out2とOut3のレベル差を検出することにより、音源の方向を検出することができる。
このように、探知信号Out2のレベルと探知信号Out3のレベルとの差に基づいて音源の方向を検出して、この音源の方向に集音用の第1の指向性を持たせるようにしたので、音源が移動したとしても、音源から集音することができる。また、音源の方向に応じて第1の指向性(主焦点Spot1)の方向を変更すると同時に、音源探知用の第2の指向性(探知用焦点Spot2)及び第3の指向性(探知用焦点Spot3)の方向も変更するため、音源の方向に応じた音源位置検出感度の最適化が可能である。
通信部36は、ネットワーク2を介してサーバ20や他の情報処理装置10と通信する。通信部36は、例えば、NIC(Network Interface Card)や無線通信装置などの通信装置などである。本実施の形態では、通信部36は、他の情報処理装置10との間で映像情報の送信や受信などを行う。
操作部40は、ユーザ(例えば、会議の参加者)の各種操作入力を受け付ける。操作部40は、例えば、マウス、キーボード、およびタッチパッド、およびタッチパネルなどである。
表示部42は、各種画像を表示する。表示部42は、例えば、液晶ディスプレイや投影装置などである。なお、表示部42および操作部40の少なくとも一方は、情報処理装置10と別体として構成されていてもよい。また、操作部40および表示部42を一体的に構成し、タッチパネルとして機能させてもよい。表示部42は、例えば、他の情報処理装置10から通信部36を介して受信した映像情報に含まれる切出画像を表示する。
音声出力部44は、音声を出力する。本実施の形態では、音声出力部44は、例えば、他の情報処理装置10から通信部36を介して受信した映像情報に含まれる音声データの音声を出力する。音声出力部44は、例えば、スピーカなどである。
記憶部34は、各種データを記憶する。記憶部34は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、メモリカード、光ディスク、及びRAM(Random Access Memory)などの磁気的、光学的、および電気的に記憶可能な記憶装置などである。
本実施の形態では、記憶部34は、レイアウト管理情報と優先度情報と、を予め記憶する。
図4は、レイアウト管理情報60および優先度情報62のデータ構成の一例を示す図である。レイアウト管理情報60は、会議時における座席領域の配置を示すレイアウト情報を管理するための情報である。例えば、図4(A)に示すようにレイアウト管理情報60は、レイアウトIDと、レイアウト情報と、を対応づけたものである。なお、座席領域の配置を、単に、レイアウトと称して説明する場合がある。
レイアウトIDは、レイアウト情報を識別する識別情報である。レイアウト情報は、上述したように、会議時にける座席領域の配置を示す情報である。
図5は、レイアウト情報の一例を示す模式図である。図5(A)は、あるレイアウトID(例えば、パターン1とする)によって識別される座席領域Pの配置の一例を示す模式図である。図5(A)に示すパターン1によって識別されるレイアウトでは、会議室の中央に配置された机52上に情報処理装置10を設置したときの配置として、机52の周囲に会議参加者の座席領域P(座席領域P1〜座席領域P7)が配置されている。詳細には、パターン1によって識別されるレイアウトは、情報処理装置10におけるホワイトボード50の配置側の領域を座席領域P7とし、図5(A)中の右回りに、机52の周囲に沿って順に、座席領域P1〜座席領域P6を順に配置した構成となっている。
なお、情報処理装置10に設けられた撮影部30は、これらの座席領域P(座席領域P1〜座席領域P7)を含む画像(パノラマ画像)を得る。このため、制御部30は、各座席領域Pに位置する会議参加者の全員を撮影した画像を得ることができる。
図5(B)は、あるレイアウトID(例えば、パターン2とする)によって識別される座席領域の配置の一例を示す模式図である。図5(B)に示すパターン2によって識別されるレイアウトでは、会議室内に配置された机52上に情報処理装置10を設置したときの配置として、机52の周囲におけるホワイトボートの設置方向とは逆側の領域に、座席領域P1〜座席領域P4を順に配置した構成となっている。
なお、本実施の形態では、レイアウト情報に示される各座席領域Pは、情報処理装置10を予め定めた設置向きで設置したときの、該情報処理装置10に設けられた複数の入力部46(入力部46A〜46F)の各々が指向性を有する方向の収音範囲の各々と一致する。
すなわち、レイアウト情報に示される座席領域Pは、情報処理装置10に設けられた複数の入力部46の各々が指向性を有する方向の収音範囲と1対1(1つの座席領域に対して1つの入力部46の収音範囲)、1対多(1つの座席領域に対して複数の入力部46の収音範囲)、または多対1(複数の座席領域に対して1つの入力部46の収音範囲)の関係を示す。
このため、レイアウト情報は、各座席領域Pを収音範囲とする(情報処理装置10に対する各座席領域Pの方向を、指向性を有する方向とする)入力部46の識別情報と、対応する座席領域Pと、を更に対応づけた情報であることが好ましい。本実施の形態では、レイアウト情報は、座席領域Pの配置と、各座席領域Pを収音範囲とする入力部46の識別情報(すなわち座席領域Pに対応する入力部46の識別情報)と、を対応づけた情報であるものとして説明する。
なお、座席領域Pの配置と、各座席領域Pを収音範囲とする入力部46の識別情報と、を対応づけたテーブルを、別途、制御部38に予め記憶してもよい。
ユーザは、操作部40を操作することで、予めレイアウト情報や各座席領域Pに対応する入力部46の識別情報を入力し、予め記憶部34に記憶すればよい。そして、記憶部34は、レイアウトIDに対応づけて、座席領域Pの配置と、各座席領域Pを収音範囲とする入力部46の識別情報(すなわち各座席領域Pに対応する入力部46の識別情報)とを対応づけたレイアウト情報を記憶すればよい(図4(A)参照)。なお、レイアウト情報は、ユーザによる操作部40の操作指示によって適宜変更可能としてもよい。
次に、優先度情報62について説明する。記憶部34は、レイアウトID(またはレイアウト情報)ごとに、対応する優先度情報62を予め記憶する。
図4(B)は、図5(A)に示すレイアウト情報(または該レイアウト情報のレイアウトID(パターン1))に対応する、優先度情報62のデータ構成の一例を示す図である。
優先度情報62は、対応するレイアウト情報に示される座席領域Pと、優先度と、を対応づけたものである。
図4(B)に示す例では、優先度情報62は、座席領域P1〜座席領域P7の各々の座席領域Pに対応する優先度を対応づけている。なお、異なる複数の座席領域Pに、同じ優先度を対応づけてもよい。
図4(B)に示す例では、優先度「1」が最も優先度が高く、優先度「2」、優先度「3」のこの順に優先度が低いことを示す。また、優先度「0」は、優先度が登録されていないことを示す。
ユーザは、操作部40を操作することで、レイアウト情報に対応する優先度情報62を予め入力し、予め記憶部34に記憶すればよい。そして、記憶部34は、レイアウトID(またはレイアウト情報)に対応づけて、優先度情報62を記憶すればよい(図4(B)参照)。なお、優先度情報62は、ユーザによる操作部40の操作指示によって適宜変更可能としてもよい。
具体的には、図4(B)に示す例では、図5(A)に示すレイアウト情報の座席領域P4には、会議参加者が不在であることから優先度「0」がユーザによる操作部40の操作指示によって設定されている。また、座席領域P7には会議参加者は不在であるが、ホワイトボード50が配置されているため、優先度「3」がユーザによる操作部40の操作指示によって設定されている。また、座席領域P1〜座席領域P3、および座席領域P5〜座席領域P6には、会議参加者が存在することから、優先度「1」〜「2」が設定されている。特に、座席領域P2に会議の司会者が座る場合、ユーザは、座席領域P2に最も高い優先度「1」を操作部40の操作指示により設定する。
なお、各レイアウト情報に対応する優先度情報62は、会議の開始前にユーザが操作部40を操作し、各座席領域Pに対応する優先度を設定することで記憶部34に記憶されるようにしてもよい。また、複数種類の優先度情報62を予め記憶部34に記憶し、会議の開始前にユーザが操作部40を操作することで、レイアウト情報に対応する優先度情報62を選択してもよい。
図2に戻り、制御部38は、情報処理装置10全体を制御する。
制御部38は、撮影制御部38Aと、切出部38Bと、送信部38Cと、取得部38Dと、受付部38Eと、切出制御部38Fと、受信部38Gと、表示制御部38Hと、音声出力制御部38Iと、を含む。
撮影制御部38A、切出部38B、送信部38C、取得部38D、受付部38E、切出制御部38F、受信部38G、表示制御部38H、および音声出力制御部38Iの一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
撮影制御部38Aは、撮影部30を制御する。本実施の形態では、撮影制御部38Aは、撮影部30の撮影開始および撮影停止などを制御し、撮影部30で撮影されたパノラマ画像である画像を取得する。なお、撮影部30がPTZ機能を有する場合、撮影制御部38Aは、撮影部30のPLZ機能を制御してもよい。
切出部38Bは、撮影部30によって撮影された画像の少なくとも一部の切出領域を切出画像として切出す。すなわち、切出部38Bは、撮影部30で撮影され、撮影制御部38Aで取得したパノラマ画像における所定の切出領域を切出画像として切出す。この切出領域は、切出制御部38Fの制御によって定まる。
送信部38Cは、切出部38Bで切出した切出画像と、音声入力部32に入力された音声の音声データと、を含む映像情報を送信する。本実施の形態では、送信部38Cは、映像情報をエンコードし、他の情報処理装置10へ送信する。エンコードの方法には、公知の方法を用いればよい。例えば、H.264/AVCやH.264/SVCなどの圧縮符号化技術を用いればよい。
受付部38Eは、ユーザによる操作部40の各種操作指示を受付ける。受信部38Gは、他の情報処理装置10やサーバ20から、通信部36を介して各種データを受信する。本実施の形態では、受信部38Gは、他の情報処理装置10から通信部36を介して映像情報を受信し、デコードする。デコードの方法には、公知の方法を用いればよい。
表示制御部38Hは、表示部42に各種画像を表示する制御を行う、音声出力制御部38Iは、音声出力部44に各種音声データの音声を出力する制御を行う。
本実施の形態では、表示制御部38Hは、受信部38Gで受信した映像情報に含まれる切出画像を表示部42に表示する。このとき、音声出力制御部38Iは、該映像情報に含まれる音声データの音声を音声出力部44から出力する。
このため、情報処理装置10は、他の情報処理装置10から送信された映像情報に応じた切出画像および音声を出力することができる。また、情報処理装置10の送信部38Cは、当該情報処理装置10で作成した映像情報を他の情報処理装置10へ送信する。
このため、会議参加者は、表示部42に表示された画像(切出画像)を視認し、音声出力部44から出力された音声を聞くことで、他の情報処理装置10の設置位置に位置する会議参加者の情報を得ることができる。また、当該情報処理装置10の設置位置に位置する会議参加者に応じた映像情報が、他の情報処理装置10へ送信される。このため、会議システム1では、遠隔地とのコミュニケーションを実現する会議システムを実現可能な構成となっている。
取得部38Dは、会議時における座席領域Pの配置を示すレイアウト情報と、該レイアウト情報に示される座席領域Pの各々の優先度を示す優先度情報62と、を含む設定情報を取得する。本実施の形態では、取得部38Dは、ユーザによって操作される操作部40から受け付けたレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報62と、を設定情報として取得する。
例えば、ユーザは、操作部40を操作することで、会議室のレイアウトを示すレイアウトIDを入力する。例えば、表示制御部38Hは、制御部38に記憶されているレイアウトIDの一覧を表示部42に表示する。このとき、表示制御部38Hは、レイアウト管理情報60における、レイアウトIDに対応するレイアウト情報を表示部42に合わせて表示してもよい。
そして、ユーザは、操作部40を操作することで、表示部42に表示されたレイアウトIDから、会議時の座席領域の配置を示すレイアウト情報(またはレイアウトID)を選択する。取得部38Dは、操作部40から受付部38Eで受け付けたレイアウトID(またはレイアウト情報)に対応する優先度情報62を記憶部34から読取ることで、優先度情報62を取得する。また、取得部38Dは、操作部40から受け付けたレイアウトIDに対応するレイアウト情報と、読取った優先度情報62と、を設定情報として取得すればよい。
設定情報を取得した取得部38Dは、取得した設定情報を、会議で用いる設定情報として記憶部34に記憶する。
切出制御部38Fは、取得部38Dが取得した設定情報に応じて、音声入力部32による収音方向、および、切出部38Bによる切出領域を制御する。すなわち、切出制御部38Fは、レイアウト情報と、優先度情報62と、を用いて、音声入力部32による収音方向および切出部38Bによる切出領域を制御する。
本実施の形態では、切出制御部38Fは、第1の制御を行う。
詳細には、切出制御部38Fは、取得部38Dで取得した設定情報に含まれる優先度情報62に示される最も高い優先度の座席領域Pの方向を収音方向として設定する。具体的には、切出制御部38Fは、記憶部34から、取得部38Dによって記憶された、会議で用いる設定情報を読取る。そして、切出制御部38Fは、読取った設定情報を用いて、収音方向を設定する。
例えば、図4(B)に示す優先度情報62が設定情報に含まれる場合、切出制御部38Fは、優先度の最も高い(例えば、優先度「1」)座席領域P(座席領域P2、座席領域P3、座席領域P5、座席領域P6)の方向を収音方向として設定する。
そして、切出制御部38Fは、設定した収音方向の音声を収音するように前記音声入力部32による収音方向を制御する。例えば、切出制御部38Fは、読取った設定情報に含まれるレイアウト情報に示される、各座席領域Pに対応する入力部46の識別情報を読取る。そして、切出制御部38Fは、収音方向として設定した座席領域Pに対応する入力部46の識別情報を把握する。そして、切出制御部38Fは、把握した識別情報によって識別される入力部46に入力された音声の音声信号を、音声データとして用いるように、切替部48による入力部46の選択を切替える。
例えば、切替部48は、収音方向として設定された方向の座席領域P(座席領域P2、座席領域P3、座席領域P5、座席領域P6)の各々に対応する入力部46に入力された音声の音声信号を、音声データとして用いるように切替える。
このため、音声入力部32は、音声入力部32に含まれる複数の入力部46の内、音声データとして用いる入力部46として選択された入力部46から出力された音声信号を、音声データとして制御部38へ出力する。すなわち、切出制御部38Fによる第1の制御によって、音声入力部32は、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を収音方向とした音声データを、制御部38へ出力する。
また、切出制御部38Fは、撮影部30が撮影した画像(本実施の形態ではパノラマ画像)における、設定した収音方向の座席領域Pに対応する領域を、切出画像として切出すように、切出部38Bによる切出領域を制御する。
このため、切出制御部38Fによる第1の制御によって、切出制御部38Fは、撮影部30が撮影した画像における、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を切出画像として切出す。
送信部38Cは、切出制御部38Fによって制御された収音方向の音声データと、切出制御部38Fによって制御された収音方向の切出画像と、を含む映像情報を、他の情報処理装置10へ送信する。
なお、切出制御部38Fは、会議の始まる前の少なくとも第1のタイミングに第1の制御を行うことが好ましい。第1のタイミングは、例えば、電力供給が開始されて情報処理装置10が起動してから、ユーザによる操作部40の操作指示などによって会議開始を示す信号が入力されるまでの時間である。なお、第1のタイミングは、電力供給が開始されてから最初の音声が入力部46に入力されるまでの期間であってもよい。
また、切出制御部38Fは、第2の制御を行う。
詳細には、切出制御部38Fは、少なくとも2以上の複数の入力部46に音声が入力されたときに、音声が入力された複数の入力部46が有する指向性の方向の内、取得部38Dが取得した設定情報に含まれる優先度情報62に示される最も高い優先度の座席領域Pの方向を、収音方向として設定する。
例えば、図4(B)に示す優先度情報62が、取得部38Dで取得した設定情報に含まれるとする。そして、情報処理装置10に設けられた複数の入力部46(入力部46A〜入力部46F)の内、入力部46Dおよび入力部46Eに音声が入力されたとする。
この場合、切出制御部38Fは、取得した設定情報に含まれるレイアウト情報に示される、入力部46Dおよび入力部46Eの各々の収音範囲に対応する座席領域Pを把握する。そして、切出制御部38Fは、把握した座席領域P(例えば、座席領域P1、座席領域P2)の内、優先度の最も高い座席領域P(例えば、座席領域P2)の方向を、収音方向として設定する。
そして、切出制御部38Fは、設定した収音方向の音声を収音するように音声入力部32による収音方向を制御する。例えば、切出制御部38Fは、読取った設定情報に含まれるレイアウト情報における、各座席領域Pに対応する入力部46の識別情報を記憶部34から読取る。そして、切出制御部38Fは、収音方向として設定した座席領域P(例えば、座席領域P2)に対応する入力部46の識別情報を把握する。そして、切出制御部38Fは、把握した識別情報によって識別される入力部46(例えば、入力部46E)に入力された音声の音声信号を、音声データとして用いるように、切替部48による入力部46の選択を切替える。
例えば、切出制御部38Fは、収音方向として設定した方向の座席領域P(座席領域P2)に対応する入力部46(例えば、入力部46E)に入力された音声の音声信号を、音声データとして用いるように、切替部48を切替える。
このため、切出制御部38Fによる第2の制御によって、音声入力部32は、音声の入力された複数の入力部46が有する指向性の方向の内、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を収音方向とした音声データを、制御部38へ出力する。
また、切出制御部38Fは、撮影部30が撮影した画像(本実施の形態ではパノラマ画像)における、設定した収音方向の座席領域Pに対応する領域を、切出画像として切出すように、切出部38Bによる切出領域を制御する。
このため、切出制御部38Fによる第2の制御によって、切出制御部38Fは、撮影部30が撮影した画像における、音声の入力された複数の入力部46が有する指向性の方向の内、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を切出画像として切出す。
送信部38Cは、切出制御部38Fによって制御された収音方向の音声データと、切出制御部38Fによって制御された収音方向の切出画像と、を含む映像情報を、他の情報処理装置10へ送信する。
なお、切出制御部38Fは、第1のタイミングより後に、第2の制御または後述する第3の制御を行うことが好ましい。すなわち、切出制御部38Fは、会議が開始された後に、第2の制御または第3の制御を行うことが好ましい。
また、切出制御部38Fは、第3の制御を行う。
詳細には、切出制御部38Fは、音声入力部32に含まれる複数の入力部46の内、何れか1つの入力部46に音声が入力されたときに、音声が入力された入力部46が有する指向性の方向に応じた座席領域Pに対応する優先度が設定情報に含まれる優先度情報62に登録されていない場合、第1の制御を行う。
また、切出制御部38Fは、音声入力部32に含まれる複数の入力部46の内、何れか1つの入力部46に音声が入力されたときに、音声が入力された入力部46が有する指向性の方向に応じた座席領域Pに対応する優先度が設定情報に含まれる優先度情報62に登録されている場合、音声が入力された入力部46が有する指向性の方向を収音方向として設定する。
そして、切出制御部38Fは、設定した収音方向の音声を収音するように音声入力部32を制御する。また、切出制御部38Fは、撮影部30が撮影した画像(本実施の形態ではパノラマ画像)における、設定した収音方向の座席領域Pに対応する領域を、切出画像として切出すように、切出部38Bによる切出領域を制御する。
このため、第3の制御によって、切出制御部38Fは、音声が入力された入力部46が有する指向性の方向に応じた座席領域Pに対応する優先度が設定情報に含まれる優先度情報62に登録されている場合、撮影部30が撮影した画像における、音声の入力された1つの入力部46が有する指向性の方向を収音方向として設定し、該収音方向に応じた座席領域Pの方向を切出画像として切出す。
送信部38Cは、切出制御部38Fによって制御された収音方向の音声データと、切出制御部38Fによって制御された収音方向の切出画像と、を含む映像情報を、他の情報処理装置10へ送信する。
次に、本実施の形態の情報処理装置10で実行する情報処理の流れを説明する。図6は、情報処理装置10において映像情報を他の情報処理装置10へ送信するときに行う、情報処理の流れの一例を示すフローチャートである。
情報処理装置10に電力が供給されると、受付部38EがレイアウトIDを操作部40から受け付ける(ステップS100)。例えば、ユーザは、操作部40を操作することで、会議室のレイアウトのレイアウトIDを入力する。
例えば、表示制御部38Hは、制御部38に記憶されているレイアウトIDの一覧を表示部42に表示する。このとき、表示制御部38Hは、レイアウト管理情報60における、レイアウトIDに対応するレイアウト情報を表示部42に合わせて表示してもよい。
そして、ユーザは、操作部40を操作することで、表示部42に表示されたレイアウトIDから、会議時の座席領域の配置を示すレイアウト情報(またはレイアウトID)を選択する。すると、受付部38Eは、レイアウトIDを受け付ける。
次に、取得部38Dが、設定情報を取得する(ステップS102)。ステップS102では、取得部38Dは、ステップS100で受け付けたレイアウトIDに対応するレイアウト情報と、該レイアウト情報に対応する優先度情報62と、を記憶部34から読取ることで、レイアウト情報および優先度情報62を含む設定情報を取得する。
そして、取得部38Dは、取得した設定情報を、会議で用いる設定情報として記憶部34に記憶する(ステップS104)。
次に、切出制御部38Fが第1の制御を行う(ステップS106〜ステップS110)。まず、切出制御部38Fは、ステップS104で記憶部34に記憶した設定情報に含まれる優先度情報62に示される最も高い優先度の座席領域Pの方向を収音方向として設定する(ステップS106)。
次に、切出制御部38Fは、ステップS106で設定した収音方向の音声を収音するように音声入力部32を制御する(ステップS108)。これにより、切出制御部38Fは、ステップS106で設定した収音方向の音声の音声データを受け付ける。
次に、切出制御部38Fは、撮影部30が撮影した画像(本実施の形態ではパノラマ画像)における、ステップS106で設定した収音方向の座席領域Pに対応する領域を、切出画像として切出すように、切出部38Bによる切出領域を制御する(ステップS110)。なお、撮影部30は、情報処理装置10への電力供給が開示されると、撮影を開始し、撮影によって得た画像(パノラマ画像)を制御部38へ順次出力するものとして説明する。
ステップS110の処理によって、切出制御部38Fは、撮影部30が撮影した画像における、ステップS102で取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を切出画像として切出す。
次に、送信部38Cは、ステップS108で受け付けた音声データと、ステップS110で切出した切出画像と、をエンコードし(ステップS112)、他の情報処理装置10へ送信する(ステップS114)。
次に、制御部38は、会議終了か否かを判断する(ステップS116)。例えば、制御部38は、ユーザによる操作部40の操作指示によって会議終了が指示されたか否かを判別することで、ステップS116の判断を行う。ステップS116で肯定判断すると(ステップS116:Yes)、本ルーチンを終了する。
一方、ステップS116で否定判断すると(ステップS116:No)、ステップS118へ進む。
ステップS118では、制御部38は、音声入力部32に設けられた複数の入力部46の何れかに音声が入力されたか否かを判断する(ステップS118)。
ステップS118で否定判断すると(ステップS118:No)、上記ステップS106へ戻る。一方、ステップS118で肯定判断すると(ステップS118:Yes)、ステップS120へ進む。
ステップS120では、切出制御部38Fが、ステップS118で音声入力有りと判断された入力部46が複数であるか否かを判断する(ステップS120)。ステップS118で音声入力有りと判断された入力部46が複数である場合(ステップS120:Yes)、ステップS122へ進む。
そして、切出制御部38Fは、第2の制御(ステップS122〜ステップS128)を行う。すなわち、切出制御部38Fは、会議で用いる設定情報として記憶部34に記憶された設定情報を読取る(ステップS122)。
次に、切出制御部38Fは、ステップS120で音声が入力されたと判断した複数の入力部46が有する指向性の方向の内、ステップS122で読取った設定情報に含まれる優先度情報62に示される最も高い優先度の座席領域Pの方向を収音方向として設定する(ステップS124)。
次に、切出制御部38Fは、ステップS124で設定した収音方向の音声を収音するように音声入力部32による収音方向を制御する(ステップS126)。これによって、切出制御部38Fは、ステップS124で設定した収音方向の音声の音声データを受け付ける(ステップS126)。
次に、切出制御部38Fは、撮影部30が撮影した画像(本実施の形態ではパノラマ画像)における、ステップS124で設定した収音方向の座席領域Pに対応する領域を、切出画像として切出すように、切出部38Bによる切出領域を制御する(ステップS128)。
ステップS128の処理によって、切出制御部38Fは、撮影部30が撮影した画像における、音声の入力された複数の入力部46が有する指向性の方向の内、ステップS102で取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を切出画像として切出す。
次に、送信部38Cは、ステップS126で受け付けた音声データと、ステップS128で切出した切出画像と、をエンコードし(ステップS130)、映像情報として他の情報処理装置10へ送信する(ステップS132)。そして、上記ステップS116へ戻る。
一方、上記ステップS120の判断において、切出制御部38Fが、ステップS118において音声入力有りと判断された入力部46が1つであると判断した場合(ステップS120:No)、ステップS134へ進む。
そして、切出制御部38Fは、第3の制御を行う(ステップS134〜ステップS142)。詳細には、切出制御部38Fは、会議で用いる設定情報として記憶部34に記憶された設定情報を読取る(ステップS134)。
そして、切出制御部38Fは、音声が入力された入力部46の有する指向性の方向に応じた座席領域Pに対応する優先度が、ステップS134で読取った設定情報に含まれる優先度情報62に登録されているか否かを判断する(ステップS136)。
優先度が登録されていないと判断した場合(ステップS136:No)、上記ステップS106へ戻る。
一方、優先度が登録されていると判断した場合(ステップS136:Yes)、ステップS138へ進む。ステップS138では、切出制御部38Fは、音声が入力された入力部46が有する指向性の方向を収音方向として設定する(ステップS138)。
そして、切出制御部38Fは、ステップS138で設定した収音方向の音声を収音するように音声入力部32を制御する(ステップS140)。ステップS140の処理によって、切出制御部38Fは、ステップS138で設定した収音方向の音声の音声データを受け付ける。
次に、切出制御部38Fは、撮影部30が撮影した画像(本実施の形態ではパノラマ画像)における、ステップS138で設定した収音方向の座席領域Pに対応する領域を、切出画像として切出すように、切出部38Bによる切出領域を制御する(ステップS142)。
ステップS142の処理によって、切出制御部38Fは、撮影部30が撮影した画像における、音声の入力された入力部46が有する指向性の方向を切出画像として切出す。
次に、送信部38Cは、ステップS140で受け付けた音声データと、ステップS142で切出した切出画像と、をエンコードし(ステップS144)、映像情報として他の情報処理装置10へ送信する(ステップS146)。そして、上記ステップS116へ戻る。
次に、本実施の形態の情報処理装置10において映像情報を他の情報処理装置10から受信したときに行う、情報処理の流れを説明する。図7は、他の情報処理装置10から映像情報を受信したときに行う、情報処理の流れの一例を示すフローチャートである。
まず、受信部38Gが、他の情報処理装置10から通信部36を介して映像情報を受信したか否かを判断する(ステップS200)。ステップS200で否定判断すると(ステップS200:No)、本ルーチンを終了する。一方、ステップS200で肯定判断すると(ステップS200:Yes)、ステップS202へ進む。
ステップS202では、受信部38Gが受信した映像情報をデコードし、表示制御部38Hが映像情報に含まれる切出画像を表示部42へ表示すると共に、音声出力制御部38Iが該映像情報に含まれる音声データを音声出力部44へ出力する(ステップS202)。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理装置10は、撮影部30と、音声入力部32と、切出部38Bと、送信部38Cと、取得部38Dと、切出制御部38Fと、を備える。音声入力部32は、音声が入力され、音声の収音方向を切替え可能である。切出部38Bは、撮影部30により撮影された画像の少なくとも一部の切出領域を切出画像として切出す。送信部38Cは、切出画像と、音声入力部32に入力された音声の音声データと、を含む映像情報を送信する。取得部38Dは、会議時における座席領域Pの配置を示すレイアウト情報と、レイアウト情報に示される座席領域Pの各々の優先度を示す優先度情報62と、を含む設定情報を取得する。切出制御部38Fは、取得した設定情報に応じて、音声入力部32による収音方向および切出部38Bによる切出領域を制御する。
このように、本実施の形態の情報処理装置10では、レイアウト情報と、優先度情報と、に応じて、音声入力部32による収音方向および切出部38Bによる切出領域を制御する。
従って、本実施の形態の情報処理装置10は、処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図ることができる、という効果を奏する。
例えば、従来では、会議中に発言した発言者の画像の切出しと、発言中の発言者の方向へのマイクの指向性制御と、を動的に行っていた。また、レイアウトに応じて切出画像の切出しおよび指向性制御を行う場合、会議参加者の意図したとおりの切出領域が切出画像として切出されない場合があった。例えば、実際には会議参加者の不在の領域が切出され、切出画像として他の情報処理装置10へ送信される場合があった。
一方、本実施の形態の情報処理装置10は、レイアウト情報と優先度情報に応じて、音声入力部32による収音方向および切出部38Bによる切出領域を制御する。このため、本実施の形態の情報処理装置10は、処理負荷の低減と、会議参加者の意図した通りの切出画像の切出しと、の両立を図ることができる、という効果を奏する。
また、音声入力部32は、複数の入力部46と、切替部48と、を有することができる。複数の入力部46は、互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する。切替部48は、複数の入力部46の内、送信する音声データとして用いる音声信号を出力した入力部46の選択を切替えることによって、収音方向を切替える。
また、切出制御部38Fは、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を収音方向として設定する。そして、切出制御部38Fは、、設定した収音方向の音声を収音するように音声入力部32による収音方向を制御すると共に、撮影部30が撮影した画像における該座席領域Pに対応する領域を切出画像として切出すように切出部38Bによる切出領域を制御する、第1の制御を行うことができる。
また、切出制御部38Fは、会議の始まる前の少なくとも第1のタイミングに第1の制御を行うことが好ましい。
また、切出制御部38Fは、少なくとも2以上の複数の入力部46に音声が入力されたときに、音声が入力された複数の入力部46が有する指向性の方向の内、取得した設定情報に含まれる優先度情報に示される最も高い優先度の座席領域Pの方向を収音方向として設定する。そして、切出制御部38Fは、設定した収音方向の音声を収音するように音声入力部32を制御すると共に、撮影部30が撮影した画像における該座席領域Pに対応する領域を切出画像として切出すように切出部38Bを制御する、第2の制御を行うことが好ましい。
また、切出制御部38Fは、何れか1つの入力部46に音声が入力されたときに、音声が入力された入力部46が有する指向性の方向に応じた座席領域Pに対応する優先度が設定情報に含まれる優先度情報に登録されていない場合、第1の制御を行うことができる。また、切出制御部38Fは、該優先度が設定情報に含まれる優先度情報に登録されている場合、音声が入力された入力部46が有する指向性の方向を収音方向として設定する。そして、切出制御部38Fは、設定した収音方向の音声を収音するように音声入力部32を制御すると共に、撮影部30が撮影した画像における該入力部46が有する指向性の方向に応じた座席領域Pに対応する領域を切出画像として切出すように切出部38Bを制御する、第3の制御を行うことが好ましい。
また、取得部38Dは、ユーザによって操作される操作部40から受け付けたレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得することができる。
また、本実施の形態の情報処理方法は、撮影部30と、収音方向を切替え可能な音声入力部32と、を備えた情報処理装置10で実行する情報処理方法である。本実施の形態の情報処理方法は、撮影部30により撮影された画像の少なくとも一部の切出領域を切出画像として切出すステップと、切出画像と、音声入力部32に入力された音声の音声データと、を含む映像情報を送信するステップと、会議時における座席領域の配置を示すレイアウト情報と、レイアウト情報に示される座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得するステップと、取得した設定情報に応じて、収音方向および切出領域を制御するステップと、を含む。
また、本実施の形態の情報処理プログラムは、撮影部30と、収音方向を切替え可能な音声入力部32と、を備えたコンピュータに実行させる情報処理プログラムである。本実施の形態の情報処理プログラムは、撮影部30により撮影された画像の少なくとも一部の切出領域を切出画像として切出すステップと、切出画像と、音声入力部32に入力された音声の音声データと、を含む映像情報を送信するステップと、会議時における座席領域の配置を示すレイアウト情報と、レイアウト情報に示される座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得するステップと、取得した設定情報に応じて、収音方向および切出領域を制御するステップと、を含む。
(第2の実施の形態)
上記実施の形態では、取得部38Dは、ユーザによって操作される操作部40から受け付けたレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得する場合を説明した。
本実施の形態では、取得部38Dが、撮影部30によって撮影された画像から設定情報を取得する形態を説明する。
なお、第1の実施の形態と同様の機能を示す構成には、同じ符号を付与して詳細な説明を省略する場合がある。
図1は、本実施の形態の会議システム1Aの構成の一例を示す図である。会議システム1Aは、複数の情報処理装置11(例えば、情報処理装置11A、情報処理装置11B)と、サーバ20と、を備える。複数の情報処理装置11およびサーバ20は、ネットワーク2を介して接続されている。会議システム1Aは、情報処理装置10に代えて情報処理装置11を備えた以外は、会議システム1と同様である。
図8は、本実施の形態の情報処理装置11の一例を示すブロック図である。
情報処理装置11は、撮影部30と、音声入力部32と、記憶部34と、通信部36と、制御部39と、操作部40と、表示部42と、音声出力部44と、を備える。撮影部30、音声入力部32、記憶部34、通信部36、操作部40、表示部42、および音声出力部44は、制御部39にデータや信号授受可能に接続されている。情報処理装置11は、制御部38に代えて制御部39を備えた以外は、第1の実施の形態の情報処理装置10と同様である。
制御部39は、情報処理装置11全体を制御する。制御部39は、撮影制御部38Aと、切出部38Bと、送信部38Cと、取得部39Dと、受付部38Eと、切出制御部38Fと、受信部38Gと、表示制御部38Hと、音声出力制御部38Iと、を含む。
撮影制御部38A、切出部38B、送信部38C、取得部39D、受付部38E、切出制御部38F、受信部38G、表示制御部38H、および音声出力制御部38Iの一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
制御部39は、取得部38Dに代えて取得部39Dを備えた以外は、第1の実施の形態で説明した制御部38と同様である。
取得部39Dは、取得部38Dと同様に、会議時における座席領域の配置を示すレイアウト情報と、該レイアウト情報に示される座席領域Pの各々の優先度を示す優先度情報62と、を含む設定情報を取得する。
本実施の形態では、取得部39Dは、特定部39Kと、第2の取得部39Lと、判断部39Mと、を含む。
特定部39Kは、撮影部30によって撮影された画像からレイアウト情報を特定する。本実施の形態では、情報処理装置11に電力が供給されると、撮影部30が全方位(360°)をスキャンし、パノラマ画像を得る。そして、特定部39Kは、撮影部30によって撮影された画像(パノラマ画像)に含まれる人物の位置を、公知の顔認識などの画像解析方法を用いて識別する。
そして、特定部39Kは、撮影部30によって撮影された画像に含まれる人物の位置の各々に対応する配置に最も近い、座席領域Pの配置を示すレイアウト情報を、記憶部34に記憶されているレイアウト管理情報60(図4(A)参照)から特定する。
第2の取得部39Lは、特定部39Kが特定したレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報(例えば、優先度情報62)と、を設定情報として取得する。
このように、本実施の形態では、取得部39Dは、撮影部30が撮影した画像を用いて、設定情報を取得する。
ここで、会議中に、会議参加者が会議室内を移動する場合がある。図9は、会議中に会議参加者が会議室内を移動した状態を示す説明図である。
図9(A)に示すように、会議の開始時には、座席領域P1〜座席領域P5の各々に会議参加者が存在したとする。しかし、会議中に、例えば、座席領域P1に存在した会議参加者M(会議参加者M1)が、座席領域P6へ移動する場合がある(図9(B)参照)。
移動後の座席領域P6がレイアウト情報に登録されていない場合、座席領域P6の音声や座席領域P6の画像が映像情報として他の情報処理装置10へ送信されない場合がある。
なお、このような場合、図9(C)に示すように、座席領域P1の音声の平均音量は、座席領域P1から座席領域P6への会議参加者Mの移動によって、時刻t1を境界として音量L1低下する。そして、そのまま座席領域P1に会議参加者Mが存在しない場合、該座席領域P1の音声の平均音量は、低下した状態が継続することとなる(例えば、T1時間継続)。
図8に戻り、そこで、判断部39Mは、音声入力部32に入力された音声の平均音量が第1の閾値以上変動した後に変動後の平均音量が第2の閾値以上の時間継続した座席領域Pを判断する。第1の閾値には、会議参加者Mが存在する状態から存在しない状態になったことの判別可能な、平均音量の閾値を予め定めればよい。また、第2の閾値には、会議参加者が存在しない状態が維持されたか否かを判別可能な継続時間の閾値を、予め定めればよい。
そして、取得部39Dでは、判断部39Mが座席領域Pを判断したときに、特定部39Kでレイアウト情報の特定、および第2の取得部39Lで設定情報の取得を行うことが好ましい。これにより、会議中に会議参加者が移動した場合に、動的に、設定情報を変更することが可能となる。
次に、本実施の形態の情報処理装置11で実行する情報処理の流れを説明する。図10は、情報処理装置11において映像情報を他の情報処理装置11へ送信するときに行う、情報処理の流れの一例を示すフローチャートである。
情報処理装置11に電力が供給されると、撮影制御部38Aは、全方位(360°)をスキャンし、パノラマ画像を得るように撮影部30を制御する。これによって、取得部39Dは、撮影部30から全方位の画像(すなわちパノラマ画像)を取得する(ステップS300)。
次に、特定部39Kが、ステップS300で取得した画像(パノラマ画像)から、レイアウト情報を特定する(ステップS302)。
次に、制御部39は、ユーザによる操作部40の操作指示によって設定情報の入力を受け付けたか否かを判断する(ステップS304)。ステップS304で肯定判断すると(ステップS304:Yes)、ステップS308へ進む。ステップS308では、第1の実施の形態の取得部38Dと同様にして、取得部39Dが設定情報を取得する(ステップS308)。そして、ステップS310へ進む。
一方、ステップS304で否定判断すると(ステップS304:No)、ステップS306へ進む。ステップS306では、第2の取得部39Lが、ステップS302で特定部39Kが特定したレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報(例えば、優先度情報62)と、を設定情報として取得する(ステップS306)。
そして、取得部39Dは、ステップS306またはステップS308で取得した設定情報を、会議で用いる設定情報として記憶部34に記憶する(ステップS310)。
次に、受付部38Eが、会議開始を示す会議開始指示を操作部40から受け付けたか否かを判断する(ステップS312)。ユーザは、操作部40を操作することで、会議開始指示を入力する。操作部40は、入力された会議開始指示を制御部39へ出力する。そして、受付部38Eは、操作部40から会議開始指示を受付けたか否かを判別することで、ステップS312の判断を行えばよい。
ステップS312で否定判断すると(ステップS312:No)、ステップS314へ進む。ステップS314では、制御部39が、前回設定情報を取得してから所定時間経過したか否かを判断する(ステップS314)。
例えば、ステップS306またはステップS308で設定情報を取得してから、会議開始指示を受付けないまま所定時間経過することで、座席領域Pのレイアウトが変更される場合がある。このため、制御部39は、ステップS314の判断を行うことが好ましい。
ステップS314で否定判断すると(ステップS314:No)、上記ステップS304へ戻る。ステップS314で肯定判断すると(ステップS314:Yes)、ステップS300へ戻る。
一方、ステップS312で肯定判断すると(ステップS312:Yes)、制御部39は、第1の実施の形態のステップS106〜ステップS146(図6参照)と同様にして、ステップS316〜ステップS356の処理を実行する。そして、ステップS326で肯定判断すると(ステップS326:Yes)、本ルーチンを終了する。
次に、図10に示す情報処理の手順において実行される、割込処理を説明する。
図11は、図10に示す情報処理中に制御部39が実行する割込処理の手順の一例を示すフローチャートである。
制御部39の取得部39Dは、図10のステップS312で会議開始指示を受付けたと判断した後に(ステップS312:Yes)、図11に示す割込処理を実行する。
まず、取得部39Dが、前回設定情報を更新(後述するステップS410の処理)してから所定時間経過したか否かを判断する(ステップS400)。ステップS400で用いる所定時間とは、上記第2の閾値によって示される時間以上の時間であればよい。
ステップS400で否定判断すると(ステップ400:No)、本ルーチンを終了する。一方、ステップS400で肯定判断すると(ステップS400:Yes)、ステップS402へ進む。
ステップS402では、判断部39Mが、音声入力部32に入力された音声の平均音量が第1の閾値以上変動した後に変動後の平均音量が第2の閾値以上の時間継続した座席領域Pがあるか否かを判断する(ステップS402)。
ステップS402で否定判断すると(ステップS402:No)、本ルーチンを終了する。一方、ステップS402で肯定判断すると(ステップS402:Yes)、ステップS404へ進む。
ステップS404では、取得部39Dは、撮影部30から全方位の画像(すなわちパノラマ画像)を取得する(ステップS404)。
次に、特定部39Kが、ステップS404で取得した画像(パノラマ画像)から、レイアウト情報を特定する(ステップS406)。次に、第2の取得部39Lが、ステップS406で特定部39Kが特定したレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得する(ステップS408)。
そして、取得部39Dは、ステップS408で取得した設定情報を、会議で用いる設定情報として記憶部34に記憶することで、記憶部34に既に記憶されている設定情報を更新する(ステップS410)。そして、本ルーチンを終了する。
ステップS400〜ステップS410の処理が実行されることによって、会議中に会議参加者が移動した場合に、動的に、設定情報を変更することが可能となる。
以上説明したように、本実施の形態では、取得部39Dが、特定部39Kと、第2の取得部39Lと、を含むことができる。特定部39Kは、撮影部30によって撮影された画像からレイアウト情報を特定する。第2の取得部39Lは、特定部39Kが特定したレイアウト情報と、記憶部34から読取った該レイアウト情報に対応する優先度情報と、を設定情報として取得する。
このように、本実施の形態の情報処理装置11は、取得部39Dが、レイアウト情報および優先度情報を、ユーザによる操作部40の操作指示を介することなく自動で取得することができる。
このため、本実施の形態の情報処理装置11は、第1の実施の形態の効果に加えて、ユーザの操作の手間の低減を図ることができる。
また、本実施の形態では、取得部39Dは、判断部39Mを含む。判断部39Mは、音声入力部32に入力された音声の平均音量が第1の閾値以上変動した後に変動後の平均音量が第2の閾値以上の時間継続した座席領域Pを判断する。そして、取得部39Dは、判断部39Mが座席領域Pを判断したときに、レイアウト情報の特定および設定情報の取得を行うことができる。
(ハードウェア構成)
次に、ハードウェア構成を説明する。図12は、上記実施の形態における情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20のハードウェア構成図である。
情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20は、ハードウェア構成として、装置全体を制御するCPU501と、各種データや各種プログラムを記憶するROM502と、RAM503と、インターフェース部(I/F部)504と、がバス505を介して接続されており、通常のコンピュータを利用したハードウェア構成となっている。I/F部504には、公知の表示装置や、キーボードなどの操作部などが接続される。
上記実施の形態の情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。
また、上記実施の形態の情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、上記実施の形態の情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20で実行されるプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
上記実施の形態の情報処理装置10、情報処理装置10A、情報処理装置10B、情報処理装置11、情報処理装置11A、情報処理装置11B、およびサーバ20で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
なお、本発明は上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。また、種々の変形が可能である。
1、1A 会議システム
10、10A、10B、11、11A、11B 情報処理装置
30 撮影部
32 音声入力部
38 制御部
38A 撮影制御部
38B 切出部
38C 送信部
38D 取得部
38F 切出制御部
特開2007−274463号公報

Claims (9)

  1. 撮影部と、
    音声の収音方向を切替え可能な音声入力部と、
    前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出す切出部と、
    前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信する送信部と、
    会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得する取得部と、
    取得した前記設定情報に応じて、前記音声入力部による前記収音方向および前記切出部による前記切出領域を制御する切出制御部と、
    を備え
    前記音声入力部は、
    互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する複数の入力部と、
    前記音声データとして用いる前記音声信号を出力した前記入力部の選択を切替えることによって、前記収音方向を切替える切替部と、
    を有し、
    前記切出制御部は、
    取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部による前記収音方向を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出部による前記切出領域を制御する、第1の制御を、会議の始まる前の少なくとも第1のタイミングに行う、
    情報処理装置。
  2. 前記切出制御部は、
    少なくとも2以上の複数の前記入力部に音声が入力されたときに、
    音声が入力された複数の前記入力部が有する指向性の方向の内、取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出部を制御する、第2の制御を行う、
    請求項に記載の情報処理装置。
  3. 前記切出制御部は、何れか1つの前記入力部に音声が入力されたときに、
    音声が入力された前記入力部が有する指向性の方向に応じた前記座席領域に対応する優先度が、取得した前記設定情報に含まれる前記優先度情報に登録されていない場合、前記第1の制御を行い、
    該優先度が取得した前記設定情報に含まれる前記優先度情報に登録されている場合、音声が入力された前記入力部が有する指向性の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部を制御すると共に、前記画像における該入力部が有する指向性の方向に応じた前記座席領域に対応する領域を前記切出画像として切出すように前記切出部を制御する、第3の制御を行う、
    請求項に記載の情報処理装置。
  4. 前記取得部は、
    ユーザによって操作される操作部から受け付けた前記レイアウト情報と、記憶部から読取った該レイアウト情報に対応する前記優先度情報と、を前記設定情報として取得する、
    請求項1〜請求項の何れか1項に記載の情報処理装置。
  5. 前記取得部は、
    前記撮影部によって撮影された画像から前記レイアウト情報を特定する特定部と、
    特定した前記レイアウト情報と、記憶部から読取った該レイアウト情報に対応する前記優先度情報と、を前記設定情報として取得する第2の取得部と、
    を有する、請求項1〜請求項の何れか1項に記載の情報処理装置。
  6. 前記取得部は、
    前記音声入力部に入力された音声の平均音量が第1の閾値以上変動した後に変動後の平均音量が第2の閾値以上の時間継続した前記座席領域を判断する判断部を含み、
    前記判断部が前記座席領域を判断したときに、前記レイアウト情報の特定および前記設定情報の取得を行う、請求項に記載の情報処理装置。
  7. 前記撮影部は、全方位を撮影し、全方位の前記画像を得る、請求項1〜請求項の何れか1項に記載の情報処理装置。
  8. 撮影部と、音声の収音方向を切替え可能な音声入力部と、を備えた情報処理装置で実行する情報処理方法であって、
    前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出す切出ステップと、
    前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信する送信ステップと、
    会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得する取得ステップと、
    取得した前記設定情報に応じて、前記収音方向および前記切出領域を制御する切出制御ステップと、
    を含
    前記音声入力部は、
    互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する複数の入力部と、
    前記音声データとして用いる前記音声信号を出力した前記入力部の選択を切替えることによって、前記収音方向を切替える切替部と、
    を有し、
    前記切出制御ステップは、
    取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部による前記収音方向を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出ステップによる前記切出領域を制御する、第1の制御を、会議の始まる前の少なくとも第1のタイミングに行う、
    情報処理方法。
  9. 撮影部と、音声の収音方向を切替え可能な音声入力部と、を備えたコンピュータに、
    前記撮影部により撮影された画像の少なくとも一部の切出領域を切出画像として切出す切出ステップと、
    前記切出画像と、前記音声入力部に入力された音声の音声データと、を含む映像情報を送信する送信ステップと、
    会議時における座席領域の配置を示すレイアウト情報と、前記レイアウト情報に示される前記座席領域の各々の優先度を示す優先度情報と、を含む設定情報を取得する取得ステップと、
    取得した前記設定情報に応じて、前記収音方向および前記切出領域を制御する切出制御ステップと、
    を実行させる情報処理プログラムであって、
    前記音声入力部は、
    互いに異なる方向に指向性を有し、入力された音声の音声信号を出力する複数の入力部と、
    前記音声データとして用いる前記音声信号を出力した前記入力部の選択を切替えることによって、前記収音方向を切替える切替部と、
    を有し、
    前記切出制御ステップは、
    取得した前記設定情報に含まれる前記優先度情報に示される最も高い優先度の前記座席領域の方向を前記収音方向として設定し、設定した前記収音方向の音声を収音するように前記音声入力部による前記収音方向を制御すると共に、前記画像における該座席領域に対応する領域を前記切出画像として切出すように前記切出ステップによる前記切出領域を制御する、第1の制御を、会議の始まる前の少なくとも第1のタイミングに行う、
    情報処理プログラム
JP2015140819A 2015-07-14 2015-07-14 情報処理装置、情報処理方法、および情報処理プログラム Active JP6528574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015140819A JP6528574B2 (ja) 2015-07-14 2015-07-14 情報処理装置、情報処理方法、および情報処理プログラム
US15/206,899 US9699414B2 (en) 2015-07-14 2016-07-11 Information processing apparatus, information processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015140819A JP6528574B2 (ja) 2015-07-14 2015-07-14 情報処理装置、情報処理方法、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2017022661A JP2017022661A (ja) 2017-01-26
JP6528574B2 true JP6528574B2 (ja) 2019-06-12

Family

ID=57776508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015140819A Active JP6528574B2 (ja) 2015-07-14 2015-07-14 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (2)

Country Link
US (1) US9699414B2 (ja)
JP (1) JP6528574B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010439A (ja) 2016-07-13 2018-01-18 株式会社リコー 座標検出装置
WO2018186831A1 (en) 2017-04-04 2018-10-11 Hewlett-Packard Development Company, L.P. Electronic device control based on rotation angle of display units
WO2021117504A1 (ja) * 2019-12-13 2021-06-17 ソニーグループ株式会社 テレプレゼンスシステム
CN114077410A (zh) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 图像处理装置及虚拟现实设备
US11893898B2 (en) 2020-12-02 2024-02-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11670188B2 (en) 2020-12-02 2023-06-06 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11900825B2 (en) * 2020-12-02 2024-02-13 Joytunes Ltd. Method and apparatus for an adaptive and interactive teaching of playing a musical instrument
US11972693B2 (en) 2020-12-02 2024-04-30 Joytunes Ltd. Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
JP2023020331A (ja) * 2021-07-30 2023-02-09 シャープ株式会社 遠隔会議方法、及び遠隔会議システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09271006A (ja) 1996-04-01 1997-10-14 Ricoh Co Ltd 多地点テレビ会議装置
US5959667A (en) 1996-05-09 1999-09-28 Vtel Corporation Voice activated camera preset selection system and method of operation
US6618073B1 (en) 1998-11-06 2003-09-09 Vtel Corporation Apparatus and method for avoiding invalid camera positioning in a video conference
US7117157B1 (en) 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
GB9908545D0 (en) 1999-04-14 1999-06-09 Canon Kk Image processing apparatus
JP2003111041A (ja) * 2001-09-28 2003-04-11 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7428000B2 (en) 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
JP4770178B2 (ja) 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP4356663B2 (ja) 2005-08-17 2009-11-04 ソニー株式会社 カメラ制御装置および電子会議システム
JP2007274463A (ja) 2006-03-31 2007-10-18 Yamaha Corp 遠隔会議装置
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
JP2008259000A (ja) 2007-04-06 2008-10-23 Sony Corp テレビ会議装置、制御方法、およびプログラム
US8330787B2 (en) 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
US8433061B2 (en) 2007-12-10 2013-04-30 Microsoft Corporation Reducing echo
US8314829B2 (en) 2008-08-12 2012-11-20 Microsoft Corporation Satellite microphones for improved speaker detection and zoom
JP2010109898A (ja) * 2008-10-31 2010-05-13 Canon Inc 撮影制御装置、撮影制御方法及びプログラム
US8358328B2 (en) 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
US8395653B2 (en) 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US9723260B2 (en) 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US8248448B2 (en) 2010-05-18 2012-08-21 Polycom, Inc. Automatic camera framing for videoconferencing
US9084068B2 (en) 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
US9030520B2 (en) 2011-06-20 2015-05-12 Polycom, Inc. Automatic camera selection for videoconferencing
JP5958833B2 (ja) 2013-06-24 2016-08-02 パナソニックIpマネジメント株式会社 指向性制御システム
JP5958717B2 (ja) 2013-07-19 2016-08-02 パナソニックIpマネジメント株式会社 指向性制御システム、指向性制御方法、収音システム及び収音制御方法
JP6303324B2 (ja) 2013-08-09 2018-04-04 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
JP6221489B2 (ja) 2013-08-09 2017-11-01 株式会社リコー 通信システム、管理装置、通信方法およびプログラム
JP6326750B2 (ja) 2013-09-11 2018-05-23 株式会社リコー 通信端末、通信管理システム、通信システム、発信履歴の管理方法、及びプログラム
JP2015082149A (ja) 2013-10-21 2015-04-27 株式会社リコー 通信システム、通信方法及び通信プログラム
JP6432127B2 (ja) 2013-11-12 2018-12-05 株式会社リコー 通信装置、通信システム、通信方法及び通信プログラム
JP2015103106A (ja) 2013-11-26 2015-06-04 株式会社リコー 通信装置、及び通信プログラム
JP2015103105A (ja) 2013-11-26 2015-06-04 株式会社リコー 通信装置、通信システム、及び通信プログラム
US20150146078A1 (en) 2013-11-27 2015-05-28 Cisco Technology, Inc. Shift camera focus based on speaker position
US20160277242A1 (en) * 2015-03-18 2016-09-22 Citrix Systems, Inc. Conducting online meetings using user behavior models based on predictive analytics

Also Published As

Publication number Publication date
JP2017022661A (ja) 2017-01-26
US9699414B2 (en) 2017-07-04
US20170019636A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6528574B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US9860486B2 (en) Communication apparatus, communication method, and communication system
US9648278B1 (en) Communication system, communication apparatus and communication method
US10264210B2 (en) Video processing apparatus, method, and system
US8401364B2 (en) Imaging device and playback device
US10079996B2 (en) Communication system, communication device, and communication method
US20150172531A1 (en) Image capturing apparatus, communication apparatus, and control method therefor
US20170034474A1 (en) Video conference terminal
JP2011205243A (ja) 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
JP2009065587A (ja) 音声記録装置及び音声再生装置
JP2017034312A (ja) 通信装置、通信システム、およびプログラム
JP2012151544A (ja) 撮像装置及びプログラム
US9565395B1 (en) Video image processing apparatus and recording medium
JP6544209B2 (ja) 情報処理装置、会議システム、情報処理方法およびプログラム
JP6500419B2 (ja) 端末装置、通信システム及びプログラム
JP2017168903A (ja) 情報処理装置、会議システムおよび情報処理装置の制御方法
JP7167610B2 (ja) 通信端末、通信システム、撮像装置及び撮像方法
JP2000101901A (ja) 撮像装置、撮像方法、撮像装置制御システム及び記憶媒体
JP2020178150A (ja) 音声処理装置及び音声処理方法
JP7111202B2 (ja) 収音制御システム及び収音制御システムの制御方法
CN111667822B (zh) 语音处理装置、会议系统以及语音处理方法
JP6645129B2 (ja) 通信装置、制御方法及び制御プログラム
JP2017092950A (ja) 情報処理装置、会議システム、情報処理方法およびプログラム
US20220321924A1 (en) Communication apparatus, control method, and recording medium
JP6627459B2 (ja) 情報送信装置、情報処理システム、送信方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R151 Written notification of patent or utility model registration

Ref document number: 6528574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151