JP5323069B2 - カメラスピーカフォンのためのマイクロフォン配列 - Google Patents

カメラスピーカフォンのためのマイクロフォン配列 Download PDF

Info

Publication number
JP5323069B2
JP5323069B2 JP2010514961A JP2010514961A JP5323069B2 JP 5323069 B2 JP5323069 B2 JP 5323069B2 JP 2010514961 A JP2010514961 A JP 2010514961A JP 2010514961 A JP2010514961 A JP 2010514961A JP 5323069 B2 JP5323069 B2 JP 5323069B2
Authority
JP
Japan
Prior art keywords
head
microphone array
base
microphones
omnidirectional camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010514961A
Other languages
English (en)
Other versions
JP2010532137A (ja
Inventor
ジー.カトラー ロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2010532137A publication Critical patent/JP2010532137A/ja
Application granted granted Critical
Publication of JP5323069B2 publication Critical patent/JP5323069B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラスピーカフォンのためのマイクロフォン配列に関する。
ビデオ会議システムは、ビデオカメラとマイクロフォン配列を用いて、会議を捕らえる。マイクロフォン配列を用いて、音源方向定位(sound source localization;SSL)を介してスピーカの位置を決定することができる。また、マイクロフォン配列は、オーディオ音質を改善する(例えば、ビーム形成又はマイクロフォン切替を介して信号対ノイズ比を増加する)ために用いることができる。今日のビデオ会議システムにおけるマイクロフォン配列は、マイクロフォン配列からのスピーカの範囲又は高度(elevation)についてほとんど情報を提供しない。また、会議室のテーブル上に置かれているマイクロフォン配列は、マイクロフォンを妨害するテーブルでノートブックコンピュータを開くことによって乏しいSSL性能と劣化したオーディオ音質を有する場合がある。
以下は、読者に基本的な理解を提供するための簡略化された発明の概要の開示を表す。この発明の概要は、広範囲の要旨の開示ではなく、本発明の鍵となる/決定的な要素を識別するものでなく、又は本発明の範囲を記述するものではない。その唯一の目的は、後に提供する発明を実施するための形態の序章として簡略化した形式で本明細書で開示されるいくつかの概念を提供することである。
本発明の実施形態は、カメラスピーカフォンのためのマイクロフォン配列に向けられる。本明細書で開示される例示的なマイクロフォン配列の設計は、音源方向定位(SSL)を実行してオーディオ音質を改善することに用いることができる。一実施形態において、全方向性カメラスピーカフォンは、ヘッド(head)と連結されたネック(neck)と連結されたベース(base)を含む。ベース及びヘッドはそれぞれ、少なくとも1つのマイクロフォンを含む。
多くの付随する特徴は、添付の図面に関連して考慮される以下の発明を実施するための形態を参照してより直ちに理解されると同時によりよい理解となるであろう。
参照符号は、添付の図面の部分を指定するために用いられる。
本発明の実施形態に係る全方向性カメラスピーカフォンを示す図である。 本発明の実施形態に係る全方向性カメラスピーカフォンのベースの上面図である。 本発明の実施形態に係る全方向性カメラスピーカフォンを示す図である。 本発明の実施形態に係る全方向性カメラスピーカフォンを示す図である。 本発明の実施形態に係る全方向性カメラスピーカフォンを示す図である。 本発明の実施形態に係る全方向性カメラスピーカフォンを示す図である。 本発明の実施形態に係る全方向性カメラスピーカフォンで音声を捕らえる論理及び動作を示すフォローチャートである。 本発明の実施形態を実装するための例示的なコンピューティングデバイスのブロック図である。
添付の図面に関連して以下に提供される発明を実施するための形態は、提示された例の説明として意図され、提示された例を構成又は利用する唯一の形式を表すことを意図しない。発明を実施するための形態は、例を構成及び動作するための例の機能及びステップの順序を説明する。しかしながら、同一又は同等の機能及び順序は、異なる例によって達成することができる。
図1は、カメラスピーカフォン100の実施形態を示す。一実施形態において、カメラスピーカフォン100は、マイクロソフト(登録商標)オフィスラウンドテーブルデバイス装置を含む。カメラスピーカフォンは、ネック(neck)104と連結されたベース(base)102を含む。ネック104は、ヘッド(head)106と連結されている。ベース102は、少なくとも1つのマイクロフォン151を含むことができ、ヘッド106は少なくとも1つのマイクロフォン120を含むことができる。カメラスピーカフォン100は、テーブル上に置かれ、コンピューティングデバイスと接続され、ビデオ会議のための音声/ビデオを捕らえることができる。捕らえられた音声/ビデオは、後に見るために記録されると同様に、リアルタイムで会議の遠隔地の参加者に送信することができる。一実施形態において、カメラスピーカフォン100は、ベース102で直径約30センチメートルであり、ベース102からヘッド106の頂上部までの高さが約30センチメートルである。
ベース102は、スピーカ102及びコントロールパッド108を含む。図2は、ベース102(ネック104及びヘッド106は明瞭に示されない)の上面図である。ベース102は、ベース102の外周上に均等に間隔を空けられた6つのマイクロフォン151−156を有するマイクロフォン配列150を含む。一実施形態において、各マイクロフォン151−156は、スーパーカージオイド(super−cardioid)マイクロフォンを含む。一実施形態において、ベース102は、半径約150ミリメートル(mm)であり、マイクロフォン配列150は、半径約130mmである。ベース102の実施形態は、代替的な形状及び寸法を含むことが理解されよう。
ヘッド106は、カメラ116及び少なくとも1つのマイクロフォン120を含むことができる。図1は、カバーなしのヘッド106を示す。使用において、ヘッド106を、円筒状のダストカバーによって覆うことができる。一実施形態において、ヘッド106は、パノラマ画像を生成するための全方向性カメラを構成する5つのカメラを含むことができる。図1の実施形態において、カメラ116のレンズは、上向きに向けられ、反射面118の反射された画像を捕らえる。この記載の恩恵を有する当業者は、他のカメラ設計をカメラスピーカフォン100で用いることができることを理解されよう。
一実施形態において、マイクロフォン120は、ヘッド106の頂上部に連結された全方向性マイクロフォンを含む。マイクロフォン120は、マイクロフォン配列150の約30センチメートル上に配置される。理解されるように、他の実施形態において、マイクロフォン120を、ヘッド106上の他の位置に配置することができる。
本発明の複数の実施形態は、SSL及び音質を改善するために異なる水平面上に少なくとも2つのマイクロフォンを配置する。マイクロフォン配列より高い位置に少なくとも1つのマイクロフォンを配置することは、SSL及び音声信号処理を著しく改善する音声情報を提供する。また、単一のカメラスピーカフォン100の一部である2つのマイクロフォンの位置(例えば、ベース102及びヘッド106)を有することは、ユーザに対して非常に便利である。ユーザは、単に、単一のデバイス(例えば、カメラスピーカフォン100)を位置付け、接続しなければならず、会議室の周囲の複数の別々のマイクロフォンアレイを気にする必要はない。本明細書の複数の実施形態は、ベース102で第1のマイクロフォン及びヘッド106で第2のマイクロフォンを示すが、この記載の恩恵を有する当業者は、複数のマイクロフォンをカメラスピーカフォン100上の他の水平面にはいちすることができることを理解されよう。例えば、マイクロフォンを、ベース102及びネック104又はネック104及びヘッド106上に配置することができる。また、マイクロフォンを、カメラスピーカフォン100上の同一垂直面に配置しなければならないことが理解されよう。例えば、マイクロフォン120はマイクロフォン配列の直接的に上である必要はないが、左又は右に補うことができる。
カメラスピーカフォン100によって捕らえられた音声は、音源方向定位(SSL)に用いることができる。SSLアルゴリズムを用いて、カメラスピーカフォン100から音源202(音源の例は、会議におけるスピーカを含む)への仰角114、範囲204、方位角206を決定することができる。一実施形態において、カメラスピーカフォン100は、音源への方位角、仰角及び/又は範囲を仮定するように、2003年5月28日に出願され、「ロバスト(Robust)音源方向定位のためのシステム及びプロセス」とタイトルを付けられた米国特許出願第10/446924号明細書(米国特許第6999593号)において説明されたようなSSLアルゴリズムを用いることができる。
他の実施形態において、マイクロフォン120を用いて、ビーム形成及び/又はマイクロフォン選択を介して音声音質を改善することができる。カメラスピーカフォン100によって捕らえられた音声は、接続されたコンピューティングデバイスによって処理することができる。コンピューティングデバイスは、どのマイクロフォンが一番良い音声音質を提供するかを決定して、選択された音声を遠隔ライブ会議参加者に送信することができる。また、選択された音声は、1つ又は複数の接続されたストレージデバイスに格納することもできる。
図3に進むと、カメラスピーカフォン100の実施形態が示されている。図3において、ヘッド106は、5つのマイクロフォン301−305を有するヘッド106の頂上部上に搭載された平面マイクロフォン配列300を含む。「平面」という用語は、マイクロフォン301−305の各々がヘッド106の頂上部上の水平面に配置されている態様を言及する。マイクロフォン301−305の各々は、全方向性マイクロフォン又は指向性マイクロフォンを有することができる。他の実施形態において、マイクロフォン301−305は、全方向性マイクロフォンと指向性マイクロフォンとの混合を含むことができる。図3は、ヘッド106の頂上部の外周上に均等に間隔を空けられたマイクロフォン301−305を示す一方で、他の実施形態はマイクロフォン301−305の他の配列を含む。
図4に進むと、カメラスピーカフォン100の実施形態が示されている。図4において、ヘッド106は3つのマイクロフォン401−403を有する径方向(radial)マイクロフォン配列400を含む。径方向マイクロフォン配列400は、図4の視点では見えないヘッド106の背部の追加のマイクロフォンを含むことができる。マイクロフォン401−403は、ヘッド106の中心の垂直軸から放射状に散らばっている。位置実施形態において、ヘッド106が防音壁として作用することができるため、マイクロフォン401−403はヘッド106から外側に向けられた指向性マイクロフォンである。
図5に進むと、カメラスピーカフォン100の実施形態が示されている。図5において、半球状(hemisphercal)マイクロフォン配列502がヘッド106の頂上部に搭載されている。一実施形態において、配列502は、32個のマイクロフォンを含む。他の実施形態では、半球状マイクロフォン配列502を、カメラスピーカフォン100上の他の位置に搭載することができる。
図6に進むと、カメラスピーカフォン100の実施形態が示されている。図6において、球状マイクロフォン配列602がヘッド106の頂上部に搭載されている。一実施形態において、配列602は、64個のマイクロフォンを含む。他の実施形態では、球状マイクロフォン配列602を、カメラスピーカフォン100上の他の位置に搭載することができる。
図7に進むと、フローチャート700は、本発明の実施形態に従って音声を捕らえる論理及び動作を示す。一実施形態において、フローチャート700の論理の少なくとも一部は、1つ又は複数のコンピューティングデバイスによって実行可能なコンピュータ可読命令によって実装することができる。
ブロック702から始まり、音声は、カメラスピーカフォン100によって捕らえられる。次に、ブロック704において、カメラスピーカフォン100は、音声を関連付けられた音声データ(すなわち、電気信号)に変換し、音声データを接続されたコンピューティングデバイスに送信する。コンピューティングデバイスは、有線接続又は無線接続を介して接続することができる。
ブロック706に続いて、コンピューティングデバイスは、音声データを用いてSSLを実行し、音源情報を出力する。一実施形態において、カメラスピーカフォン100の全てのではないマイクロフォンは、SSLのために用いられる。一例では、音声のみのSSLは、会議音声/ビデオの音声部分のために再生されるわけではない。他の例では、ベース102上の1つ又は複数のマイクロフォンは、SSLのためのみに用いられる。さらに他の実施形態において、カメラスピーカフォン100上のどのマイクロフォンがSSLのために用いられるかは予め定められるわけではないが、音声を捕らえるときに動的に決定される。
次に、ブロック708において、オーディオ音質改善は、音声データを用いて実行される。これらの改善は、ビーム形成及び/又はマイクロフォン選択を含むことができる。マイクロフォン選択は、最大SNRを提供する(1つ又は複数の)マイクロフォンを選択することを含むことができる。ビーム形成及びマイクロフォン選択は、ライブ会議中に動的に調整することができることが理解されるであろう。例えば、異なるマイクロフォンは、室内会話において異なる位置で異なる会議参加者が選択することができる。改善された音声は、その後出力することができる。改善された音声は、遠隔会議参加者に送信される及び/又はカメラスピーカフォン100によって捕らえられたビデオとともにコンピューティングデバイスで記録される。
図8は、1つ又は複数の本発明の実施形態を実装するためのコンピューティングデバイス800の例を示す。図8の動作環境は、適当な動作環境の一例であるだけであり、使用の範囲又は動作環境の機能性に関して任意の限定を暗示するように意図されたものではない。必要ではないが、本発明の実施形態は、1つ又は複数のコンピューティングデバイスによって実行される「コンピュータ可読命令」の一般的なコンテキストで説明される。コンピュータ可読命令は、(以下で論じる)コンピュータ可読媒体を介して割り振ることができる。
カメラスピーカフォン100の実施形態は、有線接続、無線接続、又はそれらの任意の結合を用いてコンピューティングデバイス800に連結することができる。一例において、SSL及び/又は音声改善は、カメラスピーカフォン100によって捕らえられた音声をコンピューティングデバイス800によって実行することができる。カメラスピーカフォン100によって捕らえられた音声/ビデオは、コンピューティングデバイス800に格納することができ、及び/又は会議遠隔参加者によって視聴されるためのコンピューティングデバイス800に送信することができる。
一構成において、コンピューティングデバイス800は、少なくとも1つの処理ユニット802及びメモリ804を含む。的確な構成及びコンピューティングデバイスのタイプに依存して、メモリ804は、揮発性(例えばRAM)、不揮発性(例えばROM、フラッシュメモリ等)又はその2つのいくつかの組み合わせとすることができる。この構成は、破線806によって図8に例示される。
他の実施形態において、デバイス800は、追加の特徴及び/又は機能性を含むことができる。例えば、デバイス800は、限定されないが、磁気ストレージ、光学式ストレージなどを含む追加のストレージ(例えば、取り外し可能及び/又は固定)を含むこともできる。そのような追加のストレージは、ストレージ808によって図8において例示される。一実施形態において、本発明の実施形態を実装するためのコンピュータ可読命令は、ストレージ808内にある。また、ストレージ808は、オペレーティングシステム、アプリケーションプログラムなどを実装する他のコンピュータ可読命令を格納することもできる。
本明細書で用いられるような「コンピュータ可読媒体」という用語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ可読命令又は他のデータなどの情報の記憶のための任意の方法又は技術において実装される揮発性及び不揮発性、取り外し可能及び固定の媒体を含む。メモリ804及びストレージ808は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、限定されないが、RAM、ROM、EEPROM、フラッシュメモリ又は他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)又は他の光学式ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又は他の磁気記憶装置、又は所望の情報を格納するために用いることができ、デバイス800によってアクセスすることができる任意の他の媒体を含む。任意のそのようなコンピュータ記憶媒体は、デバイス800の一部とすることができる。
デバイス800は、デバイス800に他のデバイスと通信することを許容する通信接続812を含むこともできる。通信接続812は、限定されないが、モデム、ネットワークインターフェースカード(NIC)、統合ネットワークインターフェース、ラジオ周波数送信機/受信機、赤外線ポート、USB接続、又はコンピューティングデバイス800を他のコンピューティングデバイスに接続するための他のインターフェースを含むことができる。通信接続812は、有線接続又は無線接続を含むことができる。通信接続812は、通信媒体を送信及び/又は受信することができる。
「コンピュータ可読媒体」という用語は、通信媒体を含むことができる。通信媒体は典型的に、コンピュータ可読命令又は搬送波もしくは他の搬送メカニズムなどの「変調データ信号」における他のデータを具現し、及び任意の情報運搬媒体を含む。「データ変調信号」という用語は、信号内のコード化された情報に関してそのような手法において設定又は変化された1つ又は複数のその特性を有する信号を意味する。限定ではなく、例示の目的で、通信媒体は、有線ネットワーク又は直接有線接続などの有線媒体及び音響、ラジオ周波数、赤外線、近距離無線通信(NFC)、並びに他の無線媒体などの無線媒体を含む。
デバイス800は、キーボード、マウス、ペン、ボイス入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、及び/又は任意の他の入力装置などの入力デバイス814を含むことができる。また、1つ又は複数のディスプレイ、スピーカ、プリンタ及び/又は任意の他の出力装置などの出力デバイス816も、デバイス800に含めることができる。入力装置814及び出力装置816は、有線接続、無線接続、又は任意のそれらの組み合わせを介してデバイス800に接続することができる。
コンピューティングデバイス800の構成要素は、バスなどの様々な相互接続によって接続することができる。そのような相互接続は、例えば、PCI Express、USB(Universal serial bus)、ファイヤーワイヤ(IEEE1394)、光学バス構造などのPCI(Peripheral Component Interconnect)を含むことができる。他の実施形態において、コンピューティングデバイス800の構成要素は、ネットワークによって相互接続することができる。例えば、メモリ804は、ネットワークによって相互接続された異なる物理的位置に配置された複数の物理的メモリユニットを備えることができる。
発明を実施するための形態及び特許請求の範囲において、「連結される(coupled)」という用語及びその派生を用いることができる。「連結される」は、2つ又はそれ以上の要素が(物理的に、電気的に、磁気的に、光学的に、等)接触していることを意味することができる。また、「連結される」は、2つ又はそれ以上の要素が互いに接続されているわけではないが、互いに協同して相互作用する(例えば、通信的に連結される)ことも意味する。
コンピュータ可読命令を格納するために利用されるストレージデバイスをネットワーク全域に分配することができることを当業者は理解されよう。例えば、ネットワーク820を介してアクセス可能なコンピューティングデバイス830は、コンピュータ可読命令を格納して本発明の1つ又は複数の実施形態を実装することができる。コンピューティングデバイス800は、コンピューティングデバイス800にアクセスすることができ、実行のためのコンピュータ可読命令の一部又は全てをダウンロードすることができる。代替として、コンピューティングデバイス800は、必要なときに、コンピュータ可読命令の一部をダウンロードすることができ、又はいくつかの命令がコンピューティングデバイス800及びいくつかのコンピューティングデバイス830で実行することができる。コンピュータ可読命令の全て又は一部を、デジタルシグナルプロセッサ(DSP)、プログラム可能論理アレイなどの専用回路によって実行することができることを当業者は理解されよう。
本発明の実施形態の様々な動作が本明細書で説明される。一実施形態において、説明された1つ又は複数の動作が、1つ又は複数のコンピュータ可読媒体上に格納されたコンピュータ可読命令を構成することができ、コンピューティングデバイスによって実行される場合、コンピューティングデバイスに説明された動作を実行させることになる。説明されたいくつか又は全ての動作の順番は、これらの動作が必ずしも順番に依存されないことを暗示すると解釈すべきでない。この説明に恩恵を有する当業者によって、代替の順番が理解されよう。さらに、全ての動作が必ずしも本発明の各実施形態を表さないことが理解されよう。
要約で説明されたことを含む本発明の実施形態の上記の説明は、完全なものでなく、実施形態を開示された正確な形式に限定することを意図するものではない。本発明の特定の実施形態又は説明が例示の目的で本明細書に説明される一方で、当業者が上記の発明を実施するための形態を踏まえて理解することになるとき、様々な同等の変更が可能である。以下の特許請求の範囲に用いられる用語は、本発明を本明細書に開示された特定の実施形態に限定すると解釈すべきでない。むしろ、以下の特許請求の範囲は、クレーム解釈の達成された原理に従って解釈されるべきである。

Claims (17)

  1. 第1の水平面内の第1のマイクロフォン配列と、
    前記第1の水平面とは異なる第2の水平面内の第2のマイクロフォン配列と
    を備えた装置であって、
    前記第1のマイクロフォン配列は、前記装置のベースの一部であり、前記第1のマイクロフォン配列は、前記ベースの外周上に均等に間隔を空けられた2以上のマイクロフォンを含み、前記第2のマイクロフォン配列は、前記装置のヘッドの一部であり、前記ヘッドの外周上に均等に間隔を空けられた2以上のマイクロフォンを含み、前記ベース及び前記ヘッドは、ネックによって接続され、前記ヘッドは、前記ベースの上に配置され
    前記ベースの前記第1のマイクロフォン配列及び前記ヘッドの前記第2のマイクロフォン配列は、音源方向定位の使用のために音声を捕らえることを特徴する装置。
  2. 前記ベースはスピーカを含み、前記ヘッドはカメラを含むことを特徴とする請求項1に記載の装置。
  3. 前記第2のマイクロフォン配列は、全方向性マイクロフォンを含むことを特徴とする請求項1に記載の装置。
  4. 前記第2のマイクロフォン配列は、前記ヘッド上に配置される平面マイクロフォン配列の一部であることを特徴とする請求項1に記載の装置。
  5. 前記第2のマイクロフォン配列は、前記ヘッド上に配置された径方向マイクロフォン配列の一部であることを特徴とする請求項1に記載の装置。
  6. 前記第2のマイクロフォン配列は、前記ヘッド上に配置された半球状マイクロフォン配列の一部であることを特徴とする請求項1に記載の装置。
  7. 前記第2のマイクロフォン配列は、前記ヘッド上に配置された球状マイクロフォン配列の一部であることを特徴とする請求項1に記載の装置。
  8. スピーカ及びマイクロフォン配列を含むベースであって、前記マイクロフォン配列は、前記装置のベースの一部であり、前記マイクロフォン配列は、前記ベースの外周上に均等に間隔を空けられて配置された複数のマイクロフォンを有する、ベースと、
    前記ベースと連結されたネックと、
    前記ネックと結合され、全方向性カメラ及び複数のマイクロフォンを含むヘッドであって、前記ヘッドの複数のマイクロフォンは、前記装置のヘッドの一部であり、前記ヘッドの外周上に均等に間隔を空けられて配置されている、ヘッドとを備え、
    前記ベース及び前記ヘッドは、前記ネックによって接続され、前記ヘッドは、前記ベースの上に配置され
    前記ベースの前記マイクロフォン配列及び前記ヘッドの前記複数のマイクロフォンは、音源方向定位の使用のために音声を捕らえることを特徴とする全方向性カメラスピーカフォン。
  9. 前記ヘッドの前記複数のマイクロフォンは、全方向性マイクロフォンを含むことを特徴とする請求項8に記載の全方向性カメラスピーカフォン。
  10. 前記ヘッドの前記複数のマイクロフォンは、平面マイクロフォン配列を含むことを特徴とする請求項8に記載の全方向性カメラスピーカフォン。
  11. 前記ヘッドの前記複数のマイクロフォンは、径方向マイクロフォン配列を含むことを特徴とする請求項8に記載の全方向性カメラスピーカフォン。
  12. 前記ヘッドの前記複数のマイクロフォンは、半球状マイクロフォン配列を含むことを特徴とする請求項8に記載の全方向性カメラスピーカフォン。
  13. 前記ヘッドの前記複数のマイクロフォンは、球状マイクロフォン配列を含むことを特徴とする請求項8に記載の全方向性カメラスピーカフォン。
  14. 前記ヘッドの前記複数のマイクロフォンは、音源方向定位の使用のみのために音声を捕らえることを特徴とする請求項8に記載の全方向性カメラスピーカフォン。
  15. スピーカ及びマイクロフォン配列を含むベースであって、前記マイクロフォン配列は、前記装置のベースの一部であり、前記マイクロフォン配列は、前記ベースの外周上に均等に間隔を空けられて配置された複数のマイクロフォンを有する、ベースと、
    前記ベースと連結されたネックと、
    前記ネックと結合され、全方向性カメラ及び複数のマイクロフォンを含むヘッドであって、前記ヘッドの複数のマイクロフォンは、前記装置のヘッドの一部であり、前記ヘッドの外周上に均等に間隔を空けられて配置されている、ヘッドと
    を備える全方向性カメラスピーカフォンであって、前記ベース及び前記ヘッドは、前記ネックによって接続され、前記ヘッドは、前記ベースの上に配置されている、全方向性カメラスピーカフォンと、
    前記全方向性カメラスピーカフォンと連結され、格納されたコンピュータ可読命令を有するコンピューティングデバイスとを備え、
    前記コンピュータ可読命令は、実行されるときに、
    前記全方向性カメラスピーカフォンによって捕らえられた音声と関連付けられた前記コンピューティングデバイスで、音声データを受け取ることと、
    前記音声データを用いて音源方向定位を実行することと
    を備える動作を実行することを特徴とするシステム。
  16. 前記音声データは、音源方向定位のみに用いられることを特徴とする請求項15に記載のシステム。
  17. 前記コンピュータ可読命令が実行されるときに、さらに、
    前記音声データを用いてオーディオ音質改善を実行すること
    を備える動作を実行することを特徴とする請求項15に記載のシステム。
JP2010514961A 2007-06-28 2008-06-13 カメラスピーカフォンのためのマイクロフォン配列 Active JP5323069B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/770,713 US8526632B2 (en) 2007-06-28 2007-06-28 Microphone array for a camera speakerphone
US11/770,713 2007-06-28
PCT/US2008/067035 WO2009006004A1 (en) 2007-06-28 2008-06-13 Microphone array for a camera speakerphone

Publications (2)

Publication Number Publication Date
JP2010532137A JP2010532137A (ja) 2010-09-30
JP5323069B2 true JP5323069B2 (ja) 2013-10-23

Family

ID=40159891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010514961A Active JP5323069B2 (ja) 2007-06-28 2008-06-13 カメラスピーカフォンのためのマイクロフォン配列

Country Status (5)

Country Link
US (1) US8526632B2 (ja)
EP (1) EP2172054B1 (ja)
JP (1) JP5323069B2 (ja)
KR (1) KR101495937B1 (ja)
WO (1) WO2009006004A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053825B2 (en) 2009-03-25 2015-06-09 Westinghouse Electric Sweden Ab Fuel assembly

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080255840A1 (en) * 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
US8526632B2 (en) 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8165416B2 (en) * 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8330787B2 (en) * 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
US9228785B2 (en) 2010-05-04 2016-01-05 Alexander Poltorak Fractal heat transfer device
US10852069B2 (en) 2010-05-04 2020-12-01 Fractal Heatsink Technologies, LLC System and method for maintaining efficiency of a fractal heat sink
US8989360B2 (en) * 2011-03-04 2015-03-24 Mitel Networks Corporation Host mode for an audio conference phone
EP2615850A4 (en) * 2011-03-11 2014-06-25 Sanyo Electric Co AUDIO RECORDING DEVICE
TWI429938B (zh) * 2011-09-16 2014-03-11 Vatics Inc 聲源監視系統及其方法
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US10750132B2 (en) * 2013-03-14 2020-08-18 Pelco, Inc. System and method for audio source localization using multiple audio sensors
CN105191353B (zh) * 2013-03-15 2018-10-12 罗伯特·博世有限公司 代表单元和具有该代表单元的会议系统
US9472201B1 (en) 2013-05-22 2016-10-18 Google Inc. Speaker localization by means of tactile input
US9742573B2 (en) * 2013-10-29 2017-08-22 Cisco Technology, Inc. Method and apparatus for calibrating multiple microphones
US20150146078A1 (en) * 2013-11-27 2015-05-28 Cisco Technology, Inc. Shift camera focus based on speaker position
JP6738342B2 (ja) * 2015-02-13 2020-08-12 ヌープル, インコーポレーテッドNoopl, Inc. 聴力を改善するためのシステムおよび方法
CN107980221B (zh) 2015-04-01 2021-10-29 猫头鹰实验室股份有限公司 合成并缩放角度分离的子场景
JP2017028608A (ja) * 2015-07-27 2017-02-02 株式会社リコー ビデオ会議端末機
USD788725S1 (en) * 2015-09-11 2017-06-06 Polycom, Inc. Videoconferencing unit
US9961437B2 (en) * 2015-10-08 2018-05-01 Signal Essence, LLC Dome shaped microphone array with circularly distributed microphones
USD862127S1 (en) 2016-04-15 2019-10-08 Steelcase Inc. Conference table
USD808197S1 (en) 2016-04-15 2018-01-23 Steelcase Inc. Support for a table
USD838129S1 (en) 2016-04-15 2019-01-15 Steelcase Inc. Worksurface for a conference table
US10219614B2 (en) 2016-04-15 2019-03-05 Steelcase Inc. Reconfigurable conference table
WO2018029464A1 (en) * 2016-08-08 2018-02-15 Record Sure Limited A method of generating a secure record of a conversation
CN108063890A (zh) * 2016-11-09 2018-05-22 杭州海康威视数字技术股份有限公司 一种监控设备控制方法及装置
DE102016122565A1 (de) 2016-11-23 2018-05-24 Edelweiss Innovation GmbH Portable Kommunikationseinheit für Videokonferenzen und Videokonferenzsystem
JP1602862S (ja) * 2017-07-06 2018-05-07
JP1602863S (ja) 2017-07-06 2018-05-07
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US10904657B1 (en) * 2019-10-11 2021-01-26 Plantronics, Inc. Second-order gradient microphone system with baffles for teleconferencing
WO2022031872A1 (en) 2020-08-04 2022-02-10 Owl Labs Inc. Designated view within a multi-view composited webcam signal
WO2022046810A2 (en) 2020-08-24 2022-03-03 Owl Labs Inc. Merging webcam signals from multiple cameras

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3118340A (en) 1964-01-21 Panoramic motion picture camera arrangement
JPS5972295A (ja) 1982-10-18 1984-04-24 Nippon Telegr & Teleph Corp <Ntt> 多点受音装置
US4752961A (en) 1985-09-23 1988-06-21 Northern Telecom Limited Microphone arrangement
US4929824A (en) 1988-02-26 1990-05-29 Fuji Photo Film Co., Ltd. light metering device with detector matrix and mean value detection
JPH06105334B2 (ja) 1988-07-08 1994-12-21 旭光学工業株式会社 分割測光装置
US5121426A (en) 1989-12-22 1992-06-09 At&T Bell Laboratories Loudspeaking telephone station including directional microphone
JP2749921B2 (ja) 1989-12-29 1998-05-13 キヤノン株式会社 撮像装置
US5281995A (en) 1990-07-27 1994-01-25 Fuji Photo Film Co., Ltd. Method of determining an exposure for use in an image forming apparatus
US5264940A (en) 1990-10-08 1993-11-23 Olympus Optical Co., Ltd. Image sensing apparatus having exposure level and dynamic range control circuit
JP2766067B2 (ja) 1990-10-31 1998-06-18 キヤノン株式会社 撮像装置
US6594688B2 (en) 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US5664021A (en) 1993-10-05 1997-09-02 Picturetel Corporation Microphone system for teleconferencing system
US6211912B1 (en) 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
CA2148631C (en) 1994-06-20 2000-06-13 John J. Hildin Voice-following video system
US5508734A (en) 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
DE69534929T2 (de) 1994-09-30 2006-11-16 Matsushita Electric Industrial Co., Ltd., Kadoma Bildaufnahmevorrichtung
US6192196B1 (en) 1994-10-11 2001-02-20 Keller James Mcneel Panoramic camera
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
US5799096A (en) * 1996-11-26 1998-08-25 Liao; Lu-Lee Desktop microphone seat
US6275258B1 (en) 1996-12-17 2001-08-14 Nicholas Chim Voice responsive image tracking system
US6600511B1 (en) 1997-01-08 2003-07-29 Pentax Corporation Camera for use in photogrammetric analytical measurement
AU6515798A (en) 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
JPH10304329A (ja) 1997-04-30 1998-11-13 Matsushita Electric Works Ltd 会議撮像装置
US6914622B1 (en) * 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
US6072522A (en) * 1997-06-04 2000-06-06 Cgc Designs Video conferencing apparatus for group video conferencing
US6480300B1 (en) 1998-04-08 2002-11-12 Fuji Photo Film Co., Ltd. Image processing apparatus, image processing method and recording medium on which software for executing the image processing is recorded
US6192342B1 (en) 1998-11-17 2001-02-20 Vtel Corporation Automated camera aiming for identified talkers
US7068801B1 (en) * 1998-12-18 2006-06-27 National Research Council Of Canada Microphone array diffracting structure
US7117157B1 (en) 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
US6795106B1 (en) 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
US6577757B1 (en) 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
US6594629B1 (en) 1999-08-06 2003-07-15 International Business Machines Corporation Methods and apparatus for audio-visual speech detection and recognition
JP2001188910A (ja) 1999-10-22 2001-07-10 Toshiba Corp 画像の輪郭抽出方法、画像からの物体抽出方法およびこの物体抽出方法を用いた画像伝送システム
JP4576658B2 (ja) 2000-02-29 2010-11-10 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
JP2001296343A (ja) 2000-04-11 2001-10-26 Nec Corp 音源方位設定装置及びそれを備えた撮像装置、送信システム
US6766035B1 (en) 2000-05-03 2004-07-20 Koninklijke Philips Electronics N.V. Method and apparatus for adaptive position determination video conferencing and other applications
JP3615462B2 (ja) 2000-05-12 2005-02-02 三洋電機株式会社 自動露光調節カメラ
JP2001339703A (ja) 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
US7369114B2 (en) 2000-09-12 2008-05-06 Fujifilm Corporation Image display apparatus
US6757442B1 (en) 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
US7099510B2 (en) 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
US7339605B2 (en) * 2004-04-16 2008-03-04 Polycom, Inc. Conference link between a speakerphone and a video conference unit
FR2826221B1 (fr) 2001-05-11 2003-12-05 Immervision Internat Pte Ltd Procede d'obtention et d'affichage d'une image panoramique numerique a resolution variable
US20030043260A1 (en) 2001-08-29 2003-03-06 Adrian Yap Videophone answering device
US20030059061A1 (en) 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
US20040021764A1 (en) 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
KR100499124B1 (ko) 2002-03-27 2005-07-04 삼성전자주식회사 직교 원형 마이크 어레이 시스템 및 이를 이용한 음원의3차원 방향을 검출하는 방법
JP2003296711A (ja) 2002-03-29 2003-10-17 Nec Corp 顔画像識別方法、装置およびプログラム
US7102669B2 (en) 2002-04-02 2006-09-05 Freescale Semiconductor, Inc. Digital color image pre-processing
US6912178B2 (en) * 2002-04-15 2005-06-28 Polycom, Inc. System and method for computing a location of an acoustic source
US7260257B2 (en) 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US6882971B2 (en) 2002-07-18 2005-04-19 General Instrument Corporation Method and apparatus for improving listener differentiation of talkers during a conference call
US7031499B2 (en) 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
US7020337B2 (en) 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
EP1404118A1 (en) 2002-09-20 2004-03-31 Seiko Epson Corporation Backlight adjustment processing of image using image generation record information
US7698141B2 (en) 2003-02-28 2010-04-13 Palo Alto Research Center Incorporated Methods, apparatus, and products for automatically managing conversational floors in computer-mediated communications
DE60314851D1 (de) 2003-05-19 2007-08-23 St Microelectronics Sa Bildverarbeitungsverfahren für numerische Bilder mit Belichtungskorrektur durch Erkennung von Hautbereichen des Gegenstandes
US20040243416A1 (en) 2003-06-02 2004-12-02 Gardos Thomas R. Speech recognition
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US6934370B1 (en) 2003-06-16 2005-08-23 Microsoft Corporation System and method for communicating audio data signals via an audio communications medium
US7197186B2 (en) 2003-06-17 2007-03-27 Mitsubishi Electric Research Laboratories, Inc. Detecting arbitrarily oriented objects in images
US7212651B2 (en) 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
US7343289B2 (en) 2003-06-25 2008-03-11 Microsoft Corp. System and method for audio/video speaker detection
US7428000B2 (en) 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US7362368B2 (en) 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US20050018828A1 (en) 2003-07-25 2005-01-27 Siemens Information And Communication Networks, Inc. System and method for indicating a speaker during a conference
US7538801B2 (en) 2003-09-15 2009-05-26 Micron Technology, Inc. Region-based auto gain control and auto exposure control method and apparatus
US7092002B2 (en) 2003-09-19 2006-08-15 Applied Minds, Inc. Systems and method for enhancing teleconferencing collaboration
US7305078B2 (en) 2003-12-18 2007-12-04 Electronic Data Systems Corporation Speaker identification during telephone conferencing
US7232986B2 (en) 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
KR200354365Y1 (ko) * 2004-03-31 2004-06-23 신중식 듀얼 마이크 장치
JP4331049B2 (ja) 2004-04-30 2009-09-16 株式会社東芝 データ伝送装置およびデータ伝送方法
US20050276270A1 (en) 2004-05-27 2005-12-15 Rimas Buinevicius System, method, and device for recording rich media data
JP4572583B2 (ja) 2004-05-31 2010-11-04 パナソニック電工株式会社 撮像装置
JP2005354482A (ja) 2004-06-11 2005-12-22 Matsushita Electric Ind Co Ltd 卓上電子装置
KR101029071B1 (ko) 2004-09-09 2011-04-18 삼성전자주식회사 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치
WO2006030995A1 (en) 2004-09-17 2006-03-23 Realtimetech. Inc. Index-based authoring and editing system for video contents
US7542600B2 (en) 2004-10-21 2009-06-02 Microsoft Corporation Video image quality
US7812882B2 (en) * 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
JP4115467B2 (ja) 2005-06-01 2008-07-09 富士フイルム株式会社 撮影装置
JP2007005969A (ja) 2005-06-22 2007-01-11 Yamaha Corp マイクロフォンアレイ装置
EP1739966A1 (en) 2005-06-30 2007-01-03 Pixartis SA System for videoconferencing
US7768548B2 (en) 2005-08-12 2010-08-03 William Bradford Silvernail Mobile digital video recording system
JP4639271B2 (ja) 2005-12-27 2011-02-23 三星電子株式会社 カメラ
US7565071B2 (en) 2006-01-12 2009-07-21 Primax Electronics Ltd. Metering method of automatic exposure
US20070266092A1 (en) 2006-05-10 2007-11-15 Schweitzer Edmund O Iii Conferencing system with automatic identification of speaker
JP4970877B2 (ja) 2006-05-17 2012-07-11 オリンパスメディカルシステムズ株式会社 内視鏡
FR2902217B1 (fr) 2006-06-08 2008-12-26 E On Software Sarl Procede de realisation de vues en trois dimensions comprenant un reglage de luminosite
US7751597B2 (en) 2006-11-14 2010-07-06 Lctank Llc Apparatus and method for identifying a name corresponding to a face or voice using a database
US20080255840A1 (en) 2007-04-16 2008-10-16 Microsoft Corporation Video Nametags
US8526632B2 (en) 2007-06-28 2013-09-03 Microsoft Corporation Microphone array for a camera speakerphone
US8165416B2 (en) 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US8330787B2 (en) 2007-06-29 2012-12-11 Microsoft Corporation Capture device movement compensation for speaker indexing
JP5076716B2 (ja) 2007-08-06 2012-11-21 株式会社ニコン 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053825B2 (en) 2009-03-25 2015-06-09 Westinghouse Electric Sweden Ab Fuel assembly

Also Published As

Publication number Publication date
KR20100035636A (ko) 2010-04-05
US20090002476A1 (en) 2009-01-01
EP2172054A4 (en) 2014-07-23
EP2172054A1 (en) 2010-04-07
EP2172054B1 (en) 2016-08-03
US8526632B2 (en) 2013-09-03
JP2010532137A (ja) 2010-09-30
WO2009006004A1 (en) 2009-01-08
KR101495937B1 (ko) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5323069B2 (ja) カメラスピーカフォンのためのマイクロフォン配列
US10440322B2 (en) Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
TW200401943A (en) Integrated design for omni-directional camera and microphone array
US11736801B2 (en) Merging webcam signals from multiple cameras
JP4862645B2 (ja) ビデオ会議装置
US8451315B2 (en) System and method for distributed meeting capture
US10079996B2 (en) Communication system, communication device, and communication method
US10104490B2 (en) Optimizing the performance of an audio playback system with a linked audio/video feed
WO2017149124A1 (en) A method, system and device for generating associated audio and visual signals in a wide angle image system
US11340861B2 (en) Systems, devices, and methods of manipulating audio data based on microphone orientation
US20150304559A1 (en) Multiple camera panoramic image capture apparatus
JP4451892B2 (ja) 映像再生装置、映像再生方法、及び映像再生プログラム
WO2017185486A1 (zh) 投影设备、会议系统及投影设备控制方法
JP4373645B2 (ja) 映像配信システム、プログラム及び記録媒体
US11620976B2 (en) Systems, devices, and methods of acoustic echo cancellation based on display orientation
US11586407B2 (en) Systems, devices, and methods of manipulating audio data based on display orientation
JP6191333B2 (ja) 情報処理装置、通信システムおよびプログラム
WO2018003081A1 (ja) 全天球カメラ撮像画像表示システム、方法及びプログラム
TWI780450B (zh) 拾音系統與拾音裝置
CN110536101A (zh) 电子云台、视频会议系统及方法
CN115484431A (zh) 视频会议的视频处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130716

R150 Certificate of patent or registration of utility model

Ref document number: 5323069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250