JP4445515B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP4445515B2
JP4445515B2 JP2007118803A JP2007118803A JP4445515B2 JP 4445515 B2 JP4445515 B2 JP 4445515B2 JP 2007118803 A JP2007118803 A JP 2007118803A JP 2007118803 A JP2007118803 A JP 2007118803A JP 4445515 B2 JP4445515 B2 JP 4445515B2
Authority
JP
Japan
Prior art keywords
audio data
parameter
opposite device
codec method
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007118803A
Other languages
English (en)
Other versions
JP2008276476A (ja
Inventor
俊哉 田村
東作 棚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007118803A priority Critical patent/JP4445515B2/ja
Priority to US12/006,378 priority patent/US8082013B2/en
Publication of JP2008276476A publication Critical patent/JP2008276476A/ja
Application granted granted Critical
Publication of JP4445515B2 publication Critical patent/JP4445515B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041Portable telephones adapted for handsfree use
    • H04M1/6058Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/22Mode decision, i.e. based on audio signal content versus external parameters

Description

本発明は情報処理装置に係り、特に、オーディオデータをリアルタイムにストリーミング転送することができるようにした情報処理装置に関する。
近年、例えば電子機器などに適用することができる無線通信技術として例えばブルートゥース(Bluetooth(登録商標))が知られている。このブルートゥースの無線通信技術を用いれば、携帯電話機などの携帯情報端末や携帯型音楽再生機から、オーディオケーブルを用いることなく、例えばヘッドセットなどの対向機器にオーディオデータを転送することができる。
オーディオデータの伝送用のプロファイルとして、例えば“Advanced Audio Distribution Profile(A2DP)”(非特許文献1)や“Generic Audio/Video Distribution Profile”(非特許文献2)などが知られている。これらは、ブルートゥース接続された機器間でオーディオデータをリアルタイムにストリーミング転送を行うための規格である。
例えば携帯電話機などの携帯情報端末や携帯型音楽再生機では、オーディオデータをSBC(Sub Band Coding)、MP3(MPEG1 Audio Layer-3)、ATRAC(Advanced Transform Acoustic Coding)3などの形式により圧縮してパケット単位で転送する。一方、スピーカやヘッドセットなどの対向機器では、すべてのパケットを受信するのを待たずに、データの受信と同時にその再生を行なう。これにより、ユーザは、携帯情報端末や携帯型音楽再生機などからの音をほぼリアルタイムに、スピーカやヘッドセットなどの対向機器において聴くことが可能となる。
Advanced Audio/Video Distribution Profile(Bluetooth SIG) Generic Audio/Video Distribution Profile(Bluetooth SIG)
“Advanced Audio Distribution Profile(A2DP)”や“Generic Audio/Video Distribution Profile”に規定されている仕様においては、オーディオデータ(オーディオソース)を保有する側の機器とオーディオデータを受け取る側の機器との間で、送受信するオーディオデータに関するコーデックの種別、サンプリングレート、ビットレートなど種々のパラメータについて予めネゴシエーションを行い、ストリーミング転送を開始する手順は規定されている。そして、オーディオデータを保有する側の機器(SRC)とオーディオデータを受け取る側の機器(SNK)とのどちらからの主導であってもストリーミング転送を開始することが許容されている。
しかしながら、オーディオデータを受け取る側の機器(SNK)からの主導でネゴシエーションを行ってストリーミング転送を開始する場合、オーディオデータを受け取る側の機器(SNK)は、ネゴシエーション開始時に、オーディオデータを保有する側の機器(SRC)から送信されてくるオーディオデータに関するコーデックの種別、サンプリングレート、ビットレートなど種々のパラメータについては分からないため、ストリーミング転送を確実に開始することができるように、一般に、種々のパラメータとして標準的なパラメータを指定するようにする。すなわち、オーディオデータに関するコーデック種別として標準的なSBCを指定し、ビットレートやサンプリングレートについても標準的な数値を指定する。そのため、オーディオデータを受け取る側の機器(SNK)などに最適なパラメータを選択して設定することができないという課題があった。
本発明は、このような状況に鑑みてなされたものであり、送信するコンテンツに好適なパラメータを設定することができる情報処理装置を提供することを目的とする。
本発明の情報処理装置は、上述した課題を解決するために、予め所定のコーデック方式でエンコードされたオーディオデータを無線通信を介して対向機器に転送する際に、オーディオデータをフレーム単位で切り出す切り出し手段と、切り出し手段により切り出されたフレーム単位のオーディオデータに基づいて、対向機器に転送するパケットを生成する生成手段と、生成手段により生成されたパケットを一時的に保持するとともに、保持されているパケットを所定の量ごとに対向機器に送信する送信手段と、対向機器がサポートするオーディオデータについてのパラメータに関する情報であるパラメータ情報を取得する取得手段と、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータに関する対向機器からのネゴシエーション時に指定されたオーディオデータについてのパラメータが、取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値であるか否かを判定する判定手段と、判定手段により対向機器からのネゴシエーション時に指定されたオーディオデータについてのパラメータが、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定された場合、対向機器に対して拒否応答をするとともに、情報処理装置側から、取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値を用いて対向機器に対してネゴシエーションを行い、対向機器にオーディオデータを転送する際のパラメータを初期設定する設定手段とを備えることを特徴とする。
本発明の情報処理装置は、上述した課題を解決するために、予め所定のコーデック方式でエンコードされたオーディオデータを無線通信を介して対向機器に転送する際に、オーディオデータをフレーム単位で切り出す切り出し手段と、切り出し手段により切り出されたフレーム単位のオーディオデータに基づいて、対向機器に転送するパケットを生成する生成手段と、生成手段により生成されたパケットを一時的に保持するとともに、保持されているパケットを所定の量ごとに対向機器に送信する送信手段と、対向機器がサポートするオーディオデータについてのパラメータに関する情報であるパラメータ情報を取得する取得手段と、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータに関してネゴシエーションを行い、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータを初期設定する設定手段と、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータに関する対向機器からのネゴシエーション時に設定手段により設定されたオーディオデータについてのパラメータが、取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値であるか否かを判定する判定手段とを備え、判定手段により、対向機器からのネゴシエーション時に設定手段により設定されたパラメータが、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定された場合、設定手段は、情報処理装置側から、取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値を用いて対向機器に対してネゴシエーションを再度行い、対向機器にオーディオデータを転送する際のパラメータを再び設定することを特徴とする。
本発明の情報処理装置においては、予め所定のコーデック方式でエンコードされたオーディオデータを無線通信を介して対向機器に転送する際に、オーディオデータがフレーム単位で切り出され、切り出されたフレーム単位のオーディオデータに基づいて、対向機器に転送するパケットが生成され、生成されたパケットが一時的に保持されるとともに、保持されているパケットが所定の量ごとに対向機器に送信され、対向機器がサポートするオーディオデータについてのパラメータに関する情報であるパラメータ情報が取得され、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータに関する対向機器からのネゴシエーション時に指定されたオーディオデータについてのパラメータが、取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値であるか否かが判定され、対向機器からのネゴシエーション時に指定されたオーディオデータについてのパラメータが、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定された場合、対向機器に対して拒否応答がされるとともに、情報処理装置側から、取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値を用いて対向機器に対してネゴシエーションが行われ、対向機器にオーディオデータを転送する際のパラメータ初期設定される。
本発明の情報処理装置においては、予め所定のコーデック方式でエンコードされたオーディオデータを無線通信を介して対向機器に転送する際に、オーディオデータがフレーム単位で切り出され、切り出されたフレーム単位のオーディオデータに基づいて、対向機器に転送するパケットが生成され、生成されたパケットが一時的に保持されるとともに、保持されているパケットが所定の量ごとに対向機器に送信され、対向機器がサポートするオーディオデータについてのパラメータに関する情報であるパラメータ情報が取得され、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータに関してネゴシエーションが行われ、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータが初期設定され、対向機器にオーディオデータを転送する際のオーディオデータについてのパラメータに関する対向機器からのネゴシエーション時に設定されたオーディオデータについてのパラメータが、取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値であるか否かが判定され、対向機器からのネゴシエーション時に設定されたパラメータが、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定された場合、情報処理装置側から、取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値を用いて対向機器に対してネゴシエーションが再度行われ、対向機器にオーディオデータを転送する際のパラメータが再び設定される。
本発明によれば、送信するコンテンツに好適なパラメータを設定することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1に示されるように、携帯電話機1の近傍には、本発明に係る対向機器として適用可能なヘッドセット2が配置されている。ヘッドセット2は、携帯電話機2から無線通信(例えばブルートゥースなど)を用いて転送されたオーディオデータを受信し、リアルタイムに再生することができる。
図2は、図1の携帯電話機1の内部の構成を表している。図2に示されるように、携帯電話機1は、制御部11、表示部12、入力部13、記憶部14、無線電話通信部15、信号処理部16、PCMコーデック17、マイクロフォン18、スピーカ19、メディアプレイヤ制御部20、コンテンツ処理部21、および近距離無線通信部22がバス23により相互に接続されて構成されている。
制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)、およびRAM(Random Access Memory)などからなり、CPUは、ROMに記憶されているプログラムまたは記憶部14からRAMにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機1を統括的に制御する。RAMは、CPUが各種の処理を実行する上において必要なデータなどを適宜記憶する。
表示部12は、例えばLCD(Liquid Crystal Display)などからなり、入力部13は図示せぬ操作キーや操作ボタンなどにより構成される。
無線電話通信部15は、図示せぬ基地局から送信された無線信号を、図示せぬアンテナを介して受信し、受信された無線信号のダウンコンバートを行って中間周波信号を求め、さらに直交復調処理、RAKE受信機(図示せず)による各パスの逆拡散及び合成処理などを行う。その後、このRAKE受信機から出力された受信パケットデータは、信号処理部16に入力される。
信号処理部16は、例えばDSP(Digital Signal Processor)などからなり、受信パケットデータをまずメディア毎に分離し、分離されたメディア毎のデータに対してそれぞれ復号処理を施す。
信号処理部16は、例えば受信パケットデータにオーディオデータが含まれている場合、このオーディオデータをスピーチコーデックにより復号する。また、信号処理部16は、受信パケットデータに動画像データが含まれている場合、この動画像データをビデオコーデックにより復号する。さらに、信号処理部16は、受信パケットデータがダウンロードコンテンツである場合、このダウンロードコンテンツを伸長する。
復号処理により得られたディジタルオーディオ信号は、PCMコーデック17によりPCM復号された後、増幅されてスピーカ19により出力される。一方、ビデオコーデックにより復号されたディジタル動画像信号は、バス23を介して表示部12に供給され表示される。
メディアプレイヤ制御部20は、例えば音楽制御機能を有する音楽プレイヤを制御する。勿論、携帯電話機1に地上波ディジタルワンセグ・ラジオ受信部などを設けるようにして、例えば地上波ディジタルワンセグ放送波を受信する際のアプリケーションプログラムを実行することにより実現される地上波ディジタルワンセグプレイヤなどの各種のメディアプレイヤを制御するようにしてもよい。
コンテンツ処理部21は、例えばメディアプレイヤ制御部20により音楽プレイヤを制御する際に、例えばAACやaacPlus、MP3、ATRAC、SBCなどの符号化方式で符号化されたオーディオデータを、一旦、その符号化方式に対応する復号化方式で復号化した後、他の符号化方式によって再符号化処理などを施す。
近距離無線通信部22は、例えばブルートゥース(Bluetooth(登録商標))による無線通信を行うモジュールなどからなり、携帯電話機1の近傍に存在するヘッドセット2などと無線通信を行う。勿論、ブルートゥース以外の無線通信(例えば赤外線通信)を用いるようにしてもよい。近距離無線通信部22は、フレーム切り出し部24、パケット生成部25、パケット送信部26、パラメータ情報取得部27、パラメータ判定部28、およびパラメータ設定部29などからなる。
フレーム切り出し部24は、記憶部14に記憶されているオーディオデータを読み出し、読み出されたオーディオデータをコーデック方式(例えばAACなどの符号化方式)に好適なフレームごとに切り出し、切り出されたフレーム単位のオーディオデータをパケット生成部25に供給する。
パケット生成部25は、フレーム切り出し部24により切り出されたフレーム単位のオーディオデータに基づいて、ヘッドセットに転送するパケットを生成し、生成されたパケットを図示せぬバッファに逐次供給する。図示せぬバッファは、例えばFIFO(First In First Out)形式で構成されており、パケット生成部25から供給されたパケットを逐次バッファリングする(一時的に記憶する)。
パケット送信26は、図示せぬバッファにバッファリングされているパケットを逐次読み出し、読み出されたパケットを所定のタイミングで所定の量ごとに無線通信によりヘッドセット2に逐次送信する。
パラメータ情報取得部27は、対向機器であるヘッドセット2から無線通信を介して、ヘッドセット2がサポートするパラメータ(例えばコーデックの種別、サンプリングレート、ビットレートなど)に関する情報であるパラメータ情報を取得する。
パラメータ判定部28は、取得されたパラメータ情報を用いて、対向機器であるヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定する。
パラメータ設定部29は、ヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切ではないと判定された場合、ヘッドセット2に対して拒否応答をするとともに、携帯電話機1側から、ヘッドセット2に送信するオーディオデータに適切なパラメータを用いてヘッドセット2に対してネゴシエーションを行い、ヘッドセット2にオーディオデータを転送する際のパラメータを初期設定する。
次に、図3のフローチャートを参照して、図2の携帯電話機1におけるパラメータ設定処理について説明する。このパラメータ設定処理は、オーディオデータを受け取る側の対向機器(SNK)であるヘッドセット2からの主導でネゴシエーションを行ってストリーミング転送を開始しようとする場合に実行される。なお、図4は、図3のフローチャートを用いて説明するパラメータ設定処理を実行する際の、携帯電話機1とヘッドセット2との間における具体的な処理のシーケンスを表している。
ステップS1において、携帯電話機1は、近距離無線通信部22を用いて、ヘッドセット2との間で制御用セッションを確立し、ヘッドセット2にパケット(メディアパケット)を送信するサービスの制御用の論理チャネルを確立する。
そして、制御用セッションの確立後、図4のステップS21乃至S22に示されるように、ヘッドセット2側から、携帯電話機1がサポートするパラメータ(例えばコーデックの種別、サンプリングレート、ビットレートなど)に関する情報であるパラメータ情報の取得要求がなされ、ヘッドセット2に携帯電話機1がサポートするパラメータ情報が取得される。
具体的には、携帯電話機1がサポートするコーデックの種別が例えばAACやaacPlus、SBCの符号化方式である場合、その旨を含むパラメータ情報がヘッドセット2に取得される。
ステップS2において、近距離無線通信部22のパラメータ情報取得部27は、対向機器であるヘッドセット2から無線通信を介して、ヘッドセット2がサポートするパラメータ(例えばコーデックの種別、サンプリングレート、ビットレートなど)に関する情報であるパラメータ情報を取得し、取得されたヘッドセット2がサポートするパラメータ情報をパラメータ判定部28に供給する。
例えば図4のステップS23乃至S24に示されるように、ヘッドセット2がサポートするパラメータ(例えばコーデックの種別、サンプリングレート、ビットレートなど)に関する情報であるパラメータ情報が携帯電話機1に取得される。具体的には、ヘッドセット2がサポートするコーデックの種別が例えばAACとSBCの符号化方式のみである場合、その旨を含むパラメータ情報がヘッドセット2に取得される。
ステップS3において、パラメータ設定部29は、無線通信を介して、ヘッドセット2からのネゴシエーションに従い、対向機器であるヘッドセット2にオーディオデータを転送する際のパラメータに関してヘッドセット2とネゴシエーションを行う(図4のステップS25)。
このとき、パラメータ設定部29は、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータを取得し、取得されたこのパラメータをパラメータ判定部28に供給する。なお、ヘッドセット2は、携帯電話機1とのネゴシエーション時には、携帯電話機1から送信されてくるオーディオデータに関するコーデックの種別、サンプリングレート、ビットレートなど種々のパラメータについては分からないため、標準的なパラメータ(例えばオーディオデータのコーデックの種別としてSBCなど)が指定される。
ステップS4において、パラメータ判定部28は、メディアプレイヤ制御部20により制御される上位のアプリケーションプログラムとしての音楽プレイヤに対して、コンテンツの確認を行う(図4のステップS26)。
ステップS5において、パラメータ判定部28は、取得されたヘッドセット2がサポートするパラメータ情報を用いて、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定する(図4のステップS27)。
具体的には、取得されたヘッドセット2がサポートするパラメータ情報に基づいて、ヘッドセット2がコーデックの種別としてSBCだけでなく、AACやaacPlusをサポートしていると判断された場合に、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータのコーデックの種別がSBCであるとき、SBCよりも高圧縮率でかつ高音質の符号化方式であるAACやaacPlusをパラメータのコーデックの種別に用いるべきであることから、ヘッドセット2に送信するオーディオデータに適切ではないと判定される。
また、ヘッドセット2に送信するオーディオデータがもともとSBCの符号化方式によって符号化されている場合に、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータのコーデックの種別がAACまたはaacPlusであるとき、オーディオデータによっては必ずしもコンテンツ処理部21にてAACやaacPlusを用いて再符号化することができるとは限らないことから、このような場合には、ヘッドセット2からのネゴシエーション時に指定されたパラメータがヘッドセット2に送信するオーディオデータに適切ではないと判定される。
さらに、例えば携帯電話機1でメールのアプリケーションプログラムがフォアグラウンドで動作しているとともに、音楽プレイヤがバックグランドで動作している場合に、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータのコーデックの種別が、CPUに負荷がかかるAACまたはaacPlusであるとき、ヘッドセット2からのネゴシエーション時に指定されたパラメータがヘッドセット2に送信するオーディオデータに適切ではないと判定される。
ステップS5においてヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切ではないと判定された場合、パラメータ設定部29はステップS6で、パラメータ判定部28による判定結果に従い、ヘッドセット2に対して拒否応答をする(図4のステップS28)。
ステップS7において、メディアプレイヤ制御部20は、音楽プレイヤを実行し、無線通信を介してヘッドセット2に対してオープン要求をするとともに、パラメータ設定部29は、携帯電話機1側から、ヘッドセット2に送信するオーディオデータに適切なパラメータを用いてヘッドセット2に対してネゴシエーションを行い、ステップS8で、ヘッドセット2にオーディオデータを転送する際のパラメータを初期設定する(図4のステップS29乃至S31)。
具体的には、取得されたヘッドセット2がサポートするパラメータ情報に基づいて、ヘッドセット2がコーデックの種別としてSBCだけでなく、AACやaacPlusをサポートしていると判断された場合に、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータのコーデックの種別がSBCであるとき、ヘッドセット2に送信するオーディオデータに適切なパラメータとしてAACやaacPlusを用いて、ヘッドセット2にオーディオデータを転送する際のパラメータが初期設定される。
また、ヘッドセット2に送信するオーディオデータがもともとSBCの符号化方式によって符号化されている場合に、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータのコーデックの種別がAACまたはaacPlusであるとき、オーディオデータによっては必ずしもコンテンツ処理部21にてAACやaacPlusを用いて再符号化することができるとは限らないことから、このような場合には、多少音質が低下したとしても、ヘッドセット2に送信するオーディオデータに適切なパラメータとして例えばSBCやMP3などを用いて、ヘッドセット2にオーディオデータを転送する際のパラメータが初期設定される。換言すれば、このような場合、ヘッドセット2がサポートするコーデックの種別のうち、最適ではないが、その次に優先度の高いコーデックの種別を用いて、ヘッドセット2にオーディオデータを転送する際のパラメータが初期設定される。
なお、上記ではオーディオデータのコーデックの種別について明示的に記載したが、ステップS8に処理においては、ヘッドセット2にオーディオデータを転送する際のパラメータである例えばオーディオデータのコーデックの種別、サンプリングレート、ビットレートなどが初期設定される。
なお、その後、携帯電話機1とヘッドセット2との間で、パケット(メディアパケット)を送信するためのトランスポート用の論理チャネルが確立される(図4のステップS32)。
ステップS9において、近距離無線通信部22のフレーム切り出し部24、パケット生成部25、およびパケット送信部26は、トランスポート用の論理チャネルの確立後、オーディオデータをコーデック方式に好適なフレームごとに切り出し、切り出されたフレーム単位のオーディオデータに基づいてヘッドセットに転送するパケットを生成し、生成されたパケットを図示せぬバッファにて逐次バッファリングする(一時的に記憶する)とともに、図示せぬバッファにバッファリングされているパケットを逐次読み出し、読み出されたパケットを所定のタイミングで所定の量ごとに無線通信によりヘッドセット2に逐次送信する(図4のステップS33)。
一方、ステップS5においてヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であると判定された場合、パラメータ設定部29は、パラメータ判定部28による判定結果に従い、ヘッドセット2からのネゴシエーション時に指定されたパラメータを受け入れ、受け入れられたパラメータを用いてヘッドセット2にオーディオデータを転送する際のパラメータを設定する。そして、処理はステップS9に進み、ステップS9にてパケットが生成され、ヘッドセット2に送信される。
本発明の実施形態においては、対向機器であるヘッドセット2から無線通信を介して、ヘッドセット2がサポートするパラメータ(例えばコーデックの種別、サンプリングレート、ビットレートなど)に関する情報であるパラメータ情報を取得し、取得されたパラメータ情報を用いて、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定し、判定手段によりヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切ではないと判定された場合、ヘッドセット2に対して拒否応答をするとともに、携帯電話機1側から、ヘッドセット2に送信するオーディオデータに適切なパラメータを用いてヘッドセット2に対してネゴシエーションを行い、ヘッドセット2にオーディオデータを転送する際のパラメータを初期設定することができる。
これにより、携帯電話機1の現在の状態に応じて、送信するコンテンツ(オーディオデータ)に好適なパラメータを設定することができる。従って、ヘッドセット2が有する最大限の性能を効果的に利用するとともに、携帯電話機1の現在の状態(例えば音楽プレイヤがバックグラウンドで動作しているのか否かなど)に応じて、ヘッドセット2が有する性能をできる限り引き出しつつ、送信するコンテンツ(オーディオデータ)に好適なパラメータを設定することができる。その結果、ヘッドセット2にて再生する際のオーディオデータの音質を向上させることができる。
なお、本発明の実施形態においては、音楽プレイヤをメディアプレイヤ制御部20にて制御する場合について明示的に記載したが、例えば地上波ディジタルワンセグプレイヤなどの各種のメディアプレイヤを制御する場合について本発明を適用するようにしてもよい。
ところで、図3および図4を用いて説明したパラメータ設定処理においては、ヘッドセット2からのネゴシエーション時に、メディアプレイヤ制御部20により制御される上位のアプリケーションプログラムとしての音楽プレイヤに対して、コンテンツの確認を行い、ヘッドセット2からのネゴシエーション時に指定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定するようにしたが、このような場合に限られず、ヘッドセット2からのネゴシエーション時に指定されたパラメータを一旦受け入れて、トランスポート用の論理チャネルを確立した後、ヘッドセット2からのネゴシエーション時に設定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定するとともに、ヘッドセット2からのネゴシエーション時に設定されたパラメータがヘッドセット2に送信するオーディオデータに適切ではないと判定された場合、携帯電話機1側から、ヘッドセット2に送信するオーディオデータに適切なパラメータを用いてヘッドセット2に対してネゴシエーションを再度行い、ヘッドセット2にオーディオデータを転送する際のパラメータを再び設定するようにしてもよい。
以下、この方法を用いたパラメータ設定処理について説明する。
図5のフローチャートを参照して、図2の携帯電話機1における他のパラメータ設定処理について説明する。なお、図6は、図5のフローチャートを用いて説明するパラメータ設定処理を実行する際の、携帯電話機1とヘッドセット2との間における具体的な処理のシーケンスを表している。また、図5のステップS41乃至S42、およびステップS48の処理は、図3のステップS1乃至S2、およびステップS9の処理と基本的には同様であり、その説明は繰り返しになるので省略するとともに、その他の処理ついて対応するものについては適宜省略する。
ステップS43において、パラメータ設定部29は、無線通信を介して、ヘッドセット2からのネゴシエーションに従い、対向機器であるヘッドセット2にオーディオデータを転送する際のパラメータに関してヘッドセット2とネゴシエーションを行う(図6のステップS55乃至S56)。
ステップS44において、パラメータ設定部29は、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時に指定されたパラメータを取得し、取得されたパラメータを用いて、ヘッドセット2にオーディオデータを転送する際のパラメータを初期設定する(図6のステップS55乃至S56)。なお、ヘッドセット2は、携帯電話機1とのネゴシエーション時には、携帯電話機1から送信されてくるオーディオデータに関するコーデックの種別、サンプリングレート、ビットレートなど種々のパラメータについては分からないため、標準的なパラメータ(例えばオーディオデータのコーデックの種別としてSBCなど)が指定される。
その後、無線通信を介してヘッドセット2からオープン要求がなされ、携帯電話機1とヘッドセット2との間で、パケット(メディアパケット)を送信するためのトランスポート用の論理チャネルが確立される(図6のステップS57)。そして、ヘッドセット2側から携帯電話機1に対して、パケット(メディアパケット)の送信開始の要求がなされる(図6のステップS58乃至S60)。
ステップS45において、パラメータ判定部28は、取得されたヘッドセット2がサポートするパラメータ情報を用いて、ヘッドセット2にオーディオデータを転送する際のパラメータに関するヘッドセット2からのネゴシエーション時にパラメータ設定部29にて設定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定する。なお、具体的な判定方法については、図3のステップS5と同様であり、その説明は繰り返しになるので省略する。
ステップS45においてヘッドセット2からのネゴシエーション時にパラメータ設定部29にて設定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切ではないと判定された場合、パラメータ設定部29はステップS46で、ヘッドセット2側に保留要求を通知するとともに、携帯電話機1側から、ヘッドセット2に送信するオーディオデータに適切なパラメータを用いてヘッドセット2に対してネゴシエーションを再度行い、ヘッドセット2にオーディオデータを転送する際のパラメータを再び設定する(図6のステップS61乃至S63)。
その後、処理はステップS48に進み、再設定されたパラメータを用いたオーディオデータの転送処理が開始される(図6のステップS64)。
本発明の実施形態においては、ヘッドセット2からのネゴシエーション時に指定されたパラメータを一旦受け入れて、トランスポート用の論理チャネルを確立した後、ヘッドセット2からのネゴシエーション時にパラメータ設定部29にて設定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切であるか否かを判定することができる。そして、ヘッドセット2からのネゴシエーション時にパラメータ設定部29にて設定されたパラメータが、ヘッドセット2に送信するオーディオデータに適切ではないと判定された場合、携帯電話機1側から、ヘッドセット2に送信するオーディオデータに適切なパラメータを用いてヘッドセット2に対してネゴシエーションを再度行い、ヘッドセット2にオーディオデータを転送する際のパラメータを再び設定することができる。これにより、携帯電話機1の現在の状態に応じて、送信するコンテンツ(オーディオデータ)に好適なパラメータを設定することができる。従って、ヘッドセット2が有する最大限の性能を効果的に利用するとともに、携帯電話機1の現在の状態(例えば音楽プレイヤがバックグラウンドで動作しているのか否かなど)に応じて、ヘッドセット2が有する性能をできる限り引き出しつつ、送信するコンテンツ(オーディオデータ)に好適なパラメータを設定することができる。その結果、ヘッドセット2にて再生する際のオーディオデータの音質を向上させることができる。
なお、本発明は、携帯電話機1以外にも、PDA(Personal Digital Assistant)、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他の情報処理装置にも適用することができる。
また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。
さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
本発明に係る情報授受のシステムの概略的な構成を示す図。 本発明の情報処理装置に適用可能な携帯電話機の内部の構成を示すブロック図。 図2の携帯電話機におけるパラメータ設定処理を説明するフローチャート。 図3のフローチャートを用いて説明するパラメータ設定処理を実行する際の、携帯電話機とヘッドセットとの間における具体的な処理のシーケンスを示すシーケンス図。 図2の携帯電話機における他のパラメータ設定処理を説明するフローチャート。 図5のフローチャートを用いて説明するパラメータ設定処理を実行する際の、携帯電話機とヘッドセットとの間における具体的な処理のシーケンスを示すシーケンス図。
符号の説明
1…携帯電話機、2…ヘッドセット、11…制御部、12…表示部、13…入力部、14…記憶部、15…無線電話通信部、16…信号処理部、17…PCMコーデック、18…マイクロフォン、19…スピーカ、20…メディアプレイヤ制御部、21…コンテンツ処理部、22…近距離無線通信部、23…バス、24…フレーム切り出し部、25…パケット生成部、26…パケット送信部、27…パラメータ情報取得部、28…パラメータ判定部、29…パラメータ設定部。

Claims (10)

  1. 予め所定のコーデック方式でエンコードされたオーディオデータを無線通信を介して対向機器に転送する際に、前記オーディオデータをフレーム単位で切り出す切り出し手段と、
    前記切り出し手段により切り出された前記フレーム単位のオーディオデータに基づいて、前記対向機器に転送するパケットを生成する生成手段と、
    前記生成手段により生成された前記パケットを一時的に保持するとともに、保持されている前記パケットを所定の量ごとに前記対向機器に送信する送信手段と、
    前記対向機器がサポートするオーディオデータについてのパラメータに関する情報であるパラメータ情報を取得する取得手段と、
    前記対向機器に前記オーディオデータを転送する際のオーディオデータについてのパラメータに関する前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのパラメータが、前記取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値であるか否かを判定する判定手段と、
    前記判定手段により前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのパラメータが、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定された場合、前記対向機器に対して拒否応答をするとともに、情報処理装置側から、前記取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値を用いて前記対向機器に対してネゴシエーションを行い、前記対向機器に前記オーディオデータを転送する際のパラメータを初期設定する設定手段とを備えることを特徴とする情報処理装置。
  2. 前記対向機器に前記オーディオデータを転送する際のオーディオデータについてのパラメータおよび前記対向機器がサポートするオーディオデータについてのパラメータには、少なくとも、前記オーディオデータのコーデックの種別、サンプリングレート、ビットレートのいずれか1つが含まれることを特徴とする請求項1に記載の情報処理装置。
  3. 前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのコーデック方式の種別に関するパラメータが第1のコーデック方式であり、かつ、前記パラメータ情報に含まれるオーディオデータについてのコーデック方式の種別に関するパラメータとして選択可能なパラメータ値に少なくとも第1のコーデック方式および前記第1のコーデック方式よりも圧縮率が高い第2のコーデック方式が含まれる場合に、前記判定手段は、前記第1のコーデック方式は前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定することを特徴とする請求項1に記載の情報処理装置。
  4. 前記対向機器に送信するオーディオデータが予め第1のコーデック方式でエンコードされている場合に、前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのコーデック方式の種別に関するパラメータが前記第1のコーデック方式と異なる第2のコーデック方式であるとき、前記判定手段は、前記第2のコーデック方式は前記対向機器に予め前記第1のコーデック方式でエンコードされたオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定することを特徴とする請求項1に記載の情報処理装置。
  5. 前記対向機器に送信するオーディオデータの転送がバックグラウンドで動作する場合に、前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのコーデック方式の種別に関するパラメータが圧縮率の高い第1のコーデック方式であるとき、前記判定手段は、前記第1のコーデック方式は前記対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定することを特徴とする請求項1に記載の情報処理装置。
  6. 予め所定のコーデック方式でエンコードされたオーディオデータを無線通信を介して対向機器に転送する際に、前記オーディオデータをフレーム単位で切り出す切り出し手段と、
    前記切り出し手段により切り出された前記フレーム単位のオーディオデータに基づいて、前記対向機器に転送するパケットを生成する生成手段と、
    前記生成手段により生成された前記パケットを一時的に保持するとともに、保持されている前記パケットを所定の量ごとに前記対向機器に送信する送信手段と、
    前記対向機器がサポートするオーディオデータについてのパラメータに関する情報であるパラメータ情報を取得する取得手段と、
    前記対向機器に前記オーディオデータを転送する際のオーディオデータについてのパラメータに関してネゴシエーションを行い、前記対向機器に前記オーディオデータを転送する際のオーディオデータについてのパラメータを初期設定する設定手段と、
    前記対向機器に前記オーディオデータを転送する際のオーディオデータについてのパラメータに関する前記対向機器からのネゴシエーション時に前記設定手段により設定されたオーディオデータについてのパラメータが、前記取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値であるか否かを判定する判定手段とを備え、
    前記判定手段により、前記対向機器からのネゴシエーション時に前記設定手段により設定されたパラメータが、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定された場合、前記設定手段は、情報処理装置側から、前記取得手段により取得されたパラメータ情報に含まれるパラメータとして選択可能なパラメータ値のうち、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値を用いて前記対向機器に対してネゴシエーションを再度行い、前記対向機器に前記オーディオデータを転送する際のパラメータを再び設定することを特徴とする情報処理装置。
  7. 前記対向機器に前記オーディオデータを転送する際のオーディオデータについてのパラメータおよび前記対向機器がサポートするオーディオデータについてのパラメータには、少なくとも、前記オーディオデータのコーデックの種別、サンプリングレート、ビットレートのいずれか1つが含まれることを特徴とする請求項に記載の情報処理装置。
  8. 前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのコーデック方式の種別に関するパラメータが第1のコーデック方式であり、かつ、前記パラメータ情報に含まれるオーディオデータについてのコーデック方式の種別に関するパラメータとして選択可能なパラメータ値に少なくとも第1のコーデック方式および前記第1のコーデック方式よりも圧縮率が高い第2のコーデック方式が含まれる場合に、前記判定手段は、前記第1のコーデック方式は、前記対向機器に前記オーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定することを特徴とする請求項に記載の情報処理装置。
  9. 前記対向機器に送信するオーディオデータが予め第1のコーデック方式でエンコードされている場合に、前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのコーデック方式の種別に関するパラメータが前記第1のコーデック方式と異なる第2のコーデック方式であるとき、前記判定手段は、前記第2のコーデック方式は前記対向機器に予め前記第1のコーデック方式でエンコードされたオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定することを特徴とする請求項6に記載の情報処理装置。
  10. 前記対向機器に送信するオーディオデータの転送がバックグラウンドで動作する場合に、前記対向機器からのネゴシエーション時に指定されたオーディオデータについてのコーデック方式の種別に関するパラメータが圧縮率の高い第1のコーデック方式であるとき、前記判定手段は、前記第1のコーデック方式は前記対向機器にオーディオデータを送信する場合において優先度の高いパラメータ値ではないと判定することを特徴とする請求項6に記載の情報処理装置。
JP2007118803A 2007-04-27 2007-04-27 情報処理装置 Expired - Fee Related JP4445515B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007118803A JP4445515B2 (ja) 2007-04-27 2007-04-27 情報処理装置
US12/006,378 US8082013B2 (en) 2007-04-27 2008-01-02 Information processing apparatus and cellular phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007118803A JP4445515B2 (ja) 2007-04-27 2007-04-27 情報処理装置

Publications (2)

Publication Number Publication Date
JP2008276476A JP2008276476A (ja) 2008-11-13
JP4445515B2 true JP4445515B2 (ja) 2010-04-07

Family

ID=39887622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007118803A Expired - Fee Related JP4445515B2 (ja) 2007-04-27 2007-04-27 情報処理装置

Country Status (2)

Country Link
US (1) US8082013B2 (ja)
JP (1) JP4445515B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9729726B2 (en) * 2014-12-05 2017-08-08 Facebook, Inc. Seamless codec switching
US10469630B2 (en) 2014-12-05 2019-11-05 Facebook, Inc. Embedded RTCP packets
US10506004B2 (en) 2014-12-05 2019-12-10 Facebook, Inc. Advanced comfort noise techniques
GB201620317D0 (en) 2016-11-30 2017-01-11 Microsoft Technology Licensing Llc Audio signal processing
KR102340127B1 (ko) * 2017-03-24 2021-12-16 삼성전자주식회사 복수의 외부 장치들로 오디오 데이터를 전송하는 방법 및 전자 장치
US10959274B2 (en) * 2017-09-26 2021-03-23 Intel Corporation Methods and apparatus to improve Bluetooth low energy streaming connection efficiency
CN111199743B (zh) * 2020-02-28 2023-08-18 Oppo广东移动通信有限公司 音频编码格式确定方法、装置、存储介质及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343313B1 (en) * 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
US6597702B1 (en) * 1999-05-06 2003-07-22 Cisco Technology, Inc. Fast connect option for enforcing symmetric codec capabilities
US6604070B1 (en) * 1999-09-22 2003-08-05 Conexant Systems, Inc. System of encoding and decoding speech signals
JP3823929B2 (ja) * 2002-05-17 2006-09-20 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツ配信装置、コンテンツ配信方法、並びにコンピュータ・プログラム
US7567897B2 (en) * 2004-08-12 2009-07-28 International Business Machines Corporation Method for dynamic selection of optimized codec for streaming audio content
KR100736930B1 (ko) * 2005-02-07 2007-07-10 삼성전자주식회사 홈서버, 상기 홈서버를 포함하는 컨텐츠 전송 시스템, 통합미디어 재생 프로그램을 이용한 컨텐츠 재생방법, 미디어포맷 변환 기능을 이용한 컨텐츠 전송방법 그리고 컨텐츠전송 여부 판별방법
JP4773731B2 (ja) * 2005-03-08 2011-09-14 富士通セミコンダクター株式会社 コーデックソフトウェア試験装置及びコーデックソフトウェア試験方法

Also Published As

Publication number Publication date
US8082013B2 (en) 2011-12-20
US20080268922A1 (en) 2008-10-30
JP2008276476A (ja) 2008-11-13

Similar Documents

Publication Publication Date Title
JP4445515B2 (ja) 情報処理装置
JP4459253B2 (ja) 通信端末
US7804819B2 (en) Method for implementing voice over IP through an electronic device connected to a packed switched network
US7725136B2 (en) Information processing apparatus
TW200805901A (en) Method and system for optimized architecture for bluetooth streaming audio applications
CN110010139B (zh) 音频输入输出方法、系统及计算机可读存储介质
MX2008016325A (es) Sistema y metodo para establecer una red multimedia con telefono movil y audifono.
JP4445516B2 (ja) 情報処理装置
JP4280272B2 (ja) 情報処理装置
WO2011123234A1 (en) Transcoder bypass in mobile handset for voip call with bluetooth headsets
JP4796537B2 (ja) 情報処理装置
KR20090027817A (ko) 배경음 출력 방법 및 이를 이용하는 이동통신 단말기
JP4603006B2 (ja) 情報処理装置
CN111385780A (zh) 一种蓝牙音频信号传输方法和装置
JP4930207B2 (ja) 情報処理装置
JP2007096982A (ja) 情報送信装置、送信条件制御方法及び記録媒体
JP5360162B2 (ja) 情報処理装置
JP4846652B2 (ja) 情報処理装置
JP2008259067A (ja) 情報処理装置
JP5135001B2 (ja) 無線通信装置、無線通信方法および無線通信システム
JP2008312055A (ja) 情報処理装置
US20120295628A1 (en) Mobile Terminal Device And Control Method Thereof
JP2001094981A (ja) 情報端末及び情報端末の符号化データ伝送制御方法
JP2007174210A (ja) 無線通信装置及びその音声品質向上方法
JP2007282164A (ja) 画像送信装置及びその送信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100115

R151 Written notification of patent or utility model registration

Ref document number: 4445515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees