JP4997022B2 - 仮想空間提供サーバ及びシステム - Google Patents
仮想空間提供サーバ及びシステム Download PDFInfo
- Publication number
- JP4997022B2 JP4997022B2 JP2007211823A JP2007211823A JP4997022B2 JP 4997022 B2 JP4997022 B2 JP 4997022B2 JP 2007211823 A JP2007211823 A JP 2007211823A JP 2007211823 A JP2007211823 A JP 2007211823A JP 4997022 B2 JP4997022 B2 JP 4997022B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- information
- avatar
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 105
- 230000005236 sound signal Effects 0.000 claims description 96
- 238000004891 communication Methods 0.000 claims description 57
- 230000005540 biological transmission Effects 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 24
- 230000007423 decrease Effects 0.000 claims description 9
- 230000004807 localization Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010295 mobile communication Methods 0.000 description 72
- 230000006870 function Effects 0.000 description 35
- 230000000694 effects Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000000034 method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000009471 action Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005034 decoration Methods 0.000 description 4
- 241000287127 Passeridae Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 240000007591 Tilia tomentosa Species 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Telephonic Communication Services (AREA)
Description
また、複数のユーザが仮想空間を共有する情報サービスにおいては、それぞれのユーザの端末ごとに、通信制御と共に多量の画像情報、音声情報、テキスト情報等を並行して処理する必要があり、これはマルチタスク・オペレーティングシステムを用意することで対応できる(例えば、非特許文献1参照)。
また、前記仮想空間を共有する情報サービスにおいて、それぞれのユーザに動画、静止画、文字、音声等の情報を提供し、ユーザからの文字入力、音声入力、動画入力、ポインティング・デバイス入力等を受け付ける手段としては、いわゆるマルチメディア・コンピューティング技術を備えた端末を用意することで対応できる(非特許文献2参照)。
また、前記仮想空間においてユーザは自分の分身であるアバターを用いて他のユーザとの意思疎通を行い、このアバターはユーザ自身によって外見等を編集できることが知られている(例えば、特許文献2参照)。
さらに、ユーザの端末画面に3次元の仮想空間の画像を表示するとともに、仮想空間内の背景音、効果音、オブジェクトが発生する音声信号等に、ユーザが操作するアバターの位置や方向に依存した音声処理を加えてユーザの端末に送信し、ユーザの興味を引き、仮想空間に臨場感をもたせる試みが、例えばセカンドライフ等のサービスによって行われている。(例えば、非特許文献3)
一方、携帯電話の利用が普及しており、対面での会話以上に携帯電話を利用される状況があり、個人のコミュニケーションツールとして不可欠のものになってきている。特許文献1は仮想空間と電話を連携させ、コミュニケーションをサポートする装置ではあるが、現実世界の電話による通信形態を仮想世界にマッピングさせ、現実世界のコミュニケーションを仮想空間を利用してサポートしたものであり、仮想世界内で独立に発生している電話に限定しないさまざまな音声情報へのアクセスを実現するための装置にまでは、いたっていないという課題があった。
また、電話端末等を用いて仮想空間の音声の入出力を実現した場合に、仮想空間内特有のさまざまな背景音が入らず、ユーザは仮想空間の臨場感を得にくいという課題があった。
図1は、一実施形態に係る仮想空間サーバの構成と、移動体通信装置を用いて仮想空間サーバを利用するユーザの移動体通信装置との関係を示す図である。
図2は、本発明の好適な実施形態の一例に係る仮想空間サーバのハードウェア構成を示す図である。以下、サーバを例にして説明するが、パーソナル・コンピュータをクライアント端末として用いる場合についても基本的には同様である。
図3は本発明の仮想空間サーバに係るデータ形式を示す図である。図3(a)は本発明の仮想空間サーバを介する通話を含むデータ形式の例を示す図であり、図3(b)は本発明の仮想空間サーバに含まれるユーザ固有情報DBのデータ形式の例を示す図である。
図4は、本発明の仮想空間サーバにおいて実行される仮想空間通話プログラムの実行ステップを示す図である。1つのコンピュータ資源を用いて全てのステップを実行してもよく、複数のコンピュータ資源を用いてそれぞれの資源で1つ以上のステップを実行してもよい。例えば、もっぱらユーザ認証を行うためのコンピュータを設け、本発明の仮想空間サーバとネットワーク接続してもよい。
図5は、本発明の仮想空間サーバ及びクライアント端末である移動体通信装置がネットワーク、特にインターネットを介して接続する例を示す図である。インターネット9には、仮想空間サーバ1、IP電話サーバ10、11、インターネットサービスを提供するプロバイダ15が接続する。音源データ資源2、ユーザ認証サーバ3はインターネット9を介して仮想空間サーバ1に接続してもよく、イントラネットを用いて仮想空間サーバ1に接続してもよく、仮想空間サーバ1が音源データ資源2、ユーザ認証サーバ3のいずれかまたは両方を兼ねてもよい。プロバイダ15はネットワーク端末29とも接続しうる。プロバイダ15とネットワーク端末29との接続は公衆回線でもよく、専用回線でもよく、回線の仕様の詳細は問わない。ネットワーク端末29はパーソナル・コンピュータ等でもよい。
図6は、本発明の仮想空間サーバに含まれる空間音源ミキシング部の構成の例を示す図である。空間音源ミキシング部47は、仮想空間サーバ1に含まれ、信号処理部103及び音声信号ミキサ106を含む。前記信号処理部103は信号処理関数104を含む。
図7は、クライアント端末として機能しうる移動体通信装置の構成の例を示すブロック図である。移動体通信装置の例としては、図5に示した携帯電話A20及び携帯電話B21が挙げられるが、これらに限らず携帯電話、PHS、自動車電話、及びこれらを内蔵したノート型パーソナル・コンピュータ、公衆無線LANと接続したコンピュータ等から適宜選択して、または複数を組み合わせて用いることができる。
図8は、本発明の仮想空間サーバを、屋内に設置されたパーソナル・コンピュータを用いて利用することを示す図である。
図9は、本発明の仮想空間サーバを、屋外において携帯電話を用いて利用する例を示す図である。携帯電話A20は、スピーカ66、表示装置69、入力装置70、マイクロホン(図示せず)を含む。
図7を用いて説明したように、移動体通信装置は受信プラグイン67及び送信プラグイン75に、本発明の仮想空間サーバと連動したプログラム等を含んでもよく、例えば、絵文字、アイコン画像及びこれらを生成して表示するプログラム等を含んでもよい。
2 音源データ資源
3 ユーザ認証サーバ
9 インターネット
10、11 IP電話サーバ
12、13 中継局
15 プロバイダ
20 携帯電話A
21 携帯電話B
29 ネットワーク端末
30 パーソナル・コンピュータが設置された建築物
31 ポインティング・デバイス
35 制御論理
36 データ処理部
37 音声信号処理部
40 発信者番号情報受信部
41 ユーザ判定部
42 位置情報管理部
43 オブジェクト管理部
44 ユーザ抽出部
45 通話要求表示部
46 発話受信部
47 空間音源ミキシング部
48 空間音声送信部
49 ユーザ固有情報DB
50 パケット
51 識別子
52 データ領域
61 送受信部
62 受信データ処理部
63 送信データ処理部
64 受信信号処理部
65 音声出力部
66 スピーカ
67 受信プラグイン
68 文字情報処理部
69 表示装置
70 入力装置
71 マイクロホン
72 音声入力部
73 送信信号処理部
74 入力情報処理部
75 送信プラグイン
80 表示装置
81 ユーザのアバター
82 他ユーザのアバター
83 仮想空間の位置を示す文字表示
84 オブジェクト由来の文字表示
85 オブジェクト
87 入力装置
91 ユーザのアバターを示す画像表示
92 他ユーザのアバターを示す画像表示
93 ユーザの位置情報を示す文字表示
94 他ユーザの位置情報を示す文字表示
97 仮想空間内の近傍オブジェクトを示す画像表示
101 受信通話
102 送信通話
103 信号処理部
104 信号処理関数
105 オブジェクト由来音声情報
106 音声信号ミキサ
107 バスライン
108 制御部
109 記億部
110 CPU1
120 CPU2
122 表示装置
131 ユーザID
132 電話番号
133 メールアドレス
134 仮想空間内位置情報
140 通信I/F
150 メインメモリ
160 BIOS
170 I/Oコントローラ
171 テープメディア
172 テープドライブ
174 ハードディスク
176 光ディスクドライブ
177 光ディスク
178 半導体メモリ
180 キーボード/マウス
190 USBポート
Claims (7)
- ネットワークを介して提供する仮想空間において、仮想空間上でユーザが操作するアバターの音声の入出力を電話装置との連携により実現するサーバであって、
ユーザの電話装置が発信した電話番号を発信者番号として受信する発信者番号情報受信部と、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定部と、
前記ユーザが操作するアバターの仮想空間内における位置情報を管理する位置情報管理部と、
前記ユーザ固有情報に基づいて前記仮想空間内においてユーザが操作するアバターが所有するオブジェクトを管理するオブジェクト管理部と、
前記位置情報に基づいて前記ユーザが操作するアバターと、他のユーザが操作するアバターとの距離が、現実空間において肉声で会話可能な空間距離に対応した仮想空間内の距離である場合に、前記ユーザが操作するアバターと前記仮想空間を経由して通話可能な他のユーザが操作するアバターが通話可能であることを識別するユーザ抽出部と、
前記ユーザが操作するアバター及び他のユーザが操作するアバターへの通話要求を表示する通話要求表示部と、
前記仮想空間内において前記ユーザが操作するアバターと所定の距離以内に存在するオブジェクトと、仮想的な自然音あるいは仮想的な都市の騒音を含む背景音との音声情報を前記ユーザの電話装置から受信する通話とミキシングする空間音源ミキシング部と、
前記ミキシングした音声情報を前記他のユーザの電話装置に送信する空間音声送信部とを有する仮想空間サーバ。 - 前記ユーザ固有情報に基づいて前記仮想空間を経由して通話可能な他のユーザを識別する手段と、
前記位置情報に基づいて前記仮想空間内における前記ユーザの操作するアバターの近傍のオブジェクトを識別する手段を有する、請求項1に記載の仮想空間サーバ。 - 音声情報を記憶する音源データベースと接続し、
ユーザの電話装置から受信した通話と前記音源データベースに記憶された音声情報とをミキシングして他のユーザの電話装置に送信する手段を有する、請求項1に記載の仮想空間サーバ。 - 前記空間音源ミキシング部は、
ユーザから受信した通話と、前記音源データベースが記憶する音声情報と、仮想空間内のオブジェクトが出力する音声情報から任意に選択された音声情報に対して、
前記位置情報及び前記ユーザ固有情報に基づいて音声信号処理手段を選択して音声信号処理を施し、
前記音声信号処理は、音量の増減、音源の定位、振幅変調、周波数変調、位相変調、周波数変換、時間遅れ音声信号の重ね合わせ、合成音声の重ね合わせ、高調波成分の重ね合わせ、所定信号処理関数のたたみ込み、ユーザ定義による信号処理から任意に選択される
音声信号処理であり、
前記音声信号処理を加えた音声信号をミキシングすることを含む、
請求項3に記載の仮想空間サーバ。 - 前記空間音源ミキシング部は、
ユーザが用いる端末の通信回線速度に依存して、
音声信号のチャネル数を2以上の音声チャネルからなる多重音声及びモノラル音声から任意に選択する手段を有する、請求項1に記載の仮想空間サーバ。 - ネットワークを介して提供する仮想空間において、仮想空間上でユーザが操作するアバターの音声の入出力を電話装置との連携により実現する仮想空間通話システムであって、
ユーザの電話装置が発信した電話番号を発信者番号として受信する発信者番号情報受信装置と、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定装置と、
前記ユーザが操作するアバターの仮想空間内における位置情報を管理する位置情報管理装置と、
前記仮想空間内において前記ユーザが操作するアバターと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理装置と、
前記位置情報に基づいて前記ユーザが操作するアバターと、他のユーザが操作するアバターとの距離が、現実空間において肉声で会話可能な空間距離に対応した仮想空間内の距離である場合に、前記ユーザが操作するアバターと前記仮想空間を経由して通話可能な他のユーザが操作するアバターが通話可能であることを識別するユーザ抽出装置と、
前記ユーザが操作するアバター及び前記他のユーザが操作するアバターへの通話要求を表示する通話要求装置と、
前記仮想空間内において前記ユーザが操作するアバターと所定の距離以内に存在するオブジェクトと、仮想的な自然音あるいは仮想的な都市の騒音を含む背景音との音声情報を前記ユーザの電話装置から受信する通話とミキシングする空間音源ミキシング装置と、
前記ミキシングした音声情報をユーザの電話装置に送信する空間音声送信装置とを備えた、仮想空間通話システム。 - ネットワークを介して提供する仮想空間において、仮想空間上でユーザが操作するアバターの音声の入出力を電話装置との連携により実現する仮想空間通話プログラムであって、コンピュータに、
ユーザの電話装置が発信した電話番号を発信者番号として受信する発信者番号情報受信ステップと、
前記発信者番号に対応するユーザ固有情報を求めるユーザ判定ステップと、
前記ユーザが操作するアバターの前記仮想空間内における位置情報を取得する位置情報管理ステップと、
前記仮想空間内においてユーザが操作するアバターと所定の距離以内に存在するオブジェクトを管理するオブジェクト管理ステップと、
前記位置情報に基づいて前記ユーザが操作するアバターと、他のユーザが操作するアバターとの距離が、現実空間において肉声で会話可能な空間距離に対応した仮想空間内の距離である場合に、前記ユーザが操作するアバターと前記仮想空間を経由して通話可能なユーザが操作するアバターが通話可能であることを識別するユーザ抽出ステップと、
前記ユーザの電話装置への通話要求を表示する通話要求ステップと、
前記仮想空間内において前記ユーザが操作するアバターと所定の距離以内に存在するオブジェクトと、仮想的な自然音あるいは仮想的な都市の騒音を含む背景音との音声情報を前記ユーザの電話装置から受信する通話とミキシングする空間音源ミキシングステップと、
前記ミキシングした音声情報をユーザの電話装置に送信する空間音声送信ステップを実行させる、
仮想空間通話プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211823A JP4997022B2 (ja) | 2007-08-15 | 2007-08-15 | 仮想空間提供サーバ及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007211823A JP4997022B2 (ja) | 2007-08-15 | 2007-08-15 | 仮想空間提供サーバ及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009049558A JP2009049558A (ja) | 2009-03-05 |
JP4997022B2 true JP4997022B2 (ja) | 2012-08-08 |
Family
ID=40501375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007211823A Expired - Fee Related JP4997022B2 (ja) | 2007-08-15 | 2007-08-15 | 仮想空間提供サーバ及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4997022B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6798502B2 (ja) * | 2015-12-11 | 2020-12-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7279555B2 (ja) * | 2019-07-17 | 2023-05-23 | 株式会社デンソー | 情報処理システム |
GB2610845A (en) * | 2021-09-17 | 2023-03-22 | Nokia Technologies Oy | A method and apparatus for communication audio handling in immersive audio scene rendering |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3027793B2 (ja) * | 1994-08-03 | 2000-04-04 | 日本電信電話株式会社 | 仮想空間共有装置 |
JPH09233445A (ja) * | 1996-02-27 | 1997-09-05 | Matsushita Electric Ind Co Ltd | 通信制御装置 |
JP2000244487A (ja) * | 1999-02-18 | 2000-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 多人数参加型仮想空間コミュニケーションシステム |
JP2001154966A (ja) * | 1999-11-29 | 2001-06-08 | Sony Corp | コンピュータ・ネットワーク上で構築・提供される共有仮想空間上で複数ユーザが参加可能な仮想会話を支援する会話支援システム及び会話支援方法、並びに、プログラム記憶媒体 |
JP2006229379A (ja) * | 2005-02-16 | 2006-08-31 | Nec Corp | 多者間通信システム、クライアント端末及びそれらに用いる多者間通信方法並びにそのプログラム |
JP4608400B2 (ja) * | 2005-09-13 | 2011-01-12 | 株式会社日立製作所 | 音声通話システムおよび音声通話中におけるコンテンツの提供方法 |
-
2007
- 2007-08-15 JP JP2007211823A patent/JP4997022B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009049558A (ja) | 2009-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4122173B2 (ja) | ユーザが指定する特性に基づいてネットワーク上を伝送したコンテンツデータを改変する方法 | |
US9645648B2 (en) | Audio computer system for interacting within a virtual reality environment | |
US20170251308A1 (en) | System and method for communication between mobile devices using digital/acoustic techniques | |
CN103036691B (zh) | 选择性的空间音频通信 | |
US20060008117A1 (en) | Information source selection system and method | |
CN101690150A (zh) | 基于虚拟现实的电话会议 | |
US20090106670A1 (en) | Systems and methods for providing services in a virtual environment | |
CN1703065A (zh) | 语音通信系统 | |
TW200941271A (en) | Scalable techniques for providing real-time per-avatar streaming data in virtual reality systems that employ per-avatar rendered environments | |
JP2010509810A (ja) | オーディオシーン作成用装置および方法 | |
CN105808710A (zh) | 一种远程 k 歌终端、远程k 歌系统及远程k 歌方法 | |
JP2008529345A (ja) | 個人化メディアの生成及び配布のためのシステム及び方法 | |
JP2002082893A (ja) | チャット手段を有する端末装置、編集装置、チャットサーバ、および記録媒体 | |
JP2003526292A (ja) | メディアツールを備えた通信システムとその方法 | |
WO2006088313A1 (en) | Method and system for providing news information by using three dimensional character for use in wireless communication network | |
EP2349514B1 (en) | Data stream processing | |
WO2005079040A1 (ja) | データ送信方法、データ送信システム、データ送信装置及びデータ構造 | |
Murphy et al. | Spatial sound for computer games and virtual reality | |
CN104768023A (zh) | 通过网络传送媒体的系统及方法 | |
KR20240027071A (ko) | 가상 메타버스에서의 공간화된 오디오 채팅 | |
JP4997022B2 (ja) | 仮想空間提供サーバ及びシステム | |
US20210322880A1 (en) | Audio spatialization | |
Dziwis et al. | Orchestra: a toolbox for live music performances in a web-based metaverse | |
KR101842770B1 (ko) | VoIP 통화 서비스에서 링백톤 및 링톤을 제공하기 위한 방법 및 시스템 | |
JP7232846B2 (ja) | ボイスチャット装置、ボイスチャット方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110613 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120208 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120309 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120312 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120508 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120514 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4997022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |