JP4325766B2 - Video conferencing equipment - Google Patents
Video conferencing equipment Download PDFInfo
- Publication number
- JP4325766B2 JP4325766B2 JP11995099A JP11995099A JP4325766B2 JP 4325766 B2 JP4325766 B2 JP 4325766B2 JP 11995099 A JP11995099 A JP 11995099A JP 11995099 A JP11995099 A JP 11995099A JP 4325766 B2 JP4325766 B2 JP 4325766B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- speaker
- light emitting
- information
- video conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、テレビ会議装置に係り、特に、撮像方向と拡大縮小率を調整可能なカメラ及び接続先の話者映像を表示する表示手段を設けたテレビ会議装置に関する。
【0002】
【従来の技術】
従来のテレビ会議装置は、図8に示すように、情報伝送部201と、カメラ制御部202と、カメラ制御用コントローラ203と、カメラ204と、カメラ駆動装置205と、表示手段206と、音声入力手段207と、伝送路208と、音声再生手段209、とから構成されている。
【0003】
従来のテレビ会議装置の動作は、図8に示すように、カメラ204により撮像された画像と音声入力手段207から入力された音声を情報伝送部201により接続先に伝送路208を通して送信し、逆に接続先の映像、音声情報を伝送路208、情報伝送部201を通して表示手段206及び音声再生手段209で再生させ、テレビ会議中の話者210をカメラ204で撮像する場合、カメラ制御用コントローラ203を用いてカメラ制御部202にカメラの撮像方向と拡大縮小率を手動により入力する。
【0004】
また、カメラ制御部202は、前述により入力された撮像方向、拡大縮小率に従ってカメラ駆動装置205に駆動命令を出し、表示手段206にカメラ204で撮像した画像を映し、撮像方向、拡大縮小率が適正であるか確認させ、撮像方向、拡大縮小率の確認の結果が適正でなかった場合、カメラ制御用コントローラ203によりさらに撮像方向、拡大縮小率を入力し上記の表示手段206による確認作業を繰り返す。
【0005】
【発明が解決しようとする課題】
しかしながら、従来のテレビ会議装置は、話者が変わる度に撮像方向と拡大縮小率を手動で再調整しなければならず、かつ話者が発言をしながら移動した場合、撮像方向と拡大縮小率を手動で再調整するとともに、話者と見識のない出席者に話者の氏名、部署等を示す手段がないため、話者は自ら氏名、部署等を話さなければならない場合があり、円滑な会議の進行を妨げる場合がるという課題があった。
【0006】
そこで、本発明の目的は、撮像方向及び拡大縮小率を自動調整する手段及び、話者の氏名,所属部署及び役職を自動表示する手段を設けたテレビ会議装置を提供することにある。
【0007】
【課題を解決するための手段】
上述の課題を解決するために、本発明のテレビ会議装置は、声を検出して発光する発光手段を有する話者と、この話者を撮像するカメラと、このカメラで撮像された上記発光手段の発光パターンを検出するパターン検出手段と、このパターン検出手段で検出された発光パターンに基づき、上記カメラの撮像方向及び拡大縮小率を制御するカメラ制御部と、上記話者の画像及び音声を伝送する情報伝送部と、接続先の話者の映像を表示する表示手段と、上記接続先の話者の音声を再生する音声再生手段とで構成されたことを特徴とする。
【0008】
また、上述の課題を解決するために、本発明のテレビ会議装置は、上記話者を識別する識別コードを設けた上記発光手段と、この発光手段に設けられた識別コードにより、上記話者を識別して氏名,所属部署,役職の個人情報を上記表示手段に表示するための文字情報を作成する話者情報制御部と、この話者情報制御部で作成された上記文字情報を上記話者の映像上に合成する画像合成部とで構成されたことを特徴とする。
【0009】
【発明の実施の形態】
次に、本発明の第1実施の形態によるテレビ会議装置を図面を参照して説明する。
【0010】
図1は、本発明の第1実施の形態によるテレビ会議装置のブロック構成図である。
【0011】
図2は、本発明の第1実施の形態によるテレビ会議装置のカメラ制御フローチャートである。
【0012】
図3は、本発明の第1実施の形態によるテレビ会議装置のカメラ制御説明図である。
【0013】
図4は、本発明の第1実施の形態によるテレビ会議装置のカメラ制御説明図である。
【0014】
図5は、本発明の第1実施の形態によるテレビ会議装置の発光装置の外形図である。
【0015】
図6は、本発明の第1実施の形態によるテレビ会議装置の発光装置ブロック構成図である。
【0016】
図7は、本発明の第1実施の形態によるテレビ会議装置の画像イメージ図である。
【0017】
本発明の第1実施の形態によるテレビ会議装置は、図1に示すように、情報伝送部1と、カメラ制御部2と、パターン検出部3と、カメラ4と、カメラ駆動装置5と、表示手段6と、音声入力手段7と、電送路8と、音声再生手段9と、発光装置12と、話者情報制御部13と、画像合成部14とから構成される。
【0018】
次に、本発明の第1実施の形態によるテレビ会議装置の動作を図面を参照して説明する。
【0019】
本発明の第1実施の形態によるテレビ会議装置の動作は、図1に示すように、まず第1に、テレビ会議における話者10の姿をカメラ4で撮像して映像情報化し、音声入力手段7から入力される音声情報と共に情報伝送部1に入力する。情報伝送部では接続先装置11と双方向データ伝送の為に必要な通信プロトコルを確立し、前述の映像情報及び音声情報を接続先装置に送信する。
【0020】
第2に、接続先装置から送信されてくる映像情報及び音声情報は情報伝送部1で受信し、表示手段6及び音声再生手段9にそれぞれ映像信号及び音声信号として出力する。前述の映像情報及び音声情報の送信と接続先装置からの映像情報及び音声情報の受信によりテレビ会議が成立する。
【0021】
第3に、話者10の音声を検出して特定の識別コードを持つ発光装置12が発光する。
【0022】
第4に、カメラ4の映像情報をパターン検出部3に入力し、パターン検出部3では予め決めておいた発光装置12の映像情報がカメラ4からの映像情報に含まれているか否か、また、含まれている場合にはその画面上の位置と大きさを判定する。
【0023】
第5に、前述のパターン検出部3による判定結果をもとにカメラ制御部2において発光装置12が画面上の定められた位置に定められた大きさで常に撮像されるようにカメラ4の撮像方向及び拡大縮小率を決定し、カメラ駆動装置5に駆動情報を伝達することで、カメラ4は常に話者を画面中央に捕らえる。
【0024】
第6に、話者10を画面中央に表示した後、話者情報制御部13は発光装置12の発光色の順序で表現された識別コードをパターン検出部3より入手する。
【0025】
第7に、話者情報制御部13は、発光装置12の識別コードより話者を特定し、話者の所属部署および氏名の文字情報を画像合成部14に入力する。
【0026】
第8に、画像合成部14は、カメラ4の画像と、上記話者の文字情報を合成し、合成データを生成する。
【0027】
第9に、情報伝送部1を介して接続先装置11に上記合成データを送信することで、接続先装置の表示手段に、話者映像と氏名,所属部署及び役職の文字が表示される。
【0028】
次に、本発明の第1実施の形態によるテレビ会議装置の発光装置12について詳細に説明する。図5及び図6は発光装置外形図及び、ブロック図である。第1にマイク21より話者10の音声信号を点灯制御回路24に伝達する。
【0029】
第2に、点灯制御部24は話者10の音声の有無により点灯用スイッチ25をオン又はオフする。すなわち、話者10の音声が有る場合は点灯用スイッチ25をオンにし、話者10の音声が無い状態が一定時間以上連続した場合は点灯用スイッチ25をオフにする。
【0030】
第3に、点灯用スイッチ25がオンの時、電源26により赤色LED27および緑色LED23が点灯する。点灯用スイッチ25がオフの時、赤色LED27および緑色LED23が消灯する。
【0031】
第4に、光拡散板22により上記LEDの光を拡散、均一化することで前期パターン検出部3によるパターン検出を容易にする。
【0032】
第5に、上記赤色LED、および緑色LEDの配列はテレビ会議出席者一人一人について全て異なるパターンに設定し、この配列情報を話者の識別コードとする。
【0033】
次に、本発明の第1実施の形態によるテレビ会議装置のカメラ駆動動作を詳細に説明する。図2に示すように、第1に、カメラ4の拡大縮小率を最広角に設定し、その映像情報内に発光装置12が含まれるか否かをパターン検出部3にて検出する。上記映像情報内に発光装置12が含まれていない場合及び発光装置12が2個以上含まれている場合は発光装置12が1個のみ検出されるまで逐次パターン検出を行なう。
【0034】
第2に、発光装置12が前述の映像情報内に含まれていた場合、カメラ制御部2はパターン検出部3より発光装置12の画面上の位置情報x、yを受取り、予め定められた発光装置12の理想の位置16の座標X、Yとの誤差Δx、Δyを計算する。Δx、Δyを予め設定した許容誤差ΔaX、ΔaYと比較しΔx、ΔyがΔaX、ΔaYよりも大きい場合、カメラ駆動装置5にΔx、Δyを撮像方向の駆動情報として伝達する。上記カメラ駆動装置によるカメラ4の駆動終了後新しい映像情報を再読取りし、Δx、ΔyがΔaX、ΔaYよりも小さくなるまで上記処理を繰り返すことで、図3(A)に示すように画面中央よりずれて表示されていた話者10が図3(B)に示すように画面中央に表示される。
【0035】
第3に、カメラ制御装置2はパターン検出部3より発光装置12の画面上の長さlを受け取り、予め定められた発光装置12の理想の長さL との誤差Δlを計算する。Δlを予め設定した許容誤差ΔaLと比較しΔlがΔaLよりも大きい場合、カメラ駆動装置5にΔlを拡大縮小率の駆動情報として伝達する。上記カメラ駆動装置によるカメラ4の駆動終了後新しい映像情報を再読取りし、ΔlがΔaLよりも小さくなるまで上記処理を繰り返すことで、図4(A)に示すように画面上に小さく表示されていた話者10が図4(B)に示すように最適な拡大縮小率で表示される。
【0036】
第4に、話者情報制御部13はパターン検出部3より発光装置12の持つ識別コードを受取り、予め登録してある識別コードと話者の対応表より話者を特定する。
【0037】
第5に、話者情報制御部13は話者10の氏名,所属部署及び役職を表示する為の文字情報を生成し、この文字情報を画像合成部14に入力する。
【0038】
第6に、画像合成部14は上記文字情報と話者映像を合成し、合成データを作成する。この合成データは情報伝送部1を通じて相手先装置11に送信され、相手先装置11の表示手段上に図7に示すように、話者映像と氏名,所属部署及び役職が表示される。
【0039】
【発明の効果】
以上説明した通り、本発明のテレビ会議装置によれば、話者を自動的に探し出してカメラの方向、拡大縮小率が自動的に最適位置に調整できるため、テレビ会議出席者がメラの調整を意識することなくテレビ会議ができ、話者が発言中に移動した場合でもカメラが自動的に話者を追従できるとともに、画面表示された話者の所属部署、氏名が同時に表示されるため、会議の進行をスムーズに行なうことができる効果がある。
【図面の簡単な説明】
【図1】本発明の第1実施の形態によるテレビ会議装置のブロック構成図である。
【図2】本発明の第1実施の形態によるテレビ会議装置のカメラ制御フローチャートである。
【図3】本発明の第1実施の形態によるテレビ会議装置のカメラ制御説明図である。
【図4】本発明の第1実施の形態によるテレビ会議装置のカメラ制御説明図である。
【図5】本発明の第1実施の形態によるテレビ会議装置の発光装置の外形図である。
【図6】本発明の第1実施の形態によるテレビ会議装置の発光装置のブロック構成図である。
【図7】本発明の第1実施の形態によるテレビ会議装置の画像イメージ図である。
【図8】従来のテレビ会議装置のブロック構成図である。
【符号の説明】
1,201 情報伝送部
2,202 カメラ制御部
3 パターン検出部
4 カメラ
5,205 カメラ駆動装置
6,206 表示手段
7,207 音声入力手段
8,208 電送路
9,209 音声再生手段
10,210 話者
11,211 テレビ会議相手先装置
12 発光装置
13 話者情報制御部
14 画像合成部
15 発光装置位置ずれ例
16 発光装置理想位置
17 撮像方向自動調整例
18 発光装置サイズずれ例
19 発光装置理想サイズ
20 拡大縮小率自動調整例
21 マイク
22 光拡散板
23 緑色LED
24 点灯制御部
25 点灯用スイッチ
26 電源
27 赤色LED
28 画像イメージ
203 カメラ制御用コントローラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video conference apparatus, and more particularly, to a video conference apparatus provided with a camera capable of adjusting an imaging direction and an enlargement / reduction ratio and display means for displaying a connection destination speaker image.
[0002]
[Prior art]
As shown in FIG. 8, the conventional video conference apparatus includes an
[0003]
As shown in FIG. 8, the operation of the conventional video conference apparatus transmits the image captured by the
[0004]
Further, the
[0005]
[Problems to be solved by the invention]
However, the conventional video conferencing apparatus has to manually readjust the imaging direction and the enlargement / reduction ratio every time the speaker changes, and when the speaker moves while speaking, the imaging direction and the enlargement / reduction ratio. Since there is no means to indicate the name and department of the speaker to the speaker and inexperienced attendees, the speaker may have to speak his / her name and department. There was a problem that the progress of the meeting may be hindered.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to provide a video conference apparatus provided with means for automatically adjusting the imaging direction and the enlargement / reduction ratio and means for automatically displaying the name, department and title of the speaker.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problems, a video conference apparatus according to the present invention includes a speaker having a light emitting unit that detects and emits a voice, a camera that captures the speaker, and the light emitting unit that is captured by the camera. Pattern detection means for detecting the light emission pattern of the camera, a camera control unit for controlling the imaging direction and the enlargement / reduction ratio of the camera based on the light emission pattern detected by the pattern detection means, and transmitting the image and sound of the speaker An information transmission unit, a display unit for displaying the video of the connection destination speaker, and a voice reproduction unit for reproducing the voice of the connection destination speaker.
[0008]
In order to solve the above-described problem, the video conference apparatus of the present invention uses the light emitting means provided with an identification code for identifying the speaker, and the speaker by the identification code provided on the light emitting means. A speaker information control unit that creates character information for identifying and displaying personal information of name, department, and title on the display means, and the character information created by the speaker information control unit And an image composition unit for composition on the video.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Next, the video conference apparatus according to the first embodiment of the present invention will be described with reference to the drawings.
[0010]
FIG. 1 is a block diagram of the video conference apparatus according to the first embodiment of the present invention.
[0011]
FIG. 2 is a camera control flowchart of the video conference apparatus according to the first embodiment of the present invention.
[0012]
FIG. 3 is a camera control explanatory diagram of the video conference apparatus according to the first embodiment of the present invention.
[0013]
FIG. 4 is a camera control explanatory diagram of the video conference apparatus according to the first embodiment of the present invention.
[0014]
FIG. 5 is an external view of the light emitting device of the video conference apparatus according to the first embodiment of the present invention.
[0015]
FIG. 6 is a block diagram of a light emitting device of the video conference device according to the first embodiment of the present invention.
[0016]
FIG. 7 is an image diagram of the video conference apparatus according to the first embodiment of the present invention.
[0017]
As shown in FIG. 1, the video conference apparatus according to the first embodiment of the present invention includes an information transmission unit 1, a camera control unit 2, a
[0018]
Next, the operation of the video conference apparatus according to the first embodiment of the present invention will be described with reference to the drawings.
[0019]
As shown in FIG. 1, the operation of the video conference apparatus according to the first embodiment of the present invention is as follows. First, the image of the
[0020]
Second, video information and audio information transmitted from the connection destination device are received by the information transmission unit 1 and output to the display means 6 and the audio reproduction means 9 as video signals and audio signals, respectively. A video conference is established by transmitting the video information and audio information and receiving the video information and audio information from the connection destination device.
[0021]
Third, the voice of the
[0022]
Fourth, the video information of the camera 4 is input to the
[0023]
Fifthly, based on the determination result by the
[0024]
Sixth, after displaying the
[0025]
Seventh, the speaker information control unit 13 specifies the speaker from the identification code of the
[0026]
Eighth, the image synthesis unit 14 synthesizes the image of the camera 4 and the character information of the speaker to generate synthesized data.
[0027]
Ninth, by transmitting the composite data to the connection destination device 11 via the information transmission unit 1, the speaker image, the name, the department, and the character of the title are displayed on the display means of the connection destination device.
[0028]
Next, the
[0029]
Second, the
[0030]
Third, when the
[0031]
Fourthly, the
[0032]
Fifth, the arrangement of the red LED and the green LED is set to a different pattern for each participant in the video conference, and this arrangement information is used as the speaker identification code.
[0033]
Next, the camera driving operation of the video conference apparatus according to the first embodiment of the present invention will be described in detail. As shown in FIG. 2, first, the enlargement / reduction ratio of the camera 4 is set to the widest angle, and the
[0034]
Secondly, when the
[0035]
Thirdly, the camera control device 2 receives the length l on the screen of the
[0036]
Fourthly, the speaker information control unit 13 receives the identification code of the
[0037]
Fifth, the speaker information control unit 13 generates character information for displaying the name, department, and title of the
[0038]
Sixth, the image synthesizing unit 14 synthesizes the character information and the speaker video to create synthesized data. This synthesized data is transmitted to the partner apparatus 11 through the information transmission unit 1, and the speaker video, name, department, and title are displayed on the display means of the partner apparatus 11 as shown in FIG.
[0039]
【The invention's effect】
As described above, according to the video conference apparatus of the present invention, since the speaker is automatically searched and the camera direction and the enlargement / reduction ratio can be automatically adjusted to the optimum position, the video conference attendee can adjust the camera. Video conferencing is possible without consciousness, and even if the speaker moves while speaking, the camera can automatically follow the speaker, and the department and name of the speaker displayed on the screen are displayed at the same time. There is an effect that can be smoothly performed.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a video conference apparatus according to a first embodiment of the present invention.
FIG. 2 is a camera control flowchart of the video conference apparatus according to the first embodiment of the present invention.
FIG. 3 is a camera control explanatory diagram of the video conference apparatus according to the first embodiment of the present invention.
FIG. 4 is a camera control explanatory diagram of the video conference apparatus according to the first embodiment of the present invention.
FIG. 5 is an external view of a light emitting device of the video conference device according to the first embodiment of the present invention.
FIG. 6 is a block configuration diagram of a light emitting device of the video conference device according to the first embodiment of the present invention.
FIG. 7 is an image diagram of the video conference apparatus according to the first embodiment of the present invention.
FIG. 8 is a block diagram of a conventional video conference apparatus.
[Explanation of symbols]
1,201 Information transmission unit 2,202
24
28
Claims (1)
上記発光手段を撮像するカメラと、
上記カメラで撮像された上記発光手段を検出するパターン検出手段と、
前記パターン検出手段で検出された上記発光手段の位置と大きさを検出し、上記位置と上記大きさに基づき、上記発光手段が画面上の所定位置に所定の大きさで撮像されるように上記カメラの撮像方向及び拡大縮小率を制御するカメラ制御部と、
画像及び音声を伝送する情報伝送部と、
接続先の映像を表示する表示手段と、
上記接続先の音声を再生する音声再生手段とで構成されたことを特徴とするテレビ会議装置。A light emitting means for detecting and emitting a voice;
A camera for imaging the light emitting means;
Pattern detecting means for detecting the light emitting means imaged by the camera;
The position and size of the light emitting means detected by the pattern detecting means are detected, and based on the position and size, the light emitting means is imaged at a predetermined size on a screen at a predetermined size. A camera control unit for controlling the imaging direction and enlargement / reduction ratio of the camera;
An information transmission unit for transmitting images and sounds;
Display means for displaying the connection destination video;
A video conferencing apparatus, comprising: audio reproduction means for reproducing the connection destination audio.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11995099A JP4325766B2 (en) | 1999-04-27 | 1999-04-27 | Video conferencing equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11995099A JP4325766B2 (en) | 1999-04-27 | 1999-04-27 | Video conferencing equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000312350A JP2000312350A (en) | 2000-11-07 |
JP4325766B2 true JP4325766B2 (en) | 2009-09-02 |
Family
ID=14774211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11995099A Expired - Fee Related JP4325766B2 (en) | 1999-04-27 | 1999-04-27 | Video conferencing equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4325766B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7477281B2 (en) * | 2004-11-09 | 2009-01-13 | Nokia Corporation | Transmission control in multiparty conference |
US8125508B2 (en) | 2006-01-24 | 2012-02-28 | Lifesize Communications, Inc. | Sharing participant information in a videoconference |
US8125509B2 (en) * | 2006-01-24 | 2012-02-28 | Lifesize Communications, Inc. | Facial recognition for a videoconference |
JP2008032825A (en) * | 2006-07-26 | 2008-02-14 | Fujitsu Fsas Inc | Speaker display system, speaker display method and speaker display program |
JP5157776B2 (en) * | 2008-09-18 | 2013-03-06 | ブラザー工業株式会社 | Imaging direction control device, remote conference device, imaging direction control method, and imaging direction control program |
WO2011099577A1 (en) * | 2010-02-15 | 2011-08-18 | シャープ株式会社 | Information processing device, terminal device, information processing system, method of control of information processing device, control program, and computer-readable recording medium whereupon the program is recorded |
KR101395397B1 (en) * | 2011-06-02 | 2014-05-14 | 인텔렉추얼디스커버리 주식회사 | System and method for marking name of users participate in video communication service |
-
1999
- 1999-04-27 JP JP11995099A patent/JP4325766B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000312350A (en) | 2000-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3115798B2 (en) | Audio tracking video system | |
JP2007511110A (en) | A camera that transmits streaming media to remote clients | |
US20080246833A1 (en) | Video conferencing apparatus, control method, and program | |
TWI390982B (en) | Television conference system | |
KR101510723B1 (en) | Mobile terminal having projector and method for displaying data thereof | |
JP4325766B2 (en) | Video conferencing equipment | |
JPH1042264A (en) | Video conference system | |
JPH04237288A (en) | Audio signal output method for plural-picture window display | |
JP2004361961A (en) | Method for photographing with mobile terminal with camera | |
US11533421B2 (en) | Systems and methods of remote video production, and apparatus therefor | |
US6538685B2 (en) | Multipoint video-meeting control system | |
JP2009017330A (en) | Video conference system, video conference method, and video conference program | |
JP2003023612A (en) | Image communication terminal | |
JP4501037B2 (en) | COMMUNICATION CONTROL SYSTEM, COMMUNICATION DEVICE, AND COMMUNICATION METHOD | |
JPS63197188A (en) | Video conference system | |
JP2010085688A (en) | Projector, conference system, sound source direction determination method, and camera control method | |
JP2009065490A (en) | Video conference apparatus | |
KR19980026645A (en) | Video Conferencing System and Camera Control Method | |
JP2004163453A (en) | Projector | |
US20240075402A1 (en) | System and method for peppers ghost filming and display | |
KR20000044065A (en) | Apparatus for controlling camera of video conference system | |
JPS6386686A (en) | Television conference system | |
KR100439698B1 (en) | Speaker Recognition Method in Presentation System | |
KR100525249B1 (en) | Remote video conferrence system | |
JP2002027445A (en) | Interphone system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050602 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060317 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070119 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20071203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090603 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |