JPH11282100A - パノラマ画像撮影装置およびパノラマ画像生成装置 - Google Patents

パノラマ画像撮影装置およびパノラマ画像生成装置

Info

Publication number
JPH11282100A
JPH11282100A JP10081521A JP8152198A JPH11282100A JP H11282100 A JPH11282100 A JP H11282100A JP 10081521 A JP10081521 A JP 10081521A JP 8152198 A JP8152198 A JP 8152198A JP H11282100 A JPH11282100 A JP H11282100A
Authority
JP
Japan
Prior art keywords
image
panoramic
coordinates
feature points
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10081521A
Other languages
English (en)
Other versions
JP3403060B2 (ja
Inventor
Kenichi Kido
兼一 木戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP08152198A priority Critical patent/JP3403060B2/ja
Publication of JPH11282100A publication Critical patent/JPH11282100A/ja
Application granted granted Critical
Publication of JP3403060B2 publication Critical patent/JP3403060B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 誤差が少なく、再生処理が高速になされ得る
パノラマ画像を作成するための撮影装置およびパノラマ
画像生成装置を提供する。 【解決手段】 通常モードとパノラマモードとを有する
撮影装置であって、モード切換スイッチ11と、画像取
込部3と、記憶部5と、モニタ表示部7と、モニタ9
と、シャッタ15と、シャッタ15が押されたとき記憶
部5に記憶された画像信号およびモニタ9の4辺に位置
する特徴点の座標を記録するためのデータ書込部19
と、記録媒体21と、パノラマモードでは記憶部5に記
憶される画像信号の中から記録媒体21に記録された特
徴点を周期的に検出する特徴点検出部13とを備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数枚の画像がつ
ながったパノラマ画像を作成するためのパノラマ画像撮
影装置およびパノラマ画像生成装置に関するものであ
る。
【0002】
【従来の技術】従来においては、複数枚の画像を再生し
パノラマ画像を作成する場合、各画像の特徴となる部
分、たとえば画像の輪郭や線などを抽出し、これらの特
徴部分のマッチングにより複数の画像を合成していた。
【0003】
【発明が解決しようとする課題】しかしながら、上記の
ように、画像の特徴部分を抽出してマッチングをとるこ
とにより複数の画像を合成する場合には、作成されたパ
ノラマ画像と実物との間に所定の誤差を生じ、また、再
生時に所定の処理時間がかかる。
【0004】本発明は、このような問題点を解消するた
めになされたもので、実物との間で誤差が少なく、か
つ、再生処理がより高速になされ得るパノラマ画像を作
成するためのパノラマ画像撮影装置およびパノラマ画像
生成装置を提供することを目的とする。
【0005】
【課題を解決するための手段】請求項1に係るパノラマ
画像撮影装置は、通常撮影モードとパノラマ撮影モード
とを有するものであって、通常撮影モードかパノラマ撮
影モードを設定するモード設定手段と、画像を画像信号
として取込む画像取込手段と、画像取込手段に取込まれ
た画像信号を記憶する記憶手段と、モニタと、記憶手段
に記憶された画像信号に基づいて画像をモニタ上に表示
する画像表示手段と、シャッタと、シャッタが押された
とき、記憶手段に記憶された画像信号およびモニタの4
辺に位置する特徴点の座標を記録する記録手段と、モー
ド設定手段でパノラマ撮影モードが設定されたとき、記
憶手段に記憶される画像信号の中から記録手段により記
録された特徴点を周期的に検出する特徴点検出手段とを
備えるものである。
【0006】請求項2に係るパノラマ画像撮影装置は、
請求項1に記載のパノラマ画像撮影装置であって、特徴
点検出手段は、画像取込手段がN枚目の画像を取込んだ
後、(N+1)枚目の画像が記録手段に記録されるまで
1フレーム毎にN枚目の画像の特徴点の座標を検出し、
記録手段は、パノラマ撮影モードにおいて(N+1)枚
目の画像信号を記録するとき、(N+1)枚目の画像の
特徴点の座標と、N枚目の画像の特徴点の座標とをとも
に記録するものである。
【0007】請求項3に係るパノラマ画像生成装置は、
画像データおよび画像データとともに記録されている特
徴点の座標を取込むデータ取込手段と、データ取込手段
にN枚目の画像データとともに取込まれた(N−1)枚
目の画像の特徴点と、(N−1)枚目の画像データとと
もに取込まれた(N−1)枚目の画像の特徴点とが一致
するように(N−1)枚目とN枚目の画像データを合成
する画像合成手段とを備えるものである。
【0008】
【発明の実施の形態】以下において、本発明の実施の形
態を図面を参照して詳しく説明する。なお、図中同一符
号は同一または相当部分を示す。
【0009】[パノラマ画像撮影装置]図1は、本発明
の実施の形態に係るパノラマ画像撮影装置の全体構成を
示す図である。
【0010】図1に示されるように、このパノラマ画像
撮影装置は、画像を取込みCCD(Charge Coupled Dev
ice )からなる撮像部1と、撮像部1に接続された画像
取込部3と、画像取込部3に接続された記憶部5と、記
憶部5に接続されたモニタ表示部7と、モニタ表示部7
に接続され液晶ディスプレイ(LCD)からなるモニタ
9と、記憶部5に接続されたモード切換スイッチ11
と、モード切換スイッチ11に接続された特徴点検出部
13と、記憶部5に接続されたシャッタ15と、シャッ
タ15に接続された画像圧縮部17と、画像圧縮部17
および特徴点検出部13に接続されたデータ書込部19
と、データ書込部19に接続された記録媒体21とを備
える。
【0011】次に、本発明の実施の形態に係るパノラマ
画像撮影装置の動作を図2のフローチャートを参照して
説明する。
【0012】まず、撮像部1は画像を取込み画像信号を
生成して画像取込部3へ供給する。そして、画像取込部
3は供給された画像信号を1フレーム毎に取込み、輝度
や色などに関する信号処理を行なう。この信号処理され
た画像信号は記憶部5に一時的に記憶され、一時的に記
憶された画像信号がモード切換スイッチ11とシャッタ
15およびモニタ表示部7へ供給される。ここで、モニ
タ表示部7は記憶部5から供給された画像信号に基づい
てモニタ9上に画像を表示する。
【0013】ステップS1では、モード切換スイッチ1
1を通常撮影モードかパノラマ撮影モードのいずれかに
設定する。ここで、通常撮影モードに設定する場合はモ
ード切換スイッチ11がオフされるとともにステップS
14へ進み、シャッタ15を手で押す場合はシャッタ1
5がオンされステップS15へ進む。
【0014】ステップS15では画像圧縮部17で記憶
部5から供給された画像信号が圧縮され、ステップS1
6へ進む。
【0015】ステップS16では、データ書込部19が
画像圧縮部17から供給された画像信号を記録媒体21
へ書込み、ステップS17で終了する。
【0016】一方、ステップS1でモード切換スイッチ
11をパノラマ撮影モードに設定する場合は、モード切
換スイッチ11が手動でオンされる。そして、ステップ
S2へ進みシャッタ15を押すときステップS3,S4
とステップS5,S6が並列的に実行される。すなわ
ち、ステップS3では特徴点検出部13がモニタ9の4
辺に位置する特徴点Pn(nは自然数)の座標を1フレ
ーム内で抽出する。次に、この抽出された特徴点Pnの
座標はデータ書込部19に供給され、データ書込部19
により記録媒体21へ書込まれる。
【0017】また一方では、ステップS5で画像圧縮部
17により記憶部5から供給された画像信号が圧縮さ
れ、ステップS6でこの圧縮された画像信号がデータ書
込部19により記録媒体21に書込まれる。
【0018】次に、ステップS7では、撮影枚数nは1
かどうかで場合分けされ、撮影枚数nが1である場合は
ステップS9へ進む。
【0019】ステップS9では、特徴点検出部13によ
り特徴点P1 の座標が検出され、ステップS10で連続
画像を撮影するか否か判断される。ここで、連続画像を
撮影しない場合は、ステップS11へ進みモード切換ス
イッチ11をオフすることによってパノラマ撮影モード
を終了する。
【0020】一方、ステップS10で連続画像を撮影す
る場合はステップS12へ進み、シャッタ15を押さな
い待機状態ではステップS9へ戻り次画面での特徴点P
1 の座標の検出が再度行なわれる。
【0021】また、ステップS12でシャッタ15を押
す場合には、ステップS13へ進んで撮影枚数nが1だ
けインクリメントされ、ステップS3およびS5へ戻
る。
【0022】このようにして、以下同様に動作するが、
ステップS7で撮影枚数nが2以上のときはステップS
8へ進む。そして、ステップS8では特徴点検出部13
から供給された1フレーム前の特徴点Pn-1 の座標がデ
ータ書込部19により記録媒体21に書込まれ、ステッ
プS9へ進む。
【0023】以下において、図3を参照しつつ上記動作
をより簡明に説明する。図3(a)に示されるように、
モニタ9内の画像を1枚目として撮影する場合(図2の
ステップS2でシャッタ15を押す場合に該当)、モニ
タ9の4辺に位置する特徴点P10〜P17を抽出し番
号を付けてその座標を算出する(図2のステップS3に
該当)。そして、画像データとともに特徴点P10〜P
17の番号と座標を記録媒体21へ記録する。
【0024】次に、図3(b)に示されるように、パー
ン(人間の操作により撮影装置を移動させること)を行
なうことによってモニタ9上の特徴点P12〜P15の
座標が変化するので、フレーム周期(たとえば1/60
秒)ごとに特徴点の検出を行ないその座標を算出する
(図2のステップS9に該当)。
【0025】そして、さらにパーンを行ない2枚目の画
像を図3(c)の位置で撮影(図2のステップS12で
シャッタ15を押すことに該当)した後、新たに2枚目
の画像の4辺の特徴点P20〜P27を抽出し番号を付
けて座標を求め(図2のステップS3に該当)、特徴点
P20〜P27の番号と座標を記録媒体21へ記録する
(図2のステップS4に該当)。その後、画像データと
ともに1枚目の画像の特徴点P12,P13の番号と座
標を記録媒体21へ記録する(図2のステップS8に該
当)。
【0026】以上より、本実施の形態に係るパノラマ画
像撮影装置によれば、撮影時に特徴点の検出を連続的に
行なうので、より誤差の少ないパノラマ画像を作成する
ための連続画像を撮影することができる。
【0027】[パノラマ画像生成装置]図4は、本発明
の実施の形態に係るパノラマ画像生成装置の全体構成を
示す図である。
【0028】図4に示されるように、このパノラマ画像
生成装置は、画像データおよび特徴点の座標データを取
込むデータ取込部30と、データ取込部30に接続され
画像データを伸長する画像伸長部31と、データ取込部
30に接続された座標データ取出部32と、画像伸長部
31と座標データ取出部32とに接続されたメモリ制御
部33と、メモリ制御部33に接続されたメモリ34
と、メモリ34に接続されたモニタ表示部35とを備え
る。
【0029】次に、このパノラマ画像生成装置の動作
を、2枚の画像を用いてパノラマ画像を作成する場合を
例として図5および図6を参照しつつ説明する。
【0030】まず、図6(a)に示されるように、1枚
目の画像を再生し特徴点P10〜P17の番号と座標を
同時に再生する。そして、これらのデータはメモリ34
に記憶される。
【0031】次に、図5に示されるステップS1で図6
(b)に示される2枚目の画像がデータ取込部30に取
込まれ再生される。ステップS2で1枚目の画像の特徴
点P10〜P17の座標データが2枚目の画像データの
中にない場合は、パノラマ画像の作成を終了するが、図
6(b)に示されるように2枚目の画像データの中に特
徴点P12,P13の座標データがある場合は、ステッ
プS3へ進む。
【0032】ステップS3では、座標データ取出部32
が2枚目の画像中に検出された1枚目の画像の特徴点P
12,P13の座標データを取出し、メモリ制御部33
へ供給する。
【0033】また、ステップS4では、画像伸長部31
が画像データを伸長しメモリ制御部33へ供給する。
【0034】そして次に、ステップS5で、メモリ制御
部33がメモリ34に記憶された図6(a)に示される
1枚目の画像と、図6(b)に示される2枚目の画像と
を、1枚目の画像データとともに記憶された図6(a)
に示される特徴点P12,P13の座標と、2枚目の画
像データ中に検出された図6(b)に示される特徴点P
12,P13の座標とが一致するように合成し、図6
(c)に示されるパノラマ画像をモニタ表示部35に表
示する。
【0035】なお、ステップS5において画像が合成さ
れた後は、再びステップS1へ戻る。
【0036】以上より、本実施の形態に係るパノラマ画
像生成装置によれば、従来より誤差が少なく、かつ、従
来より高速にパノラマ画像を作成することができる。
【0037】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。
【0038】
【発明の効果】請求項1に係るパノラマ画像撮影装置に
よれば、撮影時に特徴点を周期的に検出するので、誤差
の少ないパノラマ画像を撮影することができる。
【0039】請求項2に係るパノラマ画像撮影装置によ
れば、パノラマ撮影モードにおいて(N+1)枚目の画
像信号を記録するとき、(N+1)枚目の画像の特徴点
の座標とN枚目の画像の特徴点の座標とをともに記録す
るため、パノラマ画像の再生処理を高速化することがで
きる。
【0040】請求項3に係るパノラマ画像生成装置によ
れば、従来より誤差の少ないパノラマ画像を生成するこ
とができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るパノラマ画像撮影装
置の全体構成を示すブロック図である。
【図2】図1に示されたパノラマ画像撮影装置の動作を
説明するためのフローチャートである。
【図3】図1に示されたパノラマ画像撮影装置の動作を
説明するための図である。
【図4】本発明の実施の形態に係るパノラマ画像生成装
置の全体構成を示すブロック図である。
【図5】図4に示されたパノラマ画像生成装置の動作を
説明するためのフローチャートである。
【図6】図4に示されたパノラマ画像生成装置の動作を
説明するための図である。
【符号の説明】
1 撮像部 3 画像取込部 5 記憶部 7,35 モニタ表示部 9 モニタ 11 モード切換スイッチ 13 特徴点検出部 15 シャッタ 17 画像圧縮部 19 データ書込部 21 記録媒体 30 データ取込部 31 画像伸長部 32 座標データ取出部 33 メモリ制御部 34 メモリ

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 通常撮影モードとパノラマ撮影モードと
    を有するパノラマ画像撮影装置であって、 前記通常撮影モードか前記パノラマ撮影モードを設定す
    るモード設定手段と、 画像を画像信号として取込む画像取込手段と、 前記画像取込手段に取込まれた前記画像信号を記憶する
    記憶手段と、 モニタと、 前記記憶手段に記憶された前記画像信号に基づいて前記
    画像を前記モニタ上に表示する画像表示手段と、 シャッタと、 前記シャッタが押されたとき、前記記憶手段に記憶され
    た前記画像信号および前記モニタの4辺に位置する特徴
    点の座標を記録する記録手段と、 前記モード設定手段で前記パノラマ撮影モードが設定さ
    れたとき、前記記憶手段に記憶される前記画像信号の中
    から前記記録手段により記録された特徴点を周期的に検
    出する特徴点検出手段とを備えたパノラマ画像撮影装
    置。
  2. 【請求項2】 前記特徴点検出手段は、前記画像取込手
    段がN枚目の画像を取込んだ後、(N+1)枚目の画像
    が前記記録手段に記録されるまで1フレーム毎に前記N
    枚目の画像の特徴点の座標を検出し、 前記記録手段は、前記パノラマ撮影モードにおいて前記
    (N+1)枚目の前記画像信号を記録するとき、前記
    (N+1)枚目の画像の前記特徴点の座標と、前記N枚
    目の画像の前記特徴点の座標とをともに記録する、請求
    項1に記載のパノラマ画像撮影装置。
  3. 【請求項3】 画像データおよび前記画像データととも
    に記録されている特徴点の座標を取込むデータ取込手段
    と、 前記データ取込手段にN枚目の前記画像データとともに
    取込まれた(N−1)枚目の画像の前記特徴点と、前記
    (N−1)枚目の前記画像データとともに取込まれた前
    記(N−1)枚目の画像の前記特徴点とが一致するよう
    に前記(N−1)枚目と前記N枚目の前記画像データを
    合成する画像合成手段とを備えたパノラマ画像生成装
    置。
JP08152198A 1998-03-27 1998-03-27 パノラマ画像撮影装置、およびパノラマ画像生成装置 Expired - Fee Related JP3403060B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08152198A JP3403060B2 (ja) 1998-03-27 1998-03-27 パノラマ画像撮影装置、およびパノラマ画像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08152198A JP3403060B2 (ja) 1998-03-27 1998-03-27 パノラマ画像撮影装置、およびパノラマ画像生成装置

Publications (2)

Publication Number Publication Date
JPH11282100A true JPH11282100A (ja) 1999-10-15
JP3403060B2 JP3403060B2 (ja) 2003-05-06

Family

ID=13748654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08152198A Expired - Fee Related JP3403060B2 (ja) 1998-03-27 1998-03-27 パノラマ画像撮影装置、およびパノラマ画像生成装置

Country Status (1)

Country Link
JP (1) JP3403060B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100765911B1 (ko) 2006-06-15 2007-10-10 엠텍비젼 주식회사 마커를 이용한 파노라마 촬영 방법 및 파노라마 촬영시스템
KR100800660B1 (ko) 2006-09-21 2008-02-01 삼성전자주식회사 파노라마 영상 촬영 장치 및 방법
US8107769B2 (en) 2006-12-28 2012-01-31 Casio Computer Co., Ltd. Image synthesis device, image synthesis method and memory medium storage image synthesis program
CN103037156A (zh) * 2011-09-29 2013-04-10 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2014168147A (ja) * 2013-02-28 2014-09-11 Nikon Corp 画像処理プログラムおよびデジタルカメラ
JP2015087041A (ja) * 2013-10-29 2015-05-07 三菱電機株式会社 冷蔵庫
JP2016006379A (ja) * 2015-10-15 2016-01-14 三菱電機株式会社 冷蔵庫
US9253365B2 (en) 2011-04-07 2016-02-02 Casio Computer Co., Ltd. Image processing device for generating composite image having predetermined aspect ratio
US9380206B2 (en) 2012-03-12 2016-06-28 Casio Computer Co., Ltd. Image processing apparatus that combines images
US9699378B2 (en) 2010-09-30 2017-07-04 Casio Computer Co., Ltd. Image processing apparatus, method, and storage medium capable of generating wide angle image

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100765911B1 (ko) 2006-06-15 2007-10-10 엠텍비젼 주식회사 마커를 이용한 파노라마 촬영 방법 및 파노라마 촬영시스템
KR100800660B1 (ko) 2006-09-21 2008-02-01 삼성전자주식회사 파노라마 영상 촬영 장치 및 방법
US8107769B2 (en) 2006-12-28 2012-01-31 Casio Computer Co., Ltd. Image synthesis device, image synthesis method and memory medium storage image synthesis program
US9699378B2 (en) 2010-09-30 2017-07-04 Casio Computer Co., Ltd. Image processing apparatus, method, and storage medium capable of generating wide angle image
US9253365B2 (en) 2011-04-07 2016-02-02 Casio Computer Co., Ltd. Image processing device for generating composite image having predetermined aspect ratio
CN103037156A (zh) * 2011-09-29 2013-04-10 卡西欧计算机株式会社 图像处理装置以及图像处理方法
US9270881B2 (en) 2011-09-29 2016-02-23 Casio Computer Co., Ltd. Image processing device, image processing method and recording medium capable of generating a wide-range image
US9380206B2 (en) 2012-03-12 2016-06-28 Casio Computer Co., Ltd. Image processing apparatus that combines images
JP2014168147A (ja) * 2013-02-28 2014-09-11 Nikon Corp 画像処理プログラムおよびデジタルカメラ
JP2015087041A (ja) * 2013-10-29 2015-05-07 三菱電機株式会社 冷蔵庫
JP2016006379A (ja) * 2015-10-15 2016-01-14 三菱電機株式会社 冷蔵庫

Also Published As

Publication number Publication date
JP3403060B2 (ja) 2003-05-06

Similar Documents

Publication Publication Date Title
JP3993922B2 (ja) 画像変形装置および方法
KR101709935B1 (ko) 영상촬영장치 및 그 제어방법
EP0884897A1 (en) Digital panorama camera
JP2003158653A (ja) ディジタル・ムービ・カメラおよびその動作制御方法
KR20110129342A (ko) 촬상 장치
CN102917172B (zh) 摄像装置、摄影控制方法及图像再现方法
JP2000023012A5 (ja)
JPH11282100A (ja) パノラマ画像撮影装置およびパノラマ画像生成装置
JP2000305207A (ja) 電子スチルカメラ
JPH11331693A (ja) 画像処理方法及びその装置
JP2000261715A (ja) 画像合成装置
JPH09322026A (ja) 画像表示装置
JPH10304227A (ja) 電子スチルカメラ
JP3389490B2 (ja) 連続画像撮影装置
JP3206139B2 (ja) 画像処理装置及びその方法
KR980010592A (ko) 연속 촬영 및 선택 저장 기능을 지닌 디지탈 스틸 카메라
JPH05161050A (ja) ディジタル電子スチル・カメラおよびその動作方法ならびにディジタル電子スチル・カメラにおける被写体の表示方法
JP2000041170A5 (ja)
JPH11220638A (ja) 撮像装置および撮像方法
JP2000041170A (ja) 画像撮像装置及び方法
JP2000069467A5 (ja)
JP2000299800A (ja) 撮像方法及び装置並びに記憶媒体
JP2003338977A (ja) 撮像装置及び画像合成方法
JPH11275527A (ja) 画像記録装置
JP2004032592A (ja) 画像合成回路及びこれを具えた撮影装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees