JP4404310B2 - 映像処理装置 - Google Patents

映像処理装置 Download PDF

Info

Publication number
JP4404310B2
JP4404310B2 JP2004240296A JP2004240296A JP4404310B2 JP 4404310 B2 JP4404310 B2 JP 4404310B2 JP 2004240296 A JP2004240296 A JP 2004240296A JP 2004240296 A JP2004240296 A JP 2004240296A JP 4404310 B2 JP4404310 B2 JP 4404310B2
Authority
JP
Japan
Prior art keywords
group
time
time interval
data
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004240296A
Other languages
English (en)
Other versions
JP2006060518A (ja
JP2006060518A5 (ja
Inventor
茂 米田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004240296A priority Critical patent/JP4404310B2/ja
Publication of JP2006060518A publication Critical patent/JP2006060518A/ja
Publication of JP2006060518A5 publication Critical patent/JP2006060518A5/ja
Application granted granted Critical
Publication of JP4404310B2 publication Critical patent/JP4404310B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像処理装置に関し、特に映像データのグループ化の処理に関する。
特許文献1には、撮影時には、一定時間間隔以上、開いた映像・音声を別グループとして記録し、記録情報の閲覧時には、記録された映像・音声を示す情報そのグループ単位でリスト表示するビデオカメラが記載されている。
また、特許文献2には、画像に関連付けてロケージョン情報を記録し、ロケーション情報で記録画像の内から所望のものを検索可能とする画像記録装置も知られている。
特開2001−177789号公報 特開平10−56609号公報
記録時にグルーピングを行う方法では、既にグルーピングされずに記録されてしまっているデータ群を整理する場合、及び、複数の記録媒体に別々に記録されたデータ群をより大容量の1つの記録媒体にまとめて整理する場合に、役に立たない。即ち、事後的なグループ化方法が望まれる。
また、記録媒体の容量の向上から、扱う映像・音声データが多くなった場合に、グループ数が膨大になるか、又は、1グループ中に大量の映像・音声データが入ることが予想される。そのような状態では、操作性が悪くなるので、グループ化をやり直すことが望まされる。即ち、ここでも、事後的なグループ化方法が望まれる。
また、検索機能は、そのデータ群の内容を予めある程度知っている場合にその中から特定のデータをすばやく選択する場合には有効であるが、そのデータ群にどのようなデータが含まれているか分からない場合に全体を網羅的に把握する手段としては効率が悪い。
本発明は、このような問題を解決する映像処理装置を提示することを目的とする。
本発明に係る映像処理装置は、複数の映像データがそれぞれ作成された時間を示す作成時間情報を取得する作成時間取得手段と、前記複数の映像データをその作成時間に従ってグループ化するための複数の時間間隔の候補を表示装置の画面上に一覧表示する表示制御手段と、前記一覧表示された複数の時間間隔の候補の中から第1の時間間隔を選択する指示手段と、前記指示手段により選択された第1の時間間隔と前記作成時間取得手段により取得された作成時間情報とに基づいて前記複数の映像データを複数のグループに分割し、各グループを示す管理情報を生成するグループ構築手段と、前記複数のグループの中の一つのグループを選択する選択手段とを備え、前記表示制御手段は、前記選択手段により選択された一つのグループを更にグループ化するための時間間隔の候補を一覧表示し、前記グループ構築手段は、前記選択されたグループを更にグループ化するために一覧表示された時間間隔の候補から前記指示手段により選択された第2の時間間隔と前記作成時間取得手段により取得された作成時間情報とに基づいて、前記選択されたグループの複数の映像データを更に複数のグループに分割することを特徴とする。
本発明に係る映像処理装置は、複数の映像データに関する付加情報を取得する付加情報取得手段と、前記複数の映像データをその付加情報に従ってグループ化するための複数の分割単位の候補を表示装置の画面上に一覧表示する表示制御手段と、前記一覧表示された複数の分割単位の候補の中から第1の分割単位を選択する指示手段と、前記指示手段により選択された第1の分割単位と前記付加情報取得手段により取得された付加情報とに基づいて前記複数の映像データを複数のグループに分割し、各グループを示す管理情報を生成するグループ構築手段と、前記複数のグループの中の一つのグループを選択する選択手段とを備え、前記表示制御手段は、前記選択手段により選択された一つのグループを更にグループ化するための分割単位の候補を一覧表示し、前記グループ構築手段は、前記選択されたグループを更にグループ化するために一覧表示された分割単位の候補から前記指示手段により選択された第2の分割単位と前記付加情報取得手段により取得された付加情報とに基づいて、前記選択されたグループの複数の映像データを更に複数のグループに分割することを特徴とする。
本発明によれば、記録時にグルーピングもソートもされていない未整理な状態にある映像・音声のデータ群でも、1まとまりにしたいデータの最大時間間隔を指定するだけの簡単な操作で、全データの内容を所望の時間的スケールで意味のあるグループに分けることができ、全データを網羅的に把握する作業を容易にする。さらに、個々のグループに対しても時間間隔を再設定してグルーピングすることで、時間的スケールの異なるグループを階層的に構築することができる。大量のデータに対しても、部分的に時間的スケールを細かくしてグルーピングすることができるので、ユーザにとって効率のよいグルーピングが可能となり、全データを網羅的に把握する作業の効率を高めることができる。
また、記録時にグルーピングもソートもされていない未整理な状態にある映像・音声のデータ群でも、グループ分けしたい地理的スケールを指定するのみの簡単な操作で、全データを所望の地理的スケールで意味のあるグループに分けることができる。さらに、地理的スケールの異なるグループを階層的に構築することができるので、ユーザにとって効率の良いグルーピングが可能となり、全データを網羅的に把握する作業の効率を高めることができる。
以下、図面を参照して、本発明の実施例を詳細に説明する。
図1は本発明の一実施例の構成ブロックを示す。101はユーザの操作を入力するコントローラ、102はメモリ、105は制御用CPU、115はデジタル映像・音声データが記録される記録メディア、112は記録メディア115にアクセスしてデータを取得するデータアクセス回路、113はデータアクセス回路112により取得した映像・音声データを再生するデータ再生回路、114は文字情報やグラフィカルな情報を表示形式のデータに変換するOSD回路、116は音声を出力するスピーカ、117は映像及びOSDの情報を表示するモニタである。
CPU105は、時間間隔設定手段106、グループ構築手段107,グループ管理手段108、メディアアクセス制御手段109、データ再生制御手段110及びOSD制御手段111を具備する。
OSD制御手段111は、OSD回路114を制御する。時間間隔設定手段106は、コントローラ101からの入力とOSD制御手段111によるODS出力を用いたユーザインタフェースでグルーピングに用いる時間間隔を設定し、メモリ102内に時間間隔情報103として記憶する。グループ構築手段107は、メディアアクセス制御手段109によりメディアアクセス回路112を介して得られた個々の映像・音声データの作成時間とメディア時間間隔情報103とによりグループを構築して、メモリ102内のグループ情報104として記憶する。グループ管理手段108は、構築されたグループ情報104を元に、所望のグループの情報を管理する。データ再生制御手段110は、データ再生回路113を制御する。
図2は、グループ構築手段107のグループ構築アルゴリズムの一例を示す。処理を開始すると、まず、ステップS201で記録メディア115に記録されたデータ群から最初のデータを対象とする。ステップS202でそのデータの作成時間をメディアアクセス制御手段109により取得する。その後、ステップS203において、作成したグループの有無を判断し、最初のデータを対象としており、まだ1つのグループも作成していない場合は、ステップS209に進み、新グループを作成後、ステップS206において、対象データを作成したグループに登録する。次に、ステップS207において、対象データが最後のデータであったか否かを判断し、最後でない場合は、ステップS211に進み、次のデータを対象とした上で、ステップS202に戻ってそのデータの作成時間を取得する。
2番目のデータ以降は、既にそれまでのデータを登録したグループが存在するので、ステップS203の条件判定からステップS204に進み、それまでに作成したグループ群に対して、まず、ステップS204で最初のグループを対象として、ステップ205において対象データが対象グループに入るか否かを時間間隔情報103により判定し、入る場合はステップS206に進んで登録する。入らない場合は、ステップS208において、対象グループが作成したグループの最後のグループであるか否かを判定し、最後のグループでない場合は、ステップS210に進んで次のグループを対象とした上で、ステップS205に戻る。最後のグループであった場合は、既存グループに入らないということなので、ステップS209に進み、新グループを作成後、ステップS206での登録に進む。
全データへの処理が終わると、ステップS207において最後のデータと判定され、全データのグループ登録が終了する。その後、データの並び順によっては、グループ間の間隔が時間間隔情報103以内になっているものができている可能性があるので、それらのグループをステップS212において合体して、全グルーピング処理を終了する。
データがグループに入るかどうかのステップS205の判定では、条件1:(グループの時間順で最初のデータの作成時間−時間間隔情報103)≦(データの作成時間)と、条件2:(データの作成時間)≦(グループの時間順で最後のデータの作成時間+時間間隔情報103)の両方の条件を満たす場合に登録すれば、グループ内の各データの時間間隔が時間間隔103以内になる。
また、データが動画や音声のように時間長のあるデータの場合は、データの作成時間にデータの時間長を加えた時間をデータの終了時間とすると、条件3:(グループの時間順で最初のデータの作成時間−時間間隔情報103)≦(データの終了時間)と、条件4:(データの作成時間)≦(グループの時間順で最後のデータの終了時間+時間間隔情報103)の両方を満たすことを条件とすると、各データの終了時間と作成時間の間隔が時間間隔情報103以内になるようにグループ分けすることができる。
このような判定をすることで、元のデータ群の時間的並び順と重なりを気にすることなく、グルーピングすることが可能である。
図3は、本実施例のユーザインタフェースの一例である。コントローラ101は、少なくとも上下左右キーのようなカーソルを移動するキーと決定キーを具備する。
この例では、まず、画面301において、分割時間選択肢メニュー302により時間間隔情報103をユーザが設定できる。その際、選択肢として、分割時間メニュー選択肢309のような時間間隔のリストを用意しておき、その中から選択することで、数字を直接入力するよりも容易に決定できる。
分割時間選択メニューにより決定すると、図2に示すアルゴリズムを用いてグルーピング処理を行う。その結果として、開始時間欄304の行にそのグループの時間順で先頭のデータの作成時間を表示し、記録時間欄305の行にそのグループの時間順で先頭のデータの作成時間から最後のデータの終了時間までの時間を、そのグループの時間長として表示する。ファイル数欄306の行には、そのグループに含まれるデータの数を表示する。
この例では、分割時間の選択と同時にグルーピングを開始しているが、ユーザインタフェースの中に開始ボタンを設けて、開始の指示を改めて受けることも可能である。
また、この例では、一度、グルーピングした後、その中のひとつのグループをカーソル307で選択し、コントローラ101で例えば右移動キーを押すと、画面310に切り替わり、そのグループに対してさらに細かなグルーピングを行うことで、階層的なグルーピングを可能としている。切り替わり直後のリスト表示としては、親グループ情報欄308に選択したグループの情報が表示されており、分割時間選択メニュー302で指定する時間をさらに短くすると、その時間間隔を用いて図2のアルゴリズムでグルーピング処理を行い、リスト表示する。なお、分割時間選択メニュー302の選択肢のうち、前回のグルーピングに使用した時間間隔よりも長い時間は無意味であるので、前回のグルーピングで使用した時間間隔よりも短い時間のみを選択肢として有効になるように制限する。
また、本例では、保存ボタン303にカーソルを合わせて決定すると、その時に設定している分割時間及び、どのデータがどのグループに入っているかというグループ登録情報を記録することが可能である。
次回のグルーピング処理の際にその情報を読み出すことで、グルーピングにかかる時間を高速化することができ、また、階層的にグルーピングしている場合でも、グループ登録情報として、各グループの中での分割時間及びデータとより細かなグループとの登録情報を記録することで、ユーザの行った階層的なグルーピングの処理の全てを記憶することができる。
グループ登録情報に階層的なグルーピング情報のあるグループを選択して、画面301から画面310に切り替わる際には、切り替わった後の画面310における分割時間選択メニュー302には、記録されている分割時間を表示する。
画面301において分割時間選択メニューで最初に選択される分割時間を予め別メニューでユーザが選択可能とすることで、グルーピングの処理画面301を開いた際に、操作なしで、そのユーザの持つデータの時間的分散傾向にあわせたグルーピング処理を行うことも可能である。
対象とするデータ群の時間的に先頭のデータの作成時間と末尾のデータの作成時間の間隔を全データ記録時間として用いて、画面301において分割時間選択メニューで最初に選択される分割時間を、全データ記録時間の例えば1/20にもっとも近い時間間隔とすることで、自動でグルーピングをすることも可能である。
図4は、図1に示す構成を部分的に追加・変更した変更実施例の概略構成ブロック図を示す。
この変更実施例では、記録メディア115に保存されている個々のデータに例えば作成時にいた位置のGPS情報のような地理情報(位置情報)が関連付けられており、データアクセス制御手段109は、そのデータの地理情報を取得することが可能である。
401は同一グループとするデータの地理レベル情報であり、地理レベル設定手段405により、リスト404のような地名の単位となる地理レベル選択肢から1つを選択して設定する。402は地図データベース403を参照して、個々のデータの地理情報を地理レベル情報401で設定された地理レベルの地名に変換し、同一の地名のデータを同一グループとしてグルーピングし、グループ情報105を構築する。
図5は、変更実施例のユーザインタフェースである。ここでは、時間間隔情報103でのグルーピングと地理レベル情報401でのグルーピングを組み合わせている。
地理レベルでのグルーピングのアルゴリズムにも図2に示すアルゴリズムを用いることができ、この中のステップS205において、地図データベースを用いて地理情報を地理レベル情報401で設定された地理レベルの地名に変換し、対象としているグループの地名と同一かどうかを判定する。
画面501上には、画面301に対し、地理レベルリスト404の中から設定する地理レベルを選択する地理レベル選択メニュー502とグループの情報として地名欄503が追加されている。
図6は、変更実施例のアルゴリズム例であり、図5における時間間隔情報103でのグルーピングと地理レベル情報401でのグルーピングを組み合わせた際のアルゴリズムである。
ステップS601において、図2と同様の時間間隔情報を用いたグルーピング処理を行う。次に、ステップS602において、作成したグループの最初のグループを対象とし、次のステップ603において、地理レベルのグルーピングを行う。ステップS604では、対象としている時間間隔情報を用いたグルーピングで生成されたグループ群の最後のグループであるかどうかを判定し、最後でない場合は、ステップS605で、次のグループを地理レベル情報を用いたグルーピングの対象として、ステップS603に戻り、最後の場合は終了する。
ここで、ステップS601とステップS603を逆にすると、異なったグルーピング結果が得られる。ユーザに、この順序を逆にする設定メニューを作成しても良い。
本発明の一実施例の概略構成ブロック図である。 本実施例のグループ構築手段におけるアルゴリズムの例である。 本実施例におけるユーザインタフェースの例である。 本発明の変更実施例の概略構成ブロック図である。 変更実施例のユーザインタフェース例である。 変更実施例のアルゴリズム例である。
符号の説明
101:コントローラ
102:メモリ
105:制御用CPU
106:時間間隔設定手段
107:グループ構築手段
108:グループ管理手段
109:メディアアクセス制御手段
110:データ再生制御手段
111:OSD制御手段
112:データアクセス回路
113:データ再生回路
114:OSD回路
115:記録メディア
116:スピーカ
117:モニタ

Claims (4)

  1. 複数の映像データがそれぞれ作成された時間を示す作成時間情報を取得する作成時間取得手段と、
    前記複数の映像データをその作成時間に従ってグループ化するための複数の時間間隔の候補を表示装置の画面上に一覧表示する表示制御手段と、
    前記一覧表示された複数の時間間隔の候補の中から第1の時間間隔を選択する指示手段と、
    前記指示手段により選択された第1の時間間隔と前記作成時間取得手段により取得された作成時間情報とに基づいて前記複数の映像データを複数のグループに分割し、各グループを示す管理情報を生成するグループ構築手段と、
    前記複数のグループの中の一つのグループを選択する選択手段
    とを備え、
    前記表示制御手段は、前記選択手段により選択された一つのグループを更にグループ化するための時間間隔の候補を一覧表示し、
    前記グループ構築手段は、前記選択されたグループを更にグループ化するために一覧表示された時間間隔の候補から前記指示手段により選択された第2の時間間隔と前記作成時間取得手段により取得された作成時間情報とに基づいて、前記選択されたグループの複数の映像データを更に複数のグループに分割する
    ことを特徴とする映像処理装置。
  2. 前記表示制御手段は、前記管理情報に応じて前記複数のグループの情報と前記グループに対して選択されている前記第1の時間間隔とを前記表示装置に表示することを特徴とする請求項に記載の映像処理装置。
  3. 前記表示制御手段は、前記選択されたグループを更にグループ化するための時間間隔の候補として、前記第1の時間間隔よりも短い時間間隔を表示することを特徴とする請求項に記載の映像処理装置。
  4. 複数の映像データに関する付加情報を取得する付加情報取得手段と、
    前記複数の映像データをその付加情報に従ってグループ化するための複数の分割単位の候補を表示装置の画面上に一覧表示する表示制御手段と、
    前記一覧表示された複数の分割単位の候補の中から第1の分割単位を選択する指示手段と、
    前記指示手段により選択された第1の分割単位と前記付加情報取得手段により取得された付加情報とに基づいて前記複数の映像データを複数のグループに分割し、各グループを示す管理情報を生成するグループ構築手段と、
    前記複数のグループの中の一つのグループを選択する選択手段
    とを備え、
    前記表示制御手段は、前記選択手段により選択された一つのグループを更にグループ化するための分割単位の候補を一覧表示し、
    前記グループ構築手段は、前記選択されたグループを更にグループ化するために一覧表示された分割単位の候補から前記指示手段により選択された第2の分割単位と前記付加情報取得手段により取得された付加情報とに基づいて、前記選択されたグループの複数の映像データを更に複数のグループに分割する
    ことを特徴とする映像処理装置。
JP2004240296A 2004-08-20 2004-08-20 映像処理装置 Expired - Fee Related JP4404310B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004240296A JP4404310B2 (ja) 2004-08-20 2004-08-20 映像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004240296A JP4404310B2 (ja) 2004-08-20 2004-08-20 映像処理装置

Publications (3)

Publication Number Publication Date
JP2006060518A JP2006060518A (ja) 2006-03-02
JP2006060518A5 JP2006060518A5 (ja) 2009-03-26
JP4404310B2 true JP4404310B2 (ja) 2010-01-27

Family

ID=36107634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004240296A Expired - Fee Related JP4404310B2 (ja) 2004-08-20 2004-08-20 映像処理装置

Country Status (1)

Country Link
JP (1) JP4404310B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012079174A (ja) * 2010-10-04 2012-04-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5879697B2 (ja) * 2011-02-25 2016-03-08 ソニー株式会社 プログラム、情報処理装置および情報処理方法
AU2015203570A1 (en) * 2015-06-26 2017-01-19 Canon Kabushiki Kaisha Method, system and apparatus for segmenting an image set to generate a plurality of event clusters

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128166A (ja) * 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
JPH09223153A (ja) * 1996-02-16 1997-08-26 Nippon Telegr & Teleph Corp <Ntt> 住所関連情報検索方法及びシステムならびに住所関連情報検索システムを利用した応用システム
JP4367978B2 (ja) * 1998-01-26 2009-11-18 カシオ計算機株式会社 撮影画像表示装置および撮影画像表示方法
JP2001134578A (ja) * 1999-11-02 2001-05-18 Hitachi Ltd データ検索方法および装置並びにその処理プログラムを記録した記録媒体
JP2004229070A (ja) * 2003-01-24 2004-08-12 Konica Minolta Holdings Inc ファイル分類装置、ファイル分類プログラム、デジタルカメラ及びファイル分類システム

Also Published As

Publication number Publication date
JP2006060518A (ja) 2006-03-02

Similar Documents

Publication Publication Date Title
KR101660271B1 (ko) 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법
JP5904706B2 (ja) メディアコンテンツ閲覧及び関連メディアコンテンツの機能実行方法及び装置
JP4835134B2 (ja) 画像表示装置、画像表示方法、および、プログラム
CN101652741B (zh) 用于导航显示数据的系统和方法
EP1796099A1 (en) Image managing apparatus and image display apparatus
US20090189911A1 (en) Display device, display method, and program
JP5615023B2 (ja) 表示制御装置及び表示制御方法
JP2010141412A (ja) 画像選択装置及びその制御方法
JP2008192013A (ja) 表示画像制御装置及びその制御方法
JP2008242543A (ja) 画像検索装置、画像検索装置の画像検索方法、及び画像検索装置の制御プログラム
KR101279437B1 (ko) 맵 템플릿을 이용하여 디바이스들을 관리하는 방법 및 장치
JP4951373B2 (ja) 画像検索装置、画像検索方法、及びコンピュータプログラム
JP4404310B2 (ja) 映像処理装置
JP2007080109A (ja) データ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラム
JP2009069875A (ja) コンテンツ検索装置、コンテンツ検索方法、プログラム、および記録媒体
JP2012089928A (ja) 画像処理装置、画像処理方法
JP4708981B2 (ja) 画像表示装置、自動画像表示方法、プログラム、及び記憶媒体
JP2006018749A (ja) 情報処理装置及びデータ表示方法及びプログラム及び記憶媒体
JP4102933B2 (ja) 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
TWI700626B (zh) 系統構築支援裝置、系統構築支援方法及記錄媒體
JP4561358B2 (ja) 電子アルバム作成装置および電子アルバム作成システム
KR20100018660A (ko) 영상 데이터의 파일명 생성 방법
JP2005209111A (ja) 検索結果処理装置、検索結果処理プログラム、検索結果処理プログラム記録媒体及び検索結果処理システム
JP4547998B2 (ja) 録画情報管理装置及びプログラム
JP2020173513A (ja) 動画データ管理装置、動画データ管理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121113

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4404310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131113

Year of fee payment: 4

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

LAPS Cancellation because of no payment of annual fees