JP4986827B2 - 画像再生装置およびその制御方法、プログラム - Google Patents

画像再生装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP4986827B2
JP4986827B2 JP2007313576A JP2007313576A JP4986827B2 JP 4986827 B2 JP4986827 B2 JP 4986827B2 JP 2007313576 A JP2007313576 A JP 2007313576A JP 2007313576 A JP2007313576 A JP 2007313576A JP 4986827 B2 JP4986827 B2 JP 4986827B2
Authority
JP
Japan
Prior art keywords
volume
image
change
display time
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007313576A
Other languages
English (en)
Other versions
JP2009141486A (ja
JP2009141486A5 (ja
Inventor
友章 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007313576A priority Critical patent/JP4986827B2/ja
Publication of JP2009141486A publication Critical patent/JP2009141486A/ja
Publication of JP2009141486A5 publication Critical patent/JP2009141486A5/ja
Application granted granted Critical
Publication of JP4986827B2 publication Critical patent/JP4986827B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、撮像装置により撮影された画像を連続的に再生可能な画像再生装置およびその制御方法、プログラムに関する。
従来、撮影画像をスライドショー形式で再生する場合、各画像の再生時間は一律である。一枚あたりの再生時間は設定することができても、一枚ごとに再生時間を個別に設定することはできなかった。
しかしながら、良い画像は長く、不要な画像は短くといったように、画像の出来不出来によって、一枚ごとに再生時間を変えることができれば、より効果的なスライドショーとなるものと考えられる。
この点を鑑みた画像再生装置として、お気に入り度、タイトル、再生履歴、印刷履歴、撮影情報などの画像に対応付けられている関連情報の内容に基づいて、スライドショーの再生時間を変更するといったものがある(特許文献1参照)。
また、スライドショー再生中に画像送り釦を操作することによって、再生中の画像を即座に非表示として次の画像を再生させるようにしたものもある(特許文献2参照)。
特開2006−157324号公報 特開2003−209809号公報
しかしながら、特許文献1に記載の画像再生装置では、あらかじめ画像にお気に入り度やタイトルなどの情報を付加する操作が必要である。また、特許文献2に記載の画像再生装置では、再生画像のコマ送りに釦操作を必要とし、どちらも追加操作なしで自動的に再生時間を変更することはできない。
本発明のこのような点を鑑みたものであり、新たな追加操作を必要とせずに自動的に再生画像の表示時間を変更することを目的とする。
上記課題を解決するために、本発明は、画像を切り替えながら連続的に再生可能な画像再生装置において、周囲の音量を検出する音量検出手段と、音量検出手段により検出された音量のレベルに応じて、画像の表示時間を変更する変更手段とを有し、変更手段は、音量検出手段により検出された音量のレベルが閾値未満の場合には、画像の表示時間を短縮することを特徴とする画像再生装置を提供する。
また、上記課題を解決するために、本発明は、画像を切り替えながら連続的に再生可能な画像再生装置において、周囲の音量を検出する音量検出手段と、音量検出手段により検出された音量レベルの変化量を検出する音量変化量検出手段と、音量変化量検出手段により検出された変化量のレベルに応じて、画像の表示時間を変更する変更手段とを有し、変更手段は、音量変化量検出手段により検出された音量レベルの変化量が閾値以上の場合には、画像の表示時間を延長することを特徴とする画像再生装置を提供する。
また、上記課題を解決するために、本発明は、画像を切り替えながら連続的に再生可能な画像再生装置において、周囲の音量を検出する音量検出手段と、音量検出手段により検出された音量レベルの変化量を検出する音量変化量検出手段と、音量変化量検出手段により検出された変化量のレベルに応じて、画像の表示時間を変更する変更手段とを有し、変更手段は、音量変化量検出手段により検出された音量レベルの変化量が閾値未満の場合には、画像の表示時間を短縮することを特徴とする画像再生装置を提供する。
本発明による画像再生装置は、スライドショー再生時の周囲音をモニタすることで、鑑賞者の反応によって画像の出来不出来を判断し、新たな追加操作を必要とせずに自動的に画像の表示時間を変更することができる。
以下、図面を用いて本発明の実施形態を説明する。
(第一の実施形態)
図1は、本発明の第一の実施形態における画像再生装置の構成を示す図である。
この画像再生装置は再生するための画像を撮影する撮像手段を備えている。
1は撮像部10、画像処理部11、表示部30など画像再生装置全体の動作を制御するシステム制御部である。10は撮像素子(CCDセンサ、CMOSセンサなど)を用いて光学像を電気的な画像信号に変換する撮像部である。11は撮像部10から出力された画像信号を現像処理する画像処理部である。12はシステム制御部1の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。撮影された画像をスライドショー再生するための操作手段もこの操作部12に含まれている。
13は撮影した静止画像を一時的に格納するためのバッファメモリであり、所定枚数の静止画像を格納するのに十分な記憶量を備えている。また、バッファメモリ13はシステム制御部1の作業領域としても使用することが可能である。撮像部10から出力される撮像信号は画像処理部11で現像処理され、バッファメモリ13に格納される。バッファメモリ13に格納された画像データは随時読み出されJPEGなどの画像ファイルに圧縮処理され、メモリカードインターフェース14を介して画像再生装置に接続されたメモリカード15に記録される。
20は撮影された画像をスライドショー再生する際に周囲の音を検出するマイクロフォンであり、検出した音をアナログの電気信号に変換する。21はマイクロフォン20から送られてきた音信号の音量レベルを検出する音量検出手段であり、A/D変換器などで構成され、アナログ信号からデジタル信号に変換されて、システム制御部1に入力される。
30は操作部12の操作に応じて、文字、画像などを用いて動作状態やメッセージ等を表示させる液晶などで構成された表示部であり、撮影された画像もこの表示部30に表示される。また外部出力インターフェース31を介して画像再生装置に接続された外部ディスプレイなどの表示装置32に表示部30と同じ内容を表示させることもできる。
次に、図2のタイミングチャートを用いて、本実施例におけるスライドショー再生時の動作について説明する。
まず、操作部12の操作によってスライドショー再生が開始されると、メモリーカード15に記録されている複数枚の撮影画像の中から、ファイル番号の若い順に表示部30または表示装置32に表示され、最初に画像1が表示される(t)。
また、スライドショー開始と同時に再生画像装置の周囲音のモニタが開始される。
周囲音はマイクロフォン20によって検出され、音量変換手段21によってデジタル信号に変換された音量レベルが閾値より小さい(閾値未満)場合には、デフォルトの時間(例えば4秒)表示されたのちに次の画像2、画像3へと順次表示が切り換わる(t,t)。
モニタしている音量レベルが閾値レベル以上となった場合には(t)、システム制御部1によって現在表示中の画像3の表示時間が延長される(例えば4秒延長)。
すなわち、本来デフォルトで次の画像に切り換わるはずの時間(t)経過後も画像3が表示され続け、4秒延長されたのちに次の画像4に表示が切り換わる(t)。
その結果、デフォルトでは4秒である表示時間が、音量レベルが閾値レベル以上となった場合には、8秒表示されることになる。
次に、モニタしている音量レベルが閾値レベルより小さくなった場合には(t)、システム制御部1によって現在表示中画像の表示時間が短縮され(例えば2秒短縮)、次の画像5に表示が切り換わる(t)。その結果、デフォルトでは4秒である表示時間が、音量レベルが閾値レベルより小さくなった場合には、2秒しか表示されないことになる。
また、ここでは一定時間の延長としたが、音量レベルが閾値レベル以上となった場合には、閾値レベル以上である期間は延長しつづけ、閾値レベルより小さくなった時点で次の画像を表示させるようにしてもよい。さらに短縮する場合にも、音量レベルが閾値レベルより小さくなった時点で次の画像を表示させるようにしてもよい。
以上説明したように、本実施形態による画像再生装置は、スライドショー再生時に周囲音をモニタしておき、鑑賞者による拍手や歓声などによって、音量レベルが閾値レベル以上になった場合には、表示中の画像の表示時間を延長する。
また、鑑賞者の反応がなく場が静まりかえった場合など、音量レベルが閾値レベルより小さくなった場合には、表示中の画像の表示時間を短縮する。このような構成とすることで、鑑賞者の反応によって再生画像の出来不出来を判断し、新たな追加操作を必要とせずに自動的に再生画像の再生時間を変更することが可能となる。
(第二の実施形態)
第一の実施形態では周囲音の音量レベルを検出し、音量レベルが閾値レベル以上になった場合に表示時間を変更するような構成としたが、第二の実施形態に示すような構成としてもよい。
図3は、本発明の第二の実施形態における画像再生装置の構成を示す図である。
120は撮影された画像をスライドショー再生する際に周囲の音を検出するマイクロフォンであり、検出した音をアナログの電気信号に変換する。121はマイクロフォン120から送られてきた音信号の音量レベルを検出する音量検出手段であり、A/D変換器などで構成され、アナログ信号からデジタル信号に変換されて、システム制御部101に入力される。システム制御部101には音量検出手段121から送られてきた音量レベル信号の変化量を検出する音量変化量検出手段123が内蔵されており、ある一定時間ごとにサンプリングされた音量の変化量を検出することができる。
次に、図4のタイミングチャートを用いて、本実施形態におけるスライドショー再生時の動作について説明する。
まず、操作部112の操作によってスライドショー再生が開始されると、メモリーカード115に記録されている複数枚の撮影画像の中から、ファイル番号の若い順に表示部130または表示装置132に表示され、最初に画像1が表示される(t10)。
また、スライドショー開始と同時に再生画像装置の周囲音のモニタが開始される。
マイクロフォン120によって検出され、音量変換手段121によってデジタル信号に変換された音量レベル信号は、システム制御部101に内蔵されている音量変化量検出手段123によってその変化量が検出される。その音量レベル変化量が閾値より小さい(未満)場合には、デフォルトの時間(例えば4秒)表示されたのちに次の画像2、画像3へと順次表示が切り換わる(t11,t12)。
モニタしている音量レベルの変化量が閾値レベル以上となった場合には(t13)、システム制御部101によって現在表示中の画像3の表示時間が延長される(例えば4秒延長)。すなわち、本来デフォルトで次の画像に切り換わるはずの時間(t14)経過後も画像3が表示され続け、4秒延長されたのちに次の画像4に表示が切り換わる(t15)。その結果、デフォルトでは4秒である表示時間が、音量レベルの変化量が閾値レベル以上となった場合には、8秒表示されることになる。
次に、モニタしている音量レベルの変化量が閾値レベルより小さくなった場合には(t16)、システム制御部101によって現在表示中画像の表示時間が短縮され(例えば2秒短縮)、次の画像5に表示が切り換わる(t17)。
その結果、デフォルトでは4秒である表示時間が、音量レベルの変化量が閾値レベルより小さくなった場合には、2秒しか表示されないことになる。
以上説明したように、本発明による画像再生装置は、スライドショー再生時に周囲音をモニタしておき、鑑賞者による拍手や歓声などによって、音量レベルの変化量が閾値レベル以上になった場合には、表示中の画像の表示時間を延長する。また鑑賞者の反応がなく場が静まりかえっている場合など、音量レベルの変化量が閾値レベルより小さくなった場合には、表示中の画像の表示時間を短縮する。音量レベルではなく、音量レベルの変化量を判定材料とすることによって、一定な周囲の雑音ノイズをキャンセルすることができる。このような構成とすることで、鑑賞者の反応によって再生画像の出来不出来を判断し、新たな追加操作を必要とせずに自動的に再生画像の表示時間を変更することが可能となる。
(第三の実施形態)
第三の実施形態は、第一の実施形態あるいは第二の実施形態を前提としている。第一の実施形態あるいは第二の実施形態と共通する部分については説明を省略する。
図5は、第一の実施形態に本実施形態の特徴である周波数検出手段223を追加した図であり、第三の実施形態における画像再生装置のブロック図である。
マイクロフォン220によって検出された周囲音の周波数を周波数検出手段223によって検出し、検出された音の周波数が人間の発する音声の周波数帯域外である場合には、検出された音はノイズであると判断する。この場合、音量レベルが閾値以上の場合であっても、表示中画像の表示時間を変更しないようにする。
また、検出された音の周波数が人間の発する音声の周波数帯域内である場合には、表示中画像の表示時間が変更されることになる。
このような構成とすることによって、周囲の雑音ノイズに反応して誤って表示時間が変更されることを防ぐことができ、鑑賞者の拍手や歓声などのみに反応して表示時間を変更することが可能となる。
上述した実施形態は、システム或は装置のコンピュータ(CPUやMPUなど)によりソフトウエア的に実現することも可能である。
従って、上述した実施形態をコンピュータで実現するために、かかるコンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。換言すれば、上述した実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一側面を構成する。
なお、上述した実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
上述した実施形態を実現するためのコンピュータプログラムは、記録媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD、DVD等の光/光磁気記録媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであってもよい。
そして、サーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
このように、上述した実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一側面を構成する。
また、上述した実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えば、インターネットを介してホームページからダウンロードさせることによって供給することができる。
また、上述した実施形態を実現するためのコンピュータプログラムは、コンピュータ上で稼働するOS(オペレーティングシステム)の機能を利用するものであってもよい。
更に、上述した実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本発明は、デジタルカメラなどの撮像装置に限定されるものではなく、携帯電話や携帯端末などの画像を再生可能な装置に適用することができる。
本発明の第一の実施形態における画像再生装置のブロック図である。 本発明の第一の実施形態における動作を示すタイミングチャートである。 本発明の第二の実施形態における画像再生装置のブロック図である。 本発明の第二の実施形態における動作を示すタイミングチャートである。 本発明の第三の実施形態における画像再生装置のブロック図である。
符号の説明
1 システム制御部
10 撮像部
11 画像処理部
12 操作部相サブ
13 バッファメモリ
14 メモリカードインターフェース
15 メモリカード
20 マイクロフォン
21 音量検出手段
30 表示部
31 外部出力インターフェース
32 表示装置
122 音量変化量検出手段
223 周波数検出手段

Claims (9)

  1. 画像を切り替えながら連続的に再生可能な画像再生装置において、
    周囲の音量を検出する音量検出手段と、
    前記音量検出手段により検出された音量のレベルに応じて、画像の表示時間を変更する変更手段とを有し、
    前記変更手段は、音量検出手段により検出された音量のレベルが閾値未満の場合には、画像の表示時間を短縮することを特徴とする画像再生装置。
  2. 画像を切り替えながら連続的に再生可能な画像再生装置において、
    周囲の音量を検出する音量検出手段と、
    前記音量検出手段により検出された音量レベルの変化量を検出する音量変化量検出手段と、
    前記音量変化量検出手段により検出された変化量のレベルに応じて、画像の表示時間を変更する変更手段とを有し、
    前記変更手段は、音量変化量検出手段により検出された音量レベルの変化量が閾値以上の場合には、画像の表示時間を延長することを特徴とする画像再生装置。
  3. 画像を切り替えながら連続的に再生可能な画像再生装置において、
    周囲の音量を検出する音量検出手段と、
    前記音量検出手段により検出された音量レベルの変化量を検出する音量変化量検出手段と、
    前記音量変化量検出手段により検出された変化量のレベルに応じて、画像の表示時間を変更する変更手段とを有し、
    前記変更手段は、音量変化量検出手段により検出された音量レベルの変化量が閾値未満の場合には、画像の表示時間を短縮することを特徴とする画像再生装置。
  4. 画像を切り替えながら連続的に再生可能な画像再生装置の制御方法において、周囲の音量を検出する音量検出工程と、
    前記音量検出工程により検出された音量のレベルに応じて、画像の表示時間を変更する変更工程とを有し、
    前記変更工程は、音量検出工程により検出された音量のレベルが閾値未満の場合には、画像の表示時間を短縮することを特徴とする画像再生装置置の制御方法。
  5. 画像を切り替えながら連続的に再生可能な画像再生装置の制御方法において、周囲の音量を検出する音量検出工程と、
    前記音量検出工程により検出された音量レベルの変化量を検出する音量変化量検出工程と、
    前記音量変化量検出工程により検出された変化量のレベルに応じて、画像の表示時間を変更する変更工程とを有し、
    前記変更工程は、音量変化量検出工程により検出された音量レベルの変化量が閾値以上の場合には、画像の表示時間を延長することを特徴とする画像再生装置の制御方法。
  6. 画像を切り替えながら連続的に再生可能な画像再生装置の制御方法において、周囲の音量を検出する音量検出工程と、
    前記音量検出工程により検出された音量レベルの変化量を検出する音量変化量検出工程と、
    前記音量変化量検出工程により検出された変化量のレベルに応じて、画像の表示時間を変更する変更工程とを有し、
    前記変更工程は、音量変化量検出工程により検出された音量レベルの変化量が閾値未満の場合には、画像の表示時間を短縮することを特徴とする画像再生装置の制御方法。
  7. コンピュータに、
    画像を切り替えながら連続的に再生可能な画像再生装置の周囲の音量を検出する音量検出手順と、前記音量検出手順により検出された音量のレベルに応じて、再生画像の表示時間を変更する変更手順とを実行させるためのプログラムであって、
    前記変更手順は、音量検出手順により検出された音量のレベルが閾値未満の場合には、画像の表示時間を短縮することを特徴とするプログラム。
  8. コンピュータに、
    画像を切り替えながら連続的に再生可能な画像再生装置の周囲の音量を検出する音量検出手順と、前記音量検出手順により検出された音量のレベルに応じて、再生画像の表示時間を変更する変更手順とを実行させるためのプログラムであって、
    記変更手順は、音量変化量検出手順により検出された音量レベルの変化量が閾値以上の場合には、画像の表示時間を延長することを特徴とするプログラム。
  9. コンピュータに、
    画像を切り替えながら連続的に再生可能な画像再生装置の周囲の音量を検出する音量検出手順と、前記音量検出手順により検出された音量のレベルに応じて、再生画像の表示時間を変更する変更手順とを実行させるためのプログラムであって、
    前記変更手順は、音量変化量検出手順により検出された音量レベルの変化量が閾値未満の場合には、画像の表示時間を短縮することを特徴とするプログラム。
JP2007313576A 2007-12-04 2007-12-04 画像再生装置およびその制御方法、プログラム Expired - Fee Related JP4986827B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007313576A JP4986827B2 (ja) 2007-12-04 2007-12-04 画像再生装置およびその制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007313576A JP4986827B2 (ja) 2007-12-04 2007-12-04 画像再生装置およびその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2009141486A JP2009141486A (ja) 2009-06-25
JP2009141486A5 JP2009141486A5 (ja) 2010-12-24
JP4986827B2 true JP4986827B2 (ja) 2012-07-25

Family

ID=40871693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007313576A Expired - Fee Related JP4986827B2 (ja) 2007-12-04 2007-12-04 画像再生装置およびその制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP4986827B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011160160A (ja) * 2010-01-29 2011-08-18 Toshiba Corp 情報処理装置及び画像再生方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP2007082166A (ja) * 2005-09-16 2007-03-29 Toshiba Corp 電子機器の制御方法および電子機器
JP2008141484A (ja) * 2006-12-01 2008-06-19 Sanyo Electric Co Ltd 画像再生システム及び映像信号供給装置

Also Published As

Publication number Publication date
JP2009141486A (ja) 2009-06-25

Similar Documents

Publication Publication Date Title
JP4865396B2 (ja) 画像再生装置及び画像再生方法
US20130034338A1 (en) Reproduction apparatus and control method thereof
US7822337B2 (en) Apparatus and method for image capturing, apparatus and method for playback, and program
JP2006295652A (ja) 表示処理装置及び表示処理方法
JP4986827B2 (ja) 画像再生装置およびその制御方法、プログラム
JP2005198165A (ja) 画像再生装置、画像再生方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP2018074220A (ja) 音声処理装置
US20040130635A1 (en) Image processing apparatus and image processing method
JP4591283B2 (ja) 画像再生システム、撮像装置及び情報処理装置
JP6410483B2 (ja) 画像処理装置
KR101314565B1 (ko) 위치 관련 정보를 제공하는 촬영장치 및 그 제어방법
JP6207203B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
JP5950798B2 (ja) 記録装置及びその制御方法
US11758287B2 (en) Method for filtering noise of lens operation and video recording system
JP5424707B2 (ja) 再生装置
JP5024332B2 (ja) 撮影装置および方法、再生装置および方法、並びにプログラム
JP2018195923A (ja) 記録装置
JP2009100019A (ja) 記録再生装置
JP2021141494A (ja) 表示制御装置
JP4349153B2 (ja) 撮像機器、動画表示制御方法及び動画表示制御プログラム
JP4163655B2 (ja) 画像表示装置
JP4626690B2 (ja) 撮像記録装置及び撮像記録制御プログラム
KR100614746B1 (ko) 동영상 다중 저장 방법
JP2015036748A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP5506471B2 (ja) 撮像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120424

R151 Written notification of patent or utility model registration

Ref document number: 4986827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees