JP6045193B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP6045193B2
JP6045193B2 JP2012116590A JP2012116590A JP6045193B2 JP 6045193 B2 JP6045193 B2 JP 6045193B2 JP 2012116590 A JP2012116590 A JP 2012116590A JP 2012116590 A JP2012116590 A JP 2012116590A JP 6045193 B2 JP6045193 B2 JP 6045193B2
Authority
JP
Japan
Prior art keywords
face
display
photographer
image
facial feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012116590A
Other languages
English (en)
Other versions
JP2013243594A (ja
JP2013243594A5 (ja
Inventor
柴田 浩
浩 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012116590A priority Critical patent/JP6045193B2/ja
Publication of JP2013243594A publication Critical patent/JP2013243594A/ja
Publication of JP2013243594A5 publication Critical patent/JP2013243594A5/ja
Application granted granted Critical
Publication of JP6045193B2 publication Critical patent/JP6045193B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Structure And Mechanism Of Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Description

本発明は、開閉自在且つ回転自在な表示手段を備えた撮像装置およびその制御方法に関するものである。
表示部の開閉状態に応じて、表示部への電源の切換えを制御し、表示部の開閉状態及び表示部の回転角に応じて、ビユーフアインダへの電源及び/又は音声出力部への電源の切換えを制御するビデオカメラ(特許文献1)が提案されている。このビデオカメラでは、前記表示部が開状態でかつ所定角度回転されたとき、表示部の表示領域に表示される映像が上下逆となるように表示する表示モードの切換えを制御する制御手段を具えている。
特許第3585057号公報
しかしながら、特許文献1では撮影者自身を撮影するいわゆる対面撮影時に、撮影レンズの先端にワイドコンバータ、フード等の光学アクセサリーを装着した場合、光学アクセサリーの外形が表示部の表示領域の一部を隠してしまい、撮影者が表示領域全部を確認することができず、撮影内容を把握することができないという問題があった。
(発明の目的)
本発明の目的は、対面撮影モードでフード等の光学アクセサリー外形により表示手段の表示領域の一部が隠れる場合でも、撮影者が撮影内容を把握させることができる撮像装置およびその制御方法を提供することである。
上記目的を達成するために、本発明の撮像装置は、撮像装置本体に回転可能に取り付けられており、撮像画像を表示する表示手段を備えた撮像装置において、前記表示手段に表示する内容を制御する表示制御手段と、撮像レンズに取り付けられるアクセサリーの装着を検出する検出手段と、撮像画角内の顔を検出し、前記表示手段における顔の像位置を判定する顔検出手段とを有し、前記表示制御手段は、前記表示手段が所定角度以上回転されている場合に対面撮影モード表示にし、前記対面撮影モード表示の時に、前記表示手段における顔の像位置が、前記検出手段で検出したアクセサリーの一部に隠されて撮影者から見えない範囲であることを判定した場合には、前記撮像画像の表示領域を縮小して表示するよう制御することを特徴とするものである。
本発明によれば、対面撮影モードでフード等の光学アクセサリー外形により表示手段の表示領域の一部が隠れる場合でも、撮影者が撮影内容を把握させることができる撮像装置およびその制御方法を提供することができる。
本発明の実施例である撮像装置の概略構成を示す斜視図である。 実施例の概略構成を示すブロック図である。 表示部開閉検出スイッチと回転検出スイッチの状態組合わせでの表示状態を示した図である。 実施例の制御動作を示すフローチャートである。 実施例と撮影者の位置の一例を示す上面図である。 図5の状態の実施例の自分撮り表示状態を示す正面図である。 撮像装置と左に位置した撮影者の位置を示す図である。 図7の状態の実施例の表示状態を示す斜視図である。 図7の状態で、実施例における顔が縮小表示移行設定範囲内にある表示状態を示す図である。 顔が縮小表示移行設定範囲内にあり、表示領域を縮小移行して表示している図である。 表示領域を縮小移行して表示している時に顔が縮小表示移行設定判断範囲外に移動したことを表示している図である。 顔が縮小表示移行判断範囲外にあり、表示領域を通常サイズに戻して表示している図である。
本発明を実施するための形態は、以下の実施例に記載される通りである。
図1に本発明の実施例である撮像装置の一例としてのカメラ一体型ビデオの外観図を示す。撮像装置本体であるカメラ一体型ビデオには表示手段である表示部28が開閉自在かつ回転自在に取り付けられている。表示部28は画像や各種情報を表示する。操作部70はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る。電源スイッチ72は電源オン、電源オフを切り替える。記録媒体200はメモリカードやハードディスク等である。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、カメラ一体型ビデオ100との通信が可能となる。フード101は、撮影レンズの先端に着脱自在に取り付けられて、画角外からの光がレンズ前面にあたり、レンズ内部で乱反射をして、ゴースト、フレアなどが起きるのを防ぐ。
図2は、本実施例によるカメラ一体型ビデオ100の構成例を示すブロック図である。
図2において、撮像レンズ103はズームレンズ、フォーカスレンズを含むレンズ群である。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子を含むものである。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部25からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部24では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部50が所定の処理を行う。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部25を介して、或いは、画像制御部24を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって得られ、A/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器26は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器26を介して表示部28により表示される。表示部28は、LCD等の表示領域28a上に、D/A変換器26からのアナログ信号に応じた表示を行う。
表示部開閉検出スイッチ29は、表示部28のカメラ一体型ビデオ100に対する位置を検出し、表示部28がカメラ一体型ビデオ100に対して閉じられた位置(収納状態)にあるときは、システム制御部50が<OFF>の判断を行う。また、表示部28がカメラ一体型ビデオ100に対して開かれた位置にあるときは、システム制御部50が<ON>の判断を行う。表示部回転検出スイッチ30は、表示部28のカメラ一体型ビデオ100に対する位置を検出し、表示部28がカメラ一体型ビデオ100に対して閉じられた位置(収納状態)から開いただけで回転していない位置(開状態)にあるときは、システム制御部50が<OFF>の判断を行う。また、表示部28がカメラ一体型ビデオ100に対して開状態から所定角度以上回転した位置にあるときは、システム制御部50が<ON>の判断を行う。
図3は表示部開閉検出スイッチ29、表示部回転検出スイッチ30の状態をシステム制御部50が判断し、表示領域28aへの表示方法を制御した状態を示す。このように、開閉部28の開閉状態と回転状態に応じて表示部28への表示の内容を変更する。
図2の説明に戻る。システム制御部50は、カメラ一体型ビデオ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する本実施例各処理を実現する。また、システム制御部50は表示部開閉検出スイッチ29、表示部回転検出スイッチ30からの信号を受け、メモリ32、D/A変換器26、表示部28等を制御することにより表示制御も行う。操作部70はシステム制御部50に各種の動作指示を入力するための操作部材を有する。
光学アクセサリー装着検出スイッチ31はフード(光学アクセサリー)101がカメラ一体型ビデオ100の撮像レンズ103の前方に装着されたか未装着かを検出する。光学アクセサリーがカメラ一体型ビデオ100に装着された場合はシステム制御部50が<ON>の判断を行い、光学アクセサリーがカメラ一体型ビデオ100に未装着の場合はシステム制御部50が<OFF>の判断を行う。
上述したシステム制御部50は顔検出部50aを有している。
顔検出部50aの顔検出機能について説明する。顔検出部50aは顔検出対象の画像データを画像処理部24に送る。顔検出部50aの制御下で画像処理部24は、当該画像データに水平方向バンドパスフィルタを作用させる。また、顔検出部50aの制御下で画像処理部24は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。
その後、顔検出部50aは、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、顔検出部50aは、抽出された目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、顔検出部50aは、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。顔検出部50aは、顔の検出結果に応じて前記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ32に記憶する。以上のように撮影画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。
前記被写体情報を記憶し、記憶した顔の特徴を撮影者の顔と設定することで、次回顔検出時に記憶した撮影者の顔と一致するか判断することが可能である。
システム制御部50は前記表示部開閉検出スイッチ29、前記表示部回転検出スイッチ30、前記光学アクセサリー装着検出スイッチ31の検出情報、および前記顔検出部50aの検出情報、記憶された顔情報により判断し、表示領域28aへの表示を制御する。
図4は実施例におけるシステム制御部50の動作の説明に供するフローチャートである。システム制御部50は表示制御部を兼ね、顔顕出部50aも含む
まず図4において、ステップSP1より開始して、ステップSP2において、システム制御部50は電源モードが電源ONか電源OFFかを判定する。電源ONと判定した場合ステップSP3へ進み、表示部28が開いた状態(開状態)か閉じた状態(閉状態)かを判定する。表示部28が開いている(開状態)と判定した場合、システム制御部50はステップSP4へ進み、表示部28の電源をONし、通常表示を行う。
システム制御部50はステップSP3で表示部28が閉じている(閉状態)と判定した場合、システム制御部50はステップSP5へ進み、表示部28が前記閉状態から所定角度回転していない状態か回転した状態かを判定する。表示部28が前記閉状態から所定角度回転していない状態と判定した場合はステップSP2へ戻る。表示部28が前記閉状態から所定角度以上回転している状態と判定した場合はステップSP6へ進み、表示部28の電源をONし、再生モード表示を行う。
システム制御部50はステップSP7へ進み、表示部28が前記開状態から所定角度以上回転していない状態か回転した状態かを判定する。表示部28が前記開状態から所定角度以上回転していない状態と判定した場合はステップSP2へ戻る。表示部28が前記開状態から所定角度以上回転している状態と判定した場合はステップSP8へ進み、対面撮影モード表示を行う。
システム制御部50はステップSP9へ進み、光学アクセサリーが装着されたか未装着かを検出する。光学アクセサリーが未装着と判定した場合、ステップSP13へ進み、表示領域28aへ通常表示行う。ステップSP9で光学アクセサリーが装着されたと判定された場合、システム制御部50はステップSP10へ進む。
システム制御部50の顔検出部50aはステップSP10で、撮像領域内に顔があるかないか判定する。顔がないと判定した場合、ステップSP13へ進み、表示領域28aへ通常表示を行う。ステップSP10で撮像領域内に顔があると判定した場合、システム制御部50はステップSP11へ進み、撮像画角内の顔の像位置が縮小表示移行設定範囲外か縮小表示移行設定範囲内かの判定を行う。撮像画角内の顔の像位置が縮小表示移行設定範囲外と判定した場合、ステップSP13へ進み、表示領域28aへ撮像画像を通常のサイズで表示する。ステップSP11で撮像領画角内の顔の像位置が縮小表示移行設定範囲内と判定した場合、ステップSP12へ進み、表示領域28aへ撮像画像を縮小して表示する。
図5は図4のフローチャートでステップSP8の状態時のカメラ一体型ビデオ100の上方より見たところを示し、図6は撮影者の位置より見たところを示している。撮影者の顔301がカメラ一体型ビデオ100の前方に位置し、自分撮りを行っており、表示部28へ撮影者の顔301の像302が表示されている。
図7は図5の状態より撮影者が撮影方向を右へ変更したカメラ一体型ビデオ100の上方より見たところを示し、図8は撮影者の位置よりカメラ一体型ビデオ100の前方左側から見たところで、表示部28へ表示された撮影者の顔301の像302がフード101に隠れていることを示している。
図9は図8の状態の時の表示部28の表示領域28aの表示状態である。表示部開閉検出スイッチ29、表示部回転検出スイッチ30の出力より、システム制御部50が対面撮影モードを表示し、光学アクセサリー装着検出スイッチ31の出力により光学アクセサリー装着検出と判断したところである。ここで図4のフローチャートのステップSP11で撮像画角内の顔位置が縮小表示移行設定範囲400の外側か内側かの判定を行っており、システム制御部50が顔像位置がフード101の一部に隠されて撮影者から見えない縮小表示移行設定範囲400の内側であることを判定したところである。
図10はステップSP11で撮像画角内の顔位置が縮小表示移行設定範囲400の内側であったのでステップSP12でシステム制御部50が画像処理部24へ画像の縮小指示を送り、表示部28の縮小表示した表示領域28bへ撮影者の顔の像303を縮小して撮影者から見えるような位置に移行して表示したところである。
図11はステップSP12の表示領域28aへ顔の像303を縮小移行して表示していた状態時に、ステップSP11で顔の位置が縮小表示移行設定範囲400の外側に移動したことをシステム制御部50が判定したところである。
図12はシステム制御部50が顔の位置の縮小表示移行設定範囲400の外側への移行を判定し、ステップSP13へ進み、システム制御部50が画像処理部24へ画像を通常のサイズに戻す指示を送り、表示領域28aへ顔の像303のサイズを通常のサイズ(302)に戻して表示したところである。
以上のように、自分撮り時、撮影方向によっては自分が撮影領域に入っており、表示部28に表示されているにもかかわらず、光学アクセサリーを装着することにより撮影方向によっては表示部28の一部が光学アクセサリーに隠れてしまうことがある。実施例によれば、上述のように、撮像画像のすべてを確認することが不可能となるところ、表示領域28aを縮小して撮像画像をすべて光学アクセサリーに隠れないところに移行表示することができるため、撮像画像をすべて把握することができる。
なお図1、図5〜図8では光学アクセサリーとしてフードを装着しているが、自分撮り時背景も広く撮影するためにワイドコンバータを装着して撮影する場合があり、ワイドコンバータの外形により表示領域28aが隠れてしまうことが多く、本実施例を同様に適用することができる。
また本実施例では、縮小表示移行設定範囲400の内側で顔を検出した場合について説明しているが、前記顔検出部により顔検出時の顔の特徴を記憶し、記憶した顔の特徴を撮影者の顔と設定することで、次回顔検出時に記憶した撮影者の顔と一致するか判断する。撮影者の顔と一致したと判断した場合のみ、撮像画角内の顔の位置が縮小表示移行設定範囲400の内側であることを判定した場合には表示部の表示領域を縮小して移行表示するよう制御するすることも可能である。縮小表示移行設定範囲400の内側の顔が非撮影者の顔で、撮影者の顔は縮小表示移行設定範囲400の外側にあり、撮影画像がすべて把握できている場合には縮小移行しない構成とすることができる。
28 表示部
28a 表示領域
29 表示部開閉検出スイッチ
30 表示部回転検出スイッチ
31 光学アクセサリー 装着検出スイッチ
50 システム制御部
50a 顔顕出部
101 フード
302 顔の像
400 縮小表示移行設定範囲

Claims (6)

  1. 撮像装置本体に回転可能に取り付けられており、撮像画像を表示する表示手段を備えた撮像装置において、
    前記表示手段に表示する内容を制御する表示制御手段と、
    撮像レンズに取り付けられるアクセサリーの装着を検出する検出手段と、
    撮像画角内の顔を検出し、前記表示手段における顔の像位置を判定する顔検出手段とを有し、
    前記表示制御手段は、前記表示手段が所定角度以上回転されている場合に対面撮影モード表示にし、前記対面撮影モード表示の時に、前記表示手段における顔の像位置が、前記検出手段で検出したアクセサリーの一部に隠されて撮影者から見えない範囲であることを判定した場合には、前記撮像画像の表示領域を縮小して表示するよう制御することを特徴とする撮像装置。
  2. 前記顔検出手段は、顔の特徴を検出して撮影者の特徴として設定し、次回の顔検出時に検出した顔の特徴が撮影者として設定した顔の特徴と一致するか判断し、
    前記表示制御手段は、次回の顔検出時に検出した顔の特徴が撮影者として設定した顔の特徴と一致しない場合には、前記表示手段の表示領域を縮小移行しないことを特徴とする請求項1に記載の撮像装置。
  3. 前記表示制御手段は、前記撮像画像の表示領域を縮小するとともに、前記撮影者から見える位置に移行して表示するよう制御することを特徴とする請求項1または2に記載の撮像装置。
  4. 撮像装置本体に回転可能に取り付けられており、撮像画像を表示する表示手段を備えた撮像装置の制御方法であって、
    前記表示手段に表示する内容を制御する表示制御ステップと、
    撮像レンズに取り付けられるアクセサリーの装着を検出する検出ステップと、撮像画角内の顔を検出し、前記表示手段における顔の像位置を判定する顔検出ステップとを有し、
    前記表示制御ステップは、前記表示手段が所定角度以上回転されている場合に対面撮影モード表示にし、前記対面撮影モード表示の時に、前記表示手段における顔の像位置が、前記検出ステップで検出したアクセサリーの一部に隠されて撮影者から見えない範囲であることを判定した場合には、前記撮像画像の表示領域を縮小して表示するよう制御することを特徴とする撮像装置。
  5. 前記顔検出ステップにおいては、顔の特徴を検出して撮影者の特徴として設定し、次回の顔検出時に検出した顔の特徴が撮影者として設定した顔の特徴と一致するか判断し、
    前記表示制御ステップにおいては、次回の顔検出時に検出した顔の特徴が撮影者として設定した顔の特徴と一致しない場合には、前記表示手段の表示領域を縮小移行しないことを特徴とする請求項4に記載の撮像装置の制御方法。
  6. 前記表示制御ステップにおいては、前記撮像画像の表示領域を縮小するとともに、前記撮影者から見える位置に移行して表示するよう制御することを特徴とする請求項4または5に記載の撮像装置の制御方法。
JP2012116590A 2012-05-22 2012-05-22 撮像装置およびその制御方法 Expired - Fee Related JP6045193B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012116590A JP6045193B2 (ja) 2012-05-22 2012-05-22 撮像装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012116590A JP6045193B2 (ja) 2012-05-22 2012-05-22 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2013243594A JP2013243594A (ja) 2013-12-05
JP2013243594A5 JP2013243594A5 (ja) 2015-07-16
JP6045193B2 true JP6045193B2 (ja) 2016-12-14

Family

ID=49844057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012116590A Expired - Fee Related JP6045193B2 (ja) 2012-05-22 2012-05-22 撮像装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP6045193B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6324278B2 (ja) * 2014-09-12 2018-05-16 キヤノン株式会社 撮像装置、画像処理装置およびその制御方法
JP6598543B2 (ja) * 2015-07-16 2019-10-30 キヤノン株式会社 発光制御装置およびその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175658A (ja) * 2003-12-09 2005-06-30 Canon Inc 撮像装置、及び、画像表示方法
JP2008228053A (ja) * 2007-03-14 2008-09-25 Nikon Corp カメラ
JP2012047978A (ja) * 2010-08-26 2012-03-08 Nikon Corp 電子機器、撮像装置および電子機器の表示制御プログラム

Also Published As

Publication number Publication date
JP2013243594A (ja) 2013-12-05

Similar Documents

Publication Publication Date Title
KR101783059B1 (ko) 화상 처리 장치 및 그 제어 방법과 컴퓨터 판독가능한 매체
JP5712360B2 (ja) 撮像装置
JP5970937B2 (ja) 表示制御装置および表示制御方法
JP5512878B2 (ja) 撮影装置及び表示制御方法
JP4607818B2 (ja) カメラ
JP2006101466A (ja) デジタルスチルカメラ
US8610812B2 (en) Digital photographing apparatus and control method thereof
JP2005260970A (ja) 複合撮影装置及びそれを利用したdscレンズ制御方法
US9319591B2 (en) Display control device, display control method, program, and imaging apparatus
KR101325002B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
JP6045193B2 (ja) 撮像装置およびその制御方法
JP2019120748A (ja) 電子機器及びその制御方法
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
JP6831473B2 (ja) 撮影装置とその制御方法および制御プログラム
JP6324278B2 (ja) 撮像装置、画像処理装置およびその制御方法
JP4981418B2 (ja) 撮像装置
US9066010B2 (en) Photographing apparatus, photographing method and medium recording photographing control program
JP2005073161A (ja) 処理装置及び画像記録方法
JP5447286B2 (ja) 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2006054536A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6465239B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6069922B2 (ja) 電子機器、撮像装置およびプログラム
JP2010092066A (ja) 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
WO2022024653A1 (ja) 撮像装置
CN109525772B (zh) 图像处理装置、图像处理方法以及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150521

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161115

R151 Written notification of patent or utility model registration

Ref document number: 6045193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees