JP5573292B2 - 映像ソース切替装置 - Google Patents

映像ソース切替装置 Download PDF

Info

Publication number
JP5573292B2
JP5573292B2 JP2010078408A JP2010078408A JP5573292B2 JP 5573292 B2 JP5573292 B2 JP 5573292B2 JP 2010078408 A JP2010078408 A JP 2010078408A JP 2010078408 A JP2010078408 A JP 2010078408A JP 5573292 B2 JP5573292 B2 JP 5573292B2
Authority
JP
Japan
Prior art keywords
video source
selection unit
screen
white
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010078408A
Other languages
English (en)
Other versions
JP2011211581A (ja
Inventor
守 井澤
勝一 塩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010078408A priority Critical patent/JP5573292B2/ja
Publication of JP2011211581A publication Critical patent/JP2011211581A/ja
Application granted granted Critical
Publication of JP5573292B2 publication Critical patent/JP5573292B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、入力された複数の映像ソースのうち少なくとも1つの映像ソースを選択して表示部に表示させるための映像ソース切替装置に関するものである。
従来の映像ソース切替装置としては、映像信号が砂嵐画面、または、全黒画面である無信号状態を検出すると放送がされているチャネルへ映像ソースを切替るものがある。
なお、この出願の発明に関する先行技術文献としては、例えば、特許文献1が知られている。
特開2002−305690号公報
従来の映像ソース切替装置は、無信号状態(砂嵐画面、または、全黒画面)を検出すると映像ソースを切替るものであったが、無信号状態以外にもユーザにとって表示が不要、すなわち、映像ソースの切替を行うべき映像が存在する。例えば、表示部に表示されている画面の全体が白(以下、「全白画面」と称する)の場合である。全白画面の場合、表示される画像の光量の強くなるためユーザはこの画面を長時間見続けると一時的な視力低下につながる場合がある。
近年、乗用車などの車両に、この車両の周辺を撮影するカメラを搭載し、このカメラが撮影した画像を車両内に設置した表示部に表示するものがある。このような車両に搭載する撮影カメラと表示部の場合、全白画面が表示されると車両の運転者の一時的な視力低下を引き起こす可能性があり問題である。
例えば、全白画面を直視した後に、輝度差の大きい暗い場所(トンネルなど)を見た場合には、車両の運転者は一時的に映像を認識する能力が低下する場合があり危険である。
以上のように、従来の映像ソース切替装置は、無信号状態(砂嵐画面、または、全黒画面)の検出は可能となっているが、全白画面の検出ができず、全白画面が表示された場合に映像ソースに切替がなされないという課題を有していた。
本発明は、従来の問題を解決するためになされたもので、表示部に表示中の映像ソースが全白画面となった場合に、他の映像ソースへ切替ることができる映像ソース切替装置を提供することを目的とする。
上記目的を達成するために本発明は、入力された複数の映像ソースのうち少なくとも1つを選択する選択部と、この選択部により選択された映像ソースを表示する表示部と、前記選択部を制御する制御部とを備え、前記表示部の上下に黒帯処理された画面において、この制御部は、前記選択部が選択している映像ソースが表示部に表示される際に、前記選択部が選択している映像ソースのうち画面上下に黒帯処理された範囲を除外した画面について、垂直同期信号からみた所定の位置に輝度信号を画素クロックごとに前記表示部の略画面全体が白色であるか否かを判定し、前記表示部の略画面全体が白色であると判定した場合は前記選択部に対して現在選択されている映像ソースから、これと異なる映像ソースへ切替をするように制御するものである。
本発明の映像ソース切替装置は、映像ソース切替装置が選択している映像ソースが、表示部に表示される際に表示部の略画面全体が白色である場合には現在選択されている映像ソースからこれと異なる映像ソースへ切替を行うものである。
このようにすることにより、表示部に表示中の映像ソースが全白画面となった場合に、他の映像ソースへ切替を行うことができるという効果を奏する。
本発明の一実施の形態における映像ソース切替装置のブロック図 映像信号から輝度信号への変換について説明する図 本発明の一実施の形態における映像ソース切替装置のフローを説明する図 同タイミング図 輝度信号を判定するための閾値について説明する図 画面左右に黒帯処理をされているときの表示部の画面を説明する図 画面左右に黒帯処理がされている場合のタイミング図 画面上下に黒帯処理をされているときの表示部の画面を説明する図 画面上下に黒帯処理がされている場合のタイミング図 同フローを説明する図
以下、本発明の一実施の形態における映像ソース切替装置について図1および図2を参照しながら説明する。図1は本発明の一実施の形態における映像ソース切替装置のブロック図である。また、図2は映像信号から輝度信号への変換について説明する図である。
映像ソース切替装置1は、入力された複数の映像ソースのうち少なくとも1つの映像ソースを選択して表示部7に表示するものである。図1は2つの映像ソースが入力された場合の例である。
それぞれの映像ソースは同期信号および映像信号で構成されている。同期信号は、表示部7の構成する画素数に合せ表示する色の表示タイミングを決定する信号であり、映像信号は映像を画素ごとに赤・緑・青(RGB)の3原色で表したデジタル信号である。以下、各部の構成について詳細に説明する。
選択部2は、入力された複数の映像ソースのうち少なくとも1つの映像ソースを選択して出力する装置である。いずれの映像ソースを出力するかは後述する制御部4が制御する。映像ソースは同期信号および映像信号で構成されており、選択部2は、選択された映像ソースの同期信号および映像信号を別々に出力する。
同期信号は、より詳細には同期信号にはフレームの区切りを示す垂直同期信号と水平方向の区切りを示す水平同期信号と、1画素毎の区切りを示す画素クロックとで構成される。
輝度変換部3は、選択部2が出力した映像ソースの赤・緑・青で表現された映像信号を、色差と輝度成分へ変換するための装置である。
図2を用いて赤・緑・青で表現された映像信号を、色差と輝度成分へ変換する方法について説明する。
映像ソースの映像信号は1画素ごとに、赤・緑・青の3色についてそれぞれ値を有している。人間はこの3色を合色してさまざまな色として認識する。この1画素ごとの赤・緑・青の値はそれぞれのベクトルとして考える事ができる。
輝度変換部3は、この赤・緑・青の値の3つのベクトルを1つの輝度信号へ変換するものである。変換の式としては、例えば、輝度信号Y=0.299R+0.587G+0.114B(式1)のように変換する。
赤・緑・青で表現された映像信号を輝度信号Yに変換するのは後述するように映像ソースが全白画面か否かの判定を高速に行うようにするためである。
制御部4には輝度変換部3が出力する輝度信号Yおよび同期信号が入力され、制御部4はこの2つの信号に基づき現在表示している映像ソースが全白画面か否かを判定(以下、「白画判定」と称する)する。
制御部4は、現在表示されている映像ソースが全白画面であると判定した場合、選択部2に対して映像ソースを他の映像ソースに切替を行うように制御する。
制御部4は、輝度信号Yに基づき白画判定を行うが、赤・緑・青の値により白画判定を行うのではなく、輝度信号Yにより白画判定を行うことで以下の理由により高速に判定を行うことができる。
赤・緑・青のデジタル信号値により白画判定を行う場合は、全画素に対して白か否かを判定する必要がある。例えば、赤・緑・青の値の全てが所定の値より大きいかの判断は、8bit映像信号の場合には各色は8つの信号で構成される為、24個の信号より、その画素は白であると判定できる。
これに対し、輝度信号Yに基づき白画判定を行う場合は、映像信号から色成分を除いた輝度信号Yのみで検出する事が可能となる。すなわち、輝度信号Yが閾値(たとえば、0.9)よりも大きい場合は白であると判定ができる。また、その判定には24個の信号より白色かを演算させる必要もなくなる。図4に示すように、輝度信号Yは同期信号の一つである画素クロックのタイミングで取得する必要がある。24個の信号より判定する場合には、この画素クロックの期間内に演算を終らせる必要があるが、本発明のでは演算する事もなく輝度信号Yのみで判定する事が可能となる。
赤・緑・青のデジタル信号値により白画判定は24信号であるのに対し、輝度信号Yにより白画判定は1信号であるため、判定すべき信号数が約24分の1程度にまで減らすことができる。
制御部4は、例えば、CPUとこのCPUを制御するプログラムを記憶したROM(Read Only Memory)と一時的にデータを記憶するRAM(Random Access Memory)とから構成される。CPUはROMに格納されるプログラムを読出して実行する。
記憶部5には、映像信号に重畳して表示するための文字情報が記録されている。記憶部5は、例えば、ハードディスク、フラッシュメモリなどの不揮発性の記憶素子である。
文字挿入部6は、選択部2が出力した映像信号に所定の文字情報を重畳するためのものである。文字挿入部6は制御部4により制御される。制御部4は後述するように所定の条件を満たすと、記憶部5から文字情報を読み出し、この文字情報を文字挿入部6へ送信して映像信号に重畳させる。
表示部7は、選択部2が出力した映像ソース(同期信号および映像信号)を表示するた
めの装置であり、例えば、液晶ディスプレイである。
以上のように構成された映像ソース切替装置1について、図3〜図5を用いてその処理動作を説明する。図3は映像ソース切替装置1のフロー図であり、図4は同装置のタイミング図である。また、図5はあ輝度信号を判定するための閾値について説明する図である。
図3の「スタート」は、ある映像ソースが選択部2により選択され、この映像ソースが表示部7に表示されている状態であるとする。
最初に、記憶部5に記憶した過去の検出結果をクリア(S101)する。
S101の後、制御部4は、輝度信号Yを取得して白画判定を行う(S102)。この白画判定は、1フレーム分の全画素について輝度信号Yが白であったか否かを判定するものである。制御部4は、輝度信号Yが所定の閾値A以上である場合は白であると判定する。制御部4は、1画素の区切りを決定する画素クロックごとに輝度信号Yの検出を行う。
1フレーム分の全画素について輝度信号Yが白であると判定(S102でYES)すると、制御部4は、選択部2に対して、現在出力している映像ソースをこれと異なる映像ソースへ切替を行うように制御をする(S103)。
最後に、制御部4は、記憶部5に記憶した検出結果を保存する(S104)。制御部4は、処理を終了(エンド)した後、スタートに処理を戻す。
図4は制御部4にて検出する輝度信号Yと同期信号との関係を表したタイミング図である。
表示部7に表示する1画面が、図4の垂直同期信号の1周期(周期T)の期間となる。制御部4は1画素の区切りを決定する画素クロックごとに輝度信号Yを検出する。1周期分(例えば、T0〜T1の期間)の輝度信号Yが全て白である場合は、制御部4はその1画面が全白画像であると判定する。輝度信号Yは同期信号の一つである画素クロックのタイミングで取得される。
図5は、期間T0〜T1において、輝度変換部3が出力した輝度信号Yの変化を表したものである。制御部4は、各画素の輝度信号Yが所定の閾値(図5の閾値1)を以上であるとその画素は白であることを判定する。一方、制御部4は、各画素の輝度信号Yが所定の閾値(図5の閾値1)より小さい場合とその画素は黒であることを判定する。
図5では、制御部4は、輝度信号Yが1周期分(例えば、T0〜T1の期間)の全ての画素について全て白であると判定されるので、この1画面は全白画像であると判定される。
以上のように本発明の一実施の形態における映像ソース切替装置は、選択部2が選択している映像ソースが表示部7に表示される際に略画面全体が白色であるか否かを判定し、表示部7の略画面全体が白色であると判定した場合は選択部2に対して現在選択されている映像ソースからこれと異なる映像ソースへ切替をするように制御する。このようにすることにより、表示部7に表示中の映像ソースが全白画面となった場合に、他の映像ソースへ切替を行うことができるという効果を奏する。
本発明の一実施の形態における映像ソース切替装置は、自動車などの車両に搭載するこ
とができる。この車両には外部にこの車両の周辺を撮影するカメラをさらに備える。選択部2へ入力される映像ソースの少なくとも1つをこのカメラが撮影した映像とする。
運転中に車両に搭載された映像ソース切替装置1の表示部7に全白画面が表示されると、車両の運転者の一時的な視力低下を引き起こす可能性がある。全白画面が表示される場合としては、夜間走行中の対向車のライト、店舗からの光などである。
この全白画面を直視した後に、輝度差の大きい暗い場所(トンネルなど)を見た場合には、車両の運転者は一時的に映像を認識する能力が低下する場合があり危険である。その他、大通りへ出る際のブランドコーナの確認、車線変更時の自動車のピラーによる死角確認、または、サイドミラーの死角である車体の斜め後方の確認時にも同様の危険性がある。
本発明の一実施の形態における映像ソース切替装置を車両に搭載することで、全白画面の場合に他の映像ソースへ切替を行うため、このような危険を回避することができるという効果を奏する。
なお、本実施の形態では、制御部4は1つのフレームでも映像ソースが全白画面であると判定したとき映像ソースに切替を行うと記載したが、制御部4は、複数のフレームにわたり連続して全白画面であると判定したときに映像ソースに切替を行うようにすることもできる。
一瞬だけ全白画面になったに映像ソースに切替が行われると、頻繁に表示画像の切替が発生し利用者に不快感を与える。上記のようにすることにより、一瞬だけ全白画面による頻繁な映像ソースに切替を防止することができる。
なお、本発明の一実施の形態における映像ソース切替装置は、映像ソースに黒帯処理が施されたものに対しても適用することができる。
図6および図8は黒帯処理をされているときの表示部の画面を説明する図であり、図7および図9は黒帯処理がされている際の各信号のタイミング図である。
映像ソース切替装置1から出力されている映像ソースは、テレビ映像の場合だと16:9の縦横比の映像もあれば4:3の縦横比の映像もある。また、映像ソースは映画の映像の場合でも映像ソースの縦横比は異なる場合がある。また、利用者の操作により画面をズームで表示、または、画面全体に表示させるなどの表示方法がされる。
これら操作によっては、図6および図8に示すように表示部7の画面上で映像が表示されないエリア(黒帯)が施される。
この黒帯が施されている画面で制御部4が白画判定を行うと、黒帯部分が存在するため黒帯部分を除外した部分が白画であったとしても、制御部4は白画ではないと判定してしまう。
そこで制御部4は、選択部2が選択している映像ソースのうち黒帯処理された範囲を除外した画面について白画判定をするようにできる。
図7と図9が黒帯処理を施した映像ソースが入力された場合の各信号のタイミング図である。黒帯処理が施された期間は図7および図9に示すように、水平同期信号または垂直同期信号からみた所定の位置に常に輝度信号Yが黒の部分があればそれを黒帯であると判
定することができる。この判定は画素ごとの区切りを表す画素クロックごとに行う。
制御部4は図7と図9に示す黒帯処理を施した期間を白画判定から省くことで黒帯処理をされた映像信号においても白画判定を行うことができる。
このようにすることにより、黒帯処理を施された映像ソースに対しても全白画面であるか否かを判定することができるという効果を奏する。
なお、本実施の形態では、映像ソースがデジタル信号であると記載したが、選択部は、映像ソースがアナログ信号である場合はこれをデジタル信号に変換する機能を有することができる。このようにすることにより、アナログ信号の映像に対しても全白画面判定が可能となる効果を奏する。
なお、本発明の一実施の形態における映像ソース切替装置は、映像信号より表示部7に表示している画面が全白画面であることを検出後、映像ソースの切替を行うための別の映像ソースがない場合、画面へ別映像ソースが無い旨を表した文字を挿入することができる。図10はその際の動作を説明するフロー図である。
制御部4にて、白画判定にてYESと判断したとき、現在表示している映像ソース以外で、有効な映像ソースがあるか否かを判定する(S201)。有効な映像ソースがない場合(S201でNO)、制御部4は記憶部5から文字情報を読出し、これの文字情報を映像信号に重畳させる(S202)。ここで表示する文字情報は、例えば、「画面が明るすぎるので、画面を凝視しないでください」などである。S205では、白画像に文字情報が重畳されて表示されるが、利用者は文字情報による注意喚起により、画面から目を背けることができる。
有効な映像ソースがある場合(S201でYES)は、制御部4は表示部7に表示する映像ソースを全白画像である現在の映像ソースから、他の有効な映像ソースへ切替を行う(S203)。
本発明は、全白画面となった場合に他の映像ソースへ切替を行うことができ、複数の映像ソースから少なくとも1つを選択して表示する装置、例えば、テレビ、車両周辺を撮影するカメラが接続されたカーナビゲーション装置などの画像表示部等として有用である。
1 映像ソース切替装置
2 選択部
3 輝度変換部
4 制御部
5 記憶部
6 文字挿入部
7 表示部

Claims (6)

  1. 入力された複数の映像ソースのうち少なくとも1つを選択する選択部と、
    この選択部により選択された映像ソースを表示する表示部と、
    前記選択部を制御する制御部とを備え、
    前記表示部の上下に黒帯処理された画面において、
    この制御部は、前記選択部が選択している映像ソースが表示部に表示される際に、
    前記選択部が選択している映像ソースのうち画面上下に黒帯処理された範囲を除外した画面について、垂直同期信号からみた所定の位置に輝度信号を画素クロックごとに前記表示部の略画面全体が白色であるか否かを判定し、前記表示部の略画面全体が白色であると判定した場合は前記選択部に対して現在選択されている映像ソースから、これと異なる映像ソースへ切替をするように制御することを特徴とする映像ソース切替装置。
  2. 入力された複数の映像ソースのうち少なくとも1つを選択する選択部と、
    この選択部により選択された映像ソースを表示する表示部と、
    前記選択部を制御する制御部とを備え、
    前記表示部の左右に黒帯処理された画面において、
    この制御部は、前記選択部が選択している映像ソースが表示部に表示される際に、
    前記選択部が選択している映像ソースのうち画面左右に黒帯処理された範囲を除外した画面について、水平同期信号からみた所定の位置に輝度信号を画素クロックごとに前記表示部の略画面全体が白色であるか否かを判定し、前記表示部の略画面全体が白色であると判定した場合は前記選択部に対して現在選択されている映像ソースから、これと異なる映像ソースへ切替をするように制御することを特徴とする映像ソース切替装置。
  3. 前記映像ソース切替装置は車両に搭載されたものであり、
    前記選択部に入力される映像ソースが前記車両に取付けられこの車両の周辺を撮影するカメラが出力する映像であることを特徴とする請求項1又は2に記載の映像ソース切替装置。
  4. 前記制御部は、前記選択部が選択している映像ソースが複数のフレームにわたり連続して全白画面であると判定したときに映像ソースに切替を行うようにする請求項1又は2に記
    載の映像ソース切替装置。
  5. 入力された複数の映像ソースのうち少なくとも1つを選択する選択部と、
    この選択部により選択された映像ソースを表示する表示部と、
    前記選択部を制御する制御部とを備え、
    前記表示部の上下に黒帯処理された画面において、
    この制御部は、前記選択部が選択している映像ソースが表示部に表示される際に、
    前記選択部が選択している映像ソースのうち画面上下に黒帯処理された範囲を除外した画面について、垂直同期信号からみた所定の位置に輝度信号を画素クロックごとに前記表示部の略画面全体が白色であるか否かを判定し、前記表示部の略画面全体が白色であると判定した場合は前記選択部に対して現在選択されている映像ソースから、これと異なる映像ソースへ切替をするように制御することを特徴とするカーナビゲーション装置
  6. 入力された複数の映像ソースのうち少なくとも1つを選択する選択部と、
    この選択部により選択された映像ソースを表示する表示部と、
    前記選択部を制御する制御部とを備え、
    前記表示部の左右に黒帯処理された画面において、
    この制御部は、前記選択部が選択している映像ソースが表示部に表示される際に、
    前記選択部が選択している映像ソースのうち画面左右に黒帯処理された範囲を除外した画面について、水平同期信号からみた所定の位置に輝度信号を画素クロックごとに前記表示部の略画面全体が白色であるか否かを判定し、前記表示部の略画面全体が白色であると判定した場合は前記選択部に対して現在選択されている映像ソースから、これと異なる映像ソースへ切替をするように制御することを特徴とするカーナビゲーション装置
JP2010078408A 2010-03-30 2010-03-30 映像ソース切替装置 Expired - Fee Related JP5573292B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010078408A JP5573292B2 (ja) 2010-03-30 2010-03-30 映像ソース切替装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010078408A JP5573292B2 (ja) 2010-03-30 2010-03-30 映像ソース切替装置

Publications (2)

Publication Number Publication Date
JP2011211581A JP2011211581A (ja) 2011-10-20
JP5573292B2 true JP5573292B2 (ja) 2014-08-20

Family

ID=44942161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010078408A Expired - Fee Related JP5573292B2 (ja) 2010-03-30 2010-03-30 映像ソース切替装置

Country Status (1)

Country Link
JP (1) JP5573292B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3508119B2 (ja) * 1995-06-20 2004-03-22 ソニー株式会社 画面表示領域判別装置
JP2000177483A (ja) * 1998-12-11 2000-06-27 Fujitsu Ten Ltd 車両の外部監視装置
JP4636121B2 (ja) * 2001-12-26 2011-02-23 株式会社日立製作所 映像処理装置
JP2005084815A (ja) * 2003-09-05 2005-03-31 Toshiba Corp 顔認識装置、顔認識方法および通行制御装置
JP2007091186A (ja) * 2005-09-28 2007-04-12 Yasuharu Kawabata 車両周囲状況の撮影表示方法および撮影表示システム
JP2009035162A (ja) * 2007-08-02 2009-02-19 Tokai Rika Co Ltd 後方視認装置

Also Published As

Publication number Publication date
JP2011211581A (ja) 2011-10-20

Similar Documents

Publication Publication Date Title
US9105089B2 (en) Image processor, image pickup apparatus, image pickup system and data processing method
JP6706792B2 (ja) 車載用表示装置
US10516848B2 (en) Image processing device
JP2009274542A (ja) ヘッドアップディスプレイ装置
JP5865726B2 (ja) 映像表示装置
JP2006244331A (ja) 夜間走行補助装置及び方法
JP5573292B2 (ja) 映像ソース切替装置
JP4626533B2 (ja) 画像処理装置およびその方法、プログラム、記録媒体
JP2000280822A (ja) 車両用バックモニタ装置
US20110228048A1 (en) Three-dimensional video display method and system for enhancing black frame insertion effect
JP2006259250A (ja) 表示装置
JP2005173879A (ja) 融合画像表示装置
WO2011155228A1 (ja) 画像表示装置
WO2015141860A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP4941247B2 (ja) 車両用画像表示システム
JP5381541B2 (ja) 撮像装置
KR20120055824A (ko) 차량용 카메라 시스템의 영상 획득 방법
JP2012220889A (ja) ディマー制御装置および表示制御装置
JP5828648B2 (ja) 表示制御装置および表示制御方法
CN110581986A (zh) 图像显示装置以及图像数据的修正方法
JP2016163099A (ja) 画像処理装置および画像表示装置
JP5266812B2 (ja) 車載映像提示装置及び映像提示方法
JP2008146436A (ja) 車両周辺画像表示装置およびその表示方法
JP5606774B2 (ja) 映像表示装置及び映像表示方法
JP7009295B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130314

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20130412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131224

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140219

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

R151 Written notification of patent or utility model registration

Ref document number: 5573292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees