JP6544922B2 - 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体 - Google Patents

像振れ補正装置並びにその制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JP6544922B2
JP6544922B2 JP2014262689A JP2014262689A JP6544922B2 JP 6544922 B2 JP6544922 B2 JP 6544922B2 JP 2014262689 A JP2014262689 A JP 2014262689A JP 2014262689 A JP2014262689 A JP 2014262689A JP 6544922 B2 JP6544922 B2 JP 6544922B2
Authority
JP
Japan
Prior art keywords
angle
view
mode
image
blur correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014262689A
Other languages
English (en)
Other versions
JP2016122132A (ja
JP2016122132A5 (ja
Inventor
俊一郎 池田
俊一郎 池田
忠彦 赤木
忠彦 赤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014262689A priority Critical patent/JP6544922B2/ja
Publication of JP2016122132A publication Critical patent/JP2016122132A/ja
Publication of JP2016122132A5 publication Critical patent/JP2016122132A5/ja
Application granted granted Critical
Publication of JP6544922B2 publication Critical patent/JP6544922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、像振れ補正装置並びにその制御方法、プログラム及び記憶媒体に関し、撮影時の像振れ補正技術に関するものである。
撮像装置の振れを検出し、この振れに起因する像振れを補正するように、移動可能な撮像レンズを駆動する像振れ補正機能が知られている。このような方式の像振れ補正機能を、光学式像振れ補正又は光学防振という。また、撮影画像の一部を切り出して出力することを通じて、動画時の撮影画像の振れを補正する像振れ補正機能が知られている。このような方式の像振れ補正機能を、電子式像振れ補正又は電子防振という。電子式像振れ補正機能では、撮影画像のうち出力画像として切り出す領域の周辺を余剰画素として利用して補正を行う。この余剰画素によって補正範囲が定まるが、余剰画素を多く取るほど出力画像の画角は狭くなる。
一方、動画記録時にワイド側で像振れ補正範囲を広げて、歩き撮りなどで生じる大きな像振れに対して、従来よりも像振れ補正の効果を高める技術も知られている。このとき、より大きな像振れに対応できるよう、出力画像の画角を狭くすることで電子式像振れ補正の補正範囲を拡大するなど補正効果を高める技術が知られている。
また、近年のデジタルカメラ等の撮像装置は、静止画撮影機能に加え、動画撮影機能を有しているものが多い。それぞれ静止画撮影モードや動画撮影モードを備えていたり、静止画撮影モードであっても動画撮影ボタンを押せば動画撮影が開始できる機種も存在する。
さらに、静止画として記録される画像のアスペクトは、一般に4:3や3:2となっているが、動画は16:9のアスペクトが一般的である。静止画と動画では一般的なアスペクトが異なるため、撮影モードの変更や動画撮影が開始されると、モニタ上の表示のアスペクトが切り替わるようになっている。このため、動画撮影を開始すると、動画撮影開始前に表示される映像と、動画撮影中に表示される映像の画角が一瞬にして変化する。さらに電子像振れ補正により出力画角を狭くしていると、画角変化の影響が大きくなる。
特許文献1では、出力される被写界像はモード選択に応じて異なる画角を有しており、第2画角モード(静止画)が選択されたときは、第1範囲(動画)のサイズを表すキャラクタを被写界像に多重するようにしている。
特開2006−238041号公報
また、特許文献1では、静止画撮影モード中に動画の画角枠が常に表示されるため、静止画のみを撮影する場合にはユーザに違和感が生じ、撮影に支障を来たす恐れがあり、広い画角の静止画撮影から小さい画角の動画撮影に切り替えた際に違和感が生じる。
本発明は上記課題に鑑みてなされたものであり、その目的は、静止画撮影モードから動画撮影に切り替えた際の違和感を低減させる撮像装置並びにその制御方法、プログラム及び記憶媒体を提供することである。
本発明の一実施形態は、撮像装置の撮像手段からの映像信号を入力する入力部と、撮像装置の撮影モード及び電子式の像振れ補正モードに応じた画角に、撮像装置の表示部の出力画角を変更する制御部とを備え、制御部は、撮影モードとして静止画撮影モードが選択された場合、出力画角を第1の画角に変更し、撮影モードとして動画撮影モードが選択された場合、出力画角を電子式の像振れ補正モードに応じて第2の画角又は第3の画角に変更し、静止画撮影モードが選択された状態で撮像装置による動画撮影が開始される場合の電子式の像振れ補正モードの候補として、第2の画角に係る電子式の像振れ補正モードを表示部に表示させ、第3の画角に係る電子式の像振れ補正モードを表示部に表示させず、第1の画角は第2の画角及び第3の画角よりも広く、第1の画角と第2の画角との画角差は所定の閾値よりも大きくなく、第1の画角と第3の画角との画角差は閾値よりも大きい、像振れ補正装置を提供する。
本発明の一実施形態に係る像振れ補正装置によれば、静止画時と動画時の画角差が大きくても、静止画撮影モードから動画撮影に切り替えた際の違和感が低減され、撮影条件に合わせた静止画と動画の使い分けが容易となる。
一実施形態に係る撮像装置の構成を示すブロック図である。 撮影モードに応じた動画撮影の開始・終了処理のフローチャートである。 表示部に表示される画角差を説明する概念図である。 第1実施形態における像振れ補正モードの設定処理のフローチャートである。 第2実施形態における動画撮影開始時の処理のフローチャートである。 第3実施形態における画角確認処理のフローチャートである。 第4実施形態における画角確認処理のフローチャートである。 第5実施形態における画角確認処理のフローチャートである。 ピッチ方向、ヨー方向、ロール方向を説明する図である。
以下、本発明の実施形態について、図面を参照して詳細に説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る像振れ補正装置を備えた撮像装置100の構成を示すブロック図である。撮像装置100は、主に静止画像と動画像の撮影を行うための撮像装置であって、例えばデジタルカメラである。
なお、本発明の各実施形態に係る像振れ補正装置の適用範囲は、デジタルカメラに限定されず、デジタル一眼レフカメラ、デジタルビデオカメラなど、任意の撮像装置に適用することができる。
また、本実施形態では、像振れ補正ユニット105として撮像光学系の一部である像振れ補正レンズを記述しているが、像振れ補正ユニット105は、当該像振れ補正レンズではなく撮像部109自体を駆動して像振れを補正するようにしてもよい。
図1において、ズームユニット101は、変倍を行うズームレンズを含む。ズーム駆動制御部102は、ズームユニット101を駆動制御する。絞り・シャッタユニット103は、絞りとシャッタの機能を有する。絞り・シャッタ駆動制御部104は、絞り・シャッタユニット103を駆動制御する。像振れ補正ユニット105(単に「補正ユニット」ともいう。)はシフトレンズを含む。像振れ補正制御部106は、像振れ補正ユニット105を駆動制御する。フォーカスユニット107は、ピント調節を行い被写体像を形成するフォーカスレンズを含む。フォーカス駆動制御部108は、フォーカスユニット107を駆動制御する。
撮像部109は、各レンズ101、105、107を通ってきた光を光電変換して電気信号に変換する。撮像信号処理部110は、撮像部109から出力された電気信号を映像信号に変換し、得られた映像信号をカメラシステム制御部118の入力部(不図示)に出力し、カメラシステム制御部118は、被写体の顔位置情報を検出する。映像信号処理部111は、撮像信号処理部110から出力された映像信号を用途に応じて加工する。例えば、映像信号処理部111は、像振れ補正制御部106の補正量に応じて映像信号の切り出し位置を変更する。
表示部112は、映像信号処理部111から出力された信号に基づいて画像を表示する。電源部113は、システム全体に用途に応じて電源を供給する。外部入出力端子部114は、外部との間で通信し、映像に係る信号を入出力する。操作部115は、ユーザが撮像装置100を操作するためのスイッチ等である。記憶部116は、映像情報や手振れ補正制御のためのプログラム等様々なデータを記憶する。振れ検出部117は撮像装置100に加わる振れ量を検出する。
像振れ補正装置としてのカメラシステム制御部118は、撮像信号処理部110から信号を入力する入力部と、各種処理を行う制御部とを備え、撮像装置100全体を制御する。なお、像振れ補正装置として、カメラシステム制御部118の他に、像振れ補正制御部106、撮像信号処理部110、及び映像信号処理部111、振れ検出部117のいずれか又は複数を含めるようにしても良い。
次に、上記構成を有する撮像装置100の概略動作について説明する。操作部115には、像振れ補正のON/OFFを選択可能にする像振れ補正用スイッチが含まれる。ユーザが像振れ補正用スイッチを操作し、像振れ補正ONが選択されると、カメラシステム制御部118(の制御部)は、像振れ補正制御部106に像振れ補正動作を指示する。これを受けた像振れ補正制御部106は、カメラシステム制御部118から像振れ補正OFFの指示がなされるまで像振れ補正動作を行う。
また、操作部115には、光学式像振れ補正のみで像振れ補正するモードと、光学式像振れ補正と電子式像振れ補正の併用で像振れ補正するモードとを選択するための、像振れ補正モード用スイッチも含まれる。なお、当該像振れ補正モード用スイッチを設けず、タッチパネル式の表示部112に表示された後述する像振れ補正モードの候補をユーザがタッチすることにより、像振れ補正モードが選択可能なようにしてもよい。
光学式像振れ補正のみで像振れ補正する補正モードの場合、撮像部109の読み出し位置は一定となるため、その分読み出し範囲を広げることで、広角撮影に対応できる。他方、光学式像振れ補正と電子式像振れ補正の併用で像振れ補正する補正モードの場合、映像信号処理部111による映像信号の切り出し範囲が狭まる代わりに、切り出し位置を像振れ補正量に応じて変えるように構成するとよい。これにより、光学式像振れ補正のみで像振れ補正する補正モードの場合よりも大きな像振れに対応できる。
さらに、操作部115の像振れ補正モード用スイッチは、電子式像振れ補正の効果の強度も選択可能であるように構成されている。電子式像振れ補正の効果の強度は、例えば、弱、中、強の3段階のものであってもよい。電子式像振れ補正の効果を強めると、より大きな像振れに対応できるが、映像信号処理部111による映像信号の切り出し範囲がさらに狭まり、表示部112に表示される出力画角も狭まる。
操作部115には、押し込み量に応じて第1スイッチSW1及び第2スイッチSW2が順にONするように構成されたシャッタレリーズボタンも含まれる。シャッタレリーズボタンが約半分押し込まれたときに第1スイッチSW1がONし、シャッタレリーズボタンが最後まで押し込まれたときに第2スイッチSW2がONする構造となっている。第1スイッチSW1がONされると、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調節を行うとともに、絞り・シャッタ駆動制御部104が絞り・シャッタユニット103を駆動して適正な露光量に設定する。そして、第2スイッチSW2がONされると、撮像部109に露光された光像から得られた画像データが記憶部116に記憶される。
また、操作部115には撮影モード選択用スイッチも含まれる。撮影モードは、静止画撮影モード及び動画撮影モードを含む。撮影モードを静止画撮影モードに選択すると静止画撮影用の画角で映像が表示部112に表示され、他方、撮影モードを動画撮影モードに選択すると動画撮影用の画角で映像が表示部112に表示される。また、ユーザは、操作部115の撮影モード選択用スイッチを切り替え、再生モードを選択することができる。再生モードが選択されると、像振れ補正動作が停止され、撮影され記憶部116に記憶された静止画や動画が表示部112に表示される。
また、操作部115には動画記録用スイッチが含まれる。動画記録用スイッチが押されると、動画撮影が開始され、記録中に再度押されると動画撮影が終了する。撮影モード選択用スイッチにより撮影モードが静止画撮影モードに選択されていても、動画記録用スイッチが押されると動画撮影が開始され、動画撮影用の画角で映像が表示部112に表示される。また動画撮影中に第1及び第2スイッチSW1、SW2が押されると、動画記録中の静止画撮影が行われる。動画中の静止画撮影は、動画撮影用の画角で映像が表示部112に表示された状態で、静止画を撮影することになる。
また操作部115には、ズーム変倍の指示を行う変倍スイッチも含まれる。変倍スイッチによりズーム変倍の指示があると、カメラシステム制御部118を介して指示を受けたズーム駆動制御部102が、指示されたズーム位置にズームユニット101を移動させる。それとともに、撮像部109から送られ、各信号処理部110,111にて処理された画像情報に基づいて、フォーカス駆動制御部108がフォーカスユニット107を駆動してピント調節を行う。
図2は、撮影モードに応じた動画撮影の開始・終了処理についてのフローチャートである。
まず、ステップS100で、カメラシステム制御部118は、操作部115の動画記録用スイッチが押されたか否かを判定する。操作部115の動画記録用スイッチが押された場合(S100でyes)ステップS101に進み、押されていない場合(S100でno)S100に戻り処理を繰り返す。
ステップS101で、カメラシステム制御部118は、操作部115の撮影モード選択用スイッチにより設定されている撮影モードが静止画撮影モードであるか否かを判定する。撮影モードが静止画撮影モードに設定されていればステップS102に進み、撮影モードが静止画撮影モードに設定されていなければ(即ち、動画撮影モードであれば)ステップS103に進む。
ステップS102で、撮影モードが静止画撮影モードであるため、カメラシステム制御部118は、ユーザにより設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を切り替える。一方、撮影モードが動画撮影モードに設定されている場合(S101でno)、動画撮影モードが設定された時点ですでに動画撮影用の画角に切り替わっているため、表示部112の出力画角は切り替わらない。
ステップS103で、カメラシステム制御部118は動画撮影を開始する。そして、次のステップS104において、カメラシステム制御部118は、操作部115の動画記録用スイッチが再度押されたかを判定する。動画記録スイッチが押された場合(S104でyes)ステップS105に進み、押されていなければ動画撮影は継続され、その間S104の処理が繰り返えされる。
ステップS105で、カメラシステム制御部118は動画撮影を終了する。次のステップS106で、カメラシステム制御部118は、動画撮影の終了時点において撮影モードが静止画撮影モードに設定されているか否かを判定する。撮影モードが静止画撮影モードに設定されていればステップS107に進み、撮影モードが静止画撮影モードに設定されていなければ(即ち、動画撮影モードであれば)動画撮影処理は終了となる。
ステップS107で、撮影モードが静止画撮影モードであるため、カメラシステム制御部118は、静止画撮影用の画角に表示部112の出力画角を切り替えて、動画撮影処理は終了となる。
このように、静止画撮影モードでは通常は静止画用の画角で表示されているため、動画撮影の開始時に設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角が切り替わり、動画撮影の終了時に静止画撮影用の画角に戻る。他方、動画撮影モードでは既に設定された像振れ補正モードに応じた動画撮影用の画角で表示されているため、動画撮影の開始時及び終了時に画角が切り替わることはない。
ここで、図9は、Pitch方向、Yaw方向、Roll方向を説明する図である。振れ検出部117は、振れ検出センサとして主にジャイロセンサを用いて角速度データを検出し、検出結果を電圧として出力する。図示していないが、振れ検出部117には、Pitch(ピッチ)方向の振れ検出センサ、Yaw(ヨー)方向の振れ検出センサ、及びRoll(ロール)方向の振れ検出センサが含まれる。
図9に示すように、光軸をZ軸、正位置での鉛直方向をY軸、Y軸及びZ軸にそれぞれ直交する方向をX軸とする。したがって、Pitch方向はX軸回り(チルティング方向)、Yaw方向はY軸回り(パンニング方向)、Roll方向はZ軸回り(撮像面が光軸に垂直な面で回転する方向)となる。つまり、Pitch方向は、撮像装置100の垂直方向において水平面に対する傾動方向であり、Yaw方向は、撮像装置100の水平方向において鉛直面に対する傾動方向であり、互いに直交する方向である。
振れ検出部117に含まれるPitch方向の振れ検出センサは、Pitch方向の撮像装置100の振れに応じた振れ情報(角速度データ)を検出する。振れ検出部117に含まれるYaw方向の振れ検出センサは、Yaw方向の撮像装置の振れに応じた振れ情報(角速度データ)を検出する。振れ検出部117に含まれるRoll方向の振れ検出センサは、光軸に垂直な面内での回転方向の撮像装置の振れに応じた振れ情報(角速度データ)を検出する。
図3は、静止画撮影モード時の画角及び動画撮影モード時の画角並びに電子式像振れ補正が有効時の画角を説明する概念図である。一番外側の線で囲まれる符号301は、アスペクト4:3の静止画撮影モード時の画角を示している。静止画撮影モード時の画角301から上下のドット部分を除いた画角302が、アスペクト16:9の動画撮影モード時の画角を示している。像振れ補正なし又は光学式像振れ補正のみの動画撮影モード時の画角は画角302となる。
次に、画角302よりやや狭い破線で囲んだ部分の画角303が、光学式像振れ補正と電子式像振れ補正を併用した場合の動画撮影モード時の画角を示している。光学式像振れ補正と電子式像振れ補正の併用により、映像信号処理部111による映像信号の切り出し範囲が狭まる代わりに、切り出し位置を像振れ補正量に応じて変更することで、光学式像振れ補正のみのときよりも大きな像振れに対応できる。ここで、画角303を生じる光学式像振れ補正と電子式像振れ補正との併用で像振れ補正する補正モードを「電子式補正併用A」とする。
そして、画角303よりさらに狭い斜線部分の画角304が、光学式像振れ補正と電子式像振れ補正を併用した場合であって電子式像振れ補正の効果を強めた場合の動画撮影モード時の画角を示している。映像信号処理部111による映像信号の切り出し範囲がさらに狭まるが、より大きな像振れにも対応できる。ここで、画角304を生じる光学式像振れ補正と効果が増強された電子式像振れ補正との併用で像振れ補正する補正モードを「電子式補正併用B」とする。
なお、図3の例によれば、動画撮影の開始により、静止画撮影モード時の画角301から像振れ補正なし又は光学式像振れ補正のみの動画撮影モード時の画角302に切り替わる際は、アスペクトの差による上下の差はあるが被写体が拡大されることはない。また、静止画撮影モード時の画角301から光学式像振れ補正及び電子式像振れ補正を併用した「電子式補正併用A」の画角303に切り替わる際についても、被写体はやや拡大はされるが、動画撮影の開始時に与える影響は軽微である。
一方、静止画撮影モード時の画角301から光学式像振れ補正および電子式像振れ補正を併用した場合であって電子式像振れ補正の効果を強めた「電子式補正併用B」の画角304に切り替わる際については、画角が狭くなる範囲がより大きくなる。そのため、被写体の位置によっては、動画撮影の開始前に捉えられていた被写体が、動画撮影の開始時にその一部が欠けてしまう恐れがある。
そのため、像振れ補正モードの設定により、表示部112に表示される静止画撮影モード時の画角と動画撮影モード時の画角との差(以下「静止画と動画の画角差」という。)が所定の閾値より大きい場合には、動画撮影の開始前に動画撮影時の画角の確認ができるとよい。当該所定の閾値は、予め記憶部116に記憶された値をカメラシステム制御部118が読みだして利用するようにしてもよいし、ユーザが適宜変更し、記憶部116に記憶させておくことができるようにしてもよい。
表1は、本実施形態における、撮影モードにより選択可能な動画時の像振れ補正モードの一例を示した表である。
Figure 0006544922
表示部112に動画撮影用の画角で表示される動画撮影モードでは、ユーザは操作部115の動画記録用スイッチを押して動画撮影を開始する前に動画撮影時の画角を予め確認することができる。そのため、表1に示すように、本実施形態では、静止画と動画の画角差が所定の閾値より大きい「電子式補正併用B」も含め、全ての像振れ補正モードが選択可能である。
一方、表示部112に静止画撮影用の画角301で表示される静止画撮影モードでは、ユーザは動画撮影の前に動画撮影時の画角を確認することができない。よって、静止画と動画の画角差が大きい像振れ補正モード(電子式補正併用B)の場合には、動画撮影の開始時に被写体の一部が欠けてしまう恐れがある。よって、表1に示すように、本実施形態では、静止画と動画の画角差が所定の閾値より大きい「電子式補正併用B」の像振れ補正モードの選択に制約が設けられている。
図4は、本実施形態に係る像振れ補正装置の撮影モードに応じた像振れ補正モードの設定処理を説明するフローチャートである。
まず、ステップS200で、カメラシステム制御部118は、操作部115の撮影モード選択用スイッチにより設定されている撮影モードが静止画撮影モードであるか否かを判定する。撮影モードが静止画撮影モードであればステップS201に進み、撮影モードが静止画撮影モードでなければ(即ち、動画撮影モードであれば)ステップS204に進む。
ステップS201で、撮影モードが静止画撮影モードに設定されているため、カメラシステム制御部118は、静止画撮影モード用の動画時の像振れ補正モードの候補を表示部112に表示する。先に説明したとおり、静止画と動画の画角差が所定の閾値より大きい像振れ補正モード(電子式補正併用B)は選択候補に含まれない。
次のステップS202で、カメラシステム制御部118は、操作部115の像振れ補正モード用スイッチからの信号を基に、像振れ補正モードの候補の中で像振れ補正モードが変更されたか否かを判定する。像振れ補正モードが変更されていればステップS203に進み、像振れ補正モードが変更されていなければ像振れ補正モードの設定処理は終了となる。
ステップS203で、カメラシステム制御部118は、像振れ補正モードをステップS202で変更された像振れ補正モードに設定する。このとき、像振れ補正モードの設定が変更されていても(S202でyes)、変更されていなくても(S202でno)、表示部112に表示される出力画角は静止画撮影用(静止画撮影モード)の画角301のままである。
一方、ステップS204で、撮影モードが動画撮影モードに設定されているため、カメラシステム制御部118は、動画撮影モード用の動画時の像振れ補正モードの候補を表示部112に表示する。先に説明したとおり、動画撮影用の画角で表示される動画撮影モードでは、動画撮影の開始前にユーザが動画撮影時の画角を確認することができるため、全ての像振れ補正モードが選択候補として表示部112に表示される。
ステップS205で、カメラシステム制御部118は、操作部115の像振れ補正モード用スイッチからの信号を基に、像振れ補正モードの候補の中で像振れ補正モードが変更されたか否かを判定する。像振れ補正モードが変更されていれば(S205でyes)ステップS206に進み、像振れ補正モードが変更されていなければ(S205でno)像振れ補正モードの設定処理は終了となる。
ステップS206で、カメラシステム制御部118は、像振れ補正モードをステップS205で変更された像振れ補正モードに設定する。そして、ステップS207で、カメラシステム制御部118は、設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を切り替えて、像振れ補正モードの設定処理は終了となる。
このように、第1実施形態では、撮影モードに応じて選択可能な像振れ補正モードが異なり、静止画撮影モードの場合は静止画と動画の画角差が所定の閾値より大きくなる像振れ補正モードは選択候補に含まれない。これにより、動画撮影が開始されるまでユーザが動画撮影時の画角を確認することができない静止画撮影モードにおいて、静止画と動画の画角差により動画撮影の開始時に被写体の一部が欠けてしまうことを防ぐ又は低減することが出来る。一方、動画撮影モードでは設定した像振れ補正モードに応じた動画撮影用の画角表示がされるため、動画撮影前に画角を確認することができる。
[第2実施形態]
図5は、本発明の第2実施形態の像振れ補正装置による撮影モードに応じた動画撮影開始時の処理を説明するフローチャートである。なお、本実施形態の撮像装置の構成は第1実施形態の撮像装置100と同様であるため説明を省略する。
本実施形態の撮像装置は、第1実施形態と異なり、表2に示すように、静止画撮影モードでも静止画と動画の画角差が所定の閾値より大きい像振れ補正モード(電子式補正併用B)を含み、全ての像振れ補正モードが選択可能である。以下、像振れ補正モードがユーザにより設定された状態において、動画撮影開始時の処理について説明する。
Figure 0006544922
まず、ステップS300で、カメラシステム制御部118は、操作部115の動画記録用スイッチが押されたか否かを判定する。動画記録スイッチが押されたらステップS301に進み、押されていなければS300の処理を繰り返す。
ステップS301で、カメラシステム制御部118は、操作部115の撮影モード選択スイッチにより設定された撮影モードが静止画撮影モードであるか否かを判定する。撮影モードが静止画撮影モードであればステップS302に進み、撮影モードが静止画撮影モードでなければ(即ち、動画撮影モードであれば)ステップS305に進む。
ステップS302で、カメラシステム制御部118は、設定されている像振れ補正モードにおいて静止画と動画の画角差が所定の閾値よりも大きいか否かを判定する。言い換えると、カメラシステム制御部118は、設定されている像振れ補正モードが電子式補正併用Bであるか否かを判定する。当該画角差が所定の閾値よりも大きい場合(S302でyes)はステップS303に進み、所定の閾値よりも大きく無い場合(S302でno)はステップS304に進む。
ステップS303で、当該画角差が所定の閾値よりも大きいため、カメラシステム制御部118は、被写体追尾を開始する。被写体追尾をすることにより、動画撮影の開始時に被写体の一部が欠けないように制御する。
被写体追尾について、具体的には、カメラシステム制御部118は、被写体の顔位置(「追尾対象部位」ともいう。)の情報を検出し、その顔位置が表示部112に表示される動画撮影時の画角から欠けないように、像振れ補正制御部106を追尾制御する。追尾制御は、光学式の像振れ補正手段である像振れ補正ユニット105のシフトレンズ(又は撮像部109)を動かすことにより、被写体の顔位置が動画撮影時の画角に収まるよう制御する。また、電子式の像振れ補正手段を用いて、被写体の顔位置が動画撮影時の画角に収まるよう映像信号処理部111により切り出し位置を制御するようにしても良い。
ステップS304で、撮影モードが静止画撮影モードに設定された状態であるため、カメラシステム制御部118は、ユーザにより設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を切り替える。この際に表示されている画角は、先のステップS303で開始した追尾処理により、静止画と動画の画角差が大きい像振れ補正モード(電子式補正併用B)が設定されていても被写体(の追尾対象部位)を欠けることなく動画撮影時の画角に収めることができる。
ステップS305で、カメラシステム制御部118は動画撮影を開始し、動画撮影開始時の処理を終了する。
このように、本実施形態の撮像装置では、静止画撮影モードでも全ての像振れ補正モードが選択可能である。ただし、静止画撮影モードにおいて静止画と動画の画角差が所定の閾値より大きい像振れ補正モードが設定されている場合は、動画撮影の開始時に被写体の追尾制御が開始され、被写体の顔位置が動画撮影時の画角において欠けないように制御される。よって、静止画と動画の画角差が大きくても、静止画撮影と動画撮影を切り替えた際のユーザに生じる違和感が低減される。
なお、被写体の追尾制御は、被写体の顔位置が動画撮影時の画角に収まるよう制御するようにしているが、被写体の顔位置に限らず追尾対象を適宜決めるようにしても良い。例えば、撮像信号処理部110からの信号を基にカメラシステム制御部118により検出される被写体の追尾対象部位は、被写体の身体の全部又は一部であったり、ユーザが表示部112をタッチした位置に相当する被写体の部位であったりしてもよい。
また、動画撮影の開始後、動画撮影時の画角に被写体が安定的に収まるようになったら、追尾制御処理を終了するようにしても良い。
[第3の実施形態]
図6は、本発明の第3実施形態の像振れ補正装置による撮影モードに応じた像振れ補正モード設定時の画角確認処理を説明するフローチャートである。なお、本実施形態の撮像装置の構成は第1実施形態の撮像装置100と同様であるため説明を省略する。
本実施形態の撮像装置は、第2実施形態と同様、静止画撮影モードでも、静止画と動画の画角差が所定の閾値より大きい像振れ補正モード(電子式補正併用B)を含み、全ての像振れ補正モードが選択可能である。
まず、ステップS400で、カメラシステム制御部118は、操作部115の像振れ補正モード用スイッチからの信号を基に、像振れ補正モードの候補の中で像振れ補正モードが変更されたか否かを判定する。像振れ補正モードが変更されていればステップS401に進み、像振れ補正モードが変更されていなければS400の処理を繰り返す。
ステップS401で、カメラシステム制御部118は、像振れ補正モードをステップS400で変更された像振れ補正モードに設定する。
ステップS402で、カメラシステム制御部118は、操作部115の撮影モード選択用スイッチにより設定されている撮影モードが静止画撮影モードであるか否かを判定する。撮影モードが静止画撮影モードであればステップS403に進み、撮影モードが静止画撮影モードでなければ(即ち動画撮影モードであるならば)ステップS405に進む。
ステップS403で、撮影モードが静止画撮影モードであるため、カメラシステム制御部118は、S401で設定された像振れ補正モードにおいて静止画と動画の画角差が所定の閾値よりも大きいか否かを判定する。言い換えると、カメラシステム制御部118は、S401で設定された像振れ補正モードが電子式補正併用Bであるか否かを判定する。当該画角差が所定の閾値よりも大きい場合はステップS404に進む。
ステップS404で、当該画角差が所定の閾値よりも大きいため、カメラシステム制御部118は、設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を一定時間変更する。これにより、ユーザは設定した像振れ補正モードの動画撮影用の画角を確認することができ、静止画と動画の画角差がどの程度であるかを認識することができる。
また、先のステップS403において、当該画角差が所定の閾値よりも大きく無いと判定された場合(S403でno)、表示部112の出力画角を切り替えることなく、そのまま画角確認処理を終了する。
一方、ステップS405では、撮影モードが動画撮影モードであるため、カメラシステム制御部118は、設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を切り替え、画角確認処理を終了する。
このように、本実施形態の撮像装置では、静止画撮影モードでも全ての像振れ補正モードが選択可能である。ただし、静止画撮影モードにおいて、静止画と動画の画角差が所定の閾値より大きい像振れ補正モードが設定された場合には、設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を一定時間変更する。これにより、ユーザは、設定した像振れ補正モードの動画撮影用の画角を確認し、静止画と動画の画角差を認識することができるため、静止画撮影と動画撮影を切り替えた際のユーザに生じる違和感が低減される。
[第4の実施形態]
図7は、本発明の第4実施形態の像振れ補正装置による撮影モードに応じた像振れ補正モード設定時の画角確認処理を説明するフローチャートである。なお、本実施形態の撮像装置の構成は第1実施形態の撮像装置100と同様であるため説明を省略する。
本実施形態の撮像装置は、第2及び第3の実施形態と同様、静止画撮影モードでも、静止画と動画の画角差が所定の閾値より大きい像振れ補正モード(電子式補正併用B)を含み、全ての像振れ補正モードが選択可能である。また、図示していないが、本実施形態に係る撮像装置の操作部115には画角確認用スイッチが含まれる。ユーザが操作部115の画角確認用スイッチ(不図示)を押すことで、静止画撮影モードに設定されている状態でも、像振れ補正モードに応じた動画撮影時の画角が表示部112に一定時間表示される。そのため、ユーザは、設定した像振れ補正モードに応じた動画撮影時の画角を認識することができる。
まず、ステップS500で、カメラシステム制御部118は、操作部115の像振れ補正モード用スイッチからの信号を基に、像振れ補正モードが変更されたか否かを判定する。像振れ補正モードが変更されていればステップS501に進み、像振れ補正モードが変更されていなければS500の処理を繰り返す。
ステップS501で、カメラシステム制御部118は、像振れ補正モードをS500で変更された像振れ補正モードに設定する。
ステップS502で、カメラシステム制御部118は、操作部115の撮影モード選択用スイッチにより設定されている撮影モードが静止画撮影モードであるか否かを判定する。撮影モードが静止画撮影モードであればステップS503に進み、撮影モードが静止画撮影モードで無ければ(即ち、動画撮影モードであれば)ステップS505に進む。
ステップS503において、カメラシステム制御部118は、操作部115の画角確認用スイッチが押されたか否かを判定する。画角確認スイッチが押されたらステップS504に進み、押されていなければ画角確認処理は終了する。
ステップS504で、カメラシステム制御部118は、表示部112に表示されている静止画撮影時(静止画撮影モード時)の画角を、S501で設定された像振れ補正モードに応じた動画撮影用の画角に一定時間変更する。これにより、ユーザは設定した像振れ補正モードの動画撮影用の画角を、操作部115の画角確認用スイッチを押すことで確認することができ、静止画と動画の画角差を認識することができる。
一方、ステップS505では、撮影モードが動画撮影モードであるため、カメラシステム制御部118は、S501で設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を切り替え、画角確認処理を終了する。
このように、本実施形態の撮像装置では、静止画撮影モードでも全ての像振れ補正モードが選択可能である。ただし、静止画撮影モードにおいて、操作部115の画角確認スイッチが押された場合には、設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を一定時間変更する。これにより、ユーザは設定した像振れ補正モードの動画撮影用の画角を確認し、静止画と動画の画角差を認識することができるため、静止画撮影と動画撮影を切り替えた際のユーザに生じる違和感が低減される。
[第5実施形態]
図8は、本発明の第5実施形態の像振れ補正装置による撮影モードに応じた像振れ補正モード設定時の画角確認処理を説明するフローチャートである。
本実施形態の撮像装置は、第2乃至第4の実施形態と同様、静止画撮影モードでも、静止画と動画の画角差が所定の閾値より大きい像振れ補正モード(電子式補正併用B)を含み、全ての像振れ補正モードが選択可能である。また、本実施形態の撮像装置は、第1実施形態の撮像装置100の構成と同様であるが、外部機器(不図示)との無線(又は有線)通信が可能な通信部(不図示)をさらに備える。なお、外部機器は表示部を備え、当該表示部は、撮像装置から送られた、像振れ補正モードに応じた動画撮影用の画角のスルー画像を表示する。
通信部は、外部機器から撮像装置を操作するための制御信号を受信し、撮像装置のスルー画像や画像データを外部機器に送信することができる。また、通信部は、外部機器から受信した信号をカメラシステム制御部118に送り、外部機器に送信する信号をカメラシステム制御部118から受け取る。
まず、ステップS600において、カメラシステム制御部118は、操作部115の像振れ補正モードスイッチからの信号を基に、像振れ補正モードの候補の中で像振れ補正モードが変更されたか否かを判定する。像振れ補正モードが変更されていればステップS601に進み、像振れ補正モードが変更されていなければS600の処理を繰り返す。
ステップS601で、カメラシステム制御部118は、像振れ補正モードをステップS600で変更された像振れ補正モードに設定する。
ステップS602で、カメラシステム制御部118は、操作部115の撮影モード選択用スイッチにより設定されている撮影モードが静止画撮影モードであるか否かを判定する。撮影モードが静止画撮影モードであればステップS603に進み、撮影モードが静止画撮影モードでなければ(即ち、動画撮影モードであれば)ステップS606に進む。
ステップS603において、カメラシステム制御部118は、通信部を介して外部機器から動画時画角表示の制御信号を受信しているか否かを判定する。動画時画角表示の制御信号を受信していればステップS604に進み、動画時画角表示の制御信号を受信していなければステップS605に進む。
ステップS604で、カメラシステム制御部118は、撮像装置の表示部112には静止画撮影用の画角を表示したまま、通信部(不図示)を介して接続している外部機器の表示部には設定された像振れ補正モードに応じた動画撮影用の画角のスルー画像の送信を行う。これにより、ユーザは、静止画撮影用の画角を撮像装置の表示部112を通じて、設定した像振れ補正モードの動画撮影用の画角を外部機器の表示部を通じて確認することができ、静止画と動画の画角差を認識することができる。また、ステップS605で、カメラシステム制御部118は、表示部112には静止画撮影用の画角を表示したまま、通信部を介して接続している外部機器の表示部にも静止画撮影用の画角のスルー画像の送信を行う。
一方、ステップS606では、撮影モードが動画撮影モードであるため、カメラシステム制御部118は、設定された像振れ補正モードに応じた動画撮影用の画角に表示部112の出力画角を切り替え、画角確認処理を終了する。
このように、本実施形態の撮像装置では静止画撮影モードでも全ての像振れ補正モードが選択可能である。ただし、静止画撮影モードで、通信部(不図示)を介して外部機器から動画時画角表示の制御信号を受信した場合には、設定された像振れ補正モードに応じた動画撮影用の画角に外部機器の表示部を切り替える。これにより、ユーザは、外部機器の表示部を通じて、設定した像振れ補正モードに応じた動画撮影用の画角を確認することができる。また、ユーザは、撮像装置の表示と外部機器の表示とを比較することで、静止画と動画の画角差を認識することができ、静止画撮影と動画撮影を切り替えた際のユーザに生じる違和感が低減される。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。
また、本発明の一実施形態に係る像振れ補正装置は、撮像装置のレンズユニット、撮像装置の本体、又はレンズカメラ一体型の撮像装置に設けておくことができる。
100 撮像装置
105 像振れ補正ユニット(補正ユニット)
106 像振れ補正制御部
111 映像信号処理部
112 表示部
115 操作部
117 振れ検出部
118 カメラシステム制御部(像振れ補正装置)

Claims (10)

  1. 撮像装置の撮像手段からの映像信号を入力する入力部と、
    前記撮像装置の撮影モード及び電子式の像振れ補正モードに応じた画角に、前記撮像装置の表示部の出力画角を変更する制御部とを備え、
    前記制御部は、
    前記撮影モードとして静止画撮影モードが選択された場合、前記出力画角を第1の画角に変更し、
    前記撮影モードとして動画撮影モードが選択された場合、前記出力画角を前記電子式の像振れ補正モードに応じて第2の画角又は第3の画角に変更し、
    前記静止画撮影モードが選択された状態で前記撮像装置による動画撮影が開始される場合の前記電子式の像振れ補正モードの候補として、前記第2の画角に係る前記電子式の像振れ補正モードを前記表示部に表示させ、前記第3の画角に係る前記電子式の像振れ補正モードを前記表示部に表示させず、
    前記第1の画角は前記第2の画角及び前記第3の画角よりも広く、前記第1の画角と前記第2の画角との画角差は所定の閾値よりも大きくなく、前記第1の画角と前記第3の画角との画角差は前記閾値よりも大きい、像振れ補正装置。
  2. 前記制御部は、前記動画撮影モードが選択された場合、前記電子式の像振れ補正モードの候補として、前記第2の画角及び前記第3の画角に係る前記電子式の像振れ補正モードを前記表示部に表示させる、請求項1に記載の像振れ補正装置。
  3. 撮像装置の撮像手段からの映像信号を入力する入力部と、
    前記撮像装置の撮影モード及び電子式の像振れ補正モードに応じた画角に、前記撮像装置の表示部の出力画角を変更する制御部とを備え、
    前記制御部は、
    前記撮影モードとして静止画撮影モードが選択された場合、前記出力画角を第1の画角に変更し、
    前記静止画撮影モードが選択された状態で前記撮像装置による動画撮影が開始される場合の前記電子式の像振れ補正モードとして、第2の画角に係る前記電子式の像振れ補正モードが選択された場合、動画撮影の開始時に前記映像信号を基に被写体の追尾対象部位を検出し、前記追尾対象部位が前記第2の画角から欠けないように前記撮像装置の補正ユニットを制御し、
    前記第1の画角は、前記第2の画角よりも広く、前記第1の画角と前記第2の画角との画角差は、所定の閾値よりも大きい、像振れ補正装置。
  4. 撮像装置の撮像手段からの映像信号を入力する入力部と、
    前記撮像装置の撮影モード及び電子式の像振れ補正モードに応じた画角に、前記撮像装置の表示部の出力画角を変更する制御部とを備え、
    前記制御部は、
    前記撮影モードとして静止画撮影モードが選択された場合、前記出力画角を第1の画角に変更し、
    前記静止画撮影モードが選択された状態で前記撮像装置による動画撮影が開始される場合の前記電子式の像振れ補正モードとして、第2の画角に係る前記電子式の像振れ補正モードが選択された場合、前記出力画角を前記第2の画角に一定時間変更し、
    前記第1の画角は、前記第2の画角よりも広く、前記第1の画角と前記第2の画角との画角差は、所定の閾値よりも大きい、像振れ補正装置。
  5. 撮像装置の撮像手段からの映像信号を入力する入力部と、
    前記撮像装置の撮影モード及び電子式の像振れ補正モードに応じた画角に、前記撮像装置の表示部の出力画角を変更する制御部とを備え、
    前記制御部は、
    前記撮影モードとして静止画撮影モードが選択された場合、前記出力画角を第1の画角に変更し、
    前記静止画撮影モードが選択された状態で前記撮像装置による動画撮影が開始される場合の前記電子式の像振れ補正モードとして、第2の画角に係る前記電子式の像振れ補正モードが選択され、前記撮像装置の操作部が操作された場合、前記出力画角を前記第2の画角に一定時間変更し、
    前記第1の画角は、前記第2の画角よりも広い、像振れ補正装置。
  6. 撮像装置の撮像手段からの映像信号を入力する入力部と、
    前記撮像装置の撮影モード及び電子式の像振れ補正モードに応じた画角に、前記撮像装置の表示部の出力画角を変更する制御部とを備え、
    前記制御部は、
    前記撮影モードとして静止画撮影モードが選択された場合、前記出力画角を第1の画角に変更し、
    前記静止画撮影モードが選択された状態で前記撮像装置による動画撮影が開始される場合の前記電子式の像振れ補正モードとして、第2の画角に係る前記電子式の像振れ補正モードが選択された場合、前記出力画角を前記第1の画角及び前記第2の画角のうちの一方に変更し、前記撮像装置の通信部を通じて外部機器の出力画角を前記第1の画角及び前記第2の画角のうちの他方に変更し、
    前記第1の画角は、前記第2の画角よりも広く、前記第1の画角と前記第2の画角との画角差は、所定の閾値よりも大きい、像振れ補正装置。
  7. 前記制御部は、前記表示部の出力画角を前記第1の画角に変更し、前記外部機器の出力画角を前記第2の画角に変更する、請求項に記載の像振れ補正装置。
  8. 撮像装置の撮影モードとして静止画撮影モードが選択された場合に、前記撮像装置の表示部の出力画角を第1の画角に変更するステップと、
    前記撮影モードとして動画撮影モードが選択された場合に、前記出力画角を電子式の像振れ補正モードに応じて第2の画角又は第3の画角に変更するステップであって、前記第1の画角は前記第2の画角及び前記第3の画角よりも広く、前記第1の画角と前記第2の画角との画角差は所定の閾値よりも大きくなく、前記第1の画角と前記第3の画角との画角差は前記閾値よりも大きい、ステップと、
    前記静止画撮影モードが選択された状態で前記撮像装置による動画撮影が開始される場合の前記電子式の像振れ補正モードの候補として、前記第2の画角に係る前記電子式の像振れ補正モードを前記表示部に表示させ、前記第3の画角に係る前記電子式の像振れ補正モードを前記表示部に表示させないステップとを具備する像振れ補正装置の制御方法。
  9. コンピュータに請求項に記載の制御方法を実行させるためのプログラム。
  10. 請求項に記載のプログラムを記録したコンピュータ読み取り可能な記憶媒体。
JP2014262689A 2014-12-25 2014-12-25 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体 Active JP6544922B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014262689A JP6544922B2 (ja) 2014-12-25 2014-12-25 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014262689A JP6544922B2 (ja) 2014-12-25 2014-12-25 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2016122132A JP2016122132A (ja) 2016-07-07
JP2016122132A5 JP2016122132A5 (ja) 2018-02-08
JP6544922B2 true JP6544922B2 (ja) 2019-07-17

Family

ID=56327390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014262689A Active JP6544922B2 (ja) 2014-12-25 2014-12-25 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体

Country Status (1)

Country Link
JP (1) JP6544922B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7500194B2 (ja) * 2019-12-27 2024-06-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4793639B2 (ja) * 2006-03-30 2011-10-12 カシオ計算機株式会社 動画撮影装置および動画撮影プログラム
US9137444B2 (en) * 2011-09-26 2015-09-15 Sony Corporation Image photography apparatus for clipping an image region

Also Published As

Publication number Publication date
JP2016122132A (ja) 2016-07-07

Similar Documents

Publication Publication Date Title
JP5538865B2 (ja) 撮像装置およびその制御方法
JP5706654B2 (ja) 撮影機器、画像表示方法及びプログラム
JP5623207B2 (ja) 撮像装置及びその制御方法
JP2008107646A (ja) 撮像装置、ブレ補正方法、およびプログラム
JP2015130612A (ja) 撮像装置及びその制御方法
JP6643036B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
KR20190141080A (ko) 화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치
JP2006295238A (ja) 撮像装置
JP2011040896A (ja) 撮像装置及びその制御方法
JP2015031726A (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2009081530A (ja) 撮像装置、及び撮影方法
JP2016050973A (ja) 撮像装置及びその制御方法
JP2013080996A (ja) 撮像装置及びその制御方法
JP5903658B2 (ja) 撮像装置
JP6544922B2 (ja) 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体
JP2017161649A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP5992561B2 (ja) 撮影機器及び撮影方法
JP6663217B2 (ja) 撮像装置およびその制御方法
JP2004013461A (ja) 画像処理装置及びデジタル撮像装置
JP6395513B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5917641B2 (ja) ズーム制御装置、撮像装置、及びズーム制御装置の制御方法
JP6257715B2 (ja) 表示装置および表示装置の作動方法
JP2018125729A (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP2010197524A (ja) 撮像装置
JP6724395B2 (ja) 画像表示制御装置、画像表示制御方法及び画像表示制御プログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190618

R151 Written notification of patent or utility model registration

Ref document number: 6544922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151