JP5941327B2 - 2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置 - Google Patents

2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置 Download PDF

Info

Publication number
JP5941327B2
JP5941327B2 JP2012086454A JP2012086454A JP5941327B2 JP 5941327 B2 JP5941327 B2 JP 5941327B2 JP 2012086454 A JP2012086454 A JP 2012086454A JP 2012086454 A JP2012086454 A JP 2012086454A JP 5941327 B2 JP5941327 B2 JP 5941327B2
Authority
JP
Japan
Prior art keywords
focus
evaluation value
driving
lens
focus evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012086454A
Other languages
English (en)
Other versions
JP2013218023A (ja
Inventor
真吾 磯部
真吾 磯部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012086454A priority Critical patent/JP5941327B2/ja
Publication of JP2013218023A publication Critical patent/JP2013218023A/ja
Application granted granted Critical
Publication of JP5941327B2 publication Critical patent/JP5941327B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Description

本発明は、2つの撮影装置を使用して撮影する撮影システムに関し、特に、撮影された映像信号に基づいて2つの撮影装置のフォーカス機構を制御する撮影システム、及びそれに含まれる制御装置、撮影装置、レンズ装置に関するものである。
従来、カメラやビデオカメラ等の撮像装置における自動合焦(AF)技術として、様々な提案がなされている。例えば、結像光学系内の光路中に分岐手段を有し、分岐光束により合焦状態を検出しAF制御を行うTTL(Through The Lens)方式の位相差AFが提案されている。また、結像光学系内の光束とは別の外光による光束を用いる非TTL方式の外測AFも提案されている。さらに、撮像素子から出力される映像信号を用いて焦点評価値を算出し、所謂山登り方式による映像AFが提案されている。
これらのAF方式うち、映像AFでは、映像信号から合焦判定に必要な帯域のフィルタにより抽出された高周波成分を映像AF評価値として抽出する。そして、映像AF評価値が最大となるようにフォーカスレンズを移動制御して焦点調節を行う。通常、被写体を撮影した場合、映像AF評価値が最大になるフォーカスレンズの位置が合焦点となる。このように映像AF方式は、被写体を撮影する撮像素子からの出力信号に基づいて得られた映像信号を用いて合焦判定を行うので、高精度に合焦させることができる。
ところで、単体で利用可能な撮像装置を複数台利用し、立体撮影を行う撮影システムが知られている。この撮影システムでは、一方の撮像装置をマスタ、もう一方の撮像装置をスレーブとし、スレーブ側の撮像装置はマスタ側の撮像装置に同期して動作するシステムが一般的である。また、2つの撮像系を一体型にまとめ、同様に立体撮影を行う撮影システムも知られている。これら立体撮影に使用される一対の撮影装置は、ズーム、フォーカス、絞りなどの制御対象の状態(位置)によって変化する光学条件が常に一致するように同時に駆動することが必要である。これら撮像システムはレンズの製造誤差等により、電気的に等価な位置に駆動したとしても、光学的には等価な位置に駆動されるとは限らないことを意味する。例えば、フォーカス制御において、電気的に等価な位置に駆動したとすると、撮影された画像が一方で合焦していたとしても、もう一方が非合焦となる可能性があり、立体画像として合成した場合に、違和感を覚える可能性が高い。よって、各々のレンズのフォーカスレンズを光学的に等価な位置に駆動する必要がある。そこで、各々のレンズのフォーカスレンズを光学的に等価な位置に駆動させるために、映像AFによる自動合焦機能を用いた先行例が提案されている。
例えば、特許文献1では、複数の撮影レンズを個別に合焦制御することによって、各々の撮像装置における合焦位置を正確に決定する例が提案されている。また、特許文献2では、一方のレンズの映像AF評価値が最大値を迎えた時、各撮像系を非同期に切替えて、各々合焦処理を行う例が提案されている。
特開2010−145771号公報 特開平08−079590号公報
しかしながら、特許文献1で開示されている従来技術では、自動合焦中は2つの撮像系が非同期に駆動することとなる。そのため、動画撮影に適用した場合、ボケ状態から合焦状態に至るまで、異なる画像が立体合成されることとなり、違和感のある立体画像となってしまう可能性が高い。
また、特許文献2で開示されている従来技術では、一方の撮像系が合焦を迎えた時点で、もう一方の撮像系がボケ状態となる可能性がある。そして、一方の撮像系の合焦位置を中心とした所定の範囲内で、もう一方のレンズが非同期に駆動する方法を提案しており、合焦近辺から合焦に至るまでの過程において、違和感のある立体画像が合成される可能性が高い。
そこで、本発明の目的は、立体撮影システムにおける自動合焦機能において、ボケ状態から合焦状態に至るまでのフォーカスレンズ駆動方法を改善し、従来よりも2つの撮像系の同期精度を向上させ、かつ高精度に合焦させることを目的とする。
本発明の撮影システムは、第1の撮影装置の第1のフォーカス機構と第2の撮影装置の第2のフォーカス機構とを駆動し、撮影を行う撮影システムであって、前記第1の撮影装置の映像信号から第1の合焦評価値を検出する第1の焦点検出手段と、前記第2の撮影装置の映像信号から第2の合焦評価値を検出する第2の焦点検出手段と、前記第1のフォーカス機構を駆動する第1の駆動手段と、前記第2のフォーカス機構を駆動する第2の駆動手段と、前記第1の駆動手段と前記第2の駆動手段の駆動を制御する制御手段と、を備え、前記制御手段は、前記第1の合焦評価値に基づいて、前記第1の駆動手段及び前記第2の駆動手段駆動を制御する位置追従モードと、前記第1の合焦評価値に基づいて前記第1の駆動手段の駆動を制御し、前記第1の合焦評価値と、前記第2の駆動手段の位置と前記第2の合焦評価値との関係の履歴とに基づいて、前記第2の合焦評価値が前記第1の合焦評価値に追従するよう前記第2の駆動手段駆動を制御する、評価値追従モードと、で前記第1の駆動手段と前記第2の駆動手段とを駆動可能である、ことを特徴とする。
本発明によれば、映像AF評価値を用いて合焦近辺か否かを予測し、合焦近辺において、各々の撮像系の映像AF評価値を同期させるようにフォーカスレンズを駆動する。そのため、ボケ状態から合焦状態に至るまで、高精度に同期可能な自動合焦機能を有する立体撮影装置を提供することができる。
本発明の実施例における撮影システムの構成図 被写体を立体撮影した時の左右の撮影画像のイメージ図 立体撮影装置における左右のレンズ装置の一般的な電気的なフォーカスレンズの位置と映像AF評価値との関係 実施例における自動合焦処理のフローチャート 図4中の通信受信処理のサブルーチン 図4中の映像AF評価値算出のサブルーチン 図4中のAF状態判定のサブルーチン 3サンプル分の映像AF評価値の関係 図4中の第1のフォーカスレンズの位置の目標値更新のサブルーチン 図4中の通信送信処理のサブルーチン 図4中の第2のフォーカスレンズの位置の目標値更新のサブルーチン 図11中の第2のフォーカスレンズの駆動量ΔF算出のサブルーチン 本発明の別の実施形態における撮影システムの構成図
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明の実施形態に係るレンズ装置の構成図である。
図1に本発明の実施例の自動合焦装置の構成図を示す。
第1のレンズ装置100は、第1のフォーカスレンズ111を含む第1の撮像光学系を有し、第1のフォーカスレンズ111は第1のモータ112により光軸方向に駆動可能な機構で構成されている。第1のモータ112は第1のドライバ113によって駆動される。また、第1のフォーカスレンズ111の位置は第1の位置検出器114によって検出される。第1のフォーカスレンズ111、第1のモータ112、第1のドライバ113、第1の位置検出器114で、第1のフォーカス機構を構成している。
第1のレンズ装置100は、レンズ装置によって結像される被写体像を撮像する第1の撮像装置200に取り外し可能に装着され、第1のレンズ装置100と第1の撮像装置200で、第1の撮影装置としての撮像システムを構成している。第1の撮影装置の焦点調節部材である第1のフォーカスレンズ111を通った光束は第1の撮像素子201上に結像される。第1の画像処理部202は、第1の撮像素子201から信号を取得した後に映像信号に変換し、第1の撮像装置200の外部へ出力する。第1の撮像装置200の外部へ出力された映像信号は、第1のレンズ装置100へ入力される。
第1のレンズ装置100は第1のCPU130を有し、第1のCPU130内には、第1の通信制御部131、第1の焦点検出部132、第1の制御部133、第1のレンズ制御部134から成り立っている。
本発明の立体撮影装置の第1の焦点検出手段である第1の焦点検出部132は、第1の撮像装置200からの映像信号の入力に基づいて、得られた映像信号から高周波成分を抽出するフィルタ演算を行う。該フィルタ演算の後、焦点検出に必要な第1の映像AF評価値(第1の合焦評価値)を算出する。第1の制御部133は、第1の映像AF評価値を用いて第1のフォーカスレンズ111の第1のフォーカス目標位置を算出する。第1のフォーカス目標位置の算出方法についての詳細は後述する。第1のレンズ制御部134は、第1の制御部133によって算出されたフォーカス目標位置へ第1のフォーカスレンズ111を駆動する。また、第1のレンズ制御部134は、第1の位置検出器114から第1のフォーカスレンズ111の位置を取得し記憶する。
第2のレンズ装置300は、第1のレンズ装置100と同様に、第2の撮像装置400に取り外し可能に装着され、第2のレンズ装置300と第2の撮像装置400で、第2の撮影装置としての撮像システムを構成している。第2の撮像装置400は第1の撮像装置200と同様に、第2の撮像素子401、第2の画像処理部402を構成している。第2のレンズ装置300の内部構成は、第1のレンズ装置100と同様である。第2のレンズ装置300の撮像光学系は、第2の撮影装置の焦点調節部材である第2のフォーカスレンズ311、第2のモータ312、第2のドライバ313、第2の位置検出器314から構成される。また、第1のCPU130と同様に、第2のレンズ装置300は第2のCPU330を有する。第2のCPU330内には、第2の通信制御部331、第2の焦点検出手段である第2の焦点検出部332、第2の制御部333、第2のレンズ制御部334から成り立っている。これら第2のCPU330内の各要素は、第1のCPU130内の各要素と同様の役割を担っている。本実施例において、第1の制御部133と第2の制御部333は共同して本発明の制御手段を構成している。
第1のレンズ装置100の第1の通信制御部131と、第2のレンズ装置300の第2の通信制御部331は、通信ケーブルで接続されており、双方向での通信が可能となっている。例えば、双方向で各光学部材の目標位置を送受信し、第1のレンズ装置100と第2のレンズ装置300の同期動作が可能である。第1のレンズ装置100および第2のレンズ装置300は、それぞれ第1の通信制御部131および第2の通信制御部331を通じて、フォーカス目標位置やフォーカス位置、映像AF評価値、映像AF評価値を元に判定したAF状態情報等がやり取りされる。第1の通信制御部131および第2の通信制御部331は、これらの情報を通信メッセージとしてエンコード処理して送信を行い、また、通信メッセージを受信してデコード処理を行う。
これら第1のレンズ装置100、第1の撮像装置200、第2のレンズ装置300、第2の撮像装置400を組み合わせて立体撮影を行う。例えば、第1のレンズ装置100と第1の撮像装置200を左側に、第2のレンズ装置300と第2の撮像装置400を右側に配置して一対の立体撮影システムを構成し、被写体を撮影すると、図2に示すように、それぞれの画像が得られる。これら画像を公知の手法で立体合成することにより、立体画像が得られる。
冒頭の背景技術の項で述べた通り、第1のレンズ装置100や第2のレンズ装置300はレンズの製造誤差等による個体差により、電気的に等価な位置に駆動したとしても、光学的には等価な位置に駆動されるとは限らない。例えば、図2に示す被写体を撮影し、合焦させた場合、各レンズの光学的位置は等価となる。これについて図3を用いて説明する。
図3では、縦軸を映像AF評価値とし、横軸を第1のフォーカスレンズ111および第2のフォーカスレンズ311の電気的な位置とし、第1及び第2の撮像装置200、400それぞれの映像AF評価値をプロットした例を示している。図3の映像AF評価値がピークとなる位置が合焦点であり、それぞれ第1のフォーカスレンズ111に対して合焦位置1、第2のフォーカスレンズ311に対して合焦位置2とした。この時、両レンズの合焦位置において、光学的には等価である一方で、グラフに横軸で示された電気的な位置は異なることを示している。また、電気的な位置が等価である場合、光学的には等価ではないこととなる。例えば、両レンズ共に合焦位置1に相当する電気的位置に駆動すると、第1のフォーカスレンズ111は合焦している一方で、第2のフォーカスレンズ311は非合焦状態となる。
本実施例では、異なるレンズ装置でフォーカスレンズの同期を行い、合焦点および合焦に至るまでの動きを含めて光学的に同期させる例について説明する。
図4は、第1のレンズ装置100における自動合焦処理の流れを示したフローチャートである。後述するが、第1のレンズ装置100と第2のレンズ装置300には同じプログラムがロードされており、後述する一部のサブルーチンのみ処理が異なる。第1のレンズ装置100の第1のCPU130および第2のレンズ装置300の第2のCPU330は、これらの処理をそれぞれ不図示のメモリに格納されたコンピュータプログラムにしたがって制御する。第1のレンズ装置100と第2のレンズ装置300は不図示の切替手段によって、基準側と追従側と処理を切り替えることが可能である。本実施例では、第1のレンズ装置100を基準側とし、第2のレンズ装置300を追従側として説明する。
まず第1のレンズ装置100における処理について説明する。第1のレンズ装置100に電源が入ると、第1のCPU130の処理は、図4のステップS110から順番に処理を実行していく。図4のフローチャートはS110からS190まで実行すると、再びS110に戻って実行する。これらは、第1のCPU130内に備わっている不図示のタイマ等を用いて周期的に処理される。本実施例では、第1の撮像装置200から入力される映像のV周期(1フレームを描画する時間周期)と同じ周期で、図4のフローチャートを実行する例を述べるが、実行周期は限定されず、V周期と異なる任意の周期で実行しても良い。
図4のステップS110において、第1のCPU130は、第2のレンズ装置300から受信した通信メッセージのデコード処理を行う。図4のステップS110のサブルーチンを図5に示す。図5において、まずステップS111において、第2のレンズ装置300のAF状態をデコードする。次に、ステップS112において、第2のレンズ装置300が算出した第2の映像AF評価値(第2の合焦評価値)をデコードする。次にステップS113に進み、第2のレンズ装置300の第2のフォーカスレンズ311の目標値をデコードする。さらに、ステップS114に進み、第2のレンズ装置300の第2のフォーカスレンズ311の位置をデコードする。ステップS114を実行すると、図5のサブルーチンを終了し、図4のステップS120へ進む。
図4のステップS120では、第1のフォーカスレンズ111の位置を取得し記憶する。本実施例では、第1のフォーカスレンズ111の位置を3周期分記憶することとし、現在位置をF(k)、前回位置をF(k−1)、前々回位置をF(k−2)とする。次に、ステップS130に進み、第1の焦点検出部132によって、第1の映像AF評価値が算出される。ステップS130のサブルーチンを図6に示す。
図6のステップS131において、第1の焦点検出部132は、第1の撮像装置200から入力される映像信号に基づいて、第1の映像AF評価値Vを算出する。第1の焦点検出部132は、算出した第1の映像AF評価値を記憶する。本実施例では3サンプル分記憶する例を示すが、記憶するサンプル数は3サンプルに限定されない。V(k)を現在時刻の第1の映像AF評価値を記憶する。V(k−1)は前回処理時点での第1の映像AF評価値を記憶する。また、V(k−2)は前々回処理時点での第1の映像AF評価値を記憶する。ステップS132では、V(k−1)をV(k−2)に代入する。ステップS133では、V(k)をV(k−1)に代入する。そして、ステップS134にてV(k)にVを代入する。このようにして、サブルーチンS131〜S134が実行されるたびに、記憶している3サンプル分の映像AF評価値を更新する。ステップS134を実行すると、図4のステップS140に進む。
図4のステップS140では、ステップS130にて算出・記憶した第1の映像AF評価値に基づいて、現在のAF状態を判定する。ステップS140のサブルーチンを図7に示す。
図7のサブルーチンでは、図6のステップS131〜S134で記憶した第1の映像AF評価値3サンプル分に基づいて、AF状態を判定する。ここでのAF状態とは、現在合焦中であるか、所謂山登り中であるか、山登りを完了状態であるか、合焦から外れた状態であるか、等の判定を行う。まず、図7のステップS141にて、ステップS134で記憶したV(k)に基づいて、合焦中の状態であるかどうかを判定する。後述するVinfocusにて、合焦値を決定し、V(k)がVinfocus近傍であるかどうかを判定する。例えば、任意の閾値T1を用いて、
Vinfocus−T1 ≦ V(k) ≦ Vinfocus+T1
が満たされるかどうかを判定しても良い。合焦判定については、この方法に限定されないが、その他に公知の方法を用いて合焦判定を行っても良い。例えば、一般的に合焦状態にある場合には、映像AF評価値は高い値にあるので、ある任意の閾値よりも高い場合には合焦であると判定しても良い。合焦中であるかどうかを判定する前提として、映像AF評価値での合焦判定によって、映像AF評価値が極大値を通過した経緯があるので、この映像AF評価値の極大値を有効なダイナミックレンジとして、その90%以上である場合に合焦と判断してもよい。ステップS141が真である場合には、ステップS142に進み、偽である場合にはステップS143に進む。ステップS142では、AF状態を合焦中状態に設定して、図7のサブルーチンを終了する。ステップS143では、まず、
V(k−1)<V(k−2)、又は
V(k)<α (αは任意の合焦閾値)
であるかどうかを判定する。ここで、任意の合焦閾値αは、一旦設定されたVinfocusがある場合はその10%の値としてもよいし、まだ、合焦判定において映像AF評価値の極大値を検出していない場合は、撮影条件に応じた所定の値を任意の合焦閾値αの初期値として設定してもよい。
ここで、図8に映像AF評価値の3サンプル分の関係性を示す。図8中のTは本実施例の冒頭で述べた映像信号の更新周期である。T(k)は現在時刻であり、T(k−1)は前回時刻、T(k−2)は前々回時刻である。それぞれ時刻T(k)、T(k−1)、T(k−2)時点で取得された映像AF評価値をV(k)、V(k−1)、V(k−2)としている。また、この時のフォーカスレンズ111の位置はF(k)、F(k−1)、F(k−2)となる。図8(c)に示すように、判定式、
V(k−1)<V(k−2)
が真である場合には、映像AF評価値は前回時刻に至るまでに減少し、時刻T(k−1)において極大値を検出することはないことを示しており、非合焦であることがわかる。また、判定式、
V(k)<α (αは任意の合焦閾値)
が真である場合は、非合焦であると判定することができる。ステップS143にて真と判定された場合は、ステップS145へと進み、AF状態を初期状態に設定して、図7のサブルーチンを終了する。ステップS143が偽である場合には、ステップS146へと進む。
ステップS146では、
V(k)>V(k−1)
であるかを判定し、図8(a)に示すように、この条件が真である場合には、映像AF評価値が増加傾向にあり、合焦点に近づいている(映像AF評価値は合焦方向に変化中である)ことがわかる。所謂山登り中である。ステップS146が真である場合には、ステップS147へと進み、AF状態を山登り中状態に設定して図7のサブルーチンを終了する。図7のステップS146にて偽と判定された場合には、ステップS148へと進む。図8(b)に示すように、V(k−1)をピークとして、V(k−2)やV(k)がV(k−1)よりも小さい場合には、映像AF評価値がピークを迎え、所謂山登りし合焦点を迎えたと判定することができる。この時、図7のステップS148において、前述のVinfocusに映像AF評価値のピーク値であるV(k−1)を代入する。次にステップS149にて、AF状態を山登り完状態に設定して図7のサブルーチンを終了する。図7のサブルーチンを終了すると、図4のステップS150へと進む。
図4のステップS150では、ステップS140で判定した第1のレンズ装置100のAF状態及びステップS110で取得した第2のレンズ装置300のAF状態に基づいて、第1のフォーカスレンズ111の目標値Fnextを算出する。第1のフォーカスレンズ111の目標値は、ステップS150のサブルーチンを図9に示す。
図9のステップS151において、ステップS140で決定した第1のレンズ装置100のAF状態に基づいて処理を分岐する。第1のレンズ装置100のAF状態が合焦中の状態である場合はステップS153に進む。また、第1のレンズ装置100のAF状態が山登り完了の状態である場合はステップS154に進む。第1のレンズ装置100のAF状態が山登り中の状態又は初期状態である場合はステップS152に進む。ステップS152では、第1のレンズ装置100又は第2のレンズ装置300のAF状態が山登り中の状態かどうかに基づいて分岐する。ステップS152にて、第1のレンズ装置100又は第2のレンズ装置300のいずれかのAF状態が山登り中である場合はステップS155に進み、いずれも山登り中ではない場合には、ステップS156に進む。また、装置の起動直後で映像AF評価値の履歴がない場合や、撮影シーンが変更されて、新たに自動焦点調整を開始する場合なども、ステップS156に分岐する。
図9のステップS153では、第1のフォーカスレンズ111の目標値Fnextに、ステップS120で記憶した第1のフォーカスレンズ111の現在位置F(k)を設定し、図9のサブルーチンを終了する。ステップS153が実行されるケースでは、合焦中の状態であるため、第1のフォーカスレンズ111の位置を変更する必要がない。
図9のステップS154では、第1のフォーカスレンズ111の目標値FnextにステップS120で記憶した第1のフォーカスレンズ111の前回の位置F(k−1)を設定し、図9のサブルーチンを終了する。ステップS154が実行されるケースでは、山登りが完了した状態である。図8(b)に示したように、山登り完状態では、本実施例で例示した3つAF評価値、V(k−2)、V(k−1)、V(k)の中でV(k−1)が映像AF評価値のピークであり、この時、第1のフォーカスレンズ111の位置はF(k−1)である。そのため、映像AF評価値がピークとなる位置へ第1のフォーカスレンズ111の目標値を設定する。
図9のステップS155では、第1のフォーカスレンズ111の目標値Fnextには、第1のフォーカスレンズ111の現在位置F(k)にΔFを加えた位置を設定する。ステップS155が実行されるケースは、第1のフォーカスレンズ111又は第2のフォーカスレンズ311の少なくとも一方のAF評価値において、山登りが始まっているので、フォーカスレンズの駆動方向は正しいことが確認できた状態である。このため、現在の駆動方向と同じ方向に駆動することによって合焦点に近づくことが確認された状態である。ΔFは任意であるが、公知の手法を用いてΔFを可変としても良い。例えば、所定の閾値に対して映像AF評価値V(k)が小さい値の場合のΔFを、前記所定の閾値に対して映像AF評価値V(k)が大きい値の場合のΔFよりも大きい値として設定しても良い。また、第1のレンズ装置100及び第2のレンズ装置300の内で山登りが確認された側のフォーカスレンズの駆動量とAF評価値の変化量の履歴に基づいて、ΔFを決定してもよい。
図9のステップS156では、第1のフォーカスレンズ111を微小な所定量だけ駆動して、合焦点の方向判定を行うための微小駆動量Fwobを設定する。Fwobは、ウォブリングと呼ばれる公知の動作を行うための駆動量である。ここでは駆動方向も含めて記憶し、直前の第1のフォーカスレンズ111の駆動において無限方向に駆動したのであれば、今回はそれと反対方向である至近方向に駆動するようにFwobを設定する。一方、直前の第1のフォーカスレンズ111の駆動において至近方向に駆動したのであれば、今回はそれとは反対方向である無限方向に駆動するようにFwobを設定する。ステップS156が実行されると、ステップS157へと進む。ステップS157において、第1のフォーカスレンズ111の目標値Fnextには、第1のフォーカスレンズ111の現在位置F(k)にステップS156で設定したFwobを加えた量を設定する。S157でフォーカスレンズの目標値を設定してフォーカスレンズを駆動する制御を複数回繰り返しても、その結果の映像AF評価値が所定の閾値以上の値とならない場合は、それを考慮し、合焦方向特定のために設定するFwobの方向と移動量を変更させてもよい。
図9のサブルーチンが実行されると、再び図4のフローチャートのS180へと進む。ステップS180では、第1のレンズ装置100の接続先である第2のレンズ装置300へ送信する通信メッセージのエンコード処理と送信処理が第1の通信制御部131によって行われる。図4のステップS180のサブルーチンを図10に示す。
図10のステップS181において、まずステップS181において、第1のレンズ装置100のAF状態をエンコードする。次に、ステップS182において、第1のレンズ装置100が算出したAF評価値をエンコードする。次にステップS183に進み、第1のレンズ装置100の第1のフォーカスレンズ111の目標値をエンコードする。さらに、ステップS184に進み、第1のレンズ装置100の第1のフォーカスレンズ111の位置をエンコードする。次に、ステップS185へと進み、ステップS181からS184でエンコードされたデータを第2のレンズ装置300へ送信する。ステップS185が実行されると図5のサブルーチンを終了し、図4のステップS190へ進む。
図4のフローチャートのステップS190では、ステップS150で設定したフォーカスレンズ目標値Fnextへ第1のフォーカスレンズ111を駆動する。
以上、第1のレンズ装置100が実行する処理の流れを説明した。次に、第2のレンズ装置300が実行する処理の流れについて説明する。
第2のレンズ装置300は、前述の通り、基準側である第1のレンズ装置100に対し追従するレンズ装置となる。本発明では、前述のAF状態が初期状態の場合は、第1のフォーカスレンズ111の目標位置に対して第2のフォーカスレンズ311の位置を追従させる。また、AF状態が山登り中状態においては、第1のフォーカスレンズ111の目標位置に第2のフォーカスレンズ311の目標位置を追従させない。そして、第1のレンズ装置100で算出された第1の映像AF評価値(第1の合焦評価値)を第2のレンズ装置300で算出する第2の映像AF評価値(第2の合焦評価値)が追従するように、第2のフォーカスレンズ311を駆動する。このように第1のレンズ装置100と第2のレンズ装置300の映像AF評価値を追従させるように第1のフォーカスレンズ111と第2のフォーカスレンズ311の駆動を制御する制御モードを、評価値追従モードと定義する。また、第2のレンズ装置300のAF状態が、山登り完状態及び合焦中状態においては、第2のフォーカスレンズ311の駆動目標位置に基づいて第2のフォーカスレンズ311を駆動する。このように第2のフォーカスレンズ311を制御することによって、非合焦状態から合焦に至るまでに光学的に第1のフォーカスレンズ111と第2のフォーカスレンズ311を同期させることが可能となる。
図4のフローチャートにおいて、ステップS110では、第1のレンズ装置100から受信した通信メッセージのデコード処理を行う。ステップS110のサブルーチンは図5で述べた通りであるため、説明を省略する。ステップS110が実行されるとステップS120へと進む。
図4のステップS120では、第1のレンズ装置100と同様に、第2のフォーカスレンズ311の位置を取得し、記憶する。次にステップS130へと進み、前述と同様に第2の映像AF評価値を算出する。次にステップS140へと進み、第2のレンズ装置300のAF状態を前述と同様に判定する。さらに、ステップS150へと進み、第2のフォーカスレンズ311の目標値を更新する。第2のレンズ装置300におけるステップS150のサブルーチンを図11に示す。
図11のサブルーチンのステップS161において、第2のレンズ装置300のAF状態に基づいて分岐する。ステップS161において、第2のレンズ装置300のAF状態は合焦中の状態であると判定された場合はステップS163へと進む。また、ステップS161にて、第2のレンズ装置300のAF状態は山登りが完了した状態と判定された場合は、ステップS164へと進む。さらに、ステップS161にて、第2のレンズ装置300のAF状態が山登り中または初期状態であると判定された場合はステップS162へと進む。
ステップS162では、第1のレンズ装置100又は第2のレンズ装置300のAF状態が山登り中の状態かどうかに基づいて分岐する。ステップS162にて、第1のレンズ装置100又は第2のレンズ装置300のAF状態のいずれかが山登り中である場合はステップS165に進み、いずれも山登り中ではない場合はステップS167へと進む。
図11のステップS163では、図9のステップS153と同様に、第2のフォーカスレンズ311の位置F(k)を第2のフォーカスレンズ311の目標位置Fnextに設定する。この時、第2のフォーカスレンズ311の目標位置は、第1のフォーカスレンズ111の目標位置とは非同期となる。ステップS163を実行すると、図11のサブルーチンを終了する。
図11のステップS164では、図9のステップS154と同様に、第2のフォーカスレンズ311の前回位置F(k−1)を目標値Fnextへ設定する。ステップS164を実行すると、図11のサブルーチンを終了する。
図11のステップS165では、第2のフォーカスレンズ311を駆動するための駆動量ΔFを算出する。第1のレンズ装置100又は第2のレンズ装置300において、映像AF評価値の所謂山登りが始まると、各フォーカスレンズ各フォーカスレンズの駆動目標位値ではなく映像AF評価値を同期させることは前に述べた。ここでは、その詳細な設定方法について述べる。図11のステップS165のサブルーチンを図12に示す。
図12のステップS171にて、第2のレンズ装置300は、第1のレンズ装置100の次回の映像AF評価値Vm(k+1)の推定値を演算する。Vmとは、接続先の基準側である第1のレンズ装置100が算出した映像AF評価値である。図5で述べた通り、第2のレンズ装置300は第1のレンズ装置100の第1の映像AF評価値や第1のフォーカスレンズ111の目標値を受信している。ここでは、第1のレンズ装置100の第1の映像AF評価値と第1のフォーカスレンズ111の目標値の軌跡から第1のレンズ装置100の次回の映像AF評価値の推定値としてVm(k+1)を算出する。次に、ステップS172に進み、第2のレンズ装置300の第2の映像AF評価値の軌跡V(k)〜V(k−2)と、第2のフォーカスレンズ311の位置軌跡F(k)〜F(k−2)を用いて、第2のレンズ装置300の次回の第2の映像AF評価値V(k+1)が、Vm(k+1)と等しくなるように、第2のフォーカスレンズ311の駆動量ΔFを算出する。ΔFの算出方法は公知の方法で良い。例えば、前回値と今回値から次回の値を線形近似して求めても良い。
図12のステップS172が実行されると、図11のステップS166へと進む。ステップS166では、第2のフォーカスレンズ311の目標値Fnextには、第2のフォーカスレンズ311の現在位置にステップS165で算出したΔFを加算した値を設定する。ステップS166が実行されると、図11のサブルーチンを終了する。
図11のステップS167では、第2のフォーカスレンズ311の目標値Fnextに、第1のレンズ装置100から受信した第1のフォーカスレンズ111の目標値Fm(k)を設定する。ここでは、現在のフォーカス状態が合焦状態から大きく離れた状態であることを示し、第2のレンズ装置300の第2のフォーカスレンズ311は第1のレンズ装置100の第1のフォーカスレンズ111に同期して動作することとなる。すなわち、第1のレンズ装置100又は第2のレンズ装置300のいずれか一方で山登りが検出されたときに実行される評価値追従モードでの制御に対し、第1のフォーカスレンズ111に第2のフォーカスレンズ311の位置を追従させる位置追従モードで制御される。
図11のサブルーチンが実行されると、図4のフローチャートのステップS180を実行する。ステップS180では図10と同様に、第1のレンズ装置100への通信メッセージのエンコード処理と送信処理を行う。
図4のステップS180が実行されると、ステップS190へと進み、第2のフォーカスレンズ311を駆動する。ステップS190が実行されると、再びS110から順番に処理が繰返し実行される。
評価値追従モードで制御している時の具体的な第1のフォーカスレンズ111及び第2のフォーカスレンズ311の駆動は、第1の映像AF評価値が第2の映像AF評価値より大きい場合は第2の駆動手段の速度を上げ、第2の映像AF評価値が第1の映像AF評価値より大きい場合は第2の駆動手段の速度を下げるように、制御してもよい。または、第1の映像AF評価値が第2の映像AF評価値より大きい場合は第2の駆動手段の速度を上げ、第2の映像AF評価値が第1の映像AF評価値より大きい場合は第1の駆動手段の速度を上げるように制御してもよい。
このように、本実施例では、合焦点から大きく離れた位置では、第1のレンズ装置100と第2のレンズ装置300の各フォーカスレンズが同期するように駆動させた。また、映像AF評価値の山登りが始まったところで、映像AF評価値を同期させるように各フォーカスレンズを非同期に駆動させた。このように構成することによって、ボケ状態から合焦状態に至るまで、高精度に同期可能な自動合焦機能を有する立体撮影装置を提供することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上記の実施例では、第1のレンズ装置100、第1の撮像装置200,第2のレンズ装置300、第2の撮像装置400というように、独立して使用可能な撮影装置を2つ組み合わせて立体撮影装置を構成したが、図13に示すように、一体型で構成しても良い。この場合、装置は、大きくレンズ装置500と撮像装置600から構成される。レンズ装置500は、第1のフォーカスレンズ111を含む第1の撮像光学系、第2のフォーカスレンズ311を含む第2の撮像光学系を有する。第1のフォーカスレンズ111を含むフォーカス機構、第2のフォーカスレンズ311を含む第2のフォーカス機構の構成は、図1を参照しながら説明した構成と同様である。この構成においては、制御部533(制御手段)は、第1の制御部133、第2の制御部333の機能を含む。また、レンズ装置が一体で構成されているため、第1の通信制御部131と第2の通信制御部331を必要とすることなく、第1のフォーカス機構と第2のフォーカス機構を同期させて制御することができる。
この時、図4〜図12に示したフローチャートを図13のCPU530内で同時に処理しても同様の効果が得られる。
また、本発明は、第1の撮影装置の第1のフォーカス機構と第2の撮影装置の第2のフォーカス機構とを駆動する制御装置(コントローラ)であって、第1の撮影装置及び第2の撮影装置とは別に構成された制御装置に適用することができる。この制御装置においては、第1の撮影装置の映像信号に基づく第1の合焦評価値に基づいて、第1のフォーカス機構及び第2のフォーカス機構を駆動する位置追従モードと、第1の合焦評価値に第2の撮影装置の映像信号に基づく第2の合焦評価値が追従するように、第1のフォーカス機構及び第2のフォーカス機構を駆動する評価値追従モードと、で第1及び第2のフォーカス機構を駆動可能である構成を有するものである。
さらに、本発明は、第1のフォーカス機構を含む第1のレンズ装置と、該第1のレンズ装置に接続された第1のカメラ本体と、を備える撮影装置に適用することができる。この撮影装置は、第2のフォーカス機構を含む第2のレンズ装置と、該第2のレンズ装置に接続された第2のカメラ本体とを有する別の撮影装置と通信する通信手段と、第1のフォーカス機構を制御可能であると共に、通信手段を介して第2のフォーカス機構も制御可能である制御手段と、を備える。また、制御手段は、第1のカメラ本体の映像信号に基づく第1の合焦評価値に基づいて、第1のフォーカス機構及び第2のフォーカス機構を駆動する位置追従モードと、第1の合焦評価値に第2のカメラ本体の映像信号に基づく第2の合焦評価値を追従させるように、第1のフォーカス機構及び第2のフォーカス機構を駆動する評価値追従モードと、で第1のフォーカス機構及び第2のフォーカス機構を制御可能な構成を有する。
さらに、本発明は、第1のフォーカス機構を備え、第1のカメラ本体に接続可能なレンズ装置に適用できる。このレンズ装置は、第2のカメラ本体に接続され、第2のフォーカス機構を含む第2のレンズ装置と通信する通信手段と、第1のフォーカス機構を制御可能であると共に、通信手段を介して第2のフォーカス機構も制御可能である制御手段と、を備える。また、制御手段が、第1のカメラ本体の映像信号に基づく第1の合焦評価値に基づいて、第1のフォーカス機構及び第2のフォーカス機構を駆動する位置追従モードと、第1の合焦評価値に第2のカメラ本体の映像信号に基づく第2の合焦評価値を追従させるように、第1のフォーカス機構及び第2のフォーカス機構を駆動する評価値追従モードと、で第1のフォーカス機構及び第2のフォーカス機構を制御可能な構成を有する。
100 第1のレンズ装置
111 第1のフォーカスレンズ
112 第1のモータ
130 第1のCPU
131 第1の通信制御部
132 第1の焦点検出部(第1の焦点検出手段)
133 第1の制御部
134 第1のレンズ制御部
200 第1の撮像装置
300 第2のレンズ装置
311 第2のフォーカスレンズ
312 第2のモータ
330 第2のCPU
331 第2の通信制御部
332 第2の焦点検出部(第2の焦点検出手段)
333 第2の制御部
334 第2のレンズ制御部
400 第2の撮像装置
500 レンズ装置
530 CPU
533 制御部
600 撮像装置

Claims (9)

  1. 第1の撮影装置の第1のフォーカス機構と第2の撮影装置の第2のフォーカス機構とを駆動し、撮影を行う撮影システムにおいて、
    前記第1の撮影装置の映像信号から第1の合焦評価値を検出する第1の焦点検出手段と、
    前記第2の撮影装置の映像信号から第2の合焦評価値を検出する第2の焦点検出手段と、
    前記第1のフォーカス機構を駆動する第1の駆動手段と、
    前記第2のフォーカス機構を駆動する第2の駆動手段と、
    前記第1の駆動手段と前記第2の駆動手段の駆動を制御する制御手段と、
    を備え、
    前記制御手段は、前記第1の合焦評価値に基づいて、前記第1の駆動手段及び前記第2の駆動手段駆動を制御する位置追従モードと、前記第1の合焦評価値に基づいて前記第1の駆動手段の駆動を制御し、前記第1の合焦評価値と、前記第2の駆動手段の位置と前記第2の合焦評価値との関係の履歴とに基づいて、前記第2の合焦評価値が前記第1の合焦評価値に追従するよう前記第2の駆動手段駆動を制御する、評価値追従モードと、で前記第1の駆動手段と前記第2の駆動手段とを駆動可能である、
    ことを特徴とする撮影システム。
  2. 前記制御手段は、前記位置追従モードにおいては、前記第1のフォーカス機構と前記第2のフォーカス機構に同じ目標位置設定する、ことを特徴とする請求項1記載の撮影システム。
  3. 前記第1の合焦評価値の履歴から合焦位置が検出されていない場合の前記第1の駆動手段、及び、前記第2の合焦評価値の履歴から合焦位置が検出されていない場合の前記第2の駆動手段、のそれぞれに対し、前記制御手段は、前記第1の合焦評価値と前記第2の合焦評価値のいずれかが所定の閾値よりも大きく且つ合焦方向へ変化中であることを示している場合は、前記評価値追従モードで制御し、その他の場合は、前記位置追従モードで制御する、ことを特徴とする請求項1又は2に記載の撮影システム。
  4. 前記制御手段は、前記評価値追従モードの時、前記第1の合焦評価値が前記第2の合焦評価値より大きい場合は前記第2の駆動手段の速度を上げ、前記第2の合焦評価値が前記第1の合焦評価値より大きい場合は該第2の駆動手段の速度を下げる、ことを特徴とする請求項1乃至3のいずれか1項に記載の撮影システム。
  5. 前記制御手段は、前記評価値追従モードの時、前記第1の合焦評価値が前記第2の合焦評価値より大きい場合は前記第2の駆動手段の速度を上げ、前記第2の合焦評価値が前記第1の合焦評価値より大きい場合は、前記第1の駆動手段の速度を上げる、ことを特徴とする請求項1乃至3のいずれか1項記載の撮影システム。
  6. 前記制御手段は、前記位置追従モードにおいて、前記第1の駆動手段を直前の駆動方向とは反対の方向へ所定量だけ駆動させた後、得られた前記第1の合焦評価値から合焦させるための前記第1の駆動手段の駆動方向を決定する、ことを特徴とする請求項1乃至5のいずれか1項に記載の撮影システム。
  7. 第1の撮影装置の第1のフォーカス機構と第2の撮影装置の第2のフォーカス機構とを駆動する制御装置であって、
    前記第1の撮影装置の映像信号に基づく第1の合焦評価値に基づいて、前記第1のフォーカス機構及び前記第2のフォーカス機構駆動を制御する位置追従モードと前記第1の合焦評価値に基づいて前記第1のフォーカス機構を駆動し、前記第1の合焦評価値と、前記第2の撮影装置の映像信号に基づく第2の合焦評価値と前記第2のフォーカス機構のフォーカス位置との関係の履歴とに基づいて、前記第2の合焦評価値が前記第1の合焦評価値に追従するように前記第2のフォーカス機構駆動を制御する評価値追従モードと、で前記第1及び第2のフォーカス機構を駆動可能である、
    ことを特徴とする制御装置。
  8. 第1のフォーカス機構を含む第1のレンズ装置と、該第1のレンズ装置に接続された第1のカメラ本体と、を備える撮影装置であって、
    第2のフォーカス機構を含む第2のレンズ装置と、該第2のレンズ装置に接続された第2のカメラ本体とを有する別の撮影装置と通信する通信手段と、
    前記第1のフォーカス機構を制御可能であると共に、前記通信手段を介して前記第2のフォーカス機構も制御可能である制御手段と、
    を備え、
    前記制御手段が、前記第1のカメラ本体の映像信号に基づく第1の合焦評価値に基づいて、前記第1のフォーカス機構及び前記第2のフォーカス機構駆動を制御する位置追従モードと、前記第1の合焦評価値に基づいて前記第1の駆動手段の駆動を制御し、前記第1の合焦評価値と、前記第2のカメラ本体の映像信号に基づく第2の合焦評価値と前記第2のフォーカス機構のフォーカス位置との関係の履歴とに基づいて、前記第2の合焦評価値を前記第1の合焦評価値に追従させるように前記第2のフォーカス機構駆動を制御する評価値追従モードと、で前記第1及び第2のフォーカス機構を制御可能である、
    ことを特徴とする撮影装置。
  9. 第1のフォーカス機構を備え、第1のカメラ本体に接続可能なレンズ装置であって、
    2のカメラ本体に接続され、第2のフォーカス機構を含む第2のレンズ装置と通信する通信手段と、
    前記第1のフォーカス機構を制御可能であると共に、前記通信手段を介して前記第2のフォーカス機構も制御可能である制御手段と、
    を備え、
    前記制御手段が、該第1のカメラ本体の映像信号に基づく第1の合焦評価値に基づいて、前記第1のフォーカス機構及び前記第2のフォーカス機構駆動を制御する位置追従モードと、前記第1の合焦評価値に基づいて前記第1の駆動手段の駆動を制御し、前記第1の合焦評価値と、前記第2のカメラ本体の映像信号に基づく第2の合焦評価値と前記第2のフォーカス機構のフォーカス位置との関係の履歴とに基づいて、前記第2の合焦評価値前記第1の合焦評価値に追従させるように前記第2のフォーカス機構駆動を制御する評価値追従モードと、で前記第1及び第2のフォーカス機構を制御可能である、
    ことを特徴とするレンズ装置。
JP2012086454A 2012-04-05 2012-04-05 2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置 Expired - Fee Related JP5941327B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012086454A JP5941327B2 (ja) 2012-04-05 2012-04-05 2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012086454A JP5941327B2 (ja) 2012-04-05 2012-04-05 2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置

Publications (2)

Publication Number Publication Date
JP2013218023A JP2013218023A (ja) 2013-10-24
JP5941327B2 true JP5941327B2 (ja) 2016-06-29

Family

ID=49590203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012086454A Expired - Fee Related JP5941327B2 (ja) 2012-04-05 2012-04-05 2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置

Country Status (1)

Country Link
JP (1) JP5941327B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6304309B2 (ja) * 2016-06-09 2018-04-04 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0862483A (ja) * 1994-08-19 1996-03-08 Canon Inc 複眼カメラシステム
JPH0879590A (ja) * 1994-09-06 1996-03-22 Canon Inc 複眼撮像装置
JP4532865B2 (ja) * 2003-09-09 2010-08-25 キヤノン株式会社 撮像装置および撮像装置のフォーカス制御方法
JP2006139015A (ja) * 2004-11-11 2006-06-01 Fujinon Corp 立体カメラ用レンズシステム
JP2006345246A (ja) * 2005-06-09 2006-12-21 Mitsubishi Electric Corp 立体撮影機能付き携帯電話機
US7683962B2 (en) * 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
WO2011118078A1 (ja) * 2010-03-25 2011-09-29 富士フイルム株式会社 立体撮像装置及び立体撮像装置の自動焦点調節方法
JP5616712B2 (ja) * 2010-07-27 2014-10-29 キヤノン株式会社 レンズ装置
JP2012042869A (ja) * 2010-08-23 2012-03-01 Nec Casio Mobile Communications Ltd 撮像装置、フォーカスレンズ位置決定方法およびプログラム
CN103081481A (zh) * 2010-08-24 2013-05-01 日本电气株式会社 立体摄影装置和立体摄影方法

Also Published As

Publication number Publication date
JP2013218023A (ja) 2013-10-24

Similar Documents

Publication Publication Date Title
JP5388544B2 (ja) 撮像装置およびそのフォーカス制御方法
JP5627652B2 (ja) 撮像装置およびその制御方法、並びにレンズ装置およびその制御方法
TWI515470B (zh) 使用多鏡頭的自動對焦系統及其方法
JP2010015024A (ja) 撮像装置、その制御方法、プログラム及び記憶媒体
JP2011150179A (ja) オートフォーカス装置
JP2016142925A (ja) 撮像装置およびその制御方法、プログラム、記憶媒体
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
JP2013130827A (ja) レンズ制御装置
JP2008058788A (ja) 焦点調節装置、撮像装置、および制御方法
CN102893196B (zh) 三维成像装置和三维成像装置的自动聚焦调节方法
TWI515471B (zh) 使用多鏡頭的自動對焦系統及其方法
JP2011107716A (ja) オートフォーカス装置
JP5941327B2 (ja) 2つの撮影装置を含む撮影システム、該撮影システムの制御装置、撮影装置、レンズ装置
JP6154080B2 (ja) 撮影装置、撮影装置本体、及びレンズ鏡筒
JP5002289B2 (ja) 撮影装置
JP2014215475A5 (ja)
JP6220144B2 (ja) 焦点調節装置およびその制御方法
JP2015212746A (ja) ズームトラッキング制御装置、ズームトラッキング制御プログラム、光学機器および撮像装置
EP2696587B1 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, program, and storage medium
JP7427414B2 (ja) 制御装置、レンズ装置、撮像装置、制御方法、プログラム
JP6045539B2 (ja) オートフォーカス装置
JP2014160186A (ja) 焦点検出装置及び撮像装置
JP6057627B2 (ja) 立体画像撮像装置、カメラシステム、立体画像撮像装置の制御方法、プログラム、記憶媒体
JP6900228B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム
JP2017215500A (ja) 画像処理装置、撮像装置、画像処理システム、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160520

R151 Written notification of patent or utility model registration

Ref document number: 5941327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees