JP5828401B2 - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法 Download PDF

Info

Publication number
JP5828401B2
JP5828401B2 JP2012058329A JP2012058329A JP5828401B2 JP 5828401 B2 JP5828401 B2 JP 5828401B2 JP 2012058329 A JP2012058329 A JP 2012058329A JP 2012058329 A JP2012058329 A JP 2012058329A JP 5828401 B2 JP5828401 B2 JP 5828401B2
Authority
JP
Japan
Prior art keywords
light receiving
receiving sensor
shutter
lens
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012058329A
Other languages
English (en)
Other versions
JP2013192138A (ja
Inventor
英司 坪野
英司 坪野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012058329A priority Critical patent/JP5828401B2/ja
Publication of JP2013192138A publication Critical patent/JP2013192138A/ja
Application granted granted Critical
Publication of JP5828401B2 publication Critical patent/JP5828401B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像生成装置および画像生成方法に関する。
従来、電子シャッターによる先幕と機械式シャッターによる後幕を利用した撮影において、レンズの位置などのレンズ状態が異なることによって受光センサー上の位置毎の露光時間が変化してしまうことが知られている。このため、電子シャッターによって先幕、機械式シャッターによって後幕を構成する撮影装置において機械式シャッターによる後幕の走行特性およびレンズ状態に応じて電子シャッターによる先幕の走行特性が変化するように調整することで露光時間を均一化させる各種の技術が開発されている。例えば、特許文献1においては、レンズの射出瞳距離等が変化することに起因して受光センサー上の位置毎の露光量が不均一になることを防止するため、レンズの射出瞳距離に基づいて電子シャッターによる先幕の走行パターンを調整する技術が開示されている。
特開2007−53742号公報
従来の技術においては、高精度に露光時間を均一化させることが困難であった。すなわち、特許文献1の技術においては、射出瞳距離に基づいて電子シャッターによる先幕の走行パターンを調整するため、射出瞳距離毎に複数個の走行パターンを記憶媒体に記憶させておく必要がある。しかし、連続的に変化し得るレンズの射出瞳距離の全てに対応した走行パターンを記憶することはできず、任意の射出瞳距離に応じて正確に走行パターンを制御することはできない。さらに、シャッター速度が1/4000などの高速である場合や受光センサーの受光素子の画素ピッチが数μm程度である場合に鑑みると、走行パターンの制御は極めて短い時間内の微小な差異を調整することが必要とされ、このような詳細な調整を射出瞳距離毎に実行することは困難であった。
本発明は上記課題にかんがみてなされたもので、高精度に露光時間を均一化させることが可能な技術を提供することを目的とする。
本発明にかかる画像生成装置は、受光センサーによって露光が開始された後、受光される光をシャッターによって遮断することによって露光を終了させることが可能であり、露光の開始からシャッターによる光の遮断までの露光時間内に受光センサーが受光した光量に応じた画像データを生成する。この構成において、露光の開始からシャッターによる光の遮断までの露光時間の受光センサーの受光素子間でのずれを抑制するように、レンズの状態に基づいてシャッターと受光センサーとの少なくとも一方を移動させる構成とする。
すなわち、画像生成装置においては露光の開始からシャッターによる光の遮断までの時間が露光時間となるが、同一のタイミングで露光を開始させた場合、レンズの状態が異なると当該露光時間が受光センサーの受光素子間でずれてしまう。そこで、本発明にかかる画像生成装置は、レンズの状態に基づいて当該ずれを抑制するようにシャッターと受光センサーとの少なくとも一方を移動させる。この結果、レンズの状態が異なることによって露光時間が受光センサーの受光素子間で不均一化となる状態を抑制することができる。そして、シャッターや受光センサーは、レンズを移動させるための公知の技術等を利用して高精度に移動させることが可能であり、高精度に露光時間を均一化させることが可能である。
ここで、受光センサーは、1枚以上のレンズ群で構成されレンズの状態(位置等)が可変であるレンズを通過した光を受光する受光センサーであれば良く、例えば、受光量に応じた情報を出力する受光素子が2次元的に配置された受光センサーによって構成可能である。シャッターは、受光センサーに向けて進行する光が遮断される状態と遮断されない状態とを機械的に切り替えることができれば良く、例えば、受光センサーよりも被写体側に備えられた幕が移動して被写体からの光を遮光する機械式シャッターによって構成される。
露光開始制御部は、受光センサーに露光を開始させることができればよく、例えば、受光素子における受光量を示す蓄積電荷を放電させるリセット動作を契機に露光が開始される受光センサーにおいて、リセット動作を行わせることができればよい。なお、露光開始タイミングを制御することによって先幕の走行特性を調整するためには、受光センサーにおける受光素子においてライン毎に露光を開始するリセット動作(CMOSセンサーであればローリングシャッター)を順次実行できるように構成される。
また、各受光素子における露光開始タイミングは、シャッターの動作に応じて制御されればよく、少なくとも1種類の露光開始タイミングパターン(先幕の走行パターン)で露光が開始されればよい。例えば、特定のレンズの状態を基準とし、当該基準の状態において受光センサーの受光素子毎(受光センサー上の位置毎)の露光時間のずれが抑制されるタイミングで露光を開始するように露光開始タイミングを制御する構成とする。そして、任意のレンズの状態において、基準のレンズの状態と同等の露光時間となるようにシャッターと受光センサーとの少なくとも一方を移動させる構成とすれば、任意のレンズの状態において、受光センサーの受光素子毎の露光時間のずれが抑制される。
移動制御部は、レンズの状態に基づいてシャッターと受光センサーとの少なくとも一方を移動させることで、露光の開始からシャッターによる光の遮断までの露光時間の受光センサーの受光素子間でのずれを抑制することができればよい。すなわち、シャッターと受光センサーとの少なくとも一方が特定の移動方向に沿って往復移動可能である構成においては、特定の移動方向に沿った往復移動のうちの一方向に向けてシャッター(あるいは受光センサー)を移動させると露光時間のずれが幾何学的に抑制され、往復移動のうちの他方向に向けてシャッター(あるいは受光センサー)を移動させると露光時間のずれが抑制されない状態となる。そこで、特定の移動方向に沿った往復移動のうち、露光時間のずれが抑制される方向にシャッターと受光センサーとの少なくとも一方を移動させることにより、露光の開始からシャッターによる光の遮断までの露光時間の受光センサーの受光素子間でのずれを抑制することができる。
むろん、露光時間のずれが抑制される方向にシャッターと受光センサーとの少なくとも一方を移動させる場合であっても、移動量が過大になると露光時間のずれが抑制されない状態となり得る。そこで、ここでは、露光時間が抑制される範囲内の移動量となるように、レンズの状態に基づいてシャッターと受光センサーとの少なくとも一方を移動させる。この結果、露光の開始からシャッターによる光の遮断までの露光時間の受光センサーの受光素子間でのずれを確実に抑制することができる。
なお、レンズの状態は、受光センサーの受光素子間での露光時間のずれを生じさせる要因、あるいは当該ずれの大きさを変化させる要因となり得る状態であればよく、例えば、レンズの種類やレンズの位置(複数のレンズによって構成される場合は各レンズの位置)が挙げられる。
画像生成部は、露光時間内における受光センサーの受光量に応じて画像データを生成することができればよい。すなわち、露光開始制御部によって露光が開始された後、シャッターによって露光が終了されるまでの間において受光センサーで受光した光量に応じて画像データを生成することができればよい。むろん、当該画像データの生成に伴って各種の画像処理を実行しても良い。
シャッターと受光センサーとは予め決められた方向に沿って移動させることができればよく、例えば、レンズの移動方向と平行にシャッターと受光センサーとの少なくとも一方を移動させる構成を採用可能である。すなわち、現実的なレンズにおいてレンズが移動する方向としては、光軸方向への移動と光軸方向と垂直な方向への移動(レンズシフト)が想定し得る。これらのレンズの移動においては、レンズとシャッターと受光センサーとの相対的な位置関係がレンズの移動方向に沿って変動するため、レンズの移動に伴って受光センサーの受光素子間での露光時間のずれの程度が変動する。そこで、レンズの移動方向と平行にシャッターと受光センサーとの少なくとも一方を移動させる構成とすれば、露光時間のずれが発生しないような相対的な位置関係となるようにレンズと受光センサーと受光センサーとの位置を制御することができる。
また、レンズの光軸方向への移動に合わせてシャッターと受光センサーとの少なくとも一方を移動させる構成の例としては、レンズの主点と受光センサーとの距離が短くなった場合に、シャッターと受光センサーとの距離を短くする構成を採用可能である。すなわち、レンズの移動前と比較してレンズの移動後に当該レンズの主点と受光センサーとの距離が短くなった場合、シャッターと受光センサーとの距離が不変あるいは長くなると露光時間のずれが発生する。そこで、シャッターと受光センサーとの距離を短くすることにより、露光時間のずれを抑制することができる。
さらに、より具体的な例として、レンズの主点と受光センサーとの距離と、シャッターと受光センサーとの距離と、の比が所定の値である状態になるように、シャッターと受光センサーとの少なくとも一方を移動させる構成としてもよい。すなわち、レンズの主点と受光センサーとの距離と、シャッターと受光センサーとの距離と、の比が所定の値になる場合、レンズの特定の位置から射出される光が受光センサーに到達する位置が幾何学的に一定となる。従って、露光時間のずれを抑制することができる。
さらに、露光の開始からシャッターによる光の遮断までの露光時間が所定の時間より長い場合、シャッターおよび受光センサーを移動させない構成としてもよい。すなわち、露光時間が長い場合には露光時間に占める露光時間のずれの割合が小さくなり、露光時間のずれが画質に与える影響は相対的に小さくなる。そこで、露光時間のずれが画質に与える影響を無視し得るような長さの露光時間を所定の時間として予め定義しておけば、露光の開始からシャッターによる光の遮断までの露光時間が所定の時間より長い場合、シャッターおよび受光センサーを移動させないとすることで、駆動制御を簡易化することが可能である。
さらに、本発明のように、露光の開始からシャッターによる光の遮断までの露光時間の受光センサーの受光素子間でのずれを抑制するように、レンズの状態に基づいてシャッターと受光センサーとの少なくとも一方を移動させる手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。
本発明の実施形態にかかる画像生成装置を含む撮影装置のブロック図である。 (2A)(2B)は、レンズの主点位置とシャッターの位置と受光センサーの位置との関係を示す図、(2C)は、遮光幕のエッジと露光終了位置の時間変化特性を示す図である。 撮影処理を示すフローチャートである。 レンズの位置とシャッターの位置と受光センサーの位置との関係を示す図である。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)画像生成装置の構成:
(2)撮影処理:
(3)他の実施形態:
(1)画像生成装置の構成:
図1は本発明の一実施形態にかかる画像生成装置を含む撮影装置1を示しており、当該撮影装置1には、光学系10、受光センサー14、記憶部15、表示部20、記録部30、操作部40、焦点距離調整部41、フォーカス調整部43、絞り調整部45、シャッター制御部50、露光制御部60、CPU70、画像生成部80が備えられている。CPU70は、所定のプログラムに従って、焦点距離調整部41、フォーカス調整部43、絞り調整部45、シャッター制御部50、露光制御部60、記憶部15、画像生成部80、表示部20、記録部30、操作部40の動作を制御する。
光学系10は、受光センサー14に被写体画像を結像させるレンズ11、絞り12、シャッター13を備えている。本実施形態においてレンズ11と絞り12とは鏡筒内に備えられており、当該鏡筒は図示しない筐体に交換可能に取り付けられる。本実施形態において、レンズ11は光軸に平行な方向に沿って並べられた複数枚のレンズを含むが、図1では簡便のために1枚のレンズのみを表現している。各レンズは外縁部で支持されるとともに、光軸方向に1部又は全部のレンズを移動可能とすることでフォーカス調整を行うことが可能である。また、光軸方向に1部又は全部のレンズを移動可能とすることで焦点距離の変更(光学的なズーム動作)を行うことが可能である。レンズ11の位置は、フォーカス調整部43および焦点距離調整部41によって制御されるように構成されており、当該フォーカス調整部43がレンズ位置の調整を指示されると、フォーカス調整部43がレンズ11を移動させてフォーカス調整を行う。また、焦点距離調整部41がレンズ位置の調整を指示されると、焦点距離調整部41がレンズ11を移動させて焦点距離を調整する。なお、光学系の構成は他の構成を採用しても良く、例えば、レンズを液体レンズによって構成し、レンズを変形させることでフォーカス調整や焦点距離の調整を行う構成としてもよい。
また、本実施形態において、絞り12は、レンズ11の光軸に対して垂直な平面内で回動可能に支持された複数の遮蔽板によって構成され、複数の遮蔽板が連動して回動することによって光軸に対して垂直な平面内で遮蔽されていない部分の面積を変化させることが可能である。絞り12の開口径は絞り調整部45によって制御されるように構成されており、当該絞り調整部45が絞り12の開口径を指示されると、絞り調整部45が絞り12を駆動させて当該指示された開口径となるように設定する。
シャッター13は機械式のフォーカルプレーン型シャッターであり、受光センサー14の受光センサー面に対して平行な平面板状の遮光部としての開閉式(折り畳み式)の複数の遮光幕13aと当該遮光幕13aをレンズ11の光軸方向に移動させる移動機構13bとを備えている。遮光幕13aはシャッター制御部50からの制御信号に応じて光軸に対して垂直な方向に移動するように構成されており、通常は遮光幕13aが光軸に平行な方向の光路を遮らない状態で保持されている。また、遮光幕13aが光路を遮らない状態で保持されている状態において、所定のトリガが与えられると当該遮光幕13aが光路を遮らない状態で保持された状態が解除され、遮光幕13aは光軸に対して垂直な方向に駆動して複数の羽根が光路を遮る状態となる。また、図1においては、遮光幕13aの移動方向を破線の矢印Amで示している。
移動機構13bは、シャッター制御部50からの制御信号に応じた移動量だけ、遮光幕13aを含むシャッター13をレンズ11の光軸As方向に移動させる。移動機構13bは、シャッター13を光軸As方向に移動させることができればよく、移動のための機構は種々の機構を採用可能である。例えば、遮光幕13aを支持する部材を光軸As方向に延びるレールで支持し、各種のモーター等の駆動源によって遮光幕13aを支持する部材を当該レールに沿って移動させる構成等を採用可能である。むろん、ボールねじやラックピニオン機構等の他の構成を採用してもよいし、レンズ11を移動させるための機構と同様の機構であってもよいしレンズ11の移動とシャッター13の移動とが連動するように構成されていてもよい。
受光センサー14は、ベイヤー配列されたカラーフィルターと、光量に応じた電荷を光電変換によって画素ごとに蓄積する複数の受光素子(フォトダイオード)とを備えるCMOS(Complementary Metal Oxide Semiconductor)イメージセンサーである。むろん、受光センサーはCCD(Charge Coupled Device)イメージセンサー等の他のセンサーであってもよい。本実施形態にかかる受光センサー14は、露光制御部60が行ごとにリセット指示を行うことによって行ごとに受光素子の受光量に対応した蓄積電荷をリセットするリセット動作を行い、行ごとの各受光素子での露光を開始することができる。また、受光センサー14は、露光制御部60が読出指示を行うことによって受光素子の受光量を示す蓄積電荷の情報を図示しない読み出し部に出力し、読み出し部が読み出した情報を記憶部15に記憶させることができる。
本実施形態にかかる撮影装置1によって記録用の画像を撮影する際(通常の撮影)には、機械式シャッターであるシャッター13と受光センサー14の電子シャッターとの組み合わせによって露光時間を制御する。すなわち、本実施形態において通常の撮影の場合には、受光センサー14における電子シャッターで露光を開始させ、シャッター13の遮光幕13aで露光を終了させる電子先幕−機械後幕シャッター方式によって露光時間が制御される。具体的には、通常の撮影の場合、電子シャッターによりライン順次で露光が開始され、ライン毎の露光時間が、設定されたシャッター速度となるタイミングで各ラインが遮光されるように機械式シャッターによる遮光が開始される。また、撮影装置1においては表示部20においてライブビュー表示を行うことが可能であり、当該ライブビュー表示を行うためのライブビュー撮影を行うことができる。ライブビュー撮影をする際には、ローリングシャッター方式によって露光時間が制御される。すなわち、先幕も後幕も受光センサー14によって制御され、機械式シャッターであるシャッター13は用いない。
操作部40はシャッターボタンと、撮影モードを切り換えるための操作部と、絞りを切り替えるための操作部と、シャッター速度を切り換えるための操作部と、各種の設定メニューを操作するための操作部とを備えており、利用者は当該操作部40に対する操作によって撮影装置1に対して各種の指示を与えることができる。なお、本実施形態においてシャッターボタンのストローク量は2段階で検出可能である。すなわち、シャッターボタンが半押しされた状態と全押しされた状態とを区別して検出可能である。また、本実施形態においてシャッターボタンが半押しされた場合にはライブビュー表示を継続しながら露出の決定とフォーカス調整を行う指示が行われたと見なされ、シャッターボタンが全押しされた場合には記録媒体に画像を記録する撮影指示が行われたと見なされる。
表示部20は、図示しないインターフェース回路、液晶パネルドライバー、液晶パネル、図示しない接眼レンズ等を備えている。本実施形態において、表示部20は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるEVF(Electronic View Finder)であり、本実施形態にかかる撮影装置1はEVFを備えたミラーレスデジタルカメラである。
記録部30は、図示しない記録媒体を挿入することが可能であり、記録部30に記録媒体が挿入された状態で、記録媒体に対して情報を記録し、また、記録媒体から情報を読み出すことができる。すなわち、撮影した画像を示す画像データを記録媒体に記録することができる。なお、記憶部15は、受光センサー14が出力する画像データ(受光素子毎の受光量を示す情報)を一時的に記録しておくメモリである。
画像生成部80は、受光センサー14が出力する画素毎、色毎の受光量情報に対して予め決められた手順によって各種の処理を実行して画像データを生成する回路によって構成されている。当該画像生成部80が実行する画像処理には、AE(Automatic Exposure)処理を行うための評価値とAF(Automatic Focus)処理を行うための評価値とAWB(Auto White Ballace)処理を行うための評価値を出力する処理が含まれる。すなわち、画像生成部80は、撮影された画像内に設定された所定の測距エリアに含まれる被写体の合焦度合いを評価するための評価値(例えば、コントラストの大きさを示す値等)を特定し、AF処理を行うための評価値として出力することが可能である。CPU70は、AF処理を行うための評価値に基づいてフォーカス調整部43に制御信号を出力し、フォーカス調整を行う。
また、画像生成部80は、受光センサー14による撮影範囲内に設定された所定の測光エリアに含まれる画素の明るさを評価した結果として評価値(例えば、輝度の平均値等)を算出し、AE処理を行うための評価値として出力することが可能である。CPU70は、AE処理を行うための評価値に基づいて絞り調整部45、シャッター制御部50、露光制御部60に制御信号を出力し、適正露出となるように露出を調整する。すなわち、CPU70は、操作部40における指示やデフォルト設定に基づいて画像データを撮影する際の撮影条件を特定し、当該撮影条件通りに各部を設定する機能を備えている。具体的には、CPU70が上述のAE処理を行うための評価値に基づいて適正露出となるために必要な撮影条件を特定し、当該撮影条件通りに絞り12、シャッター速度が設定されるように、絞り調整部45、シャッター制御部50、露光制御部60に対して制御信号を出力する。なお、適正露出となるための必要な撮影条件は、各種の前提条件(例えば、絞り優先、シャッター速度優先等の撮影モード)において特定可能である。
ここで、シャッター速度は受光センサー14に光が当たっている露光時間を示しており、CPU70は、予め決められた先幕の走行パターンとなるように受光センサー14の各ラインにおける露光開始タイミングを調整する。すなわち、CPU70は、受光センサー14の露光開始からシャッター13の遮光幕13aによる光の遮断までの時間によって所定の露光時間(シャッター速度が示す時間)となるようにライン毎の露光時間を調整する。さらに、本実施形態において、CPU70は、シャッター制御部50に対して制御信号を出力することにより、シャッター13の遮光幕13aの光軸方向の位置を調整する。すなわち、シャッター13の遮光幕13aの位置を光軸方向に調整することによって露光時間のライン毎のずれを抑制するように構成されている。
具体的には、本実施形態のように、機械式シャッターと電子シャッターとを併用する撮影方式を採用すると、機械式シャッターの遮光幕13aの走行がばねの付勢力による走行であることから等速ではなく、かつ、一定の時間(例えば3ms)がかかることから、機械式シャッターの移動方向に沿って露光量が不均一になる。これを避けるため、露光制御部60により機械式シャッターの遮光幕13aの走行特性に近くなるように画素リセットのタイミングを調整し、概略均一な露光時間となるようにする。しかし、当該不均一の度合いはレンズの種類や位置等の条件によって変動することが知られている。すなわち、機械式シャッターと電子シャッターとを併用する撮影方式においては機械式シャッターの位置と電子シャッターの位置である受光センサー14の位置が異なるため、機械式シャッターによって遮光される光路がレンズ11の位置(主点位置等)によって変化する。この結果、受光センサー14上で機械式シャッターの影(遮光幕13aの影)の位置が変化する時間変化特性が、機械式シャッターの移動方向に沿って変化する。
図2Aおよび図2Bは、レンズ11の光軸方向の位置が位置P1であるとともにシャッターの遮光幕13aの光軸方向の位置が位置P3である場合と、レンズ11の光軸方向の主点位置が位置P2であるとともにシャッターの遮光幕13aの光軸方向の位置が位置P4である場合とを同時に示す模式図であり、前者を実線、後者を破線で示している。また、図2Aは遮光幕13aによる遮光動作の過程のある時点、図2Bは遮光幕13aによる遮光動作の過程において図2Aよりも後の時点(遮光幕13aのエッジが光軸中心に達した時点)を示している。なお、これらの図においては光軸中心を一点鎖線で示している。また、図2Aおよび図2Bにおいては、遮光幕13aおよびシャッター13の構造を単純化して模式的に示している。
図2Aのように遮光幕13aによる遮光動作の過程のある時点において、位置P1に存在するレンズ11の下端から射出される光が、位置P3に存在する遮光幕13aのエッジ付近を通過して受光センサー14に到達する場合、同図2Aにおいて実線で示すような光路V1aを通る。一方、図2Aにおいて、位置P2に存在するレンズ11の下端から射出される光が、位置P3に存在する遮光幕13aのエッジ付近を通過して受光センサー14に到達する場合、同図2Aにおいて二点鎖線で示すような光路V2aを通る。従って、レンズ11の下方から射出した光が到達し得る部分の受光センサー14上の面積は前者の方が大きく、後者の方が小さい。このため、遮光幕13aの位置が同一でありかつ遮光幕13aの走行パターンが同一であれば、シャッター速度が同一であってもレンズ11の位置が異なることによって受光センサー14の位置毎の露光量が異なってしまう。
また、図2Bのように遮光幕13aのエッジが光軸中心に到達した段階において、位置P1に存在するレンズ11の下端から射出される光が、位置P3に存在する遮光幕13aのエッジ付近を通過して受光センサー14に到達する場合、同図2Bにおいて実線で示すような光路V1bを通る。ここで、光路V1a、1bと受光センサー14との交点の位置と、遮光幕13aのエッジの位置と、の差を光軸に垂直な方向で定義すると、当該差は図2AにおいてΔa、図2BにおいてΔbとなる。そして、ΔaとΔbとを比較すると、光路V1a、1bの光軸に対する傾斜角が図2Bの方が大きいことに起因してΔbの方が大きくなる。遮光幕13aの走行はばねの付勢力によって行われるため、時間とともに速度は上昇する。従って、遮光幕13aによって形成される受光センサー14上の影の面積の単位時間当たりの増加度合いは受光センサー14の下方よりも上方の方が大きくなる。
従って、遮光幕13aのエッジの位置と遮光幕13aの影の位置との時間変化特性は異なる。図2Cは、シャッター13の遮光幕13aのエッジの位置の時間変化特性を示す図であり、横軸を時間、縦軸をシャッターの移動方向の位置とし、破線によってシャッター13の遮光幕13aのエッジの位置の時間変化特性を示している。遮光幕13aは図示しないばねによって駆動されるため、遮光幕13aが光路を遮らない状態で保持された状態が解除されると時間とともに速度が大きくなり、時間とともに傾きが急峻になる図2Cにて破線に示す2次曲線のような時間変化特性で遮光幕13aのエッジの位置が変化する。
一方、レンズ11の下端からの光路(例えば、光路V1a)と受光センサー14との交点には、レンズ11の他の位置からの光が到達するため、影の上端は不明瞭となるが、おおむね、上述のように受光センサー14の下方よりも上方の方が影の面積の単位時間当たりの増加度合いが大きい。従って、当該影による受光センサー14上での露光終了タイミングは、図2Cにて破線で示す遮光幕13aのエッジの位置の時間変化特性と比較して、より急峻になる。このため、例えば、2Cにて実線で示すようなタイミングで遮光幕13aによって受光センサー14上での露光が終了する。すなわち、光路V1a、1bと受光センサー14との交点の位置と、光軸の位置と、の差Δa,Δbは、図2A,2Bに示すようにΔbの方が大きくなり、遮光幕13aの進行とともに当該差が拡大するため、遮光幕13aの動作の初期と終期とで比較すると、初期においては遮光幕13aに遮られていない光路が多く終期においては光路が少なくなり、遮光幕13aによる影の時間変化は初期において終期よりも少なくなる。この結果、図2Cに示すように初期においては、破線で示す遮光幕13aのエッジの位置の方が先行し、露光が終了するラインの位置は遅れるが、やがて両者は逆転する。
このため、受光センサー14のライン毎の露出が一定になるように制御するためには、露光開始タイミングを、シャッター13の遮光幕13aのエッジの位置ではなく図2Cに実線で示すような遮光幕13aによる露光終了タイミングにあわせて変化させる必要がある。そこで、遮光幕13aによる露光終了タイミングにあわせて露光開始タイミングをするため、本実施形態においては、レンズ11の主点が基準の位置に存在し、遮光幕13aが基準の位置に存在する場合における遮光幕13aによる露光終了タイミングの変化特性が図示しないメモリに記録されている。CPU70は、当該変化特性を参照し、当該変化特性に合わせて受光センサー14における露光開始タイミングを調整する(先幕の走行特性を調整する)。
このような制御によれば、レンズ11の主点が基準の位置に存在し、遮光幕13aが基準の位置に存在する場合に、受光センサー14の位置毎に露光時間がずれることを抑制することができるが、レンズ11の主点が基準の位置に存在しない状態で遮光幕13aが基準の位置に存在する場合は露光時間のずれを解消することができない。そこで、本実施形態においては、レンズ11の主点位置に応じてシャッター13の遮光幕13aの位置を光軸方向に移動させるように構成してある。
すなわち、CPU70は、シャッター制御部50に制御信号を出力し、レンズ11の主点と受光センサー14との距離と、シャッター13の遮光幕13aと受光センサー14との距離と、の比が所定の値になるように遮光幕13aの位置を調整させる。例えば、図2A,2Bに示す位置P1がレンズ11の主点の基準の位置、位置P3が遮光幕13aの基準の位置であり、この位置におけるレンズ11の主点と受光センサー14との距離がL1、シャッター13の遮光幕13aと受光センサー14との距離がL3である場合、上述の比はL1/L3となる。そこで、レンズ11の主点の位置が例えば図2A,2Bに示す位置P2に移動された場合、シャッター13の遮光幕13aの位置P4は、レンズ11の主点と受光センサー14との距離をL2、シャッター13の遮光幕13aと受光センサー14との距離をL4とした場合に、比L2/L4が一定値L1/L3と等しくなるように調整される。
すなわち、レンズ11の主点と受光センサー14との距離が短くなれば、シャッター13の遮光幕13aと受光センサー14との距離が短くなるように遮光幕13aの位置が調整される。以上の構成によれば、図2A,2Bに示すように、位置P1に存在するレンズ11の下端から射出される光(光路V1a)が受光センサー14に到達する位置と位置P2に存在するレンズ11の下端から射出される光(破線で示す光路V3a)が受光センサー14に到達する位置とが等しくなる。これは、レンズ11の他の位置から射出される光であっても同様であり、受光センサー14上の遮光幕13aの影のでき方がほぼ等しくなる。従って、受光センサー14の受光素子の位置毎の露光時間のずれが生じることはなく、受光センサー14の全ラインにおいて露光時間を均一化させることができる。
(2)撮影処理:
次に、本実施形態における撮影処理を詳細に説明する。図3は電源がオンされて、初期化処理の終了後、撮影モードがユーザーに選択されたことで開始する撮影処理のフローチャートである。本実施形態における撮影装置1においては、表示部20において被写体のライブビュー表示を行い、利用者が当該ライブビュー表示を視認することによってフォーカス調整を行うための指示や記録用画像の撮影指示等を行う。このため、CPU70は、撮影処理においてステップS100〜S110にてライブビュー表示を行うための準備処理を行う。
具体的には、CPU70は、まず、シャッター13を開放する(ステップS100)。すなわち、CPU70は、シャッター制御部50に制御信号を出力し、遮光幕13aが光路を遮らない状態で保持された状態とする。また、CPU70は、絞り12を開放する(ステップS105)。すなわち、CPU70は、絞り調整部45に制御信号を出力し、絞り12の開口径が最大径になるように制御する。なお、ここでは、ライブビュー表示時の受光センサー14への入射光量を最大にするために絞り12の開口径を最大径にしているが、むろん、ここで絞り12の開口径をより小さくする構成等を採用してもよい。また、シャッター13を開放する前に絞り12の制御を行ってもよい。
次に、CPU70は、電子先幕、電子後幕で露出調整するように設定する(ステップS110)。すなわち、ライブビュー表示中においては、シャッター13の遮光幕13aを駆動せず、受光センサー14においてローリングシャッターによって露光の開始と終了とを実行するモードとなるように設定する。
次に、CPU70は、撮影および表示を開始する(ステップS115)。すなわち、CPU70は、露光制御部60に対して制御信号を出力し、予め決められたフレームレートで撮影が行われるように受光センサー14における露光開始タイミングおよび露光終了タイミングを制御する。この結果、受光センサー14から受光素子毎の受光量を示す情報が記憶部15に出力されるため、CPU70は当該情報を画像生成部80に受け渡す。画像生成部80は、当該情報に対して所定の画像処理を行う。画像処理後の画像データはCPU70に受け渡され、さらに、表示部20に受け渡される。この結果、表示部20においては、予め決められたフレームレートで画像が表示される。
撮影と表示に並行してCPU70は、露出調整を行う(ステップS120)。すなわち、ステップS115において生成される画像データに基づいて画像生成部80がAE処理を行うための評価値を出力すると、CPU70は、露光制御部60に対して制御信号を出力して当該評価値が予め決められた適正範囲に含まれる状態となるように露光時間を調整することにより、露出が適正露出となるように露光時間をフィードバック制御する。
次に、CPU70は、フォーカス調整を行う(ステップS125)。すなわち、本実施形態においては、ライブビュー表示中にフォーカスを自動調整するモードが採用されており、ステップS115において生成される画像データに基づいて画像生成部80がAF処理を行うための評価値を出力すると、CPU70は、当該評価値を取得する。そして、CPU70は、当該評価値に基づいてフォーカス調整部43に制御信号を出力し、当該評価値が所定の合焦範囲に含まれるようにレンズ11を移動させてフォーカス調整を行う。
次に、CPU70は、シャッターボタンが半押しされたか否かを判定し(ステップS130)、半押しされたと判定されるまでステップS115以降の処理を繰り返す。一方、ステップS130において、シャッターボタンが半押しされたと判定された場合、CPU70は、ステップS135〜S150において記録用の画像を撮影するための準備を行う。ここで、ステップS135はステップS115、ステップS140はステップS120、ステップS145はステップS125とほぼ同様の処理である。但し、ステップS140においては、絞り12の開口径とシャッター速度が制御対象とすることがある。例えば、絞り優先モードにおいてステップS140が実行される場合、CPU70は絞り調整部45に制御信号を出力し、利用者が指示した開口径となるように絞り12を制御し、露光制御部60に対して制御信号を出力してAE処理に従い適正な露出となるシャッター速度を決定し、指定する。
これは、ステップS105において絞りを開放することで、できるだけ明るい画像をライブビュー表示にて見せるように制御したのに対し、ステップS140においては、これから撮影する画像に近いライブビュー表示をユーザーに提供するためである。ステップS140では撮像モードやAE評価値を反映して露出に関わるパラメータが決定され、決定したら半押しが解除されるまで変更しない。これをAEロックという。また、ステップS145は撮影のためのフォーカス調整を行い、合焦位置が定まったら以降は半押しが解除されるまで変更しない。これをAFロックという。AEロックやAFロックはユーザーの指示や設定次第で行う場合も行わない場合もあるが、これらの点でS115〜S125の処理とは異なる処理が行われる
ステップS150において、CPU70は、撮影装置1において設定済の状態を表示する。すなわち、CPU70は、表示部20に対してOSD表示用のデータを出力し、各種設定値(例えば、絞り12のF値、シャッター速度、フォーカスエリア等)を示す表示を行わせる。ステップS115の表示でもOSD表示用のデータを出力する事はあるが、ステップS150では、ステップS135〜S145における撮像条件の結果を表示し、これから撮影する画像の条件をユーザに通知するのが目的であり、露出警告のような特別な通知を行う事もある。。
次に、CPU70は、シャッターボタンの半押しが解除されたか否かを判定し(ステップS155)、半押しが解除されたと判定された場合には、再度ステップS115以降を実行してライブビュー表示を継続する。一方、ステップS155において、シャッターボタンの半押しが解除されたと判定されない場合、さらに、CPU70は、シャッターボタンが全押しされたか否かを判定し(ステップS160)、全押しされたと判定されない場合、ステップS135以降の処理を繰り返して、これから撮影する画像に近いライブビュー表示を繰り返す。なお、このときユーザーはシャッターチャンス到来を待っているため、指定されたシャッター速度などの撮影条件に近い表示をするだけでなく、より高速なフレームレートでの撮影を優先してもよい。
一方、ステップS160において、シャッターボタンが全押しされたと判定された場合、CPU70は、電子先幕、機械後幕で露出調整するように設定する(ステップS165)。すなわち、記録用の画像を撮影するために、受光センサー14において露光制御部による電子シャッター動作により露光を開始し、シャッター13の遮光幕13aで遮光することによって露出を終了するモードとなるように設定する。
次に、CPU70は、絞り12を制御する(ステップS170)。すなわち、CPU70は、絞り調整部45に制御信号を出力し、シャッターボタンの半押し後に確定された絞り12の開口径(ステップS140において設定された開口径)となるように当該絞り12を制御する。なお、ステップS140で絞りを制御済みの場合は必要ないが、そうでない場合はこの時点で撮影時の絞りになっている必要がある。
次に、CPU70は、レンズ11の位置に応じてシャッター13を移動させる(ステップS175)。すなわち、CPU70は、ステップS145におけるフォーカス調整に際してフォーカス調整部43に出力した制御信号に基づいて、当該ステップS145におけるレンズ11の状態を特定するとともにその主点位置を特定し、レンズ11の主点位置と受光センサー14との距離(図2Aおよび2Bに示す例では距離L2)を特定する。また、CPU70は、レンズ11の主点位置と受光センサー14との距離と、シャッター13の遮光幕13aと受光センサー14との距離(図2Aおよび2Bに示す例では距離L4)との比が所定の値(図2Aおよび2Bに示す例ではL1/L3)となるような遮光幕13aの位置を特定する。そして、CPU70は、シャッター制御部50に制御信号を出力し、当該位置に遮光幕13aが位置するようにシャッター13を移動させる。
次に、CPU70は、露光を開始する(ステップS180)。すなわち、CPU70は、図示しないメモリに記録されている変化特性(レンズ11の主点が基準の位置に存在し、遮光幕13aが基準の位置に存在する場合における遮光幕13aの影の位置の変化特性)を取得する。そして、露光制御部60に対して制御信号を出力し、レンズ11の主点が基準の位置に存在し、遮光幕13aが基準の位置に存在する場合において、受光センサー14上の各位置で概略均一な露光となるのと同じタイミングで受光センサーを制御し、各ラインの露光を開始させる。例えば、図2Cに示す例において、時刻T1で受光センサー14の最初のラインの露光を開始した場合、光軸に対して垂直な方向の位置毎の露光開始タイミングが一点鎖線で示すタイミングとなるように、露光開始タイミングを制御する。
次に、CPU70は、シャッター13による遮光を開始する(ステップS185)。すなわち、CPU70は、露光時間がシャッター速度となるように、遮光幕13aの移動を開始させる。具体的には、CPU70は、受光センサー14上の最初のラインの露光を開始したタイミング(図2Cに示す例ではT1)とシャッター13の遮光幕13aの影が受光センサー14上の最初のラインに到達するタイミング(図2Cに示す例ではT2)との間の時間がシャッター速度に対応するように、シャッター制御部50に対して制御信号を出力してシャッター13の遮光幕13aの移動を開始させる。なお、ここで、シャッター速度は、シャッターボタンの半押し後に確定されたシャッター速度(ステップS140において設定されたシャッター速度)である。この結果、シャッター13の遮光幕13aの影の位置の時間変化特性が図2Cに示す実線のように変化し、受光センサー14による電子先幕とシャッター13による後幕とによって各ラインが露光される時間が受光センサー14上の位置によらず一定となる。
シャッター13の遮光幕13aの移動が完了すると、CPU70は、画像データを記録する(ステップS190)。すなわち、CPU70は、露光制御部60に制御信号を出力して受光センサー14上の全画素の読み出しを図示しない読み出し部によって行う。この結果、受光センサー14から記憶部15に対して画像データが出力されるため、CPU70は、画像生成部80に対して制御信号を出力し、記憶部15に出力された画像データに対して所定の画像処理を実行させ、結果を示す画像データを記録部30に挿入された記録媒体に記録させる。以上の処理によれば、受光センサー14の位置毎の露光時間が均一化された状態で被写体を撮影することができる。
(3)他の実施形態:
以上の実施形態は本発明を実施するための一例であり、露光の開始からシャッターによる光の遮断までの露光時間の受光センサーの受光素子間でのずれを抑制するように、レンズの状態に基づいてシャッターと受光センサーとの少なくとも一方を移動させる限りにおいて、下記の変形例を適宜組み合わせでも良いし、その他にも種々の実施形態を採用可能である。
例えば、上述の実施形態において表示部20は液晶パネルを用いたEVFであったが、表示部20はEVF以外の表示部、例えば、撮影装置1の背面に取り付けられる液晶パネルを用いた表示部であっても良いし、液晶パネル以外の方式を用いたものであっても良い。また、撮影装置1はミラーを備えた一眼レフカメラでも良く、さらにムービーカメラであっても良いし、撮影機能を備えた携帯電話等の装置であっても良い。さらに、上述の受光センサー14において、カラーフィルターはベイヤー配列であったが、ベイヤー配列以外の配列で構成されたセンサーを利用した画像生成装置に本発明を適用しても良い。例えば、3CCDや3層式センサーを利用した画像生成装置に本発明を適用しても良い。
さらに、シャッター13の移動方向はレンズ11の主点の移動方向と平行であればよく、撮影装置1に取り付けられるレンズ11がシフト可能なレンズである場合に、レンズ11のシフトに応じてシャッター13を移動させる構成としてもよい。図4は、レンズ11が光軸に対して垂直な方向にシフトする例を示しており、光軸がレンズ11の中心を通る位置に存在するレンズ11を破線で示し、光軸に対して垂直な方向に移動したレンズ11を実線で示す図である。図4に示す実施例において、レンズ11の中心が破線で示す位置である場合、シャッター13は破線で示す位置に配置される。すなわち、シャッター13の遮光幕13aが開口された状態において開口部の中心と光軸とが一致するようにシャッター13が配置される。
また、レンズ11が光軸に対して垂直な方向に移動すると、シャッター13はレンズ11の移動に対して平行な線上で同方向に向けて移動される。図4においては、実線で示すレンズ11の位置において当該レンズ11の下端から射出される光であって、実線で示す位置に存在する遮光幕13aのエッジ付近を通過して受光センサー14に到達する光の光路を実線V4、破線で示すレンズ11の位置において当該レンズ11の下端から射出される光であって、破線で示す位置に存在する遮光幕13aのエッジ付近を通過して受光センサー14に到達する光の光路を破線V5で示している。図4においては、レンズ11の光軸に対して垂直な方向の移動量をL5、シャッター13の光軸に対して垂直な方向の移動量をL6としている。
図4において、光路V4およびV5を二辺とし、受光センサー14上に頂点が存在する三角形ABCと、遮光幕13aの移動線上に存在する線分を底辺とする三角形ADEを考えると、三角形ABCの高さはL1、三角形ADEの高さL3である。従って、三角形ABCの底辺の長さがL5であり、三角形ADEの底辺の長さLである場合に、比L5/L6が、レンズ11の主点と受光センサー14との光軸方向の距離L1と、シャッター13の遮光幕13aと受光センサー14との光軸方向の距離L3との比L1/L3に等しくなれば、三角形ABCと三角形ADEとは常に相似である。このため、光路V4が受光センサー14と交わる点と、光路V5が受光センサー14と交わる点とが一致し、露光時間が位置毎にずれることが防止される。そこで、撮影装置1において、レンズ11がシフト移動された場合、CPU70がシャッター制御部50に制御信号を出力してシャッター13を移動量L6(=L5×(L3/L1))だけ移動させることにより露光時間のずれが防止されるようにシャッター13を移動させることができる。
また、上述の実施形態においては、自動フォーカス調整に応じてシャッター13を移動させる構成であったが、これに加えて又はこれに代えて、手動フォーカス調整やレンズのズームやレンズの種類等に応じてシャッター13を移動させるようにしてもよい。さらに、ユーザーがレンズのピントリングやズームリングを回転させる等で手動でフォーカス調整やズームを行った場合には、CPU70はレンズ鏡筒との通信や連動ピンの検出等によってレンズの主点の位置の情報を取得する。
さらに、上述の実施形態においては、シャッター13を移動させる構成であったが、受光センサー14を移動させることによって受光センサー14上の位置毎の露光時間のずれの発生を防止する構成であってもよい。さらに、露光時間が長い場合には露光時間のずれが画質に与える影響は相対的に小さくなる。そこで、露光時間のずれが画質に与える影響を無視し得るような長さの露光時間を所定の時間として予め定義し、露光の開始からシャッターによる光の遮断までの露光時間が所定の時間より長い場合、シャッターおよび受光センサーを移動させないとすることで、駆動制御を簡易化してもよい。
10…光学系、11…レンズ、13…シャッター、13a…遮光幕、13b…移動機構、14…受光センサー、15…記憶部、20…表示部、30…記録部、40…操作部、43…フォーカス調整部、45…調整部、50…シャッター制御部、60…露光制御部、70…CPU、80…画像生成部

Claims (7)

  1. レンズを通過した光を受光する受光センサーと、
    前記受光センサーを露光している前記光を遮断するシャッターと、
    前記受光センサーの露光を開始させる露光開始制御部と、
    前記受光センサーの受光素子間における露光時間のずれを抑制するように、前記レンズの状態に基づいて前記シャッターと前記受光センサーとの少なくとも一方を移動させる移動制御部と、
    前記露光時間内に前記受光センサーが受光した光量に応じて画像データを生成する画像生成部と、
    を備える画像生成装置。
  2. 前記移動制御部は、前記レンズの種類と前記レンズの主点の位置との少なくともいずれかに応じて前記シャッターと前記受光センサーとの少なくとも一方を移動させる、
    請求項1に記載の画像生成装置。
  3. 前記移動制御部は、前記レンズの主点の移動方向と平行に前記シャッターと前記受光センサーとの少なくとも一方を移動させる、
    請求項1または請求項2のいずれかに記載の画像生成装置。
  4. 前記移動制御部は、前記レンズの主点と前記受光センサーとの距離が短くなった場合に、前記シャッターと前記受光センサーとの距離を短くする、
    請求項1〜請求項3のいずれかに記載の画像生成装置。
  5. 前記移動制御部は、前記レンズの主点と前記受光センサーとの距離と、前記シャッターと前記受光センサーとの距離と、の比が所定の値である状態になるように、前記シャッターと前記受光センサーとの少なくとも一方を移動させる、
    請求項1〜請求項4のいずれかに記載の画像生成装置。
  6. 前記移動制御部は、前記露光の開始から前記シャッターによる前記光の遮断までの露光時間が所定の時間より長い場合、前記シャッターおよび前記受光センサーを移動させない、
    請求項1〜請求項5のいずれかに記載の画像生成装置。
  7. レンズを通過した光を受光する受光センサーと、
    前記受光センサーを露光している前記光を遮断するシャッターと、
    前記受光センサーの露光を開始させる露光開始制御部とを備える撮影装置における画像生成方法であって、
    前記受光センサーの受光素子間における露光時間のずれを抑制するように、前記レンズの状態に基づいて前記シャッターと前記受光センサーとの少なくとも一方を移動させ、
    前記露光時間内に前記受光センサーが受光した光量に応じて画像データを生成する、
    画像生成方法。
JP2012058329A 2012-03-15 2012-03-15 画像生成装置および画像生成方法 Expired - Fee Related JP5828401B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012058329A JP5828401B2 (ja) 2012-03-15 2012-03-15 画像生成装置および画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012058329A JP5828401B2 (ja) 2012-03-15 2012-03-15 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
JP2013192138A JP2013192138A (ja) 2013-09-26
JP5828401B2 true JP5828401B2 (ja) 2015-12-02

Family

ID=49391957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012058329A Expired - Fee Related JP5828401B2 (ja) 2012-03-15 2012-03-15 画像生成装置および画像生成方法

Country Status (1)

Country Link
JP (1) JP5828401B2 (ja)

Also Published As

Publication number Publication date
JP2013192138A (ja) 2013-09-26

Similar Documents

Publication Publication Date Title
JP6051516B2 (ja) 撮影装置および撮影方法
US8531587B2 (en) Image pickup apparatus that provides focus control based on focusing information obtained from an interchangeable lens
US7593634B2 (en) Digital camera
JP2007053742A (ja) 撮像装置
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
JP5335202B2 (ja) 撮像装置及びその制御方法
JP5031669B2 (ja) 撮像装置
JP2013254166A (ja) 撮像装置及びその制御方法
US20130201364A1 (en) Image generating device and exposure start timing adjustment method
JP5312558B2 (ja) 撮像装置及びその制御方法
JP2013186293A (ja) 画像生成装置および画像表示方法
JP2013205675A (ja) 撮像装置
US20100124413A1 (en) Auto focusing apparatus and image pick-up apparatus having sub-mirror
JP5828401B2 (ja) 画像生成装置および画像生成方法
JP5998820B2 (ja) 撮影装置、合焦状態表示方法、合焦状態表示プログラム
JP2000321488A (ja) カメラ
JP5927958B2 (ja) 画像生成装置および露光開始タイミングの調整方法
JP2017207702A (ja) 焦点検出装置及び焦点検出方法
JP6149345B2 (ja) 撮影装置および画質調整方法
JP6149346B2 (ja) 撮影装置
JP6415350B2 (ja) 撮像装置およびその制御方法
JP5927957B2 (ja) 画像生成装置および露光開始タイミングの調整方法
JP2019186852A (ja) 撮像装置およびその制御方法
JP4468670B2 (ja) オートフォーカスカメラ
JP6071235B2 (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141119

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151008

R150 Certificate of patent or registration of utility model

Ref document number: 5828401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees