JP5444026B2 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
JP5444026B2
JP5444026B2 JP2010021314A JP2010021314A JP5444026B2 JP 5444026 B2 JP5444026 B2 JP 5444026B2 JP 2010021314 A JP2010021314 A JP 2010021314A JP 2010021314 A JP2010021314 A JP 2010021314A JP 5444026 B2 JP5444026 B2 JP 5444026B2
Authority
JP
Japan
Prior art keywords
image
image data
blur
aperture
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010021314A
Other languages
English (en)
Other versions
JP2011160274A (ja
Inventor
恵二 国重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2010021314A priority Critical patent/JP5444026B2/ja
Publication of JP2011160274A publication Critical patent/JP2011160274A/ja
Application granted granted Critical
Publication of JP5444026B2 publication Critical patent/JP5444026B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、撮影装置に関し、詳しくは、ボケを強調した画像を作成する機能を備えた撮影装置に関する。
撮影画像の被写界深度は、絞り値、焦点距離等の光学的特性によって変化する。望遠レンズを用いてのスポーツモードでの撮影では、被写界深度が深いことが望ましい。しかし、ポートレート撮影では、ぼけを積極的に利用する作風がある。135フィルムカメラ(35mm銀塩フィルムカメラ)では、被写界深度は絞り値や焦点距離を適宜選択することによって十分変化させることができた。しかし、近年、登場したデジタルカメラでは、撮像部の面積が小さくなったことにより、被写界深度が深くなり、従来と同じ画角で撮影しても、背景のぼけが目立たなくなっている。そこで、撮影者の意図する撮影画像となるように、画像処理によって被写界深度の浅い画像を生成するボケ処理が種々提案されている。
例えば、特許文献1には、絞り値を変えた2枚の画像から被写界深度の浅い画像を生成する方法が提案されている。また、特許文献2には、基準画像から被写体領域の画像データと背景領域の画像データに分離し、分離した背景領域の画像データに対してボケ処理を行った後、基準画像データにボケ処理後の背景画像データを合成することによって、背景の被写界深度が浅くなるようにしたボケ処理方法が提案されている。さらに、特許文献3には、絞り値の異なる2枚の撮影画像の高周波成分の変化量に基づいて、基準画像と基準画像をぼかした画像との画像合成の比率を変更することにより、背景をぼかすボケ処理が提案されている。
特開2004−310504号公報 特開2005−229198号公報 特開2009−177782号公報
上述したように被写界深度を浅くするためのボケ処理については種々提案されているが、デジタルカメラ等の撮影装置で撮影する際に、違和感なく自然な感じでボケ処理を行うことができる撮影装置は未だ提案されていない。すなわち、特許文献2に開示のボケ処理方法では、背景から主要被写体を分離する必要があるが、背景と主要被写体の境界は明確に区別できない場合が多いため、境界でのボケが不自然になりやすい。また、背景から主要被写体を分離するための複雑な処理を行わなければならず、作業時間がかかると共に、精度に難点がある。さらに、背景や主要被写体の各部分は距離によってボケ量が変化するが、この点について考慮されておらず、一律にボケ処理を行うため不自然なボケ処理となる。
また、特許文献1から特許文献3に開示のいずれのボケ処理方法であっても、2枚の画像からボケ処理を行っていることから、特許文献2のように背景から主要被写体を分離する作業が不必要となり、これに伴う不具合を解決することができる。しかし、特許文献1および特許文献3に開示のボケ処理方法では、背景ボケを利用した作画表現力に乏しく、特に点光源(いわゆる玉ボケ)を生成することができないという問題がある。
本発明は、このような事情を鑑みてなされたものであり、背景ボケが大きく美しい画像を撮影することが可能であり、特に点光源ボケ(玉ボケ)を生成することが可能な撮影装置を提供することを目的とする。
上記目的を達成するため第1の発明に係わる撮影装置は、撮影レンズによって形成される被写体像を光電変換し、画像データを出力する撮像手段と、上記撮影レンズの光路上に配置され、第1及び第2の絞り値で被写体光束を絞る絞り制御手段と、レリーズの指示に応答し、上記第1の絞り値において第1の画像の撮影を行い、この画像の撮影終了後、上記撮像手段により第1の画像データを読み出すと共に、上記絞り制御手段によって上記第2の絞り値まで絞り動作を並行して行い、上記第2の絞り値において第2の画像の撮影を行い、この撮影終了後、上記撮像手段により第2の画像データを読み出す撮影制御手段と、上記第1の画像データと上記第2の画像データの局部ごとのコントラスト値の変化量を検出し、上記第1または第2の画像データに対して局部ごとに上記変化量に応じたぼかし強度でぼかし処理を行う画像処理手段と、を有し、上記画像処理手段は、上記撮像手段から出力された画像データの高輝度部分に対して部分的に画像伸張処理を行ってから、上記ぼかし処理を実行する。
第2の発明に係わる撮影装置は、上記第1の発明において、上記画像処理手段は、上記撮像手段から出力された画像データに基づいて生成されたJPEG画像データに対して、画像伸張処理を行ってから、上記ぼかし処理を実行する。
第3の発明に係わる撮影装置は、上記第1の発明において、上記画像処理手段は、上記撮像手段から出力されたRAW画像データ、もしくはこのRAW画像データを処理したRGB画像データ、もしくはこのRGB画像データを処理したYCC画像データに対して、上記ぼかし処理を実行する。
本発明によれば、背景ボケが大きく美しい画像を撮影することが可能であり、特に点光源ボケ(玉ボケ)を生成することが可能な撮影装置を提供することができる。
本発明の一実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係わるデジタルカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係わるデジタルカメラの撮影動作を示すフローチャートである。 本発明の一実施形態に係わるデジタルカメラのボケシミュレーションの動作を示すフローチャートである。 本発明の一実施形態におけるデジタルカメラにおいて、ボケ処理を説明する図である。 本発明の一実施形態におけるデジタルカメラにおいて、2枚の画像から所定絞り値でのボケ量を推定することを説明するグラフである。 本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置を説明する図である。 本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置の変形例1を説明する図である。 本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置の変形例2を説明する図である。 本発明の一実施形態におけるデジタルカメラにおいて、画像ファイルのデータ構造を示す図である。 本発明の一実施形態におけるデジタルカメラにおいて、ファイル名の付け方を説明する図である。 本発明の一実施形態におけるデジタルカメラにおいて、撮影動作時におけるタイミングチャートである。 本発明の一実施形態に係わるデジタルカメラの撮像素子における1画素分の回路構成を示す図である。
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるカメラ100は、デジタルカメラであり、概略、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を表示部にライブビュー表示する。撮影時には、撮影者はライブビュー表示を観察し、構図やシャッタチャンスを決定する。レリーズがなされると、撮影を行う。このとき、開放絞り値等で1コマ目の画像の画素の光電流の電荷蓄積を行い、1コマ目の電荷蓄積が終了すると続いて絞り込みを行い、この絞り込み中に1コマ目の電荷蓄積に基づく画像データの読み出しを行い、一時記憶する。画像データの読み出しが終了すると2コマ目の画像の画素の光電流の電荷蓄積を行い、電荷蓄積終了後にこの電荷蓄積に基づく画像データの読み出しを行う。この1回の撮影で取得した2つの画像データに基づいて、所望の絞り値における画像と同等のボケ処理を行い、この処理された画像データを記録媒体に記録する。記録媒体に記録したボケ処理済みの撮影画像は、再生モードを選択すると、表示部に再生表示することができる。
図1は、本実施形態に係わるデジタルカメラ100の主として電気的構成を示すブロック図である。撮影レンズ101の光軸上に、絞り機構103、液晶絞り105および撮像素子107が配置されている。撮像素子107の出力はA/D変換部109に接続され、A/D変換部109の出力はメモリ110に接続されている。メモリ110は画像処理部111とシステム制御部116に接続されている。システム制御部116には、撮像制御部108、液晶絞り制御部106、絞り制御部104、レンズ制御部102、露出制御部112、AF処理部113、フラッシュ制御部121、不揮発性メモリ118、外部メモリ114、表示部115、操作部117、電源制御部120がそれぞれ接続されている。上述の撮像制御部108は撮像素子107に接続されており、液晶絞り制御部106は液晶絞り105に接続されており、レンズ制御部102は撮影レンズ101に接続されている。また、電源制御部120は電源部119に接続されており、フラッシュ制御部121はフラッシュ充電部122とフラッシュ発光部123にそれぞれ接続されている。
撮影レンズ101は、被写体光束を撮像素子107に集光させ、被写体像を結像させるための光学系である。この撮影レンズ101は、システム制御部116からの指示に応じて動作するレンズ制御部102により光軸方向に移動され、焦点状態が変化する。絞り機構103は、撮影レンズ101を介して撮像素子107に入射する被写体光束の入射量を調節する。絞り機構103は、システム制御部116からの指示に応じて動作する絞り制御部104により開口量が制御される。絞り機構103、絞り制御部104およびシステム制御部116が、絞り制御手段としての機能を果たす。
液晶絞り105は透過状態と遮光状態に切り換え可能な液晶によって構成され、開放絞り値とF8の状態との2つの状態に切り換え可能である。液晶絞り105は、システム制御部116からの指示に応じて動作する液晶絞り制御部106に接続されており、開放状態とF8の状態のいずれかに制御される。この液晶絞り105は、ライブビュー表示の際のボケ強調処理を行うために使用される。ライブビュー表示時のボケ強調処理を省略する場合には、液晶絞り105および液晶絞り制御部106も省略してもよい。本実施形態において、液晶絞り105は開放絞り値とF8に切り換え可能であるが、絞り値としては、これに限らず、他の絞り値であっても構わない。
撮像手段としての機能を有する撮像素子107は、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子によって各画素が、また画素群によって撮像領域が構成される。撮像素子107は、撮影レンズ101により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサ(後述するフローティングディフュージョン)で蓄積し、アナログ電圧信号(画像信号)としてA/D変換部109に出力する。システム制御部116とともに、撮像制御手段としての機能を有する撮像制御部108は、システム制御部116からの指示に応じて撮像素子107の動作制御を行う。
ここで、本実施形態における撮像素子107は、CMOSイメージセンサであり、グローバルシャッタ機能を有する。グローバルシャッタは全画素同時のタイミングで電荷蓄積を開始させ、全画素同時のタイミングで電荷蓄積を終了させるシャッタ動作を行う。撮像素子107の各画素の構成については、図13を用いて後述する。なお、グローバルシャッタと対比されるローリングシャッタは、1〜数ラインをブロックとし、ブロック内は同時タイミングで電荷蓄積の開始と終了を行うが、ブロック間は読み出しのための時間差を有し、ブロックごとに順次、電荷蓄積動作させていくシャッタ動作を行う。
A/D変換部109は、撮像素子107から出力されるアナログ電圧信号(画像信号)をデジタル画像信号(画像データ)に変換する。メモリ110は、A/D変換部109において得られた画像データや、画像処理部111において処理された画像データ等、各種データを一時的に記憶する記憶部である。なお、本明細書においては、撮像素子107から出力される画像信号に基づく信号であれば、A/D変換部109によってA/D変換された信号のみならず画像処理された信号も含めて画像データと称する。
画像処理手段としての機能する画像処理部111は、メモリ110に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理部111は、後述する外部メモリ114に記録する際に画像圧縮を行い、また外部メモリ114から読み出した圧縮された画像データの伸張を行う。さらに、画像処理部111は、異なる絞り値にて撮影した2枚の撮影画像の画像データを処理し、ボケを強調する画像処理を行う。
露出制御部112はメモリ110に一時記憶された画像データを用いて被写体輝度(被写体を含むシーンの明るさ)を算出する。なお、専用の測光センサを用いて被写体輝度を算出するようにしても勿論かまわない。AF(Auto Focus)処理部113は、メモリ110に一時記憶された画像データから高周波成分の信号を抽出し、AF積算処理により合焦評価値を取得する。システム制御部116は、合焦評価値に基づいてレンズ制御部102を通じて、撮影レンズ101が合焦位置となるように駆動制御を行う。なお、AF処理部113は、TTL位相差AFセンサ等、専用のセンサを設け、この専用センサの出力に基づいて撮影レンズ101の焦点ずれ量を求めるようにしても勿論かまわない。
外部メモリ114は、例えば、カメラ本体に着脱自在に記憶媒体であり、画像処理部111において圧縮された画像データおよびその付随データが記録される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。
表示部115は、カメラ本体の背面等に配置された液晶モニタや有機EL等のディスプレイを有し、画像データに基づいてライブビュー表示を行う。また、表示部115は、外部メモリ114に記録された撮影画像の再生表示を行い、さらに露出制御値等の表示や撮影モード等設定のためのメニュー画面の表示を行う。
撮影制御手段として機能するシステム制御部116は、CPU等を含むASICで構成され、撮像制御部108やフラッシュ制御部121等のカメラ100の各種シーケンスを統括的に制御する。操作部117は、電源釦、レリーズ釦、各種入力キー等の操作部材である。ユーザが操作部117のいずれかの操作部材を操作すると、システム制御部116は、ユーザの操作に応じた各種シーケンスを実行する。
操作部117の内の電源釦はカメラ100の電源のオンオフを指示するための操作部材であり、電源釦が押されるとシステム制御部116は電源オンとし、再度押されると電源オフとする。レリーズ釦は、1stレリーズスイッチと2ndレリーズスイッチの2段スイッチを有している。レリーズ釦が半押しされると1stレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると2ndレリーズスイッチがオンとなる。1stレリーズスイッチがオンとなると、システム制御部116は、AE処理やAF処理等撮影準備シーケンスを実行する。また2ndレリーズスイッチがオンとなると、システム制御部116は、撮影シーケンスを実行し、撮影を行う。ユーザは表示部115において表示されるメニュー画面を用い、操作部117の入力キーを操作することにより撮影時の撮影条件等を設定することができる。
不揮発性メモリ118は、電気的に書き換え可能な不揮発性メモリであり、カメラ100の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ118は、システム制御部116において実行するプログラムも記憶している。システム制御部116は、不揮発性メモリ118に記憶されているプログラムに従い、また不揮発性メモリ118に記憶されているパラメータを読み込み、各種シーケンスを実行する。
電源部119は、カメラ100の各部の動作に必要な電力を供給し、例えば、2次電池等の電源電池で構成される。電源制御部120は、電源部119を構成する電池の電源電圧や残量の検出等、電源部119の制御を行う。
フラッシュ制御部121は、システム制御部116からの指示に応じてフラッシュ充電部122における充電動作、およびフラッシュ発光部123における発光動作を制御する。フラッシュ充電部122は、電源部119の電源電圧を昇圧する昇圧回路や、ここで昇圧された電圧でエネルギを蓄積するコンデンサを有し、フラッシュ発光部123の発光を行うに必要なエネルギを蓄積する。フラッシュ発光部123は、例えば、キセノン(Xe)管等の発光管や反射傘を備えており、フラッシュ制御部121から発光指示を受信した際に、フラッシュ充電部122のコンデンサに蓄積されたエネルギを利用して発光する。
次に、撮像素子107の画素の概略構成について、図13を用いて説明する。撮像素子107の1画素分の回路は、1画素を構成するフォトダイオードPD、光電変換電流の蓄積部であるフローティングディフュージョンMEM、5個のトランジスタTr1〜Tr5から構成される。φRMはリセットパルス、φTRは転送パルス、φRPDはフォトダイオードリセットパルス、φSEはライン選択パルスを表わす。なお、この撮像素子107の画素の構成および動作については、特開2009−188650号公報の段落[0052]〜[0057]、[0079]〜[0083]に記載されているので、詳しい説明は省略する。
次に、本実施形態におけるカメラ100の動作について、図2ないし図4に示すフローチャートを用いて説明する。このフローは不揮発性メモリ118に記憶されているプログラムに従ってシステム制御部116によって実行される。図2に示すフローはメインルーチン動作である。このメインルーチンは、操作部117の電源釦がオンとなると実行を開始する。
メインルーチンの動作が開始すると、まず、ライブビュー動作を行う(S1)。ライブビュー動作では、撮像素子107から出力される画像信号に基づいて、画像処理部111によってライブビュー表示用に画像処理された画像データを表示部115に表示する。撮影者はこのライブビュー表示を見て、構図を決定し、シャッタタイミングを決める。
ライブビュー動作を行うと、次に、操作部117のレリーズ釦が半押しされたか、すなわち、1stレリーズスイッチがオンか否かの判定を行う(S2)。この判定の結果、1stレリーズがオンでなかった場合には、ステップS1に戻り、ライブビュー動作を繰り返し行う。
ステップS2における判定の結果、1stレリーズがオンとなると、すなわちレリーズ釦が半押しされると、次に、AF処理を実行する(S3)。このステップでは、システム制御部116は、AF処理部113によって得られる合焦評価値に基づいて、撮像素子107上に結像される被写体像が最も鮮明になるように、言い換えると合焦状態となるように、レンズ制御部102を介して撮影レンズ101の焦点状態を制御する。
AF処理を行うと、続いて、測光を行い(S4)、露出演算を行う(S5)。これらのステップにおいて、システム制御部116は、露出制御部112において被写体輝度の算出を実行させ、算出された被写体輝度を用いて絞り値とシャッタ速度(蓄積時間)等の露出制御値を求める。絞り値とシャッタ速度の算出にあたっては、アペックス演算により求めてもよいが、本実施形態においては、不揮発性メモリ118に被写体輝度に対応する絞り値とシャッタ速度のテーブルを記憶しておき、テーブル参照により、絞り値とシャッタ速度を決定する。また、この算出にあたっては、絞り機構103の開放絞り値と、被写体輝度で決まる所定絞り値の2つの絞り値に対して、適正な露出となるシャッタ速度を求める。
露出演算を行うと、次に、操作部117のレリーズ釦が全押しされたか、すなわち、2ndレリーズがオンか否かの判定を行う(S6)。この判定の結果、2ndレリーズがオンでなかった場合には、ステップS1に戻る。2ndレリーズがオンとなるまでは、システム制御部116は、ステップS1からステップS5を繰り返し実行し、被写体の変化に対してAF(自動焦点調節)とAE(自動露出制御)を追従させる。
一方、ステップS6における判定の結果、2ndレリーズがオンであった場合には、撮影を行う(S7)。このステップでは、開放絞り値における被写体像の画像データを取得し、続いて開放絞り値とは異なる絞り値における被写体像の画像データを続けて取得する。この撮影のフローの詳細については図3を用いて後述する。
撮影を行うと、次に、ステップS7において取得した画像データの画像処理を行う(S8)。この画像処理では、画像処理部111においてホワイトバランス補正処理等の一般的な画像処理の他、異なる絞り値において取得した2つの画像データを用いて、ボケを強調した画像を生成するボケ処理も行う。このボケを強調した画像処理の詳細については、図4に示すボケシミュレーションのフローを用いて後述する。
画像処理を行うと、次に、ステップS8において生成したボケを強調した画像を、所定時間だけ表示部115に表示する(S9)。ボケ強調画像の表示を行うと、システム制御部116は、画像処理部111において得られたボケを強調した画像データを画像圧縮し、この画像データを外部メモリ114に記録させる(S10)。画像記録を行うと、ステップS1に戻る。なお、操作部117の電源釦が再度操作されると、メインルーチンの処理を終了する。
次に、ステップS7における撮影のサブルーチンの詳細について、図3に示すフローチャートを用いて説明する。このサブルーチンもシステム制御部116によって実行される。この撮影動作中は、液晶絞り105は透過状態であり、露出制御には何ら関与しない。撮影のサブルーチンに入ると、まず、絞りを開放する(S21)。ここでは、システム制御部116は、絞り制御部104により絞り機構103を開放状態にさせる。
続いて、絞り開放状態で撮像制御部108により撮像素子107の蓄積動作1を行う(S22)。蓄積動作1では、撮像素子107の各画素の光電流を蓄積部(フローティングディフュージョンMEM)において電荷蓄積する。この蓄積時間は、ステップS5における露出演算において絞り開放の条件で適正露出となるように算出された蓄積時間(シャッタ速度)が採用される。本実施形態は、いわゆるメカシャッタを備えておらず、メカシャッタが果たす露光時間の制御は、撮像素子107の蓄積動作の時間制御によって行われる。
蓄積動作1が終わると、次に、撮像データ1の読み出しを行うとともに、絞り込みを行う(S23)。このステップでは、蓄積動作1の間に撮像素子107において蓄積された画像信号を読み出し、A/D変換部109によってA/D変換し、この画像データ(撮像データ1)をメモリ110に一時記憶する。また、この読み出し動作と並行して、ステップS5において算出された所定絞り値となるように、絞り制御部104が絞り機構103の絞り込み動作を行う。
撮像データ1の読み出しと絞り機構103の絞り込みを行うと、次に、撮像制御部108により蓄積動作2を行う(S24)。この蓄積動作2における蓄積時間は、ステップS5における露出演算において上記所定絞り値において適正露出となるように算出された蓄積時間(シャッタ速度)が採用される。
蓄積動作2が終了すると、次に、撮像データ2の読み出しを行う(S25)。このステップでは、蓄積動作2の間に撮像素子107において蓄積された画像信号を読み出し、A/D変換部109によってA/D変換し、この画像データ(撮像データ2)をメモリ110に一時記憶する。
撮像データ2の読み出しを開始すると、次に絞りを開放状態に戻す(S26)。このステップでは、システム制御部116は、絞り制御部104によって絞り機構103を開放状態に戻す。絞りを開放させると、元のフローに戻る。以上のステップを実行することにより、異なる絞りで2枚の画像の画像データを取得する撮影動作を終了する。
次に、図3に示した撮影のサブルーチンにおける動作を図12に示すタイミングチャートを用いて更に詳しく説明する。撮影動作に入ると、絞り開放に先だって、まず垂直同期信号(以下、VDと称す)をLレベルにする(タイミングt01)。VDをLレベルにするとフローティングディフュージョン(以下、FDと称す)のリセットレベルの読み出しを開始する(タイミングt02)。このFDは、図13におけるフローティングディフュージョンMEMに相当する。このFDのリセットレベルの読み出し中に絞り機構103を開放状態に駆動する(タイミングt03〜t04)。
VDをLレベルにしてから所定時間、例えば50ms(以下、「50ms」は例示である)が経過すると、VDを再びLレベルにする(タイミングt05)。その後VDのLレベルが解除されると、撮像素子107のフォトダイオードで発生した光電流の電荷蓄積を開始する(タイミングt06)。この蓄積時間は、ステップS22において説明したように、開放絞りで適正露出となる時間である。蓄積時間が経過すると(タイミングt07)、VDはLレベルとなり、光電流の電荷蓄積が終了する。前述したように、本実施形態における撮像素子107のシャッタはグローバルシャッタであり、各画素、同時に光電流の電荷蓄積を開始し(タイミングt06)、シャッタ速度に対応した時間(蓄積時間)が経過すると、各画素、同時に電荷蓄積を終了する(タイミングt07)。
VDのLレベルが解除されると(タイミングt08)、ステップS23において説明した撮像データ1の読み出しを開始する。この読み出された撮像データ1からタイミングt02〜t05において読み出されたFDのリセット信号を減算することにより、開放絞りでの画像データを得ることができる。
VDをLレベルにして(タイミングt07)から50msが経過すると、再びVDをLレベルにし(タイミングt09)、Lレベルを解除した時点から(タイミングt10)、再びFDのリセット信号の読み出しを開始する。また、ステップS23において説明した絞り込みを行う(タイミングt11〜t12)。図12に示す例では、F8に絞り込んでいる。
VDをLレベルにして(タイミングt09)から50msが経過すると、再びVDをLレベルにし(タイミングt13)、Lレベルを解除した時点から(タイミングt14)、絞り込んだ状態で撮像素子107のフォトダイオードで発生した光電流の電荷蓄積を開始する。この蓄積時間は、ステップS24において説明したように、絞り込んだ状態(図12の例ではF8)で適正露出となる時間である。蓄積時間が経過すると(タイミングt15)、VDはLレベルにされ、光電流の電荷蓄積が終了する。前述したように、撮像素子107のシャッタはグローバルシャッタであることから、各画素、同時に光電流の蓄積を開始し、同時に蓄積を終了する。
VDのLレベルが解除されると(タイミングt16)、ステップS25において説明した撮像データ2の読み出しを開始する。この読み出された撮像データ2からタイミングt11〜t13において読み出されたFDのリセット信号を減算することにより、絞り込んだ状態での画像データを得ることができる。また、絞りを絞り込んだ状態から撮影前の絞り値に戻す(タイミングt17〜t18)。そしてVDのLレベル時から50msが経過すると(タイミングt19)、再びVDをLレベルにし、ライブビュー表示状態に戻る。
このように、本実施形態においては、タイミングt03〜t04において開放絞りに設定し、タイミングt06〜t07において、開放絞りでの画像データを取得している。またタイミングt11〜t12において所定絞り値に絞り込みを行い、タイミングt14〜t15において、所定絞り値での画像データを取得している。なお、図12においては、ライブビュー表示の際に、開放絞りよりも絞り込んだ状態にあることを想定していたが、ライブビュー表示の際に開放状態としておく場合には、タイミングt03〜t04における開放絞りへの駆動を省略することができる。
次に、ステップS8の画像処理の中で処理されるボケシミュレーションの詳細な動作について、図4に示すフローチャートを用いて説明する。ステップS7の撮影のサブルーチンで取得した2つの画像データは、画像取得時の絞り値が異なり、画像の明るさが異なることから、両者の明るさが略同じになるように、ステップS31〜S34において明るさの補正処理を行う。
明るさ補正処理として、まず、開放絞り画像の平均の明るさKopenの算出を行う(S31)。ここでは、ステップS23において読み出し、リセット信号を減算することによって取得した開放絞り状態における各画素の画像信号に基づく画像データを総計することによって平均的な明るさを算出する。
Kopenを算出すると、続いて、絞り込んだ状態(F8)における画像の平均の明るさKF8の算出を行う(S32)。ここでは、ステップS25において読み出し、リセット信号を減算することによって取得した所定絞り(図示の例ではF8)における各画素の画像信号に基づく画像データを総計することによって平均的な明るさを算出する。
KF8を算出すると、次に、明るさ補正係数HをKF8/Kopenの演算によって算出する(S33)。ここでは、ステップS32で算出したKF8をステップS31で算出したKopenで除算することにより求める。明るさ補正係数Hを算出すると、次に、明るさ補正係数Hで開放絞り画像の明るさ補正を行う(S34)。ここでは、開放絞り状態で取得した各画素の画像データに明るさ補正係数Hを乗算することにより、明るさを補正する。なお、逆にF8画像に1/HをかけてF8画像の明るさ補正を行ってもよい。
開放絞り状態で取得した画像データに対して明るさ補正を行うと、次に、ステップS35〜S44において、所望の絞り値Fno.xにおけるボケ量bxを求め、このボケ量bxを用いてボケ画像を生成する。
まず、評価ピクセル(X,Y)を決定する(S35)。撮像素子107の各画素の座標は、本実施形態においては、(0,0)〜(4000,3000)であり、図5(a)に示すように、(0,0)は撮像領域の左上隅、(4000,3000)は撮像領域に右下隅に対応する。このステップS35では、評価ピクセルの初期値として、撮像領域の原点である(0,0)から処理をスタートさせる。
続いて、評価ピクセル評価エリア決定を行う(S36)。評価ピクセル評価エリアは、評価ピクセルの周囲の数ピクセルであり、このエリアをボケ量演算領域とする。この評価エリアは、ボケ量演算に適当な大きさする。評価エリアが大き過ぎると、画面上の局所的なボケ具合の把握が大雑把になりすぎ、背景と被写体の境界付近の区別が大雑把になってしまう。逆に小さすぎると、ボケ量演算の精度が不足し、また処理時間上、問題となることがある。これらのことを考慮して、本実施形態では、図5に示すように、周囲の縦横3ピクセルずつで、合計9ピクセルが評価エリアとしているが、状況に応じて適切な値とすればよい。
評価ピクセル評価エリアを決定すると、次に、開放絞りFopen画像の評価エリアのボケ量bopenの演算を行う(S37)。このステップでは、開放絞り状態での画像データを用い、ステップS36において決定された評価エリア内におけるコントラストを求め、これを評価エリアのボケ量bopenとする。コントラストの求め方は種々あるが、例えば、隣接画素の差分を評価エリア内で総計するようにしてもよい。
ボケ量bopenを算出すると、次に、F8画像の評価エリアのボケ量b8の演算を行う(S38)。このステップでは、絞りF8での画像データ(図5(b))を用い、ステップS36において決定された評価エリア内におけるコントラストをステップS37と同様の方法で求め、これを評価エリアのボケ量b8とする。
ボケ量b8を算出すると、次に、開放とF8画像のボケ量の変化量Δbを演算する(S38)。ここでは、Δb=(b8−bopen)、すなわち、ステップS38で演算したボケ量b8から、ステップS37で演算したボケ量bopenを減算し、変化量Δbを求める。
ボケ量の変化量Δbを演算すると、次に、所定Fno.xのボケ量bxを推定する(S40)。図6に示すように、開放絞り(図示の例では、F2.8)と所定の絞り値(図示の例では、F8)におけるボケ量が分かると、ボケ量の傾Δbを用いて、所定のFno.x(図6の例では、F0.7)におけるボケ量bxを直線近似で推定することができる。本実施形態においては、このボケ量bxを、bx=bopen+{Δb・(Fx−Fopen)}/(F8−Fopen)の演算式を用いて求める。
ボケ量bxを推定すると、次に、所定Fno.xの推定ボケ量bxに近似するボケ関数を作成する(S41)。ボケ関数としては、例えば、図5(c)に示すような平滑フィルタを使用するが、これに限らず、推定ボケ量bxに変換できる関数であればこれに限らない。ボケ関数を作成すると、次に、適用画像のピクセル(X,Y)に、ボケ関数を適用する。図5(c)に示す平滑フィルタでは、評価ピクセル(X,Y)に対して、係数4を乗算し、評価ピクセルの周囲については係数1を乗算し、総計した後、この総和である総係数で除算する演算を行い(図5(c)に示す平滑フィルタの例では、12(4+1×8)で除算することになる)、評価ピクセル(X,Y)の値を、図5(d)に示すように、演算結果に置き換える。
ボケ関数を適用すると、次に、評価ピクセル(X,Y)の移動を行う(S43)。評価ピクセルの初期値は、ステップS35において、(0,0)が設定されており、この(0,0)の位置から初めて、最初は同じ行で右側に進み、右端まで進むと1つ下の行に移る。すなわち、本実施形態においては、(0,1)、(0,2)、(0,3)、・・・、(0,2999)、(0,3000)、(1,1)、(1,2)、・・・、(3999,3000)、(4000,1)、・・・、(4000,3000)の順に、評価ピクセルを移動する。
評価ピクセルの移動を行うと、次に、全ピクセルについて処理を行ったか否かの判定を行う(S44)。本実施形態においては、評価ピクセルとして、(4000,3000)について処理が終了したか否かを判定する。この判定の結果、終了していなかった場合には、ステップS36に戻り、処理を繰り返す。一方、判定の結果、全ピクセルについて処理が終了した場合には、元のフローに戻り、他の画像処理を行う。
次に、図4に示したボケシミュレーションを行う画像データについて図7を用いて説明する。図7は画像データの処理の流れを示しており、撮像素子107から出力され、画像処理部111によって処理された16ビットのRAW画像データ201は、さらに画像処理部111によって16ビットのRGB画像データ203に処理される。このRGB画像データ203は、輝度およびカラー信号からなる16ビットのYCC画像データ205に処理され、さらにYCC画像データ205は8ビットのJPEG画像データ207に画像圧縮される。
ボケシミュレーションとしては、RAW画像データ201とRGB画像データ203の間でボケシミュレーション202を行うか、RGB画像データ203とYCC画像データ205の間でボケシミュレーション204を行うか、YCC画像データ205とJPEG画像データ207の間でボケシミュレーション206を行うかの3通りがある。JPEG画像データ207に対してボケシミュレーションを行う場合には8ビットと情報量が少なくなり、特に高輝度領域ではγ補正がなされ、データとして粗く、データが欠けていることから、ボケシミュレーションを行うには適切ではない。それに対して、RAW画像データ201、RGB画像データ203、およびYCC画像データ205に対しては、16ビットと情報量も多く、明るさに対してリニアであるため、いずれの画像データに対してもボケシミュレーションを行ってもよい。
JPEG圧縮されたJPEG画像データに対して、ボケシミュレーションを行う場合には、図8に示すように、JPEG画像データ207に対してγ伸張208を行い、このγ伸張を行った画像データ208を再びRGB画像データ209に戻してから、ボケシミュレーション210を行う。このように一旦、γ伸張をおこなっているのは、図8中のグラフに示すように、高輝度側をリニアに伸張するためであり、これによって、明るい光源が有る場合、光源のボケ具体を上手に再現することができる。
図8に示した例では、ノンリニアのJPEG画像データを、リニアのRGB画像データに戻しただけであるが、通常の点光源は、RAW画像データであっても飽和している場合がある。そこで、この問題を解決するために、図9に示すように、RAW画像データ211に対して、γ部分伸張212を行うようにしてもよい。γ部分伸張212では、図9中のグラフに示すように、RAW画像データ211の高輝度側のデータに対して(図中では、64000以上)、ノンリニアの伸張を行い、これより低輝度側のデータに対してリニアのままとする。
γ部分伸張212を行った画像データを、32ビットのRGB画像データ213に処理し、このRGB画像データ213に対してボケシミュレーション214を行うようにすればよい。ボケシミュレーション214を行った画像データに対して、γ圧縮215を行うことによって、γ部分圧縮212による圧縮を元に戻す。さらに、16ビットのYCC画像データ216に変換し、これを8ビットのJPEG画像データ217に変換する。この図9に示した変形例では、前述したように、点光源のように飽和している画像であっても所定の絞り値でのボケ状態と同等のボケ画像を得ることができる。
次に、ステップS10において行う画像記録の際のボケ画像データの記録について、図10および図11を用いて説明する。一般に、デジタルカメラにおいては、撮影時にRAW画像データかJPEG画像データの一方または両方を、ユーザが予め指定した形式で記録を行う。記録画像データがJPEG画像データの場合には、図7ないし図9において説明したようなボケシミュレーションを行ったJPEG画像データを記録すれば足りる。しかし、RAW画像データは、何れの処理も行わないデータであるという性質上、RAW画像データに対して、ボケシミュレーションを施し、これを記録することができない。一般に、RAW画像データは、パーソナルコンピュータ(以下、PCと称す)等で現像が行われることから、このときPC上でボケシミュレーションを行えばよい。また、JPEG画像データに対しても、PC上でボケ量を増やす等の後処理を行う場合がありうる。
そこで、本実施形態においては、画像データの記録の際に、PC上でボケシミュレーションを可能とする情報を記録するようにしている。すなわち、記録画像に、画像全体にわたる各画素に対応したボケ量変化Δbと、それを算出した画像の絞り値を画像データに添付して記録を行う。
図10(a)は、外部メモリ114に記録されるExif形式で記録される画像データを示す。領域302には、まず、主画像の画像データが記録され、ここでの画像データの形式はJPEGデータまたはRAWデータである。領域303、304には異なる絞り値で撮影された画像の絞り値がそれぞれ記録される。領域305〜306にはボケ量変化Δbが、R、G、Bごとに記録される。
ボケ量変化Δbを算出した画像の絞り値の情報の代わりに、ボケ量変化Δbを絞り値の差分で除算した値、すなわち、
Δb/(F8−Fopen)
を記録するようにしてもよい。ここで、F8はボケ量変化Δbを算出した際の絞り値であり、撮影時の絞り値を用いる。
このときの記録情報は、図10(b)に示すように、領域301から領域304までは図10(a)と同じである。しかし、領域305から領域307の記録に代えて、領域315から領域317には、RGBごとにボケ量変化Δbを絞り値の差分で除算した値を記録する。
なお、領域305から領域307に記録されるΔb(R)、Δb(G)、Δb(B)、また領域315から領域317に記録されるΔb/(F8−Fopen)(R)、Δb/(F8−Fopen)(G)、Δb/(F8−Fopen)(B)のデータは通常低周波成分のみであるので、これをJPEG圧縮し、データ量を小さくするようにしてもよい。
このように、本実施形態においては、主画像として1枚の画像データと、異なる2つの画像のそれぞれの絞り値と、ボケ量変化Δbを記録するだけであるので、異なる2つの画像の画像データをそれぞれ記録するよりは、格段にデータ量を削減することができる。また、記録されている画像データを用いて、PC上でRAW画像データを現像する場合や、JPEG画像データに更にボケ処理を行う場合には、記録されている絞り値の情報やボケン変化量等を用いて、ボケ処理を行うことができる。ボケ処理としては、PCが図4に示したボケシミュレーションを実行すればよい。
また、領域302に記録する主画像の画像データは、JPEG形式の場合にはボケ処理を行った画像データであり、またRAW形式の場合には、より最終画像に近い絞り開放側のRAW画像データを記録する。しかし、最初にパンフォーカス画像が欲しい場合もあることから、ボケシミュレーションを行うか否かを選択する選択手段を設けておき、ボケシミュレーションが選択された場合には、開放絞り値と所定絞り値(例えば、F8)で自動的に追加撮影を行い、この撮影画像に加えて追加撮影された画像を記録するようにしてもよい。この場合、追加撮影された開放絞り値と所定絞り値での画像データは、RAW形式でもJPEG形式でもいずれの形式でも構わない。
この結果、主画像の画像ファイルと、開放絞り値での画像ファイルと、所定絞り値での画像ファイルの3つの画像ファイルができる。ここで、3つの画像ファイルが関連付けを簡単化するために、本実施形態においては、ファイル名は同一とし、拡張子名を異ならせている。例えば、図11に示すように、主画像ファイル321については、拡張子名は、JPEG形式の画像データであればJPG、RAW形式であればRAWとし、画像ファイル名(図11の例では、Pmdd△△△△)を付与する。ボケ評価用の評価用画像ファイル322、323については、RAWおよびJPG以外の拡張子名とし(図11の例では、B00とB08)、主画像ファイルと同じファイル名の同一オブジェクト(図11の例では、Pmdd△△△△)として記録する。なお、評価用画像ファイル322は開放絞り値の画像であり、評価用画像ファイル323はF8絞りでの画像である。
以上、説明したように、本発明の一実施形態においては、開放絞り状態において画像データを取得し、さらに続けて開放絞り値より絞り込んだ状態において画像データを取得し、この2つの画像データに基づいて、ボケ強調処理を行うようにしている。このボケ処理を行うにあたって、2つの画像データの局部ごとのコントラスト値の変化量を検出し、この変化量に応じたぼかし強度でぼかし処理を行い、その際、画像データの高輝度部分に対して部分的に画像伸張処理を行ってから(例えば、γ伸張208、γ部分伸張212)、ぼかし処理を行うようにしている。このため、背景ボケが大きく美しい画像を撮影することが可能であり、特に点光源ボケ(玉ボケ)を生成することが可能となる。
なお、本発明の一実施形態においては、2枚の絞り値が異なる画像を得るにあたって、開放絞りと絞り値F8の2種類の絞り値を使用してボケ処理を行っていた。しかし、これは例示であり、他の絞り値を使用してもよいことは勿論である。また、3枚以上の絞り値が異なる画像を用いて、ボケ処理を行うようにすれば、さらにボケ処理の精度を向上させることができる。
また、本発明の一実施形態においては、ボケ処理をカメラ100で行っていたが、2枚の画像データを記録しておき、PC等の画像処理装置において、図4に示したフローを実行することにより、ボケ処理を行うようにしてもよい。
さらに、本発明の一実施形態においては、シャッタはグローバルシャッタを採用していたが、これに限らず、ローリングシャッタやメカシャッタを採用してもよく、またシャッタの開放と閉じを、これらのシャッタの組合せによって行ってもよい。
さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
100・・・カメラ、101・・・撮影レンズ、102・・・レンズ制御部、103・・・絞り機構、104・・・絞り制御部、105・・・液晶絞り、106・・・液晶絞り制御部、107・・・撮像素子、108・・・撮像制御部、109・・・A/D変換部、110・・・メモリ、111・・・画像処理部、112・・・露出制御部、113・・・AF処理部、114・・・外部メモリ、115・・・表示部、116・・・システム制御部、117・・・操作部、118・・・不揮発性メモリ、119・・・電源部、120・・・電源制御部、121・・・フラッシュ制御部、122・・・フラッシュ充電部、123・・・フラッシュ発光部、201・・・RAW画像データ、202・・・ボケシミュレーション、203・・・RGB画像データ、204・・・ボケシミュレーション、205・・・YCC画像データ、206・・・ボケシミュレーション、207・・・JPEG画像データ、208・・・γ伸張、210・・・ボケシミュレーション、211・・・RAW画像データ、212・・・γ部分伸張、213・・・RGB画像データ、214・・・ボケシミュレーション、215・・・γ圧縮、216・・・YCC画像データ、217・・・JPEG画像データ、301〜307・・・領域、315〜317・・・領域、321・・・主画像ファイル、322・・・評価用画像ファイル(開放絞り)、323・・・評価用画像ファイル(F8絞り)、PD・・・フォトダイオード、MEM・・・フローティングディフュージョン、Tr1〜Tr5・・・トランジスタ、

Claims (3)

  1. 撮影レンズによって形成される被写体像を光電変換し、画像データを出力する撮像手段と、
    上記撮影レンズの光路上に配置され、第1及び第2の絞り値で被写体光束を絞る絞り制御手段と、
    レリーズの指示に応答し、上記第1の絞り値において第1の画像の撮影を行い、この画像の撮影終了後、上記撮像手段により第1の画像データを読み出すと共に、上記絞り制御手段によって上記第2の絞り値まで絞り動作を並行して行い、上記第2の絞り値において第2の画像の撮影を行い、この撮影終了後、上記撮像手段により第2の画像データを読み出す撮影制御手段と、
    上記第1の画像データと上記第2の画像データの局部ごとのコントラスト値の変化量を検出し、上記第1または第2の画像データに対して局部ごとに上記変化量に応じたぼかし強度でぼかし処理を行う画像処理手段と、
    を有し、
    上記画像処理手段は、上記撮像手段から出力された画像データの高輝度部分に対して部分的に画像伸張処理を行ってから、上記ぼかし処理を実行する、
    ことを特徴とする撮影装置。
  2. 上記画像処理手段は、上記撮像手段から出力された画像データに基づいて生成されたJPEG画像データに対して、画像伸張処理を行ってから、上記ぼかし処理を実行することを特徴とする請求項1に記載の撮影装置。
  3. 上記画像処理手段は、上記撮像手段から出力されたRAW画像データ、もしくはこのRAW画像データを処理したRGB画像データ、もしくはこのRGB画像データを処理したYCC画像データに対して、上記ぼかし処理を実行することを特徴とする請求項1に記載の撮影装置。
JP2010021314A 2010-02-02 2010-02-02 撮影装置 Active JP5444026B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010021314A JP5444026B2 (ja) 2010-02-02 2010-02-02 撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010021314A JP5444026B2 (ja) 2010-02-02 2010-02-02 撮影装置

Publications (2)

Publication Number Publication Date
JP2011160274A JP2011160274A (ja) 2011-08-18
JP5444026B2 true JP5444026B2 (ja) 2014-03-19

Family

ID=44591837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010021314A Active JP5444026B2 (ja) 2010-02-02 2010-02-02 撮影装置

Country Status (1)

Country Link
JP (1) JP5444026B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197146B (zh) * 2017-05-31 2020-06-30 Oppo广东移动通信有限公司 图像处理方法和装置、移动终端、计算机可读存储介质
CN109559272A (zh) * 2018-10-30 2019-04-02 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备、存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6482858A (en) * 1987-09-25 1989-03-28 Matsushita Electric Ind Co Ltd Contour corrector
JPH09149241A (ja) * 1995-11-24 1997-06-06 Kokusai Electric Co Ltd 画像拡大方法及び画像拡大装置
JP4606486B2 (ja) * 2007-12-28 2011-01-05 三洋電機株式会社 画像処理装置および撮影装置

Also Published As

Publication number Publication date
JP2011160274A (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
JP5478215B2 (ja) 撮影装置および撮影装置の制御方法
JP6325885B2 (ja) 撮像装置、撮像方法、及びプログラム
JP5622513B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP4730553B2 (ja) 撮影装置及び露出制御方法
KR20110043162A (ko) 다중 노출 제어 장치 및 그 방법
JP6325841B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2017022610A (ja) 画像処理装置、画像処理方法
JP2017108309A (ja) 撮像装置および撮像方法
JP6717690B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2010087664A (ja) 撮像装置およびフラッシュの制御方法
JP2010093679A (ja) 撮像装置及び撮像制御方法
JP2013090095A (ja) 撮像装置、撮像方法、およびプログラム
JP2008167299A (ja) 撮影装置及びそのプログラム
JP2008298847A (ja) 撮影方法及びデジタルカメラ
JP5444026B2 (ja) 撮影装置
JP6231814B2 (ja) 露出決定装置、撮像装置、制御方法、及びプログラム
JP2009118052A (ja) 画像信号処理方法及び装置
JP5310331B2 (ja) 撮像装置および撮像方法
JP5191251B2 (ja) 撮像装置
JP5144451B2 (ja) 撮像装置およびフラッシュの制御方法
JP4869801B2 (ja) 撮影装置
JP2004214836A (ja) 撮像装置
JP4761039B2 (ja) 撮像装置
JP2008160290A (ja) 撮像装置および撮像方法
JP2009139423A (ja) 撮像装置及び被写体距離算出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131220

R151 Written notification of patent or utility model registration

Ref document number: 5444026

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250