JP4395763B2 - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP4395763B2 JP4395763B2 JP2005062568A JP2005062568A JP4395763B2 JP 4395763 B2 JP4395763 B2 JP 4395763B2 JP 2005062568 A JP2005062568 A JP 2005062568A JP 2005062568 A JP2005062568 A JP 2005062568A JP 4395763 B2 JP4395763 B2 JP 4395763B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image data
- shutter
- image
- flash
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 105
- 239000013598 vector Substances 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 14
- 230000035945 sensitivity Effects 0.000 claims description 8
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 238000003702 image correction Methods 0.000 description 18
- 239000000203 mixture Substances 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 3
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 101000737813 Homo sapiens Cyclin-dependent kinase 2-associated protein 1 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000661816 Homo sapiens Suppression of tumorigenicity 18 protein Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、フラッシュを発光させて撮像を行う撮像装置および撮像方法に関する。
従来、低照度下においてフラッシュ等の補助照明光を使用して撮影すると、図２に示すように、被写体が持つダイナミックレンジに比べて撮像素子のダイナミックレンジが不足するために、主要被写体は適正露出で撮影されるが背景等の低照度部が図３に示すように撮像素子のダイナミックレンジ外となり、該当領域が黒く潰れてしまう。
これを解決する手段として、人物が含まれる夜景等の低照度下での撮影において、シャッタースピード等は背景が適正露出となるように設定し、人物等の主要被写体はフラッシュライト等の補助照明光により適正露出に設定して撮影する、いわゆるスローシンクロ撮影が知られている。
しかし、一般的なスローシンクロ撮影では、人物が含まれる夜景等の低照度下での撮影において、シャッター時間を背景が適正露出となるように設定し、人物等の主要被写体はフラッシュライト等の補助照明光により適正露出に設定して撮影する。
このスローシンクロ撮影では、背景の照度にあわせてシャッター時間が設定されるために数秒程度の長時間シャッターによる撮影となり、背景のぶれを防止するために三脚等の固定手段を用いて撮影を行わないといわゆる手ぶれ等により背景の像が流れてしまう。
特開２００５−３８３９６号公報
これを解決する手段として、人物が含まれる夜景等の低照度下での撮影において、シャッタースピード等は背景が適正露出となるように設定し、人物等の主要被写体はフラッシュライト等の補助照明光により適正露出に設定して撮影する、いわゆるスローシンクロ撮影が知られている。
しかし、一般的なスローシンクロ撮影では、人物が含まれる夜景等の低照度下での撮影において、シャッター時間を背景が適正露出となるように設定し、人物等の主要被写体はフラッシュライト等の補助照明光により適正露出に設定して撮影する。
このスローシンクロ撮影では、背景の照度にあわせてシャッター時間が設定されるために数秒程度の長時間シャッターによる撮影となり、背景のぶれを防止するために三脚等の固定手段を用いて撮影を行わないといわゆる手ぶれ等により背景の像が流れてしまう。
シャッター速度が長くなる低照度下の撮影においては、例えば、特許文献１に開示されているように、適正露出となるシャッター速度より高速なシャッター速度で複数枚の写真を連続撮影し、それぞれの画像の手ぶれ等による移動量を演算、補正して1枚の画像に合成する、いわゆる電子式手ぶれ補正手段が知られている。
ところで、フラッシュライト等の補助照明光は一般に図４に示すような残光特性を持ち、自然光と異なる色温度特性を持つ。
そのため、特に残光時には自然光と補助照明光が入り混じって複雑な色温度特性となり、上記特許文献１に開示された撮像装置において、上記電子手ぶれ補正手段と組み合わせて使用すると、図５に示すように連続撮影中に被写体の照度や色温度が複雑に変化し、画像合成後に不自然な色合いの画像となりやすい。
ところで、フラッシュライト等の補助照明光は一般に図４に示すような残光特性を持ち、自然光と異なる色温度特性を持つ。
そのため、特に残光時には自然光と補助照明光が入り混じって複雑な色温度特性となり、上記特許文献１に開示された撮像装置において、上記電子手ぶれ補正手段と組み合わせて使用すると、図５に示すように連続撮影中に被写体の照度や色温度が複雑に変化し、画像合成後に不自然な色合いの画像となりやすい。
本発明は、連続して複数回撮像を行う間に、複数回連続して撮像する間にフラッシュ発光した場合でも、高品質な撮像画像を生成できる撮像装置および撮像方法を提供することを目的とする。
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の撮像装置は、フォーカルプレーンシャッターの開口により入射光を受光素子に結像して画像データを生成する撮像手段と、前記撮像手段の撮像方向に向けてフラッシュ発光する発光手段と、適正露出におけるシャッター速度よりも高速なシャッター速度で前記フォーカルプレーンシャッターを複数回連続して開口させ、前記複数回の開口タイミングのうち２回目以降の前記開口タイミングで１回以上フラッシュ光を発光するように前記発光手段を制御する制御手段と、前記フォーカルプレーンシャッターの前記複数回の連続した開口タイミングで前記撮像手段が前記結像により生成した複数の前記画像データの動きベクトルを各々検出する動きベクトル検出手段と、前記動きベクトル検出手段が検出した前記動きベクトルを基に、前記発光手段が前記フラッシュ光を発光していない前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データの位置ずれと、前記発光手段が前記フラッシュ光を発光している前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データの位置ずれとを各々補正し、前記補正後の各々の前記画像データを合成して新たな画像データを生成する画像処理手段と、を有し、前記制御手段は、予め決定されたシャッター速度がシャッター同調速度よりも高速なシャッター速度または低速シンクロのシャッター速度であると判定した場合には、少なくとも最後の前記開口タイミングで、１回の前記フォーカルプレーンシャッターの開口中に複数回連続して前記フラッシュ光を発光するフォーカルプレーン発光を行うように前記発光手段を制御する。
第２の観点の発明の撮像方法は、フォーカルプレーンシャッターの開口により入射光を受光素子に結像して画像データを生成する撮像方法であって、フラッシュ光を被写体に照射しない状態で、適正露出におけるシャッター速度よりも高速なシャッター速度で前記フォーカルプレーンシャッターを複数回連続して開口し、複数の画像データを生成する第１の工程と、前記第１の工程に続いて、前記フラッシュ光を前記被写体に１回以上照射した状態で、前記適正露出におけるシャッター速度よりも高速な前記シャッター速度で前記フォーカルプレーンシャッターを開口して画像データを生成する第２の工程と、前記第１の工程の撮像で生成した画像データと、前記第２の工程の撮像で生成した画像データとの動きベクトルを各々検出する第３の工程と、前記第３の工程で検出した前記動きベクトルを基に、前記第１の工程の撮像で生成した前記画像データの位置ずれと、前記第２の工程の撮像で生成した前記画像データの位置ずれとを各々補正し、前記補正後の各々の前記画像データを合成して新たな画像データを生成する第４の工程とを有し、前記第２の工程においては、予め決定されたシャッター速度がシャッター同調速度よりも高速なシャッター速度または低速シンクロのシャッター速度であると判定した場合には、少なくとも最後の前記開口タイミングで、１回の前記フォーカルプレーンシャッターの開口中に複数回連続して前記フラッシュ光を発光するフォーカルプレーン発光を行うように前記発光手段を制御する。
本発明によれば、連続して複数回撮像を行う間に、複数回連続して撮像する間にフラッシュ発光した場合でも、高品質な撮像画像を生成できる撮像装置および撮像方法を提供することができる。
以下、本発明の実施形態に係わる撮影装置について説明する。
図１等に示すフラッシュ発光部４６，４６ｃが本発明の発光手段の一例であり、制御部４７，４７ｂ，４７ｃが本発明の制御手段の一例である。
また、動きベクトル検出部５５が、本発明の動きベクトル検出手段の一例であり、画像合成部６０が、本発明の画像処理手段の一例である。
また、シャッター１３が、本発明のフォーカルプレーンシャッターの一例であり、カメラモジュール１０が本発明の撮像手段の一例である。
図１等に示すフラッシュ発光部４６，４６ｃが本発明の発光手段の一例であり、制御部４７，４７ｂ，４７ｃが本発明の制御手段の一例である。
また、動きベクトル検出部５５が、本発明の動きベクトル検出手段の一例であり、画像合成部６０が、本発明の画像処理手段の一例である。
また、シャッター１３が、本発明のフォーカルプレーンシャッターの一例であり、カメラモジュール１０が本発明の撮像手段の一例である。
＜第１実施形態＞
図１は、本発明の第１実施形態に係わる撮影装置１の全体構成図である。
図１に示すように、撮影装置１は、例えば、カメラモジュール１０、画像メモリ２０、露出制御部４０、操作部４５、フラッシュ発光部４６、制御部４７、動きベクトル検出部５５、画像合成部６０、画像保存部７０を有する。
撮影装置１において、露出制御部４０、制御部４７、動きベクトル検出部５５および画像合成部６０は、電子回路で実現してもよいし、プロセッサがプログラムを実行することで実現してもよい。
図１は、本発明の第１実施形態に係わる撮影装置１の全体構成図である。
図１に示すように、撮影装置１は、例えば、カメラモジュール１０、画像メモリ２０、露出制御部４０、操作部４５、フラッシュ発光部４６、制御部４７、動きベクトル検出部５５、画像合成部６０、画像保存部７０を有する。
撮影装置１において、露出制御部４０、制御部４７、動きベクトル検出部５５および画像合成部６０は、電子回路で実現してもよいし、プロセッサがプログラムを実行することで実現してもよい。
［カメラモジュール１０］
カメラモジュール１０は、例えば、レンズ１１、アイリス１２、シャッター１３、撮像素子１４、サンプリング回路１５、並びにＡ／Ｄ変換回路１６を有する。
レンズ１１は、撮像対象からの光を入射してアイリス１２に出射する。
アイリス１２は、レンズ１１から入射した光を絞ってシャッター１３に出射する。
シャッター１３は、露出制御部４０からの制御に基づいて、所定の時間（シャッター時間）だけ開口する。
シャッター１３は、開口時に、アイリス１２から入射した光を撮像素子１４に結像させる。
カメラモジュール１０は、例えば、レンズ１１、アイリス１２、シャッター１３、撮像素子１４、サンプリング回路１５、並びにＡ／Ｄ変換回路１６を有する。
レンズ１１は、撮像対象からの光を入射してアイリス１２に出射する。
アイリス１２は、レンズ１１から入射した光を絞ってシャッター１３に出射する。
シャッター１３は、露出制御部４０からの制御に基づいて、所定の時間（シャッター時間）だけ開口する。
シャッター１３は、開口時に、アイリス１２から入射した光を撮像素子１４に結像させる。
撮像素子１４は、CCD(Charge Coupled Device)やCMOS（Complementary Mental Oxide Semiconductor）等を用いて構成され、シャッター１３を介して入射した被写体の光を結像（受光）する。
撮像素子１４は、撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号をサンプリング回路１５に出力する。
撮像素子１４は、例えば、単板センサであり、サンプリング回路１５に出力する電気信号は、１画素につきＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１個の色信号（データ）である。
撮像素子１４は、撮像面上の各受光素子に到達した受光量を光電変換により電気信号に変換し、その電気信号に変換された画像信号をサンプリング回路１５に出力する。
撮像素子１４は、例えば、単板センサであり、サンプリング回路１５に出力する電気信号は、１画素につきＲ信号、Ｇ信号、Ｂ信号のうちのいずれか１個の色信号（データ）である。
撮影装置１では、カメラブレが発生していても、より鮮明な画像を出力するために、シャッター１３は、露出制御部４０からの制御により、操作部４５のシャッターボタンが１回操作されると、自動的に、適正露出におけるシャッタ速度（シャッタ時間（露出時間））よりも高速に（短いシャッタ時間で）開口し、複数枚（以下では、Ｎ枚とする）撮像する。
撮影装置１は、例えば、１／３０秒間隔でＮ枚の画像を撮像する。
従って、撮像素子１４で撮像されたＮ枚の画像（入力画像）は、適正露出で撮像された画像より、暗いもの（適正露出未満で撮像されたもの）となっており、適正露出で撮像された画像のＭｋ分の１（＝１／Ｍｋ）（ｋ＝１〜Ｎ）の明るさである。なお、Ｍｋの値は、例えば、シャッタ速度により決定される。
撮影装置１は、例えば、１／３０秒間隔でＮ枚の画像を撮像する。
従って、撮像素子１４で撮像されたＮ枚の画像（入力画像）は、適正露出で撮像された画像より、暗いもの（適正露出未満で撮像されたもの）となっており、適正露出で撮像された画像のＭｋ分の１（＝１／Ｍｋ）（ｋ＝１〜Ｎ）の明るさである。なお、Ｍｋの値は、例えば、シャッタ速度により決定される。
サンプリング回路１５は、撮像素子１４から供給される画像信号（電気信号）のノイズ成分を、例えば、相関２重サンプリングにより除去し、Ａ／Ｄ変換回路１６に供給する。
Ａ／Ｄ変換回路１６は、サンプリング回路１５から入力した画像信号をA/D変換、即ち、サンプリングして量子化する。その後、Ａ／Ｄ変換回路１６は、内蔵するシフト回路によって、適正露出以下の暗い画像であるA/D変換後の画像データを、例えば、ｎビットシフトすることなどによってＭｋ倍することにより、適正露出と同一の明るさ（値）の画像データに変換し（ゲインアップし）、画像メモリ２０に書き込む。
Ａ／Ｄ変換回路１６は、サンプリング回路１５から入力した画像信号をA/D変換、即ち、サンプリングして量子化する。その後、Ａ／Ｄ変換回路１６は、内蔵するシフト回路によって、適正露出以下の暗い画像であるA/D変換後の画像データを、例えば、ｎビットシフトすることなどによってＭｋ倍することにより、適正露出と同一の明るさ（値）の画像データに変換し（ゲインアップし）、画像メモリ２０に書き込む。
［露出制御部４０］
露出制御部４０は、制御部４７から入力したシャッター時間信号が示す所定の時間間隔でＮ枚の画像の撮像を行うように、シャッター１３、撮像素子１４、サンプリング回路１５、Ａ／Ｄ変換回路１６および画像メモリ２０を制御する。
露出制御部４０は、制御部４７から入力したシャッター時間信号が示す所定の時間間隔でＮ枚の画像の撮像を行うように、シャッター１３、撮像素子１４、サンプリング回路１５、Ａ／Ｄ変換回路１６および画像メモリ２０を制御する。
［操作部４５］
操作部４５は、例えば、シャッターボタン、フラッシュ発光の有無などを設定する設定ボタンなどの操作手段である。
操作部４５は、例えば、シャッターボタン、フラッシュ発光の有無などを設定する設定ボタンなどの操作手段である。
［フラッシュ発光部４６］
フラッシュ発光部４６は、制御部４７からフラッシュ発光信号を入力すると、フラッシュ発光する。
フラッシュ発光部４６は、カメラモジュール１０の撮像方向に向けてフラッシュ発光するように設置されている。
フラッシュ発光部４６は、制御部４７からフラッシュ発光信号を入力すると、フラッシュ発光する。
フラッシュ発光部４６は、カメラモジュール１０の撮像方向に向けてフラッシュ発光するように設置されている。
［制御部４７］
制御部４７は、被写体の明るさなどに合わせて、ユーザが設定した露出情報に基づいて、シャッター時間を決定し、そのシャッター時間を示すシャッター時間信号を露出制御部４０に出力する。
また、制御部４７は、例えば、正式な撮像の前にカメラモジュール１０が被写体を仮撮像し、その撮像結果を基に、上記シャッター時間を自動的に決定してもよい。上記仮撮像は、例えば、ユーザが操作部４５のシャッターボタンを半押しした場合に行われる。
また、制御部４７は、上記Ｎ枚の各撮像について上記シャッター時間を決定し、それを示すシャッター時間信号を露出制御部４０に出力する。
制御部４７は、被写体の明るさなどに合わせて、ユーザが設定した露出情報に基づいて、シャッター時間を決定し、そのシャッター時間を示すシャッター時間信号を露出制御部４０に出力する。
また、制御部４７は、例えば、正式な撮像の前にカメラモジュール１０が被写体を仮撮像し、その撮像結果を基に、上記シャッター時間を自動的に決定してもよい。上記仮撮像は、例えば、ユーザが操作部４５のシャッターボタンを半押しした場合に行われる。
また、制御部４７は、上記Ｎ枚の各撮像について上記シャッター時間を決定し、それを示すシャッター時間信号を露出制御部４０に出力する。
また、制御部４７は、上記決定したシャッター時間（露出情報）と、ユーザによる操作部４５に応じて設定された設定情報を基に、フラッシュ発光を行うか否かを判断する。
制御部４７は、フラッシュ発光を行うと判断した場合には、フラッシュ発光を行わない状態での撮影の適正シャッター時間、及び撮影枚数Ｌと、フラッシュ発光を行う状態での撮影の適正シャッター時間、及び撮影枚数Ｍとをそれぞれ計算する。
本実施形態では、Ｌ＋Ｍ＝Ｎとする。
制御部４７は、フラッシュ発光を行うと判断した場合には、フラッシュ発光を行わない状態での撮影の適正シャッター時間、及び撮影枚数Ｌと、フラッシュ発光を行う状態での撮影の適正シャッター時間、及び撮影枚数Ｍとをそれぞれ計算する。
本実施形態では、Ｌ＋Ｍ＝Ｎとする。
制御部４７は、シャッター１３を連続してＮ回開口する各開口タイミングのうち、２回目以降の開口タイミングでフラッシュ発光を行うように、フラッシュ発光信号をフラッシュ発光部４６に出力する。
制御部４７は、例えば、図７に示すように、Ｎ回の開口タイミングのうち、最後の１回（Ｎ回目）の開口タイミングでのみ、フラッシュ発光信号をフラッシュ発光部４６に出力してフラッシュ発光を行わせる。
これにより、フラッシュ光の残光が撮影に影響を及ぼすのは図７に示すようにＮ枚目の撮影のみになり、Ｎ−１枚目までの撮影では一切フラッシュの残光特性の影響を受けることなく低輝度部の撮影を行うことが可能となるため、ホワイトバランス等の補正を施すのはＮ枚目の画像のみとなり、比較的簡単に画像合成前に補正を施すことが可能となる。
そのため、本実施例によれば、フラッシュ撮影と電子手ぶれ補正手段を併用することにより、三脚等の固定手段を用いることなく所謂スローシンクロ撮影を行うことができ、簡便に手ぶれを抑えた撮影結果を得ることが可能となる。
制御部４７は、例えば、図７に示すように、Ｎ回の開口タイミングのうち、最後の１回（Ｎ回目）の開口タイミングでのみ、フラッシュ発光信号をフラッシュ発光部４６に出力してフラッシュ発光を行わせる。
これにより、フラッシュ光の残光が撮影に影響を及ぼすのは図７に示すようにＮ枚目の撮影のみになり、Ｎ−１枚目までの撮影では一切フラッシュの残光特性の影響を受けることなく低輝度部の撮影を行うことが可能となるため、ホワイトバランス等の補正を施すのはＮ枚目の画像のみとなり、比較的簡単に画像合成前に補正を施すことが可能となる。
そのため、本実施例によれば、フラッシュ撮影と電子手ぶれ補正手段を併用することにより、三脚等の固定手段を用いることなく所謂スローシンクロ撮影を行うことができ、簡便に手ぶれを抑えた撮影結果を得ることが可能となる。
また、制御部４７は、既に取得した露出情報から不足光量を算出したり、仮撮像において予備フラッシュ発光を行い、その撮像結果を基に取得した露出情報を基に、フラッシュ発光光量を決定し、それをフラッシュ発光部４６に指定してもよい。
［動きベクトル検出部５５］
動きベクトル検出部５５は、一連の撮像によって画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
動きベクトル検出部５５は、例えば、「岡田、谷口、小野口、“時間評価型オプティカルフローの検出”、電子情報通信学会論文誌、Ｄ−ＩＩ Ｎｏ．１、ｐｐ５２−６２、２００３年１月」に記載された時間評価型オプティカルフロー手法や、ブロックマッチング手法などに基づいて処理を行って動きベクトルＭＶを生成する。
動きベクトル検出部５５は、一連の撮像によって画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
動きベクトル検出部５５は、例えば、「岡田、谷口、小野口、“時間評価型オプティカルフローの検出”、電子情報通信学会論文誌、Ｄ−ＩＩ Ｎｏ．１、ｐｐ５２−６２、２００３年１月」に記載された時間評価型オプティカルフロー手法や、ブロックマッチング手法などに基づいて処理を行って動きベクトルＭＶを生成する。
［画像合成部６０］
画像合成部６０は、画像メモリ２０から一連の撮像によって得られたＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
メモリ８０は、フラッシュメモリやハードディスクなどの記録媒体である。
画像合成部６０は、画像メモリ２０から一連の撮像によって得られたＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
メモリ８０は、フラッシュメモリやハードディスクなどの記録媒体である。
以下、図１に示す撮影装置１の動作例を説明する。
図６は、図１に示す撮影装置１の動作例を説明するためのフローチャートである。
ステップＳＴ１１：
制御部４７は、操作部４５によって設定された、フラッシュ要否、並びに露出情報などの設定情報を入力する。
また、制御部４７は、仮撮像が行われた場合に、その仮撮像の結果を基に露出情報を生成する。
図６は、図１に示す撮影装置１の動作例を説明するためのフローチャートである。
ステップＳＴ１１：
制御部４７は、操作部４５によって設定された、フラッシュ要否、並びに露出情報などの設定情報を入力する。
また、制御部４７は、仮撮像が行われた場合に、その仮撮像の結果を基に露出情報を生成する。
ステップＳＴ１２：
制御部４７は、ステップＳＴ１１で入力した設定情報、並びにステップＳＴ１１で生成した露出情報などを基にフラッシュ発光を行うか否かを判断する。
制御部４７は、フラッシュ発光を行うと判断するとステップＳＴ１３に進み、そうでない場合にはステップＳＴ１４に進む。
制御部４７は、ステップＳＴ１１で入力した設定情報、並びにステップＳＴ１１で生成した露出情報などを基にフラッシュ発光を行うか否かを判断する。
制御部４７は、フラッシュ発光を行うと判断するとステップＳＴ１３に進み、そうでない場合にはステップＳＴ１４に進む。
ステップＳＴ１３：
制御部４７は、フラッシュ発光中の撮像の前に行うフラッシュ非発光中の撮像の回数Ｌと、そのときのシャッター時間（露出値）を決定する。
また、制御部４７は、フラッシュ発光中の撮像の回数Ｍと、そのときのシャッター時間（露出値）を決定する。
本実施形態では、例えば、Ｍ＝１とする。
制御部４７は、フラッシュ発光中の撮像の前に行うフラッシュ非発光中の撮像の回数Ｌと、そのときのシャッター時間（露出値）を決定する。
また、制御部４７は、フラッシュ発光中の撮像の回数Ｍと、そのときのシャッター時間（露出値）を決定する。
本実施形態では、例えば、Ｍ＝１とする。
ステップＳＴ１４：
制御部４７は、フラッシュ非発光で撮像を行う場合の撮像の回数Ｎと、そのときのシャッター時間（露出値）を決定する。
制御部４７は、フラッシュ非発光で撮像を行う場合の撮像の回数Ｎと、そのときのシャッター時間（露出値）を決定する。
ステップＳＴ１５：
制御部４７は、ステップＳＴ１３あるいはＳＴ１４で決定されたフラッシュ非発光中での撮像回数ＬまたはＮとシャッター時間とを示すシャッター時間信号を露出制御部４０に出力する。
露出制御部４０は、制御部４７から入力したシャッター時間信号が示すシャッター時間を間隔として、当該信号が示す撮像回数ＬまたはＮだけ、シャッター１３を開口させる。
そして、シャッター１３の開口タイミングで撮像された画像データが画像メモリ２０に順に書き込まれる。
制御部４７は、ステップＳＴ１３あるいはＳＴ１４で決定されたフラッシュ非発光中での撮像回数ＬまたはＮとシャッター時間とを示すシャッター時間信号を露出制御部４０に出力する。
露出制御部４０は、制御部４７から入力したシャッター時間信号が示すシャッター時間を間隔として、当該信号が示す撮像回数ＬまたはＮだけ、シャッター１３を開口させる。
そして、シャッター１３の開口タイミングで撮像された画像データが画像メモリ２０に順に書き込まれる。
ステップＳＴ１６：
制御部４７は、ステップＳＴ１２でフラッシュ発光を行うと判断した場合にステップＳＴ１７に進み、そうでない場合にステップＳＴ１８に進む。
ステップＳＴ１７：
制御部４７は、フラッシュ発光信号をフラッシュ発光部４６に出力する。
フラッシュ発光部４６は、制御部４７からフラッシュ発光信号を入力すると、被写体に向けてフラッシュを発光する。
また、フラッシュが発光が行われているタイミングで、制御部４７および露出制御部４０の制御によって、ステップＳＴ１３で決定されたシャッター時間を間隔として、決定された撮像回数Ｍだけ、シャッター１３を開口させる。
そして、シャッター１３の開口タイミングで撮像されたＭ個の画像データが画像メモリ２０に順に書き込まれる。
制御部４７は、ステップＳＴ１２でフラッシュ発光を行うと判断した場合にステップＳＴ１７に進み、そうでない場合にステップＳＴ１８に進む。
ステップＳＴ１７：
制御部４７は、フラッシュ発光信号をフラッシュ発光部４６に出力する。
フラッシュ発光部４６は、制御部４７からフラッシュ発光信号を入力すると、被写体に向けてフラッシュを発光する。
また、フラッシュが発光が行われているタイミングで、制御部４７および露出制御部４０の制御によって、ステップＳＴ１３で決定されたシャッター時間を間隔として、決定された撮像回数Ｍだけ、シャッター１３を開口させる。
そして、シャッター１３の開口タイミングで撮像されたＭ個の画像データが画像メモリ２０に順に書き込まれる。
ステップＳＴ１８：
動きベクトル検出部５５は、ステップＳＴ１５，ＳＴ１７で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ１９：
画像合成部６０は、画像メモリ２０からステップＳＴ１５，ＳＴ１７で書き込んだＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
動きベクトル検出部５５は、ステップＳＴ１５，ＳＴ１７で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ１９：
画像合成部６０は、画像メモリ２０からステップＳＴ１５，ＳＴ１７で書き込んだＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
以上のように、撮影装置１によれば、図７に示すように、フラッシュ発光前に（Ｎ−１）回、撮像を行い、最後のＮ回目にフラッシュ発光して撮像を行う。
そのため、一連のＮ回の撮像において、フラッシュ発光の残光によって、フラッシュ非発光時に撮像して得られた画像データに不自然な色合い要素が生じることを適切に回避できる。
また、撮影装置１によれば、フラッシュ非発光時の撮像で得た複数の画像データを位置ずれを補正して合成することから、三脚などの固定手段を用いることなく、背景などの低輝度画像の露出不足を適切に補って生成できる。
また、撮影装置１によれば、フラッシュ発光時に撮像して得た画像データを、上記合成後の低輝度画像にさらに合成することから、フラッシュ光が達する距離にある前景を適切に表示する画像を生成できる。
そのため、一連のＮ回の撮像において、フラッシュ発光の残光によって、フラッシュ非発光時に撮像して得られた画像データに不自然な色合い要素が生じることを適切に回避できる。
また、撮影装置１によれば、フラッシュ非発光時の撮像で得た複数の画像データを位置ずれを補正して合成することから、三脚などの固定手段を用いることなく、背景などの低輝度画像の露出不足を適切に補って生成できる。
また、撮影装置１によれば、フラッシュ発光時に撮像して得た画像データを、上記合成後の低輝度画像にさらに合成することから、フラッシュ光が達する距離にある前景を適切に表示する画像を生成できる。
＜第２実施形態＞
本実施形態では、図１に示す画像メモリ２０から読み出した画像データを補正処理を施した後に、画像合成部６０で合成する場合を説明する。
図８は、本発明の第２実施形態に係わる撮影装置１ａの構成図である。
図８に示すように、撮影装置１ａは、図１に示す撮影装置１において、画像メモリ２０と画像合成部６０との間に、画像補正部１０５を加えた構成を有している。
図９は、図８に示す撮影装置１ａの画像補正処理および合成処理を説明するためのフローチャートである。
図８において、図１と同じ符号を付した構成は基本的に第１実施形態で説明したものと同じである。
本実施形態では、図１に示す画像メモリ２０から読み出した画像データを補正処理を施した後に、画像合成部６０で合成する場合を説明する。
図８は、本発明の第２実施形態に係わる撮影装置１ａの構成図である。
図８に示すように、撮影装置１ａは、図１に示す撮影装置１において、画像メモリ２０と画像合成部６０との間に、画像補正部１０５を加えた構成を有している。
図９は、図８に示す撮影装置１ａの画像補正処理および合成処理を説明するためのフローチャートである。
図８において、図１と同じ符号を付した構成は基本的に第１実施形態で説明したものと同じである。
画像補正部１０５は、例えば、ユーザによってあらかじめ設定された撮影条件に応じて補正を行うか否かを判断する（図９のステップＳＴ３１）。
また、画像補正部１０５は、動きベクトル検出部５５が検出した動きベクトルＭＶを基に補正の要否を判断したり、制御部４７が生成あるいは取得した露出情報を基に補正の要否を判断してもよい。
画像補正部１０５は、補正を要すると判断すると、画像メモリ２０から読み出した画像データｉｍ１〜Ｎの補正処理を行い、その結果を画像合成部６０に出力する（ステップＳＴ３２）。
画像補正部１０５は、補正処理として、例えば画像データのゲイン調整、γカーブ特性調整、ホワイトバランス調整の任意の組み合わせの処理を行う。
画像補正部１０５は、例えば、撮影された画像データＮ枚のうち、フラッシュ発光を伴わずに撮影された画像データＬ枚に対しては全体に明るくなるゲイン補正を行い、また同時に低輝度部の階調性を重視したγカーブ補正を行う。
一方、画像補正部１０５は、フラッシュ発光を伴って撮影されたＭ枚に対しては、明るさの補正は行わずに中輝度部の階調性を重視したγカーブ補正、及びフラッシュ光源に適したホワイトバランス調整を行う。
すなわち、画像補正部１０５は、画像データ相互の関係に関わりなく、任意の補正を任意の画像データに対して行うことができる。
また、画像補正部１０５は、Ｌ枚のフラッシュ発光を伴わずに撮像した画像データを合成した後に補正処理を行い、また、Ｍ枚のフラッシュ発光を伴って撮像した画像データを合成した後に補正処理を行う。その後、画像補正部１０５は、補正後の各合成画像を合成してもよい。
また、画像補正部１０５は、動きベクトル検出部５５が検出した動きベクトルＭＶを基に補正の要否を判断したり、制御部４７が生成あるいは取得した露出情報を基に補正の要否を判断してもよい。
画像補正部１０５は、補正を要すると判断すると、画像メモリ２０から読み出した画像データｉｍ１〜Ｎの補正処理を行い、その結果を画像合成部６０に出力する（ステップＳＴ３２）。
画像補正部１０５は、補正処理として、例えば画像データのゲイン調整、γカーブ特性調整、ホワイトバランス調整の任意の組み合わせの処理を行う。
画像補正部１０５は、例えば、撮影された画像データＮ枚のうち、フラッシュ発光を伴わずに撮影された画像データＬ枚に対しては全体に明るくなるゲイン補正を行い、また同時に低輝度部の階調性を重視したγカーブ補正を行う。
一方、画像補正部１０５は、フラッシュ発光を伴って撮影されたＭ枚に対しては、明るさの補正は行わずに中輝度部の階調性を重視したγカーブ補正、及びフラッシュ光源に適したホワイトバランス調整を行う。
すなわち、画像補正部１０５は、画像データ相互の関係に関わりなく、任意の補正を任意の画像データに対して行うことができる。
また、画像補正部１０５は、Ｌ枚のフラッシュ発光を伴わずに撮像した画像データを合成した後に補正処理を行い、また、Ｍ枚のフラッシュ発光を伴って撮像した画像データを合成した後に補正処理を行う。その後、画像補正部１０５は、補正後の各合成画像を合成してもよい。
画像補正部１０５は、例えば低輝度部の画像とフラッシュ撮影画像の双方にゲイン調整を施す場合、低輝度部の撮影画像は図１０に示すように低輝度領域に偏ったヒストグラム特性を持つ。図１０〜図１４のヒストグラムにおいて、横軸は輝度、縦軸は画素数を示している。
図１０の画像にゲインを上げる画像補正を施した場合、図１１に示すように低輝度領域が高輝度側に広がったヒストグラム特性となる。また、フラッシュ撮影画像は図１２に示すように高輝度領域に偏ったヒストグラム特性を持つ。これにゲインを下げる画像補正を施した場合、図１３に示すように高輝度領域が低輝度側に広がったヒストグラム特性を持つ。
図１０の画像にゲインを上げる画像補正を施した場合、図１１に示すように低輝度領域が高輝度側に広がったヒストグラム特性となる。また、フラッシュ撮影画像は図１２に示すように高輝度領域に偏ったヒストグラム特性を持つ。これにゲインを下げる画像補正を施した場合、図１３に示すように高輝度領域が低輝度側に広がったヒストグラム特性を持つ。
画像合成部６０は、画像補正部１０５で補正された画像データｉｍ１〜Ｎを、動きベクトル検出部５５からの動きベクトルＭＶを基に位置ずれを補正した後に合成して画像データＩＭを生成する（図９に示すステップＳＴ３３）。
一方、画像補正部１０５は、図９に示すステップＳＴ３１で補正を要しないと判断すると、第１実施形態と同様の処理、すなわち、画像メモリ２０から読み出した画像データｉｍ１〜Ｎを合成して画像データＩＭを生成する。
これにより、画像合成部６０が生成した画像データＩＭは、図１４に示すような撮像素子のダイナミックレンジを有効に利用したヒストグラム特性となり、低輝度部とフラッシュ撮影画像のそれぞれで豊かな階調特性を持ちつつも撮像素子の持つダイナミックレンジ内に納まった画像を生成することが可能となる。
一方、画像補正部１０５は、図９に示すステップＳＴ３１で補正を要しないと判断すると、第１実施形態と同様の処理、すなわち、画像メモリ２０から読み出した画像データｉｍ１〜Ｎを合成して画像データＩＭを生成する。
これにより、画像合成部６０が生成した画像データＩＭは、図１４に示すような撮像素子のダイナミックレンジを有効に利用したヒストグラム特性となり、低輝度部とフラッシュ撮影画像のそれぞれで豊かな階調特性を持ちつつも撮像素子の持つダイナミックレンジ内に納まった画像を生成することが可能となる。
以上のように、本実施形態によれば、異なる条件にて撮影された各々の画像データを合成する前に各々に最適な画像補正を施すことが可能となり、画像認識等の複雑で高価な手段を用いることなく画像内の複数の被写体それぞれに最適な画像補正が施された写真を撮影することができる。
＜第３実施形態＞
本実施形態の撮影装置１ｂは、Ａ／Ｄ変換回路１６ｂおよび制御部４７ｂの処理を除いて、図１に示す撮影装置１と同じである。
図１５は、本実施形態の撮影装置１ｂの動作例を説明するためのフローチャートである。
ステップＳＴ４１：
図１に示す撮影装置１ｂの制御部４７ｂは、カメラモジュール１０から撮影対象の露出情報を入力し、ユーザが操作部４５を操作して設定した撮影条件情報を入力する。
ステップＳＴ４２：
制御部４７ｂは、ステップＳＴ４１で入力した露出情報および撮像条件情報を基に、例えば、シャッター時間やフラッシュ発光の要否などを第１実施形態と同様に決定する。
このとき、制御部４７ｂは、シャッター時間およびフラッシュ発光の要否を、第１実施形態で説明したＮ回の開口タイミング（撮像）の各々について決定する。
本実施形態の撮影装置１ｂは、Ａ／Ｄ変換回路１６ｂおよび制御部４７ｂの処理を除いて、図１に示す撮影装置１と同じである。
図１５は、本実施形態の撮影装置１ｂの動作例を説明するためのフローチャートである。
ステップＳＴ４１：
図１に示す撮影装置１ｂの制御部４７ｂは、カメラモジュール１０から撮影対象の露出情報を入力し、ユーザが操作部４５を操作して設定した撮影条件情報を入力する。
ステップＳＴ４２：
制御部４７ｂは、ステップＳＴ４１で入力した露出情報および撮像条件情報を基に、例えば、シャッター時間やフラッシュ発光の要否などを第１実施形態と同様に決定する。
このとき、制御部４７ｂは、シャッター時間およびフラッシュ発光の要否を、第１実施形態で説明したＮ回の開口タイミング（撮像）の各々について決定する。
ステップＳＴ４３：
制御部４７ｂは、ステップＳＴ４２の決定事項に基づいて、Ｎ回の撮像のうち、初回の撮像を行う。
制御部４７ｂは、予め決めた条件に従って、フラッシュ発光を行う場合には、フラッシュ発光部４６にフラッシュ発光信号を出力する。
これにより、被写体の光が撮像素子１４に結像し、その結像結果に応じたアナログの画像信号がサンプリング回路１５に出力される。
そして、サンプリング回路１５は、入力したアナログの画像信号をサンプリングして、Ａ／Ｄ変換回路１６ｂにおいてデジタルの画像データに変換する。このとき、Ａ／Ｄ変換回路１６ｂは、制御部４７ｂからの感度制御信号を基に、上記変換したデジタルの画像データを、第１実施形態で説明したようにシフト処理などにより、ゲインアップあるいはゲインダウンする。これにより、撮像素子１４の実質的な受光感度が制御される。
Ａ／Ｄ変換回路１６ｂが生成した上記画像データは、画像メモリ２０に書き込まれる。
制御部４７ｂは、ステップＳＴ４２の決定事項に基づいて、Ｎ回の撮像のうち、初回の撮像を行う。
制御部４７ｂは、予め決めた条件に従って、フラッシュ発光を行う場合には、フラッシュ発光部４６にフラッシュ発光信号を出力する。
これにより、被写体の光が撮像素子１４に結像し、その結像結果に応じたアナログの画像信号がサンプリング回路１５に出力される。
そして、サンプリング回路１５は、入力したアナログの画像信号をサンプリングして、Ａ／Ｄ変換回路１６ｂにおいてデジタルの画像データに変換する。このとき、Ａ／Ｄ変換回路１６ｂは、制御部４７ｂからの感度制御信号を基に、上記変換したデジタルの画像データを、第１実施形態で説明したようにシフト処理などにより、ゲインアップあるいはゲインダウンする。これにより、撮像素子１４の実質的な受光感度が制御される。
Ａ／Ｄ変換回路１６ｂが生成した上記画像データは、画像メモリ２０に書き込まれる。
ステップＳＴ４４：
制御部４７ｂは、前述したＮ回の撮像が終了したか否かを判断し、終了したと判断するとステップＳＴ４７に進み、そうでない場合にはステップＳＴ４５に進む。
ステップＳＴ４５：
制御部４７ｂは、撮像素子１４の受光感度の変更を要するか否かを判断し、変更を要すると判断するとステップＳＴ４６に進み、そうでない場合には「ステップＳＴ４３に戻る。
制御部４７ｂは、予めユーザによって設定された撮影条件や、ステップＳＴ４１で取得した情報などを基に、受光感度の変更の要否を判断する。
制御部４７ｂは、前述したＮ回の撮像が終了したか否かを判断し、終了したと判断するとステップＳＴ４７に進み、そうでない場合にはステップＳＴ４５に進む。
ステップＳＴ４５：
制御部４７ｂは、撮像素子１４の受光感度の変更を要するか否かを判断し、変更を要すると判断するとステップＳＴ４６に進み、そうでない場合には「ステップＳＴ４３に戻る。
制御部４７ｂは、予めユーザによって設定された撮影条件や、ステップＳＴ４１で取得した情報などを基に、受光感度の変更の要否を判断する。
ステップＳＴ４６：
制御部４７ｂは、例えば、フラッシュ発光を伴わない撮影を次に行う場合には撮像素子１４の受光感度を高く設定し（上記シフト処理のシフト量をゲインアップするように調整し）、フラッシュ発光を伴う撮影を次に行う場合には撮像素子１４の受光感度を低く設定することを決定する。これにより、Ｓ／Ｎ比の高い画像を得ることが可能になる。
制御部４７ｂは、例えば、フラッシュ発光を伴わない撮影を次に行う場合には撮像素子１４の受光感度を高く設定し（上記シフト処理のシフト量をゲインアップするように調整し）、フラッシュ発光を伴う撮影を次に行う場合には撮像素子１４の受光感度を低く設定することを決定する。これにより、Ｓ／Ｎ比の高い画像を得ることが可能になる。
ステップＳＴ４７：
動きベクトル検出部５５は、ステップＳＴ４３で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ４８：
画像合成部６０は、画像メモリ２０からステップＳＴ４３で書き込んだＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
動きベクトル検出部５５は、ステップＳＴ４３で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ４８：
画像合成部６０は、画像メモリ２０からステップＳＴ４３で書き込んだＮ個の画像データを読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
以上のように、本実施形態によれば、連続撮影の実施中に撮像素子の感度設定を変更することが可能になり、様々な撮影条件への対応が可能になったり、任意の撮影条件下で撮像素子の能力を最大限に生かして撮影を行うことが可能になる。
＜第４実施形態＞
本実施形態の撮影装置１ｃは、フラッシュ発光部４６ｃおよび制御部４７ｃの処理を除いて、図１に示す撮影装置１と同じである。
フラッシュ発光部４６ｃは、ＦＰ発光機能を備えている。
ここで、ＦＰ発光は、フォーカルプレーンシャッターを採用している一眼レフにおいて、ストロボ同調速度以上のスピードに同調させる機能である。通常、シャッターの構造上ストロボ同調速度に上限がある。概ね1/60〜1/250程度であるが、それ以上のスピードではシャッターが全開にならないのでストロボの光がケラレてしまい、スリット状に暗い部分ができてしまうためである。
そこで、ストロボを長時間発光（正確には高速で多くの回数を発光させる）することにより、シャッターが開いて閉じるまでの時間をカバーさせ、全速同調を可能としている。
フラッシュ発光部４６ｃは、例えば、図１７に示すように、フラッシュを高速スイッチングでオン／オフすることで短時間発光を繰り返し、略一定の発光強度で閃光発光を持続する。
本実施形態の撮影装置１ｃは、フラッシュ発光部４６ｃおよび制御部４７ｃの処理を除いて、図１に示す撮影装置１と同じである。
フラッシュ発光部４６ｃは、ＦＰ発光機能を備えている。
ここで、ＦＰ発光は、フォーカルプレーンシャッターを採用している一眼レフにおいて、ストロボ同調速度以上のスピードに同調させる機能である。通常、シャッターの構造上ストロボ同調速度に上限がある。概ね1/60〜1/250程度であるが、それ以上のスピードではシャッターが全開にならないのでストロボの光がケラレてしまい、スリット状に暗い部分ができてしまうためである。
そこで、ストロボを長時間発光（正確には高速で多くの回数を発光させる）することにより、シャッターが開いて閉じるまでの時間をカバーさせ、全速同調を可能としている。
フラッシュ発光部４６ｃは、例えば、図１７に示すように、フラッシュを高速スイッチングでオン／オフすることで短時間発光を繰り返し、略一定の発光強度で閃光発光を持続する。
図１６は、本実施形態の撮影装置１ｃの動作例を説明するためのフローチャートである。
ステップＳＴ６１：
制御部４７ｃは、第１実施形態で説明した図６に示すステップＳＴ１５に続いて、当該ステップＳＴ６１を実行する。
制御部４７ｃは、図６に示すステップＳＴ１２でフラッシュ発光を行うと判断した場合にステップＳＴ６２に進み、そうでない場合にステップＳＴ６５に進む。
ステップＳＴ６２：
制御部４７ｃは、ＦＰ（フォーカルプレーン）発光の要否を判定する。
制御部４７ｃは、例えば、図６に示すステップＳＴ１３で決定されたシャッター速度がシャッター同調速度より高速の場合、あるいは図１に示す操作部４５をユーザが操作して設定した撮影条件で低速シンクロ撮影が指定されていた場合などに、ＦＰ発光を要すると判断する。
制御部４７ｃは、ＦＰ発光を要すると判断するとステップＳＴ６３に進み、そうでない場合にはステップＳＴ６４に進む。
ステップＳＴ６１：
制御部４７ｃは、第１実施形態で説明した図６に示すステップＳＴ１５に続いて、当該ステップＳＴ６１を実行する。
制御部４７ｃは、図６に示すステップＳＴ１２でフラッシュ発光を行うと判断した場合にステップＳＴ６２に進み、そうでない場合にステップＳＴ６５に進む。
ステップＳＴ６２：
制御部４７ｃは、ＦＰ（フォーカルプレーン）発光の要否を判定する。
制御部４７ｃは、例えば、図６に示すステップＳＴ１３で決定されたシャッター速度がシャッター同調速度より高速の場合、あるいは図１に示す操作部４５をユーザが操作して設定した撮影条件で低速シンクロ撮影が指定されていた場合などに、ＦＰ発光を要すると判断する。
制御部４７ｃは、ＦＰ発光を要すると判断するとステップＳＴ６３に進み、そうでない場合にはステップＳＴ６４に進む。
ステップＳＴ６３：
制御部４７ｃは、ＦＰ発光を示す発光信号をフラッシュ発光部４６ｃに出力する。
これにより、フラッシュ発光部４６ ｃは、上記Ｎ回の撮像のうち、所定の撮像において、ＦＰ発光を行う。
制御部４７ｃは、例えば、図１８に示すように、上記Ｎ回の撮像のうちＮ回目でフラッシュ発光部４６ｃにＦＰ発光させる。このとき、Ｎ回目の撮像で、シャッター速度を例えば、１／２５０などの通常のフラッシュ発光時より高速にする。これにより、動きがある被写体でも略静止した状態で撮像できる。例えば、夜間に背景を写しつつ、その手前によある動きのある被写体をはっきり撮像できる。一方、Ｎ回目の撮像を１／３０などの低速のシャッター速度に設定した場合には、手前の動きがある被写体は流れているように撮像され、例えば、夜間に背景を写しつつ動きのある被写体を動感ある表現で撮像できる。
なお、制御部４７ｃは、上記Ｎ回の全ての撮像においてＦＰ発光するように、フラッシュ発光部４６ｃを制御してもよいし、上記Ｎ回の撮像のうち最後から数回の撮像において、ＦＰ発光をするようにフラッシュ発光部４６ｃを制御してもよい。
制御部４７ｃは、ＦＰ発光を示す発光信号をフラッシュ発光部４６ｃに出力する。
これにより、フラッシュ発光部４６ ｃは、上記Ｎ回の撮像のうち、所定の撮像において、ＦＰ発光を行う。
制御部４７ｃは、例えば、図１８に示すように、上記Ｎ回の撮像のうちＮ回目でフラッシュ発光部４６ｃにＦＰ発光させる。このとき、Ｎ回目の撮像で、シャッター速度を例えば、１／２５０などの通常のフラッシュ発光時より高速にする。これにより、動きがある被写体でも略静止した状態で撮像できる。例えば、夜間に背景を写しつつ、その手前によある動きのある被写体をはっきり撮像できる。一方、Ｎ回目の撮像を１／３０などの低速のシャッター速度に設定した場合には、手前の動きがある被写体は流れているように撮像され、例えば、夜間に背景を写しつつ動きのある被写体を動感ある表現で撮像できる。
なお、制御部４７ｃは、上記Ｎ回の全ての撮像においてＦＰ発光するように、フラッシュ発光部４６ｃを制御してもよいし、上記Ｎ回の撮像のうち最後から数回の撮像において、ＦＰ発光をするようにフラッシュ発光部４６ｃを制御してもよい。
ステップＳＴ６４：
制御部４７ｃは、例えば、第１実施形態の図６に示すステップＳＴ１７と同様にフラッシュ発光信号をフラッシュ発光部４６ｃに出力する。
フラッシュ発光部４６ｃは、上記フラッシュ発光信号に応じて、フラッシュ発光を行う。また、フラッシュ発行中に第１実施形態と同様に被写体が撮像される。
制御部４７ｃは、例えば、第１実施形態の図６に示すステップＳＴ１７と同様にフラッシュ発光信号をフラッシュ発光部４６ｃに出力する。
フラッシュ発光部４６ｃは、上記フラッシュ発光信号に応じて、フラッシュ発光を行う。また、フラッシュ発行中に第１実施形態と同様に被写体が撮像される。
ステップＳＴ６５：
動きベクトル検出部５５は、図６に示すステップＳＴ１５、並びに図１６に示すステップＳＴ６３，ＳＴ６４の撮像で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ６６：
画像合成部６０は、図６に示すステップＳＴ１５、並びに図１６に示すステップＳＴ６３，ＳＴ６４の撮像で画像メモリ２０に書き込んだＮ個の画像データを画像メモリ２０から読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
動きベクトル検出部５５は、図６に示すステップＳＴ１５、並びに図１６に示すステップＳＴ６３，ＳＴ６４の撮像で画像メモリ２０に書き込まれたＮ個の画像データを読み出し、これらの個々の画像データの動きベクトルＭＶを検出する。
動きベクトル検出部５５は、上記検出した動きベクトルＭＶを画像合成部６０に出力する。
ステップＳＴ６６：
画像合成部６０は、図６に示すステップＳＴ１５、並びに図１６に示すステップＳＴ６３，ＳＴ６４の撮像で画像メモリ２０に書き込んだＮ個の画像データを画像メモリ２０から読み出し、動きベクトル検出部５５から入力した当該Ｎ個の画像データの動きベクトルＭＶを基に、上記Ｎ個の画像データの位置ずれを補正する。
そして、画像合成部６０は、上記位置ずれを補正した後のＮ個の画像データを合成して画像データＩＭを生成し、これを画像保存部７０に出力する。
画像保存部７０は、画像合成部６０から入力した画像データＩＭを、メモリ８０に書き込む。
以上のように、本実施形態によれば、電子手ぶれ補正手段を併用した高速シンクロ撮影もしくは低速シンクロ撮影を行うことが可能となり、例えば回転している低照度下の物体を動感を残しつつ周辺の低輝度部も含まれた画像を撮影したり、高速に移動している物体を画像が流れることなく周辺の低輝度部も含めて撮影を行うことが可能になる。
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した実施形態では、図７等に示すように、シャッターボタンの１回の操作によって、Ｎ回の連続した撮像を行い、その最後（Ｎ回目）にフラッシュ発光部４６をフラッシュ発光する場合を例示したが、フラッシュ発光は、２回目以降の撮像であれば、少なくともフラッシュ発光以前の撮像について、フラッシュ光の残光の影響を受けないという効果が得られる。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した実施形態では、図７等に示すように、シャッターボタンの１回の操作によって、Ｎ回の連続した撮像を行い、その最後（Ｎ回目）にフラッシュ発光部４６をフラッシュ発光する場合を例示したが、フラッシュ発光は、２回目以降の撮像であれば、少なくともフラッシュ発光以前の撮像について、フラッシュ光の残光の影響を受けないという効果が得られる。
１０…カメラモジュール、１１…レンズ、１２…アイリス、１３…シャッター、１４…撮像素子、１５…サンプリング回路、１６，１６ａ…Ａ／Ｄ変換回路、２０…画像メモリ、４０…露出制御部、４５…操作部、４６，４６ｂ…フラッシュ発光部、４７ａ，４７ｂ，４７ｃ…制御部、５５…動きベクトル検出部、６０…画像合成部、７０…画像保存部、８０…メモリ
Claims (8)
- フォーカルプレーンシャッターの開口により入射光を受光素子に結像して画像データを生成する撮像手段と、
前記撮像手段の撮像方向に向けてフラッシュ発光する発光手段と、
適正露出におけるシャッター速度よりも高速なシャッター速度で前記フォーカルプレーンシャッターを複数回連続して開口させ、前記複数回の開口タイミングのうち２回目以降の前記開口タイミングで１回以上フラッシュ光を発光するように前記発光手段を制御する制御手段と、
前記フォーカルプレーンシャッターの前記複数回の連続した開口タイミングで前記撮像手段が前記結像により生成した複数の前記画像データの動きベクトルを各々検出する動きベクトル検出手段と、
前記動きベクトル検出手段が検出した前記動きベクトルを基に、前記発光手段が前記フラッシュ光を発光していない前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データの位置ずれと、前記発光手段が前記フラッシュ光を発光している前記開口タイミングで前記撮像手段が前記結像により生成した前記画像データの位置ずれとを各々補正し、前記補正後の各々の前記画像データを合成して新たな画像データを生成する画像処理手段と、
を有し、
前記制御手段は、予め決定されたシャッター速度がシャッター同調速度よりも高速なシャッター速度または低速シンクロのシャッター速度であると判定した場合には、少なくとも最後の前記開口タイミングで、１回の前記フォーカルプレーンシャッターの開口中に複数回連続して前記フラッシュ光を発光するフォーカルプレーン発光を行うように前記発光手段を制御する
撮像装置。 - 前記フラッシュ非発光中に前記撮像手段が前記結像により生成した第１の前記画像データに第１の補正処理を施して第１の補正画像データを生成し、前記フラッシュ発光中に前記撮像手段が前記結像により生成した第２の前記画像データに前記第１の補正処理とは異なる第２の補正処理を施して第２の補正画像データを生成する補正手段
をさらに有し、
前記画像処理手段は、前記補正手段が補正により生成した前記第１の補正画像データと前記第２の補正画像データとを基に前記新たな画像データを生成する
請求項１に記載の撮像装置。 - 前記補正手段は、前記第１の画像データのゲインを上げる前記第１の補正処理を行い、前記第２の画像データのゲインを下げる前記第２の補正処理を行う
請求項２に記載の撮像装置。 - 前記制御手段は、前記フラッシュ光を発光しないタイミングで前記フォーカルプレーンシャッターを第１の時間だけ開口させ、前記フラッシュ光を発光するタイミングで前記フォーカルプレーンシャッターを第２の時間だけ開口させる
請求項１に記載の撮像装置。 - 前記制御手段は、前記撮像手段の受光素子の受光感度を、前記フラッシュ光を発光するタイミングと、前記フラッシュ光を発光しないタイミングとで異なるように切り換える
請求項１に記載の撮像装置。 - 前記制御手段は、前記複数回の開口タイミングのうち最後の前記開口タイミングで前記フラッシュ光を発光するように前記発光手段を制御し、予め決定されたシャッター速度が前記シャッター同調速度よりも高速なシャッター速度または前記低速シンクロのシャッター速度であると判定した場合にも、最後の前記開口タイミングで前記フォーカルプレーン発光を行うように前記発光手段を制御する
請求項１に記載の撮像装置。 - １操作で静止画撮像指示を入力するための操作手段
をさらに有し、
前記制御手段は、前記操作手段によって前記静止画撮像指示が入力されると、前記フォーカルプレーンシャッターを複数回連続して開口するように前記撮像手段を制御する
請求項１に記載の撮像装置。 - フォーカルプレーンシャッターの開口により入射光を受光素子に結像して画像データを生成する撮像方法であって、
フラッシュ光を被写体に照射しない状態で、適正露出におけるシャッター速度よりも高速なシャッター速度で前記フォーカルプレーンシャッターを複数回連続して開口し、複数の画像データを生成する第１の工程と、
前記第１の工程に続いて、前記フラッシュ光を前記被写体に１回以上照射した状態で、前記適正露出におけるシャッター速度よりも高速な前記シャッター速度で前記フォーカルプレーンシャッターを開口して画像データを生成する第２の工程と、
前記第１の工程の撮像で生成した画像データと、前記第２の工程の撮像で生成した画像データとの動きベクトルを各々検出する第３の工程と、
前記第３の工程で検出した前記動きベクトルを基に、前記第１の工程の撮像で生成した前記画像データの位置ずれと、前記第２の工程の撮像で生成した前記画像データの位置ずれとを各々補正し、前記補正後の各々の前記画像データを合成して新たな画像データを生成する第４の工程と
を有し、
前記第２の工程においては、予め決定されたシャッター速度がシャッター同調速度よりも高速なシャッター速度または低速シンクロのシャッター速度であると判定した場合には、少なくとも最後の前記開口タイミングで、１回の前記フォーカルプレーンシャッターの開口中に複数回連続して前記フラッシュ光を発光するフォーカルプレーン発光を行うように前記発光手段を制御する
撮像方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005062568A JP4395763B2 (ja) | 2005-03-07 | 2005-03-07 | 撮像装置および撮像方法 |
| US11/365,588 US7486884B2 (en) | 2005-03-07 | 2006-03-02 | Imaging device and imaging method |
| KR1020060021082A KR20060096916A (ko) | 2005-03-07 | 2006-03-06 | 촬상장치 및 촬상방법 |
| CN200610056975A CN100590506C (zh) | 2005-03-07 | 2006-03-07 | 成像设备和成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005062568A JP4395763B2 (ja) | 2005-03-07 | 2005-03-07 | 撮像装置および撮像方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2006246362A JP2006246362A (ja) | 2006-09-14 |
| JP2006246362A5 JP2006246362A5 (ja) | 2007-10-18 |
| JP4395763B2 true JP4395763B2 (ja) | 2010-01-13 |
Family
ID=36944214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005062568A Expired - Fee Related JP4395763B2 (ja) | 2005-03-07 | 2005-03-07 | 撮像装置および撮像方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7486884B2 (ja) |
| JP (1) | JP4395763B2 (ja) |
| KR (1) | KR20060096916A (ja) |
| CN (1) | CN100590506C (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4840688B2 (ja) * | 2005-12-09 | 2011-12-21 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| JP4865648B2 (ja) * | 2007-07-02 | 2012-02-01 | 富士フイルム株式会社 | 撮影装置 |
| JP5197083B2 (ja) | 2008-03-21 | 2013-05-15 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP4935930B2 (ja) * | 2008-06-10 | 2012-05-23 | 富士通株式会社 | 画像補正装置および画像補正方法 |
| JP2010107900A (ja) * | 2008-10-31 | 2010-05-13 | Fujifilm Corp | 撮像装置、複眼撮像装置、撮像方法及びプログラム |
| US8922708B2 (en) * | 2009-05-07 | 2014-12-30 | Nokia Corporation | Apparatus methods and computer readable storage mediums for exposure control |
| JP5858744B2 (ja) * | 2011-11-21 | 2016-02-10 | キヤノン株式会社 | 撮像装置及びカメラシステム |
| CN103685966B (zh) * | 2012-09-19 | 2017-06-27 | 联想(北京)有限公司 | 一种电子设备及图像采集方法 |
| US8786767B2 (en) * | 2012-11-02 | 2014-07-22 | Microsoft Corporation | Rapid synchronized lighting and shuttering |
| CN104618647A (zh) * | 2015-01-22 | 2015-05-13 | 深圳市金立通信设备有限公司 | 一种终端 |
| TWI548275B (zh) * | 2015-08-04 | 2016-09-01 | 緯創資通股份有限公司 | 電子裝置及影像處理方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11261879A (ja) * | 1998-03-12 | 1999-09-24 | Nikon Corp | 連写機能を有する電子カメラ |
| JP4613510B2 (ja) | 2003-06-23 | 2011-01-19 | ソニー株式会社 | 画像処理方法および装置、並びにプログラム |
-
2005
- 2005-03-07 JP JP2005062568A patent/JP4395763B2/ja not_active Expired - Fee Related
-
2006
- 2006-03-02 US US11/365,588 patent/US7486884B2/en active Active
- 2006-03-06 KR KR1020060021082A patent/KR20060096916A/ko not_active Application Discontinuation
- 2006-03-07 CN CN200610056975A patent/CN100590506C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN100590506C (zh) | 2010-02-17 |
| CN1831624A (zh) | 2006-09-13 |
| JP2006246362A (ja) | 2006-09-14 |
| KR20060096916A (ko) | 2006-09-13 |
| US7486884B2 (en) | 2009-02-03 |
| US20060198625A1 (en) | 2006-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4395763B2 (ja) | 撮像装置および撮像方法 | |
| JP4115467B2 (ja) | 撮影装置 | |
| US7889986B2 (en) | Image-taking apparatus | |
| US8130280B2 (en) | Electronic camera | |
| JP4657052B2 (ja) | デジタルカメラ、撮影方法、および撮影制御プログラム。 | |
| US20070019937A1 (en) | Image-taking apparatus | |
| TW201410017A (zh) | 影像擷取設備、影像擷取設備之控制方法及電子裝置 | |
| JP2008300949A (ja) | カメラの表示制御装置及び方法 | |
| JP2012044378A (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP2009077057A (ja) | 撮像装置、撮像装置の制御方法 | |
| JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
| JP5759190B2 (ja) | 撮像装置及びその制御方法 | |
| JP5343588B2 (ja) | 撮像装置 | |
| JP2008092071A (ja) | 撮影装置 | |
| JP2009169282A (ja) | 撮像装置及びそのプログラム | |
| JPH10262182A (ja) | 画像合成装置 | |
| JP5569361B2 (ja) | 撮像装置およびホワイトバランス制御方法 | |
| JP2018050149A (ja) | 画像処理装置 | |
| JP6231814B2 (ja) | 露出決定装置、撮像装置、制御方法、及びプログラム | |
| JP2009182832A (ja) | 撮影装置およびスルー画表示方法 | |
| JP6300514B2 (ja) | 撮像装置、および撮像装置の制御方法 | |
| JP4396225B2 (ja) | ホワイトバランス制御装置及び電子機器 | |
| JPH05122600A (ja) | ビデオカメラ用露出制御装置 | |
| JP2004023745A (ja) | デジタルカメラ | |
| JP2002290824A (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070904 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070904 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090924 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091007 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4395763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |