JP4973719B2 - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JP4973719B2
JP4973719B2 JP2009257574A JP2009257574A JP4973719B2 JP 4973719 B2 JP4973719 B2 JP 4973719B2 JP 2009257574 A JP2009257574 A JP 2009257574A JP 2009257574 A JP2009257574 A JP 2009257574A JP 4973719 B2 JP4973719 B2 JP 4973719B2
Authority
JP
Japan
Prior art keywords
imaging
image
synthesis
unit
appropriate exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009257574A
Other languages
English (en)
Other versions
JP2011103558A (ja
Inventor
和久 松永
将 小野澤
浩一 中込
哲司 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009257574A priority Critical patent/JP4973719B2/ja
Priority to TW099138598A priority patent/TW201138442A/zh
Priority to CN2010106088060A priority patent/CN102065223A/zh
Priority to KR1020100111648A priority patent/KR101303410B1/ko
Priority to US12/943,229 priority patent/US8599283B2/en
Publication of JP2011103558A publication Critical patent/JP2011103558A/ja
Application granted granted Critical
Publication of JP4973719B2 publication Critical patent/JP4973719B2/ja
Priority to US14/065,942 priority patent/US8872937B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本発明は、撮像装置、撮像方法、及び撮像プログラムに関する。
近年、夜景撮影等の暗所撮影において、フラッシュを焚くことなくシャッタースピードを速くして連続撮影した画像を加算合成することにより、一枚の画像を記録する手法が考案されている（例えば特許文献１参照）。この撮影方法によれば、フラッシュ光の届かない夜景等であっても撮像素子の感度を上げることなく記録できるので、熱ノイズによる不具合を解消することができる。
特開２００８−２７１５２９号公報
しかしながら前述の技術にあっては、連続撮影処理と加算合成処理とを一連の処理としているので、不用意な操作で連続撮影処理を失敗させると加算合成しても満足な画像にならないことが多く、失敗すればその都度、撮影者は再度撮影操作を行う必要があった。
また、シャッタチャンスが限られている撮影状況の場合、前述の「再度の撮影操作」そのものが無い場合が多く、機会を逃す可能性もあった。
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影者に負担を強いることなく、かつ、撮影の機会を十分に生かすことができるようにすることを目的とするものである。
前記課題を解決するために請求項１記載の発明は、撮像手段と、この撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段と、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段と、この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段と、この選択手段によって選択された画像を記憶する記憶手段と、を備えたことを特徴とする。
また、請求項２記載の発明は、撮像手段と、この撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段と、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段と、この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、この加算合成手段により加算合成された画像を記憶する記憶手段と、を備えたことを特徴とする。
また、請求項３記載の発明は、請求項１又は２記載の発明において、撮影環境の明るさを検出する検出手段を更に備え、前記加算合成手段は、前記検出手段によって検出された明るさが所定値以下の場合は、前記第１の撮像制御手段による撮像により得られた２セット以上に含まれる複数の画像について、位置合わせを行い加算合成することを特徴とする。
また、請求項４記載の発明は、請求項請求項１乃至３の何れかに記載の発明において、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、手ぶれを評価し、最も手ぶれの少ない画像を選択することを特徴とする。
また、請求項５記載の発明は、請求項１乃至３の何れかに記載の発明において、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、被写体ぶれの有無を評価し、最も被写体ぶれの少ない画像を選択することを特徴とする。
また、請求項６記載の発明は、請求項１乃至３の何れかに記載の発明において、撮像された画像に顔画像が含まれているか否かを判断する判断手段と、この判断手段による判断の結果顔画像が含まれていると判断した場合、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、顔画像を評価し、最も評価が高いと判断される画像を選択することを特徴とする。
また、請求項７記載の発明は、撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御ステップと、この第１の撮像制御ステップによる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、前記第１の撮像制御ステップによる撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、この加算合成ステップによる合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御ステップと、この合成制御ステップによって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択ステップと、この選択ステップによって選択された画像を記憶する記憶ステップと、を含むことを特徴とする。
また、請求項８記載の発明は、撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御ステップと、この第１の撮像制御ステップよる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、この第２の撮像制御ステップによる撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択ステップと、この選択ステップによって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、この加算合成ステップにより加算合成された画像を記憶する記憶ステップと、を含むことを特徴とする。
また、請求項９記載の発明は、撮像手段を備える装置が有するコンピュータを、前記撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段、 この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段、この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段、この選択手段によって選択された画像を記憶させる記憶制御手段、として機能させることを特徴とする。
また、請求項１０記載の発明は、撮像手段を備える装置が有するコンピュータを、前記撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段、この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段、この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、この加算合成手段により加算合成された画像を記憶させる記憶制御手段、として機能させることを特徴とする。
本発明によれば、撮影者に負担を強いることなく、かつ、撮影の機会を十分に生かすことができる。
本発明の一実施の形態に係るデジタルカメラの回路ブロック図である。 同実施の形態における処理手順を示すフローチャートである。 セット毎の撮影のタイミングを示す図である。 個別画像現像（最終結果画像用処理の処理手順を示すフローチャートである。 （ａ）（ｂ）（ｃ）は、ステップＢ４における露出別に設定したトーンカーブの一例を示す図であり、（ｄ）は、加算合成画像のトーンカーブを示す図である。 加算合成処理の処理手順を示すフローチャートである。
以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係るデジタルカメラ１００の電気的構成を示す回路ブロック図である。このデジタルカメラ１００は、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）、ＡＦ（Auto Focus）等の一般的な機能を有するものである。すなわち、レンズブロック１には、ズームレンズや図示しないフォーカスレンズ等の光学系、及び光学系を駆動するための駆動機構が含まれている。
レンズブロック１が有する光軸上にはＣＭＯＳ（Complementary Metal Oxide Semiconductor）を撮像素子として構成した撮像部２が配置されている。撮像部２からの画像を表すアナログ信号は、Ａ／Ｄ変換部３によりデジタル信号に変換されてＤＲＡＭ（Dynamic Random Access Memory）等で構成されたワークメモリ４に格納される。
カスタムＬＳＩ（Large Scale Integration）６は、ワークメモリ４に格納された画像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号及び色差（ＵＶ）信号に変換するとともに、ホワイトバランス処理、輪郭強調処理、画素補間処理などの画品質向上のためのデジタル信号処理を行う回路部であり、特に撮影モードにおいては、ワークメモリ４に１フレーム分のデータ（画像データ）が蓄積される毎にこれをビデオ信号に変換し、液晶表示コントローラ５に出力する。またこの時液晶表示コントローラ５は、ワークメモリ４から送られてきたビデオ信号に基づき、液晶表示部７を駆動して逐次ライブビューで映像を再生表示する。
またカスタムＬＳＩ４は、上記液晶表示部に映像がライブビューで再生されているときに、ユーザによるシャッタボタン８の操作をトリガとして検出し、その検出したときにワークメモリ４に一時的に記憶された画像データを、圧縮符号化し、ＪＰＥＧ等の所定のフォーマットの静止画ファイルとして外部記憶媒体１０に記録する。
更に本発明の特徴に係る構成として、カスタムＬＳＩ６は、ＣＰＵ（Central Processing Unit）コア６ａ、受光制御部６ｂ、デモザイク部６ｃ、特徴量演算部６ｄ、ＳＲＡＭ（Static Random Access Memory）６ｅ、ブロックマッチング部６ｆ、画像変形合成加算部６ｇ、及びプログラムＲＯＭ６ｈを有する。
ＣＰＵコア６ａは、プログラムＲＯＭ６ｈに記憶されているプログラムに従って、ワークメモリ４を使用しつつ、後述する処理を実行することによりカスタムＬＳＩ６を構成する前記各部を制御する。受光制御部６ｂは、撮像部２とＡ／Ｄ変換部３との動作タイミングを制御し、電子シャッタとして機能させる。
デモザイク部６ｃは、ＲＡＷ画像（非圧縮画像）のデモザイク処理を行う。特徴量演算部６ｄは、撮影された画像から人物の顔等、特定の画像を検出する際や、検出した特定の画像において所定の変化があるか（人の顔に関する画像であれば、笑顔に変化したか等）否かを判断する際に用いられる。ブロックマッチング部６ｆは、ＳＲＡＭ６ｅをワークエリアとして用い、後述の画像位置合わせを行う際に必要となる画像同士のブロックマッチング処理を行う。画像変形合成加算部６ｇは、画像の合成加算処理等を行う。
また、カスタムＬＳＩ６のＣＰＵコア６ａには、シャッタボタン８、モードボタン９及び外部記憶媒体１０が接続されている。シャッタボタン８は、１段目の操作ストローク（半押し）と、２段目の操作ストローク（全押し）との２段階の操作ストロークを有する釦式スイッチからなる。モードボタン９は、ユーザの操作に応じて、撮影モード、再生モードの切り替え指示信号を送出する。また、撮影モードにおける「連写ダイナミックレンジ拡大モード」等の詳細な撮影モードの指示信号も出力する。
外部記憶媒体１０は、ＳＤカード等の着脱自在な記録媒体である。外部記憶媒体１０には、通常の撮影モード、あるいは「連写ダイナミックレンジ拡大モード」等の撮影モードで撮影された画像の画像データが記憶される。また、再生時には、外部記憶媒体１０から読み出された画像データがＣＰＵコア６ａを介して、液晶表示コントローラ５に供給され、液晶表示部７に画像が再生表示される。
なお、プログラムＲＯＭ６ｈには撮影時の適正な露出値である適正露出に対応する絞り値とシャッタスピード（露光時間）との組み合わせを示すプログラム線図を構成するプログラムＡＥデータも格納されている。
次に、以上の構成に係る本実施の形態の動作について説明する。ユーザがモードボタン９を操作して、撮影モードにおける「連写ダイナミックレンジ拡大モード」を設定すると、カスタムＬＳＩ６のＣＰＵコア６ａは、プログラムＲＯＭ６ｈに記憶されているプログラムに従って、図２のフローチャートに示すように処理を開始する。
まず、ＣＰＵコア６ａは、液晶表示コントローラ５を制御して、液晶表示部７に撮像されている画像を逐次ライブビュー表示する（ステップＡ１）。次に、ＣＰＵコア６ａは、シャッタボタン８が半押しされたか否かを判断し（ステップＡ２）、シャッタボタン８が半押しされたならば、撮影されている画像について測光処理、合焦処理、及び、ホワイトバランス処理等、撮像部２やＡ／Ｄ変換部３を制御する各処理を実行する（ステップＡ３）。そして、このステップＡ３での測光処理により得られた画像の明るさに基づいて、適正な絞り値とシャッタ速度（又は露光時間）とからなる露出値（以降適正露出値という）を演算し、この露出値に合うようにローリングシャッタの周期を設定する。
そして演算された適正露出値をシフト量が０の露出値、すなわち０ＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）として定義すると共に、この適正露出値を半分にシフトさせたものを−２、逆に２倍にシフトさせた露出値を−２ＥＶ、また、この適正露出値を２倍にシフトさせた露出値を＋２ＥＶとして定義し、絞り値を固定した上での夫々の露出値に応じた露光時間（以降、０ＥＶ時間、−２ＥＶ時間、及び、＋２ＥＶ時間という）を算出する（ステップＡ４）。
その後、ユーザが撮影を行うべく、シャッタボタン８を全押しするとステップＡ５の判断がＹＥＳとなる。したがって、ＣＰＵコア６ａはステップＡ５からステップＡ６に処理を進めて、ローリングシャッタ方式で、露光時間で−２ＥＶ時間、＋２ＥＶ時間、０ＥＶ時間の３回を１セットとし、これを５セット連続で撮影する（ステップＡ６）。つまり、３×５＝１５回の連続撮影を行い、これによりワークメモリ４には、撮影回数１５回分に相当する１５枚のＲＡＷ画像が格納されることとなる。
図３は、上記１セットの撮影のタイミングを示す図である。同図において、−２ＥＶ時間は０ＥＶ時間に対して１／２倍で設定される。また、＋２ＥＶ時間は０ＥＶ時間に対して２倍が設定される。
尚、撮影順序を−２ＥＶ時間、＋２ＥＶ時間、０ＥＶ時間としているのは、１セット当たりの撮影時間を短くするためである。
次に、加算合成処理における位置合わせを行うため、前記ワークメモリ４に格納された１５枚の全ＲＡＷ画像を８ｂｉｔの縮小ＹＵＶ画像を生成し、更に、加算合成させた場合に８ｂｉｔのデータに収まるよう、各縮小ＹＵＶ画像についてγカーブの修正を行う（ステップＡ７）。
次いで、各セットにおいて、０ＥＶ時間で撮影された画像の縮小ＹＵＶ画像（以下０ＥＶ縮小画像という）の露出値を＋２ＥＶ時間で撮影された画像の縮小ＹＵＶ画像（以下＋２ＥＶ縮小画像という）の露出値と同等になるように輝度（Ｙ）についてゲイン補正を行い、その後、上記ゲイン補正された０ＥＶ縮小画像を基準画像として、＋２ＥＶ縮小画像との位置合わせを行う（ステップＡ８）。
より詳細に説明すると、各セットは、−２ＥＶ画像、＋２ＥＶ画像、０ＥＶ画像で構成されているので、ステップＡ８では、まず、０ＥＶ縮小画像と、その直前に撮影された＋２ＥＶ縮小画像との位置合わせを行う。その際、０ＥＶ縮小画像は、先ずγカーブが修正され、その後ゲインを４倍に補正し、更にγカーブを元に修正して、＋２ＥＶ縮小画像の露出値と同等にさせる。次いで、補正された０ＥＶ縮小画像と＋２ＥＶ縮小画像とについてブロックマッチングによる比較を行い動きベクトルを求める。更にこの求めた動きベクトルから、２つの画像の位置関係を表す射影変換行列を求める。
次いで、０ＥＶ縮小画像の露出値を−２ＥＶ時間で撮影された画像の縮小ＹＵＶ画像（以下−２ＥＶ縮小画像という）の露出値と同等になるように輝度（Ｙ）についてゲイン補正を行い、その後、上記ゲイン補正された０ＥＶ縮小画像を基準画像として、−２ＥＶ縮小画像との位置合わせを行う（ステップＡ９）。
より詳細に説明すると、ステップＡ９では、０ＥＶ縮小画像と、その１フレーム置いて以前に撮影された−２ＥＶ縮小画像との位置合わせを行う。その際、−２ＥＶ縮小画像は、先ずγカーブが修正され、その後ゲインを４倍に補正し、更にγカーブを元に修正して、０ＥＶ縮小画像の露出値と同等にさせる。次いで、補正された−２ＥＶ縮小画像と０ＥＶ縮小画像とについてブロックマッチングによる比較を行い動きベクトルを求める。更にこの求めた動きベクトルから、２つの画像の位置関係を表す射影変換行列を求める。
そして、次のステップＡ１０では、これらステップＡ８及びステップＡ９よる画像の位置合わせが全セットで終了したか否かを判断する。全セットの位置合わが終了するまで、ステップＡ８→Ａ９→Ａ１０→Ａ８の処理ループを繰り返す。
したがって、５セットの撮影を行う本実施の形態においては、ステップＡ８→Ａ９→Ａ１０→Ａ８の処理ループが５回繰り返され、これにより全セットの位置合わせが終了することとなる。
次に、これら位置合わせを終了した５セットにおいて、位置合わせについて評価を行い、最も評価が高い、すなわち、一致度が高く、位置合わせが成功したセットがあるか否かを判断する（ステップＡ１１）。ここで、画像の位置合わせが成功したか否かの判断は、例えばブロックマッチングにおけるブロックの０ＥＶ縮小画像に対する−２ＥＶ縮小画像、及び、＋２ＥＶ縮小画像の一致度が、例えば共に９０％以上である場合には、位置合わせが成功したものとし、これ未満である場合には、位置合わせが失敗したものとする。
尚、位置合わせが成功したセットがあった場合、更にそれが複数セットあるか否かを判断する（ステップＡ１３）。そして複数あると判断した場合には、これら複数のセットにおいて０ＥＶ縮小画像と−２ＥＶ縮小画像との画像同士の位置ずれが少ないセットを選択する（ステップＡ１４）。
また、ステップＡ１３の判断で、位置合わせの成功セットが複数ではなく、一つと判断した場合は、ステップＡ１４を経由することなくステップＡ１５に移行する。
次いで、ＲＡＷ画像からＹＵＶ画像を生成する、所謂、個別画像現像処理を実行する（ステップＡ１５）。
図４は、個別画像現像処理（ステップＡ１５）の処理手順を示すフローチャートである。まず、デモザイク部６ｃにより、選択されたセットに含まれる０ＥＶ縮小画像、＋２ＥＶ縮小画像、及び、−ＥＶ縮小画像の夫々に対応する３つのＲＡＷ画像についてデモザイク処理を行い、ＹＵＶ画像に変換する（ステップＢ１）。このデモザイク処理にあたり、各画像に対して、周波数の高い領域（高域成分）と低い領域（低域成分）とに分離する（ステップＢ２）。そして、高域成分は、ゲインアップによりコントラストを強調させる（ステップＢ３）。また、低域成分は、露出別に設定したトーンカーブ補正を行う（ステップＢ４）。
図５は、このステップＢ４における露出別に設定したトーンカーブの一例を示す図である。トーンカーブは、−２ＥＶ縮小画像に対応するＲＡＷ画像にあっては図５（ｃ）に示すように、また、０ＥＶ縮小画像に対応するＲＡＷ画像にあっては図５（ｂ）に示すように、露出が適正である適正部を直線状とし、適正露出部の傾きを高くして、コントラストを上げるようにする。また、露出が適正でない部分の傾きは下げて、ノイズの色相ずれを抑える。
＋２ＥＶ縮小画像に対応するＲＡＷ画像にあっては、図５（ａ）に示すように、大きなγカーブとし、０ＥＶ縮小画像に対応するＲＡＷ画像のヒストグラムの輝度中央値によりγカーブの終点を決定する。
なお、図（ｄ）は、これら＋２ＥＶ縮小画像、０ＥＶ縮小画像、−２ＥＶ縮小画像に対応する各ＲＡＷ画像を加算合成した加算合成画像のトーンカーブを示す。
そして、これら画像毎に分離して処理された、低域成分と高域成分とを各ＲＡＷ画像について加算処理する（ステップＢ５）。さらに、加算処理後の画像についてＵＶゲインをアップする処理を行う（ステップＢ６）。
このようにして、図２のフローチャートのステップＡ１５で、選択されたセットに含まれる０ＥＶ縮小画像、−２ＥＶ縮小画像、及び、＋２ＥＶ縮小画像夫々に対応するＲＡＷ画像について、各々現像処理が完了したならば、次のステップＡ１６でこれら個別に現像された３枚の画像の加算合成処理を実行する。
図６は、ステップＡ１４で実行される加算合成処理の詳細を示すフローチャートである。このフローチャートにおいては、加算合成対象のＹＵＶ画像について、Ｙ（輝度）成分に関しては、ステップＣ２〜Ｃ７の処理を実行し、Ｕ（輝度と青色成分との差）成分、及びＶ（輝度と赤色成分との差）成分に関しては、ステップＣ１の処理のみを行う。
すなわち、前記ステップＡ１５で得られた３枚のＹＵＶ画像を加算平均し、加算合成画像を生成する（ステップＣ２）。また、この加算平均により得られた画像にシャープネスフィルタをかけて、Ｙ成分のエッジ強調を行う（ステップＣ３）。
更に、ステップＣ４〜Ｃ７の処理で、加算合成された画像に対して、Ｙ成分のヒストグラム伸長を行う。すなわち、先ずＹの輝度値分布のヒストグラムマップを作成する（ステップＣ４）。但し、全画素に対して計測を行うとヒストグラムマップの作成処理時間がかかるので、例えば１００画素おきに計測する。
次に、ヒストグラム伸長閾値を取得する（ステップＣ５）。すなわち、高輝度側のヒストグラムマップ面積の０．５％のポイントとなる輝度値を求める。また、トーンカーブ画素変換テーブル、つまりステップＣ５で求めた高輝度側の伸長ポイントが、夫々２５５となる直線変換の変換テーブルを作成する（ステップＣ６）。この作成した変換テーブルに基づき、ステップＣ２で生成した加算合成画像のＹ成分を伸長する（ステップＣ７）。
他方、ＵＶ成分に関しては、Softmax処理で合成する（ステップＣ１）。Ｕ成分について説明すると、下記例示式で計算される出力値をＵのSoftmax出力値（USoftmax）とする。
Ucomp=(Uave+Umax*Coef）/(1+Coef）
但し、
Ucomp：Ｕ のSoftmax出力値
Uave：Ｕの平均値
Umax：Ｕの絶対値とＶの絶対値の和が一番大きい画像のＵの値
Coef：調整係数
また、Ｖ成分について説明すると、下記例示式で計算される出力値をＶのSoftmax出力値（VSoftmax）とする。
Vcomp=(Vave+Vmax*Coef）/(1+Coef）
但し、
Vcomp：Ｖ Softmax出力値
Vave：Ｖの平均値
Vmax：Ｕの絶対値とＶの絶対値の和が一番大きい画像のＶの値
Coef：調整係数
そして、図２のフローチャートにおけるステップＡ１６で加算合成処理が終了したならば、この合成加算処理された画像を最終出力画像として、ＳＤカード等の外部記憶媒体１０に保存し、本処理を終了する。
このように本実施の形態においては、１セット３回とし５セットの連続連続で行う。したがって、ステップＡ１１で位置合わせが成功した成功セットがあるか否かを判断した際、成功セットがあると判断される確率は極めて高い。したがって、撮影者が再度の撮影操作を強いられることは極めて少なく、再度の撮影に伴う撮影者の負担を回避することができる。
また、１セット３回で５セットの撮影は連続して行われることから、いずれのセットにも撮影者がシャッタチャンスとしたシーンが含まれている可能性も極めて高い。よって、シャッタチャンスを喪失してしまうことも回避することができる。
その結果、撮影者に負担を強いることなく、かつ、シャッタチャンスの喪失を未然に防止しつつ、暗所での撮影において、撮影される画像に手ぶれによる影響がないように撮影することができる。
他方、前述のように、ステップＡ１１での判断の結果、位置合わせが成功したセットが存在しないと判断した場合には、ステップＡ１１からステップＡ１２に進む。そして、このステップＡ１２では、先頭のセットの０ＥＶ縮小画像に対応するＲＡＷ画像についてＹＵＶ画像に現像処理して、ＪＰＥＧフォーマットに加工して最終出力画像とする。更に、この最終出力画像をＳＤカード等の外部記憶媒体１０に保存する。
（本発明の変形例）
（１）なお、本実施の形態においては、位置合わせが成功したセットがあるか否かを判断し、位置合わせが成功したセットから画像の位置ずれが最も少ないセットを選択し、この選択した一つのセットの画像を加算合成処理して、保存するようにした。しかし、全てのセットについて、画像の加算合成を行い、しかる後に加算合成した各セットの合成画像を評価し、これら複数の合成画像のうち最も評価が高い合成画像を選択して保存するようにしてもよい。
このようにしても、前述した実施の形態と同様に、撮影者に負担を強いることなく、かつ、シャッタチャンスの喪失を未然に防止しつつ、暗所での撮影において、撮影される画像に手ぶれによる影響がないように撮影することができる。
（２）また、前記変形例（１）において、合成処理された複数の画像を評価するに際しては、被写体ぶれの有無を評価し、最も被写体ぶれが少ない画像を選択するようにする。これにより、被写体にぶれによる影響がない鮮明な画像を記録することができる。
（３）また、実施の形態においては、ステップＡ１４で単一のセットを選択するようにした。しかし、測光センサ等の撮影環境の明るさを検出する検出手段を設け、この検出手段により検出された撮影環境の明るさが所定値以下である場合には、複数のセットを選択して、選択した複数のセットに含まれる全ての画像を加算合成処理するようにしてもよい。これにより、明るさが所定値以下である暗所での撮影において、明るさが確保された画像を記録保存することができる。
（４）また、実施の形態においては、ステップＡ１４で０ＥＶ縮小画像と−２ＥＶ縮小画像の位置ずれが少ないセットを選択するようにした。しかし、ステップＡ１４では、セット内の画像に顔画像が含まれているか否かを判断し、顔画像が含まれていると判断した場合、０ＥＶ縮小画像と−２ＥＶ縮小画像の顔画像の位置ずれ等を評価し、位置ずれが最も少なく最も評価の高い画像のセットを選択するようにしてもよい。これにより、暗所で人物を主要被写体として撮影した場合に、人物の顔が高品位である画像を記録することができる。
また、この場合でも、前記変形例（１）のように、全てのセットについて、画像の加算合成を行い、しかる後に加算合成した各セットの合成画像の顔画像を評価し、複数の合成画像のうち最も評価が高い合成画像を選択して保存するようにしてもよい。
１ レンズブロック
２ 撮像部
３ Ａ／Ｄ変換部
４ ワークメモリ
５ 液晶表示コントローラ
６ カスタムＬＳＩ
６ａ コア
６ａ ＣＰＵコア
６ｂ 受光制御部
６ｃ デモザイク部
６ｄ 特徴量演算部
６ｅ ＳＲＡＭ
６ｆ ブロックマッチング部
６ｇ 画像変形合成加算部
６ｈ プログラムＲＯＭ
７ 液晶表示部
８ シャッタボタン
９ モードボタン
１０ 外部記憶媒体
１００ デジタルカメラ

Claims (10)

  1. 撮像手段と、
    この撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段と、
    この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、
    前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、
    この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段と、
    この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段と、
    この選択手段によって選択された画像を記憶する記憶手段と、
    を備えたことを特徴とする撮像装置。
  2. 撮像手段と、
    この撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段と、
    この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段と、
    この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段と、
    この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段と、
    この加算合成手段により加算合成された画像を記憶する記憶手段と、
    を備えたことを特徴とする撮像装置。
  3. 撮影環境の明るさを検出する検出手段を更に備え、
    前記加算合成手段は、前記検出手段によって検出された明るさが所定値以下の場合は、前記第１の撮像制御手段による撮像により得られた２セット以上に含まれる複数の画像について、位置合わせを行い加算合成することを特徴とする請求項１又は２記載の撮像装置。
  4. 前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、手ぶれを評価し、最も手ぶれの少ない画像を選択することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
  5. 前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、被写体ぶれの有無を評価し、最も被写体ぶれの少ない画像を選択することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
  6. 撮像された画像に顔画像が含まれているか否かを判断する判断手段と、
    この判断手段による判断の結果顔画像が含まれていると判断した場合、前記選択手段は、前記合成処理された結果得られた複数の画像、又は各セットに含まれる複数の画像について、顔画像を評価し、最も評価が高いと判断される画像を選択することを特徴とする請求項１乃至３の何れかに記載の撮像装置。
  7. 撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御ステップと、
    この第１の撮像制御ステップによる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、
    前記第１の撮像制御ステップによる撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、
    この加算合成ステップによる合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御ステップと、
    この合成制御ステップによって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択ステップと、
    この選択ステップによって選択された画像を記憶する記憶ステップと、
    を含むことを特徴とする撮像方法。
  8. 撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御ステップと、
    この第１の撮像制御ステップよる撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御ステップと、
    この第２の撮像制御ステップによる撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択ステップと、
    この選択ステップによって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成ステップと、
    この加算合成ステップにより加算合成された画像を記憶する記憶ステップと、
    を含むことを特徴とする撮像方法。
  9. 撮像手段を備える装置が有するコンピュータを、
    前記撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段、
    この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、
    前記第１の撮像制御手段による撮像により得られた１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、
    この加算合成手段による合成処理を、前記第２の撮像制御手段によるセット数に基づいて複数回行うよう制御する合成制御手段、
    この合成制御手段によって合成処理された結果得られた複数の画像を評価して、最も評価値の高い画像を選択する選択手段、
    この選択手段によって選択された画像を記憶させる記憶制御手段、
    として機能させることを特徴とする撮像プログラム。
  10. 撮像手段を備える装置が有するコンピュータを、
    前記撮像手段に対し、順に適正露出時間よりも短い時間での撮像、当該適正露出時間よりも長い時間での撮像、当該適正露出時間での撮像を行なわせるよう制御する第１の撮像制御手段、
    この第１の撮像制御手段による撮像を１セットとし、複数セット行わせるよう制御する第２の撮像制御手段、
    この第２の撮像制御手段による撮像により得られた各セットに含まれる複数の画像を評価して、最も評価値の高い１セットを選択する選択手段、
    この選択手段によって選択された１セットに含まれる複数の画像について、位置合わせを行い加算合成する加算合成手段、
    この加算合成手段により加算合成された画像を記憶させる記憶制御手段、
    として機能させることを特徴とする撮像プログラム。
JP2009257574A 2009-11-11 2009-11-11 撮像装置、撮像方法、及び撮像プログラム Active JP4973719B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009257574A JP4973719B2 (ja) 2009-11-11 2009-11-11 撮像装置、撮像方法、及び撮像プログラム
TW099138598A TW201138442A (en) 2009-11-11 2010-11-10 Image capture apparatus, image capturing method and computer readable medium
CN2010106088060A CN102065223A (zh) 2009-11-11 2010-11-10 摄像装置及摄像方法
KR1020100111648A KR101303410B1 (ko) 2009-11-11 2010-11-10 촬상장치 및 촬상방법
US12/943,229 US8599283B2 (en) 2009-11-11 2010-11-10 Image capture apparatus and image capturing method
US14/065,942 US8872937B2 (en) 2009-11-11 2013-10-29 Image capture apparatus and image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009257574A JP4973719B2 (ja) 2009-11-11 2009-11-11 撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JP2011103558A JP2011103558A (ja) 2011-05-26
JP4973719B2 true JP4973719B2 (ja) 2012-07-11

Family

ID=43973897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009257574A Active JP4973719B2 (ja) 2009-11-11 2009-11-11 撮像装置、撮像方法、及び撮像プログラム

Country Status (5)

Country Link
US (2) US8599283B2 (ja)
JP (1) JP4973719B2 (ja)
KR (1) KR101303410B1 (ja)
CN (1) CN102065223A (ja)
TW (1) TW201138442A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468009B (zh) * 2010-08-23 2015-01-01 Red Com Inc 高動態範圍視頻
JP5738080B2 (ja) * 2011-06-09 2015-06-17 キヤノン株式会社 撮像装置及びその制御方法
CN102843506A (zh) * 2011-06-24 2012-12-26 瑞轩科技股份有限公司 摄影系统及其影像拍摄与合成方法
US9521395B2 (en) 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
JP5832855B2 (ja) * 2011-11-01 2015-12-16 クラリオン株式会社 画像処理装置、撮像装置および画像処理プログラム
US9049364B2 (en) * 2012-02-13 2015-06-02 Htc Corporation Focus adjusting method and image capture device thereof
CN103259972A (zh) * 2012-02-17 2013-08-21 佳能企业股份有限公司 影像处理方法及成像装置
CN104170369B (zh) * 2012-03-15 2017-12-19 诺基亚技术有限公司 用于捕获图像的方法、设备和计算机可读存储介质
WO2014065055A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
JP5933129B2 (ja) * 2013-08-02 2016-06-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN104113702B (zh) * 2014-07-25 2018-09-04 北京智谷睿拓技术服务有限公司 闪光控制方法及控制装置、图像采集方法及采集装置
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US9986890B2 (en) * 2014-11-25 2018-06-05 Sony Corporation Endoscope system, operation method for endoscope system, and program for balancing conflicting effects in endoscopic imaging
JP6635722B2 (ja) * 2015-09-01 2020-01-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
TWI585394B (zh) * 2015-12-09 2017-06-01 由田新技股份有限公司 動態式自動追焦系統
CN105898143B (zh) * 2016-04-27 2019-05-17 维沃移动通信有限公司 一种运动物体的抓拍方法及移动终端
CN106791380B (zh) 2016-12-06 2020-04-21 周民 一种动感照片的拍摄方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
JP4032262B2 (ja) * 1996-05-13 2008-01-16 株式会社ニコン 電子カメラ
JP2000209476A (ja) * 1999-01-18 2000-07-28 Nikon Corp 画像選別機能を有する電子カメラ
US6965410B1 (en) * 1998-12-03 2005-11-15 Canon Kabushiki Kaisha Image sensing apparatus employing dark image data to correct dark noise
JP2002223386A (ja) * 2001-01-25 2002-08-09 Olympus Optical Co Ltd 撮影装置
JP3801126B2 (ja) 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
AU2004311841B2 (en) * 2003-12-24 2008-10-09 Walker Digital, Llc Method and apparatus for automatically capturing and managing images
US7317843B2 (en) * 2004-04-01 2008-01-08 Microsoft Corporation Luminance correction
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社 撮像装置および撮像方法
JP2008042746A (ja) * 2006-08-09 2008-02-21 Olympus Imaging Corp カメラ、撮影制御方法、プログラム
JP2008271529A (ja) 2007-03-26 2008-11-06 Sanyo Electric Co Ltd 撮像装置
JP4127411B1 (ja) * 2007-04-13 2008-07-30 キヤノン株式会社 画像処理装置及び方法
JP4942572B2 (ja) 2007-07-13 2012-05-30 富士フイルム株式会社 画像加算装置および方法並びにプログラム
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data

Also Published As

Publication number Publication date
US20110109754A1 (en) 2011-05-12
US8872937B2 (en) 2014-10-28
CN102065223A (zh) 2011-05-18
US8599283B2 (en) 2013-12-03
KR101303410B1 (ko) 2013-09-05
US20140055631A1 (en) 2014-02-27
KR20110052507A (ko) 2011-05-18
TW201138442A (en) 2011-11-01
JP2011103558A (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
JP4973719B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US9094648B2 (en) Tone mapping for low-light video frame enhancement
JP4567593B2 (ja) 撮像装置および撮影方法
US9307212B2 (en) Tone mapping for low-light video frame enhancement
JP5115568B2 (ja) 撮像装置、撮像方法、及び撮像プログラム
US8305465B2 (en) Image pick-up apparatus with a shake reducing function
JP5214476B2 (ja) 撮像装置及び画像処理方法並びにプログラム
US20090303343A1 (en) Low-light video frame enhancement
JP2007336561A (ja) 映像生成装置及び方法
JP2017022610A (ja) 画像処理装置、画像処理方法
JP2013055567A (ja) 撮像装置
KR20100094397A (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
JP2002300372A (ja) 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置
JP6304293B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2013090095A (ja) 撮像装置、撮像方法、およびプログラム
WO2016072102A1 (ja) 撮像装置、撮像方法、処理プログラム
JP2007124397A (ja) 画像処理装置および画像処理方法
JP2007133810A (ja) 画像処理装置
JP5822606B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2009118052A (ja) 画像信号処理方法及び装置
JP5482428B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP5482427B2 (ja) 撮像装置、手ブレ補正方法、プログラム
US20230328339A1 (en) Image capture apparatus and control method thereof, and image processing apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

R150 Certificate of patent or registration of utility model

Ref document number: 4973719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3