JP5762114B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5762114B2
JP5762114B2 JP2011101317A JP2011101317A JP5762114B2 JP 5762114 B2 JP5762114 B2 JP 5762114B2 JP 2011101317 A JP2011101317 A JP 2011101317A JP 2011101317 A JP2011101317 A JP 2011101317A JP 5762114 B2 JP5762114 B2 JP 5762114B2
Authority
JP
Japan
Prior art keywords
image
display
focus
displayed
enlargement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011101317A
Other languages
English (en)
Other versions
JP2012235231A (ja
Inventor
松本 如弘
如弘 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011101317A priority Critical patent/JP5762114B2/ja
Priority to US13/454,851 priority patent/US8780234B2/en
Priority to CN201210135377.9A priority patent/CN102761692B/zh
Publication of JP2012235231A publication Critical patent/JP2012235231A/ja
Priority to US14/311,145 priority patent/US9154706B2/en
Application granted granted Critical
Publication of JP5762114B2 publication Critical patent/JP5762114B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関し、特に複数の撮影画像を多重合成可能な撮像装置に関するものである。
従来、複数のデジタル画像信号を加算処理することにより、多重露出撮影を行う技術がある。特許文献1には、多重撮影モードにおいて、撮影済み画像とスルー画像とを多重した画像を表示し、被写体が合成される位置を確認したうえで多重露光撮影をできるようにすることが開示されている。
一方、特許文献2には、撮影待機状態でのライブビュー表示中にシャッターボタンが半押しされると、フォーカスエリア中心周辺の領域を撮像した画像を、より高解像度で拡大表示エリア中に表示して細部を確認できるようにすることが開示されている。
特開2003−125266号公報 特開2003−179798号公報
特許文献1のように、多重撮影モードにおいて、撮影済み画像とスルー画像を多重した画像を表示すれば、被写体が多重合成される位置を確認して構図調整を行うには好適である。しかしながら、特許文献2のようにライブビュー中に一部の範囲を拡大してフォーカス(ピント)の具合を確認する場合には、多重した表示ではスルー画像がはっきり視認できず、フォーカスの具合が確認し難いといった課題が生じる。
本発明は上記課題に鑑み、多重露出撮影において、構図調整に好適な多重ライブビュー表示を行っていても、フォーカスの具合を確認していると想定される場合にはスルー画像を視認しやすく表示する撮像装置を提供することを目的とする。
上記課題を解決するために、本発明の撮像装置は、
撮像手段と、前記撮像手段で撮像されたスル―画像と、少なくとも1枚の撮影済み画像とを多重合成して多重合成画像を生成する生成手段と、前記生成手段で生成された前記多重合成画像を逐次更新しながら表示手段に表示するように制御する表示制御手段と、マニュアルフォーカス操作を受付けるフォーカス操作受付手段と、前記多重合成画像を表示している際に前記フォーカス操作受付手段で前記マニュアルフォーカス操作を受付けると、前記多重合成をしていないスル―画像を前記表示手段に表示するように制御する制御手段とを有することを特徴とする。
または、本発明の撮像装置は、
撮像手段と、前記撮像手段で撮像されたスル―画像と、少なくとも1枚の撮影済み画像とを多重合成して多重合成画像を生成する生成手段と、前記生成手段で生成された前記多重合成画像を逐次更新しながら表示手段に表示するように制御する制御手段と、画像の拡大指示を受付ける拡大指示受付手段と、フォーカス調整モードをオートフォーカスとするかマニュアルフォーカスとするかを設定するフォーカス調整モード設定手段と、を有し、前記制御手段は、前記多重合成画像を表示していて、かつフォーカス調整モードが前記オートフォーカスに設定されている場合に、前記拡大指示受付手段で前記拡大指示を受付けると、拡大した前記多重合成画像を前記表示手段に表示するように制御し、前記多重合成画像を表示していて、かつフォーカス調整モードが前記マニュアルフォーカスに設定されている場合に、前記拡大指示受付手段で前記拡大指示を受付けると、前記多重合成画像ではなく、拡大したスル―画像を前記表示手段に表示するように制御することを特徴とする。
本発明によれば、多重露出撮影において、構図調整に好適な多重ライブビュー表示を行っていても、フォーカスの具合を確認している場合にスルー画像が視認しやすくなり、正確にフォーカスの具合を確認することができる。
デジタルカメラ100の構成ブロック図である。 デジタルカメラ100の外観図である。 多重露出撮影に関する事前設定のメニュー画面の表示例である。 多重ライブビュー表示の表示例を説明する図である。 表示種別1〜3での等倍での表示例である。 表示種別1〜3の5倍拡大時の表示例である。 多重露出撮影モード処理1のフローチャートである。 拡大モード変更処理1のフローチャートである。 多重露出撮影モード処理2のフローチャートである。 拡大モード変更処理2のフローチャートである。 拡大モード変更処理3のフローチャートである。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
[実施形態1]
<構成ブロック図>
図1に、本発明を適用可能な撮像装置の一実施の形態としてのデジタルカメラ100の構成を示すブロック図を示す。
図1において、撮影レンズ101は、ズームレンズやフォーカスレンズなどからなる脱着可能な交換レンズである。
AF(オートフォーカス)駆動回路102は、例えばDCモータやステッピングモータを含み、マイクロコンピュータ123の制御によって撮影レンズ101に含まれるフォーカスレンズの位置を変化させることによりピントを合わせる。
絞り駆動回路104は、撮像素子112に到達する光量を調整する絞り103を駆動する。駆動されるべき量はマイクロコンピュータ123によって算出され、光学的な絞り値を変化させる。
主ミラー105は撮影レンズ101から入射した光束をファインダ側と撮像素子112側とに切替えるためのミラーである。主ミラー105は通常時はファインダ部へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像素子112へと光束を導くように上方に跳ね上がり光束中から待避する(ミラーアップ)。また主ミラー105はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うためのセンサに入射するように透過させる。
サブミラー106は主ミラー105から透過してきた光束を反射させ焦点検出を行うためのセンサ(焦点検出回路109内に配置されている)に導くためのミラーである。
ミラー駆動回路107は、マイクロコンピュータ123の制御によって主ミラー105を駆動する。
ペンタプリズム108はファインダを構成する。ファインダは他にピント板、アイピースレンズ(不図示)などによって構成される。
焦点検出回路109は焦点検出を行うためのブロックである。主ミラー105の中央部を透過し、サブミラー106で反射された光束は、焦点検出回路109の内部に配置された光電変換を行うためのセンサに至る。フォーカス演算に用いるデフォーカス量は、センサの出力を演算することによって求められる。マイクロコンピュータ123は演算結果を評価してAF駆動回路102に指示し、フォーカスレンズを駆動させる。
シャッタ駆動回路111は、フォーカルプレーンシャッタ110を駆動する。シャッタの開口時間はマイクロコンピュータ123によって、制御される。
撮像素子112には、CCDやCMOSセンサなどが用いられ、撮影レンズ101によって結像された被写体像を電気信号に変換する。
AD変換器115は撮像素子112から出力されたアナログ出力信号をデジタル信号に変換する。
映像信号処理回路116は、ゲートアレイなどのロジックデバイスにより実現され、各種映像信号処理を行う。
表示駆動回路117は表示部材118に表示を行わせる駆動回路である。
表示部材118は、TFT液晶ディスプレイや有機ELディスプレイなどのディスプレイであり、本実施の形態ではデジタルカメラ100の背面モニタである。
メモリコントローラ119は、映像信号処理回路116から入力された未処理のデジタル画像データをバッファメモリ122に格納し、処理済みのデジタル画像データを記録媒体120に格納する。また、逆にバッファメモリ122や記録媒体120から画像データを映像信号処理回路116に出力する。さらに、メモリコントローラ119は、コンピュータ等と接続可能な外部インターフェース121を介して記録媒体120に記憶されている画像を出力可能である。
記録媒体120はメモリーカードなどの着脱可能な記録媒体である。なお、デジタルカメラの内臓記録媒体としてもよいし、複数の記録媒体があってもよい。
外部インターフェースは121は、有線、あるいは無線通信によりコンピュータ等の外部機器と接続するためのインターフェイスである。
バッファメモリ122は、画像データを一時的に保持するためのメモリであり、多重露出撮影の途中で使用する各種画像もここに格納される。
映像信号処理回路116は、デジタル化された画像信号に、フィルター処理、色変換処理、ガンマ処理を行い、現像データを作成すると共に、JPEGなどの圧縮処理を行い、メモリコントローラ119に出力する。
映像信号処理回路116は、バッファメモリ122上の2つ以上の現像データの加算や、現像データから階調を高ビット化した高精度データの生成や、またその両方の処理を同時に実施し、結果をバッファメモリ122に書き戻すことが可能である。さらに、映像信号処理回路116は、撮像素子112からの映像信号や、メモリコントローラ119から逆に入力される画像信号を、表示駆動回路117を通して表示部材118に出力することも可能である。これらの機能切り替えはマイクロコンピュータ123の指示により行われる。映像信号処理回路116は、必要に応じて撮像素子112の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ123に出力することが可能である。それらの情報を基にマイクロコンピュータ123はホワイトバランスやゲイン調整の指示を行う。連続撮影(連写)動作の場合においては、一旦、未処理画像のままバッファメモリ122に撮影データを格納し、メモリコントローラ119を通して未処理の画像データを読み出し、映像信号処理回路116にて画像処理や圧縮処理を行い、連続撮影を行う。連続撮影枚数は、バッファメモリ122の容量に左右される。
マイクロコンピュータ123はデジタルカメラ100の全体を制御する主制御部であり、システムメモリ132をワークメモリとして、不揮発性メモリ130に記録された各種プログラムを実行する。
操作検出部124は、操作部材が操作されたことを検出し、操作部材が操作されるとマイクロコンピュータ123にその状態を伝える。マイクロコンピュータ123はその操作部材の変化に応じて各部をコントロールする。なお、操作検出部124は記録媒体120を格納するスロットの蓋28(以下、カード蓋28)、電池蓋29の開閉状態も検知できるものとする。
スイッチ1(125)(以後SW1)は、操作部材の一つであるレリーズボタン10の半押し操作によってオンとなるスイッチであり、オンとなるとマイクロコンピュータ123は、オートフォーカス(AF)動作や測光動作などの撮影準備処理を行う。
スイッチ2(126)(以後SW2)は、操作部材の一つであるレリーズボタン10の全押し操作によってオンとなるスイッチである。SW2がオンとなるとマイクロコンピュータ123は、撮像を行い、撮像された画像を画像ファイルとして記録媒体120に記録する本撮影処理を行う。なお、SW2の操作による撮像を、スルー画像用の撮像と区別するために本撮影と称する。
またSW1、SW2がオンし続けている間は、連続撮影動作が行われる。
液晶駆動回路127は、マイクロコンピュータ123の表示内容命令に従って、文字、画像を用いて動作状態やメッセージ等を表示する外部液晶表示部材128やファインダ内液晶表示部材129を駆動する。また、ファインダ内液晶表示部材129には、不図示のLEDなどのバックライトが配置されており、そのLEDも液晶駆動回路127で駆動される。
マイクロコンピュータ123は撮影前に設定されているISO感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ119を通して、記録媒体120の残容量を確認した上で撮影可能残数を演算することができる。撮影可能残数は必要に応じて表示部材118、外部液晶表示部材128、ファインダ内液晶表示部材129にも表示することができる。
不揮発性メモリ130はEEPROMやフラッシュメモリなどよりなり、カメラに電源が入れられていない状態でも、データを保存することができる。電源部131は、各ブロックや駆動系に必要な電源を供給する。
<外観図>
図2に、デジタルカメラ100の外観図を示す。図2(a)はデジタルカメラ100の正面斜視図であり、図2(b)はデジタルカメラ100の背面斜視図である。なお、正面斜視図においては、交換レンズである撮影レンズ101を取り外した状態を図示している。
図2(a)に図示したとおり、デジタルカメラ100は操作部材としてのレリーズボタン10、メイン電子ダイヤル11、ISO設定ボタン12、露出補正ボタン13、撮影モードダイヤル14、絞り込みボタン15を備える。絞り込みボタン15は絞り104を設定された絞り(F値)に絞り込ませるためのボタンであり、撮影モードにおけるライブビュー表示中に押下することにより、設定された絞りでの撮像画像の明るさを確認することができる。
ライブビュー表示とは、主ミラー105を退避させた状態で、撮像素子112で撮像している画像(スルー画像)を略リアルタイムで連続的に表示部材118に表示させることで電子ビューファインダーとして機能させる表示である。ライブビュー表示では、撮像素子112に結像された画像を、AD変換器115でデジタル信号へと変換し、映像信号処理回路116で現像を行ってスルー画像を生成する。そして、スルー画像、あるいはスルー画像と撮影済みの画像を合成した多重合成画像を表示部材118に表示させる。表示された画像は逐次更新され、動画として視認される。例えばこの処理を1秒間に30回繰り返すことで30fpsのライブビュー表示が可能となる。
メイン電子ダイヤル11は回転操作部材であり、撮影条件などの各種設定値を増減する際や、各種項目を選択する際に選択している項目を変更する操作、再生モードにおいて画像を組単位で切り替える操作等に用いられる。
図2(b)に図示したとおり、デジタルカメラ100は操作部材としての情報表示ボタン16、メニューボタン17、再生ボタン18、消去ボタン19、メインSw20、セットボタン21を備える。また、サブ電子ダイヤル22、拡大ボタン23、縮小ボタン24、マルチコントローラー25を備える。メインSw20はデジタルカメラ100の電源のONとOFFを切り替えるための操作部材である。サブ電子ダイヤル22は回転操作部材であり、各種項目を選択する際に選択している項目を変更する操作、再生モードにおいて表示している画像を切り替える画像送り操作などに用いられる。ファインダ接眼部26は、ユーザーがファインダを覗き込んで光学像を見る際の接眼部である。ライブビューボタン27は、ライブビュー表示を開始する指示を受け付けるボタンであり、押下することでライブビュー表示のONとOFFを切り換えられる。カード蓋28は記録媒体120を格納する格納部の蓋であり、電池蓋29は電源部131としての電池を格納する格納部の蓋である。
<多重露出撮影に関する事前設定>
多重露出撮影に関する事前設定項目を設定する方法について説明する。
図3に、多重露出撮影に関するデジタルカメラ100の設定を行うメニュー画面の表示例を示す。図3(a)の多重露出撮影に関するメニュー画面300は、メニューボタン17を押下して全体メニューを表示し、全体メニューの中から多重露出撮影に関するメニューを選択して確定すると、表示部材118に表示される。
メニュー画面300には、メニュー項目301〜304が表示される。ユーザーはサブ電子ダイヤル22の操作によってメニュー項目301〜304の中から任意のメニュー項目を選択することができる。いずれかのメニュー項目を選択した状態でセットボタン21を押下することで、選択したメニュー項目についての設定候補一覧が表示される。そして、表示された設定候補一覧の中から所望の設定候補をサブ電子ダイヤル22の操作などにより選択し、再度セットボタン21を押下することで、選択した設定候補を設定値として確定して設定することができる。
メニュー項目301は多重露出撮影を行うか否かを選択するメニュー項目であり、「する」・「しない」の2つの設定候補のうちいずれかを選択して設定可能である。以下、本項目の設定を多重露出撮影要否設定と称する。多重露出撮影要否設定は、システムメモリ132あるいは不揮発性メモリ130に記録される。ユーザーの操作に応じて多重露出撮影要否設定が「しない」から「する」に設定変更されると多重露出撮影モードとなり、次回の撮影から多重露出撮影を開始する(モード設定)。多重露出撮影要否設定は、多重露出撮影が予定枚数に達して終了した場合など、後述するいくつかの条件で自動的に「する」から「しない」に変更される。多重露出撮影の途中であっても、ユーザー操作に応じて本項目を「しない」に設定すると、その時点で多重露出撮影を終了する。その際、多重合成画像のファイルが生成可能であればマイクロコンピュータ123の制御に基づいて多重合成画像のファイルを生成する。
メニュー項目302は1組の多重露出撮影において合成する画像の枚数を選択するメニュー項目であり、2〜9の設定候補のうち何れかの画像枚数を選択して設定可能である。ベース画像が選択されていない場合、メニュー項目302で設定した画像枚数が、多重露出撮影予定枚数となる。ベース画像を選択した場合は、多重露出撮影予定枚数が、メニュー項目302で設定した画像枚数から1減った値となる。多重露出撮影予定枚数はシステムメモリ132に記録される。なお本項目は多重露出撮影にて1枚以上の画像を撮影した後、多重露出撮影が完了していない状態(以下、多重露出撮影中状態と称する。後述の多重露出撮影中フラグ=1である状態である)では、選択して変更することができない。
メニュー項目303は多重露出撮影における自動露出調整機能の実行要否を選択するメニュー項目であり、「する」・「しない」の2つの設定候補のうちいずれかを選択して設定可能である。本項目は多重露出撮影中状態では、選択して変更することができない。
メニュー項目304は多重露出撮影におけるベース画像を選択するメニュー項目であり、記録媒体120に記録されている画像(多重露出撮影モードに設定する前に記録されていた画像)から1つの画像を選択してベース画像に設定することが可能である。本項目は多重露出撮影要否設定が「する」に設定されており、かつ、多重露出撮影中状態ではない状態でのみ設定可能である。すなわち、多重露出撮影要否設定を「する」に設定してから1枚目の撮影をする前にのみ、メニュー項目304でのベース画像設定が可能である。ベース画像を設定すると、図3(b)のような画面表示となる。画像306は記録媒体に記録された画像のうちベース画像として設定された画像である。ベース画像は、多重露出撮影モードで1枚以上の撮影が行われるか、ライブビュー表示を開始した際に、映像信号処理回路116によって、記録媒体120から読みだされ、バッファメモリ122上に現像データとして変換された形で配置される。ベース画像を選択すると、撮影条件としての画像サイズの設定値(以降の多重露出撮影で撮影される画像の画像サイズ)が、ベース画像の画像サイズと同じ値に設定される。このようにベース画像を選択すると、過去に撮影した画像を1枚目の画像として、多重露出撮影を行うことができる。本実施の形態では、ベース画像として選択可能な画像は画像サイズを合わせる必要性のため、過去に本デジタルカメラ100で撮影された画像のみとする。なお、デジタルカメラ100で撮影条件として設定可能な画像サイズを有する画像であれば、デジタルカメラ100で撮影された画像以外の画像をベース画像に設定できるものとしてもよい。また、デジタルカメラ100で撮影条件として設定可能な画像サイズと異なる画像の場合は、映像信号処理回路116でリサイズしてベース画像に設定できるものとしてもよい。ベース画像の設定は多重露出撮影が終了すると解除され、ベース画像が選択されていない状態になる。画像選択解除ボタン305は選択したベース画像をキャンセルするためのボタンアイコンであり、選択決定するとベース画像が選択されていない状態になる。
<処理に用いるデータ>
次に、多重露出撮影の処理において用いるデータについて説明する。多重露出撮影の処理を実行するにあたっては、以下の変数を用いる。
・多重露出撮影要否設定:「する」あるいは「しない」のいずれかが設定可能であり、不揮発性メモリ130あるいはシステムメモリ132に設定値が記録される。「する」の状態が多重露出撮影モードであることを示す。
・多重露出撮影予定枚数:1つの多重画像を生成するために行う多重露出撮影(以下、1組の多重露出撮影と称する)の回数を示す値であり、システムメモリ132に記録される。ベース画像を無しに設定している場合は多重露出撮影予定枚数は図3のメニュー項目302での設定枚数である。ベース画像を有りに設定している場合は多重露出撮影予定枚数は図3のメニュー項目302での設定枚数マイナス1である。
・多重露出撮影完了枚数:1組の多重露出撮影において現在までに撮影が実行された枚数を示す値であり、システムメモリ132に記録される。多重露出撮影完了枚数=多重露出撮影予定枚数となると、1組の多重露出撮影が終了したこととなり、多重露出撮影処理を完了する。
・拡大モードフラグ:ライブビュー表示で拡大を行う拡大モードであるか否かの状態を管理する変数であり、システムメモリ132に記録される。拡大ボタン23の押下に応じて、拡大モード=等倍(画像の全体を全画面表示)、拡大モード=5倍、拡大モード=10倍が順次切り替わる。
・表示種別Gs:複数の情報表示の種別のうち、選択されている種別を示す変数。本実施形態では表示種別は1〜3の3種類あり、Gsはこのうち選択されている表示種別のNoとなる。
また、多重露出撮影中状態では、1組の多重露出撮影において現在までに撮影された各元画像の記録媒体120上での格納場所を示す情報を、書き込み済みファイル情報としてシステムメモリ132に記録する。画像を記録する記録媒体が複数ある場合には、格納先の記録媒体を特定する情報も記録される。
<多重露出撮影モード中のライブビュー表示>
上述の多重露出撮影要否設定を「する」にして多重露出撮影モードとした際のライブビュー表示の表示例を説明する。多重露出撮影モードでは、スルー画像と、ベース画像(設定されている場合)及び多重露出撮影モードを開始してからその時点までに撮影済みの画像とを多重合成して、ライブビュー表示として表示できる。
図4(a)に、ベース画像(設定されている場合)及び多重露出撮影モードを開始してからその時点までに撮影済みの画像が多重合成された画像(以下、合成用の画像データと称する)の例を示す。この画像は撮影済みの画像を多重合成したものなので、静止画である。図4(b)にスルー画像の例を示す。スルー画像は撮像素子112によって逐次撮影されている画像なので、動画として視認される。図4(c)に、表示部材118における多重表示でのライブビュー表示の表示例を示す。画像401は、図4(a)に示した合成用の画像データと、図4(b)に示したスルー画像とを多重合成した画像である。スルー画像の部分は逐次更新され、動画として視認される。このように、合成用画像データとスルー画像とを多重合成して表示したものを多重ライブビュー表示と称する。ダイアログ402内の左側には多重露出撮影モードであることを示すアイコンを表示する。ダイアログ402内の右側には多重露出撮影完了枚数までの残り枚数(多重露出撮影予定枚数−多重露出撮影完了枚数)を表示する。残り枚数は、図の例では残り2枚であることを示している。AF枠403は、AFによってピントを合わせるフォーカス調整領域を示した枠である。コントラストAFでは、AF枠403内からコントラストの評価値が取得され、これを元にコントラストAFが行われる。ユーザーは図4(c)に例示したような多重ライブビュー表示を見ることで、撮影済みの合成用画像データに対して被写体(スルー画像)がどの位置に多重合成されるかを確認し、構図を調整して撮影することができる。なお、多重ライブビュー表示のための多重合成処理は、マイクロコンピュータ123の制御に基づいて映像信号処理回路116が行う。
また、多重露出撮影モードでライブビュー表示を行っている際に、複数の情報表示の表示種別のうちいずれかの表示種別で情報表示が行える。図5に、3種類の表示種別のそれぞれにおける表示例を示す。
図5(a)に、表示種別1での表示例を示す。図5(a)は、等倍の際に表示種別1で表示した際の表示例である。なお、等倍とは、画像の全体を表示部材118の表示領域に収まる最大のサイズで表示する表示倍率であるものとする。表示種別1では、多重露出撮影モードであっても図4で説明したような多重表示は行われず、画像としてはスルー画像のみを表示する。スルー画像上にAF枠、及びデジタルカメラ100の現在の設定値としてのシャッター速度、絞り値、露出補正値、記録媒体120への残り撮影可能枚数を表示する。
図5(b)に、表示種別2での表示例を示す。図5(b)は、拡大倍率を等倍とした際の表示種別2での表示例である。表示種別2も、表示種別1と同様に、多重露出撮影モードであっても画像としてはスルー画像のみを表示する。また、表示種別1での情報表示に加え、デジタルカメラ100の現在の設定値としての撮影モードやAF方式、撮影画像のサイズを表示する。
図5(c)に、表示種別3での表示例を示す。図5(c)は、拡大倍率を等倍とした際の表示種別3での表示例であり、前述した図4(c)の表示である。表示種別3では、基本的には図示のように多重ライブビュー表示となる。ただし、後述するいくつかの条件により、表示種別3であっても多重ライブビュー表示を中止し、スルー画像だけの表示となることがある。なお、表示種別3では、多重露出撮影用の表示種別であるため、多重ライブビュー表示の視認を妨げないように、情報表示は最低限としており、その他の情報表示は敢えて表示していない。例えば、設定値としてのシャッター速度、絞り値、露出補正値、記録媒体120への残り撮影可能枚数、AF方式、撮影画像のサイズ、輝度ヒストグラム、水準器に基づく傾き情報は表示しない。
表示種別設定は、情報表示ボタン16のトグル操作によって任意に変更することができる。情報表示ボタン16が押下された際に、選択していた表示種別が1であれば2に、2であれば3に、3であれば1に変更する。
また、多重露出撮影モードでライブビュー表示を行っている際に、拡大ボタン23を押下することで、ライブビュー表示を拡大することができる。拡大できる拡大倍率は5倍と10倍の2種類あり、等倍を含めて倍率は3種類ある。倍率は拡大ボタン23の押下に応じて順次切換え、ライブビュー表示が等倍であった際には5倍に、5倍であった際には10倍に、10倍であった際には等倍に切り換える。拡大ボタン23の押下に応じて拡大を開始する際の初期拡大範囲は、等倍の際に表示されるAF枠、もしくはユーザーに指定された位置を中心とした範囲とする。その後、ユーザーから拡大範囲を移動する操作を受付けると拡大範囲を変更し、撮像範囲のうち任意の範囲を拡大して表示する。スルー画像を拡大して見ることで、ユーザーは、現在のフォーカスの調整具合を詳細に確認することができる。
図6に、拡大ボタン23を押下して5倍に拡大した場合の各表示種別での表示部材118での表示例を示す。
図6(a)は、表示種別1で5倍拡大している際の表示例である。5倍に拡大したスルー画像とともに、拡大範囲ガイド601と、表示種別1での情報表示が表示される。5倍に拡大したスルー画像は、拡大表示する範囲の解像度が十分大きくなるように、撮像素子112のうち等倍の際とは異なる画素密度と範囲で撮像したスルー画像である(5倍用のスルー画像と称する)。ただし、等倍の際に取得するスルー画像が、5倍に拡大しても画質が劣化しない十分な画素数である場合は、等倍の際に取得するスルー画像と同じ画素密度と範囲で得られるスルー画像を5倍に電子拡大したものとしても良い。画質が劣化しない十分な画素数としては、等倍で取得されるスルー画像を5倍に拡大した際に、表示倍率がピクセル等倍以下となればよい。すなわち、等倍で取得されるスルー画像のうち、5倍に拡大した際の表示範囲に含まれる画素数が、表示部材118の画素数以上あればよい。拡大範囲ガイド601は、現在5倍拡大している旨(×5の表示)と、撮像範囲のうち、5倍に拡大して現在表示している範囲(拡大範囲)がどこであるかを示している。その他の情報表示は等倍の時と同様である。
図6(b)は、表示種別2で5倍拡大している表示例である。表示種別2での5倍拡大では、5倍用のスルー画像とともに、拡大範囲ガイド601と、表示種別2での情報表示が表示される。
図6(c1)では、表示種別3で5倍拡大し、多重ライブビュー表示を行っている際の表示例である。この例では、5倍用のスルー画像と、合成用画像データの対応する範囲を5倍に拡大した画像データとを映像信号処理回路116で多重合成したものを表示している。同時に、拡大範囲ガイド601と、表示種別3での情報表示が表示される。
図6(c2)では、表示種別3で5倍拡大し、多重ライブビュー表示を行っていない際の表示例である。この例では、画像としては5倍用のスルー画像のみを表示している。同時に、拡大範囲ガイド601と、表示種別3での情報表示が表示される。
図6(c1)のように、多重ライブビューを行ったまま拡大表示を行っても、スルー画像は合成用画像データと重なって見えるため、フォーカスの具合をはっきりとは視認することができず、フォーカスの調整を行う際には不便である。そこで実施形態1では、制御の詳細は後述するが、表示種別3の等倍で多重ライブビュー表示を行っていた際にも、拡大する際には多重ライブビュー表示を解除して図6(c2)のようにスルー画像だけの表示とし、フォーカスの具合を視認しやすくする。
<多重露出撮影モード処理1>
図7に、多重露出撮影モード処理1のフローチャートを示す。図7の処理は、不揮発性メモリ130に記録されたプログラムを、システムメモリ132に展開してマイクロコンピュータ123が実行することで実現する。また、図7の処理の際は、逐次スルー画像を撮像しているものとする。デジタルカメラ100が起動して、撮影モードでライブビュー表示を行っており、かつ、多重露出撮影要否設定が「する」に設定されて多重露出撮影モードとなると、図7の処理を開始する。
S701では、マイクロコンピュータ123は、表示種別Gsを3(等倍で多重ライブビュー表示される表示種別)に初期化する。
S702では、マイクロコンピュータ123は、スルー画像に多重合成するための合成用画像データを取得する。バッファメモリ122に多重露出撮影モードになってから現時点までに得られた画像(ベース画像がある場合はベース画像を含む)を多重合成した合成済画像データが保持されている場合はそれを合成用画像データとして取得する。バッファメモリ122に合成済画像データが保持されていない場合には、バッファメモリ122に直前に撮影した画像が保持されていればそれを合成用画像データとして取得する。バッファメモリ122に直前に撮影した画像も保持されていない場合には、ベース画像が設定されていれば記録媒体120からベース画像を読み出して合成用画像データとして取得する。ベース画像も設定されていなければ、スルー画像に多重合成すべき画像がないので合成用画像データは取得しない。
S703では、マイクロコンピュータ123は、多重ライブビュー表示を行うように表示制御する。前述した図5(c)が、この際の表示例である。
S704では、マイクロコンピュータ123は、拡大ボタン23が押下されたか否かを判定する。押下されて拡大指示を受付けたと判定するとS705へ進み、そうでない場合はS706へ進む。S705では、拡大指示受付けに応じて拡大モード変更処理1を行う。拡大モード変更処理1については、図9を用いて後述する。
S706では、マイクロコンピュータ123は、表示種別変更操作があったか否かを判定する。具体的には、情報表示ボタン16が押下されたか否かの判定である。情報表示ボタン16が押下されたと判定するとS707へ進み、そうでない場合はS712に進む。
S717では、マイクロコンピュータ123は、現在設定されている表示種別Gsが1であるか否かを判定する。1であると判定するとS708へ進み、そうでなければS709へ進む。S708では、で表示種別Gsを2に設定し、表示種別2での表示を開始する。これにより、拡大モードが等倍であれば前述の図5(b)の表示となり、拡大モードが5倍であれば前述の図6(b)の表示となる。
S709では、マイクロコンピュータ123は、現在設定されている表示種別Gsが2であるか否かを判定する。2であると判定するとS710へ進み、そうでない場合(すなわちGs=3の場合)はS711に進む。
S710では、マイクロコンピュータ123は、表示種別Gsを3に設定し、表示種別3での表示を開始する。これにより、拡大モードが等倍であれば前述の図5(c)のように多重ライブビュー表示となり、拡大モードが5倍であれば前述の図6(c2)のようにスルー画像のみでの表示となる。
S711では、表示種別Gsを1に設定し、表示種別1での表示を開始する。これにより、拡大モードが等倍であれば前述の図5(a)の表示となり、拡大モードが5倍であれば前述の図6(a)の表示となる。
S712では、マイクロコンピュータ123は、SW2がオンになったか否か(すなわち、レリーズボタン10の全押しによる本撮影の指示があったか否か)を判定する。オンになったと判定するとS713へ進み、そうでなければS704へ戻り処理を繰り返す。
S713では、マイクロコンピュータ123は、多重露出撮影処理を行うように制御する。多重露出撮影処理では、まず露光の制御を行う。露光が完了すると撮像素子112に蓄積された画像信号の読み出しを行い、読み出した画像信号から現像データを生成するように映像信号処理回路116に指示する。生成された現像データはバッファメモリ122に格納される。続いてバッファメモリ122に格納された現像データを映像信号処理回路116に圧縮させ、画像ファイルとして記録媒体120へ記録する。この画像ファイルは合成されたものではなく、単体の元画像である。続いて、システムメモリ132に保持した書き込み済みファイル情報に、今回記録した画像ファイルの格納場所を示す情報を記録する。また、システムメモリ132に保持している多重露出撮影完了枚数に1を加算する。続いて、今回撮影した画像と、多重露出撮影モード処理を開始してから現在までにすでに撮影した画像、及びベース画像が設定されている場合はベース画像とを多重合成した合成済画像データを生成し、バッファメモリ122に格納する。
S714では、マイクロコンピュータ123は、システムメモリ132に保持している拡大モードフラグを、等倍に変更する。これにより、多重露出撮影処理が行われると拡大が解除されることになる。
S715では、システムメモリ132に保持している多重露出撮影完了枚数が、多重露出撮影予定枚数と等しくなったか否かを判定する。等しくなった場合は多重露出撮影が目的の枚数まで行われたことを示しており、S716に進んで保存して終了処理を行う。等しくなっていない場合はS717に進む。
S716では、マイクロコンピュータ123は、保存して終了処理を行う。保存して終了処理では、マイクロコンピュータ123は、この時点で多重露出撮影を終了し、この時点までに取得した画像を用いて多重合成画像を生成して、画像ファイルとして記録媒体120に記録する。また、マイクロコンピュータ123は、多重露出撮影の初期化処理を行う。初期化処理では、バッファメモリ122に記録された画像データを全て破棄する。システムメモリ132に記録した多重露出撮影予定枚数、多重露出撮影完了枚数をリセットする。多重露出撮影要否設定を「しない」に変更する。システムメモリ132に保持している多重露出撮影中フラグを0にする。システムメモリ132に保持している書き込み済みファイル情報の内容をすべて消去する。
S717では、マイクロコンピュータ123は、多重露出撮影モードを途中で終了する途中終了イベントがあったか否かを判定する。途中終了イベントとは、多重露出撮影モードを途中で終了させるべきイベントであり、例えば以下のようなものがある。
・ユーザの操作により多重露出撮影要否設定を「しない」にするイベント
・ユーザによるメインSW20の操作、カード蓋28の開き、電池蓋29の開き。オートパワーオフ時間の経過などの電源がOFFとなるイベント
・撮影設定の条件により多重露出撮影を継続できないような状態となるイベント
途中終了イベントがあった場合はS716へ進み、なかった場合はS718へ進む。
S718では、マイクロコンピュータ123は、合成用画像データの更新を行う。ここでは、S702の処理を再度行うことにより、合成用画像データをS713での多重露出撮影処理を反映した最新のものに更新する。S718の処理を終えるとS704へ戻って処理を繰り返す。
<拡大モード変更処理1>
図8に、図7のS705で前述した拡大モード変更処理1のフローチャートを示す。図7の処理は、不揮発性メモリ130に記録されたプログラムを、システムメモリ132に展開してマイクロコンピュータ123が実行することで実現する。
S801では、マイクロコンピュータ123は、システムメモリ132に保持されている拡大モードフラグを参照し、現在の拡大モードが等倍であるか否かを判定する。等倍であると判定するとS802に進み、そうでない場合はS803に進む。
S802では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=5倍でのライブビュー表示(5倍に拡大した表示)を開始する。ここで、拡大モード=5倍でのライブビュー表示では、合成用画像データとスルー画像との多重表示は行わず、画像としては5倍用のスルー画像のみを表示するものとする。ただし、画像以外の、表示種別Gsに応じた情報表示等は表示してもよい。S802の処理により、拡大ボタン23を押下する前に表示種別Gs=3で等倍表示していた場合には、拡大ボタン23の押下に応じて、多重表示していた状態から多重表示していない状態に変更されることになる。拡大モード=5倍とすることにより、設定されている表示種別に応じて、前述した図6(a)、(b)、(c2)のいずれかの表示が行われる。
S803では、マイクロコンピュータ123は、システムメモリ132に保持されている拡大モードフラグを参照し、現在の拡大モードが5倍であるか否かを判定する。5倍であると判定するとS804に進み、そうでない場合、すなわち10倍である場合はS805に進む。
S804では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=10倍でのライブビュー表示(10倍に拡大した表示)を開始する。10倍でのライブビュー表示では10倍用のスルー画像を用いる。10倍用のスルー画像も、5倍用のスルー画像と同様に、10倍にして拡大表示する範囲の解像度が十分大きくなるように、撮像素子112のうち等倍の際とは異なる画素密度と範囲で撮像したスルー画像である。
S805では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=等倍でのライブビュー表示を開始する(すなわち拡大を解除する)。この際、表示種別Gs=3であった場合には、多重ライブビュー表示が再開されることとなる。拡大モード=等倍とすることにより、設定されている表示種別に応じて、前述した図5(a)、(b)、(c)のいずれかの表示が行われる。
このように、実施形態1によれば、多重露出撮影モードにおいて、スルー画像と撮影済みの合成用画像データとを多重ライブビュー表示を行っている際に、拡大する操作があると多重合成を解除して拡大したスルー画像を表示する。従ってユーザーは、ライブビュー表示中に画像を拡大してフォーカスの調整具合を確認する際に、多重された撮影済み画像に視認を妨げられることなく、より正確にフォーカスの調整具合を確認することができる。
[実施形態2]
実施形態2では、多重露出撮影モードでのライブビュー表示中に、拡大有無に加えて、フォーカス調整モードがAFであるかMFであるか、及びフォーカスを確認する必要がある状況であるか否かに応じて、多重表示をするか否かを切り替える例を説明する。
実施形態2に係るデジタルカメラ100の構成ブロック図、外観図、多重露出撮影に関する事前設定、処理に用いるデータについては実施形態1と同様である。
<多重露出撮影モード処理2>
図9に、実施形態2に多重露出撮影モード処理2のフローチャートを示す。図9の処理は、不揮発性メモリ130に記録されたプログラムを、システムメモリ132に展開してマイクロコンピュータ123が実行することで実現する。また、図9の処理の際は、逐次スルー画像を撮像しているものとする。デジタルカメラ100が起動して、撮影モードでライブビュー表示を行っており、かつ、多重露出撮影要否設定が「する」に設定されると、図9の処理を開始する。
S901〜S904の処理は、前述した図7のS701〜S704と同様の処理なので説明を省略する。
S905では、マイクロコンピュータ123は、マイクロコンピュータ123は、拡大モード変更処理2を行う。拡大モード変更処理2については、図10を用いて後述する。
S907〜S911の処理は、前述した図7のS707〜S711と同様の処理なので説明を省略する。ただし、拡大している際にS910で表示種別Gs=3に変更された場合、後述するタイマーがカウント中であればスルー画像のみの表示とし、タイマーがカウント中でなければ多重ライブビュー表示とする。前述したとおり、表示種別3でのスルー画像のみの表示は5倍であれば図6(c2)のような表示となり、表示種別3での多重ライブビュー表示は5倍であれば図6(c1)のような表示となる。
S912では、マイクロコンピュータ123は、現在の表示種別Gsが3であるか否かを判定する。Gs=3である場合とは、後述するタイマーがクリアされているかタイムアップしていれば(すなわちカウント中でなければ)、多重ライブビュー表示を行っている場合である。Gs=3である場合はS913に進み、そうでない場合はS923に進む。
S913では、マイクロコンピュータ123は、現在のフォーカス調整モードが、AFモード(オートフォーカスモード)であるかMFモード(マニュアルフォーカスモード)であるかを判定する。AFモードであると判定するとS914進み、MFモードであると判定するとS918に進む。なお、AFモードにするかMFモードにするかのフォーカス調整モード設定は、メニューボタン17を押下して表示されるメニュー画面から、あるいは撮影レンズ101に備えられたAF/MF切り替えボタン(不図示)により予め設定しておけるものとする。
S914では、マイクロコンピュータ123は、現在のAF評価値(コントラストAFであるか位相差AFであるかは問わない)を取得する。続いてS915で、マイクロコンピュータ123は、S913で取得したAF評価値が、以前に取得したAF評価値と比較して閾値以上の変化があるか否かを判定する。変化がある場合にはS916に進み、多重ライブビュー表示を解除し、画像として表示するのはスルー画像のみとする。AF評価値に変化があった場合は、フォーカスの具合がユーザーが以前に認識していた具合から変化したことを表している。そのため、フォーカスの具合をユーザが再度正確に確認できるように、スルー画像だけの表示に変更する。S917では、多重ライブビュー表示をやめてスルー画像だけの表示としている期間としての所定時間(数秒程度)を計測するためのタイマーをクリア(初期化)して、カウントをスタートする。
S918では、マイクロコンピュータ123は、マニュアルでフォーカスを調整するマニュアルフォーカス操作が行われたか否かを判定する。フォーカスを調整する操作は、撮影レンズ101にあるフォーカスリング(不図示)に対する操作であるものとする。もちろん他の操作部材に対する操作としてもよい。フォーカスを調整する操作を受付けたと判定すると(フォーカス操作受付け)S919に進み、そうでない場合はS920に進む。S919では、フォーカス調整操作に従ってフォーカスレンズを駆動する。続いてS916に進み、多重ライブビュー表示をやめ、画像として表示するのはスルー画像のみとする。ここでスルー画像のみの表示とするのは、フォーカスの調整操作を行っている際に、ユーザーにフォーカスの具合を正確に確認させ、正確にフォーカスの調整を行えるようにするためである。
S920では、マイクロコンピュータ123は、S917で多重ライブビュー表示をやめてからの時間、あるいは後述する図10の処理で多重ライブビュー表示をやめてからの時間が所定時間に達してタイマーがタイムアップしたか否かを判定する。タイムアップしたと判定するとS921に進み、タイムアップしていない場合はS923に進む。S923では、スルー画像だけの表示に変更していた表示種別Gs=3でのライブビュー表示を、多重ライブビュー表示に変更する。すなわち多重ライブビュー表示が解除されてからタイマーで計測した所定時間後に多重ライブビュー表示が再開される。多重ライブビュー表示を再開すると、S922で、多重ライブビュー表示を再開するまでの時間を計測していたタイマーをクリアする。
S923〜S929の処理は、前述したS712〜S718の処理と同様の処理なので説明を省略する。
<拡大モード変更処理2>
図10に、図9のS905で前述した拡大モード変更処理2のフローチャートを示す。図10の処理は、不揮発性メモリ130に記録されたプログラムを、システムメモリ132に展開してマイクロコンピュータ123が実行することで実現する。
S1001では、マイクロコンピュータ123は、現在の表示種別Gsが3であるか否かを判定する。Gs=3であると判定した場合はS1003に進み、そうでない場合はS1002に進む。
S1002では、マイクロコンピュータ123は、拡大ボタン23の押下に応じて、押下前に等倍あれば5倍に、押下前に5倍であれば10倍に、押下前に10倍であれば等倍に拡大モードを変更する。
S1003では、マイクロコンピュータ123は、現在のフォーカス調整モードがAFモードであるかMFモードであるかを判定する。AFモードであると判定するとS1004に進み、MFモードであると判定するとS1009に進む。
S1004では、システムメモリ132に保持された拡大モードフラグを参照し、現在の拡大モードが等倍であるか否かを判定する。等倍であると判定するとS1005へ進み、そうでない場合はS1006へ進む。
S1005では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=5倍でのライブビュー表示(5倍に拡大した表示)を開始する。ここでの、拡大モード=5倍でのライブビュー表示では、多重ライブビュー表示を行うものとする。これは、AFモードにおいては、ユーザーはMFモードほどフォーカスの具合を見て確認する必要性が低く、拡大したのはむしろ合成される被写体の位置合わせを正確に行いたいためであると想定できるためである。この時の表示例は前述した図6(c1)となる。
S1006では、システムメモリ132に保持された拡大モードフラグを参照し、現在の拡大モードが5倍であるか否かを判定する。5倍であると判定するとS1007へ進み、そうでない場合、すなわち拡大モードが10倍である場合はS1008へ進む。
S1007では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=10倍でのライブビュー表示(10倍に拡大した表示)を開始する。ここでの、拡大モード=10倍でのライブビュー表示では、S1005での5倍でのライブビュー表示と同様の理由で、多重ライブビュー表示を行うものとする。
S1008では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=等倍でのライブビュー表示を開始する(すなわち、拡大を解除する)。ここではGs=3であるので、多重ライブビュー表示である。この時の表示例は前述した図5(c)となる。
一方、フォーカス調整モードがMFモードである場合、S1009で、マイクロコンピュータ123は、システムメモリ132に保持されている拡大モードフラグを参照し、現在の拡大モードが等倍であるか否かを判定する。等倍であると判定するとS1010に進み、そうでない場合はS1012に進む。
S1010では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=5倍でのライブビュー表示(5倍に拡大した表示)を開始する。ここでの拡大モード=5倍でのライブビュー表示では、多重ライブビュー表示は行わず、画像としては5倍用のスルー画像のみを表示するものとする。ただし、画像以外の、表示種別Gsに応じた情報表示等は表示してもよい。多重ライブビュー表示を解除するのは、MFモードが、ユーザーが自分でライブビュー表示を見ながらフォーカス調整を行うモードであるため、拡大したのはフォーカスの具合をより正確に確認したいためであると想定できるためである。スルー画像のみの表示とすることで、合成用画像データが視認の妨げとなることなく、正確にスルー画像のフォーカスの具合を確認させることができる。この時の表示例は前述した図6(c2)となる。
S1011では、多重をやめてスルー画像だけの表示としている期間としての所定時間(数秒程度)を計測するためのタイマーをクリア(初期化)してカウントをスタートする。
S1012では、マイクロコンピュータ123は、システムメモリ132に保持されている拡大モードフラグを参照し、現在の拡大モードが5倍であるか否かを判定する。5倍であると判定するとS1013に進み、そうでない場合、すなわち10倍である場合はS1014に進む。
S804では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=10倍でのライブビュー表示(10倍に拡大した表示)を開始する。なお、S1013での10倍のライブビュー表示でもS1010での5倍のライブビュー表示と同様の理由で、多重ライブビュー表示は行わず、画像としては10倍用スルー画像のみを表示するものとする。
S1014では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=等倍でのライブビュー表示を開始する(すなわち拡大を解除する)。この際、表示種別Gs=3であるため、多重ライブビュー表示が再開されることとなる。この時の表示例は前述した図5(c)となる。
以上説明したように、実施形態2では、多重露出撮影モードでのライブビュー表示中に拡大をした場合、フォーカス調整モードがAFモードである場合には多重ライブビュー表示を解除せず、MFモードである場合に多重を解除してスルー画像だけを拡大表示する。これによって、AFモードである場合には拡大した多重ライブビュー表示を見て被写体の合成位置の確認を行うことができ、MFモードである場合には拡大したスルー画像を見てフォーカスの具合を正確に確認しながらフォーカス調整を行うことができる。
また、多重露出撮影モードにおいて、多重ライブビュー表示を行っている際にAF評価値が変化した場合、多重ライブビュー表示をやめてスルー画像だけの表示とする。これによって、フォーカスの具合が変化した際にどのように変化したかをスルー画像を見て正確に確認することができる。なお、AF評価値が変化した場合の例を説明したが、撮像に関する他の評価値でも、フォーカスの具合に影響を及ぼす評価値であれば同様の制御を行うと好適である。
また、多重露出撮影モードにおいて、多重ライブビュー表示を行っている際にMFでのフォーカス調整操作があると、多重ライブビュー表示をやめてスルー画像だけの表示とする。これによってスルー画像を見てフォーカスの具合を正確に確認できるため、より正確なフォーカスの調整を行うことができる。
さらに、多重ライブビュー表示をやめてスルー画像だけの表示とした後、所定時間が経過すると自動的に多重ライブビュー表示を再開する。そのため、フォーカスの具合を確認した後に被写体の合成位置を確認したい際にも、多重ライブビュー表示を再開させる操作を行う手間を省くことができる。
[実施形態3]
実施形態3では、拡大操作によって多重ライブビュー表示を解除してスルー画像だけの拡大表示とする際、表示種別3(多重ライブビュー表示)であると不整合が起こることを鑑み、拡大に伴って自動的に表示種別を変更する例を説明する。
実施形態3に係るデジタルカメラ100の構成ブロック図、外観図、多重露出撮影に関する事前設定、処理に用いるデータについては実施形態1と同様である。また、多重露出撮影モード処理についても実施形態1で説明した図7の処理とS705を除いて同様であるので説明を省略する。ただし、実施形態3では図7のS705の拡大モード変更処理1の代わりに、以下に示す拡大モード変更処理3を行う。
<拡大モード変更処理3>
図11に、図7のS705の他の例としての拡大モード変更処理3のフローチャートを示す。図11の処理は、不揮発性メモリ130に記録されたプログラムを、システムメモリ132に展開してマイクロコンピュータ123が実行することで実現する。
S1101では、マイクロコンピュータ123は、システムメモリ132に保持されている拡大モードフラグを参照し、現在の拡大モードが等倍であるか否かを判定する。等倍であると判定するとS1102に進み、そうでない場合はS1105に進む。
S1102では、マイクロコンピュータ123は、現在の表示種別Gsが3であるか否かを判定する。Gs=3であると判定した場合はS1103に進み、そうでない場合はS1104に進む。
S1103では、マイクロコンピュータ123は、表示種別Gsを1に変更する。これにより、多重ライブビュー表示を行わない表示種別になるため、以下で拡大を行った際にスルー画像だけの拡大表示となる。また、情報表示も多重ライブビュー表示用のものではなく、スルー画像だけの表示に適したものとなる。これによって多重ライブビュー表示用の表示種別であるにも関わらず多重ライブビュー表示されずにスルー画像だけが表示される不整合を防ぐことができる。
S1104では、マイクロコンピュータ123は、拡大モードフラグを変更して拡大モード=5倍でのライブビュー表示(5倍に拡大した表示)を開始する。ここでは、表示種別が3以外であるため多重ライブビュー表示は行われず、スルー画像だけが拡大表示された表示となる(情報表示は表示される)。なお、その後ユーザーが情報表示ボタン16を操作して表示種別3にした場合には拡大モード5倍でも多重ライブビュー表示とすることができる。
S1105〜S1107の処理は、前述した図8のS805〜505と同様の処理なので説明を省略する。
なお、図11の拡大モード変更処理3は、実施例2で説明した図9のS905の拡大モード変更処理2の代わりに適用してもよい。また、実施例2で説明したように、フォーカス調整モードがAFモードであるかMFモードであるかに応じて、MFモードである場合にのみ拡大モード変更処理3の処理を行うようにしてもよい。
以上説明した各実施形態によれば、多重露出撮影において、多重ライブビュー表示を行っていても、フォーカスの具合を確認するための操作が行われた場合、またはフォーカスの具合を確認した方が良い場合には自動的に多重ライブビュー表示を解除する。そしてスルー画像のみを表示するため、ユーザーはスルー画像を視認しやすくなり、正確にフォーカスの具合を確認することができる。
なお、上述した実施の形態では、現像データを用いて多重合成を行う例を説明したが、現像する前のRAW画像データを用いて多重合成を行ってもよい。また、拡大ボタン23で拡大する例を説明したが、それとは異なる操作部材に対する操作に応じて、常に多重ライブビュー表示で拡大(電子ズーム)するようにしてもよい。このようにすれば、拡大してフォーカスの具合を確認したいのか、拡大して被写体の合成位置を詳細に確認したいのかのユーザー目的に応じて適切な拡大方法を使い分けることができる。
また、マイクロコンピュータ123の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
さらに、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、撮像手段を有する撮像装置であれば適用可能である。すなわち、本発明はデジタルカメラ、デジタルビデオカメラ、カメラ付のパーソナルコンピュータやPDA、カメラ付携帯電話端末やカメラ付の音楽プレーヤー、カメラ付ゲーム機、カメラ付電子ブックリーダーなどに適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

  1. 撮像手段と、
    前記撮像手段で撮像されたスル―画像と、少なくとも1枚の撮影済み画像とを多重合成して多重合成画像を生成する生成手段と、
    前記生成手段で生成された前記多重合成画像を逐次更新しながら表示手段に表示するように制御する表示制御手段と、
    マニュアルフォーカス操作を受付けるフォーカス操作受付手段と、
    前記多重合成画像を表示している際に前記フォーカス操作受付手段で前記マニュアルフォーカス操作を受付けると、前記多重合成をしていないスル―画像を前記表示手段に表示するように制御する制御手段と
    を有することを特徴とする撮像装置。
  2. 前記制御手段は、前記多重合成画像を表示している際に前記フォーカス操作受付手段で前記マニュアルフォーカス操作を受付けることに応じて前記多重合成をしていないスル―画像を表示した場合、所定時間後に前記多重合成画像を前記表示手段に表示するように制御する請求項に記載の撮像装置。
  3. フォーカス調整モードをオートフォーカスとするかマニュアルフォーカスとするかを設定するフォーカス調整モード設定手段を更に有し、
    前記制御手段は、前記フォーカス調整モードがマニュアルフォーカスに設定されている場合には、前記多重合成画像を表示しているときに前記フォーカス操作受付手段で前記マニュアルフォーカス操作を受付けることに応じて多重合成をしていないスル―画像を表示するように制御し、前記フォーカス調整モードがオートフォーカスに設定されている場合には、前記多重合成画像を表示しているときにフォーカスの具合に影響を及ぼす評価値が所定の閾値以上変化したことに応じて、多重合成をしていないスル―画像を表示するように制御することを特徴とする請求項1または2に記載の撮像装置。
  4. 撮像手段と、
    前記撮像手段で撮像されたスル―画像と、少なくとも1枚の撮影済み画像とを多重合成して多重合成画像を生成する生成手段と、
    前記生成手段で生成された前記多重合成画像を逐次更新しながら表示手段に表示するように制御する制御手段と、
    画像の拡大指示を受付ける拡大指示受付手段と、
    フォーカス調整モードをオートフォーカスとするかマニュアルフォーカスとするかを設定するフォーカス調整モード設定手段と、を有し
    前記制御手段は、前記多重合成画像を表示していて、かつフォーカス調整モードが前記オートフォーカスに設定されている場合に、前記拡大指示受付手段で前記拡大指示を受付けると、拡大した前記多重合成画像を前記表示手段に表示するように制御し、
    前記多重合成画像を表示していて、かつフォーカス調整モードが前記マニュアルフォーカスに設定されている場合に、前記拡大指示受付手段で前記拡大指示を受付けると、前記多重合成画像ではなく、拡大したスル―画像を前記表示手段に表示するように制御することを特徴とする像装置。
  5. 前記制御手段は、前記多重合成画像を表示している際に前記拡大指示受付手段で前記拡大指示を受付けることに応じて前記拡大したスル―画像を表示した後、所定時間後に拡大した前記多重合成画像を前記表示手段に表示するように制御する請求項に記載の撮像装置。
  6. 前記拡大指示に応じて拡大したスルー画像には、フォーカス調整領域が含まれることを特徴とする請求項4または5に記載の撮像装置。
  7. マニュアルフォーカス操作を受け付けるフォーカス操作受付手段をさらに有し、
    前記制御手段は、前記多重合成画像を表示している際に前記フォーカス操作受付手段で前記マニュアルフォーカス操作を受け付けると、前記多重合成していないスル―画像を前記表示手段に表示するように制御することを特徴とする請求項4ないし6のいずれか1項に記載の撮像装置。
  8. 前記制御手段は、前記多重合成画像を表示している際に、フォーカスの具合に影響を及ぼす評価値の変化があると、前記多重合成していないスル―画像を前記表示手段に表示するように制御することを特徴とする請求項4ないし7のいずれか1項に記載の撮像装置。
  9. 前記評価値はAF評価値であることを特徴とする請求項に記載の撮像装置。
  10. 前記撮像手段で撮像されたスル―画像とともに表示する情報表示の表示種別を、複数の表示種別のうちいずれかに設定する表示種別設定手段を更に有し、
    前記制御手段は、前記多重合成画像を表示している際に前記拡大指示受付手段で前記拡大指示を受付けたことに応じて前記多重合成をせずに拡大したスル―画像を前記表示手段に表示する際、表示種別を多重露出撮影用の表示種別から他の表示種別に変更するように制御することを特徴とする請求項ないしのいずれか1項に記載の撮像装置。
  11. 撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段で撮像されたスル―画像と、少なくとも1枚の撮影済み画像とを多重合成して多重合成画像を生成する生成ステップと、
    前記生成ステップで生成された前記多重合成画像を逐次更新しながら表示手段に表示するように制御する表示制御ステップと、
    マニュアルフォーカス操作を受付けるフォーカス操作受付ステップと、
    前記多重合成画像を表示している際に前記フォーカス操作受付ステップで前記マニュアルフォーカス操作を受付けると、前記多重合成をしていないスル―画像を前記表示手段に表示するように制御する制御ステップと
    を有することを特徴とする撮像装置。
  12. 撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段で撮像されたスル―画像と、少なくとも1枚の撮影済み画像とを多重合成して多重合成画像を生成する生成ステップと、
    前記生成ステップで生成された前記多重合成画像を逐次更新しながら表示手段に表示するように制御する表示制御ステップと、
    画像の拡大指示を受付ける拡大指示受付ステップと、
    フォーカス調整モードをオートフォーカスとするかマニュアルフォーカスとするかを設定するフォーカス調整モード設定工程と、
    前記表示手段に前記多重合成画像が表示されており、かつフォーカス調整モードが前記オートフォーカスに設定されている場合に、前記画像の拡大指示を受付けるたことに応じて、拡大した前記多重合成画像を前記表示手段に表示するように制御し、前記表示手段に前記多重合成画像が表示されており、かつフォーカス調整モードが前記マニュアルフォーカスに設定されている場合に、前記画像の拡大指示を受付けたことに応じて、前記多重合成画像ではなく、拡大したスル―画像を前記表示手段に表示するように制御する制御工程と、を有することを特徴とする撮像装置の制御方法。
  13. コンピュータを、請求項1乃至10のいずれか1項に記載された撮像装置の各手段として機能させるプログラム。
  14. コンピュータを、請求項1乃至10のいずれか1項に記載された撮像装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2011101317A 2011-04-28 2011-04-28 撮像装置及びその制御方法 Expired - Fee Related JP5762114B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011101317A JP5762114B2 (ja) 2011-04-28 2011-04-28 撮像装置及びその制御方法
US13/454,851 US8780234B2 (en) 2011-04-28 2012-04-24 Imaging apparatus and method for controlling the same
CN201210135377.9A CN102761692B (zh) 2011-04-28 2012-05-02 摄像设备及其控制方法
US14/311,145 US9154706B2 (en) 2011-04-28 2014-06-20 Imaging apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011101317A JP5762114B2 (ja) 2011-04-28 2011-04-28 撮像装置及びその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015118576A Division JP6095727B2 (ja) 2015-06-11 2015-06-11 撮像装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2012235231A JP2012235231A (ja) 2012-11-29
JP5762114B2 true JP5762114B2 (ja) 2015-08-12

Family

ID=47056005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011101317A Expired - Fee Related JP5762114B2 (ja) 2011-04-28 2011-04-28 撮像装置及びその制御方法

Country Status (3)

Country Link
US (2) US8780234B2 (ja)
JP (1) JP5762114B2 (ja)
CN (1) CN102761692B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5762114B2 (ja) * 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
GB201219171D0 (en) * 2012-10-25 2012-12-12 Epipole Ltd Image acquisition apparatus
JP6383230B2 (ja) * 2014-09-22 2018-08-29 キヤノン株式会社 撮像装置、表示装置の制御方法ならびにプログラム
CN105450924B (zh) 2014-09-30 2019-04-12 北京智谷技术服务有限公司 超分辨率图像的获取方法和装置
JP6445831B2 (ja) * 2014-10-16 2018-12-26 キヤノン株式会社 撮像装置及びその制御方法ならびにプログラム
CN104836947B (zh) * 2015-05-06 2017-11-14 广东欧珀移动通信有限公司 一种图像拍摄方法和装置
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
JP7123671B2 (ja) * 2018-07-13 2022-08-23 キヤノン株式会社 撮像装置、および撮像装置の制御方法、プログラム
JP7121612B2 (ja) * 2018-09-14 2022-08-18 キヤノン株式会社 撮像制御装置およびその制御方法、プログラム、並びに記憶媒体
CN110611768B (zh) * 2019-09-27 2021-06-29 北京小米移动软件有限公司 多重曝光摄影方法及装置
CN110971832A (zh) * 2019-12-20 2020-04-07 维沃移动通信有限公司 一种图像拍摄方法及电子设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930718B2 (en) * 2001-07-17 2005-08-16 Eastman Kodak Company Revised recapture camera and method
JP2003125266A (ja) * 2001-10-18 2003-04-25 Fuji Photo Film Co Ltd カメラ
JP2003179798A (ja) 2001-12-10 2003-06-27 Canon I-Tech Inc デジタルカメラ
JP3530908B2 (ja) * 2002-02-18 2004-05-24 ミノルタ株式会社 デジタルカメラ及び画像表示装置
JP3700687B2 (ja) * 2002-07-08 2005-09-28 カシオ計算機株式会社 カメラ装置及び被写体の撮影方法
JP5100410B2 (ja) * 2008-01-22 2012-12-19 キヤノン株式会社 撮像装置及びその制御方法
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP5171387B2 (ja) * 2008-05-19 2013-03-27 キヤノン株式会社 画像処理装置およびその制御方法およびプログラム
US8711265B2 (en) * 2008-04-24 2014-04-29 Canon Kabushiki Kaisha Image processing apparatus, control method for the same, and storage medium
US8379934B2 (en) * 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
JP5762114B2 (ja) * 2011-04-28 2015-08-12 キヤノン株式会社 撮像装置及びその制御方法
JP2013110738A (ja) * 2011-10-27 2013-06-06 Panasonic Corp 画像通信装置および撮像装置
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence

Also Published As

Publication number Publication date
US9154706B2 (en) 2015-10-06
US20120274815A1 (en) 2012-11-01
JP2012235231A (ja) 2012-11-29
US8780234B2 (en) 2014-07-15
US20150015746A1 (en) 2015-01-15
CN102761692A (zh) 2012-10-31
CN102761692B (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
JP5762114B2 (ja) 撮像装置及びその制御方法
JP5921080B2 (ja) 撮像装置及びその制御方法
JP5762115B2 (ja) 撮像装置及びその制御方法
JP5748436B2 (ja) 撮像装置及びその制御方法
US8670064B2 (en) Image capturing apparatus and control method therefor
JP5906023B2 (ja) 撮像装置及びその制御方法
JP5433145B2 (ja) カメラシステムおよびカメラ本体
JP2010281846A (ja) カメラ本体、レンズ鏡筒およびカメラシステム
JP5882599B2 (ja) 撮像装置及びその制御方法
JP5725965B2 (ja) 撮像装置及びその制御方法
JP2012235228A (ja) 撮像装置及びその制御方法
JP4941141B2 (ja) 撮像装置
JP6824767B2 (ja) 撮像装置およびその制御方法
JP2012019343A (ja) 撮像装置、その制御方法及びプログラム
JP5538992B2 (ja) 撮像装置及びその制御方法
JP6758843B2 (ja) 撮影制御装置およびその制御方法
JP6095727B2 (ja) 撮像装置及びその制御方法
JP6376753B2 (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP6976752B2 (ja) 撮像装置及びその制御方法、プログラム、並びに、記憶媒体
JP2021121063A (ja) 撮像制御装置
JP2010281848A (ja) カメラ本体、レンズ鏡筒およびカメラシステム
JP2009267893A (ja) 撮像装置
JP2021071540A (ja) 制御装置、制御方法、及びプログラム
JP6383230B2 (ja) 撮像装置、表示装置の制御方法ならびにプログラム
JP5882794B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150609

R151 Written notification of patent or utility model registration

Ref document number: 5762114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees