JP6284408B2 - 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム - Google Patents

画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム Download PDF

Info

Publication number
JP6284408B2
JP6284408B2 JP2014077185A JP2014077185A JP6284408B2 JP 6284408 B2 JP6284408 B2 JP 6284408B2 JP 2014077185 A JP2014077185 A JP 2014077185A JP 2014077185 A JP2014077185 A JP 2014077185A JP 6284408 B2 JP6284408 B2 JP 6284408B2
Authority
JP
Japan
Prior art keywords
unit
image data
imaging
evaluation value
auxiliary light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014077185A
Other languages
English (en)
Other versions
JP2015198431A5 (ja
JP2015198431A (ja
Inventor
啓介 齋藤
啓介 齋藤
貴史 丸藤
貴史 丸藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014077185A priority Critical patent/JP6284408B2/ja
Priority to US14/665,757 priority patent/US9473692B2/en
Priority to CN201510152066.7A priority patent/CN104980647B/zh
Publication of JP2015198431A publication Critical patent/JP2015198431A/ja
Publication of JP2015198431A5 publication Critical patent/JP2015198431A5/ja
Application granted granted Critical
Publication of JP6284408B2 publication Critical patent/JP6284408B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、外部から入力される画像データに対して画像処理を行う画像処理装置、撮像装置、画像処理装置が実行する判定方法、撮像装置が実行する駆動方法およびプログラムに関する。
近年、デジタルカメラ等の撮像装置において、霞がかった画像を画像処理によって補正する技術が知られている(特許文献1参照)。この技術では、処理対象画像における各画素の明るさのうちで最小および最大の明るさをそれぞれ示す情報に基づいて、除去用のコントラスト成分を生成し、このコントラスト成分を処理対象画像の輝度成分に加算することによって、処理対象画像の階調を補正することで、霞を除去する。
特開2011−3048号公報
しかしながら、上述した従来技術では、画像処理によって霞がかった画像を補正するのみであるため、撮影時に霧や靄が発生した場合において、この発生を判定することができず、被写体に対して補助光を照射して撮影してしまったり、露出値を誤って設定した状態で撮影してしまったりしたとき、撮影される画像が適正な露出値を超えてしまうことによって、撮影される画像が白飛びをしてしまう。このため、撮影時に霧または靄を判定することができる技術が望まれていた。
本発明は、上記に鑑みてなされたものであって、撮影時に霧または靄を判定することができる画像処理装置、撮像装置、判定方法、駆動方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、第1の画像データおよび前記第1の画像データに対応する第1の画像に含まれる被写体に対して補助光を照射した状態で前記被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出部と、前記評価値算出部が算出した前記第1の画像データのコントラストの評価値が前記第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する判定部と、を備えたことを特徴とする。
また、本発明に係る画像処理装置は、上記発明において、前記評価値算出部は、前記第1の画像および前記第2の画像データに対応する第2の画像それぞれを複数の領域に分割し、各領域のコントラストの評価値を統計計算することによって前記第1の画像データのコントラストの評価値および前記第2の画像データのコントラストの評価値を算出することを特徴とする。
また、本発明に係る撮像装置は、被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、前記撮像部が生成した前記第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出部と、前記評価値算出部が算出した前記第1の画像データのコントラストの評価値が前記第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する判定部と、前記判定部が前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御部と、を備えたことを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記評価値算出部は、前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像それぞれを複数の領域に分割し、各領域のコントラストの評価値を加算することによって前記第1の画像データのコントラストの評価値および前記第2の画像データのコントラストの評価値を算出することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記判定部は、前記第1の画像データのコントラストの評価値が所定の閾値以下であるか否かを判定し、前記発光制御部は、前記判定部によって前記第1の画像データのコントラストの評価値が前記所定の閾値以下であると判定された場合において、当該撮像装置が前記被写体を撮影する前に、前記補助光発光部に補助光を照射させる照射指示信号を出力することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記撮像部に撮影を指示する撮影指示信号の入力を受け付ける入力部をさらに備え、前記発光制御部は、前記判定部が前記霧または靄が発生していないと判定した場合において、前記入力部から前記撮影指示信号が入力されたとき、前記補助光発光部に補助光の照射を指示する照射指示信号を出力することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記入力部から前記撮影指示信号が入力された場合、前記撮像部に撮影を実行させる撮像制御部をさらに備え、前記入力部は、外部からの操作により、撮影準備動作を指示する撮影準備信号および前記撮影指示信号のどちらか一方の入力の受け付けができ、前記発光制御部は、前記入力部から前記撮影準備信号が入力された場合、前記補助光発光部に前記照射指示信号を出力し、前記撮像制御部は、前記補助光発光部の照射タイミングと前記撮像部の撮影タイミングとを同期させて前記撮像部に前記第2の画像データを生成させることを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記発光制御部が前記禁止信号を前記補助光発光部に出力した後に、前記撮像部が生成した第3の画像データに対応する第3の画像内において輝点を検出する輝点検出部と、前記輝点検出部が前記第3の画像内において輝点を検出した場合、前記第3の画像データに対して露出値および/または彩度を低下させる処理を行う画像処理部と、をさらに備えたことを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記入力部から前記撮影指示信号が入力された場合、前記撮像部に撮影を実行させる撮像制御部をさらに備え、前記発光制御部は、前記入力部が前記撮影指示信号の入力を受け付けた直後に、前記補助光発光部に前記指示信号を出力し、前記撮像制御部は、前記補助光発光部の照射タイミングと前記撮像部の撮影タイミングとを同期させて前記撮像部に撮影させて前記第2の画像データを生成させることを特徴とする。
また、本発明に係る撮像装置は、上記発明において、画像データを記録できる記録媒体と、前記撮像部が生成した前記第2の画像データを一時的に記憶する仮記憶部と、をさらに備え、前記撮像制御部は、前記判定部が前記霧または靄が発生していないと判定した場合、前記仮記憶部が記憶する前記第2の画像データを前記記録媒体に記録することを特徴とする。
また、本発明に係る判定方法は、画像処理装置が実行する判定方法であって、第1の画像データおよび前記第1の画像データに対応する第1の画像に含まれる被写体に対して補助光を照射した状態で前記被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値が前記第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する判定ステップと、を含むことを特徴とする。
また、本発明に係る駆動方法は、被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、を備えた撮像装置が実行する駆動方法であって、前記撮像部が生成した前記第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値が前記第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する判定ステップと、前記判定ステップで前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、画像処理装置に実行させるプログラムであって、第1の画像データおよび前記第1の画像データに対応する第1の画像に含まれる被写体に対して補助光を照射した状態で前記被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値が前記第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する判定ステップと、を実行させることを特徴とする。
また、本発明に係るプログラムは、被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、を備えた撮像装置に実行させるプログラムであって、前記撮像部が生成した前記第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値が前記第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する判定ステップと、前記判定ステップで前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御ステップと、を実行させることを特徴とする。
本発明によれば、撮影時に霧または靄を判定することができるという効果を奏する。
図1は、本発明の実施の形態1に係る撮像装置の背面側から見た外観斜視図である。 図2は、本発明の実施の形態1に係る撮像装置の正面側から見た外観斜視図である。 図3は、本発明の実施の形態1に係る撮像装置の機能構成を示すブロック図である。 図4は、本発明の実施の形態1に係る撮像装置が実行する処理の概要を示すフローチャートである。 図5は、本発明の実施の形態1に係る撮像装置が表示する霧・靄自動検出モード設定情報の一例を示す図である。 図6は、本発明の実施の形態1に係る撮像装置に対して霧・靄自動検出モードの設定方法を模式的に説明する図である。 図7は、本発明の実施の形態1に係る撮像装置の評価値算出部がコントラストの評価値を算出する算出方法の概要を示す図である。 図8は、本発明の実施の形態1に係る撮像装置が霧または靄の発生時に補助光を照射して撮影した際の画像の一例を示す図である。 図9は、本発明の実施の形態1に係る撮像装置が夜間に補助光を照射して撮影した際の画像の一例を示す図である。 図10は、本発明の実施の形態1に係る撮像装置が表示する画像処理部の補正中を示す画面の一例を示す図である。 図11は、本発明の実施の形態1に係る画像処理部が霧・靄補正処理を施した画像データの一例を示す図である。 図12は、本発明の実施の形態2に係る撮像装置が実行する処理の概要を示すフローチャートである。 図13は、本発明の実施の形態3に係る撮像装置の機能構成を示すブロック図である。 図14は、本発明の実施の形態3に係る撮像装置が実行する処理の概要を示すフローチャートである。 図15は、本発明の実施の形態3に係る撮像装置が撮影する画像であって、雨または雪が撮影された画像の一例を示す図である。
以下に、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、以下においては、本発明の画像処理装置を搭載した撮像装置を例に説明する。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る撮像装置の背面側から見た外観斜視図である。図2は、本発明の実施の形態1に係る撮像装置の正面側から見た外観斜視図である。
図1〜図2に示す撮像装置1は、上部1aの略中央に、電子ビューファインダー2(以下、「EVF2」という)が配置されている。また、撮像装置1は、上部1aに、電源釦3と、レリーズ釦4と、動画記録釦5と、が配置されている。さらに、撮像装置1は、背面1bの右側に、ズーム釦6と、表示切替釦7と、モードダイヤル8と、十字釦9と、OK釦10と、削除釦11と、メニュー釦12と、が配置されている。さらに、撮像装置1は、背面1bの左側に背面表示部13が配置されている。さらにまた、撮像装置1は、側面1cにDC入力端子14が設けられている。また、撮像装置1は、正面側1dに、補助光発光部15と、調光用窓16と、レンズ鏡筒17と、が設けられている。
EVF2は、内部に小型のEVF表示パネルを有する。EVF2は、撮影者がファインダ接眼部2aを介してEVF表示パネルに表示されたライブビュー画像や再生画像等を観察することができる。
電源釦3は、撮影者が押圧操作を行うことにより、撮像装置1をパワーオン状態とし、再度、撮影者が押圧操作を行うことにより、撮像装置1をパワーオフ状態になる。なお、電源釦3に換えて電源スイッチ等、他の操作部材を配置してもよい。
レリーズ釦4は、撮影者によって半押し操作されると撮像装置1が撮影準備動作を行い、撮影者によって全押し操作されると撮像装置1が撮影動作を行う。撮像装置1は、撮影準備状態になった場合、被写界輝度を測光し、この測光によって得た被写界輝度分布から絞り値やシャッタ速度等の露出制御値の演算を行うとともに、自動焦点調整(Auto-Focus)を行う。また、撮像装置1は、撮影動作を行う場合、上述した撮影準備状態で演算した露出制御値に従って露出制御を行い、後述する撮像部によって撮像した静止画の画像データを後述する記録媒体33へ記録する。
動画記録釦5は、動画記録の開始と終了を指示する指示信号の入力を受け付けるための操作部材である。即ち、動画記録釦5は、後述するモードダイヤル8によって撮像装置1が動画撮影モードに選択された状態で、撮影者によって押圧操作が行われた場合、撮像部によって撮像された動画の画像データを記録媒体に順次記録する撮像装置1の動画撮影を開始する。動画記録釦5は、撮像装置1が動画撮影を行っている場合、撮影者によって押圧操作が行われたとき、撮像装置1の動画撮影を記録する。なお、動画記録釦5は、レリーズ釦4と兼用してもよく、この場合において、モードダイヤル8やメニュー画面等によって動画記録モードを設定したとき、レリーズ釦4の操作によって動画撮影の開始と終了とを行うようにしてもよい。
ズーム釦6は、撮像装置1のレンズ鏡筒17内の撮影レンズの焦点距離を調節するための操作部材である。ズーム釦6は、ワイド(Wide)釦6aとテレ(Tele)釦6bと、を有する。
ワイド釦6aは、撮影者によって押圧操作された場合、撮影レンズの焦点距離を広角(単焦点)側に駆動させる。ワイド釦6aは、撮影者によって押圧操作され、撮影レンズの焦点距離が最短の焦点距離(ワイド端)で停止した後、さらに押圧操作され続けた場合、撮像装置1のモードをマクロモードに切り替える。
テレ釦6bは、撮影者によって押圧操作された場合、撮影レンズの焦点距離を望遠(長焦点)側に駆動させる。また、テレ釦6bは、撮影レンズの焦点距離が最長の焦点距離(テレ点)で停止した後、さらに押圧操作され続けた場合、電子ズームに切り替わり、さらに画像が拡大する。電子ズームは、光学ズームと異なり、画像データの一部を切り出して拡大表示することによってズーミングを行う。なお、本実施の形態においては、ズーム釦6によって撮影レンズの焦点距離を調節していたが、これに限らず、例えば回転部材(ズームリングやズームスイッチ等)によって撮影レンズの焦点距離を調節してもよいし、レンズ鏡筒17の外周側に回転部材やズームスイッチ等を設けて撮影レンズの焦点距離を調節してもよい。
表示切替釦7は、EVF2と背面表示部13の切り替えを行う操作部材である。表示切替釦7は、撮影者が押圧操作する毎に、EVF2と背面表示部13が交互に切り替わり、ライブビュー画像、再生画像およびメニュー画面等が表示される。
モードダイヤル8は、回転できるようなダイヤルであり、指標M1(図中の三角マーク)に一致したモードが撮像装置1によって実行される。このモードとしては、例えば、撮影モード、再生モード、絞り優先モードやスポーツモード等の露出制御モード、アートフィルター(登録商標)および動画撮影モード等である。
十字釦9は、EVF2または背面表示部13に表示された撮像装置1のメニュー画面等において、カーソル等を上下左右に移動させる移動部材である。十字釦9は、上下左右それぞれを指定するための4つの釦からなる。この4つの釦の略中央にOK釦10(確認釦ともいう)が配置されている。
OK釦10は、EVF2または背面表示部13に表示された撮像装置1のメニュー画面等において、十字釦9によって選択された項目を確定するための操作部材である。
削除釦11は、選択された画像データを記録媒体33から削除するための操作部材である。この削除は、十字釦9およびOK釦10によってEVF2または背面表示部13が表示する画像を指定した後、削除釦11が押圧操作されることによって、記録媒体33に記録された画像データが削除される。
メニュー釦12は、撮影者によって押圧操作された場合、EVF2または背面表示部13に、撮像装置1のメニュー画面を表示させる操作部材である。撮影者は、EVF2または背面表示部13が表示するメニュー画面を用いて、補助光発光モード(フラッシュ発光モード)等の種々の設定を行うことができる。
背面表示部13は、液晶または有機EL(Electro Luminescence)等の表示パネルを用いて構成される。背面表示部13は、ライブビュー画像、再生画像およびメニュー画像面等の種々の画像を表示する。また、背面表示部13には、後述するタッチパネルが重畳して設けられている。タッチパネルは、撮影者が背面表示部13に表示される画像を見ながらタッチした場合、そのタッチ位置に関する情報を、後述するASICへ出力する。
DC入力端子14は、外部電源によって撮像装置1に電源を供給するための端子である。例えば、DC入力端子14は、AC電源をDC電源に変換し、DC電圧の給電や、電源電池31への充電を行う。また、DC入力端子14は、室内で補助光を発光して撮影を行う際に使用される。
補助光発光部15は、被写体に向けて補助光を照射する。補助光発光部15は、被写体が暗い場合に自動発光、または撮影者の設定による強制発光等によって被写体に向けて補助光を照射する。補助光発光部15は、後述する調光センサの検出結果に基づいて、補助光の発光時の発光量が自動制御される。
調光用窓16は、補助光発光部15の発光時において被写体からの反射光等を測光するための調光センサに反射光等を導くための窓である。
レンズ鏡筒17は、後述する撮影レンズが配置されている。レンズ鏡筒17は、撮像装置1に着脱自在なものであってもよく、または撮像装置1に固定されたものであってもよい。
次に、図3を用いて、撮像装置1の機能構成について説明する。図3は、撮像装置1の機能構成を示すブロック図である。
図3に示すように、撮像装置1は、撮像部21と、測温センサ22と、センサ部23と、Wi−Fi(Wireless Fidelity)(登録商標)通信部24と、EVF表示パネル25と、EVFパネル表示制御部26と、背面パネル27と、背面パネル表示制御部28と、タッチパネル29と、電源部30と、電源電池31と、スイッチ部32と、記録媒体33と、補助光発光部15と、SDRAM(Synchronous Dynamic Random Access Memory)34と、フラッシュメモリ35と、ASIC36と、を備える。
撮像部21は、被写体像を撮像し、この被写体像の画像データを生成してASIC36へ出力する。撮像部21は、撮影レンズ211と、絞り212と、撮像素子213と、レンズ駆動部214と、絞り機構215と、を有する。
撮影レンズ211は、焦点距離を変更できるズームレンズおよび焦点位置を変更できるフォーカスレンズを用いて構成される。撮影レンズ211は、上述したレンズ鏡筒17内に配置される。撮影レンズ211は、被写体像を撮像素子213の受光面に結像する。
絞り212は、撮影レンズ211の光軸上に配置され、撮像素子213に入射する光量を調節する。
撮像素子213は、撮影レンズ211によって被写体像が結像される位置に配置され、撮影レンズ211によって結像された光学像(被写体像)の撮影を行う。撮像素子213は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)を用いて構成される。撮像素子213は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードが受光量に応じた光電変換電流を発生する。この光電変換電流は、各フォトダイオードに接続するキャパシタによって電荷蓄積されてASIC36へ出力される。
また、撮像素子213は、撮像領域の一部に、光学的に遮光したOB(Optical Black)領域を有し、このOB領域からの信号もASIC36へ出力することによって、暗電流IOBが検出される。さらに、撮像素子213は、ASIC36の制御のもと、所定のフレームレートで画像データをASIC36へ出力する。この意味で、撮像素子213は、電子シャッタを有する。
レンズ駆動部214は、ASIC36の制御のもと、撮影レンズ211のフォーカスレンズを光軸方向へ移動させることによって、被写体に対するピント合わせが行われる。また、レンズ駆動部214は、ASIC36の制御のもと、撮影レンズ211のズームレンズを光軸方向へ移動させることによって、ズーミング(変倍)が行われる。レンズ駆動部214は、DCモータやステッピングモータ等を用いて構成される。
絞り機構215は、ASIC36の制御のもと、絞り212を駆動することによって、撮影レンズ211を通過した被写体光束の光量を調節する。絞り機構215は、ステッピングモータ等を用いて構成される。
測温センサ22は、撮像素子213の環境温度を測定し、この測定結果をASIC36へ出力する。測温センサ22は、撮像素子213の近傍に配置される。例えば、測温センサ22は、撮像素子213が配置された基板上に隣接して配置される。
センサ部23は、撮像装置1に加えられた振動の検出、補助光の反射光の測定、撮像装置1の環境下における温度の検出および相対湿度の検出を行う。センサ部23は、少なくとも、ジャイロセンサ231と、加速度センサ232と、調光センサ233と、温度センサ234と、相対湿度センサ235と、を有する。
ジャイロセンサ231および加速度センサ232は、手ブレ等によって撮像装置1に加えられる振動を検出し、この検出結果を示す検出信号をASIC36へ出力する。
調光センサ233は、補助光発光部15の発光時に調光用窓16を介して反射光等を測光し、この測定結果を示す測光信号をASIC36へ出力する。
温度センサ234は、撮像装置1の環境下における温度を検出し、この検出結果を示す温度信号をASIC36へ出力する。
相対湿度センサ235は、撮像装置1の環境下における相対湿度を検出し、この検出結果を示す湿度信号をASIC36へ出力する。
Wi−Fi通信部24は、撮像装置1と外部機器の間で、Wi−Fi規格での無線通信を行う。
EVF表示パネル25は、EVFパネル表示制御部26の制御のもと、ASIC36から入力される画像データに対応する画像を表示する。EVF表示パネル25は、液晶または有機ELの表示パネルを用いて構成される。
EVFパネル表示制御部26は、ASIC36から表示用の画像データを入力し、EVF表示パネル25の表示制御を行う。
背面パネル27は、背面パネル表示制御部28の制御のもと、ASIC36から入力される画像データに対応する画像を表示する。背面パネル27は、液晶または有機ELの表示パネルを用いて構成される。
背面パネル表示制御部28は、ASIC36から表示用の画像データを入力し、背面パネル27の表示制御を行う。
タッチパネル29は、背面パネル27の表示領域に重畳して設けられ、外部からのタッチ位置(接触位置)を検出し、このタッチ位置に関する検知信号をASIC36へ出力する。
電源部30は、電源電池31もしくは、DC入力端子14と接続されており、電源電池31から供給される電源電圧を所定の定電圧に変換し、撮像装置1の構成部、例えば撮像素子213、センサ部23およびASIC36等へ定電圧を供給する。電源電池31は、撮像装置1に着脱自在に装着される。また、電源電池31の近傍には、電源電池31の温度を検出する電池温度検出センサ31aが設けられている。電池温度検出センサ31aは、電源電池31の温度を検出し、この検出結果をASIC36へ出力する。
スイッチ部32は、上述した電源釦3、レリーズ釦4、動画記録釦5、ズーム釦6、表示切替釦7、モードダイヤル8、十字釦9、OK釦10、削除釦11およびメニュー釦12等の各種操作部材を含み、これらの操作部材の操作状態を検出し、この検出結果をASIC36へ出力する。
記録媒体33は、図示しないI/Fを介して撮像装置1に着脱自在であり、電気的に書き換えできる不揮発性メモリを用いて構成される。記録媒体33は、撮像装置1が撮影動作を行った場合、静止画の画像データまたは動画の画像データを記録する一方、撮像装置1が再生動作を行う場合、記録された画像データをASIC36へ出力する。
補助光発光部15は、上述したように、被写体に向けて補助光を照射する、補助光発光部15は、キセノンランプおよびLED(Light Emitting Diode)等を用いて構成される。また、補助光発光部15に、撮像装置1が自動焦点調整を行う場合において、AF補助光を被写体に向けて照射するAF補助発光部を設けてもよい。この場合において、AF補助光発光部は、レリーズ釦4から1stレリーズ信号が入力されたとき、被写体に向けてAF補助光を照射する。なお、AF補助光の光量は、補助光の光量に比して小さい。
SDRAM34は、ASIC36に接続され、ASIC36を介して撮像部21が生成した画像データおよび撮像装置1が実行中の各種データを一時的に記憶する。なお、本実施の形態1では、SDRAM34が仮記憶部として機能する。
フラッシュメモリ35は、ASIC36に接続され、ASIC36が行う動作用のプログラムや各種の調整値を記録する。フラッシュメモリ35は、電気的に書き換えできる不揮発性メモリを用いて構成される。
ASIC36は、撮像装置1を構成する各部に対する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。ASIC36は、撮像部21から入力される画像データに対する画像処理、撮像部21の駆動制御およびEVF表示パネル25や背面パネル27の表示制御等の各種処理を行う。ASIC36は、フラッシュメモリ35に記録されたプログラムに従って、撮像装置1の全体制御を行う。
ここで、ASIC36の詳細な構成について説明する。
ASIC36は、少なくとも、A/D変換部360と、メカトロ制御部361と、画像処理部362と、表示制御部363と、USB通信部364と、オーディオ(Audio)部365と、メモリI/O366と、I/O部367と、バス368と、制御部369と、を有する。
A/D変換部360は、外部から入力されるアナログ信号をデジタル信号に変換し、この変換したデジタル信号をバス368へ出力する。外部から入力されるアナログ信号としては、撮像部21から入力される画像信号(画像データ)、測温センサ22から入力される撮像素子213の温度を示す測温信号、ジャイロセンサ231、加速度センサ232、調光センサ233、温度センサ234および相対湿度センサ235それぞれから入力される検出信号および電池温度検出センサ31aからの電池の温度を示す温度信号が含まれる。
メカトロ制御部361は、制御部369の制御のもと、撮像部21が生成した画像データに含まれる高周波成分に応じて生成されたコントラスト信号に基づいて、撮影レンズ211のフォーカスレンズがピント位置となるように、レンズ駆動部214を駆動する。また、メカトロ制御部361は、スイッチ部32を介してズーム釦6の操作状態に応じて、レンズ駆動部214を駆動して撮影レンズ211のズームレンズを撮影レンズ211の光軸上を移動させることによって、焦点距離を変更する。さらに、メカトロ制御部361は、制御部369の制御のもと、露出制御値に基づいて、絞り機構215を駆動することによって、絞り212やシャッタ(図示せず)のシャッタ速度を設定して駆動する。
画像処理部362は、A/D変換部360およびバス368を介して入力された撮像部21からの画像データに対して、所定の画像処理を行ってバス368へ出力する。ここで、所定の画像処理としては、ライブビュー表示用の画像処理、記録媒体33への記録用の画像処理、記録媒体33から読み出した画像データに対する再生用の画像処理等がある。具体的には、撮像部21が生成した画像データに対して、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。また、画像処理部362は、バス368を介して撮影レンズ211によるAF制御用に、撮像部21が生成した画像データから高周波成分に応じたコントラスト信号を生成して制御部369へ出力する。
また、画像処理部362は、評価値算出部362aと、判定部362bと、発光制御部362cと、を有する。
評価値算出部362aは、外部から入力される被写体を撮像した第1の画像データおよび、被写体に対して補助光発光部15が補助光を照射して被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する。具体的には、評価値算出部362aは、撮像部21が生成したライブビュー画像(第1の画像データ)、およびレリーズ釦4が操作されることによって、1stレリーズ信号が入力された後に、補助光発光部15が補助光を被写体に照射した際に撮像部21が生成した画像データ(第2の画像データ)それぞれのコントラストの評価値を算出する。本実施の形態では、コントラストの評価値は画像がくっきりするほど高い値を示し、ぼんやりするほど低い値を示すこととする。
判定部362bは、評価値算出部362aが算出した第1の画像データのコントラストの評価値が第2の画像データのコントラストの評価値以上である場合、霧または靄が発生していると判定する。また、判定部362bは、評価値算出部362aが算出した第1の画像データのコントラストの評価値が所定の閾値以下であるか否かを判定する。ここで、閾値は、被写体に対して撮影する場合に、適切な露出値で撮像したときに得られる画像データのコントラストの評価値である。
発光制御部362cは、判定部362bが霧または靄が発生していると判定した場合、補助光発光部15に補助光の照射を禁止する禁止信号を出力する。また、判定部362bが霧または靄が発生していないと判定した場合において、外部から被写体を撮影する撮影指示信号が入力されたとき、補助光発光部15に補助光の照射を指示する指示信号を出力する。
表示制御部363は、画像処理部362によって画像処理が施された画像データに対応するライブビュー画像または再生画像、およびメニュー画像をEVFパネル表示制御部26または背面パネル表示制御部28へ出力する。表示制御部363は、I/O部367を介して、スイッチ部32の操作状態に応じて、画像データを出力する出力先を決定する。
USB通信部364は、撮像装置1に設けられたUSB端子(図示せず)を介して、外部機器と通信を行う。
オーディオ部365は、マイク(図示せず)から入力された音声信号に対して音声処理を行い、静止画データや動画データとともに記録媒体33に記録する。また、オーディオ部365は、記録媒体33に記録された音声信号を処理してスピーカ(図示せず)に出力することによって音声の再生を行う。
メモリI/O366は、SDRAM34にデータの書き込みおよび読みだしを行うためのインターフェースである。
I/O部367は、バス368を介してタッチパネル29、電源部30、スイッチ部32、記録媒体33および補助光発光部15それぞれに対してASIC36内の各回路とデータの書き込みまたは読み出し、および制御命令の出力等を行うためのインターフェースである。
バス368は、ASIC36の各構成部位を接続する伝送路をなし、ASIC36の内部で発した各種データをASIC36の各構成部に転送する。
制御部369は、フラッシュメモリ35に記録されたプログラムに基づいて、撮像装置1を構成する各部に対する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。制御部369は、画像処理制御部369aと、撮像制御部369bと、を有する。
画像処理制御部369aは、判定部362bの判定結果に基づいて、画像処理部362が行う画像処理の内容を変更する。具体的には、画像処理制御部369aは、判定部362bが霧または靄が発生していると判定した場合、画像処理部362が画像データに対して行う画像処理を霧または靄を補正する霧・靄補正処理に変更する。
撮像制御部369bは、撮像装置1の撮影動作を制御する。具体的には、撮像制御部369bは、レリーズ釦4から撮影準備動作を指示する撮影準備信号(以下、「1stレリーズ信号」という)が入力された場合、レンズ駆動部214を駆動させてピント位置を調整させる。さらに、レリーズ釦4から撮影を指示する撮影指示信号(以下、「2ndレリーズ信号」という)が入力された場合、撮像部21に撮影を実行させる。
以上のように構成された撮像装置1が行う処理の概要について説明する。図4は、撮像装置1が実行する処理の概要を示すフローチャートである。
図4に示すように、まず、表示制御部363は、撮像部21が生成した画像データに対応するライブビュー画像をEVF表示パネル25または背面パネル27に表示させる(ステップS101)。なお、以下においては、説明を簡略化するため、ライブビュー画像等が背面パネル27に表示される例を説明する。
続いて、表示制御部363は、背面パネル27が表示するライブビュー画像上に霧または靄を自動で検出する霧・靄自動検出モード設定情報を重畳して表示させる(ステップS102)。具体的には、図5に示すように、表示制御部363は、背面パネル27が表示するライブビュー画像LV1上に、霧・靄自動検出モードアイコンA1、霧・靄自動検出モードを指示する指示信号の入力を受け付けるONアイコンA11および霧・靄自動検出モードを停止する指示信号の入力を受け付けるOFFアイコンA12をそれぞれ重畳して表示させる。
その後、制御部369は、タッチパネル29またはスイッチ部32を介してONアイコンA11が選択されたか否かを判断する(ステップS103)。例えば、図6に示すように、制御部369は、タッチパネル29またはスイッチ部32を介してONアイコンA11が選択されることによって、霧・靄自動検出モードが選択されたか否かを判断する。制御部369がタッチパネル29またはスイッチ部32を介してONアイコンA11が選択されることによって、霧・靄自動検出モードが選択されたと判断した場合(ステップS103:Yes)、撮像装置1は、後述するステップS104へ移行する。これに対して、制御部369がタッチパネル29またはスイッチ部32を介してOFFアイコンA12が選択されることによって、霧・靄自動検出モードが選択されていないと判断した場合(ステップS103:No)、撮像装置1は、後述するステップS125へ移行する。
ステップS104において、評価値算出部362aは、撮像部21が生成した画像データのコントラストの評価値を算出する。
図7は、評価値算出部362aがコントラストの評価値を算出する算出方法の概要を示す図である。
図7に示すように、評価値算出部362aは、撮像部21が生成した画像データに対応するライブビュー画像LV1を複数の領域に分割し、この分割した複数の領域B1それぞれに対してコントラストの評価値を算出する。その後、評価値算出部362aは、各領域B1のコントラストの評価値を加算することによって、ライブビュー画像LV1のコントラストの評価値を算出する。なお、図7においては、評価値算出部362aは、ライブビュー画像LV1上における所定の領域に対して複数の領域に分割していたが、これに限らず、ライブビュー画像LV1の全領域に対してコントラストの評価値の算出を行ってもよいし、ライブビュー画像LV1上におけるAF領域、例えばシングルAF領域やグループAF領域に対して重み付けを変えて割り付けてコントラストの評価値の算出を行ってもよいし、領域をグループごとに管理して、それぞれの平均値からコントラストの評価値を統計的に求めても良い。被写界の平均輝度や輝度分布に応じて各領域ごとに重み付けを変えて演算するようにしてコントラストの評価値を求めるような統計的手法に基づいて演算してもよい。また、以下においては、ライブビュー画像LV1のコントラストの評価値を第1の画像データの評価値という。
ステップS104の後、レリーズ釦4が半押し操作されることによって、レリーズ釦4から1stレリーズ信号があった場合(ステップS105:Yes)において、判定部362bによって評価値算出部362aが算出した第1の画像データの評価値が閾値以下であるとき(ステップS106:Yes)、発光制御部362cは、補助光発光部15に対して判定用の補助光を被写体に向けて照射させる照射指示信号を補助光発光部15に出力することによって、補助光発光部15に判定用の補助光(プレ発光)を被写体に照射させる(ステップS107)。この場合、撮像部21は、補助光が照射された被写体を撮像した画像データをSDRAM34に仮記録する。
続いて、評価値算出部362aは、補助光発光部15が被写体に向けて補助光を照射した照射時に撮像部21が生成した画像データに対応する画像のコントラストの評価値を算出する(ステップS108)。なお、以下においては、補助光発光部15が被写体に向けて補助光を照射した照射時に撮像部21が生成した画像データに対応する画像のコントラストの評価値を第2の画像データの評価値という。
その後、判定部362bは、ステップS106で評価値算出部362aが算出した第1の画像データのコントラストの評価値がステップS108で評価値算出部362aが算出した第2の画像データのコントラストの評価値以上であるか否かを判定する(ステップS109)。
図8は、撮像装置1が霧または靄の発生時に補助光を照射して撮影した際の画像の一例を示す図である。図9は、撮像装置1が夜間に補助光を照射して撮影した際の画像の一例を示す図である。なお、図8においては、霧または靄を点によって表現する。また、図9においては、夜間をハッチングによって表現する。
図8に示すように、撮像装置1は、霧または靄の発生時に撮影する場合において(図8(a))、被写体に対して補助光を照射して撮影したとき、霧または靄によって、補助光が乱反射を行うことによって、撮像される画像が白飛びし、コントラストが低い画像LVmとなる(図8(b))。この場合、補助光発光部15が補助光を照射しないときの画像LV1のコントラストの評価値(第1の評価値)は、補助光発光部15が補助光を照射したときの画像LVmのコントラストの評価値(第2の評価値)以上になる。ここで、日本の気象庁の判断基準に基づくと、霧とは、地表近くに小さな水滴が浮遊している現象であり、視程が1km未満の場合である。また、靄とは、地表近くに小さな水滴が浮遊している現象であり、視程が1km以上10km未満の場合である。
これに対して、図9に示すように、撮像装置1は、夜間に撮影する場合において(図9(a))、被写体に対して補助光を照射して撮影したとき、被写体が補助光によって照射されることによって、補助光が照射される撮影する前の画像LVbに比して撮影される画像が適正な露出値の画像LVとなる(図9(b))。この場合、補助光発光部15が補助光を照射しないときの画像LVbのコントラストの評価値(第1の評価値)は、補助光発光部15が補助光を照射したときの画像LVのコントラストの評価値(第2の評価値)未満となる。
従って、判定部362bは、第1の評価値と第2の評価値とを比べ、第1の評価値が第2の評価値以上であると判定した場合、霧または靄が発生していると判定する一方、第1の評価値が第2の評価値以上でないと判定した場合、霧または靄が発生していない、即ち、夜間または暗闇或いは露出不足の被写体であると判定する。このように、判定部362bは、第1の画像データの評価値と第2の画像データの評価値との大小関係を判定することによって、撮影時に霧または靄が発生しているか否かを判定する。
ステップS109において、判定部362bが第1の画像データのコントラストの評価値が第2の画像データのコントラストの評価値以上であると判定した場合(ステップS109:Yes)、撮像装置1は、後述するステップS116へ移行する。これに対して、判定部362bが第1の画像データのコントラストの評価値が第2の画像データのコントラストの評価値以上でないと判定した場合(ステップS109:No)、撮像装置1は、後述するステップS110へ移行する。
ステップS110において、発光制御部362cは、補助光発光部15を駆動するための駆動信号を補助光発光部15へ出力することによって、補助光発光部15を駆動する。この場合、補助光発光部15は、レリーズ釦4から撮影を指示する2ndレリーズ信号が入力されるまで待機する。
続いて、レリーズ釦4が全押し操作されることによって、2ndレリーズ信号があった場合(ステップS111:Yes)、撮像制御部369bは、補助光発光部15に補助光を照射させて撮像部21に撮影させる(ステップS112)。この場合、補助光発光部15は、2ndレリーズ信号に同期して補助光を被写体に照射する。即ち、撮像部21の撮影タイミングと補助光の照射タイミングとを同期させる。
その後、画像処理部362は、撮像部21が生成した画像データに対して、通常の画像処理を行って記録媒体33へ出力する(ステップS113)。
続いて、表示制御部363は、画像処理部362が画像処理を施した画像データに対応する撮影画像を背面パネル27に表示させる(ステップS114)。
その後、電源釦3が操作されることによって、撮像装置1の撮影が終了する場合(ステップS115:Yes)、撮像装置1は、本処理を終了する。これに対して、電源釦3が操作されていない場合(ステップS115:No)、撮像装置1は、ステップS104へ戻る。
ステップS111において、レリーズ釦4が全押しされず、2ndレリーズ信号がない場合(ステップS111:No)、撮像装置1は、ステップS115へ移行する。
ステップS116において、発光制御部362cは、補助光発光部15の駆動を禁止する禁止信号を補助光発光部15へ出力することによって、補助光発光部15を停止する。これにより、補助光発光部15は、レリーズ釦4から2ndレリーズ信号が入力された場合であっても、補助光を被写体に向けて照射しない。
続いて、レリーズ釦4が全押し操作されることによって、2ndレリーズ信号があった場合(ステップS117:Yes)、撮像制御部369bは、撮像部21に撮影させる(ステップS118)。
その後、画像処理制御部369aは、撮像部21が生成した画像データに対して、画像処理部362に霧・靄補正処理を実行させる(ステップS119)。この場合において、表示制御部363は、図10に示すように、背面パネル27に霧・靄補正処理を行っていることを示す情報を表示させる。ここで、霧・靄補正処理とは、画像データのエッジを強調するエッジ強調処理、彩度を上げる彩度処理およびコントラストを上げるコントラスト処理等である。具体的には、図11に示すように、画像処理部362は、霧または靄がかかった画像データに対応する画像W1に対して、霧・靄補正処理を行うことによって、被写体の輪郭、彩度およびコントラストを強調した画像W2に補正する(図11(a)→図11(b))。これにより、隅々までシャープで鮮明な画像を得ることができる。
続いて、表示制御部363は、画像処理部362が霧・靄補正処理を施した画像データに対応する撮影画像を背面パネル27に表示させる(ステップS120)。具体的には、図11(b)に示すように、表示制御部363は、背面パネル27に画像W2を表示させる。ステップS120の後、撮像装置1は、ステップS115へ移行する。
ステップS117において、レリーズ釦4が全押しされることなく、2ndレリーズ信号がない場合(ステップS117:No)、撮像装置1は、本処理を終了する。
ステップS105において、レリーズ釦4が半押し操作されることによって、レリーズ釦4から1stレリーズ信号があった場合(ステップS105:Yes)において、判定部362bによって評価値算出部362aが算出した第1の画像データの評価値が閾値以下でないとき(ステップS106:No)、撮像装置1は、ステップS121へ移行する。
続いて、レリーズ釦4が全押し操作されることによって、2ndレリーズ信号があった場合(ステップS121:Yes)、撮像制御部369bは、撮像部21に撮影させる(ステップS122)。
その後、画像処理制御部369aは、撮像部21が生成した画像データに対して、画像処理部362に通常の画像処理を実行させる(ステップS123)。
続いて、表示制御部363は、画像処理部362が画像処理を施した画像データに対応する撮影画像をEVF表示パネル25または背面パネル27に表示させる(ステップS124)。ステップS124の後、撮像装置1は、本処理を終了する。
ステップS121において、レリーズ釦4が全押しされず、2ndレリーズ信号がない場合(ステップS121:No)、撮像装置1は、本処理を終了する。
ステップS125において、撮像装置1は、レリーズ釦4の操作に応じて、撮像部21が撮影する通常撮影処理を実行する。ステップS125の後、撮像装置1は、本処理を終了する。
ステップS105において、レリーズ釦4が半押しされず、1stレリーズ信号がない場合(ステップS105:No)、撮像装置1は、本処理を終了する。
以上説明した本発明の実施の形態1によれば、評価値算出部362aが第1の画像データの評価値および第2の画像データの評価値それぞれを算出し、判定部362bが第1の評価値が第2の評価値以上である場合、霧または靄が発生していると判定する。これにより、撮影時に霧または靄を判定することができる。
さらに、本発明の実施の形態1によれば、判定部362bによって霧または靄が発生していると判定された場合、発光制御部362cが補助光発光部15に補助光の照射を禁止する禁止信号を出力するので、霧または靄の反射によって撮影される画像が白飛びすることを確実に防止することができる。
また、本発明の実施の形態1によれば、判定部362bによって霧または靄が発生していないと判定された場合、発光制御部362cが補助光発光部15に補助光の照射を指示する指示信号を出力するので、適正な露出値で得られた画像を撮影することができる。
また、本発明の実施の形態1によれば、判定部362bがライブビュー画像のコントラストの評価値が所定の閾値以下であると判定した場合、被写体の静止画撮影を行う前に、発光制御部362cが補助光発光部15に補助光を照射する指示信号を出力するので、輝度が高い被写体や明るい環境下に対して補助光を照射しないので、適正な露出値で鮮明な画像を撮影することができる。
なお、本発明の実施の形態1では、レリーズ釦4から1stレリーズ信号が入力された場合、発光制御部362cが補助光発光部15に補助光を被写体に照射させていたが、例えば補助光発光部15のAF補助光を被写体に照射させてもよい。
なお、本発明の実施の形態1では、判定部362bが評価値算出部362aによって算出された第1の画像データの評価値と第2の画像データの評価値とに基づいて、霧または靄が発生しているか否かを判定していたが、温度センサ234が検出する検出結果および相対湿度センサ235が検出する検出結果に基づいて、霧または靄が発生しているか否かを判定してもよい。また、霧または靄が発生する確率を求め、確率が高い場合には霧・靄自動検出モードを自動的に選択するようにしても良い。一般に相対湿度が70%を超えると霧・靄の発生確率が高くなることが知られている。
(実施の形態2)
次に、本発明の実施の形態2について説明する。本実施の形態2に係る撮像装置は、上述した実施の形態1に係る撮像装置1と同様の構成を有し、実行する処理が異なる。このため、以下においては、本実施の形態2に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態1に係る撮像装置1と同様の構成には同一の符号を付して説明を省略する。
図12は、本発明の実施の形態2に係る撮像装置1が実行する処理の概要を示すフローチャートである。図12のステップS201〜ステップS204は、上述した図4のステップS101〜ステップS104にそれぞれ対応する。
ステップS205において、レリーズ釦4が全押しされることによって、撮影を指示するレリーズ信号があった場合(ステップS205:Yes)、撮像装置1は、ステップS206へ移行する。これに対して、レリーズ釦4が全押しされず、撮影を指示するレリーズ信号がない場合(ステップS205:No)、撮像装置1は、後述するステップS213へ移行する。
ステップS206〜ステップS209は、上述した図4のステップS106〜ステップS109にそれぞれ対応する。
ステップS210において、画像処理部362は、SDRAM34に仮記録された補助光発光部15が補助光を照射した照射時に撮像部21が生成した画像データを取得する。これにより、ユーザは、あたかも1回のレリーズ操作によって適正露出で撮影された画像を得ることができる。さらに、補助光発光部15が1回のみしか補助光を照射しないので、シャッタチャンスを逃すことなく、被写体を確実に捕らえた画像を得ることができる。
ステップS211〜ステップS214は、上述した図4のステップS113〜ステップS116にそれぞれ対応する。
ステップS215において、撮像制御部369bは、撮像部21に撮影を実行させる。ステップS215の後、撮像装置1は、ステップS216へ移行する。
ステップS216〜ステップS221は、上述した図4のステップS119,ステップ120、ステップS122〜ステップS125にそれぞれ対応する。
以上説明した本発明の実施の形態2によれば、レリーズ釦4が操作された場合において、判定部362bが第1の画像データの評価値が第2の画像データの評価値以上でないと判定した場合、即ち、霧または靄が発生していないと判定した場合、SDRAM34に仮記憶された第2の画像データを記録媒体33に記録するので、1回の撮影操作で適正露出値の画像を撮影することができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。本実施の形態3に係る撮像装置は、上述した実施の形態1に係る撮像装置1と構成が異なるうえ、実行する処理が異なる。具体的には、上述した実施の形態1,2では、霧・靄を判定していたが、本実施の形態3に係る撮像装置は、霧・靄の判定と併せて、雨・雪を判定する。このため、以下においては、本実施の形態3に係る撮像装置の構成を説明後、本実施の形態3に係る撮像装置が実行する処理について説明する。なお、上述した実施の形態1に係る撮像装置1と同一の構成には同一の符号を付して説明を省略する。
図13は、本実施の形態3に係る撮像装置の機能構成を示すブロック図である。図13に示すように、撮像装置100は、ASIC36に換えて、ASIC400を備える。
ASIC400は、画像処理部362に換えて、画像処理部401を有する。画像処理部401は、評価値算出部362aと、判定部362bと、発光制御部362cと、輝点検出部401aと、画像合成部401bと、を有する。
輝点検出部401aは、撮像部21が生成した画像データに対応する画像内に含まれる輝点を検出する。具体的には、輝点検出部401aは、撮像部21が生成した画像データに対応する画像内における所定の輝度以上の領域を輝点として検出する。なお、輝点検出部401aは、パターンマッチング等によって輝点を検出してもよい。さらに、輝点検出部401aは、撮像部21が連続的に生成する画像データ間において移動する移動被写体を輝点として検出してもよい。
画像合成部401bは、複数の画像データを合成した合成画像データを生成する。具体的には、画像合成部401bは、SDRAM34に一時的に仮記憶された画像データと撮像部21が生成した画像データを合成した合成画像データを生成する。
以上の構成を有する撮像装置100が実行する処理について説明する。図14は、撮像装置100が実行する処理の概要を示すフローチャートである。
図14において、ステップS301〜ステップS318は、上述した図4のステップS101〜ステップS118にそれぞれ対応する。
ステップS319において、輝点検出部401aは、撮像部21が生成した画像データに対応する画像内に含まれる輝点を検出する。具体的には、図15に示すように、輝点検出部401aは、撮像部21が生成した画像データに対応する画像LV100内に含まれる輝点を検出する。ここで、輝点K1は、雪や雨である。雪や雨は、撮像装置100によって撮像された場合、周囲の被写体に比して輝度が高い状態で撮影される。このため、輝点検出部401aは、画像LV100に対して、所定の閾値以上の輝度を有する領域を輝点K1として検出する。なお、輝点検出部401aは、画像LV100に対して、円や所定の形状を用いてパターンマッチングを行うことによって、画像LV100内に含まれる輝点K1を検出してもよい。
続いて、輝点検出部401aが撮像部21によって生成された画像データに対応する画像内に輝点を検出した場合(ステップS320:Yes)、画像処理制御部369aは、画像処理部401に雨・雪補正処理を実行させる(ステップS321)。ここで、雨・雪補正処理とは、撮像部21が生成した画像データの彩度および露出値を低下させる処理である。これにより、撮影する画像内から雨・雪を際立たせることができる。また、雨・雪補正処理として、画像合成部401bがステップS318で撮像部21が生成した画像データと、例えばステップS307で撮像部21が生成した画像データとを合成した合成画像データを生成してもよい。これにより、撮影される画像の露出値が適正露出を超えることを防止することができる。さらに、画像合成部401bは、ステップS318で撮像部21が生成した画像データに対応する画像とステップS307で撮像部21が生成した画像データに対応する画像とに基づいて、画像間で移動した移動被写体(雪や雨)を検出し、この検出した移動被写体の領域を除去した画像データを生成してもよい。これにより、雨・雪を除去した画像を得ることができる。
ステップS322〜ステップS328は、上述した図4のステップS119〜ステップS125にそれぞれ対応する。
以上説明した本発明の実施の形態3によれば、霧や靄を判定することができるうえ、輝点検出部401aが雨または雪を輝点として検出するので、撮影時の状況に応じた画像処理を撮影した画像データに対して行うことができる。
(その他の実施の形態)
本発明に係る撮像装置は、補助光発光部が本体部に対して一体的に形成されていたが、例えば本体部のホットシューに着脱自在な補助光発光部であってもよい。
また、本発明に係る撮像装置は、補助光発光部が1つであったが、例えばワイヤレス通信ができる複数の補助光発光部を用いて行う場合であっても適用することができる。この場合、判定部の判定結果に応じて、補助光を照射するグループと補助光を照射しないグループそれぞれに分けて被写体に照射してもよい。
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばデジタルカメラ、デジタルビデオカメラ、撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器、撮像装置を遠隔で操作する装置やシステムにも適用することができる。
また、本発明に係る撮像装置は、本体部に対してレンズ部が着脱自在であってもよいし、本体部に対してレンズ部が一体的に形成されていてもよい。
また、本発明に係る撮像装置に実行させるプログラムは、インストールできる形式または実行できる形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取りできる記録媒体に記録されて提供される。
また、本発明に係る撮像装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本発明に係る表示機器に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことができる。
1,100 撮像装置
2 電子ビューファインダー
3 電源釦
4 レリーズ釦
5 動画記録釦
6 ズーム釦
7 表示切替釦
8 モードダイヤル
9 十字釦
10 OK釦
11 削除釦
12 メニュー釦
13 背面表示部
14 DC入力端子
15 補助光発光部
16 調光用窓
17 レンズ鏡筒
21 撮像部
22 測温センサ
23 センサ部
24 Wi−Fi通信部
25 EVF表示パネル
26 EVFパネル表示制御部
27 背面パネル
28 背面パネル表示制御部
29 タッチパネル
30 電源部
31 電源電池
32 スイッチ部
33 記録媒体
34 SDRAM
35 フラッシュメモリ
36,400 ASIC
211 撮影レンズ
212 絞り
213 撮像素子
214 レンズ駆動部
215 絞り機構
231 ジャイロセンサ
232 加速度センサ
233 調光センサ
234 温度センサ
235 相対湿度センサ
360 A/D変換部
361 メカトロ制御部
362,401 画像処理部
362a 評価値算出部
362b 判定部
362c 発光制御部
363 表示制御部
364 USB通信部
365 オーディオ部
366 メモリI/O
367 I/O部
368 バス
369 制御部
369a 画像処理制御部
369b 撮像制御部
401a 輝点検出部
401b 画像合成部

Claims (16)

  1. 第1の画像データおよび前記第1の画像データに対応する第1の画像に含まれる被写体に対して補助光を照射した状態で前記被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出部と、
    前記評価値算出部が算出した前記第1の画像データのコントラストの評価値前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記評価値算出部は、前記第1の画像および前記第2の画像データに対応する第2の画像それぞれを複数の領域に分割し、各領域のコントラストの評価値を統計計算することによって前記第1の画像データのコントラストの評価値および前記第2の画像データのコントラストの評価値を算出することを特徴とする請求項1に記載の画像処理装置。
  3. 被写体を撮像して、該被写体の画像データを生成する撮像部と、
    前記被写体に対して補助光を照射する補助光発光部と、
    前記撮像部が生成した第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出部と、
    前記評価値算出部が算出した前記第1の画像データのコントラストの評価値前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定部と、
    前記判定部が前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御部と、
    を備えたことを特徴とする撮像装置。
  4. 前記評価値算出部は、前記第1の画像データに対応する第1の画像および前記第2の画像データに対応する第2の画像それぞれを複数の領域に分割し、各領域のコントラストの評価値を加算することによって前記第1の画像データのコントラストの評価値および前記第2の画像データのコントラストの評価値を算出することを特徴とする請求項3に記載の撮像装置。
  5. 前記判定部は、前記第1の画像データのコントラストの評価値が所定の閾値以下であるか否かを判定し、
    前記発光制御部は、前記判定部によって前記第1の画像データのコントラストの評価値が前記所定の閾値以下であると判定された場合において、当該撮像装置が前記被写体を撮影する前に、前記補助光発光部に補助光を照射させる照射指示信号を出力することを特徴とする請求項3または4に記載の撮像装置。
  6. 前記撮像部に撮影を指示する撮影指示信号の入力を受け付ける入力部をさらに備え、
    前記発光制御部は、前記判定部が前記霧または靄が発生していないと判定した場合において、前記入力部から前記撮影指示信号が入力されたとき、前記補助光発光部に補助光の照射を指示する照射指示信号を出力することを特徴とする請求項3〜5のいずれか一つに記載の撮像装置。
  7. 前記入力部から前記撮影指示信号が入力された場合、前記撮像部に撮影を実行させる撮像制御部をさらに備え、
    前記入力部は、外部からの操作により、撮影準備動作を指示する撮影準備信号および前記撮影指示信号のどちらか一方の入力の受け付けができ、
    前記発光制御部は、前記入力部から前記撮影準備信号が入力された場合、前記補助光発光部に前記照射指示信号を出力し、
    前記撮像制御部は、前記補助光発光部の照射タイミングと前記撮像部の撮影タイミングとを同期させて前記撮像部に前記第2の画像データを生成させることを特徴とする請求項6に記載の撮像装置。
  8. 前記発光制御部が前記禁止信号を前記補助光発光部に出力した後に、前記撮像部が生成した第3の画像データに対応する第3の画像内において輝点を検出する輝点検出部と、
    前記輝点検出部が前記第3の画像内において輝点を検出した場合、前記第3の画像データに対して露出値および/または彩度を低下させる処理を行う画像処理部と、
    をさらに備えたことを特徴とする請求項7に記載の撮像装置。
  9. 前記入力部から前記撮影指示信号が入力された場合、前記撮像部に撮影を実行させる撮像制御部をさらに備え、
    前記発光制御部は、前記入力部が前記撮影指示信号の入力を受け付けた直後に、前記補助光発光部に前記照射指示信号を出力し、
    前記撮像制御部は、前記補助光発光部の照射タイミングと前記撮像部の撮影タイミングとを同期させて前記撮像部に撮影させて前記第2の画像データを生成させることを特徴とする請求項6に記載の撮像装置。
  10. 画像データを記録できる記録媒体と、
    前記撮像部が生成した前記第2の画像データを一時的に記憶する仮記憶部と、
    をさらに備え、
    前記撮像制御部は、前記判定部が前記霧または靄が発生していないと判定した場合、前記仮記憶部が記憶する前記第2の画像データを前記記録媒体に記録することを特徴とする請求項9に記載の撮像装置。
  11. 画像処理装置が実行する判定方法であって、
    第1の画像データおよび前記第1の画像データに対応する第1の画像に含まれる被写体に対して補助光を照射した状態で前記被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定ステップと、
    を含むことを特徴とする判定方法。
  12. 被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、を備えた撮像装置が実行する駆動方法であって、
    前記撮像部が生成した第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定ステップと、
    前記判定ステップで前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御ステップと、
    を含むことを特徴とする駆動方法。
  13. 被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、を備えた撮像装置が実行する撮像方法であって、
    前記撮像部が生成した第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値と前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定ステップと、
    前記判定ステップで前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御ステップと、
    を含むことを特徴とする撮像方法。
  14. 画像処理装置に実行させるプログラムであって、
    第1の画像データおよび前記第1の画像データに対応する第1の画像に含まれる被写体に対して補助光を照射した状態で前記被写体を撮像した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定ステップと、
    を実行させることを特徴とするプログラム。
  15. 被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、を備えた撮像装置に実行させるプログラムであって、
    前記撮像部が生成した第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定ステップと、
    前記判定ステップで前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御ステップと、
    を実行させることを特徴とするプログラム。
  16. 被写体を撮像して、該被写体の画像データを生成する撮像部と、前記被写体に対して補助光を照射する補助光発光部と、を備えた撮像装置に実行させるプログラムであって、
    前記撮像部が生成した第1の画像データおよび前記補助光発光部が前記被写体に対して補助光を照射した状態で前記撮像部が生成した第2の画像データそれぞれのコントラストの評価値を算出する評価値算出ステップと、
    前記評価値算出ステップで算出した前記第1の画像データのコントラストの評価値と前記第2の画像データのコントラストの評価値とを比較した結果に基づいて、霧または靄が発生していると判定する判定ステップと、
    前記判定ステップで前記霧または靄が発生していると判定した場合、前記補助光発光部に補助光の照射を禁止する禁止信号を出力する発光制御ステップと、
    を実行させることを特徴とするプログラム。
JP2014077185A 2014-04-03 2014-04-03 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム Active JP6284408B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014077185A JP6284408B2 (ja) 2014-04-03 2014-04-03 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
US14/665,757 US9473692B2 (en) 2014-04-03 2015-03-23 Image processing apparatus, imaging apparatus, and determination method for controlling light emission
CN201510152066.7A CN104980647B (zh) 2014-04-03 2015-04-01 图像处理装置、摄像装置、判定方法以及驱动方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014077185A JP6284408B2 (ja) 2014-04-03 2014-04-03 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2015198431A JP2015198431A (ja) 2015-11-09
JP2015198431A5 JP2015198431A5 (ja) 2017-04-13
JP6284408B2 true JP6284408B2 (ja) 2018-02-28

Family

ID=54210859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014077185A Active JP6284408B2 (ja) 2014-04-03 2014-04-03 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム

Country Status (3)

Country Link
US (1) US9473692B2 (ja)
JP (1) JP6284408B2 (ja)
CN (1) CN104980647B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2727929T3 (es) * 2014-06-12 2019-10-21 Eizo Corp Dispositivo de eliminación de neblina y método de generación de imágenes
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
US10432869B2 (en) * 2016-09-07 2019-10-01 Multimedia Image Solution Limited Method of utilizing wide-angle image capturing element and long-focus image capturing element for achieving clear and precise optical zooming mechanism
US10200610B2 (en) * 2016-09-19 2019-02-05 Gopro, Inc. Camera battery control method for low ambient temperatures
CN107872608B (zh) 2016-09-26 2021-01-12 华为技术有限公司 图像采集设备及图像处理方法
EP3334150B1 (en) 2016-12-06 2022-09-07 Canon Kabushiki Kaisha Image processing apparatus
CN117121075A (zh) * 2021-03-03 2023-11-24 日产自动车株式会社 物体检测方法以及物体检测装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3210758B2 (ja) * 1993-02-03 2001-09-17 ダイハツ工業株式会社 表示画像のコントラスト改善方法
FR2721400B1 (fr) * 1994-06-16 1996-09-13 Valeo Vision Procédé et dispositif de détection de brouillard ou de fumée, notamment pour véhicule automobile.
US6037976A (en) * 1995-10-31 2000-03-14 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence, such as fog, haze or shadows
US20120116632A1 (en) * 1997-04-02 2012-05-10 Bechtel Jon H System for controlling vehicle equipment
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
AU1290599A (en) * 1997-10-30 1999-05-24 Donnelly Corporation Rain sensor with fog discrimination
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
JP4479532B2 (ja) * 2005-02-17 2010-06-09 株式会社デンソー 夜間画像による霧検出装置
JP4730267B2 (ja) * 2006-07-04 2011-07-20 株式会社デンソー 車両用視界状況判定装置
US7612805B2 (en) * 2006-07-11 2009-11-03 Neal Solomon Digital imaging system and methods for selective image filtration
CN101470900B (zh) * 2007-12-25 2011-05-25 东风汽车有限公司 车用智能控制方法及装置
WO2010074012A1 (ja) * 2008-12-22 2010-07-01 ローム株式会社 画像補正処理回路、半導体装置、画像補正処理装置
JP5343726B2 (ja) 2009-06-19 2013-11-13 カシオ計算機株式会社 画像処理装置、及び画像処理プログラム
CN102377937B (zh) 2010-08-04 2015-07-15 株式会社日立国际电气 摄像装置
JP5665580B2 (ja) 2011-02-03 2015-02-04 三菱電機株式会社 映像監視装置
JP5677120B2 (ja) 2011-02-14 2015-02-25 スタンレー電気株式会社 霧検出装置
DE102011004584A1 (de) * 2011-02-23 2012-08-23 Krones Aktiengesellschaft Verfahren und Vorrichtung zum Erkennen von Blasen und/oder Falten auf etikettierten Behältern
US8666191B2 (en) * 2011-03-02 2014-03-04 Canon Kabushiki Kaisha Systems and methods for image capturing
WO2013048994A1 (en) * 2011-09-26 2013-04-04 Magna Electronics, Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
EP2762939B1 (en) * 2011-09-29 2017-06-14 FUJIFILM Corporation Lens system and camera system
US8885962B1 (en) * 2012-07-23 2014-11-11 Lockheed Martin Corporation Realtime long range imaging scatter reduction
US9253375B2 (en) * 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection

Also Published As

Publication number Publication date
CN104980647B (zh) 2018-07-31
US20150288871A1 (en) 2015-10-08
CN104980647A (zh) 2015-10-14
US9473692B2 (en) 2016-10-18
JP2015198431A (ja) 2015-11-09

Similar Documents

Publication Publication Date Title
JP6284408B2 (ja) 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
JP5523143B2 (ja) 撮像装置及び自動焦点調節方法
JP5451316B2 (ja) 撮像装置及び発光制御方法
JP4615458B2 (ja) 露出制御方法及び撮像装置
JP5597078B2 (ja) 撮像装置及びその制御方法
JP2007264196A (ja) ストロボ制御装置及び方法
JP4843009B2 (ja) カメラのレンズ制御方法及び装置、並びにカメラ
JP2008070611A (ja) 撮像装置、露出条件調整方法及びプログラム
JP2007259237A (ja) 撮像装置および撮像方法
JP6166848B2 (ja) 撮影装置、撮影装置本体、及びレンズ鏡筒
JP2013214878A (ja) 撮像装置、露出制御方法、及びプログラム
JP2017108309A (ja) 撮像装置および撮像方法
WO2012093519A1 (ja) 撮像装置及びその発光量制御方法
JP2007251694A (ja) カメラ、カメラの画素加算エリア決定方法、プログラムおよび記録媒体
JP6137855B2 (ja) 撮像装置、撮像方法及びプログラム
JP4818130B2 (ja) 撮像装置及びその制御方法
JP2009033386A (ja) 撮影装置及び撮影方法
JP5153441B2 (ja) 撮像装置、その制御方法及びプログラム
JP2006261928A (ja) 撮像装置及びデジタルカメラ
JP6335497B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2017129719A (ja) 撮像装置、その制御方法、および制御プログラム
JP2009139423A (ja) 撮像装置及び被写体距離算出方法
JP5546381B2 (ja) 撮像装置及びその制御方法
JP6148577B2 (ja) 撮像装置及び制御方法
JP2008103809A (ja) 撮影装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180130

R151 Written notification of patent or utility model registration

Ref document number: 6284408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250