JP7049467B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7049467B2
JP7049467B2 JP2020541114A JP2020541114A JP7049467B2 JP 7049467 B2 JP7049467 B2 JP 7049467B2 JP 2020541114 A JP2020541114 A JP 2020541114A JP 2020541114 A JP2020541114 A JP 2020541114A JP 7049467 B2 JP7049467 B2 JP 7049467B2
Authority
JP
Japan
Prior art keywords
focus
enlarged
image display
edge component
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020541114A
Other languages
English (en)
Other versions
JPWO2020050001A1 (ja
Inventor
拓洋 澁谷
志郎 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2020050001A1 publication Critical patent/JPWO2020050001A1/ja
Application granted granted Critical
Publication of JP7049467B2 publication Critical patent/JP7049467B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Blocking Light For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明はデジタル・ビデオカメラ装置等の撮像装置に関し、特に合焦状態の確認に適した補助表示機能を有する撮像装置に関する。
近年、撮像装置の高解像度化(例えばHD、4K、8K)に伴い、撮影者は被写体に対して厳密にフォーカスを合わせることが求められている。しかし、撮影者が自身の撮影した映像を確認するビューファインダの画面サイズが小さい場合や、画面の解像度が低い場合には、被写体にフォーカスが合っているのか確認し辛く、フォーカス合わせが困難であるという問題点がある。
そこで、撮影者が合焦度合い(合焦状態)をよりわかりやすく把握できるよう、様々な補助表示機能が実現されている。例えば、撮像映像のうち合焦しているエッジ部分の強調表示(ピーキング)や、合焦状態確認のための部分拡大表示等がある。特許文献1には、マニュアルフォーカス操作時に一部領域を拡大表示するとともに、同一画面上に撮像している画面全体の広角映像を表示したり、拡大領域のエッジ成分をグラフ表示する撮像装置が開示されている。
特開平11-341441号公報
部分拡大表示機能は、画面サイズが小さいビューファインダで合焦状態を確認するために非常に有用な機能である。しかしながら、画面全体の構図や映り込みを確認するための広角映像もまた重要であるため、拡大映像が広角映像を覆い隠してしまう時間は極力短くされるべきである。即ち、撮影者がフォーカス合わせを終了し、フォーカス動作が停止した時点で即座に拡大映像表示がOFFされることが好ましい。
一方で、フォーカス合わせの操作は、よほど熟練した撮影者でなければ1回の1方向への操作(例えば至近側から無限遠側へ動かす操作)で最適な合焦点に合わせきることは困難である。多くの場合、合焦点を一度通り過ぎてから、フォーカスを反対方向に戻し、合焦点の前後でさらに行き来をして微調整を行う。フォーカスを反対方向に動かす時、フォーカス動作は一瞬止まるわけであるが、前記のようにフォーカス動作の停止時に即座に拡大映像表示がOFFされてしまうと、微調整を行っている最中に拡大映像表示のON/OFFが何度も繰り返されることとなる。このような動作は、合焦状態の確認が困難になるとともに、ビューファインダの画面を注視している撮影者の目の負担となってしまうため避けられるべきである。即ち、撮影者がフォーカス合わせを行っている最中は、フォーカス動作が停止しても拡大映像表示を一定時間ONし続けることが好ましい。
特許文献1には、フォーカス動作が停止してから拡大映像表示をOFFするまでの時間は明示されていないが、撮影者が好みに合わせて任意の時間に設定できるものと推定される。しかし、如何なる時間に設定したとしても上記2つの理想的な動作を両立させることはできない。
本発明の課題は、上記2つの理想的な動作を両立させることにより、広角映像への影響を最小限にしつつ快適なフォーカス合わせが行える撮像装置を提供することにある。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本開示のうち代表的なものの概要を簡単に説明すれば下記の通りである。
すなわち、撮像装置は、撮影している映像を表示する表示部と、撮影している領域の一部を拡大した映像を前記表示部に表示する拡大映像表示機能と、拡大映像領域のエッジ成分量を検出するエッジ成分検出機能と、撮影者が操作しているフォーカスの動きを検出するフォーカス位置検出機能と、を有する。前記エッジ成分検出機能が検出したエッジ成分と、前記フォーカス位置検出機能が検出したフォーカスの動きに連動して、前記拡大映像表示機能が表示する拡大映像表示の継続時間を変更する。
上記撮像装置によれば、広角映像への影響を最小限にしつつ快適なフォーカス合わせが行うことができる。
実施例1に係る撮像装置の構成例を示すブロック図である。 実施例1に係る映像信号処理部のブロック図である。 ビューファインダによる拡大表示を示す図である。 実施例1に係る撮像装置の動作を示す図である。 エッジ成分量とフォーカス位置との関係を説明する図である。 変形例1に係る撮像装置の動作を示す図である。 エッジ成分量、フォーカス位置およびフォーカスの動きの速さとの関係を説明する図である。 変形例2に係る撮像装置の動作を示す図である。 エッジ成分量、フォーカス位置およびフォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合との関係を説明する図である。 変形例3に係る撮像装置の動作を示す図である。 エッジ成分量、フォーカス位置および現在のエッジ成分量と一定時間前までのピーク値との差分との関係を説明する図である。 実施例2に係る撮像装置の構成例を示すブロック図である。 実施例2に係る撮像装置の構成例を示すブロック図である。 可視光と近赤外光とを分解するプリズムを説明する図である。
以下、実施例、変形例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。なお、図面は説明をより明確にするため、実際の態様に比べ、模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。
図1は、実施例1に係る撮像装置の構成例を示すブロック図である。
図1において、撮像装置10は、レンズ2、撮像素子3、映像信号処理部1、メモリ6、フォーカス位置検出部5、CPU(Central Processing Unit)部4、映像信号出力部8、表示部であるビューファインダ7で構成されている。
被写体からの入射光はレンズ2で結像され、撮像素子3で電気信号に光電変換される。映像信号処理部1では映像信号に各種信号処理が施され、ビューファインダ7に映像を表示するとともに、映像信号出力部8からHD-SDI(High Definition Serial Digital Interface)信号を出力する。CPU部4は、撮像装置10の各部を制御する他、フォーカス位置検出部(フォーカス位置検出機能)5からの信号によりフォーカスの動きを検出する。
なお、映像信号出力部8から出力する映像信号は、一実施例のHD-SDIに限定するものではなく、圧縮や暗号化等も問わない。
図2は、実施例1に係る映像信号処理部のブロック図である。図3は、ビューファインダによる拡大表示を示す図である。
図2において、映像信号処理部1は、ガンマ補正部12、表示部映像生成部11、エッジ抽出部112、映像拡大部(拡大映像表示機能)111、エッジ検出部(エッジ成分検出機能)13で構成されている。映像信号処理部1の各部はCPU部4により制御される。
映像信号処理部1では、ガンマ補正部12で撮像素子3から出力される映像信号に利得補正、ガンマ補正、ニー補正、輪郭補正、色補正等の各種映像信号処理を施し、映像信号出力部8に出力する。各補正係数及び補正機能のON/OFFはCPU部4によって制御される。
ビューファインダ7には、映像信号出力部8に出力される映像とは別に、撮影者が映像の合焦状態等を確認し易くするように表示部映像生成部11で生成された映像が表示される。まず、映像信号は一旦メモリ6に格納され、拡大表示を行う領域が切り出して読み出される。読み出された切り出し映像は、エッジ検出部13で拡大映像領域のエッジ成分量が検出されるとともに、映像拡大部111で解像度変換等の拡大処理がなされた後、表示部映像生成部11内で映像信号に合成される。拡大映像領域と拡大率及び拡大機能のON/OFFはCPU部4によって制御される。また、表示部映像生成部11では、映像信号からエッジ抽出部112でエッジ成分を抽出し、それを映像信号に合成することで映像の輪郭がより強調された映像を生成する。輪郭強調の係数及び機能のON/OFFはCPU部4によって制御される。これらの処理が施された映像が表示部映像としてビューファインダ7に表示される(図3参照)。
次に、実施例1に係る撮像装置の動作について、図4を用いて説明する。図4は、実施例1に係る撮像装置の動作を示す図である。
ステップS1:フォーカスデマンド動作の判定
撮影者がフォーカス合わせを行おうとしてレンズ2のフォーカスを動かすと、その動きはフォーカス位置検出部5を通じてCPU部4に伝達される。CPU部4は撮影者がフォーカスを操作し、フォーカス合わせを行おうとしていると判定(YES)し、ステップS2へ遷移する。一方、撮影者がフォーカスを操作し、フォーカス合わせを行っていない場合、CPU部4はフォーカス合わせを行っていないと判定(No)し、ステップS1へ遷移する。
ステップS2:拡大映像の表示
ステップS1でフォーカス合わせを行おうとしていると判定(YES)した場合、フォーカス合わせを行い易くなるように表示部映像生成部11の拡大映像表示機能をONし、ビューファインダ7に拡大映像を表示する。
ステップS3:フォーカスデマンド停止の判定
フォーカスが動き続けている間は、フォーカス合わせを行っている最中と判定(No)し、拡大映像表示をONし続ける。その後、フォーカスの動きが止まったことを検出した場合(Yes)、ステップS4へ遷移する。
ステップS4:拡大表示領域のエッジ成分量の変化の検出
エッジ検出部13が検出している拡大領域の映像のエッジ成分量が増加中であったか、減少中であったかを判定する。判定の方法は、現在のフレームと1~数フレーム前のエッジ成分量を比較しても良いし、数フレーム前までのエッジ成分量を線形回帰して求めても良い。
ステップS5:拡大表示継続時間のカウント開始
フォーカスの動きが止まった時、拡大領域の映像のエッジ成分量が減少中であった場合、フォーカスが合焦点に対して遠ざかる方向に動いていたということであり、撮影者がすぐにフォーカスを逆方向に動かすであろうと予測する。この場合、拡大表示継続時間のカウントを開始し、拡大映像表示をOFFせずに一定時間ONし続ける。
一方、ステップS4において、フォーカスの動きが止まった時、拡大領域の映像のエッジ成分量が増加中であった場合、フォーカスが合焦点に対して近づく方向に動いていたということであり、フォーカスが合焦点かその付近に到達し、撮影者がフォーカス合わせを終了し、フォーカス操作を止めて通常撮影に戻るであろうと予測する。この場合、ステップS8へ遷移し、拡大映像表示を即座にOFFする。
ステップS6:フォーカスデマンド動作の再検出
拡大表示継続時間のカウントを開始後、撮影者がフォーカス合わせを行おうとしているが否かを再度判定する。フォーカス合わせを行おうとしていると判定(YES)した場合、ステップS3へ遷移する。一方、フォーカス合わせを行っていないと判定(No)した場合、ステップS7へ遷移する。
ステップS7:拡大表示継続時間の経過の判定
拡大表示継続時間が一定時間を経過したか否かが判定される。拡大表示継続時間が一定時間を経過した場合(Yes)、ステップS8へ遷移し、拡大映像表示を即座にOFFする。一方、拡大表示継続時間が一定時間を経過していない場合(No)、ステップS6へ移行する。
ステップS8:拡大表示の終了
ビューファインダ7への拡大映像表示をOFFし、ステップS1へ遷移する。
図5は、エッジ成分量とフォーカス位置との関係を説明する図である。図5において、時刻A,B,Cはフォーカスが止まった時刻を示している。時刻A、Cでは、エッジ成分量が増加中であり、時刻Bでは、エッジ成分量が減少中である。ステップS4の判定により、エッジ成分量が増加中である時刻A、Cでは、拡大映像表示が即座にOFFされる(ステップS8へ遷移)。一方、エッジ成分量が減少中である時刻Bでは、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移)。つまり、エッジ検出部13が検出している拡大領域の映像のエッジ成分量と、フォーカス位置検出部5が検出したフォーカスの動きとに連動して、映像拡大部(拡大映像表示機能)111が表示する拡大映像表示の継続時間が変更される。
以上のように本発明によれば、フォーカスが合焦点の前後を行き来しているフォーカス調整中は拡大映像表示がONされ続ける。また、フォーカスが合焦点付近で止まり、フォーカス合わせを終了した時は拡大映像表示が即座にOFFされる。これにより、広角映像への影響を最小限にしつつ快適なフォーカス合わせを行うことができる。
また、副次的な効果として、撮影者がフォーカスを合わせきったと思っていても、拡大映像表示が即座にOFFされない場合、フォーカスが合焦点を通り過ぎて反対方向へ動いた後に止まったということであり、フォーカスを合わせきれていないということを撮影者に暗に示すことができる。
(変形例1)
次に、本発明の変形例1に係る撮像装置の動作について図6を用いて説明する。図6は変形例1に係る撮像装置の動作を示す図である。
フォーカスが動いた時に拡大映像表示をONする動作と、フォーカスが止まった時に拡大領域の映像のエッジ成分量が増加中であったか減少中であったかを判定する動作は、実施例1の場合と同様である。つまり、ステップS1~S8の動作自体は、図4と同じでありその説明は省略する。
本変形例1では、ステップS3において、フォーカスの動きが止まったことを検出した場合、ステップS4とステップS41とが実施される。ステップS41では、直前までのフォーカスの動きの速さを求める。フォーカスの動きの速さは、現在のフレームと1~数フレーム前のフォーカス位置の変化量をフレーム数で割ることで求められる。
フォーカスの動きが止まった時、ステップS4において、拡大領域の映像のエッジ成分量が増加中であり、ステップS41において、直前までのフォーカスの動きが速かった場合、そのフォーカス操作は粗調整であり、撮影者がすぐに微調整のためにフォーカスを再度同一方向に動かすであろうと予測し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移する)。
一方、フォーカスの動きが止まった時、ステップS4において、拡大領域の映像のエッジ成分量が増加中であり、ステップS41において、直前までのフォーカスの動きが遅かった場合、そのフォーカス操作は微調整であり、フォーカスが合焦点かその付近に到達し、撮影者がフォーカス合わせを終了し、フォーカス操作を止めて通常撮影に戻るであろうと予測し、拡大映像表示を即座にOFFする(ステップS8へ遷移する)。
フォーカスの動きの速さの判定には、一定の閾値を設けても良いし、閾値を撮影者が設定できるようにしても良い。または、フォーカスの動きの速さに応じてまたは連動して、拡大映像表示の継続時間を変化させてもよい。たとえば、フォーカスの動きが速ければ、拡大映像表示の継続時間を長くする、また、フォーカスの動き遅ければ、拡大映像表示の継続時間を短くする等のように、拡大映像表示の継続時間を変化させても良い。
フォーカスの動きが止まった時、拡大領域の映像のエッジ成分量が減少中であった場合の動作は、実施例1の図4の場合と同様である。
図7は、エッジ成分量、フォーカス位置およびフォーカスの動きの速さとの関係を説明する図である。図7において、時刻A、B、Cはフォーカスが止まった時刻を示している。時刻A、Bでは、エッジ成分量が増加中であり、時刻Cでは、エッジ成分量が減少中である。直前までのフォーカスの動きでは、時刻Aは速く、時刻B、Cは遅い。ステップS41の判定により、時刻Aでは、粗調によるフォーカス調整中と判断し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移)。時刻Bでは、微調によるフォーカス合わせ終了と判断し、拡大映像表示が即座にOFFされる(ステップS8へ遷移)。また、時刻Cでは、フォーカス調整中と判断し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移)。
以上のように実施例1の変形例1によれば、フォーカスの粗調整を行っている間と、フォーカスが合焦点の前後を行き来しているフォーカス調整中は拡大映像表示がONされ続ける。また、フォーカスが微調整によって合焦点付近で止まり、フォーカス合わせを終了した時は拡大映像表示が即座にOFFされる。これにより、広角映像への影響を最小限にしつつ快適なフォーカス合わせを行うことができる。
(変形例2)
次に、本発明の変形例2に係る撮像装置の動作について図8を用いて説明する。図8は変形例2に係る撮像装置の動作を示す図である。
フォーカスが動いた時に拡大映像表示をONする動作と、フォーカスが止まった時に拡大領域の映像のエッジ成分量が増加中であったか減少中であったかを判定する動作は、実施例1の場合と同様である。つまり、ステップS1~S8の動作自体は、図4と同じでありその説明は省略する。
本変形例2では、ステップS3において、フォーカスの動きが止まったことを検出した場合、ステップS4とステップS42とが実施される。ステップS42では、直前までのフォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合を求める。
一般に、フォーカスの位置の変化に対するエッジ成分量の変化は、合焦点から遠いと緩やかに変化し、合焦点に近づくにつれて急峻に変化する。但し、被写体が平面でなく奥行きがある場合は、被写体としての合焦点がある程度の範囲を持つため、合焦点付近の狭い範囲ではエッジ成分の変化量はやや緩やかになる。
フォーカスの動きが止まった時、ステップS4において、拡大領域の映像のエッジ成分量が増加中であり、ステップS42において、直前までのフォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合がある程度の範囲で緩やかであった場合、フォーカスが合焦点から遠く、撮影者がすぐに合焦点に近付けるためにフォーカスを再度同一方向に動かすであろうと予測し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移する)。
一方、フォーカスの動きが止まった時、拡大領域の映像のエッジ成分量が増加中であり、ステップS42において、直前までのフォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合がある程度の範囲で急峻であった場合、フォーカスが合焦点かその付近に到達し、撮影者がフォーカス合わせを終了し、フォーカス操作を止めて通常撮影に戻るであろうと予測し、拡大映像表示を即座にOFFする(ステップS8へ遷移する)。
フォーカスの位置の変化量に対する拡大領域のエッジ成分量の変化の割合の判定には、一定の閾値を設けても良いし、閾値を撮影者が設定できるようにしても良い。または、エッジ成分量の変化の割合に応じて拡大映像表示の継続時間を変化させてもよい。つまり、フォーカスの位置の変化量に対する拡大領域のエッジ成分量の変化の割合に連動して、エッジ成分量の変化の割合に応じて拡大映像表示の継続時間を変更してもよい。たとえば、エッジ成分量の変化の割合が緩やかであれば、拡大映像表示の継続時間を長くする、また、エッジ成分量の変化の割合が急峻であれば、拡大映像表示の継続時間を短くする等のように、拡大映像表示の継続時間を変化させても良い。
フォーカスの動きが止まった時、拡大領域の映像のエッジ成分量が減少中であった場合の動作は、実施例1の図4の場合と同様である。
図9は、エッジ成分量、フォーカス位置およびフォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合との関係を説明する図である。図9において、時刻A、B、Cはフォーカスが止まった時刻を示している。時刻A、Bでは、エッジ成分量が増加中であり、時刻Cでは、エッジ成分量が減少中である。フォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合は、時刻Aでは緩やかであり、時刻B、Cでは急峻である。ステップS42の判定により、時刻Aでは、合焦点から遠い位置であると判断し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移)。時刻Bでは、合焦点から近い位置であると判断し、拡大映像表示が即座にOFFされる(ステップS8へ遷移)。また、時刻Cでは、合焦点から近い位置であると判断し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移)。
以上のように実施例1の変形例2によれば、フォーカスが合焦点から遠い時と、フォーカスが合焦点の前後を行き来しているフォーカス調整中は拡大映像表示がONされ続ける。また、フォーカスが合焦点付近で止まり、フォーカス合わせを終了した時は拡大映像表示が即座にOFFされる。これにより、広角映像への影響を最小限にしつつ快適なフォーカス合わせを行うことができる。
(変形例3)
次に、本発明の変形例3に係る撮像装置の動作について図10を用いて説明する。図10は変形例3に係る撮像装置の動作を示す図である。
フォーカスが動いた時に拡大映像表示をONする動作と、フォーカスが止まった時に拡大領域の映像のエッジ成分量が増加中であったか減少中であったかを判定する動作は、実施例1の場合と同様である。つまり、ステップS1~S8の動作自体は、図4と同じでありその説明は省略する。
本変形例3では、ステップS2の後に、拡大領域の映像のエッジ成分量の一定時間前までのピーク値を記憶するステップS21が追加される。また、ステップS3において、フォーカスの動きが止まったことを検出した場合、ステップS4とステップS43とが実施される。ステップS43では、現在のエッジ成分量と一定時間前までのピーク値との差分を求める。フォーカスが一度でも合焦点を通り過ぎた場合、当然ながらエッジ成分量がピーク値となったフォーカス位置が合焦点である。
フォーカスの動きが止まった時、ステップS4において、拡大領域の映像のエッジ成分量が増加中であり、ステップS43において、現在のエッジ成分量と一定時間前までのピーク値との差分が大きい場合、フォーカスが合焦点から遠く、撮影者がすぐに合焦点に近付けるためにフォーカスを再度同一方向に動かすであろうと予測し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移する)。
一方、フォーカスの動きが止まった時、ステップS4において、拡大領域の映像のエッジ成分量が増加中であり、ステップS43において、現在のエッジ成分量と一定時間前までのピーク値との差が小さい場合、フォーカスが合焦点かその付近に到達し、撮影者がフォーカス合わせを終了し、フォーカス操作を止めて通常撮影に戻るであろうと予測し、拡大映像表示を即座にOFFする(ステップS8へ遷移する)。
エッジ成分量のピーク値との差分の判定には、一定の閾値を設けても良いし、閾値を撮影者が設定できるようにしても良い。または、差分の大きさに応じて拡大映像表示の継続時間を変化させてもよい。つまり、拡大領域の映像のエッジ成分量の一定時間前までのピーク値を記憶し、現在のエッジ成分量と一定時間前までのピーク値との差分に連動して、映像拡大部(拡大映像表示機能)111が表示する拡大映像表示の継続時間を変更してもよい。たとえば、エッジ成分量のピーク値との差分が大きければ拡大映像表示の継続時間を長くする、また、エッジ成分量のピーク値との差分が小さければ拡大映像表示の継続時間を短くする等のように、拡大映像表示の継続時間を変化させても良い。
フォーカスの動きが止まった時、拡大領域の映像のエッジ成分量が減少中であった場合の動作は、実施例1の図4の場合と同様である。
図11は、エッジ成分量、フォーカス位置および現在のエッジ成分量と一定時間前までのピーク値との差分との関係を説明する図である。図11において、時刻A、B、Cはフォーカスが止まった時刻を示している。時刻A、B、Cでは、いずれもエッジ成分量が増加中である。現在のエッジ成分量と一定時間前までのピーク値との差分は、時刻A、Cは、時刻A、Cでは小さく、時刻Bでは大きい。ステップS43の判定により、時刻A、Cでは、合焦点から近い位置であると判断し、拡大映像表示が即座にOFFされる(ステップS8へ遷移)。時刻Bでは、合焦点から遠い位置であると判断し、拡大映像表示をOFFせずに一定時間ONし続ける(ステップS5へ遷移)。
以上のように実施例1の変形例3によれば、フォーカスが合焦点から遠い時と、フォーカスが合焦点の前後を行き来しているフォーカス調整中は拡大映像表示がONされ続ける。また、フォーカスが合焦点付近で止まり、フォーカス合わせを終了した時は拡大映像表示が即座にOFFされる。これにより、広角映像への影響を最小限にしつつ快適なフォーカス合わせを行うことができる。
以上、本実施例1および変形例1~3をその好適な実施形態に基づいて詳述したてきたが、本発明はこれら特定の実施形態に限られるものではなく、上述の実施形態の一部を適宜組み合わせても良い。
また、上述の実施形態では、合焦状態確認のための補助機能として拡大映像表示機能を例に用いているが、本発明の主要点は、撮影者がフォーカス合わせを終了したか否かを判定することによって、補助機能のON/OFFを制御し、通常映像への影響を最小限に抑えることである。そのため、通常映像に影響を及ぼす他の補助機能(例えば、映像のエッジ成分が大きい部分のみに色を付け他の部分の色を抜く機能、合焦状態をヒストグラムで表示する機能等)のON/OFF制御においても本発明は適用可能である。
図12および図13は、実施例2に係る撮像装置の構成例を示すブロック図である。
図12及び図13において、撮像装置10aの基本構成は3板画素ずらしカメラの構成である。撮像装置に入力される可視光22及び近赤外光21は、光学選択フィルタ23で可視光22を入力するか、近赤外光21を入力するか選択する。光学選択フィルタ23は、可視光22を入力するか、近赤外光21を入力するかを設定可能に構成されている。可視光22の通過を選択した場合、波長分解プリズム24で赤信号R、緑信号G、青信号Bに波長ごとに光が分光され、それぞれに取り付けられたセンサ25、26、27に入力される。センサ25、26、27は相対的に位置をずらして固定されており、緑に対して青赤をずらす場合はセンサ25、26、27の画素の1/2ずらし、または、赤、緑、青それぞれずらす場合は画素の1/3位置をずらし固定されている。図12及び図13は、1/2ずらした場合の構成である。センサ25、26、27から出力した緑信号Gと青信号B、赤信号Rはまず信号レベル調整器28、29、30で信号レベルを所望レベルに調整される。その後、赤信号Rと青信号Bは加算器31で加算される。緑信号Gと赤青混合信号RBは補間合成器32で混合され、2倍の信号情報を持った映像信号33が出力される。なお、ずらす方向を水平、垂直で実施した場合は水平方向および垂直方向の両方に効果を得ることができる。
一方、図13に示すように、光学選択フィルタ23で近赤外光21を透過するように設定した場合は、近赤外光21を50%ずつ分光して第1近赤外光信号NIR1と第2近赤外光信号NIR2を生成し、2個のセンサ25、26に第1近赤外光信号NIR1と第2近赤外光信号NIR2の光を到達させる。このセンサ25、26は、図12で説明した通り、1/2画素ずれて固定されているので、図12と同様の信号処理が行われて、解像度の向上した映像信号34を出力することを実現できる。これらは、従来のカメラとほとんど同じ構成で、2種類の光信号(21、22)に対し解像度向上を実現できるため、従来、撮像装置が2台必要であったものが、1台の撮像装置で実現可能となる。撮像装置の構成も従来と大きく変わらないので、撮像装置の構成を実現する費用も従来と同等である。
ここで、可視光22と近赤外光21とを分解する波長分解プリズム24について、図14で説明する。図14は、可視光と近赤外光とを分解するプリズムを説明する図である。
波長分解プリズム(色分解プリズム)24は、光学的フィルタであるので、フィルタを組み合わせることで特定の波長を選択する構造となっている。すなわち、バンドパスフィルタの組み合わせであるが、フィルタは特定帯域以外でも一定の通過域を有する特性があるため、ローパスフィルタやハイパスフィルタなどを組み合わせることで特定波長以外の領域の透過する波長帯域の発生を防止している。図14において、35は青信号を示し、36は緑信号を示し、37は赤信号を示し、38は近赤外信号を示している。
従来の光学プリズムは、以上のようにして特定波長以外での透過、特に色再現性の低下の原因となるチャンネル混合が発生しない様に設計されていた。本実施例2では、特定の波長、例えば近赤外光21の特定波長で意図的に信号を混合させることで、2個のセンサ(25、26)に光信号を到達させるようにしている。
この結果、可視光22を入力するときは、画素ずらしカラーカメラとして機能し、近赤外光21を入力した際は、同じ構成で近赤外光21の信号に画素ずらし効果を得ることができる。図14の例では、750~850[nm]の近赤外光21に対して、解像度改善効果を得ることができる。この効果を持たせた波長分解プリズム24は、赤外信号領域での赤信号Rと緑信号Gの補正フィルタを削除するだけで実現が可能である。
本実施例2によれば、可視光22の照明では、画素ずらしカメラの効果が得られ、同一の構成で近赤外光21の照明においても画素ずらし効果による解像度向上効果を得られることができる。使用する材料は、従来と変わらないので、実現のために費用が増加することもない。むしろ、波長分解プリズム24の補正フィルタを削除するので、材料費は削減することが可能となる。
なお、図12および図13に示す実施例2の撮像装置10aの構成は、図1に示す実施例1の撮像装置10に適用することも可能である。この場合、図4から図11に示す実施例1および変形例1~3の動作も、図12および図13に示す構成を備えた撮像装置10aにおいて、適用可能である。
以上、本発明者によってなされた発明を実施例、変形例に基づき具体的に説明したが、本発明は、上記実施例および変形例に限定されるものではなく、種々変更可能であることはいうまでもない。
この出願は、2018年9月4日に出願された日本出願特願2018-165211を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
1:映像信号処理部
2:レンズ
3:撮像素子
4:CPU部
5:フォーカス位置検出部
6:メモリ
7:ビューファインダ
8:映像信号出力部
10:撮像装置
11:表示部映像生成部
12:ガンマ補正部
13:エッジ検出部
111:映像拡大部
112:エッジ抽出部
21:近赤外光
22:可視光
23:光学選択フィルタ
24:波長分解プリズム
25、26、27:センサ
28、29、30:信号レベル調整器
31:加算器
32:補間合成器
NIR1:第1近赤外光信号
NIR2:第2近赤外光信号

Claims (3)

  1. 撮影している映像を表示する表示部と、
    撮影している領域の一部を拡大した映像を前記表示部に表示する拡大映像表示機能と、
    拡大映像領域のエッジ成分量を検出するエッジ成分検出機能と、
    撮影者が操作しているフォーカスの動きを検出するフォーカス位置検出機能と、を有し、
    前記エッジ成分検出機能が検出したエッジ成分と、前記フォーカス位置検出機能が検出したフォーカスの動きに連動して、前記拡大映像表示機能が表示する拡大映像表示の継続時間を変更し、
    フォーカスの動きの速さに連動して、前記拡大映像表示機能が表示する拡大映像表示の継続時間を変更することを特徴とする撮像装置。
  2. 請求項1の撮像装置において、
    フォーカスの位置の変化量に対する拡大領域の映像のエッジ成分の変化量の割合に連動して、前記拡大映像表示機能が表示する拡大映像表示の継続時間を変更することを特徴とする撮像装置。
  3. 請求項1の撮像装置において、
    拡大領域の映像のエッジ成分量の一定時間前までのピーク値を記憶し、現在のエッジ成分量と一定時間前までのピーク値との差分に連動して、前記拡大映像表示機能が表示する拡大映像表示の継続時間を変更することを特徴とする撮像装置。
JP2020541114A 2018-09-04 2019-08-20 撮像装置 Active JP7049467B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018165211 2018-09-04
JP2018165211 2018-09-04
PCT/JP2019/032369 WO2020050001A1 (ja) 2018-09-04 2019-08-20 撮像装置

Publications (2)

Publication Number Publication Date
JPWO2020050001A1 JPWO2020050001A1 (ja) 2021-08-26
JP7049467B2 true JP7049467B2 (ja) 2022-04-06

Family

ID=69722439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541114A Active JP7049467B2 (ja) 2018-09-04 2019-08-20 撮像装置

Country Status (3)

Country Link
US (1) US11233945B2 (ja)
JP (1) JP7049467B2 (ja)
WO (1) WO2020050001A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341441A (ja) 1998-05-25 1999-12-10 Matsushita Electric Ind Co Ltd 映像生成装置及び映像再生装置並びに映像生成方法及び映像再生方法
JP5179428B2 (ja) 2009-04-06 2013-04-10 本田技研工業株式会社 車両の周辺監視装置
JP6140975B2 (ja) * 2012-10-25 2017-06-07 オリンパス株式会社 撮像装置
JP6375607B2 (ja) * 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
KR20170006559A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US9854156B1 (en) * 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects

Also Published As

Publication number Publication date
US20210321045A1 (en) 2021-10-14
WO2020050001A1 (ja) 2020-03-12
US11233945B2 (en) 2022-01-25
JPWO2020050001A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
JP5512878B2 (ja) 撮影装置及び表示制御方法
JP4982997B2 (ja) 画像処理装置
US9131157B2 (en) Camera and method of controlling operation of same
US20140192162A1 (en) Single-eye stereoscopic imaging device, imaging method and recording medium
JP4760302B2 (ja) 撮像装置
US11009774B2 (en) Focus adjustment device and focus adjustment method
JP2009010616A (ja) 撮像装置および画像出力制御方法
KR20100096805A (ko) 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
US10924653B2 (en) Imaging apparatus, control method and non-transitory computer readable medium
JP2007142702A (ja) 画像処理装置
US11290634B2 (en) Imaging apparatus, imaging method, and program
JP6330474B2 (ja) 画像処理装置、画像処理装置の制御方法、撮像装置
EP2299695A1 (en) Imaging device, image processing program, image processing device, and image processing method
JP7049467B2 (ja) 撮像装置
JP2007124278A (ja) 撮像装置
CN110679140B (zh) 摄像装置、摄像装置的控制方法及存储介质
JP2008263478A (ja) 撮像装置
JP5682358B2 (ja) 撮像装置
JP4977996B2 (ja) 撮像装置
JP2007281952A (ja) デジタルカメラ
JP5403087B2 (ja) 画像処理装置
JP6147081B2 (ja) 撮像装置、その制御方法、及びプログラム
JP6795961B2 (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP5790011B2 (ja) 撮像装置
JP5664440B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220325

R150 Certificate of patent or registration of utility model

Ref document number: 7049467

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150