JPWO2018116824A1 - 制御装置、制御方法、並びにプログラム - Google Patents

制御装置、制御方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018116824A1
JPWO2018116824A1 JP2018557654A JP2018557654A JPWO2018116824A1 JP WO2018116824 A1 JPWO2018116824 A1 JP WO2018116824A1 JP 2018557654 A JP2018557654 A JP 2018557654A JP 2018557654 A JP2018557654 A JP 2018557654A JP WO2018116824 A1 JPWO2018116824 A1 JP WO2018116824A1
Authority
JP
Japan
Prior art keywords
image
displayed
display
mark
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018557654A
Other languages
English (en)
Other versions
JP7028189B2 (ja
Inventor
正宏 高橋
英了 唐澤
綾 高岡
大輔 廣
春佳 川田
綾子 岩瀬
奏子 簗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018116824A1 publication Critical patent/JPWO2018116824A1/ja
Application granted granted Critical
Publication of JP7028189B2 publication Critical patent/JP7028189B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Abstract

本技術は、ユーザが、撮像に係わる体感を得られるようにすることができるようにする制御装置、制御方法、並びにプログラムに関する。複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備え、前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する。マークは、表示部の四隅に表示される。またはマークは、オートフォーカスの枠の近傍に表示される。本技術は、撮像装置に適用できる。

Description

本技術は制御装置、制御方法、並びにプログラムに関し、例えば、撮像時に撮像が行われていることを体感できる仕組みを制御する制御装置、制御方法、並びにプログラムに関する。
近年、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)センサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラが普及している。デジタルスチルカメラは静止画像を撮像するものであり、デジタルビデオカメラは動画像を撮像するものであるが、動画像を撮像可能なデジタルスチルカメラや静止画像を撮像可能なデジタルビデオカメラも存在する。なお、以降では、デジタルスチルカメラとデジタルビデオカメラとを特に区別しない場合には、単に「デジタルカメラ」と記載する場合がある。
上記に示したようなデジタルカメラは、例えば、LCD(Liquid Crystal Display)等で構成された表示部を備え、当該表示部に撮像された画像を表示可能に構成されている場合が少なくない。また、近年では、上記に示したデジタルカメラの中には、撮像された画像中から人間の顔の領域を検出し、検出された領域に対して色味の調整を行う等のような、撮像された画像に対して画像処理を施すものもある。
特開2013−055589号公報
また、近年のデジタルカメラの中には、撮像素子中の画素数を増やすことで、より高精細な画像(解像度の高い画像)を撮像可能としたものもある。その一方で、画像の高精細化に伴い当該画像のデータ量も増大する傾向にある。そのため、例えば、撮像された画像をユーザが確認するために表示部に表示させる処理や、撮像された画像を解析し当該画像に対して画像処理を施して出力する処理等のように、撮像された画像の出力に係る処理時間も増大する場合がある。
処理時間が増大すると、表示部に画像が表示されない時間、所謂ブラックアウトと称される状態が発生する可能性がある。また処理時間中に、所謂スルー画像と称される画像を表示し続ける装置もある。この場合、スルー画像は、処理時間中は更新されず、フリーズしたような表示状態となり、ユーザによっては、何らかのエラーが発生したのかと戸惑ってしまう可能性がある。このような戸惑いをユーザが感じないようにするために、あえて黒画像を表示し、ブラックアウトのような状況を作り出す装置もある。
しかしながら、表示部に画面が表示されない時間(ブラックアウト)が発生したり、またはフリーズしたようなスルー画像が表示されたりすると、その間に被写体を見失うといった不都合が発生する可能性があった。このようなことから、ブラックアウトが発生する時間(フリーズしたようなスルー画像が表示される時間)が短縮されることが望まれていた。
一方で、撮像者(ユーザ)によっては、このブラックアウトの発生で、撮像のタイミングや露光時間を把握していることがあった。よって、撮像者によっては、ブラックアウトがないことで、撮像のタイミングや露光時間を把握できず、使い勝手が悪いと感じてしまう可能性がある。
ユーザに撮像のタイミングや露光時間を把握でき、撮像が行われていることを体感させる仕組みを提供することが望まれている。
本技術は、このような状況に鑑みてなされたものであり、ユーザに撮像が行われていることを体感させることができるようにするものである。
本技術の一側面の撮像装置は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備え、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する。
本技術の一側面の撮像方法は、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置の制御方法において、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示するステップを含む。
本技術の一側面のプログラムは、複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部とを備える制御装置を制御するコンピュータに、前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示するステップを含む処理を実行させる。
本技術の一側面の撮像装置、撮像方法並びにプログラムにおいては、複数の画素のそれぞれから出力される画素信号に基づくデータが処理され、処理されたデータに基づく画像が、スルー画像として表示部に表示される。またデータを記録する指示に応じて、表示部に表示されるスルー画像とともに、記録処理を示すマークが表示される。
なお、制御装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術の一側面によれば、ユーザに撮像が行われていることを体感させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
比較例に係る撮像装置の概略的な構成の一例について説明するための図である。 比較例に係る撮像装置の処理の流れについて説明するための図である。 比較例に係る撮像装置の処理の流れについて説明するための図である。 本技術の一側面の撮像装置の概要について説明するための説明図である。 撮像装置の一例の構成を示す図である。 撮像装置の処理の流れの一例について説明するためのタイムチャートである。 撮像装置の処理の流れの一例について説明するためのタイムチャートである。 フィードバック表示の一例を示す図である。 表示時間の設定処理について説明するためのフローチャートである。 フィードバック表示のタイミングについて説明するための図である。 フィードバック表示のタイミングについて説明するための図である。 フィードバック表示のタイミングについて説明するための図である。 フィードバック表示のタイミングについて説明するための図である。 露光開始時の処理について説明するためのフローチャートである。 フィードバック表示の一例を示す図である。 露光終了時の処理について説明するためのフローチャートである。 タイマーの計時終了時の処理について説明するためのフローチャートである。 表示位置の設定の処理について説明するためのフローチャートである。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の一例を示す図である。 フィードバック表示の組み合わせについて説明するための図である。 スマートフォンに適用した場合について説明するための図である。 スマートフォンに適用した場合について説明するための図である。 記録媒体について説明するための図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
<比較例>
本開示の実施の形態に係る撮像装置についての説明にあたり、本実施の形態に係る撮像装置の比較例として、図1乃至3を参照して、従来の撮像装置について説明する。まず、図1を参照して、比較例に係る撮像装置の概要について説明する。図1は、比較例に係る撮像装置の概略的な構成の一例について説明するための説明図である。なお、図1に示す例を、以降では比較例1と呼ぶ場合がある。
図1において、参照符号100aは、比較例1に係る撮像装置に設けられたイメージセンサを模式的に示している。イメージセンサ100aは、例えば、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。イメージセンサ100aは、複数の画素が行列(アレイ)状に配置された画素アレイ部111を含んで構成される。なお、一般的には、画素アレイ部111以外の回路も含むが、図1に示す例では、説明をわかりやすくするために、当該画素アレイ部111以外の回路の図示を省略している。
また、参照符号200aは、画素アレイ部111の各画素からの画素信号に基づき供給される画像信号に対して、所謂画像処理を施す画像処理LSI(Large Scale Integration)を模式的に示している。画像処理としては、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、及びYC変換等が挙げられる。
画像処理部210は、画像処理LSI200aにより実現される画像処理機能を模式的に示している。なお、画像処理LSI200aは、画像処理以外の他の機能を実行するための構成を含んでもよいが、図1に示す例では、説明をわかりやすくするために、画像処理部210以外の構成の図示を省略している。
また、参照符号n0は、イメージセンサ100aと画像処理LSI200aとの間の信号の流れ(ストリーム)を模式的に示している。即ち、図1に示した比較例1に係る撮像装置では、イメージセンサ100aは、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をA/D変換することで、被写体の撮像画像を示す画像信号を生成する。そして、イメージセンサ100aは、生成した画像信号をストリームn0として、画像処理LSI200aの画像処理部210に出力する。
画像処理LSI200aは、ストリームn0として、イメージセンサ100aから出力された画像信号を取得し、取得した画像信号に対して画像処理を施し、画像処理後の画像信号を、例えば表示部(不図示)にプレビュー画像(所謂、スルー画、またはモニター画とも呼ばれる)として表示させる。これにより、ユーザは、撮像された画像を、表示部を介して確認することが可能となる。
次に、図2を参照して、図1に示した撮像装置において、イメージセンサ100aにより被写体の画像が露光(撮像)され、露光された画像を示す画像信号が画像処理LSI200aに読み出されるまでの処理の流れの一例について説明する。図2は、比較例に係る撮像装置の処理の流れについて説明するための説明図であり、機械式の先膜及び後膜を用いた所謂フォーカルプレーンシャッターを適用した場合の概略的なタイムチャートの一例を示している。なお、図2に示す例を、以降では比較例2と呼ぶ場合がある。
図2において、横軸は時間を示しており、縦軸は画素アレイ部111の行方向を示している。また、参照符号d910及びd911は、画素アレイ部111の各画素の露光期間を模式的に示している。なお、参照符号d910で示された露光期間は、参照符号d911で示された露光期間以前に撮像された画像の露光期間を示しているものとする。
ここで、被写体の画像が撮像される際の一連の処理の流れについて、露光期間d911に着目して説明する。まず、参照符号d901に示されたタイミングで、全画素に蓄積された画素信号がリセットされる。全画素のリセットが完了すると、参照符号d921に示すように、各画素への光の入射を遮蔽している先膜が行方向に移動することで、先膜により遮蔽されていた光が各画素に入射し、露光が開始される。
その後、参照符号d931に示すように、後膜が先行する先膜を追うように行方向に沿って移動することで、当該後膜が各画素への光の入射を遮蔽し、露光が終了する。即ち、各画素について、参照符号d921とd931とで示された期間T93が、当該画素における露光時間に相当し、図2に示す例では、行単位で、各画素の露光開始及び終了のタイミングが異なる。
また、図2における参照符号d941は、各画素からの画素信号の読み出しに係る処理を模式的に示している。即ち、図2に示した比較例2では、一連の画素について露光が完了した後に、各画素から画素信号が行単位で逐次読み出される。参照符号T95は、一連の画素からの画素信号の読み出しに係る処理の期間を示している。
即ち、図2に示す比較例2の場合には、一連の画素について露光が完了し、かつ、当該一連の画素から画素信号が読み出された後に、撮像された画像が生成されることとなる。換言すると、図2に示す比較例2の場合には、全画素のリセットが行われてから、一連の画素からの画像信号の読み出しが完了するまでの期間T91a中は、露光期間d911で撮像された画像を出力することが困難である。
なお、期間T91a中に、露光期間d910で撮像された画像を表示させることも可能である。しかしながら、以前に撮像された画像を、例えば、当該画像をモニタリング画像として表示させる場合には、実際にユーザが見ている被写体よりも以前の被写体の画像を出力することとなる。リアルタイム性に乏しい。
次に、図3を参照して、図1に示した撮像装置における、イメージセンサ100aにより被写体の画像が露光(撮像)され、露光された画像を示す画像信号が画像処理LSI200aに読み出されるまでの処理の流れの他の一例について説明する。図2は、比較例に係る撮像装置の処理の流れについて説明するための説明図であり、機械式の先膜及び後膜を用いずに、電子的に各画素の露光期間を制御する場合の概略的なタイムチャートの一例を示している。なお、図3に示す例を、以降では比較例3と呼ぶ場合がある。
図3において、横軸は時間を示しており、縦軸は画素アレイ部111の行方向を示している。また、参照符号d910及びd911は、図2と同様に、画素アレイ部111の各画素の露光期間を模式的に示している。参照符号d910で示された露光期間は、参照符号d911で示された露光時間以前に撮像された画像の露光時間を示しているものとする。
図3に示す比較例3では、各画素に蓄積された画素信号のリセットと、当該画素の露光開始とが同期している。即ち、参照符号d901に示すように、各画素のリセットが行単位で逐次実行され、各画素のリセットが完了すると、速やかに当該画素の露光が開始される。また、各画素の露光終了と、当該画素からの画素信号の読み出しとが同期している。即ち、参照符号d941に示すように、各画素の露光が終了すると、速やかに当該画素からの画素信号の読み出しが開始される。
このような構成により、図3に示す比較例3では、全画素の露光の完了を待たずに、各画素からの画素信号の読み出しを開始することが可能となる。そのため、図3に示す比較例3では、図2に示す比較例2に比べて、露光が開始されてから一連の画素からの画素信号の読み出しが完了するまでの期間T91bを短縮することが可能な場合がある。
一方で、図3に示す比較例3では、各画素間の走査速度が、参照符号d941で示された各画素からの画像信号の読み出しに係る速度に依存する。そのため、例えば、図1に示す、ストリームn0の伝送速度が制限されている場合には、撮像される画像の解像度が大きいほど、走査スピードが遅くなり、例えば、フォーカルプレーン歪みが発生する場合がある。なお、ストリームn0の伝送速度が制限される場合の一例としては、イメージセンサ100aと画像処理LSI200aとの間のバスの帯域が制限されている場合が挙げられる。
また、上記に示した比較例2及び比較例3のいずれにおいても、撮像された画像に対して画像処理を施す場合には、一連の画素からの画素信号の読み出しが完了し、当該画素信号に基づく画像を解析した後、当該解析結果に基づき画像処理を施すこととなる。
そのため、比較例2及び比較例3においては、撮像される画像の解像度が高くなるほど、露光から画素信号の読み出しに係る処理と、画素信号に基づく画像の解析に係る処理との処理時間が増大し、結果として、画像の出力に要する時間が増大することとなる。
画像の出力に要する時間(処理時間)が増大すると、表示部に画像が表示されない時間、所謂ブラックアウトと称される状態が発生する可能性がある。また処理時間中に、所謂スルー画像と称される画像を表示し続ける装置もある。この場合、スルー画像は、処理時間中は更新されず、フリーズしたような表示状態となる。ユーザによっては、何らかのエラーが発生したのかと戸惑ってしまう可能性がある。このような戸惑いをユーザが感じないようにするために、あえて黒画像を表示し、ブラックアウトのような状況を作り出す装置もある。
しかしながら、表示部に画面が表示されない時間(ブラックアウト)が発生したり、またはフリーズしたようなスルー画像が表示されたりすると、その間に被写体を見失うといった不都合が発生する可能性があった。このようなことから、ブラックアウトが発生する時間(フリーズしたようなスルー画像が表示される時間)が短縮されることが望まれていた。
そこで、本実施の形態に係る撮像装置は、撮像された画像をユーザが確認するために表示部に表示させる処理や、撮像された画像を解析し当該画像に対して画像処理を施して出力する処理等の、撮像された画像の出力に係る処理時間をより短縮する。
<本技術を適用した撮像装置の構成>
次に、図4を参照して、本実施の形態に係る撮像装置の概要について説明する。図4は、本開示の実施形態に係る撮像装置の概要について説明するための説明図である。なお、図4は、本実施の形態に係る撮像装置の概略的な構成について、イメージセンサ100と画像処理LSI200とに着目して示しており、その他の構成については図示を省略している。
図4に示すように、本実施の形態におけるイメージセンサ100は、フレームメモリ190を含む点で、図1に示した比較例1に係るイメージセンサ100aと異なる。参照符号n1及びn2は、イメージセンサ100と画像処理LSI200との間の信号の流れ(ストリーム)を模式的に示している。
また、本実施の形態に係る撮像装置は、図3に基づき説明した比較例3と同様に、機械式の先膜及び後膜を用いずに、電子的に各画素の露光期間を制御する。そのため、本実施の形態に係る撮像装置は、全画素の露光完了を待たずに、露光が完了した画素から画素信号を逐次読み出し可能に構成されている。
具体的には、図4に示す本実施の形態に係る撮像装置では、イメージセンサ100は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をA/D変換することで、被写体の撮像画像を示す画像信号を生成する。このとき、イメージセンサ100は、画素アレイ部111を構成する複数の画素のうち、少なくとも一部の画素からの画素信号に基づく画像信号を、ストリームn1として画像処理LSI200に出力する。
また、イメージセンサ100は、画素アレイ部111を構成する複数の画素それぞれからの画素信号をフレームメモリ190に一時的に記憶する。そして、イメージセンサ100は、フレームメモリ190に記憶された各画素の画素信号を逐次読み出し、読み出された画素信号に基づく画像信号を、ストリームn2として画像処理LSI200に出力する。
このような構成により、イメージセンサ100は、例えば、一部の画素からの画素信号に基づく低解像度の画像(即ち、間引き画像)をストリームn1とし、全画素からの画素信号に基づく高解像度の画像をストリームn2として、画像処理LSI200に出力することが可能となる。
なお、イメージセンサ100は、全画素からの画素信号をフレームメモリ190に一時的に保持させることが可能なため、ストリームn1とストリームn2とを、必ずしも同じタイミングで並列に画像処理LSI200に出力する必要はない。即ち、イメージセンサ100は、ストリームn1の出力後にストリームn2を出力することも可能である。もちろん、イメージセンサ100は、ストリームn1とストリームn2とを並列に画像処理LSI200に出力してもよいことは言うまでもない。
そのため、例えば、画像処理LSI200は、イメージセンサ100からストリームn1として先行して出力される画像信号(低解像度の画像)をプレビュー画像として表示部に表示させ、ストリームn2として出力される画像信号(高解像度の画像)を画像データとして記録媒体に記録することも可能である。
このような構成により、本実施の形態に係る撮像装置は、イメージセンサ100と画像処理LSI200との間の伝送速度が制限されている場合においても、前述した各比較例に比べて、露光の完了からプレビュー画像を表示するまでの時間(換言すると、画像の撮像後における画面が表示されない時間)を短縮することが可能となる。
画像の撮像後における画面が表示されない時間は、ブラックアウトなどと称されることがあるが、本実施の形態によれば、このブラックアウトの時間を短縮、もしくは0にすることが可能である。
上記したように、表示部に表示されるプレビュー画像用には、低解像度の画像の画像信号(ストリームn1)が用いられる。低解像度の画像の画像信号は、データサイズが小さいため、転送に係る時間や処理に係る時間を短縮することができる。
よって、プレビュー画像を、所定の間隔(プレビュー画像の更新レート)で、表示部に表示し続けることが可能となり、ブラックアウトが発生することを防ぐことが可能となる。
一方で、記録用の画像信号には、高解像度の画像信号(ストリームn2)が用いられる。高解像度の画像信号は、データサイズが大きいため、転送に係る時間や処理に係る時間は、ストリームn1より長くなってしまう。
仮に、ストリームn2をプレビュー画像に用いた場合、転送に係る時間や処理に係る時間が、プレビュー画像の更新レートよりも長くなり、プレビュー画像が更新されない状況が発生する可能性がある。このような状況は、プレビュー画像がフリーズしたような状態、またはブラックアウトが発生した状態となり、ユーザに不安感を与えてしまう可能性がある。
しかしながら、本技術によれば、上記したように、データサイズの小さいストリームn1を用いてプレビュー画像を表示部に表示させるため、プレビュー画像がフリーズしたり、ブラックアウトが発生したりするようなことを防ぐことが可能となる。
また表示部に画面が表示されない時間(ブラックアウト)が発生したり、表示されている画像がフリーズしたりすると、その間に被写体を見失うといった不都合が発生する可能性があったが、本実施の形態に係わる撮像装置によれば、ブラックアウトが発生する時間を短縮(0)することが可能なため、被写体を見失うといった不都合が発生する可能性を低減することが可能となる。
また、他の一例として、画像処理LSI200は、イメージセンサ100からストリームn1として先行して出力される画像信号(低解像度の画像)を解析し、当該解析の結果に基づき、ストリームn2として出力される画像信号(高解像度の画像)に対して画像処理を施すことも可能となる。
即ち、画像処理LSI200は、ストリームn1として出力される画像信号の解析と、ストリームn2として出力される画像信号の取得とを並行して実行することが可能となる。また、ストリームn1として低解像度の画像の画像信号を取得するため、全画素の画像信号を解析する場合に比べて、解析の対象となる画像信号の取得に係る時間と、当該解析自体に係る時間との双方を短縮することも可能となる。
そのため、本実施の形態に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。
また、前述した構成により、画像処理LSI200は、ストリームn1及びn2を時分割で取得することが可能なため、当該ストリームn1及びn2として、同じフレームで撮像された画像の画像信号を使用することが可能となる。そのため、本実施の形態に係る撮像装置は、異なるフレームで撮像された画像信号の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。
また、他の一例として、画像処理LSI200は、ストリームn1として低解像度の画像の画像信号をイメージセンサ100から逐次取得し、取得した当該画像に基づき動画像を生成してもよい。また、このとき、画像処理LSI200は、所望のフレーム(例えば、ユーザから指定されたフレーム)に対応する高解像度の画像の画像信号をストリームn2として取得し、取得した画像信号に基づき静止画像を生成してもよい。
このような構成により、本実施の形態に係る撮像装置は、動画像と静止画像との双方を同時に撮像し、かつ、静止画像として動画像よりも解像度の高い画像を記録することが可能となる。また、このとき、イメージセンサ100からは、所望のフレームについてのみ高解像度の画像の画像信号が出力される。そのため、本実施の形態に係る撮像装置は、イメージセンサ100と画像処理LSI200との間で伝送される画像信号の容量を最小限に抑えることが可能となり、ひいては、各画像の出力に要する時間を短縮することが可能となる。
図5を参照して、本実施の形態に係る撮像装置の構成の一例についてさらに説明する。図5は、本実施の形態に係る撮像装置の構成の一例を示したブロック図であり、前述したイメージセンサ100と画像処理LSI200とを同一筐体内に設けた場合の一例を示している。図5に示される撮像装置300は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
図5に示されるように撮像装置300は、レンズ部311、CMOSセンサ312、操作部314、制御部315、画像処理部316、表示部317、コーデック処理部318、及び記録部319を有する。
レンズ部311は、レンズや絞り等の光学系素子よりなる。レンズ部311は、制御部315に制御されて、被写体までの焦点を調整し、焦点が合った位置からの光を集光し、CMOSセンサ312に供給する。
CMOSセンサ312は、被写体を撮像するイメージセンサであり、制御部315に制御されて、入射光を光電変換し、各画素の画素値をA/D変換することにより、被写体の撮像画像のデータ(撮像画像)を得る。CMOSセンサ312は、制御部315に制御されて、その撮像により得られた撮像画像データを画像処理部316に供給する。
操作部314は、例えば、ジョグダイヤル(商標)、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部315に供給する。
制御部315は、操作部314により入力されたユーザの操作入力に対応する信号に基づいて、レンズ部311、CMOSセンサ312、画像処理部316、表示部317、コーデック処理部318、及び記録部319の駆動を制御し、各部に撮像に関する処理を行わせる。
画像処理部316は、CMOSセンサ312から供給された画像信号に対して、例えば、黒レベル補正や、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、及びYC変換等の各種画像処理を施す。この画像処理の内容は任意であり、上述した以外の処理が行われてもよい。画像処理部316は、画像処理を施した画像信号を表示部317及びコーデック処理部318に供給する。
表示部317は、例えば、液晶ディスプレイ等として構成され、画像処理部316からの画像信号に基づいて、被写体の画像を表示する。
コーデック処理部318は、画像処理部316からの画像信号に対して、所定の方式の符号化処理を施し、符号化処理の結果得られた画像データを記録部319に供給する。
記録部319は、コーデック処理部318からの画像データを記録する。記録部319に記録された画像データは、必要に応じて画像処理部316に読み出されることで、表示部317に供給され、対応する画像が表示される。
撮像装置300のCMOSセンサ312は、図4を参照して上述したイメージセンサ100に該当する。また撮像装置300の画像処理部316は、図4を参照して上述した画像処理部210に該当する。また、図4を参照して上述した画像処理部210(画像処理LSI200)に、撮像装置300のコーデック処理部318や制御部315などが含まれていても良い。
CMOSセンサ312は、1つの画素の信号の出力先とするADC(カラムADC)の数を選択する選択部(スイッチ)を有する。即ち、CMOSセンサ312は、このADCの数に応じて、より多様な画素信号を出力することができる。したがって撮像装置300は、その多様な画素信号を用いて、より多様な処理を実現することができる。
また、CMOSセンサ312は、フレームメモリ190を備え、全画素からの画素信号をフレームメモリ190に一時的に保持させることで、低解像度の画像と高解像度の画像とを、互いに異なるストリームn1及びn2として出力することができる。
また、画像処理部316は、図4を参照して上述した画像処理LSI200の画像処理部210に相当する。そのため、画像処理部316は、例えば、CMOSセンサ312から先行して出力される画像信号(低解像度の画像)をプレビュー画像として表示部に表示させ、次いで出力される画像信号(高解像度の画像)を画像データとして記録することが可能となる。
即ち、撮像装置300は、CMOSセンサ312と画像処理部316との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。
また、他の一例として、画像処理部316は、CMOSセンサ312から先行して出力される画像信号(低解像度の画像)を解析し、当該解析の結果に基づき、次いで出力される画像信号(高解像度の画像)に対して画像処理を施すことも可能となる。即ち、撮像装置300は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。
また、前述した構成により、画像処理部316は、高解像度の画像に対する画像処理に対して、先行して出力される当該画像と同じフレームに対応する低解像度の画像の解析結果を利用することが可能となる。そのため、撮像装置300は、異なるフレームで撮像された画像の解析結果に基づき画像処理を施す場合に比べて、画像処理の精度を向上させることが可能となる。
<撮像装置の動作>
次に、本実施の形態に係る撮像装置の動作について説明する。本実施の形態に係わる撮像装置の処理の流れの一例について、図4に示す概略的な構成の一例とあわせて、図6を参照して説明する。図6は、撮像装置の処理の流れの一例について説明するための概略的なタイムチャートである。
図6は、各画素での露光処理を示す画素制御と、フレームメモリ190への画素信号の入出力に係る処理を示すメモリ制御と、イメージセンサ100から画像処理LSI200への画素信号の伝送に係る処理を示す出力制御との関係を示している。図6において、横軸は時間を示している。また、画素制御、メモリ制御、及び出力制御として示したタイムチャートの縦軸は、対象となる画素信号の出力元である画素の行方向の位置を示している。
参照符号T11及びT12は、本実施の形態に係るイメージセンサ100における垂直同期信号の一例をフレームレートで示している。例えば、T11は、約30[fps]であり、T12は、約120[fps]である。なお、図6に示すように、期間T11は、1連の画素が露光を完了するために要する期間を示しており、期間T12は、一連の画素を走査するために要する走査期間に相当する。
また、参照符号d110〜d114は、画素アレイ部111の各画素の露光期間を模式的に示している。即ち、露光期間d110〜d114のそれぞれは、画素アレイ部111の各画素における露光を、行単位で時系列に沿って開始タイミングをずらしながら実行する処理の流れを、時系列に沿って模式的に示している。また、参照符号T13は、各画素の露光時間を示している。
参照符号d210〜d213は、露光期間d110〜d113のそれぞれにおいて、イメージセンサ100が、各画素から出力された画素信号をフレームメモリ190に書き込む処理(一時的に保持させる処理)の流れを示している。なお、以降では、参照符号d210〜d213で示された、フレームメモリ190への画素信号の書き込み処理を、単に「書き込み処理」と記載する場合がある。
また、参照符号d310〜d313は、イメージセンサ100が、画素アレイ部111を構成する複数の画素のうち、少なくとも一部の画素からの画素信号を、図4に示すストリームn1として、画像処理LSI200に出力する処理の流れを示している。なお、以降では、参照符号d310〜d313で示された、イメージセンサ100から画像処理LSI200への画像信号の出力処理を、「第1の出力処理」と呼ぶ場合がある。
また、参照符号d221〜d223は、イメージセンサ100が、フレームメモリ190に書き込まれた(一時的に保持された)画素信号を読み出す処理の流れを示している。なお、以降では、参照符号d221〜d223で示された、イメージセンサ100からの画像信号の読み出しに係る処理を、単に「読み出し処理」と呼ぶ場合がある。
また、参照符号d321〜d323は、イメージセンサ100が、フレームメモリ190から読み出した画素信号を、図4に示すストリームn2として、画像処理LSI200に出力する処理の流れを示している。なお、以降では、参照符号d321〜d323で示された、フレームメモリ190から読み出された画素信号が、イメージセンサ100から画像処理LSI200へ出力される処理を、「第2の出力処理」と呼ぶ場合がある。
図6に示すように、書き込み処理d211及び第1の出力処理d311は、露光期間d111の終了と同期して実行される。即ち、画素アレイ部111の各画素で露光が終了すると(即ち、露光期間d111が完了すると)、イメージセンサ100は、書き込み処理d211に示す処理タイミングで、各画素から出力される画素信号をフレームメモリ190に逐次書き込む。
また、一部の画素からの画素信号については、イメージセンサ100は、フレームメモリ190に向けて出力される画素信号を分波させて、一方の画素信号を第1の出力処理d310に示す処理タイミングで画像処理LSI200に直接出力する。また、分波された他方の画素信号については、イメージセンサ100は、当該画素信号をフレームメモリ190に書き込む。
このことは、d110、d112〜d114で示した他の露光期間完了後に、各画素から出力される画素信号についても同様である。
また、イメージセンサ100は、第1の出力処理d311の完了後に、書き込み処理d211においてフレームメモリ190に書き込まれた画素信号(例えば、全画素からの画素信号)を、読み出し処理d221が示す処理タイミングで逐次読み出す。そして、イメージセンサ100は、フレームメモリ190から読み出した画素信号を、第2の出力処理d321に示す処理タイミングで、画像処理LSI200に出力する。
このことは、d212及びd213で示した他の書き込み処理により、フレームメモリ190に書き込まれた画素信号(即ち、露光期間d112及びd113の完了後に出力された画素信号)についても同様である。
以上のような構成に基づき、イメージセンサ100は、一部の画素からの画素信号に基づく画像信号(低解像度の画像)と、全画素からの画素信号に基づく画像信号(高解像度の画像)とを、第1の出力処理d311及び第2の出力処理d321として時分割で画像処理LSI200に出力する。
そのため、画像処理LSI200は、例えば、第1の出力処理d311に基づき先行して出力される画像信号(低解像度の画像)をプレビュー画像として表示部に表示させ、次いで第2の出力処理d321に基づき出力される画像信号(高解像度の画像)を画像データとして記録することが可能となる。
即ち、本実施の形態に係る撮像装置は、イメージセンサ100と画像処理LSI200との間の伝送速度が制限されている場合においても、露光の完了からプレビュー画像を表示するまでの時間をより短縮することが可能となる。
また、画像処理LSI200は、第1の出力処理d311に基づき先行して出力される画像信号(低解像度の画像)を解析し、当該解析の結果に基づき、次いで第2の出力処理d321に基づき出力される画像信号(高解像度の画像)に対して画像処理を施すことも可能となる。即ち、本実施の形態に係る撮像装置は、露光の完了から、撮像された画像を解析し、当該解析結果に基づき撮像された画像に対して画像処理を施したうえで、画像処理後の画像を出力するまでの時間を短縮することが可能となる。
なお、上記に示す例では、露光期間d110〜d113それぞれで取得された画素信号に基づき、第1の出力処理d310〜d323を実行する例について説明したが、一部の露光期間で取得された画素信号については第1の出力処理を実行しなくてもよい。
例えば、図6に示す例の場合には、第1の出力処理d311を実行しなくてもよい。この場合には、露光期間d111で撮像された画素信号については、第2の出力処理d321に基づき高解像度の画像信号のみが画像処理LSI200に出力されることとなる。
同様に、一部の露光期間で取得された画素信号については第2の出力処理を実行しなくてもよい。例えば、図6に示す例では、露光期間d110で撮像された画素信号については、第1の出力処理d310に基づき低解像度の画像信号のみが画像処理LSI200に出力されることとなる。
また、第1の出力処理に基づき低解像度の画像のみを画像処理LSI200に出力する場合には、イメージセンサ100は、書き込み処理、即ち、フレームメモリ190への画素信号の書き込みに係る処理を必ずしも実行しなくてもよい。
さらに、図7を参照し、露光とスルー画像の表示のタイミングについて説明を加える。時刻t1から時刻t2の露光時間により、画像P1が撮像される。この画像P1は、スルー画像(ライブビュー)用に撮像された画像であり、ユーザの指示により撮像された画像ではないとする。
ライブビュー画像は、表示部に表示される画像であり、所定の間隔で撮像され、処理され、表示される画像である。
時刻t2において、露光が終了した時点で、イメージセンサ100の画素アレイ部111から、画像処理部210に画素信号に基づく画像信号が出力される。この場合、ライブビュー用の画像のため、低解像度の画像で良く、画素アレイ部111から低解像度の画像の画像信号(ストリームn1)が、画像処理部210に供給される。
時刻t2からイメージセンサ100から出力された画像信号が、画像処理部210で処理され、時刻t3から表示部に、処理された画像信号に基づく画像が表示される。図7では、イメージセンサ100から出力される画像信号(ストリームn1)を、LV(ライブビュー)と表記し、表示部に表示される画像をLV’と表記する。
この場合、時刻t2からイメージセンサ100から出力された画像信号LV1は、画像処理部210で処理されることで、時刻t3から時刻t6まで、表示部で、画像LV1’として表示される。
同じく、時刻t4から時刻t5の露光時間で撮像された画像P2の画像信号LV2は、露光終了時刻t5からイメージセンサ100から、画像処理部210に出力される。この場合、画像P2はライブビュー用の画像撮像であるため、フレームメモリ190に蓄積されずに、直接的に、イメージセンサ100から画像処理部210に出力される。
時刻t5からイメージセンサ100から出力された画像信号LV2は、画像処理部210で処理されることで、時刻t6から時刻t9まで、表示部で、画像LV2’として表示される。
時刻B1において、ユーザから撮像の指示、例えば、シャッターボタンが押下される等の所定の操作がされた場合、撮像が行われる。ユーザからの指示により時刻t7から時刻t8の露光時間で撮像された画像P3の画像信号は、ライブビュー用と、記録用とに分けられて処理される。
すなわち、時刻t7において、ライブビュー用の画像信号LV3は、イメージセンサ100から画像処理部210に直接的に、ストリームn1として出力される。一方で、記録用の画像信号CAP1は、時刻t7において、イメージセンサ100内の画素アレイ部111からフレームメモリ190に蓄積される。
フレームメモリ190に蓄積された画像信号CAP1は、時刻t7よりも後の時点で、例えば、図6を参照して説明したようなタイミングで、ストリームn2として、画像処理部210に出力される。
時刻t8からイメージセンサ100から出力された画像信号LV3は、画像処理部210で処理されることで、時刻t9から時刻t12まで、表示部で、画像LV3’として表示される。
このように、記録用の画像が撮像されたとき(キャプチャが行われたとき)に、ライブビュー用の画像信号LVとキャプチャ用の画像信号CAPをそれぞれ画素アレイ部111から出力し、処理するようにしたことで、ライブビュー用の画像が途切れることなく、表示し続けることが可能となる。
すなわち、図7に示したように、ライブビュー用の画像LV1’、画像LV2’、画像LV3’は、途切れることなく表示されるため、ブラックアウトが発生することなく、ユーザにライブビュー画像を提示し続けることが可能となる。
キャプチャが行われた後、ライブビュー画像の更新のタイミングになると、撮像が行われ、ライブビュー画像用の画像信号が取得される。時刻t10から時刻t11の露光時間で撮像された画像P4の画像信号LV4は、露光終了時刻t11からイメージセンサ100から、画像処理部210に直接的に出力される。
時刻t12からイメージセンサ100から出力された画像信号LV4は、画像処理部210で処理されることで、時刻t12から時刻t15まで、表示部で、画像LV4’として表示される。
さらに、ユーザからの撮像の指示がなく、ライブビュー画像の更新のタイミングになった場合、撮像が行われ、ライブビュー画像用の画像信号が取得される。またユーザからの撮像の指示があった場合、その指示に基づく撮像が行われる。
このように、ライブビュー画像の更新が行われることで、また、ユーザからの指示により撮像が行われときでも、ライブビュー画像用の画像信号と記録用の画像信号を分波して処理することで、ライブビュー画像を途切れることなく表示させ続けることが可能となる。
表示部に画面が表示されない時間(ブラックアウト)が発生すると、その間に被写体を見失うといった不都合が発生する可能性があったが、本実施の形態に係わる撮像装置によれば、ブラックアウトが発生する時間を短縮(0)にすることが可能なため、被写体を見失うといった不都合が発生する可能性を低減することが可能となる。
なお、図7では、位相差画素からの信号を処理するタイミングなどについては記載していないが、位相差画素を設け、その位相差画素からの信号が取得され、処理されるように構成することもできる。位相差画素は、例えば、画素アレイ部111内に設けられ、例えば、2個の位相差画素が1組とされ、その2個の位相差画素から得られる画像から位相差を検出することで、位相差情報を生成するための画素である。そして、その位相差情報を用いて、被写体に対するピント合わせが行われる。
例えば、位相差画素からの画素信号も、画素アレイ部111から読み出され、画像処理部210に供給され、位相差情報が生成される。例えば、画素アレイ部111から、画像信号LV1が読み出される前のタイミングで、位相差画素からの画素信号が読み出され、画像処理部210で処理され、位相差情報が生成される。
<撮像時のフィードバックについて>
ところで、上記したように、ブラックアウトが発生しない撮像の場合、ユーザは、撮像のタイミングや露光時間を把握できない(体感できない)可能性がある。従来、例えば、機械的なシャッターを用いて撮像されている場合や、画像信号の転送に時間が係る場合など、ブラックアウトが発生していたが、撮像者(ユーザ)によっては、このブラックアウトの発生で、指示した撮像が実行されたタイミングや露光時間を把握していることがあった。
ユーザによっては、ブラックアウトが発生することで、自己が指示した撮像が実行されていることを体感するユーザもいる。
よって、撮像者によっては、ブラックアウトがないことで、指示した撮像が実行されたタイミングや露光時間を把握できず、使い勝手が悪いと感じてしまう可能性がある。
そこで、指示した撮像が実行されたタイミングや露光時間を把握できるように、以下に説明するような処理が行われるようにしても良い。
例えば、図5に示した撮像装置300のように、表示部317を有し、その表示部317にライブビュー画像が表示される撮像装置の場合、ユーザは、撮像時に表示部317に表示されているライブビュー画像を見ながら撮像を行う。
この表示部317に、例えば、図8に示したようなマーク401が表示される。図8に示したマーク401は、表示部317の四隅に、それぞれ四角形状で表示されるマークである。
このマーク401は、一例として、ユーザが撮像を指示したときの撮像における露光時間の間、表示部317に表示される。例えば、図7を再度参照するに、時刻t7から時刻t8において、ユーザからの指示による撮像が行われるが、この時刻t7から時刻t8の間に、マーク401が表示部317に表示される。
このように、ユーザの指示による撮像が行われるときに、マーク401を表示することで、撮像者は、撮像時(露光時)に、マーク401を視認することができ、マーク401を視認することで、指示した撮像が実行されたタイミングや露光時間を把握することができる。
このようなマーク401の表示形態、表示のタイミングなどについて、以下に説明を加える。なお、以下の説明においては、マーク401の表示は、フィードバック表示と適宜記載し、撮像が行われていることをユーザに体感させるための表示であるとして説明を続ける。
なお、以下の説明において、フィードバック表示が行われるのは、ユーザが撮影を指示したときに行われ、例えば、その撮影の露光時間に応じた時間で表示されるため、単に“露光時間”と記述したときは、ユーザにより指示された撮影が行われた時の露光時間であり、ライブビュー画像を表示するための所定の周期で行われている撮影における露光時間ではないとする。同様に、以下の説明において、撮像とは、ユーザが指示したときに行われる撮像とし、撮像のタイミングとは、ユーザが指示した撮像が行われるタイミングであるとする。
<露光時間による表示時間の設定>
図9のフローチャートを参照し、露光時間によりフィードバックの表示時間を設定する場合について説明する。なお、以下の説明において、フィードバックに関する処理を行うのは、画像処理部210(図4)であるとして説明を続けるが、画像処理LSI200内に、フィードバックに関する処理を行う機能を、画像処理部210と別個に設けても良い。
ステップS101において、画像処理部210は、露光時間は、40msec以下であるか否かが判定される。露光時間の間、マーク401を表示するとした場合、露光時間が短い場合、マーク401を表示したとしても、ユーザが視認できない可能性がある。ここでは、40msec以下の時間であると、ユーザはマーク401を視認できないとして説明を続けるが、40msecは一例であり、他の時間であっても良い。
ステップS101において、露光時間≦40msecの関係が満たされると判定された場合、ステップS102に処理は進められる。ステップS102において、フィードバックの表示時間は、40msecに設定される。
ステップS102に処理が進められた場合、露光時間が40msec以下であるため、仮に、露光時間の間、マーク401を表示した場合、40msec以下の時間だけしか表示されず、ユーザはマーク401を視認できない可能性がある。そこで、露光時間は40msec以下であるが、マーク401(フィードバック)を表示する時間は、40msecとし、露光時間と同じまたは長い時間、表示されるように設定される。
ステップS102に処理が進められた場合、画像処理部210は、ストリームn1で画素アレイ部111から供給される画像信号に基づく画像上に、マーク401を重畳する処理を実行し、その重畳する時間を、40msecとする。例えば、画像処理部210は、タイマーを備え、マーク401の重畳を開始した時間から計時を開始し、その計時している時間が、40msecになった時点で、マーク401の重畳を停止する。
一方、ステップS101において、露光時間≦40msecの関係が満たされないと判定された場合、ステップS103に処理は進められる。ステップS103において、フィードバックの表示時間は、露光時間と同等の時間に設定される。なおここでは、露光時間と同等の時間に設定されるとして説明を続けるが、露光時間よりも長い時間が設定されるようにしても良い。
ステップS103に処理が進められた場合、露光時間が40msecより大きいため、露光時間の間、マーク401が表示されるように設定される。この場合、画像処理部210は、ストリームn1で画素アレイ部111から供給される画像信号に基づく画像上に、マーク401を重畳する処理を実行し、その重畳する時間を、露光時間とする。
ステップS103においても、ステップS102と同じく、例えば、画像処理部210は、タイマーを備え、マーク401の重畳を開始した時間から計時を開始し、その計時している時間が、露光時間と同一の時間になった時点で、マーク401の重畳を停止するようにしても良い。
このように、露光時間に応じて、マーク401の表示時間(フィードバックの表示時間)が制御される。
ここで、図9に示した処理が実行されることで、表示されるフィードバック表示について、図10、図11を参照して説明を加える。図10、図11は、露光、スルー画像の表示、およびフィードバック表示のタイミングについて説明するための図である。まず、図10を参照し、ステップS103において、フィードバック表示時間=露光時間に設定された場合について説明を加える。
時刻B1において、ユーザにより撮像が指示されると、その指示に対応した撮像が、時刻t7から時刻t8において行われる。すなわち、時刻t7において、露光が開始され、時刻t8において、露光が終了される。この時刻t7から時刻t8までの時間が露光時間であり、この露光時間が、40msec以下であるか否かが判定される。
判定の結果、露光時間は、40msec以下ではないと判定された場合、ステップS103において、フィードバック表示時間=露光時間に設定される。この場合、図10に示したように、フィードバック表示は、時刻t7から時刻t8まで、すなわち、露光時間と同等の時間だけ行われる。
図10では、時刻t7において露光が開始され、同タイミングで、フィードバック表示が行われる例を示したが、フィードバック表示は、同タイミングでなくても良い。例えば、フィードバック表示は、時刻t7より少し後の時点から開始されるようにしても良い。
次に図11を参照し、ステップS102において、フィードバック表示時間=40msecに設定された場合について説明を加える。
時刻B1’において、ユーザにより撮像が指示されると、その指示に対応した撮像が、時刻t7’から時刻t8’において行われる。すなわち、時刻t7’において、露光が開始され、時刻t8’において、露光が終了される。この時刻t7’から時刻t8’までの時間が露光時間であり、この露光時間が、40msec以下であるか否かが判定される。
判定の結果、露光時間は、40msec以下であると判定された場合、ステップS102において、フィードバック表示時間=40msecに設定される。この場合、図11に示したように、フィードバック表示は、時刻t7’から時刻t8”まで行われる。図11に示した例では、時刻t8”は、露光終了時刻である時刻t8’よりも後の時刻であり、時刻t7’から時刻t8”は、40msecである。
この場合、時刻t7’において、露光とフィードバック表示が開始されるが、時刻t8’において露光が終了され、その後、露光開始時刻t7’から40msec経過した時刻t8”において、フィードバック表示が終了される。
この場合も、図10に示した場合と同じく、時刻t7’において露光が開始され、同タイミングで、フィードバック表示が行われる例を示したが、フィードバック表示は、同タイミングでなくても良い。例えば、フィードバック表示は、時刻t7’より少し後の時点から開始されるようにしても良い。
このような制御が行われることで、上記したように、露光時間に係わらず、ユーザは、マーク401(フィードバック)を視認することができ、撮像が実行されているタイミングや、露光時間を把握することができる。
例えば、長時間露光の場合、マーク401が露光中、継続して表示部317に表示されるため、撮像者は、撮像が開始されたタイミング、撮像が継続されている期間(露光中)、撮像が終了したタイミングを、マーク401を視認することで把握することができる。
なお、長時間露光の場合、表示部317に表示されているライブビュー画像は、フリーズ画(露光開始前に撮像されていた画のまま、例えば、図10においては、画像LV2’)となる。また、フリーズ画が表示されるような状況が発生した場合、フリーズ画を表示しない代わりに、黒画像を挿入し、ブラックアウトの状態をあえて作り出す場合もある。また、フリーズ画が表示されるような状況のとき、表示部に、「現在露光中です」といったメッセージが表示される場合もある。
このような黒画像の表示やメッセージの表示は、例えば露光時間が所定の時間以上、例えば、1秒以上に設定された場合に行われる。
このようなフリーズ画(黒画像)が表示されるような状況のときに、仮にマーク401が表示されないと、撮像者は撮像が正常に行われているのか否かを把握できず、エラーが発生してフリーズ画(黒画像)が表示されていると誤った判断をしてしまう可能性がある。しかしながら、本技術によれば、撮像していることをユーザにフィードバックする表示がなされるため、撮像者が誤った判断をしてしまうようなことを防ぐことが可能となる。
例えば、連続撮像(連写)のような撮像が行われている場合、連写中の1回の撮像に係る露光時間は、短くなり、例えば、40msec以下になることもある。連写中であり、連写中の1回の撮像に係る露光時間が40msec以下になるような場合、露光時間よりもフィードバックが表示される時間が長くなるため、撮像回数よりも、フィードバック(マーク401)が表示される回数が少なくなる場合がある。
例えば、図12に示すように、連続撮影で、5枚の画像が撮像される場合を例に挙げて説明する。時刻t31から時刻t32の露光時間で、画像P11が撮像され、時刻t34から時刻t35の露光時間で、画像P12が撮像され、時刻t37から時刻t38の露光時間で、画像P13が撮像され、時刻t40から時刻t41の露光時間で、画像P14が撮像され、時刻t43から時刻t44の露光時間で、画像P15が撮像される。
これらの画像P11乃至P15の各画像が、撮像されたときの露光時間は、全て40msec以下であったとする。この場合、1回のフィードバック表示時間は、40msecに設定されるため、図12に示したように、例えば、3回のフィードバック表示が行われる。
例えば、図12に示したように、画像P11の撮像が開始された時刻t31から、フィードバック表示FB31の表示も開始され、40msec表示される。同様に、画像P13の撮像が開始された時刻t37から、フィードバック表示FB32の表示も開始され、40msec表示される。同様に、画像P15の撮像が開始された時刻t43から、フィードバック表示FB33の表示も開始され、40msec表示される。
このように、3回のフィードバック表示が行われる。すなわちこの場合、5枚の連続撮影に対して、3回のフィードバック表示が行われる。
なおここでは、フィードバック表示が行われる最低表示時間(40msec)が設定されている場合を例に挙げて説明したが、フィードバック表示が行われない最低非表示時間も設定されているようにしても良い。例えば、図12において、時刻t51から時刻t37の間は、フィードバック表示が行われないが、この時間は、予めフィードバック表示が非表示の時間として設定されている時間を満たすような時間とされているようにしても良い。
最低表示時間と最低非表示時間を設けるようにし、フィードバック表示の視認性が確保されるように構成することも可能である。
このように、撮像回数よりもフィードバック表示の回数が少なくなるようなことがあっても良い。
また連写の場合、例えば、マーク401は、点滅するような表示となる場合もある。例えば、図13に示すように、連続撮影で、5枚の画像が撮像される場合を例に挙げて説明する。時刻t51から時刻t52の露光時間で、画像P21が撮像され、時刻t54から時刻t55の露光時間で、画像P22が撮像され、時刻t57から時刻t58の露光時間で、画像P23が撮像され、時刻t60から時刻t61の露光時間で、画像P24が撮像され、時刻t63から時刻t64の露光時間で、画像P25が撮像される。
これらの画像P21乃至P25の各画像が、撮像されたときの露光時間は、全て40msecより大きい時間であったとする。この場合、フィードバック表示時間は、露光時間に設定されるため、図13に示したように、各撮像に対応し、5回のフィードバック表示が行われる。
例えば、図13に示したように、画像P21の撮像が開始された時刻t51から、フィードバック表示FB51の表示も開始され、時刻t52まで表示される。同様に画像P22の撮像が開始された時刻t54から、フィードバック表示FB52の表示も開始され、時刻t55まで表示される。
同様のフィードバック表示が繰り返されることで、画像P25の撮像が開始された時刻t63から、フィードバック表示FB55の表示も開始され、時刻t64まで表示される。
このように、5回のフィードバック表示が行われる。すなわちこの場合、5枚の連続撮影に対して、5回のフィードバック表示が行われる。よって、マーク401は、点滅しているような表示となる。
マーク401が点滅することで、撮像者は、連写が行われていることを体感することができる。よって、上記した場合と同じく、連写などの場合にも、本技術によれば、撮像が実行されているタイミングや、露光時間を把握することができる。
このようにフィードバック表示が点滅しているような表示となるような場合、同一のマークが、同一の位置に表示されるようにしても良い。また同一のマークであるが、その表示される位置が移動されて表示される(点滅する毎に、表示位置がずらされる)ようにしても良い。さらに、点滅する毎に、異なるマークがされるようにしても良い。このように、連写のときには、フィードバック表示の表示が変化するようにし、連写であることをよりユーザに認識させることができる表示としても良い。
なお、連写の場合、連写の開始と終了のときのみフィードバック表示が行われるようにしても良い。上記したように、連写の場合、マーク401が点滅しているような表示がなされる。そのような表示は、撮像者によっては目障りになるような可能性がある。
そこで、例えば、連写のモードに設定されているときには、撮像ボタンが操作されたときに、所定の時間、例えば40msec以上の時間、マーク401が表示され、操作ボタンの操作が終了したとき、または撮像可能枚数に達したとき(達する前)に、所定の時間、例えば40msec以上の時間、マーク401が表示されるようにしても良い。
または、連写の開始から終了まで、フィードバック表示が表示し続けられるようにしても良い。
このように、モードによりフィードバックの表示時間や、表示回数などが制御されるようにしても良い。
<露光開始時、終了時の処理>
次に、露光開始時と終了時の処理について、説明を加える。まず図14のフローチャートを参照し、露光開始時の処理について説明する。
ステップS201において、フィードバック表示中であるか否かが判定される。ステップS201において、フィードバック表示中であると判定された場合、ステップS202に処理が進められ、表示中であるフィードバック表示(例えば、図8に示したマーク401)が消去される。
そして、ステップS203において、タイマーがリセット(0に設定)される。このタイマーは、上記したように、フィードバック表示を行う時間を計時するためのタイマーである。
一方、ステップS201において、フィードバック表示中ではないと判定された場合、または、ステップS203における処理が終了された場合、ステップS204に処理は進められる。
ステップS204において、フォーカスモード(Focus Mode)は、AF−Cであるか否かが判定される。フォーカスモードには、例えば、AF−CとAF−Sがある。AF−Cは、コンティニュアスオートフォーカスと称されるモードであり、シャッターボタンが半押しされている間、ピント合わせが続けられるモードである。
AF−Sは、シングルオートフォーカスと称されるモードであり、シャッターボタンが半押しされ、一度ピントが合わせられると、半押しされている間、ピントが固定されるモードである。
ステップS204において、フォーカスモード=AF−Cであると判定された場合、ステップS205に処理が進められる。ステップS205において、合焦が成功したか否か(ピントが合ったか否か)が判定される。ステップS204において、合焦が成功したと判定された場合、ステップS206に処理が進められる。
ステップS206において、合焦位置を表示中であるか否かが判定される。ステップS206において、合焦位置を表示中であると判定された場合、ステップS207に処理が進められる。ステップS207において、AF枠に追従した位置にフィードバック表示がされる。AF枠は、オートフォーカスのフォーカスがあたっている被写体(ピントが合っている被写体)部分に表示される枠である。
AF枠に追従した位置にフィードバック表示がされた場合の画面例を図15に示す。図15に示した画面例において、表示部317の中央部分に表示されているカギ括弧(『』)の形状が、AF枠501である。そのAF枠501を囲むように四角形状でマーク402(フィードバック表示)がされている。図15に示したように、AF枠501の近傍に、マーク402を表示することで、フィードバック表示が行われるようにしても良い。
また、図15では、表示部317の中央部分にAF枠501が表示されている例を示したが、このAF枠501は、AF−Cモードである場合、移動する可能性があり、AF枠501の移動に合わせて、マーク402の表示位置も移動する。すなわち、AF枠501に追従した位置に、マーク402は表示される。
このようにフォーカスモードがAF−Cモードである場合に、AF枠501に追従してマーク402を表示するのは、AF−Cモードである場合、撮像者の視線は、動く被写体に集中していると考えられるからである。AF−Cモードの場合、動く被写体が被写体とされ、その動く被写体にAF枠501が表示される。よって、そのような撮像者が注視している領域にフィードバック表示が行われるように、AF枠501の近傍に、マーク402が表示される。
このような表示がなされるように、ステップS204において、フォーカスモードがAF−Cモードであるか否かが判定される。
また、AF−Cモードであっても、合焦に失敗している場合、撮像者が目的とする被写体が撮像されていない可能性が高い。そのようなときにフィードバック表示が行われないように制御される。
このような表示の制御がなされるように、ステップS205において、合焦は成功しているか否かが判定される。
また、AF−Cモードであり、合焦が成功している状態であっても、合焦位置が表示されていない場合、換言すれば、AF枠501が表示されていない場合、マーク402だけが表示されることになる。このような場合、撮像者は、急に、マーク402だけが表示されたことを視認することになり、撮像者に違和感を与えてしまう可能性がある。そのようなときにフィードバック表示が行われないように制御される。
このような表示の制御がなされるように、ステップS206において、合焦位置は表示されているか否かが判定される。
そして、上記したように、AF−Cモードであり、合焦が成功し、合焦位置が表示されているときには、AF枠501に追従した位置にフィードバック表示が行われる。
一方で、ステップS204において、フォーカスモードは、AF−Cモードではないと判定された場合、ステップS205において、合焦は成功していないと判定された場合、または、ステップS206において、合焦位置は表示されていないと判定された場合、ステップS208に処理は進められる。
ステップS208において、固定位置にフィードバック表示を行うと設定される。固定位置にフィードバック表示が行われる場合、例えば、図8に示したように、表示部317(画面)の四隅にマーク401が表示されることでフィードバック表示が行われる。図8に示したフィードバック表示例は、画面の四隅にマーク401が表示され、このマーク401は、AF枠501(図15)には追従せずに、画面内で表示位置が固定されている例である。
このように、フィードバック表示は、オートフォーカスのモードにより、表示方式が変更されるようにすることができる。換言すれば、フィードバック表示は、複数の表示方法があり、オートフォーカスのモードにより、複数の表示方法から、最適な表示方法が選択され、その選択された表示方法で表示がなされるようにすることができる。
また、複数の表示方法から、最適な表示方法が選択されるように構成した場合、選択するための条件は、オートフォーカスのモードの他に、連写であるか、長時間露光であるかなどの複数の条件が加味されて選択されるようにすることができる。
なお、複数の表示方法として、ここでは、図8に示した画面の四隅にマーク401を表示させる方法と、図15に示したAF枠501に追従してマーク402を表示させる方法を例示したが、他の表示方法については、後述する。
図14に示した例では、撮像者が注視している領域があると判定されるときには、その注視している領域にフィードバック表示が行われ、そのような注視している領域が特定されないときには、撮像者の邪魔にならないような領域にフィードバック表示が行われる。
図14のフローチャートの処理に説明を戻し、ステップS207またはステップS208において、フィードバック表示の方式が設定され、その設定に基づいたフィードバック表示が開始されると、ステップS209に処理が進められる。
ステップS209において、タイマーの計時が開始される。タイマーは、上記したように、露光時間が短い場合などに、フィードバック表示の視認性を確保するために、一定時間、フィードバック表示が継続されるようにするために設けられている。例えば、上記した例では、40msecを計時するタイマーとされる。
露光開始時には、図14に示したような処理が実行されることで、フィードバック表示が開始される。そして、露光終了時には、図16に示すようなフローチャートに基づく処理が行われる。
ステップS251において、タイマーがカウント中であるか否かが判定される。ステップS251において、タイマーがカウント中であると判定された場合、露光終了時の処理は終了される。即ちこの場合、タイマーがカウント中であるため、フィードバック表示は、露光が終了したとしても、継続される。
一方、ステップS251において、タイマーはカウント中ではないと判定された場合、ステップS252に処理は進められる。ステップS252において、フィードバック表示は消去される。
このように、露光終了時に、タイマーによる計時が継続されているときには、そのままフィードバック表示も継続され、タイマーによる計時が終了されているときには、その時点で行われていたフィードバック表示は、消去される。
このように、フィードバック表示がタイマーにより計時される時間により制御される場合、図17に示すフローチャートの処理も実行される。図17に示したフローチャートは、タイマーの計時終了時の処理について説明するためのフローチャートである。
ステップS301において、露光中であるか否かが判定される。タイマーによる計時が終了した時点で、露光中であると判定された場合、タイマーの計時終了時の処理は終了される。この場合、タイマーの計時は終了したが、露光が継続されているため、フィードバック表示も継続される。
一方、ステップS301において、露光中ではないと判定された場合、ステップS302に処理は進められる。ステップS302において、フィードバック表示は消去される。
このように、タイマーによる計時が終了されたときに、露光が継続されているときには、そのままフィードバック表示も継続され、露光が終了されているときには、その時点で行われていたフィードバック表示は、消去される。
図9に示したフローチャートを参照して説明したように、露光時間に応じて、フィードバック表示の時間が設定される場合、具体的には、露光時間が40msec以下のときには、フィードバック表示が40msec継続されるとして設定される場合、タイマーにより40msec計時され、40msec経過した時点で、フィードバック表示が消去される。この場合、図17に示したタイマーの計時終了時の処理が実行されることで、フィードバック表示が消去される。
また図9に示したフローチャートを参照して説明したように、露光時間に応じて、フィードバック表示の時間が設定される場合、具体的には、露光時間が40msecより大きいときには、フィードバック表示が露光時間中継続されるとして設定される場合、露光時間が終了した時点で、フィードバック表示が消去される。この場合、図16に示した露光終了時の処理が実行されることで、フィードバック表示が消去される。
<フィードバックの表示位置の設定処理>
図18に示したフローチャートを参照し、フィードバックの表示位置の設定に係わる処理について説明する。図14に示した露光開始時の処理に係わるフローチャートを参照して説明したように、フィードバック表示は、AF枠501(図15)に追従して行われるか、AF枠501に追従せずに固定の位置で行われる。このような追従した表示または固定した表示のどちらで表示するかは、図14を参照して説明したように設定することもできるが、図18に示したフローチャートに基づき設定されるようにすることもできる。
ステップS401において、フィードバック表示位置は、固定に設定される。即ちこの場合、デフォルトとして、フィードバック表示位置は、固定とされている。
ステップS402において、フォーカスモードは、AF−Cであるか否かが判定され、ステップS403において、合焦は成功しているか否かが判定され、ステップS404において、合焦位置を表示しているか否かが判定される。このステップS402乃至S404の処理は、図14に示したフローチャートにおけるステップS204乃至S206の処理と、基本的に同一の処理であるため、ここではその説明は省略する。
フォーカスモードがAF−Cであり、合焦が成功しており、合焦位置が表示中である場合、ステップS405において、フィードバック表示位置は、AF枠に追従すると設定される。すなわち、この場合、図14を参照して説明したように、撮像者が注視している領域があると判定される場合には、その領域にフィードバック表示が行われるように設定される。
図18に示したフローチャートの処理によると、フィードバック表示位置は、デフォルトとしては固定であるが、撮像者が注視している領域があると判定される場合には、その領域にフィードバック表示が行われる。
このように、フィードバック表示位置が設定されるようにしても良い。
なお、上記したように、フィードバック表示の位置や、その表示内容は、所定の条件により変更される例を示したが、上記した条件以外により、フィードバック表示の位置や、その表示内容が変更されるようにしても良い。
また、上記したような条件を設けず、フィードバック表示は、常に同じフィードバック表示が行われるようにすることも可能である。
<フィードバック表示の他の例>
上述した実施の形態の説明においては、フィードバック表示について、図8と図15を参照して説明した。さらに他のフィードバック表示について説明する。
図19は、フィードバック表示の他の表示例を示す図である。図19に示したフィードバック表示は、画面の上辺と下辺に線状のマーク403が表示されている。
このように、画面の上下に、それぞれ線上のマーク403を表示することで、フィードバック表示を行うと、画面の中央部分は、撮像されている画像を表示した状態を維持できるため、撮像者がマーク403を邪魔に感じるような表示となるようなことを防ぐことができる。
一方で、マーク403が表示されることで、上述した実施の形態と同じく、撮像のタイミングや露光時間を撮像者に把握させることができ、撮像が行われていることを体感させることが可能となる。
線状のマーク403の線の太さは、撮像者の邪魔にならず、かつフィードバックが確実に行われる太さに設定される。また、上辺に表示されるマーク403の太さと、下辺に表示されるマーク403の太さは、同一の太さであっても良いし、一方が他方より太く表示されるようにしても良い。
また、図19に示したフィードバック表示では、画面の上辺と下辺に線状のマーク403が表示される例を示したが、画面の左辺と右辺に線状のマーク403が表示されるようにしても良い。
画面の上辺と下辺に線状のマーク403が表示される場合と、画面の左辺と右辺に線状のマーク403は、撮像装置の向きに応じて切り替えられるようにしても良い。例えば、画面が横長の場合(撮像装置が横持ちされている場合)、画面の上辺と下辺に線状のマーク403が表示され、画面が縦長の場合(撮像装置が縦持ちされている場合)、画面の左辺と右辺に線状のマーク403が表示されるといったように、撮像装置の向きにより、フィードバック表示が切り替えられるようにしても良い。
図20は、フィードバック表示の他の表示例を示す図である。図20に示したフィードバック表示は、画面の上辺、下辺、左辺、右辺に線状のマーク404が表示され、四角形状のマーク404を形成している。換言すれば、画面(表示部317)の表示枠と同一形状(四角形状)であり、画面の枠に沿った位置に、所定の太さの線(画面の枠に沿った形状)で描画されるマーク404が表示されている。
このように、画面の枠に沿った位置にマーク404を表示することで、画面の中央部分は、撮像されている画像を表示した状態を維持できるため、撮像者がマーク404を邪魔に感じるような表示となるようなことを防ぐことができる。
一方で、マーク404が表示されることで、上述した実施の形態と同じく、撮像のタイミングや露光時間を撮像者に把握させることができ、撮像が行われていることを体感させることが可能となる。
マーク404の線の太さは、撮像者の邪魔にならず、かつフィードバックが確実に行われる太さに設定される。また、各辺に表示されるマーク404の太さは、同一の太さであっても良いし、異なる太さであっても良い。例えば、左右にそれぞれ表示される線は同一の太さであり、上下にそれぞれ表示される線は同一の太さであるが、左右に表示されている線の太さと上下に表示されている線の太さは異なるようにしても良い。
図20に示したマーク404は、画面内の側壁に表示されるが、図21に示すように、画面内の中央付近に表示されるようにしても良い。図21は、フィードバック表示の他の表示例を示す図である。図21に示したフィードバック表示は、画面内に、四角形状のマーク405が表示されている。
このように、画面内にマーク405を表示することで、フィードバック表示を行うと、マーク405以外の画面内においては、撮像されている画像を表示した状態を維持できるため、撮像者がマーク405を邪魔に感じるような表示となるようなことを防ぐことができる。しかしながら、仮にマーク405の線を太くすると、撮像者が、マーク405を邪魔に感じる可能性があるため、マーク405の線の太さは、例えば、マーク404(図20)の線の太さよりも細く表示される。
このように、フィードバック表示として表示されるマークの線の太さは、表示される位置により異なるようにしても良い。また、表示される位置により異なるようにした場合、画面の中央部分に近い位置の場合には細く、画面の中央部分から離れた位置の場合、太く表示されるようにすることができる。
一方で、マーク405が表示されることで、上述した実施の形態と同じく、撮像のタイミングや露光時間を撮像者に把握させることができ、撮像が行われていることを体感させることが可能となる。
図21に示したマーク405は、四角形状であるが、図22に示したように、円形状のマーク406であっても良い。
図21や図22に示したように、画面の中央部分にフィードバック表示を行う場合、そのフィードバック表示の形状(マークの形状)は、図21に示した四角形状であっても良いし、図22に示した円形状であっても良い。また、図示はしないが、四角形状や円形状以外の形状、例えば、多角形などであっても良い。
また、図23に示したように、同一形状のマーク407が複数表示されるようにしても良い。図23に示したマーク407は、中心を同じくする大きさの異なる3個の四角形状の図形が表示されている。なお、上記した場合と同じく、図形としては、四角形状以外に円形状や、多角形状などであっても良い。
このように、同一形状の複数の図形がフィードバック表示として表示されるようにしても良い。
また、図23に示したマーク407は、中心を同じくする大きさの異なる3個の四角形状の図形が同時に表示される例を示したが、異なるタイミングで表示されるようにしても良い。換言すれば、フィードバック表示は、静止画像のように表示されるだけでなく、動画像のように表示されるようにすることも可能である。
例えば、図23に示した四角形状のマーク407を一例として説明するに、時刻t1のときにマーク407−1が表示され、時刻t2のときに、マーク407−1が消去される一方で、マーク407−2が表示され、時刻t3のときに、マーク407−2が消去される一方で、マーク407−3が表示される。
このように、画面の中心から、徐々に外側にマーク407が移動するような表示がなされても良い。または、画面の端から、徐々に中央にマーク407が移動するような表示であっても良い。
また、時刻t1のときにマーク407−1が表示され、時刻t2のときに、マーク407−2がさらに表示され、時刻t3のときに、マーク407−3がさらに表示されるようにしても良い。
図24は、フィードバック表示のさらに他の表示について説明するための図である。図24に示したフィードバック表示は、画面の中央部分に、横棒がマーク408として表示されている。図24に示したように、線状のマーク408を画面内に表示しても良い。また、線の方向は、画面の横方向であっても良いし、縦方向であっても良い。
また、図24に示した位置に、静止画像のように表示されても良いし、図25に示すように動画像のように表示されても良い。動画像のようにマーク408が表示される場合、例えば、横方向の線状のマーク408’が、画面の上側から、下側方向に時間経過とともに、徐々に移動しながら表示されるようにしても良い。または、横方向の線状のマーク408(不図示)が、画面の下側から、上側方向に時間経過とともに、徐々に移動しながら表示されるようにしても良い。
また、線状のマーク408’が、例えば、画面の上側から下側まで移動するときの移動時間は、露光時間と同等の時間、または上記した例では、40msecとすることができる。なお、マーク408のように、所定の図形が移動するフィードバック表示の場合の移動時間は、露光時間に係わらず一定の時間(固定された時間)であっても良い。
図26は、フィードバック表示のさらに他の表示について説明するための図である。図26に示したフィードバック表示は、画面の下部部分に、インジケータがマーク409として表示されている。例えば、連写の場合、インジケータがマーク409として表示されるようにすることができる。
インジケータの長さは、連写時の最大枚数を表す長さ(バッファの残り容量を表す長さ)とし、例えば、図26に示した例では、撮像枚数が増えるにともない、ゲージが図中下方向から上方向に移動する表示がされ、上端に達したときに最大撮像枚数が撮像されたことを示す。また、インジケータの下部には、残り撮影枚数を表す数値も表示されている。ユーザは、マーク409(数値)を視認することで、連写が行われていることや、残り枚数を直感的に認識することができる。
なお数値は、撮像枚数、または撮像可能な残り枚数を表す数字とし、フィードバック表示として、インジケータの下部ではなく、画面の所定の位置に表示するようにしても良い。また、数値のみが、フィードバック表示として表示されるようにしても良いし、インジケータのみが、フィードバック表示として表示されるようにしても良い。
また、図27に示すようなフィードバック表示が行われるようにしても良い。図27の左図に示したように、露光中には、AF枠501と略同じ大きさの枠410が表示される。そして、露光終了後に、図27の右図に示すように、AF枠501よりも少し大きい枠410’に、表示が切り替えられる。
すなわちこの場合、露光中に枠410が表示され、露光完了後に、その枠410が少し広げられた枠410’へと切り替わるフィードバック表示が行われる。この枠410から枠410’へ表示が切り替えられるとき、アニメーション表示とされても良い。
なお、図27では、AF枠501が表示され、そのAF枠501に該当する大きさで枠410が表示される例を示したが、枠410は、AF枠501に係わらず、一定の大きさや所定の位置に表示されるようにしても良い。
また、図示はしないが、表示されていた枠410がフェードアウトするようなアニメーション表示がされるようにしても良い。
このような表示が行われることで、残像を表現するような表示を行うことができ、露光時間が短い場合の視認性を高めた表示を行ったり、表現の効果を高めるような表示を行ったりすることができる。
AF枠501に追従してフィードバック表示がされる場合、例えば、図15を参照して説明したが、図15では、1つのAF枠501が表示されている場合を例に挙げて説明した。複数の被写体に焦点が合わされ、複数のAF枠501が表示される場合もある。
複数のAF枠501が表示される場合、複数のAF枠501に、枠402(図15)がそれぞれ表示されるようにしても良いし、図28に示すように、複数のAF枠501を囲むような枠が表示されるようにしても良い。
図28に示したフィードバック表示は、AF枠501−1とAF枠501−2が表示され、そのAF枠501−1とAF枠501−2を囲む四角形で、枠411が表示されている。このように、複数のAF枠501が表示される場合には、それらを囲む枠411が表示されることで、フィードバック表示が行われるようにしても良い。
また、図27を参照して説明したように、枠411は、露光時に表示され、露光終了後、少し拡大されて表示されるようにしても良い。
上記した実施の形態においては、枠、例えば、枠411(図28)などは、実線で表示される例を示したが、破線、一点鎖線など、実線以外の線種で表示されるようにしても良い。
上記したようなマークがフィードバック表示として画面に表示される。また、上記したようなマーク以外のマーク、例えば、シャッターの先幕や後膜をイメージさせるような動画像がフィードバック表示として表示されるようにしても良い。
また、上記したマークが、所定の条件で選択的に選択され、表示されるようにしても良い。例えば、風景を撮像している場合や、ポートレイトを撮像している場合などには、被写体の視認性を優先し、例えば、図8に示したマーク401、図19に示したマーク403、図20に示したマーク404など、画面の中央部分にマークが表示されないフィードバック表示が選択される。
また、例えば、動体を撮像している場合などは、フィードバック表示の認知性を優先し、例えば、図15に示したマーク402のように、AF501に追従するような表示や、図21に示したマーク405や図22に示したマーク406などのように、画面の中央部分にマークが表示されるフィードバック表示が選択される。
なお、図21や図22に示したマーク405(マーク406)は、AF枠501に追従して表示されるようにすることも可能である。
また、ユーザが好みのフィードバック表示を選択、設定できるように構成することも可能である。
上記した実施の形態においては、マークの色(フィードバック表示の色)については記載していないが、マークの色は、図に示したような黒であっても良いし、黒以外の色であっても良い。また透明色であっても良い。フィードバック表示を透明色で行うようにした場合、スルー画像が透けて見えるため、被写体を視認しやすい状態で、フィードバック表示を行うことができる。
またフィードバック表示の色は、固定(例えば黒色)とされていても良いし、可変とされていても良い。可変とした場合、例えば撮像されている画像の色により、マークの色が設定されるようにしても良い。例えば、撮像されている画像の輝度が高い場合、マークは黒で表示され、撮像されている画像の輝度が低い場合、マークは白で表示されるようにしても良い。
また、上記した実施の形態においては、画面が横長の場合(撮像装置が横持ちされている場合)を例に挙げて説明したが、画面が縦長の場合(撮像装置が縦持ちされている場合)であっても、本技術を適用することはできる。
また、撮像装置が横持ちにされている場合と縦持ちにされている場合とで、フィードバック表示の仕方が異なるようにしても良いし、同一にしても良い。
例えば、図25に示した線形上のマーク408が動画像のように表示される場合、横持ちの場合には、上下方向(例えば、下から上方向)に、マーク408が移動するような表示がなされる。撮像装置が縦持ちされた場合、縦持ちされた状態の画面で、上下方向にマーク408が移動するよう表示がなされる。
この場合、マーク408が上下方向に移動するという点では、撮像装置が横持ちにされている場合と縦持ちにされている場合とで、フィードバック表示の仕方は同一である。またこの場合、縦持ちのときの上下方向は、横持ちのときの左右方向に該当するため、仮に、横持ちのときを基準に考えた場合、異なる方向にマーク408が移動することになるため、この点ではフィードバック表示の仕方は異なる。
または、縦持ちされた状態の画面で、左右方向にマーク408が移動するよう表示がなされるようにしても良い。
この場合、マーク408が左右方向に移動するという点では、撮像装置が横持ちにされている場合と縦持ちにされている場合とで、フィードバック表示の仕方は異なる。またこの場合、縦持ちのときの左右方向は、横持ちのときの左右方向に該当するため、仮に、横持ちのときを基準に考えた場合、同一方向にマーク408が移動することになるため、この点ではフィードバック表示の仕方は同一である。
上記したフィードバック表示(マーク401乃至409)は、単独で用いることができるとともに、組み合わせて用いることも可能である。例えば、図8に示したフィードバック表示(マーク401)だけを行うようにしても良い、図8に示したフィードバック表示(マーク401)と図15に示したフィードバック表示(マーク402)が、所定の条件により切り分けられて用いられるようにしても良い。
すなわち、複数のフィードバック表示を用意しておき、選択的に用いられるようにすることも可能である。また、複数のフィードバック表示が同時に行われる、例えば、マーク401とマーク405が同時に表示されるフィードバック表示とすることも可能である。
なお、上記したフィードバック表示が行われるととともに、シャッター音を擬似的に出すようにしても良い。
なお、上記したマークの他のフィードバック表示として、ブラックアウト時の表示を擬似的に作り出しても良い。例えば、マークを撮像されている画面に重畳する場合と同じく、撮像されている画面に、黒色の画面を重畳することで、擬似的なブラックアウトを発生させるようにしても良い。
このようにした場合、従来からあるブラックアウトに慣れ親しんできたユーザに対して、擬似的なブラックアウトを提示することが可能となる。
上記したフィードバック表示においては、画面の一部にマークを表示する例を挙げて説明したが、画面全体で、フィードバック表示が行われるようにしても良い。例えば、フィードバック表示として、画面全体の明度や彩度を上げる、または下げるようにしても良い。換言すれば、画面全体を明るくしたり、暗くしたり、モノクロ表示にしたり、色を反転させたりすることで、フィードバック表示が行われ、ユーザに撮像が行われていることを体感させる表示が行われるようにしても良い。
上記したフィードバック表示は、ライブビュー画像上に表示される場合を例に挙げて説明したが、表示部内で、ライブビュー画像が表示されない領域に、フィードバック表示がされたり、またはフィードバック表示専用の表示部を設け、その表示部にフィードバック表示がされたりする構成とすることも可能である。
上記したフィードバック表示として表示されるマーク、擬似的なシャッター音、擬似的なブラックアウトなどは、ユーザにより好みの設定がなされ、その設定に基づいてフィードバック表示が行われるようにすることも可能である。またユーザによりされた設定により、上記した複数のフィードバック表示が組み合わされたり、切り替えられたりするように構成することも可能である。
ここで、複数のフィードバック表示が切り替えられる一例を説明する。ここでは、擬似的なブラックアウト(以下、黒画像と記述する)と、上記したフィードバック表示のうち、図8に示したマーク401が切り替えられる場合を例に挙げて説明する。また、1枚だけ撮影する場合を単写と記述し、複数枚連続して撮影する場合を連写と記述する。
例えば、連写のときの1枚目が撮影されるときのフィードバック表示と、2枚目以降が撮影されるときのフィードバック表示(設定によっては、1枚目からのフィードバック表示)を、それぞれ設定できるように構成されている場合を例に挙げて、図29を参照して説明する。
ユーザは、フィードバック表示として、黒画像が表示される設定(ON)と、黒画像が表示されない設定(OFF)、マーク401が表示される設定(ON)、およびマーク401が表示されない設定(OFF)を組み合わせて設定できる。
図29を参照するに、ユーザが、黒画像を表示する設定をONにし、マーク401を表示する設定をONに設定した場合、単写のときと連写のときの1枚目の画像が撮影されるときには、黒画像がフィードバック表示として表示される。また、連写のときの2枚目以降の画像が撮影されるときには、マーク401が、フィードバック表示として表示される。
また、図29を参照するに、ユーザが、黒画像を表示する設定をONにし、マーク401を表示する設定をOFFに設定した場合、単写のときと連写のときの1枚目の画像が撮影されるときには、黒画像がフィードバック表示として表示される。また、連写のときの2枚目以降の画像が撮影されるときには、フィードバック表示はされない。
また、図29を参照するに、ユーザが、黒画像を表示する設定をOFFにし、マーク401を表示する設定をONに設定した場合、単写のときと連写のときの1枚目の画像が撮影されるときには、マーク401がフィードバック表示として表示される。また、連写のときの2枚目以降の画像が撮影されるときには、1枚目の撮影時と同じく、引き続き、マーク401が、フィードバック表示として表示される。
また図29を参照するに、ユーザが、黒画像を表示する設定をOFFにし、マーク401を表示する設定をOFFに設定した場合、フィードバック表示は行われない。
このように、ユーザは、フィードバック表示を選択して、設定することができる。また、ここで一例としてあげたように、連写のときに、1枚目の撮影時のフィードバック表示と、2枚目以降の撮影時のフィードバック表示を異なるフィードバック表示とすることができる。
また、1枚目の撮影時のフィードバック表示を、黒画像、すなわち擬似的なブラックアウトとすることで、従来の撮影体験を継承した、撮影の体感をユーザに与えることが可能となる。
また、1枚目の撮影時のフィードバック表示を、黒画像とすることで、1枚目が撮影されていること(1枚目の撮影タイミング)を、ユーザに、より明確に体感させることが可能となる。
なおここでは、マーク401が表示される場合を例に挙げて説明をしたが、ユーザが、所望とするマークが選択されるように構成することは、もちろん可能である。例えば、複数のフィードバック表示のうちの1つのフィードバック表示が選択できる選択画面をユーザに提示し、その選択画面から、ユーザは、所望のフィードバック表示を選択できるようにしても良い。
上記したフィードバック表示は、アプリケーションとして提供することもできる。また、そのアプリケーションとしては、携帯端末、例えば、スマートフォンのアプリケーションとすることができる。ここで、スマートフォンのアプリケーションとして、上述したフィードバック表示を行う場合について、説明を加える。
図30は、スマートフォンにおいて、カメラアプリケーションを起動したときの画面例を示す図である。スマートフォンの表示部601には、撮像されている被写体を表示する画像表示部602が設けられている。図30では、表示部601の大きさと同等の大きさが、画像表示部602とされており、図30には示していないが、撮像されている被写体が、表示部601の全体に映し出されている。また表示部601は、タッチパネルを備える構成とされている。
表示部601には、例えば、撮像時に設定されている条件(例えば、フラッシュの使用禁止、許可などの条件)を表す撮像設定アイコン603が表示されている。また、前回撮影時のサムネイル画像604、シャッターボタン605、動画録画開始ボタン606、撮影モード設定時に操作される撮影モード設定アイコン607なども表示されている。
このような画面がスマートフォンの表示部601に表示されているときに、ユーザがシャッターボタン605または物理的なシャッターボタン(不図示)を操作した場合、撮影が行われる。またこれらのシャッターボタン以外に、表示部601内(タッチパネル)をタッチすることで、撮影が行われるようにしても良い。また、その設定は、ユーザにより設定されるようにすることもできる。さらに、タッチしている間(画面の長押し)は、連写モードとされ、連続して撮影が行われるようにしても良い。
また、図31に示すように、撮影が行われたときには、そのことを示すフィードバック表示が行われる。図31に示した例では、図8に示したフィードバック表示が行われる場合を例に挙げている。なお、図8に示したフィードバック表示は、画面の四隅に表示されるとしたが、図31に示したように、四隅以外のところに表示されるようにしても良いし、図8を参照して説明したように、画面の四隅に表示されるようにしても良い。このような表示位置の設定は、ユーザが所望の位置に設定できるようにしても良い。
なお、図8以外に示したフィードバック表示が行われてももちろん良いし、上記したように、ユーザが選択できたり、複数のフィードバック表示が切り替えられて行われるようにしたりすることも可能である。また、上記したように、画面が長押しされることで、連写が行われているときには、上記した連写モードのときのフィードバック表示が行われる。
このように、スマートフォンなどの携帯端末装置においても、本技術を適用することができる。
このように、本技術によれば、ブラックアウトが発生しないことで、被写体の追従を高めることが可能となる。またブラックアウトが発生しなくても、シャッターのタイミングや露光時間をユーザにフィードバックすることが可能となる。このようなことが可能となることで、撮影の機会を大幅に広げることが可能となる。
また、ブラックアウトが発生しない撮影をユーザに提供することが可能となり、かつシャッター操作に対するフィードバックを的確に提供することが可能となる。従来の撮影体験を継承しつつ、先進性のある使用感をユーザに提供することができ、撮影の体感をさらに高めることも可能となる。
なお、上記した本技術が適用される装置としては、例えば、図5に示した撮像装置300のような構成を有する装置であっても良いし、他の構成を有する装置であっても良い。例えば、表示部317(図5)がディスプレイであり、そのディスプレイはタッチパネルで構成されているような装置に対しても本技術を適用できる。
また、操作部314(図5)が、撮像装置300を構成する他の部分(撮像を行う撮像部)と別体で構成されているような装置に対しても本技術を適用できる。例えば、撮像部を操作部で遠隔操作できるように構成されている装置に対しても本技術を適応することができる。
また、そのような遠隔操作が行える装置に対して本技術を適用した場合、操作部において、上記したフィードバック表示が行われる。操作部に表示部を設け、その表示部において上記したフィードバック表示やライブビュー画像の表示が行われるようにすることができる。
また、遠隔操作が行える装置においては、操作部と撮像部との間で、通信が行わる時間や、その通信に係わる処理が行われる時間など、遠隔操作を行わない装置では必要がない時間も、係る可能性がある。すなわち、遠隔操作が行える装置においては、タイムラグが発生する可能性があるため、従来通り、ブラックアウトのままでの表示が行われるようにしても良い。
さらに本技術は、1台の撮像部を有する装置に対してのみ適用が限定されるわけではなく、複数台の撮像部を有する装置に対しても適用できる。例えば、複数台の撮像部を、1台の操作部で操作するような装置に対しても、本技術を適用できる。また、ここで記載した操作部として、スマートフォンやタブレット端末などの携帯端末を用いることもできる。
<記録媒体について>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図32は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア1011を駆動する。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
を備え、
前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
制御装置。
(2)
前記マークは、前記表示部の四隅に表示される
前記(1)に記載の制御装置。
(3)
前記マークは、オートフォーカスの枠の近傍に表示される
前記(1)または(2)に記載の制御装置。
(4)
前記マークは、前記表示部の上下にそれぞれ線状で表示される
前記(1)乃至(3)のいずれかに記載の制御装置。
(5)
前記マークは、前記表示部の枠に沿った形状で表示される
前記(1)乃至(4)のいずれかに記載の制御装置。
(6)
前記マークは、前記表示部の中央を中心とする所定の形状で表示される
前記(1)乃至(5)のいずれかに記載の制御装置。
(7)
前記マークは、前記表示部の中央を中心とする所定の形状の図形で複数表示される
前記(1)乃至(6)のいずれかに記載の制御装置。
(8)
前記マークは、静止画像である
前記(1)乃至(7)のいずれかに記載の制御装置。
(9)
前記マークは、動画像である
前記(1)乃至(8)のいずれかに記載の制御装置。
(10)
前記マークは、前記表示部の所定の一辺から向かい合う辺に、移動する線である
前記(1)乃至(9)のいずれかに記載の制御装置。
(11)
前記マークは、撮影可能枚数を表すインジケータである
前記(1)乃至(10)のいずれかに記載の制御装置。
(12)
前記マークは、露光時間と略同一の時間、表示される
前記(1)乃至(11)のいずれかに記載の制御装置。
(13)
前記マークは、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示される
前記(1)乃至(12)のいずれかに記載の制御装置。
(14)
前記マークは、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示され、他のモードのときには、前記表示部内の所定の位置に表示される
前記(1)乃至(13)のいずれかに記載の制御装置。
(15)
前記マークは、複数枚を連続的に撮像する連写モードの場合、連写が開始された時点と終了された時点に表示される
前記(1)乃至(14)のいずれかに記載の制御装置。
(16)
前記処理部は、前記複数の画素それぞれから出力される画素信号に基づく、第1のデータ密度で伝送された第1のデータと、前記第1のデータ密度とは異なる第2のデータ密度で伝送された第2のデータをそれぞれ処理し、
前記第1のデータに基づく画像を前記スルー画像として前記表示部に表示させる
前記(1)乃至(15)のいずれかに記載の制御装置。
(17)
前記処理部は、前記データを記録することが指示されたとき、一旦記憶部に記憶された前記第2のデータを、記録媒体に記録する
前記(16)に記載の制御装置。
(18)
前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
を備える制御装置の制御方法において、
前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
ステップを含む制御方法。
(19)
複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
を備える制御装置を制御するコンピュータに、
前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
ステップを含む処理を実行させるためのプログラム。
100 イメージセンサ, 111 画素アレイ部, 190 フレームメモリ, 200 画像処理LSI, 210 画像処理部, 312 CMOSセンサ, 316 画像処理部, 317 表示部, 401乃至409 マーク, 501 AF枠

Claims (19)

  1. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備え、
    前記表示部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
    制御装置。
  2. 前記マークは、前記表示部の四隅に表示される
    請求項1に記載の制御装置。
  3. 前記マークは、オートフォーカスの枠の近傍に表示される
    請求項1に記載の制御装置。
  4. 前記マークは、前記表示部の上下にそれぞれ線状で表示される
    請求項1に記載の制御装置。
  5. 前記マークは、前記表示部の枠に沿った形状で表示される
    請求項1に記載の制御装置。
  6. 前記マークは、前記表示部の中央を中心とする所定の形状で表示される
    請求項1に記載の制御装置。
  7. 前記マークは、前記表示部の中央を中心とする所定の形状の図形で複数表示される
    請求項1に記載の制御装置。
  8. 前記マークは、静止画像である
    請求項1に記載の制御装置。
  9. 前記マークは、動画像である
    請求項1に記載の制御装置。
  10. 前記マークは、前記表示部の所定の一辺から向かい合う辺に、移動する線である
    請求項1に記載の制御装置。
  11. 前記マークは、撮影可能枚数を表すインジケータである
    請求項1に記載の制御装置。
  12. 前記マークは、露光時間と略同一の時間、表示される
    請求項1に記載の制御装置。
  13. 前記マークは、露光時間が所定の時間よりも短い場合、前記露光時間よりも長い時間、表示される
    請求項1に記載の制御装置。
  14. 前記マークは、シャッターボタンが半押しにされている間、焦点合わせが続けられるモードのときには、オートフォーカスの枠に追従した位置に表示され、他のモードのときには、前記表示部内の所定の位置に表示される
    請求項1に記載の制御装置。
  15. 前記マークは、複数枚を連続的に撮像する連写モードの場合、連写が開始された時点と終了された時点に表示される
    請求項1に記載の制御装置。
  16. 前記処理部は、前記複数の画素それぞれから出力される画素信号に基づく、第1のデータ密度で伝送された第1のデータと、前記第1のデータ密度とは異なる第2のデータ密度で伝送された第2のデータをそれぞれ処理し、
    前記第1のデータに基づく画像を前記スルー画像として前記表示部に表示させる
    請求項1に記載の制御装置。
  17. 前記処理部は、前記データを記録することが指示されたとき、一旦記憶部に記憶された前記第2のデータを、記録媒体に記録する
    請求項16に記載の制御装置。
  18. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置の制御方法において、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマークを表示する
    ステップを含む制御方法。
  19. 複数の画素のそれぞれから出力される画素信号に基づくデータを処理する処理部と、
    前記処理部により処理された前記データに基づく画像を、スルー画像として表示部に表示させる表示制御部と
    を備える制御装置を制御するコンピュータに、
    前記処理部は、前記データを記録する指示に応じて、前記表示部に表示されるスルー画像とともに、記録処理を示すマーク表示をする
    ステップを含む処理を実行させるためのプログラム。
JP2018557654A 2016-12-19 2017-12-06 制御装置、制御方法、並びにプログラム Active JP7028189B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016245101 2016-12-19
JP2016245101 2016-12-19
JP2017081744 2017-04-18
JP2017081744 2017-04-18
PCT/JP2017/043758 WO2018116824A1 (ja) 2016-12-19 2017-12-06 制御装置、制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018116824A1 true JPWO2018116824A1 (ja) 2019-10-24
JP7028189B2 JP7028189B2 (ja) 2022-03-02

Family

ID=62627490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557654A Active JP7028189B2 (ja) 2016-12-19 2017-12-06 制御装置、制御方法、並びにプログラム

Country Status (6)

Country Link
US (1) US11463612B2 (ja)
EP (1) EP3557860A4 (ja)
JP (1) JP7028189B2 (ja)
KR (1) KR102423994B1 (ja)
CN (2) CN110063054A (ja)
WO (1) WO2018116824A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6953272B2 (ja) * 2017-10-23 2021-10-27 キヤノン株式会社 撮像制御装置
JP7377048B2 (ja) 2019-09-30 2023-11-09 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232227A (ja) * 2008-03-24 2009-10-08 Sanyo Electric Co Ltd 撮像装置及び撮像方法
JP2010141582A (ja) * 2008-12-11 2010-06-24 Olympus Imaging Corp カメラ、連写タイミング設定方法および連写タイミング設定用プログラム
JP2013255188A (ja) * 2012-06-08 2013-12-19 Sony Corp 撮像素子、撮像装置、撮像方法およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003008948A (ja) * 2001-06-22 2003-01-10 Fuji Photo Film Co Ltd 電子カメラ及びその画像表示方法並びに画像記録方法
WO2005122556A1 (en) * 2004-06-07 2005-12-22 Canon Kabushiki Kaisha Image pickup device and image pickup system
US9374494B2 (en) * 2004-09-08 2016-06-21 Sony Corporation Recording apparatus and method, reproducing apparatus and method, and program
JP4371049B2 (ja) * 2004-12-22 2009-11-25 ソニー株式会社 撮像装置、およびガイドフレーム表示制御方法、並びにコンピュータ・プログラム
KR101086407B1 (ko) * 2005-03-15 2011-11-25 삼성전자주식회사 효율적 재생 동작을 위한 디지털 영상 처리 장치의 제어방법, 및 이 방법을 사용한 디지털 영상 처리 장치
CN101715061B (zh) * 2005-12-06 2012-07-04 松下电器产业株式会社 数字相机、相机机身及该数字相机的控制方法
JP2008017238A (ja) * 2006-07-07 2008-01-24 Casio Comput Co Ltd 撮像装置、スルー画像表示制御方法、及びスルー画像表示制御プログラム
CN101715064A (zh) * 2008-10-06 2010-05-26 鸿富锦精密工业(深圳)有限公司 影像撷取装置及其影像拍摄方法
JP4655135B2 (ja) * 2008-10-22 2011-03-23 ソニー株式会社 撮像装置、撮像領域表示方法および撮像領域表示プログラム
JP2011160412A (ja) * 2010-01-06 2011-08-18 Panasonic Corp 撮像装置
JP5439197B2 (ja) * 2010-01-15 2014-03-12 オリンパスイメージング株式会社 撮像装置、撮像方法、および、撮像プログラム
JP5240213B2 (ja) * 2010-02-09 2013-07-17 株式会社リコー 撮像装置および撮像装置の制御方法
JP5630146B2 (ja) 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。
JP2012099917A (ja) * 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 撮像装置
US9041853B2 (en) * 2010-12-01 2015-05-26 Nec Casio Mobile Communications, Ltd. Mobile terminal, method of image processing, and program
JP5862126B2 (ja) 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
KR101956170B1 (ko) * 2012-08-29 2019-03-08 삼성전자 주식회사 카메라의 이미지 저장 장치 및 방법
JP6160996B2 (ja) * 2012-09-12 2017-07-12 パナソニックIpマネジメント株式会社 撮像装置
JP5725049B2 (ja) * 2013-01-24 2015-05-27 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
KR102114617B1 (ko) * 2014-01-08 2020-05-25 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102128468B1 (ko) * 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
JPWO2015146004A1 (ja) * 2014-03-28 2017-04-13 パナソニックIpマネジメント株式会社 撮像装置
JP6376915B2 (ja) 2014-09-12 2018-08-22 キヤノン株式会社 表示制御装置およびその制御方法
US10097755B2 (en) * 2014-09-12 2018-10-09 Canon Kabushiki Kaisha Image capturing control apparatus, display control apparatus, and method for controlling the same
JP6598028B2 (ja) * 2016-02-22 2019-10-30 パナソニックIpマネジメント株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232227A (ja) * 2008-03-24 2009-10-08 Sanyo Electric Co Ltd 撮像装置及び撮像方法
JP2010141582A (ja) * 2008-12-11 2010-06-24 Olympus Imaging Corp カメラ、連写タイミング設定方法および連写タイミング設定用プログラム
JP2013255188A (ja) * 2012-06-08 2013-12-19 Sony Corp 撮像素子、撮像装置、撮像方法およびプログラム

Also Published As

Publication number Publication date
WO2018116824A1 (ja) 2018-06-28
KR102423994B1 (ko) 2022-07-25
JP7028189B2 (ja) 2022-03-02
EP3557860A1 (en) 2019-10-23
EP3557860A4 (en) 2020-01-15
CN113965704A (zh) 2022-01-21
US20190320121A1 (en) 2019-10-17
CN110063054A (zh) 2019-07-26
US11463612B2 (en) 2022-10-04
KR20190097005A (ko) 2019-08-20

Similar Documents

Publication Publication Date Title
EP2605503B1 (en) Display apparatus and method
KR101777354B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
EP2690861B1 (en) Apparatus and method to photograph an image
JP6652039B2 (ja) 撮像装置、撮像方法及びプログラム
JP2017055310A (ja) 撮像装置およびその制御方法
JP2010103676A (ja) 撮像装置、撮像領域表示方法および撮像領域表示プログラム
JP2013098792A (ja) 撮像装置および撮像装置の制御方法
WO2018116824A1 (ja) 制御装置、制御方法、並びにプログラム
WO2020195073A1 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP2009175255A (ja) 撮像装置及びその制御方法
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
JP6445831B2 (ja) 撮像装置及びその制御方法ならびにプログラム
US8482623B2 (en) Imaging device, imaging method, and recording medium that records imaging program therein
JP2016167767A (ja) 撮像装置、合成撮影方法及び合成撮影プログラム
WO2020195198A1 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP2020184698A (ja) 撮像装置およびその制御方法
KR20130092213A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2012165405A (ja) 撮像装置、及びプログラム
JP2012175426A (ja) 撮像装置及びプログラム
JP2017022542A (ja) 撮像装置、撮像装置の制御方法
JP2016201628A (ja) 撮像装置、合成撮影方法及び合成撮影プログラム
JP2016201627A (ja) 撮像装置、合成撮影方法及び合成撮影プログラム
JP2011166496A (ja) 撮像装置
JP2011197056A (ja) 表示装置
KR20090089637A (ko) 울트라뷰 모드를 수행하는 디지털 영상 처리 장치 및 이의제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R151 Written notification of patent or utility model registration

Ref document number: 7028189

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151