JP6248412B2 - 撮像装置、撮像方法、プログラム - Google Patents

撮像装置、撮像方法、プログラム Download PDF

Info

Publication number
JP6248412B2
JP6248412B2 JP2013101051A JP2013101051A JP6248412B2 JP 6248412 B2 JP6248412 B2 JP 6248412B2 JP 2013101051 A JP2013101051 A JP 2013101051A JP 2013101051 A JP2013101051 A JP 2013101051A JP 6248412 B2 JP6248412 B2 JP 6248412B2
Authority
JP
Japan
Prior art keywords
resolution mode
photoelectric conversion
image signal
captured image
conversion unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013101051A
Other languages
English (en)
Other versions
JP2014222801A5 (ja
JP2014222801A (ja
Inventor
雅史 若園
雅史 若園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013101051A priority Critical patent/JP6248412B2/ja
Priority to US14/250,857 priority patent/US9661219B2/en
Priority to CN201410187190.2A priority patent/CN104159021B/zh
Publication of JP2014222801A publication Critical patent/JP2014222801A/ja
Publication of JP2014222801A5 publication Critical patent/JP2014222801A5/ja
Priority to US15/498,752 priority patent/US10091421B2/en
Application granted granted Critical
Publication of JP6248412B2 publication Critical patent/JP6248412B2/ja
Priority to US16/121,431 priority patent/US20180376065A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Description

本技術は、被写体画像の撮像を行う撮像装置、撮像方法、及びそれらを実現するプログラムについての技術分野に関する。
特開2007−13926号公報
デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置において、ユーザは被写体に対して焦点合わせを行った状態でシャッターボタンを押して静止画記録を行ったり、或いは動画記録を開始することが通常である。ユーザは、焦点合わせや焦点確認のためには、撮像装置に設けられた表示部やビューファインダに表示される被写体のモニタリング画像(スルー画)を確認する。
上記特許文献1には、焦点合わせ操作時に表示部に画像を拡大表示させることで、ユーザが焦点状態を確認する際の視認性を改善する技術が開示されている。
ところで撮像装置では、被写体のモニタリング中(例えば静止画撮像のシャッター操作前や動画記録開始前)は、イメージャの出力画素数を少なくすることが考えられる。例えば、画素数16メガピクセルのイメージャを持つカメラにおいて、モニタリング中のイメージャ出力として画素間引きして光電変換信号を出力し、例えば320×240画素など、きわめて低い解像度の撮像画像信号を得るようにする。このようにイメージャにおいて画素間引きして出力すると、消費電力削減に大きな効果が得られ、また十分なフレームレートでモニタリング表示を更新させて、動きのなめらかなモニタリング画像を提供することができる。
ところが、画素の間引きにより画面上での焦点確認の視認性が低下する。例えば画面を見た状態でユーザが焦点が合っているかどうかが確認しずらくなり、また合焦部分の強調表示(ピーキングとも呼ばれる)を行う機能を用いる場合でも、画像解析上、合焦部分の適切な検出が難しくなる。
これは、焦点の確認は画像の高周波成分の強度を見て行われるのに対し、間引きによってエイリアシング現象が発生して、高周波成分が偽の低周波数成分に化けてしまうからである。単純に間引く代わりに、同色の隣り合った複数の画素を加算平均して読み出すモードをつかうと、エイリアシング現象を防ぐことができるが、このモードを使うと加算平均処理により高周波成分が失われてしまうため、やはり焦点の確認に必要な高周波成分の強度を知ることはできなくなる。
上記特許文献1のように焦点確認のために拡大画像を用いることも考えられるが、拡大画像でモニタリングを行うと、表示画角が変わってしまうためユーザにとってはフレーミング(被写体確認、構図調整)がやりにくくなる。
また、イメージャから低解像度で出力された撮像画像信号の一部を拡大して表示しても、粗い画像とならざるを得ない。
そこで本技術は、イメージャ(光電変換部)からの低解像度出力による低消費電力削減効果を得ながら、かつ表示画角も変更させずに、焦点合わせ操作や焦点確認の視認性を向上させることを目的とする。
第1に、本技術に係る撮像装置は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備え、前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、前記光電変換部は、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行うものである。
例えば静止画や動画の撮像記録のために、シャッター操作や記録開始操作を行う前の期間において、ユーザ(撮像者)がモニタリング画像により被写体を確認している場合、モニタリング画像としては、さほどの高精細な画像は必ずしも必要ではない。そこでこのような期間は光電変換部からは低解像度モードで撮像画像信号を読み出すようにして省電効果を得ることが好適となる。但し、焦点合わせ(フォーカス可変動作)や焦点確認等を行う場合には、合焦状態を認識しやすいように、モニタリング画像もある程度の画質を優先した方がよい。そこで焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替える。
また、この場合は、ユーザがマニュアルフォーカス操作により積極的に焦点調整を行う際、積極的に焦点状態(合焦状態の被写体)を確認しようとしている場合である。従って、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供し、焦点調整や焦点確認のしやすさを実現する。
第2に、上記した本技術に係る撮像装置においては、前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わないことが望ましい。
動画記録中は、動画を構成する各フレームの画像データの解像度が変化することは、好ましくないため、解像度モード切替を制限する。
第3に、上記した本技術に係る撮像装置においては、前記光電変換部は、光電変換画素の出力範囲の大きさを保ったままで画素間引き率を変化させることで、画角を変えずに解像度が異なる複数の解像度モードが切替可能とされていることが望ましい。
第4に、上記した本技術に係る撮像装置においては、前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行うことが望ましい。
これらの場合とは、ユーザがオートフォーカス機能により積極的に焦点調整を行う際、積極的に焦点状態(合焦状態の被写体)を確認しようとしている場合である。従って、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供し、焦点調整や焦点確認のしやすさを実現する。
第5に、上記した本技術に係る撮像装置においては、前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行うことが望ましい。
解像度モード切替によって光電変換部から解像度の異なる撮像画像信号が出力されることになるため、撮像画像信号処理において解像度の異なる撮像画像信号に適切に対応できるようにする。
第6に、上記した本技術に係る撮像装置においては、前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行うことが望ましい。
これも解像度モード切替によって光電変換部から解像度の異なる撮像画像信号が出力されることになるため、そのままではモニタリング画像としての画像サイズが変化してしまう。そこでそれまでと同一サイズで表示が行われるように適切に拡大又は縮小処理が行われるようにする。
第7に、上記した本技術に係る撮像装置においては、前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む。つまり低解像度モードと高解像度モードは、間引き率の異なる解像度モードとする。
本技術に係る撮像方法は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備え、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像装置の撮像方法として、前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行うものである。
つまり焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替える動作を撮像装置において実行する。
本技術に係るプログラムは、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行う制御処理と、前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御処理と、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御処理と、を演算処理装置に実行させるプログラムである。
このプログラムにより、上述の撮像装置、撮像方法を演算処理装置を用いて実現する。
本技術によれば、光電変換部からの低解像度出力による低消費電力削減を行いつつ、焦点合わせに関する動作状態となった場合は、表示画角を変更させずに、モニタリング画像の画質を向上させ、これによって焦点合わせ操作や焦点確認の際の視認性を向上させ、焦点操作、焦点確認の操作性を向上させることができる。
本技術の実施の形態の撮像装置のブロック図である。 実施の形態のイメージャの解像度モードの説明図である。 実施の形態の合焦部分の強調表示の説明図である。 実施の形態の低解像度モードと高解像度モードにおける処理過程の画像データの説明図である。 第1の実施の形態の解像度モード設定処理のフローチャートである。 実施の形態の解像度モード切替処理のフローチャートである。 第2の実施の形態の解像度モード設定処理のフローチャートである。
以下、実施の形態を次の順序で説明する。
<1.撮像装置の構成>
<2.第1の実施の形態の解像度モードに関する処理>
<3.第2の実施の形態の解像度モードに関する処理>
<4.プログラム>
<5.変形例>
<1.撮像装置の構成>
実施の形態の撮像装置10の構成を図1で説明する。この撮像装置10はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像/記録を行う機器である。
図1に示すように撮像装置10は、光学系11、イメージャ12、光学系駆動部13、センサ部14、記録部15、通信部16、デジタル信号処理部20、制御部30、表示部34、操作部35を有する。
光学系11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系11により、被写体からの光がイメージャ(光電変換部)12に集光される。
イメージャ12は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal OxideSemiconductor)型など、光電変換画素がマトリクス状に配置されて形成された撮像素子を有する。
このイメージャ12では、撮像素子での光電変換で得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号(以下、撮像画像データ)を、後段のデジタル信号処理部20に出力する。
またイメージャ12は、撮像素子の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている。後述するが、画素間引き率を高くして画素数を少なくした低解像度モードと、この低解像度モードより間引き率を低くして(間引き無しも含む)画素数を多くした高解像度モードとを、少なくとも切り替え可能とされている。
なお「画角を維持する」とは、撮像画像の1フレームに含まれる被写体の範囲が略同一となる状態であることを意味している。異なる解像度モードを、異なる間引き率のモードとするということは、画像に含まれる被写体範囲を略同一に保ちながら、解像度の異なる撮像画像データが得られるということである。
低解像度モードと高解像度モードの一例を図2に示す。図2Aが低解像度モードの場合のイメージャ12上での出力画素、図2Bが高解像モードの場合のイメージャ12上での出力画素を例示している。〇を付した画素がイメージャ12上での出力画素である。
図示のようにR(赤)、G(緑)、B(青)の各光電変換画素がマトリクス状に配列される場合において、例えば低解像度モードでは、水平方向(横方向)には5画素範囲で1画素を出力し、垂直方向(縦方向)には7ライン毎に1ラインを出力する。高解像度モードでは、水平方向(横方向)には3画素範囲で1画素を出力し、垂直方向(縦方向)には4ライン毎に1ラインを出力する。
例えばこのように低解像度モードと高解像度モードは、光電変換画素の間引き率を異なるようにすることで、略同一画角であって解像度の異なる撮像画像データを得るようにする。
もちろん、低解像度モードと高解像度モードの間引き率が、図2の例に限定されるものではない、高解像度モードは、間引きなし(全光電変換画素の出力)としてもよいし、図2B以外の間引き率としてもよい。低解像度モードは、高解像度モードよりも高い間引き率(少ない画素数)の出力とするものであればよい。
低解像度モードは、当然撮像画像データの画質は低下するが、消費電力の削減、バッテリーの長寿命化に適している。例えば記録を行わない被写体モニタリング画像(以下「スルー画」ともいう)の表示中などは、少々画質が低下していてもさほどの問題は生じないため、消費電力削減を優先する低解像度モードが適している。
高解像度モードでは、低解像度モードよりも高い画質の撮像画像データが得られる。
図1に戻って、光学系駆動部13は、制御部30の制御に基づいて、光学系11におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部13は、制御部30の制御に基づいて、光学系11における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部13は、制御部30の制御に基づいて、光学系11におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じて制御部30が光学系駆動部13の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じて制御部30が光学系駆動部13の動作を制御するマニュアルフォーカスとしての駆動も行われる。
デジタル信号処理部20は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このデジタル信号処理部20は、イメージャ12からのデジタル信号(撮像画像データ)に対して、各種の信号処理を施す。
例えばデジタル信号処理部20は、前処理部21、同時化部22、YC生成部23、解像度変換部24、コーデック部25、表示データ生成部26、オートフォーカス判定部27(以下、AF判定部)を備えている。
前処理部21は、イメージャ12からの撮像画像データに対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を施す。
同時化部22は、各画素についての画像データが、R,G,B全ての色成分を有するようにするデモザイク処理を施す。
YC生成部23は、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換部24は、各種の信号処理が施された画像データに対して、必要な解像度変換処理、例えば記録用や通信出力用の解像度変換を実行する。
コーデック部25は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
表示データ生成部26は、制御部30の制御に従って、表示部34に出力する例えばスルー画としての表示データを生成する。
このスルー画としての表示データは、基本的には解像度変換部24で解像度変換された撮像画像データとしての各フレームのデータであるが、特に表示部34での表示サイズに合わせたリサイズ(拡大・縮小)を行って表示データを生成する。つまり表示部34の表示パネルに合わせた解像度変換を加える。
例えば静止画撮像記録のためにユーザが被写体を探しているときや、動画記録のスタンバイ中などにおいて、表示データ生成部26は撮像画像データに基づくスルー画表示のための表示データを生成する。そして表示データを表示部34に供給し、スルー画表示を実行させる。
また表示データ生成部26は、合焦部分の強調表示(ピーキング)のための処理も行う。例えばスルー画としての画像データ上で、高周波成分(エッジ成分)の高い合焦状態の画素を選択し、当該画素が表示部34において強調してユーザに提示されるような画像処理を行う。例えば図3Aのような撮像画像データに対して合焦部分を検出し、図3Bのように合焦部分と検出された画素について輝度を高くしたり、或いは色情報を変更するなどの手法で、強調表示が行われるようにする。このような強調表示を伴った表示データを生成して表示部34で表示させることで、ユーザが、焦点確認(合焦部分、合焦状態の確認)を容易かつ正確にできるようになる。例えばユーザは強調表示を見ながらマニュアルフォーカスやオートフォーカス機能によりフォーカスを調整し、意図した被写体部分のエッジが強調されれば、合焦していると判断して静止画撮像記録を行ったり動画記録を開始することができる。
なお表示データ生成部26は、この図4の例ではデジタル信号処理部20で実行される機能構成として示しているが、これは一例であり、制御部30によって表示データ生成部26としての処理が実行されてもよい。
AF判定部28は、オートフォーカス動作の際に、現在のフレーム画像データのフォーカス状態を確認する。例えば画像データの高周波成分エネルギー検出などの手法でフォーカス状態を判定する評価値を求める。オートフォーカス時には、制御部30はAF判定部28からの評価値を確認しながら光学系駆動部13によるフォーカスレンズ駆動を実行させ、合焦状態に制御することになる。
制御部30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備えたマイクロコンピュータ(演算処理装置)により構成される。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置10全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、イメージャ12の解像度モード切替のための処理を実行するためのプログラムも記憶される。
このような制御部30は、デジタル信号処理部20における各種信号処理のパラメータ制御、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
また本実施の形態の場合、制御部30は、上述のイメージャ12の解像度モードの制御に関連して、動作判定部30a、解像度モード設定部30bとしての機能を備える。
動作判定部30aは、撮像装置10の動作状態の検出・判定を行う。例えば静止画記録や動作記録のためのスタンバイ中、動画記録中、再生中、フォーカス動作(焦点合わせ)中、強調表示実行中などの動作状態の検出・判定を行う。
解像度モード設定部30bは、動作判定部30aが検出する動作状態に応じて、イメージャ12の解像度モードの制御を行う。例えば静止画記録や動作記録のためのスタンバイ中には、低解像度モードに制御する。
なお、動作判定部30a、解像度モード設定部30bはデジタル信号処理部20の機能として実現してもよい。
表示部34はユーザ(撮像者等)に対して各種表示を行う表示部であり、例えば撮像装置10の筐体上に形成されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、LCDや有機ELディスプレイ等を用いて形成されてもよい。
この表示部34は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部30の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部26からの表示データに応じて、レリーズ(シャッタ操作)待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。スルー画上での強調表示も行う。また各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
操作部35は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号を制御部30へ送る。
この操作部35としては、例えば撮像装置10の筐体上に設けられた各種操作子や、表示部34に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)、マニュアルフォーカスのための操作子としてのフォーカスリング等が設けられる。
またタッチパネルと表示部34に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
記録部15は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル(コンテンツファイル)や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部15の実際の形態は多様に考えられる。例えば記録部15は、撮像装置10に内蔵されるフラッシュメモリでもよいし、撮像装置10に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置10に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
また、本例においてイメージャ12の解像度モードに関する処理を制御部30に実行させるためのプログラムは、記録部15に記憶されてもよい。
通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ(静止画ファイルや動画ファイル)の通信を行う。また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
例えば通信部16によりスルー画や再生画としての表示データを外部の表示装置に送信して表示させることもできる。つまり表示部34での各種の表示を外部表示装置で実行するようにしてもよい。
センサ部14は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置10の姿勢や移動(パン移動、チルト移動等)等、撮像装置10の全体の動きを検出するためのジャイロセンサ(角速度センサ)、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部14として、光学系11におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部14として、メカアイリス(絞り機構)の開口量を検出するセンサが設けられる場合もある。
センサ部14の各種センサは、それぞれ検出した情報を制御部30に伝達する。制御部30は、センサ部14で検出された情報を用いて各種制御を行うことができる。
<2.第1の実施の形態の解像度モードに関する処理>
以上の構成の撮像装置10において実行されるイメージャ12の解像度モードに関する処理を説明していく。
本実施の形態の撮像装置10では、静止画撮像記録のシャッター操作前の期間や、動画撮像記録のためのスタンバイ中において、スルー画表示を行っている際には、基本的には、消費電力を抑えるために、画質を犠牲にして低解像度モードでイメージャ12が動作するようにする。ところがそのままでは、焦点合わせ、焦点確認、強調表示等に適切でないことがある。そこで制御部30は、焦点合わせに関する動作状態を検出した場合、イメージャ12からの撮像画像信号出力を高解像度モードに切り替える制御を行うようにし、一時的に画質を優先する状態として動作させる。
図4は低解像度モードと高解像度モードの際の画像データ状態を模式的に示している。
例えば被写体G1の撮像を行っている場合におけるスルー画表示のための処理を大まかに示すと、図示のようにイメージャ出力ST1、現像処理ST2、解析/画像変換ST3、サイズ変換ST4、表示ST5となる。
イメージャ出力ST1はイメージャ12からの撮像画像データ出力を示す。
現像処理ST2とはデジタル信号処理部20における前処理部21、同時化部22、YC生成部23等の処理を指している。
解析/画像変換ST3は、表示データ生成部26による合焦部分の強調表示のための処理を示している。例えば画像データ内で合焦部分の検出を行って強調表示画素を選択する。そして選択した強調表示画素について強調表示のための輝度値の変更や色情報の変更を行う処理である。
サイズ変換ST4は、表示データ生成部26による、表示デバイス(表示部34のディスプレイ)に合わせたリサイズ処理を示している。
表示ST5は、表示データ生成部26から表示データを出力し、表示部34でスルー画を表示する動作を示している。
このような一連の処理動作における、低解像度モードの場合の画像データ状態を図4において各処理手順の上段に示している。なお、図示及び以下に述べる画サイズは、説明のための一例に過ぎない。
仮に、イメージャ12における撮像素子の光電変換画素サイズが6000×4000画素であるとする。
低解像度モードの場合、イメージャ12は比較的高い間引き率で間引き出力を行う。ここでは一例としてイメージャ12から出力される撮像画像データは、画像データLG2として示すように320×240画素であるとする。
低解像度モードの場合、この320×240画素の画像データLG2に対し現像処理ST2が行われ、またその処理後の320×240画素の画像データLG3に対し解析/画像変換ST3が行われることになる。
そして表示デバイスサイズが640×480画素であるとすると、解析/画像変換ST3の後の画像データLG4が、サイズ変換ST4により拡大処理されて640×480画素の画像データLG5とされる。この画像データLG5が表示データとして表示部34に供給され表示ST5として表示出力される(表示画像LG6)。
このような低解像度モードは、非常に省電力効果が高く、有用である。間引き率を高くするほど省電力効果が得られる。ところが、イメージャ出力ST1の際の間引き、及びサイズ変換ST4での拡大により、表示画像LG6はボケた画像となっている(図では破線により表示画像LG6がボケた状態であることを表している)
また処理過程の画像データLG2,LG3は、省電力や帯域制限のために大幅に間引かれた画像であるが、このため解析/画像変換ST3が適切に実行できないことが多い。つまり高域成分エネルギーが低下し、合焦部分検出を精度良く行うことができない。このため合焦部分の強調表示も適切に行われないことが多い。
一方、高解像度モードの場合の画像データ状態を図4の各処理手順の下段に示している。
高解像度モードの場合、イメージャ12は比較的低い間引き率で撮像画像データの出力を行う。例えば画像データHG2として示すように1280×960画素の撮像画像データを出力するものとする。
高解像度モードの場合、この1280×960画素の画像データHG2に対し現像処理ST2が行われ、またその処理後の1280×960画素の画像データHG3に対し解析/画像変換ST3が行われることになる。
そして表示デバイスサイズが640×480画素であることに応じて、解析/画像変換ST3の後の画像データHG4が、サイズ変換ST4により縮小処理されて640×480画素の画像データHG5とされる。この画像データHG5が表示データとして表示部34に供給され表示ST5として表示出力される(表示画像HG6)。
この高解像度モードの場合、画像データの高域成分はあまり失われていない。合焦部分のコントラスト比などもある程度精度良く検出できる。このため解析/画像変換ST3が適切に実行され、画像データHG4に示すように、強調表示のためのデータ変換が適切に行われる。また表示画像HG6はボケのない(少ない)画像とすることができ、ユーザは表示上でも合焦部分の強調表示を正しく認識できる。
但し、高解像度モードは消費電力削減の点では低解像度モードより不利である。
このように低解像度モードと高解像度モードではそれぞれの長短がある。そこで本実施の形態では動作状態に応じて、適切に低解像度モードと高解像度モードを切り替える。
図5に制御部30による解像度モード設定処理例を示している。
イメージャ12による撮像画像データ出力が行われている期間、制御部30は動作判定部30a及び解像度モード設定部30bの機能により、図5の処理を行う。
ステップF101で制御部30は、現在、動画記録を実行しているか否かを確認する。動画記録中は、ステップF107に進み、制御部30は現在の解像度モードの設定状態を維持する。つまり解像度モード変更処理は行わない。従って動画記録中は、動画記録開始の際の解像度モードが継続されることになる。
動画記録中ではない場合、制御部30はステップF102、F103、F104の判断を行う。ステップF102では、マニュアルフォーカス操作中であるか否かを判断する。
ユーザがレンズ鏡筒に設けられたフォーカスリングなどのマニュアルフォーカスのための操作子を操作した場合、制御部30はその操作に応じて光学系駆動部13を制御し、フォーカスレンズ移動を実行させる。このマニュアルフォーカス操作を検出した場合、解像度モードの処理に関しては制御部30はステップF105に進む。
またステップF103では制御部30は、シャッターボタンの半押しによる焦点確認中であるか否かを判断する。
ユーザがシャッターボタンを半押ししたら、制御部30はフォーカスロック制御を行う。即ちオートフォーカス制御として、AF判定部27による評価値を監視しながら光学系駆動部13によってフォーカスレンズ駆動を実行させ、合焦位置を探索し、合焦状態とさせる。そして半押しが継続されている期間、そのフォーカス状態を維持する。
従ってシャッターボタンの半押しを検出した場合とは、撮像装置10の動作状態としてオートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に相当する。
このような半押し状態を検出した場合も、制御部30は解像度モードに関する処理としてはステップF105に進む。
ステップF104では制御部30は、現在、合焦部分の強調表示が実行中であるか否かを検出する。図3Bに示したような合焦部分の強調表示は、ユーザが合焦部分を確認しやすくするためのもので、この強調表示機能は、マニュアルフォーカス操作時や、シャッターボタンの半押しによるオートフォーカス及びフォーカスロック中などに、自動的に実行される場合がある。或いは、これらに限らず、ユーザの操作により強調表示機能をオンとする場合もある。さらには撮像装置10の特定の動作状態や、被写体状態(例えば顔検出時など)に強調表示が実行される場合も考えられる。強調表示が実行される場合はこのように各種考えられるが、ステップF104では強調表示の実行中か否かを判断し、実行中であれば制御部30はステップF105に進む。
以上のステップF102、F103、F104の判断により、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかの動作状態にある場合、ステップF105に進み、制御部30は、イメージャ12を高解像度モードに切り替える(既に切り替えられていれば高解像度モードを継続する)。
一方、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれでもなければ、制御部はステップF106で、イメージャ12を低解像度モードに切り替える(既に切り替えられていれば低解像度モードを継続する)。
制御部30は以上の図5の処理を、例えば撮像画像データが得られるフレームタイミング毎に行う。
結局、マニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかであればイメージャ12は高解像度モードとされ、これらの動作状態となる前や終了した後は、低解像度モードとされる。
図6は、ステップF105又はF106で解像度モードを切り替える場合の制御部30の処理を示している。
解像度モード設定の切り替えが発生する場合、制御部30は図6の処理をステップF201からF202に進め、まず現フレーム処理の終了を待機する。イメージャ12は、毎フレーム繰り返して光電変換信号を読み出し、撮像画像データを出力しているが、当然ながら、或るフレームの光電変換信号の読み出し途中で解像度モードを切り替えることは適切でない。そこでイメージャ12での現在のフレームの出力完了を待機する。
現フレーム処理が終了したら、制御部30はステップF203でイメージャ12に解像度モード切替を指示する。これによりイメージャ12は次のフレームから解像度モードを切り替える。即ち読み出す光電変換信号の間引き率を変化させる。
制御部30は、ステップF204で信号処理パラメータ切換の制御を行う。
イメージャ12の解像度モードを変えると、それに合わせて現像処理(ST2)のパラメータの変更が必要になる。例えば、前処理部21でのフリッカー補正で使うフリッカー幅のパラメータは、縦方向の解像度に比例する。また、同時化部22などのフィルタ処理には画像のサイズや有効範囲の情報を、パラメータとして与える必要がある。これらのパラメータは、イメージャ12からの撮像画像データの解像度が変わると最適値が変わるため、解像度モードの切り替えに応じて、設定しなおすようにしている。
制御部30にはステップF205で、表示用のサイズ変換処理パラメータの切り替えを行う。例えば図4では、サイズ変換ST4として、低解像度モードの場合は、320×240画素の画像データLG4を640×480画素の画像データLG5に拡大した。一方、高解像度モードの場合は、サイズ変換ST4として、1280×960画素の画像データHG4を640×480画素の画像データHG5に縮小するとの例を挙げた。このように高解像度モードと低解像度モードでは、表示のためのサイズ変換ST4として実行する処理が縮小と拡大が異なる。従って制御部30は、ステップF205でサイズ変換ST4の処理を設定するパラメータ変更を行う。
もちろんこのような拡大、縮小が切り替えられるのは一例であり、例えば高解像度モード時でも拡大する場合もある。例えば640×480画素が表示画面サイズである場合に、高解像度モードは600×400画素、低解像度モードは400×200画素などとすれば、いずれのモードでもサイズ変換ST4として拡大が行われることになる。逆に、いずれのモードでもサイズ変換ST4として縮小が行われるような画素サイズ設定もあり得る。
但し、いずれにしても高解像度モードと低解像度モードの場合、サイズ変換ST4における拡大(又は縮小)率は異なる。そこでこのような場合、制御部30は、ステップF205でサイズ変換処理パラメータとして、拡大率又は縮小率のパラメータの切り替えを行うようにする。
このステップF205の処理により、イメージャ12での解像度モード設定を変更しても画面表示サイズが変化しないようにしている。
以上の図6のように、制御部30は、イメージャ12の解像度モード切替を行う際には、信号処理パラメータとサイズ変換処理パラメータも、解像度モードに合わせて切り替えを行うようにしている。
制御部30が以上の図5,図6の処理を行うことで、本実施の形態では以下の効果が得られる。
実施の形態の撮像装置10は、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モード(高解像度モードと低解像度モード)が切替可能とされているイメージャ12を備えている。またイメージャ12から出力される撮像画像データに基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部26(デジタル信号処理部20)を備えている。さらに、イメージャ12からの出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、イメージャ12を高解像度モードに切り替える制御を行う制御部30を備えている。
このような撮像装置10では、まず、静止画記録のためのシャッター操作や動画記録開始操作を行う前の期間に、ユーザ(撮像者)がスルー画(モニタリング画像)により被写体を確認しているときは、低解像度モードとして消費電力削減効果を得、バッテリーの長寿命化を図ることができる。この場合、スルー画の表示画質は低下してしまうが、そもそもスルー画は構図決めや被写体を大まかに確認する目的で見るものであって、さほどの高画質は必要ないため、低画質であること自体は特に問題はない。但し、焦点合わせ(フォーカス可変動作)や焦点確認等を行う場合には、ユーザがスルー画から合焦状態を認識しやすくするように、スルー画の画質を向上させた方がよい。そこで焦点合わせに関する動作状態を検出した際には、低解像度モードから高解像度モードに切り替えるようにしている。つまり、焦点の合い具合を精度よく確かめるため、焦点確認中はイメージャ12から、より多くの画素を読み出すようにすることで、画像の高周波成分を視認しやすいようにし、焦点合わせ操作や焦点確認の際の視認性を向上させる。
また解像度モード切替を行う場合に、イメージャ12の光電変換画素の出力範囲の大きさは保ったまま間引き率を変化させることで、画角の変化を防ぎ、ユーザーのフレーミング操作の邪魔をしないようにしている。つまり解像度モード切替が行われても、ユーザは継続して同じ画角状態で被写体を確認することができる。
すなわち間引きによって出力画素数を少なくすると、イメージャ12上での読み出し領域の広さ(画角)が変わらないため、ユーザはモニタリング画像を見ながら、出力画素数が少ないことを意識せずにフレーミング(被写体確認、構図調整)をすることができる。
また制御部30は、動画記録中は解像度モードの切替制御を行わない。
たとえユーザが焦点合わせ操作を行った場合でも、動画記録中であったら、イメージャ12の解像度モードを変えないほうが良い。動画記録中に読み出し解像度を切り替えると、フレーム間で瞬間的に画質が変化する様子が記録画像に残されてしまい、記録画像の品質を低下させる。また、動画記録中は、通常、フレームレートを考慮した読み出し画素数をつかっているため、読み出し画素数を増やすとフレームレートの低下を招いてしまい、好ましくない。
そこで動画記録中はたとえ焦点合わせが行われたとしても、解像度モード切替を制限することとし、動画記録に悪影響を生じさせず、適正な動画記録データを維持するようにしている。このように動画記録中に解像度モード切替を行わないことは、実際の動画撮像機能を備えた撮像装置としては、非常に重要な処理となる。
また実施の形態の撮像装置10は、制御部30は、焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合や、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合(半押し中)、さらには合焦部分の強調表示の実行中であることを検出した場合に、高解像度モードに切り替える制御を行うようにしている。
これらの場合は、ユーザがマニュアルフォーカス操作やオートフォーカス機能により積極的に焦点調整を行う場合や、合焦部分の強調表示により、積極的に焦点状態(合焦状態の被写体)を確認しようとしている場合である。そこで、これらの場合は、高解像度モードにより、画像品質のよいモニタリング画像を提供することで、焦点調整や焦点確認のしやすさを向上させている。
また強調表示実行中である場合は、高解像度モードとすることで強調表示のための処理精度も向上させることができ、ユーザに適切に合焦部分を提示できる。
またマニュアルフォーカス操作中、半押しによる焦点確認中、合焦部分の強調表示中のいずれかの状態でなくなれば、低解像度モードとされるため、操作シチュエーションに合わせて、低解像度モード(消費電力低減優先)と、高解像度動作モード(画質優先)の中から最適な動作モードを提供できる。これにより、焦点合わせや焦点確認の操作性が改善しつつ、バッテリー1本当たりの撮像枚数を増やすことができる。つまり動作状態に応じて、画質優先、消費電力削減優先が切り替えられ、使用性向上と長時間使用性を両立できる。
また制御部30は、解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行うようにしている。これにより供給される撮像画像データの解像度が変化しても、それに対応して適切な画像信号処理が行われる状態を維持でき、画像が破たんなく表示され続けるようにできる。
また制御部30は、解像度モードの切替に伴って、表示データ生成部26における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行うようにしている。解像度モードの変更により表示されるスルー画の画角が変化してしまうと、フレーミングがやりにくくなってしまう。その為、画角の変化を打ち消すようにパネル出力画像の拡縮処理(サイズ変換ST4)のパラメータを変更して、パネルに表示される画角が変化しないようにする。これによりユーザのフレーミングの邪魔をせず、またフォーカス操作を行ったら表示上で突然画角が変化してしまうというような違和感をユーザに与えないようにできる。
<3.第2の実施の形態の解像度モードに関する処理>
第2の実施の形態の解像度モード設定処理を図7に示す。なお図5と同一処理は同一のステップ番号を付し、説明を省略する。
この図7の処理例では、イメージャ12が第1,第2高解像度モードと低解像度モードとを切り替え可能とされている場合に適用できる。例えば低解像度モードは間引き率1/9、第2高解像度モードは間引き率1/7、第1高解像度モードは間引き率1/5などのように設定する。
制御部30は図7の処理として、マニュアルフォーカス操作中、又は半押しによる焦点確認中であれば、イメージャ12を第1高解像度モードに制御する(F102→F105、又はF103→F105)。
また合焦部分の強調表示中であれば、制御部30はイメージャ12を第2高解像度モードに制御する(F104→F108)。
それ以外の場合は低解像度モードとする(F106)。
この例のように、解像度モードを3段階で切り替えるようにしてもよい。例えばフォーカス操作中は、ユーザの視認性を優先して、最も画質優先とする。一方、強調表示中は、ユーザは強調表示により合焦部分の認識は容易であるため、多少画質は落としても良い。但し、あまり間引き率を高くすると高周波成分が不足して強調表示のための処理が適正に実行できなくなる。そこで第1高解像度モードより、多少画質を落とした第2高解像度モードとし、消費電力低減効果も若干得られるようにする。
例えばこのように、動作状態に応じてイメージャ12の解像度モードを3段階もしくはさらに多段階に切り替えるようにすることで、各動作状態に応じた解像度の撮像画像データを用いた処理が実行できるようになる。
もちろんこの場合も、動画記録中は解像度モード変更を行わないことで(F107)、記録される動画データ品質を維持できる。
<4.プログラム>
以上、撮像装置10の実施の形態を説明してきたが、上述したイメージャ12の解像度モード切替のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。
ソフトウエアにより演算処理装置に実行させる場合、例えばスマートフォン、タブレット端末、携帯電話機、その他の各種の撮像機能を有する機器を、実施の形態で説明した撮像装置10に相当する機器とすることができる。
実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされているイメージャ12(光電変換部)と、イメージャ12から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部26とを備えた撮像装置10の動作状態を検出する処理と、イメージャ12からの撮像画像信号出力を低解像度モードで実行させる処理と、イメージャ12からの撮像画像信号出力を低解像度モードで実行させている際に、撮像装置10の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、イメージャ12からの撮像画像信号出力を高解像度モードに切り替える制御処理とを演算処理装置に実行させるプログラムである。
具体的には、実施の形態のプログラムは、図5又は図7の処理を演算処理装置に実行させるプログラムとすればよい。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
またこのようなプログラムによれば、実施の形態の撮像装置10の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等であって、撮像機能(光学系11やイメージャ12、デジタル信号処理部20等)を有する機器にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の撮像装置とすることができる。
<5.変形例>
以上、実施の形態について説明してきたが、本技術は多様な変形例が考えられる。
撮像装置10として表示部34を備える例を述べたが、本技術におけるモニタリング画像の表示は、撮像装置10の外部の表示装置を用いてもよい。従って表示部34を有さない撮像装置10であっても、本技術は適用できる。
実施の形態では、動画記録中は解像度モード切替を行わないとしたが、例えばイメージャ12の光電変換画素群の一部領域を間引き無しで読みだしている場合(拡大フォーカス処理時)も、解像度モード切替を行わないようにすることが好適である。
また、上述の実施の形態では、静止画記録のフレームについては言及しなかったが、実際には、シャッターボタンが全押し(レリーズ操作)されて、或るフレームの撮像画像データが静止画データとしてエンコードされて記録する場合は、そのフレームについては、イメージャ12は静止画記録用に設定された解像度モードで撮像画像データ出力が行われるようにすればよい。
合焦部分の強調表示については解像度モード切替に用いないことも考えられる。例えばなるべく低消費電力の期間を長くしたい場合、マニュアルフォーカス操作中又はオートフォーカス動作中のみを高解像度モードとするようにしてもよい。この場合、強調表示の実行中に、高解像度モードと低解像度モードの切り替わりが生じることがある。そこで、このような場合は、制御部30は解像度モード切替に伴って、強調表示のためのパラメータ切換を行うようにするとよい。例えば低解像度モードと高解像度モードとで周波数成分比率が変化すると、強調表示する合焦部分の選択が同様に実行できない。そこで例えばハイパスフィルタのカットオフ周波数のパラメータを変更したり、合焦部分選択の閾値を変更するなどの処理を行うことが好適である。
なお本技術は以下のような構成も採ることができる。
(1)被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、
前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備えた
撮像装置。
(2)前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わない
上記(1)に記載の撮像装置。
(3)前記制御部は、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記(1)又は(2)に記載の撮像装置。
(4)前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記(1)乃至(3)のいずれかに記載の撮像装置。
(5)前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う
上記(1)乃至(4)のいずれかに記載の撮像装置。
(6)前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行う
上記(1)乃至(5)のいずれかに記載の撮像装置。
(7)前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行う
上記(1)乃至(6)のいずれかに記載の撮像装置。
(8)前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む
上記(1)乃至(7)のいずれかに記載の撮像装置。
(9)被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の撮像方法として、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像方法。
(10)被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、撮像画像としての画角を維持したままで解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、
前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、
を演算処理装置に実行させるプログラム。
10…撮像装置、11…光学系、12…イメージャ、13…光学系駆動部、14…センサ部、15…記録部、16…通信部、20…デジタル信号処理部、21…前処理部、22…同時化部、23…YC生成部、24…解像度変換部、25…コーデック部、26…表示データ生成部、27…AF判定部、30…制御部、30a…動作判定部、30b…解像度モード設定部、34…表示部、35…操作部

Claims (9)

  1. 被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、
    前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部と、
    前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御を行う制御部と、を備え、
    前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、
    前記光電変換部は、マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、
    前記制御部は、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行う
    撮像装置。
  2. 前記制御部は、動画記録中は、前記光電変換部の解像度モードの切替制御を行わない
    請求項1に記載の撮像装置。
  3. 前記光電変換部は、光電変換画素の出力範囲の大きさを保ったままで画素間引き率を変化させることで、画角を変えずに解像度が異なる複数の解像度モードが切替可能とされている
    請求項1又は請求項2に記載の撮像装置。
  4. 前記制御部は、前記焦点合わせに関する動作状態として、オートフォーカス動作中又はオートフォーカス動作によるフォーカス状態の確認中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行う
    請求項1乃至請求項3のいずれかに記載の撮像装置。
  5. 前記制御部は、前記光電変換部の解像度モードの切替に伴って、撮像画像信号処理に関するパラメータの切替制御を行う
    請求項1乃至請求項4のいずれかに記載の撮像装置。
  6. 前記制御部は、前記光電変換部の解像度モードの切替に伴って、前記表示データ生成部における表示データ生成のための画像拡大縮小処理のパラメータの切替制御を行う
    請求項1乃至請求項5のいずれかに記載の撮像装置。
  7. 前記光電変換部で切り替え可能な複数の解像度モードは、画素間引き率の低い高解像度モードと画素間引き率の高い低解像度モードとを少なくとも含む
    請求項1乃至請求項6のいずれかに記載の撮像装置。
  8. 被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備え、前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、焦点合わせに関する動作状態を検出した場合、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える撮像装置の撮像方法として、
    前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、
    マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行い、
    前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御を行い、
    前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御を行う
    撮像方法。
  9. 被写体光の受光に応じた電気信号としての撮像画像信号を出力するとともに、撮像画像信号の出力について、解像度が異なる複数の解像度モードが切替可能とされている光電変換部と、前記光電変換部から出力される撮像画像信号に基づいて、撮像被写体のモニタリング表示に用いる表示データを生成する表示データ生成部とを備えた撮像装置の動作状態を検出する処理と、
    前記光電変換部からの撮像画像信号出力を低解像度モードで実行させる処理と、
    前記光電変換部からの撮像画像信号出力を低解像度モードで実行させている際に、前記撮像装置の動作状態を検出する処理により、焦点合わせに関する動作状態が検出された場合に、前記光電変換部からの撮像画像信号出力を高解像度モードに切り替える制御処理と、
    マトリクス状に配列された光電変換画素から、画素間引き率に応じた一定の水平方向間隔及び一定の垂直方向間隔での間引きを行う制御処理と、
    前記高解像度モードは、第1高解像度モードと前記第1高解像度モードより解像度の低い第2高解像度モードとを有し、前記焦点合わせに関する動作状態として、モニタリング表示上で合焦部分の強調表示を行う機能の実行中は、前記光電変換部からの撮像画像信号出力を前記第2高解像度モードとする制御処理と、
    前記焦点合わせに関する動作状態として、マニュアルフォーカス操作中であることを検出した場合に、前記光電変換部からの撮像画像信号出力を前記第1高解像度モードに切り替える制御処理と、
    を演算処理装置に実行させるプログラム。
JP2013101051A 2013-05-13 2013-05-13 撮像装置、撮像方法、プログラム Active JP6248412B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013101051A JP6248412B2 (ja) 2013-05-13 2013-05-13 撮像装置、撮像方法、プログラム
US14/250,857 US9661219B2 (en) 2013-05-13 2014-04-11 Imaging apparatus, imaging method, and program for performing imaging of a photographic subject
CN201410187190.2A CN104159021B (zh) 2013-05-13 2014-05-06 成像设备、成像方法和计算机可读介质
US15/498,752 US10091421B2 (en) 2013-05-13 2017-04-27 Imaging apparatus, imaging method, and program
US16/121,431 US20180376065A1 (en) 2013-05-13 2018-09-04 Imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013101051A JP6248412B2 (ja) 2013-05-13 2013-05-13 撮像装置、撮像方法、プログラム

Publications (3)

Publication Number Publication Date
JP2014222801A JP2014222801A (ja) 2014-11-27
JP2014222801A5 JP2014222801A5 (ja) 2016-03-10
JP6248412B2 true JP6248412B2 (ja) 2017-12-20

Family

ID=51864517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013101051A Active JP6248412B2 (ja) 2013-05-13 2013-05-13 撮像装置、撮像方法、プログラム

Country Status (3)

Country Link
US (3) US9661219B2 (ja)
JP (1) JP6248412B2 (ja)
CN (1) CN104159021B (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6263035B2 (ja) * 2013-05-17 2018-01-17 キヤノン株式会社 撮像装置
JP6103503B2 (ja) * 2013-07-31 2017-03-29 パナソニックIpマネジメント株式会社 撮像装置
CN104038699B (zh) * 2014-06-27 2016-04-06 努比亚技术有限公司 对焦状态的提示方法和拍摄装置
US10339866B2 (en) * 2014-07-15 2019-07-02 Sharp Kabushiki Kaisha Display device and driving method therefor
JP6409472B2 (ja) * 2014-10-02 2018-10-24 リコーイメージング株式会社 画像表示装置を備える撮像装置
CN106034205B (zh) * 2015-03-16 2020-05-26 联想(北京)有限公司 一种电子设备及信息处理方法
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
US10761294B2 (en) * 2015-06-18 2020-09-01 Sony Corporation Display control device and display control method
JP6750194B2 (ja) * 2015-06-19 2020-09-02 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、及び、医療用観察システム
US11461010B2 (en) * 2015-07-13 2022-10-04 Samsung Electronics Co., Ltd. Data property-based data placement in a nonvolatile memory device
US10282324B2 (en) 2015-07-13 2019-05-07 Samsung Electronics Co., Ltd. Smart I/O stream detection based on multiple attributes
US10509770B2 (en) 2015-07-13 2019-12-17 Samsung Electronics Co., Ltd. Heuristic interface for enabling a computer device to utilize data property-based data placement inside a nonvolatile memory device
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
KR101756274B1 (ko) * 2016-02-05 2017-07-11 (주)넥스트칩 감시용 카메라 및 감시용 카메라의 동작 방법
US10349002B2 (en) * 2016-04-12 2019-07-09 Canon Kabushiki Kaisha Image recording apparatus and method for controlling the same
US10009536B2 (en) * 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2018168578A1 (ja) * 2017-03-15 2018-09-20 ソニー株式会社 撮像装置、映像信号処理装置および映像信号処理方法
KR102593303B1 (ko) * 2018-01-16 2023-10-25 삼성전자 주식회사 전자 장치 및 전자 장치의 카메라 자동 초점 제어 방법
CN109194871A (zh) * 2018-10-18 2019-01-11 广东德尔智慧工厂科技有限公司 一种锂电极片毛刺检测自动对焦的装置和方法
CN110602410B (zh) * 2019-10-25 2022-05-31 深圳市道通智能航空技术股份有限公司 一种图像处理方法、装置、航拍相机及存储介质
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710819B2 (en) * 2001-02-22 2004-03-23 Ati Technologies, Inc. Method and system for improved display filtering
US20030002870A1 (en) * 2001-06-27 2003-01-02 Baron John M. System for and method of auto focus indications
JP2004128587A (ja) * 2002-09-30 2004-04-22 Minolta Co Ltd デジタルカメラ
US6862501B2 (en) * 2002-10-28 2005-03-01 Honeywell International Inc. Method for producing 3D perspective view avionics terrain displays
US20040212678A1 (en) * 2003-04-25 2004-10-28 Cooper Peter David Low power motion detection system
KR100627048B1 (ko) * 2003-12-15 2006-09-25 삼성테크윈 주식회사 디지털 카메라의 제어방법
JP2005347847A (ja) * 2004-05-31 2005-12-15 Kyocera Corp 撮像装置
KR100699486B1 (ko) 2005-06-30 2007-03-26 삼성전자주식회사 촬영장치에서의 매뉴얼 포커싱 방법 및 매뉴얼 포커싱 장치
JP4325599B2 (ja) * 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP2009010616A (ja) * 2007-06-27 2009-01-15 Fujifilm Corp 撮像装置および画像出力制御方法
JP2009258690A (ja) * 2008-03-25 2009-11-05 Kyocera Corp オートフォーカスカメラ機能を備える電子機器
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8681236B2 (en) * 2009-06-18 2014-03-25 Samsung Electronics Co., Ltd. Apparatus and method for reducing shutter lag of a digital camera
JP5775679B2 (ja) * 2010-09-08 2015-09-09 オリンパス株式会社 デジタルカメラ
JP5807324B2 (ja) * 2010-09-08 2015-11-10 リコーイメージング株式会社 合焦画像表示装置および合焦画像表示方法
KR101701852B1 (ko) * 2010-12-29 2017-02-13 엘지전자 주식회사 이동단말기 및 그 제어방법
JP5848561B2 (ja) * 2011-09-20 2016-01-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
KR101796481B1 (ko) * 2011-11-28 2017-12-04 삼성전자주식회사 저전력 셔터랙 제거 방법, 카메라 모듈 및 이를 구비하는 모바일 기기
JP5942444B2 (ja) * 2012-01-30 2016-06-29 リコーイメージング株式会社 デジタルカメラ
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR101842453B1 (ko) * 2012-03-23 2018-05-14 삼성전자주식회사 전자 장치에서 자동 초점 기능을 제어하기 위한 장치 및 방법
JP6032912B2 (ja) * 2012-03-26 2016-11-30 キヤノン株式会社 撮像装置、その制御方法及びプログラム
KR101901620B1 (ko) * 2012-04-17 2018-09-27 삼성전자주식회사 포커스 제어장치 및 방법

Also Published As

Publication number Publication date
US20170230579A1 (en) 2017-08-10
CN104159021B (zh) 2019-08-06
US20180376065A1 (en) 2018-12-27
US9661219B2 (en) 2017-05-23
US20140333790A1 (en) 2014-11-13
CN104159021A (zh) 2014-11-19
JP2014222801A (ja) 2014-11-27
US10091421B2 (en) 2018-10-02

Similar Documents

Publication Publication Date Title
JP6248412B2 (ja) 撮像装置、撮像方法、プログラム
TWI326553B (en) Imaging apparatus, data extraction method, and data extraction program
JP4654887B2 (ja) 撮像装置
JP2014222801A5 (ja)
JP2007108412A (ja) オートフォーカス装置及びそのプログラム
JP4767838B2 (ja) 撮像装置および撮像方法
JP6598028B2 (ja) 撮像装置
JP2010054730A (ja) 合焦位置検出装置、撮像装置及び合焦位置検出方法
JP2009159559A (ja) 撮影装置及びそのプログラム
JP2006303961A (ja) 撮像装置
JP5092673B2 (ja) 撮像装置及びそのプログラム
JP2005012423A (ja) 撮像装置及び信号処理装置
JP4769116B2 (ja) カメラの手ブレ警告表示装置
JP6435527B2 (ja) 撮像装置
JP6663282B2 (ja) 撮像装置、撮像システム、撮像方法およびプログラム
JP5195663B2 (ja) 撮像装置、合焦方法及びプログラム
JP2010093579A (ja) 撮像装置及びその制御方法及びプログラム
JP2005278003A (ja) 画像処理装置
JP2011242796A (ja) 撮像装置、合焦方法及びプログラム
JP5561392B2 (ja) 撮像装置、合焦方法及びプログラム
US11467482B2 (en) Signal processing device, signal processing method, and image capture device
JP2012023468A (ja) 撮像装置
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2005303351A (ja) 撮像装置
JP2010028273A (ja) 撮像装置、表示制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171106

R151 Written notification of patent or utility model registration

Ref document number: 6248412

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250