JP6056497B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6056497B2
JP6056497B2 JP2013007753A JP2013007753A JP6056497B2 JP 6056497 B2 JP6056497 B2 JP 6056497B2 JP 2013007753 A JP2013007753 A JP 2013007753A JP 2013007753 A JP2013007753 A JP 2013007753A JP 6056497 B2 JP6056497 B2 JP 6056497B2
Authority
JP
Japan
Prior art keywords
frame
frame length
image
blanking period
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013007753A
Other languages
English (en)
Other versions
JP2014138401A (ja
Inventor
ひろみ 近藤
ひろみ 近藤
尚史 野瀬
尚史 野瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2013007753A priority Critical patent/JP6056497B2/ja
Publication of JP2014138401A publication Critical patent/JP2014138401A/ja
Application granted granted Critical
Publication of JP6056497B2 publication Critical patent/JP6056497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮影された画像を処理する画像処理装置、画像処理方法及びプログラムに関する。
現在、デジタルカメラやカメラ付携帯端末などで、高速に連写する機能が実装されている。高速連写対応の画像センサは高価であるので、現状の画像センサを用いて高速連写機能を実現する場合、画像センサの性能により、連写間隔、画像サイズ等が制限される。
例えば、現状の画像センサを用いて高速のフレームレートで撮影を行う場合、出力サイズや露光時間が制限されてしまい、画質が劣化してしまう。この問題に対し、ISP(Image Signal Processor)で画質改善を図ることが考えられる。しかしながら、ISPで出力サイズを小さくしたり、露光時間の変わりにゲインをアップしたりするなどしても、良好な画質の画像は得られない。
そこで、n個の複数の画像センサを用いて、各画像センサからの画像出力タイミングをずらすことで、フレームレートを向上させる技術がある(例えば、特許文献1〜3参照)。
特開2007−104349号公報 特開2005−86219号公報 特開2004−173255号公報
ここで、各画像センサからの画像の出力タイミングを等間隔にずらすためには、各画像センサの出力タイミングをフレーム長の1/nだけずらせばよい。画像の出力タイミングは、起動タイミングにより決まる。また、フレーム長とは、フレームレートにより決まり、例えばフレームレートが30fpsの場合、1/30=33.3msecがフレーム長となる。また、フレーム長と露光時間の関係は、フレーム長>露光時間であり、露光時間はフレームレートに影響する。
従来技術では、できるだけ等間隔で画像を出力するため、フレーム長を固定にして連続撮影を行うのが一般的である。連続撮影時にフレーム長を固定する理由の一つとして、撮影途中にフレーム長が変わってしまうと、出力タイミングのズレに影響が出るからだと考えられる。
また、等間隔で画像を出力する理由は、各画像センサから出力される画像はできるだけ異なる画像にしたいからである。画像の出力タイミングがずれると、他の画像センサから出力された画像と同じような画像が連続画像に含まれてしまい、連続画像としては好ましくない。
しかしながら、従来技術のようにフレーム長を固定にすると、フレーム長は露光時間に影響を与えるため、露光時間を可変にすることができなかった。
図1は、露光時間を可変にする場合の比較例を説明する図である。図1に示す例では、2つの画像センサ(単にセンサとも称す)を用いるとする。第1センサ及び第2センサでは、現在フレームのフレーム長が33.3msec(露光時間33msec+ブランキング期間0.3msec)とする。
このとき、第1センサの現在フレームのフレーム長をM1、次フレームのフレーム長をM2とする。また、第2センサの現在フレームのフレーム長をS1、次フレームのフレーム長をS2とする。
現在フレームにおいて、明るさが明から暗に変わったとき、現在フレームに対するAE計算が行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第1センサに対して設定され、2フレーム先のフレーム長M3に反映される。
同様に、第2センサにおいても、現在フレームに対するAE計算が行われ、求められた露光時間とフレーム長は、第2センサに対して設定され、2フレーム先のフレーム長S3に反映される。
図1に示すように、M3とS3のフレーム長が変わることにより、出力タイミングのずれが、フレーム長の1/2ではなくなってしまう。これでは、連続画像はできるだけ等間隔にしたいというニーズが満たされない。
図2は、露光時間を可変にする場合の比較例を説明する図である。図2に示す例では、2つの画像センサを用いるとする。第1センサ及び第2センサでは、現在フレームのフレーム長が38.3msec(露光時間35msec+ブランキング期間3.3msec)とする。例えば、画像センサの最高出力レートを出せない場合には、ブランキング期間に数msecが加算される。これにより、ブランキング期間の調整が破綻しにくくなる。
図2に示す現在フレームにおいて、明るさが暗から明に変わったとき、現在フレームに対するAE計算が行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第1センサに対して設定され、2フレーム先のフレーム長M3に反映される。
同様に、第2センサにおいても、現在フレームに対するAE計算が行われ、求められた露光時間とフレーム長は、第2センサに対して設定され、2フレーム先のフレーム長S3に反映される。
図2に示すように、M3とS3のフレーム長が変わることにより、出力タイミングのずれが、フレーム長の1/2ではなくなってしまう。これでは、連続画像はできるだけ等間隔にしたいというニーズが満たされない。
上述したように、フレーム長を固定すると露光時間が固定となるため、良好な画質を得ることができず、フレーム長を可変にすると画像の出力タイミングにズレが生じてしまうという問題点があった。
そこで、開示の技術では、連続撮影時に、各センサの出力タイミングのズレを防止しつつ露光時間を可変にして画質を良くすることができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
開示の一態様における画像処理装置は、複数の画像センサからの出力データを処理する画像処理装置であって、第1画像センサから出力された第1画像データの検波結果に基づいて、前記第1画像データの第1フレーム長と異なる第2フレーム長を、前記第1画像センサ、及び前記第1画像センサの出力と所定時間ずれたタイミングで、前記第1フレーム長の第2画像データを出力する第2画像センサへ設定する画像センサ制御部を有し、第nフレーム長は第n露光時間と第nブランキング期間とを含み、前記画像センサ制御部は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定することを特徴とする。
開示の技術によれば、連続撮影時に、各センサの出力タイミングのズレを防止しつつ露光時間を可変にして画質を良くすることができる。
露光時間を可変にする場合の比較例を説明する図。 露光時間を可変にする場合の比較例を説明する図。 実施例における画像処理装置の構成の一例を示すブロック図。 実施例におけるCPUの機能の一例を示すブロック図。 実施例における各センサの出力タイミング制御例(その1)を説明する図。 実施例における各センサの出力タイミング制御例(その2)を説明する図。 実施例における各センサの出力タイミング制御例(その3)を説明する図。 第1センサ制御部によるタイミング制御処理の一例を示すフローチャート。 第tセンサ制御部によるタイミング制御処理の一例を示すフローチャート。
以下、添付された図面を参照しつつ、上記課題を解決する実施例について説明する。
[実施例]
まず、実施例における画像処理装置の構成について説明する。
<構成>
図3は、実施例における画像処理装置1の構成の一例を示すブロック図である。図3に示す例では、処理部10と、各センサ12と、入力部14と、第1メモリ16と、第2メモリ18と、記録制御部20と、画像表示部24と、表示デバイス26とを有する。なお、各部はデータ通信可能なようにバスにより接続されている。
また、各センサ12は、第1センサ12−1、第2センサ12−2、第n(n>1)センサ12−nの総称であり、それぞれのセンサを区別しない場合に各センサ12とも称する。画像処理装置1は、例えば複眼式のカメラを有する。また、メモリカード22は、必要に応じて画像処理装置1に備えられる。
各センサ12は、撮影部としての画像センサである。各センサ12で撮影された画像は、処理部10により取り込まれ、画像処理が施される。各センサ12は、撮影モードに応じて、いずれか1つ又は複数のカメラを用いて撮影を行う。例えば、連写モードの場合には、n個のセンサが用いられ、連続画像が生成される。
また、各センサ12は、それぞれ被写体画像を撮影して得られる画像データを出力する。また、各センサ12からは同時に画像データが出力されないようにCPU110によって制御される。
処理部10は、例えばISPであり、第1メモリ16から読み出したプログラムを実行し、各部の制御を行う。処理部10は、例えば、各センサ12の露光時間を可変にしても、各センサ12からできるだけ等間隔で画像が出力されるように、各センサ12を制御する。処理部10の構成は、後述する。
入力部14は、例えばユーザにより設定された撮影モードや再生モードなどの操作信号を処理部10に通知する。撮影モードには通常撮影モードや、連写撮影モードなどがある。
例えば、通常撮影モードは、レリーズボタンの1回の押圧操作に応答して静止画を1回撮影するモードである。この通常撮影モードでは、例えば第1センサ12−1が撮影に用いられる。
また、連写撮影モードは、予め設定された連写間隔で、レリーズボタンを押圧している間に連続撮影を行うモードである。連写撮影モードは、通常連写モードと高速連写モードとを有してもよい。通常連写モードでは、例えば第1センサ12−1だけで連続撮影を行い、高速連写モードでは、例えば各センサ12を用いて順に撮影を行うことで通常連写モードよりも高速に連続撮影を行う。
また、連写撮影モードにおける連写間隔は、メニューボタンの操作で表示デバイス26にメニュー画面を表示させた状態で、メニュー選択ボタンを操作することにより設定できる。設定された設定値は例えば第1メモリ16に記憶される。連写間隔は、通常連写モード用の通常連写間隔T1と、高速連写モード用の高速連写間隔T2(T2<T1)とが設定される。
第1メモリ16は、例えばROM(Read Only Memory)又はRAM(Random Access Memory)である。第1メモリ16は、画像処理装置1を制御するためのプログラムが書き込まれている。また、第1メモリ16は、プログラム実行時に必要な各種変数などが一時的に書き込まれるワークメモリとして利用される。
第2メモリ18は、処理部10により画像処理されたデータを記憶する。第2メモリ18は、画像表示部24に表示すべき画像の画像データ,メニュー画面の表示用データが書き込まれる。表示用データは、メニュー画面の表示の際には、後述するCPU110によって第1メモリ16から読み出されて第2メモリ18に書き込まれる。
第2メモリ18は、画像取込部102からの画像データを一時的に記憶するバッファメモリとして用いられてもよい。連続撮影モード下では、複数フレームの画像データが、この第2メモリ18に書き込まれる。なお、このバッファメモリは、第3のメモリとして別構成にしてもよい。
記録制御部20は、記憶媒体としてのメモリカード22に対する画像データの記録及び読み出し、画像データの削除を行う。メモリカード22は、画像処理装置1に着脱自在になっている。メモリカード22は、複数フレーム分の画像データを記録可能な容量を持っている。なお、記憶媒体としては、メモリカード22の他に各種のものを用いることができる。
画像表示部24は、第2メモリ18から取得した画像データを、表示デバイス26に表示するための制御を行う。表示デバイス26は、例えば有機ELディスプレイや液晶ディスプレイなどである。
処理部10は、画像取込部102とAF(Auto Focus)/AE(Auto Exposure)/AWB(Auto White Balance)部104と、圧縮処理部108と、CPU(Central Processing Unit)110とを有する。処理部10は、例えば画像処理装置とも称され、集積回路により実装可能である。
画像取込部102は、各センサ12からの画像データが入力される。画像取込部102は、各センサ12の画像データの出力タイミングに合わせて、各センサ12の一つを選択し、選択したセンサからの画像データをデータバスに出力する。
AF/AE/AWB部104は、例えば、各センサ12のピント合せのために、画像取込部102から出力される画像データに基づき、撮影中の画像のコントラストを検出し、その情報をCPU110に送る。CPU110は、コントラスト情報を参照し、撮影中の画像のコントラストが最大となるように各センサ12を制御することでピント合せを行う。
また、AF/AE/AWB部104は、画像取込部102からの画像データに基づいて、被写体輝度の検出と光源の種類の検出を行い、検波結果を含むそれらの情報をCPU110に送る。CPU110は、AF/AE/AWB部104からの被写体輝度情報に基づいて各センサ12での露出の制御を行い、また光源情報に基づいて画像処理部106のホワイトバランスのパラメータを設定する。
画像処理部106は、画像データに対してガンマ補正,ホワイトバランスの調節,画素数の変更等の画像処理を行う。また、表示デバイス26に撮影中の画像を動画で表示するときには、画像取込部102からの画像データが画像処理部106に送られ、画像処理された画像データが第2メモリ18に送られて書き込まれる。
圧縮処理部108は、画像データをメモリカード22に記録する際に、データ圧縮し、所定のデータ形式、例えばJPEG形式に変換し、記録制御部20に送る。また、この圧縮処理部108は、再生モード下でメモリカード22から圧縮された画像データを読み出した際には、この画像データの伸長を行ってから第2メモリ18に書き込む。
CPU110は、各部の制御を行う。CPU110は、高画質での高速連写を実現するための機能を有する。
<機能>
図4は、実施例におけるCPU110の機能の一例を示すブロック図である。図4に示すCPU110は、AE計算部202と、第1センサ制御部204と、第t(2≦t≦n)センサ制御部206とを有する。CPU110は、画像撮影に関するその他の機能も有しているが、ここでは省略する。CPU110は、画像センサを制御するため、画像センサ制御部とも称する。
例えば、CPU110は、第1センサ12−1から出力された第1画像データの検波結果に基づいて、第1画像データの第1フレーム長と異なる第2フレーム長を、第1センサ12−1、及び第1センサ12−1の出力と所定時間ずれたタイミングで、第2画像データを第1フレーム長で出力する第2センサ12−2へ設定する。
また、CPU110は、第1画像データの検波結果に基づいて、第2センサ12−2の第3ブランキング期間を第1ブランキング期間と異なるブランキング期間に設定後、第2フレーム長を第1及び第2センサへ設定してもよい。第nフレーム長は、第n露光時間と第nブランキング期間とを含むとする。第nフレーム長という場合のnは、センサの数のnとは異なる。
また、CPU110は、第1センサ12−1からの出力データに基づく検波結果を用いて、各センサ12に対する露光制御や各センサ12の出力タイミングの制御を行う。例えば、第1センサ12−1をメインセンサとし、第tセンサをサブセンサとする。
AE計算部202は、第1センサ12−1からの出力データの検波結果に基づいて、露光時間及びフレーム長をフレーム毎に計算する。AE計算部202は、検波結果を、AF/AE/AWB部104から取得する。AE計算部202は、計算された露光時間やフレーム長を第1センサ制御部204及び第tセンサ制御部206に出力する。
第1センサ制御部204は、AE計算部202により計算された前(m−1)フレームと現在(m)フレームとのフレーム長が異なる場合に、現在フレームの次(m+1)フレーム(1フレーム先)のフレーム長と同じフレーム長を第1センサ12−1に設定する。また、第1センサ制御部204は、現在フレームに対して計算された露光時間及びフレーム長を、次フレームの処理時に第1センサ12−1に設定する。
また、第1センサ制御部204は、上述した設定を行うため、第1判定部242と、第1調整部244と、第1設定部246とを有する。
第1判定部242は、AE計算部202により計算された前フレームと現在フレームとのフレーム長が異なるか否かを判定する。第1判定部242は、判定結果を第1調整部244及び第1設定部246に通知する。
第1調整部244は、第1判定部242により異なると判定された場合、2フレーム先のフレーム長に対して、露光時間が短くなる場合に、短くなる分だけブランキング期間を長くする。第1調整部244は、第tセンサの出力タイミングをなるべく(t−1)/nに調整する期間を設けるため、2フレーム先のフレーム長を、次フレームのフレーム長と同じにする。
第1調整部244は、第1判定部242の判定結果が同じであることを示せば、特に何もしない。第1調整部244は、調整を行った設定値を第1設定部246に通知する。
第1設定部246は、第1判定部242により異なると判定された場合、第1センサ12−1に対して、2フレーム先のフレーム長が、次フレーム(1フレーム先)のフレーム長と同じフレーム長になるように設定する。
また、第1設定部246は、第1判定部242により異なると判定された場合、第1センサ12−1に対して、3フレーム先の露光時間及びフレーム長が、現在フレームに対して計算された露光時間及びフレーム長になるように設定する。また、第1設定部246は、第1判定部242の判定結果が同じであることを示せば、AE計算部202により計算された露光時間及びフレーム長を第1センサ12−1に設定する。
第tセンサ制御部206は、AE計算部202により計算された前フレームと現在フレームとのフレーム長が異なる場合、次の処理を行う。第tセンサ制御部206は、次フレームの処理時に第1センサ12−1に設定されたフレーム長に基づいてブランキング期間が調整されたフレーム長を、第tセンサに設定する。
また、第tセンサ制御部206は、現在フレームに対して計算された露光時間及びフレーム長を、次フレームの処理時に第tセンサに設定する。第tセンサ制御部206は、tの数だけ存在するが、図4に示す例ではまとめて1つのセンサ制御部を記載している。
また、第tセンサ制御部206は、上述した設定を行うため、第t判定部262と、第t調整部264と、第t設定部266とを有する。
第t判定部262は、AE計算部202により計算された前フレームと現在フレームとのフレーム長が異なるか否かを判定する。第t判定部262は、判定結果を第t調整部264及び第t設定部266に通知する。
第t調整部264は、第t判定部262により異なると判定された場合、第tセンサの出力タイミングが第1センサ12−1のフレーム長の(t−1)/nになるべくなるようにブランキング期間を調整する。第t調整部264は、ブランキング期間を調整し、次の式(1)を用いて調整したフレーム長にする。
S3=M3+(M4+M3)×(t−1)/n ・・・式(1)
S3:ブランキング期間調整後の第tセンサの2フレーム先のフレーム長
M3:第1センサ12−1の2フレーム先のフレーム長
M4:第1センサ12−1の3フレーム先のフレーム長
式(1)は、第1センサ12−1の2フレーム先のフレーム長と、(第1センサ12−1の3フレーム先のフレーム長−第1センサ12−1の2フレーム先のフレーム長)×(t−1)/nとの和を表す。
第t調整部264は、第t判定部262の判定結果が同じであることを示せば、特に何もしない。第t調整部264は、調整を行った設定値を第t設定部266に通知する。
第t設定部266は、第t判定部262により異なると判定された場合、第tセンサに対して、2フレーム先のフレーム長が、式(1)により計算されたS3のフレーム長になるように設定する。
また、第t設定部266は、第t判定部262により異なると判定された場合、第tセンサに対し、3フレーム先の露光時間及びフレーム長が、現在フレームに対して計算された露光時間及びフレーム長になるように設定する。また、第t設定部266は、第t判定部262の判定結果が同じであることを示せば、AE計算部202により計算された露光時間及びフレーム長を第tセンサに設定する。
これにより、第tセンサは、第1センサ12−1のフレーム長の(t−1)/nのタイミングで露光を開始し、この(t−1)/nのタイミングで画像を出力することが可能となる。よって、露光時間を可変にしても、フレーム長に対してできるだけ等間隔の連続画像を取得することができるようになり、連続画像として好適となる。また、露光時間を可変にすることで、連続画像に含まれる各画像の画質が向上する。
なお、第1センサ制御部204及び第tセンサ制御部206は、前フレームより現在フレームが暗くなるか否かに応じて、露光時間及びフレーム長に対して異なる設定処理を行ってもよい。
例えば、第1センサ制御部204は、前フレームより現在フレームが暗くなる場合、2フレーム先のフレーム長が変更されないように制御する。
また、第1センサ制御部204は、前フレームより現在フレームが明るくなる場合、2フレーム先の露光時間が現在フレームに対して計算された露光時間になるように設定する。また、第1センサ制御部204は、ブランキング期間を調整して、2フレーム先のフレーム長が次フレームのフレーム長と同じになるように設定する。
また、第tセンサ制御部206は、前フレームより現在フレームが暗くなる場合、2フレーム先のフレーム長に対してブランキング期間を調整して、S3のフレーム長になるように設定する。
また、第tセンサ制御部206は、前フレームより現在フレームが明るくなる場合、2フレーム先の露光時間を現在フレームに対して計算された露光時間にし、2フレーム先のフレーム長を、ブランキング期間を調整してS3のフレーム長になるように設定する。
これにより、現在フレームが前フレームよりも明るくなったか、又は暗くなったかに応じて、それぞれ適切な制御処理を行うことができるようになる。
なお、第1センサ制御部204及び第tセンサ制御部206は、調整後のブランキング期間が、ブランキング期間の下限値より大きいか否かに応じて、露光時間及びフレーム長に対して異なる設定処理を行ってもよい。
例えば、第1センサ制御部204は、調整後のブランキング期間が下限値より大きい場合、2フレーム先のフレーム長を変更しない。第1センサ制御部204は、調整後のブランキング期間が下限値以下の場合、2フレーム先の露光時間を現在フレームに対して計算された露光時間に変更し、2フレーム先のフレーム長を、ブランキング期間を調整することで次フレームのフレーム長と同じにする。
また、第tセンサ制御部206は、調整後のブランキング期間が下限値より大きい場合、2フレーム先のフレーム長に対してブランキング期間を調整してS3のフレーム長に変更する。
また、第tセンサ制御部206は、調整後のブランキング期間が下限値以下の場合、2フレーム先の露光時間を現在フレームに対して計算された露光時間に変更する。第tセンサ制御部206はさらに、2フレーム先のフレーム長を、ブランキング期間を調整することでS3のフレーム長に変更する。
これにより、もともとブランキング期間に余裕がある場合、ブランキング期間の調整が破綻をきたさなければ、第tセンサのブランキング期間のみを制御すればよい。ブランキング期間の調整が破綻をきたすとは、調整後のブランキング期間がブランキング期間の下限値より短くなることである。
<具体例>
次に、センサが2つある場合を例にして、各センサの出力タイミングの制御処理について具体的に説明する。以下に示す例では、33msecの露光時間が最高出力フレームレートとしたとき、33msec以上の露光時間に対するブランキング期間に、例えば3msecの余裕を持たせている。
(例1)
図5は、実施例における各センサの出力タイミング制御例(その1)を説明する図である。図5に示す例では、第1センサ及び第2センサ最初のフレーム(現在フレーム)のフレーム長が33.3msec(露光時間33msec+ブランキング期間0.3msec)とする。ここでフレーム長は、各センサからの1フレーム分の画像データを出力する期間(一例として33ms)とブランキング期間(一例として0.3ms)とを合計した期間である。
図5に示す例では、現在フレームにおいて、明るさが明から暗に変わったとする。このとき、現在フレームに対するAE計算がAE計算部202により行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第1センサ制御部204により、次フレームの処理時に第1センサに対して設定される。よって、現在フレームで計算されたフレーム長は、3フレーム先のフレーム長M4(38.3msec)に反映される。
第2センサにおいては、第1センサのAE計算結果が用いられる。ここで、第tセンサ制御部206は、AE計算結果に基づいて、露光時間はそのままにし、ブランキング期間を調整し、フレーム長を調整する。例えば、第tセンサ制御部206は、式(1)により調整されたフレーム長(35.8msec)を第2センサに設定する。
よって、この設定は、フレーム長S3に反映される。なお、M3とM4のフレーム長は、この時点で取得可能である。なぜなら、M3は、前フレームで計算又は調整されたフレーム長であり、M4は、現在フレームで計算されたフレーム長であるからである。
また、第tセンサ制御部206は、第1センサの現在フレームのAE計算結果は、次フレームの処理時に第2センサに設定する。よって、現在フレームで計算されたフレーム長は、3フレーム先のフレーム長S4(38.3msec)に反映される。
これにより、フレームの輝度が明から暗に変わることで、露光時間が可変になっても、各センサの出力タイミングは、フレーム長の1(t−1)/2(n)にすることができる。
(例2)
図6は、実施例における各センサの出力タイミング制御例(その2)を説明する図である。図6に示す例では、第1センサ及び第2センサでは、最所のフレーム(現在フレーム)のフレーム長が38.3msec(露光時間35msec+ブランキング期間3.3msec)とする。
図6に示す例では、現在フレームにおいて、明るさが暗から明に変わったとする。このとき、現在フレームに対するAE計算がAE計算部202により行われ、露光時間とフレーム長とが求められる。この求められた露光時間及びフレーム長は、第1センサ制御部204により、次フレームの処理時に第1センサに対して設定される。よって、現在フレームで計算されたフレーム長は、3フレーム先のフレーム長M4に反映される。
第2センサにおいては、第1センサのAE計算結果が用いられる。ここで、第tセンサ制御部206は、AE計算結果に基づいて、露光時間はそのままにし、ブランキング期間を調整し、フレーム長を調整する。例えば、第tセンサ制御部206は、式(1)により調整されたフレーム長(35.8msec)を第2センサに設定する。よって、この設定は、フレーム長S3に反映される。
また、第tセンサ制御部206は、第2センサの現在フレームのAE計算結果は、次フレームの処理時に第2センサに設定する。よって、現在フレームで計算されたフレーム長は、3フレーム先のフレーム長M4(33.3msec)に反映される。なお、露光時間が33msecなので、ブランキング期間が0.3msecに変更される。
これにより、フレームの輝度が暗から明に変わることで、露光時間が可変になっても、各センサの出力タイミングは、フレーム長の1(t−1)/2(n)にすることができる。また、ブランキング期間に余裕を持たせていたので、調整後のブランキング期間(例えば0.8msec)がブランキング期間の下限値(0.3msec)より大きいので、第tセンサのブランキング期間のみの制御でよい。
(例3)
図7は、実施例における各センサの出力タイミング制御例(その3)を説明する図である。図7に示す例では、第1センサ及び第2センサでは、最初のフレーム(現在フレーム)のフレーム長が93.3msec(露光時間90msec+ブランキング期間3.3msec)とする。
図7に示す例では、現在フレームにおいて、明るさが暗から明に変わったとする。このとき、現在フレームに対するAE計算がAE計算部202により行われ、露光時間とフレーム長とが求められる。
このとき、露光時間がかなり短くなった(90msec→33msec)ので、第2センサのブランキング期間のみの制御では対応できなくなってしまう。そこで、第1センサ制御部204は、第1センサのブランキング期間を調整する。
具体的には、第1センサ制御部204は、現在フレームで計算された露光時間を反映し、ブランキング期間については露光時間で短くなった分(57msec)を増やす。第1センサ制御部204は、ブランキング期間を60.3msecに調整する(3.3+57)。第1センサ制御部204は、調整したフレーム長(露光時間:33msec+ブランキング期間:60.3msec)を第1センサに設定する。よって、この設定は、2フレーム先のフレーム長M3に反映される。
また、現在フレームで求められた露光時間及びフレーム長は、第1センサ制御部204により、次フレームの処理時に第1センサに対して設定される。よって、現在フレームで計算されたフレーム長は、3フレーム先のフレーム長M4(33.3msec)に反映される。
第2センサにおいては、第1センサのAE計算結果が用いられる。ここで、第tセンサ制御部206は、AE計算結果に基づいて、露光時間を変更し(90msec→33msec)、ブランキング期間を調整し(3.3msec→30.3msec)、フレーム長を調整する。例えば、第tセンサ制御部206は、式(1)により調整されたフレーム長(63.3msec)を第2センサに設定する。よって、この設定は、フレーム長S3に反映される。
また、第tセンサ制御部206は、第1センサの現在フレームのAE計算結果は、次フレームの処理時に第2センサに設定する。よって、現在フレームで計算されたフレーム長は、3フレーム先のフレーム長M4(33.3msec)に反映される。なお、露光時間が33msecなので、ブランキング期間が0.3msecに変更される。
これにより、フレームの輝度が暗から明に変わることで、露光時間が可変になっても、各センサの出力タイミングは、フレーム長の1(t−1)/2(n)にすることができる。また、ブランキング期間が破綻をきたす場合は、第1センサのブランキング期間を調整することで、各センサの出力タイミングを適切なタイミングにすることができる。
なお、上記例は、センサが2つの場合に限られるものではなく、3つ以上ある場合でも適用できる。
<動作>
次に、実施例における画像処理装置1の動作について説明する。図8は、第1センサ制御部204によるタイミング制御処理の一例を示すフローチャートである。
図8に示すステップS101で、AE計算部202は、第1センサ12−1の出力データに対する検波結果からAE計算を行う。これにより、露光時間及びフレーム長が計算される。
ステップS102で、前フレームで、センサ設定スキップ、又はブランキング調整されたフレーム長が設定されたか否かを判定する。この条件を満たせば(ステップS102−YES)ステップS108に進み、この条件を満たさなければ(ステップS102−NO)ステップS103に進む。
ステップS103で、第1判定部242は、AE計算部202により計算された前フレームのフレーム長と現在フレームのフレーム長とが変わるか否かを判定する。2つのフレーム長が変われば(ステップS103−YES)ステップS104に進み、2つのフレーム長が変わらなければ(ステップS103−NO)ステップS107に進む。
ステップS104で、第1調整部244は、調整後のブランキング期間がブランキング期間の下限値より大きいか否かを判定する。この条件を満たせば(ステップS104−YES)ステップS105に進み、この条件を満たさなければ(ステップS104−NO)ステップS106に進む。
なお、ステップS104の条件は、次の条件式(1)を用いる。
(l+(m−l)×(t−1)/n)−e>B ・・・条件式(1)
l:前フレームのフレーム長
m:AE計算結果のフレーム長
e:AE計算結果の露光時間
B:ブランキング最低期間(下限値)
条件式(1)のうち、(l+(m−l)×(t−1)/n)は、式(1)と同様の式である。
ステップS105で、第1設定部246は、次のフレームに進むため、センサの設定をスキップする。
ステップS106で、第1設定部246は、第1センサに対し、AE計算結果の露光時間、及び調整されたブランキング期間を含むフレーム長を設定する。この設定は、2フレーム先のフレーム長M3に反映される。
ステップS107で、第1設定部246は、第1センサに対し、AE計算結果の露光時間、及びAE計算結果のフレーム長を設定する。この設定は、2フレーム先のフレーム長M3に反映される。
ステップS108で、第1設定部246は、第1センサに対し、前フレームのAE計算結果の露光時間及び前フレームのAE計算結果のフレーム長を設定する。この設定は、フレーム長M4に反映される。
図9は、第tセンサ制御部206によるタイミング制御処理の一例を示すフローチャートである。
図9に示すステップS201で、第tセンサ制御部206は、AE計算部202から第1センサ12−1のAE計算結果を取得する。
ステップS202で、第tセンサ制御部206は、前フレームで、ブランキング調整されたフレーム長が設定されたか否かを判定する。この条件を満たせば(ステップS202−YES)ステップS208に進み、この条件を満たさなければ(ステップS202−NO)ステップS203に進む。
ステップS203で、第t判定部262は、AE計算部202により計算された前フレームのフレーム長と現在フレームのフレーム長とが変わるか否かを判定する。2つのフレーム長が変われば(ステップS203−YES)ステップS204に進み、2つのフレーム長が変わらなければ(ステップS203−NO)ステップS207に進む。
ステップS204で、第t調整部264は、調整後のブランキング期間がブランキング期間の下限値より大きいか否かを判定する。この条件を満たせば(ステップS204−YES)ステップS205に進み、この条件を満たさなければ(ステップS204−NO)ステップS206に進む。
なお、ステップS204の条件は、次の条件式(1)を用いる。
(l+(m−l)×(t−1)/n)−e>B ・・・条件式(1)
ステップS205で、第t設定部266は、露光時間をそのままにし、調整されたブランキング期間を含むフレーム長を第tセンサに設定する。この設定は、2フレーム先のフレーム長S3に反映される。
ステップS206で、第t設定部266は、第tセンサに対し、AE計算結果の露光時間、及び調整されたブランキング期間を含むフレーム長を設定する。この設定は、2フレーム先のフレーム長S3に反映される。
ステップS207で、第t設定部266は、第tセンサに対し、AE計算結果の露光時間、及びAE計算結果のフレーム長を設定する。この設定は、2フレーム先のフレーム長S3に反映される。
ステップS208で、第t設定部266は、第tセンサに対し、前フレームのAE計算結果の露光時間及び前フレームのAE計算結果のフレーム長を設定する。この設定は、フレーム長S4に反映される。
以上、実施例によれば、連続撮影時に、各センサの出力タイミングのズレを防止しつつ露光時間を可変にして画質を良くすることができる。また、実施例によれば、AE計算結果を従来よりも1フレーム後にセンサに設定することで、設定が反映される前の1フレームを用いて、各センサ12の出力タイミングのズレを修正することができる。また、実施例によれば、連続撮影時でも、露光時間を可変にすることができるので、画質を向上させることもできる。
よって、前述した実施例で説明した出力タイミング制御処理を含む画像処理を実現するためのプログラムを記録媒体(例えばメモリカード22)に記録することで、実施例で説明した処理をコンピュータに実施させることができる。
例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末、スマートフォン、タブレット端末などに読み取らせて、前述した処理を実現させることも可能である。
なお、記録媒体は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、記録媒体は、搬送波などの一過性のものを含まない。
なお、画像処理装置1は、コンピュータやカメラ付携帯端末などであり、複数のカメラと処理部を備えていればいずれの装置でもよい。また、処理部10は、例えばISPとしての画像処理装置とし、市販のカメラを複数組み合わせることもできる。
以上、画像処理装置及びプログラムについて詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。
なお、以上の各実施例に関し、さらに以下の付記を開示する。
(付記1)
複数の画像センサからの出力データを処理する画像処理装置であって、
第1画像センサから出力された第1画像データの検波結果に基づいて、前記第1画像データの第1フレーム長と異なる第2フレーム長を、前記第1画像センサ、及び前記第1画像センサの出力と所定時間ずれたタイミングで、前記第1フレーム長の第2画像データを出力する第2画像センサへ設定する画像センサ制御部を有し、
第nフレーム長は第n露光時間と第nブランキング期間とを含み、
前記画像センサ制御部は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を前記第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定する
ことを特徴とする画像処理装置。
(付記2)
前記画像センサ制御部は、
前記第1画像データの検波結果に基づいて露光時間及びフレーム長をフレーム毎に計算するAE計算部と、
前記AE計算部により計算されたmフレームのフレーム長と前記mフレームの前のm−1フレームのフレーム長とが異なる場合に、前記mフレームに対して計算された露光時間及びフレーム長を、前記mフレームの次のm+1フレームの処理時に前記第2フレーム長として前記第1画像センサに設定する第1センサ制御部と、
前記AE計算部により計算された前記mフレームと前記m−1フレームとのフレーム長が異なる場合、前記m+1フレームの処理時に、前記第1画像センサに設定される前記第2フレーム長に基づいて前記第3ブランキング期間を、前記第2画像センサに設定し、前記第3ブランキング期間の設定後に前記第2フレーム長を前記第2画像センサに設定する第2センサ制御部と、
を有することを特徴とする付記1に記載の画像処理装置。
(付記3)
前記第1センサ制御部は、
前記AE計算部により計算された前記mフレームのフレーム長と前記m−1フレームとのフレーム長とが異なるか否かを判定する第1判定部と、
前記第1判定部により異なると判定された場合、前記第1画像センサに対して、前記第2フレーム長を設定する第1設定部と、を有し、
前記第2センサ制御部は、
前記AE計算部により計算された前記mフレームのフレーム長と前記m−1フレームのフレーム長とが異なるか否かを判定する第2判定部と、
前記第2判定部により異なると判定された場合、前記第2画像センサに対して、前記第2フレーム長を設定する第2設定部と、
を有することを特徴とする付記2に記載の画像処理装置。
(付記4)
前記第1センサ制御部は、
第1露光時間よりも第2露光時間が短くなる場合に、短くなる分だけ第2ブランキング期間を長く調整する第1調整部を有し、
前記第2センサ制御部は、
前記第3ブランキング期間を調整する第2調整部を有することを特徴とする付記3に記載の画像処理装置。
(付記5)
前記第1センサ制御部及び前記第2センサ制御部は、
前記m−1フレームより前記mフレームが暗くなるか否かに応じて、前記第2フレーム長を前記第1および第2画像センサに設定することを特徴とする付記3に記載の画像処理装置。
(付記6)
前記第1センサ制御部は、
前記m−1フレームより前記mフレームが暗くなる場合、前記第1フレーム長が変更されないようにし、前記m−1フレームより前記mフレームが明るくなる場合、前記第2フレーム長を設定し、前記第2センサ制御部は、
前記m−1フレームより前記mフレームが暗くなる場合、前記第3ブランキング期間を前記第1ブランキング期間よりも短く設定し、前記m−1フレームより前記mフレームが明るくなる場合、前記第3ブランキング期間を前記第1ブランキング期間よりも長く設定することを特徴とする付記5記載の画像処理装置。
(付記7)
前記第1センサ制御部は、
前記第1調整部による調整後の第2ブランキング期間が下限値より大きい場合、前記第2フレーム長を設定せず、前記調整後のブランキング期間が前記下限値以下の場合、第2露光時間および前記調整後の第2ブランキング期間を設定し、
前記第2センサ制御部は、
前記第2調整部による調整後の前記第3ブランキング期間が前記下限値より大きい場合、前記第3ブランキング期間を調整し、前記調整後のブランキング期間が前記下限値以下の場合、前記第2露光時間および前記調整後の第2ブランキング期間を設定する付記4記載の画像処理装置。
(付記8)
前記所定時間は、前記第1フレーム長の1/2の時間であることを特徴とする付記1乃至7いずれか一項に記載の画像処理装置。
(付記9)
複数の画像センサからの出力データを処理する画像処理装置における画像処理方法であって、
第1画像センサに、第1画像データを第1フレーム長で出力させ、
第2画像センサに、前記第1画像センサの出力と所定時間ずれたタイミングで、第2画像データを前記第1フレーム長で出力させ、
前記第1画像データの検波結果に基づいて、前記第1フレーム長と異なる第2フレーム長を前記第1および第2画像センサへ設定する処理を有し、
第nフレーム長は第n露光時間と第nブランキング期間とを含み、
前記設定する処理は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を、前記第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定する
ことを特徴とする画像処理方法。
(付記10)
複数の画像センサからの出力データを処理するコンピュータに実行させるプログラムであって、
第1画像センサに、第1画像データを第1フレーム長で出力させ、
第2画像センサに、前記第1画像センサの出力と所定時間ずれたタイミングで、第2画像データを前記第1フレーム長で出力させ、
前記第1画像データの検波結果に基づいて、前記第1フレーム長と異なる第2フレーム長を前記第1および第2画像センサへ設定する処理を有し、
前記第nフレーム長は第n露光時間と第nブランキング期間とを含み、
前記設定する処理は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を、第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定する
ことを特徴とするプログラム。
1 画像処理装置
10 処理部
12 各センサ
104 AF/AE/AWB部
110 CPU
202 AE計算部
204 第1センサ制御部
206 第tセンサ制御部
242 第1判定部
244 第1調整部
246 第1設定部
262 第t判定部
264 第t調整部
266 第t設定部

Claims (10)

  1. 複数の画像センサからの出力データを処理する画像処理装置であって、
    第1画像センサから出力された第1画像データの検波結果に基づいて、前記第1画像データの第1フレーム長と異なる第2フレーム長を、前記第1画像センサ、及び前記第1画像センサの出力と所定時間ずれたタイミングで、前記第1フレーム長の第2画像データを出力する第2画像センサへ設定する画像センサ制御部を有し、
    第nフレーム長は第n露光時間と第nブランキング期間とを含み、
    前記画像センサ制御部は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定する
    ことを特徴とする画像処理装置。
  2. 前記画像センサ制御部は、
    前記第1画像データの検波結果に基づいて露光時間及びフレーム長をフレーム毎に計算するAE計算部と、
    前記AE計算部により計算されたmフレームのフレーム長と前記mフレームの前のm−1フレームのフレーム長とが異なる場合に、前記mフレームに対して計算された露光時間及びフレーム長を、前記mフレームの次のm+1フレームの処理時に前記第2フレーム長として前記第1画像センサに設定する第1センサ制御部と、
    前記AE計算部により計算された前記mフレームと前記m−1フレームとのフレーム長が異なる場合、前記m+1フレームの処理時に、前記第1画像センサに設定される前記第2フレーム長に基づいて前記第3ブランキング期間を、前記第2画像センサに設定し、前記第3ブランキング期間の設定後に前記第2フレーム長を前記第2画像センサに設定する第2センサ制御部と、
    を有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1センサ制御部は、
    前記AE計算部により計算された前記mフレームのフレーム長と前記m−1フレームとのフレーム長とが異なるか否かを判定する第1判定部と、
    前記第1判定部により異なると判定された場合、前記第1画像センサに対して、前記第2フレーム長を設定する第1設定部と、を有し、
    前記第2センサ制御部は、
    前記AE計算部により計算された前記mフレームのフレーム長と前記m−1フレームのフレーム長とが異なるか否かを判定する第2判定部と、
    前記第2判定部により異なると判定された場合、前記第2画像センサに対して、前記第2フレーム長を設定する第2設定部と、
    を有することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1センサ制御部は、
    第1露光時間よりも第2露光時間が短くなる場合に、短くなる分だけ第2ブランキング期間を長く調整する第1調整部を有し、
    前記第2センサ制御部は、
    前記第3ブランキング期間を調整する第2調整部を有することを特徴とする請求項3に記載の画像処理装置。
  5. 前記第1センサ制御部及び前記第2センサ制御部は、
    前記m−1フレームより前記mフレームが暗くなるか否かに応じて、前記第2フレーム長を前記第1および第2画像センサに設定することを特徴とする請求項3に記載の画像処理装置。
  6. 前記第1センサ制御部は、
    前記m−1フレームより前記mフレームが暗くなる場合、前記第1フレーム長が変更されないようにし、前記m−1フレームより前記mフレームが明るくなる場合、前記第2フレーム長を設定し、前記第2センサ制御部は、
    前記m−1フレームより前記mフレームが暗くなる場合、前記第3ブランキング期間を前記第1ブランキング期間よりも短く設定し、前記m−1フレームより前記mフレームが明るくなる場合、前記第3ブランキング期間を前記第1ブランキング期間よりも長く設定することを特徴とする請求項5記載の画像処理装置。
  7. 前記第1センサ制御部は、
    前記第1調整部による調整後の第2ブランキング期間が下限値より大きい場合、前記第2フレーム長を設定せず、前記調整後のブランキング期間が前記下限値以下の場合、第2露光時間および前記調整後の第2ブランキング期間を設定し、
    前記第2センサ制御部は、
    前記第2調整部による調整後の前記第3ブランキング期間が前記下限値より大きい場合、前記第3ブランキング期間を調整し、前記調整後のブランキング期間が前記下限値以下の場合、前記第2露光時間および前記調整後の第2ブランキング期間を設定する請求項4記載の画像処理装置。
  8. 前記所定時間は、前記第1フレーム長の1/2の時間であることを特徴とする請求項1乃至7いずれか一項に記載の画像処理装置。
  9. 複数の画像センサからの出力データを処理する画像処理装置における画像処理方法であって、
    第1画像センサに、第1画像データを第1フレーム長で出力させ、
    第2画像センサに、前記第1画像センサの出力と所定時間ずれたタイミングで、第2画像データを前記第1フレーム長で出力させ、
    前記第1画像データの検波結果に基づいて、前記第1フレーム長と異なる第2フレーム長を前記第1および第2画像センサへ設定する処理を有し、
    第nフレーム長は第n露光時間と第nブランキング期間とを含み、
    前記設定する処理は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を、第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定する
    ことを特徴とする画像処理方法。
  10. 複数の画像センサからの出力データを処理するコンピュータに実行させるプログラムであって、
    第1画像センサに、第1画像データを第1フレーム長で出力させ、
    第2画像センサに、前記第1画像センサの出力と所定時間ずれたタイミングで、第2画像データを前記第1フレーム長で出力させ、
    前記第1画像データの検波結果に基づいて、前記第1フレーム長と異なる第2フレーム長を前記第1および第2画像センサへ設定する処理を有し、
    nフレーム長は第n露光時間と第nブランキング期間とを含み、
    前記設定する処理は、前記第1画像データの検波結果に基づいて、前記第2画像センサの第3ブランキング期間を、第1ブランキング期間と異なるブランキング期間に設定後、前記第2フレーム長を前記第1および第2画像センサへ設定する
    ことを特徴とするプログラム。
JP2013007753A 2013-01-18 2013-01-18 画像処理装置、画像処理方法及びプログラム Active JP6056497B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013007753A JP6056497B2 (ja) 2013-01-18 2013-01-18 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013007753A JP6056497B2 (ja) 2013-01-18 2013-01-18 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014138401A JP2014138401A (ja) 2014-07-28
JP6056497B2 true JP6056497B2 (ja) 2017-01-11

Family

ID=51415666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013007753A Active JP6056497B2 (ja) 2013-01-18 2013-01-18 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6056497B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005086219A (ja) * 2003-09-04 2005-03-31 Fuji Photo Film Co Ltd デジタルカメラ及び撮影制御方法
JP4364903B2 (ja) * 2004-03-17 2009-11-18 富士通マイクロエレクトロニクス株式会社 自動利得制御回路
JP4731229B2 (ja) * 2005-07-14 2011-07-20 イーストマン コダック カンパニー デジタルカメラ
JP5167094B2 (ja) * 2008-11-28 2013-03-21 三星電子株式会社 撮像装置及び撮像方法
JP5568458B2 (ja) * 2010-12-24 2014-08-06 京セラ株式会社 ステレオカメラ装置
JP5551824B2 (ja) * 2011-03-08 2014-07-16 ルネサスエレクトロニクス株式会社 撮像装置
JP5821300B2 (ja) * 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法

Also Published As

Publication number Publication date
JP2014138401A (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
US10082723B2 (en) Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
US20120176505A1 (en) Method and apparatus for capturing moving picture
JP5123137B2 (ja) 撮像装置および撮像方法
US8428121B2 (en) Image pick-up apparatus for shooting and reproducing a moving image
KR20130069041A (ko) 디스플레이 장치 및 방법
US9972355B2 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium
US10187594B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium storing computer program
US9609167B2 (en) Imaging device capable of temporarily storing a plurality of image data, and control method for an imaging device
JP2018006827A (ja) 撮像装置、撮像プログラム、撮像方法
JP2017175319A (ja) 画像処理装置、画像処理方法及びプログラム
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
JP5338373B2 (ja) 撮像装置
JP4761048B2 (ja) 撮像装置及びそのプログラム
CN111095912B (zh) 摄像装置、摄像方法及记录介质
JP6118118B2 (ja) 撮像装置およびその制御方法
JP5780885B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2018074523A (ja) 撮像装置、その制御方法、プログラムならびに記録媒体
JP2018006828A (ja) 撮像装置、その制御方法とプログラム
US10375348B2 (en) Image capturing apparatus operable to store captured image data in image memory, method of controlling same, and storage medium
US11356603B2 (en) Image capturing apparatus and control method therefor
US11356611B2 (en) Image capture apparatus and control method thereof
JP6056497B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014007454A (ja) 撮像装置および撮像方法
JP2014049882A (ja) 撮像装置
JP2018056652A (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161121

R150 Certificate of patent or registration of utility model

Ref document number: 6056497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150