JP4264808B2 - Moving image processing apparatus and method - Google Patents
Moving image processing apparatus and method Download PDFInfo
- Publication number
- JP4264808B2 JP4264808B2 JP2003090595A JP2003090595A JP4264808B2 JP 4264808 B2 JP4264808 B2 JP 4264808B2 JP 2003090595 A JP2003090595 A JP 2003090595A JP 2003090595 A JP2003090595 A JP 2003090595A JP 4264808 B2 JP4264808 B2 JP 4264808B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- scene
- distribution
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は動画像処理装置および画像処理方法に係り、特に動画記録機能を備えたデジタルカメラやビデオカメラなどに好適な動画の記録、再生処理技術に関する。
【0002】
【従来の技術】
特許文献1に開示された動画像再生装置では、撮影された動画から所定の間隔でインデックス画像を抽出し、これらインデックス画像をテープID、テープ全体量、画像インデックス数、およびポジションIDと共に当該動画像再生装置に備えられたメモリに記録して、動画再生時に表示画面上にインデックス画像や当該インデックス画像のポジション情報等を表示させることができる。そして、ユーザが所望のインデックス画像を選択すると、当該インデックス画像に対応したフレームから動画再生が開始されるようになっている。
【0003】
【特許文献1】
特開平6−153157号公報
【0004】
【発明が解決しようとする課題】
しかしながら、特許文献1のように一定の時間間隔でインデックス画像を抽出するものでは、所望のシーンが飛ばされていることがあり、所望のシーンを探すのができない場合もある。
【0005】
また、上記文献では、シーンチェンジ、録画スタート、インデックスマーク等に基づいてインデックスを作成することができると述べているが、シーンチェンジの検出方法などについて具体的な開示はない。仮に、録画スタートをきっかけにインデックス画像を作成する場合には録画スタート時のシーンがインデックス画像になってしまい、録画スタートのシーンが所望のシーンでなければ、所望のシーンを検索できない。例えば、始まりのシーンが同じような画像で、終わりの方のシーンが異なる複数の動画を撮影した場合については、録画スタート時の同じような画像のインデックス画像が抽出されてしまい、画像内容を把握することが困難である。このような場合、従来の構成では、いちいち始めから動画を再生して内容を確認しなければならなかった。
【0006】
一方、インデックスマークをきっかけにインデックス画像を作成する場合には、撮影者が撮影しながら適宜インデックスマークを付ける操作を行わなければならないので、撮影者の操作が煩雑である。
【0007】
本発明はこのような事情を鑑みてなされたもので、動画のシーン変化を自動的に検出できる動画処理技術を提供するとともに、動画の全体像を把握しやすいシーン別インデックスを容易に生成することができる動画像処理装置および方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
前記目的を達成するために本発明に係る動画像処理装置は、光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた動画の画像データを処理する動画像処理装置であって、所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定手段と、前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得手段と、前記色情報取得手段により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、前記分布情報取得手段により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出手段と、前記重心座標算出手段により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源種に対応した検出枠に位置するかを判断する検出枠判断手段と、前記エリアの分布の重心座標を監視するとともに、前記重心位置が異なる検出枠内に移動したときには光源種が変わったと判断し、光源種が変わった場合には撮影シーンが変わったと判断して、撮影シーンの変化を判別するシーン判別手段と、を備えたことを特徴としている。
【0009】
本発明によれば、入力された画像データから色温度情報を生成し、生成された色温度情報に基づいて撮影シーンの判別を行うように構成したので、ノーカットの1動画であっても当該1動画内の撮影シーンの判別が可能になる。また、オートホワイトバランスの機能を利用して色温度情報を生成するように構成したので新規機能を追加する必要がなくカメラ内の制御負担も節約できる。
【0010】
色温度情報は色温度を反映した情報を意味し、例えば、色温度そのもの、色成分の比率を示す情報、色情報の分析に基づいて判別された光源種の情報などの態様が含まれている。
【0011】
撮像手段を介して時系列に沿って取得された複数の画像について前記色温度情報生成手段により生成される色温度情報の変化に基づいて撮影シーンの変化を判断することができる。
【0012】
本発明の一態様に係る動画像処理装置は、前記撮像手段によって連続撮影された動画のうち前記シーン判別手段によってシーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出手段と、前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成手段と、を備えたことを特徴としている。
【0013】
かかる態様によれば、シーン判別によって撮影シーンが変化したところの画像をインデックス画像として抽出し、抽出されたインデックス画像からインデックスを生成するように構成したので、ノーカットの1動画であってもシーンごとにインデックスを生成することができる。
【0014】
動画内の1画像はフレーム画像と呼ばれ、各フレーム画像にはフレームを識別できる情報(例えばフレーム番号やフレーム名、タイムコードなど)が付与されている。
【0015】
さらに、インデックスを表示する表示手段と、インデックスのデータを記録するインデックス記録手段とを備える態様もある。
【0016】
また、インデックスのデータを記録する態様には、インデックスそのものを画像として記録する態様、インデックスの再現に必要な情報(インデックス画像のフレーム番号を記述したものなど)を記録する態様やインデックスそのものを画像として記録し、さらに、インデックスの再現に必要な情報も記録する態様がある。
【0017】
また、前記撮像手段を用いて被写体を連続撮影して得られた動画を記録媒体に記録する記録手段と、前記記録手段に記録されている画像を再生する再生処理手段と、前記再生処理手段により再生された画像や前記インデックス生成手段により生成されたインデックスを表示する表示手段と、を備えたことを特徴としている。
【0018】
撮像手段を備えていれば、動画記録装置(すなわち、動画像撮像記録装置)となる。また、撮像手段と分離された構成の信号処理装置の態様もある。前記信号処理装置はパソコンなどで実現可能である。
【0019】
本発明の他の態様に係る動画像処理装置は、前記表示手段に表示された複数の前記インデックス画像から所望のインデックス画像を選択するインデックス選択手段と、前記インデックス選択手段により所望のインデックス画像が選択されると、当該インデックス画像に対応する画像から再生を開始する制御を行う再生制御手段と、を備えたことを特徴としている。
【0020】
かかる態様によれば、表示手段に表示された複数のインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する画像から再生できるように構成したので、1つの動画の途中から所望の場面を再生でき、便利である。
【0021】
さらに他の態様によれば、前記シーン判別手段の判断結果を表すシーン判別情報を画像と関連付けて記録するシーン判別情報記録手段を備えたことを特徴としている。
【0022】
シーン判別情報を画像と関連付けて記録する態様には、該当フレームにフラグを立てる(該当フレームの所定の領域にシーン判別情報を記録する態様を含む)態様やヘッダー情報として記録する態様、または、該当フレームのリストを作成する態様がある。
【0023】
フレームごとにホワイトバランス情報(例えばゲイン値)を記録することでゲイン値が変化したところ(しきい値以上大きく変化した場合)がすなわちシーン変化したところを表している。
【0024】
また、記録しておいたシーン判別情報を再生時に活用してインデックス画像を抽出し、抽出されたインデックス画像からインデックス生成してもよい。さらに生成されたインデックスを表示してもよいし、生成されたインデックスを記録してもよいし、表示と記録の両方を行ってもよい。
【0028】
前記目的を達成するために本発明に係る動画像処理方法は、光学像を電気信号に変換する撮像手段を用いて被写体を連続撮影して得られた動画の画像データを処理する動画像処理方法であって、所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定工程と、前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得工程と、前記色情報取得工程により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得工程と、前記分布情報取得工程により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出工程と、前記重心座標算出工程により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源種に対応した検出枠に位置するかを判断する検出枠判断工程と、前記エリアの分布の重心座標を監視するとともに、前記重心位置が異なる検出枠内に移動したときには光源種が変わったと判断し、光源種が変わった場合には撮影シーンが変わったと判断して、撮影シーンの変化を判別するシーン判別工程と、を含むことを特徴としている。また、本発明の一態様に係る動画像処理方法は、前記撮像手段によって連続撮影された動画のうち前記シーン判別工程によって撮影シーンが変化したと判断されたところの画像をインデックス画像として抽出するインデックス画像抽出工程と、前記インデックス画像抽出工程により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成工程と、を含むことを特徴としている。
【0029】
生成されたインデックスを表示手段に表示させる工程、および生成されたインデックスのデータを記録媒体に記録する工程、を付加してもよい。
【0030】
生成されたインデックスの出力形態にはを表示手段に表示させる形態や記録媒体に記録する形態の他に、通信媒体を介して外部に出力する形態などがあり得る。
【0031】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理装置として機能するカメラの好ましい実施の形態について説明する。
【0032】
図1は本発明の実施形態に係る画像処理装置として機能するカメラのブロック図である。
【0033】
このカメラ10は、音声付き動画の記録および再生機能を備えたデジタルカメラであり、カメラ10全体の動作は中央処理装置(CPU)12によって統括制御される。 CPU12は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、自動ホワイトバランス調節(AWB)演算など、各種演算を実施する演算手段として機能する。
【0034】
なお、自動露出、自動焦点調節および自動ホワイトバランス調節はそれぞれAE、AF、AWBと記載することがある。
【0035】
バス14を介してCPU12と接続されたROM16には、CPU12が実行するプログラムおよび制御に必要な各種データ等が格納されている。なお、不揮発性記憶手段であるROM16は書き換え不能なものであってもよいし、EEPROMのように書き換え可能なものでもよい。
【0036】
また、メモリ(SDRAM)18は、プログラムの展開領域およびCPU12の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。VRAM20は画像データ専用の一時記憶メモリであり、A領域20AとB領域20Bが含まれている。メモリ18とVRAM20は共用することが可能である。
【0037】
カメラ10にはモード選択スイッチ22、撮影ボタン24、その他、メニュー/OKキー、十字キー、キャンセルキーなどの操作手段26が設けられている。これら各種の操作部(22〜26)からの信号はCPU12に入力され、CPU12は入力信号に基づいてカメラ10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、画像表示装置28の表示制御などを行う。
【0038】
モード選択スイッチ22は、静止画撮影モード、動画撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ20を操作して可動接片22Aを接点aに接続させると、その信号がCPU12に入力され、カメラ10は静止画撮影モードに設定され、可動接片22Aを接点bに接続させると、カメラ10は動画撮影モードに設定される。また、可動切片22Aを接点cに接続させると、カメラ10は記録済みの画像を再生する「再生モード」に設定される。
【0039】
再生される画像データが静止画である場合には、画像表示装置28には静止画像が表示される。また、再生される画像が動画である場合には、まず、ファイルの代表画像が表示され、インデックスを表示させるか否かを選択する。インデックスを表示させない場合にはファイルの先頭から再生が開始され、インデックスを表示させる場合には、所望のインデックス画像を選択し、再生開始操作を行うと、画像表示装置28には選択されたインデックス画像に対応した画像から動画が再生される。なお、インデックス画像の詳細については後述する。
【0040】
撮影ボタン24は、撮影開始の指示を入力する操作ボタンであり、動画撮影においては録画開始(スタート)/停止(ストップ)ボタンとして機能し、静止画撮影においてはレリーズボタンとして機能する。撮影ボタン24は、半押し時にONするS1スイッチと、全押し時にONするS2スイッチとを有する二段ストローク式のスイッチで構成されている。
【0041】
メニュー/OKキーは、画像表示装置28の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するOKボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の4方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン(カーソル移動操作手段)として機能する。また、十字キーの上/下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左/右キーは再生モード時のコマ送り(順方向/逆方向送り)ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは1つ前の操作状態に戻らせる時などに使用される。
【0042】
画像表示装置28は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置28は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置28は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ELなど他の方式の表示装置(表示手段)を用いることも可能である。
【0043】
カメラ10は、メディアソケット(メディア装着部)30を有し、メディアソケット30には記録メディア32を装着することができる。記録メディアの形態は特に限定されず、xD-PictureCard(商標)、スマートメディア(商標)に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【0044】
本発明の実施に際しては、メディアソケットの個数は特に限定されない。また、画像データを記録する手段はリムーバブルメディアに限らず、カメラ10に内蔵された記録媒体(内部メモリ)であってもよい。
【0045】
メディアコントローラ34は、メディアソケット30に装着される記録メディア32に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【0046】
また、カメラ10はパソコンその他の外部機器と接続するための通信手段としてUSBインターフェース部36を備えている。図示せぬUSBケーブルを用いてカメラ10と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はUSBに限らず、IEEE1394やBluetooth その他の通信方式を適用してもよい。
【0047】
次に、カメラ10の撮影機能について説明する。
【0048】
モード選択スイッチ22によって静止画撮影モードまたは動画撮影モードが選択されると、CCD固体撮像素子(以下CCDと記載)38を含む撮像部に電源が供給され、撮影可能な状態になる。
【0049】
レンズユニット40は、フォーカスレンズを含む撮影レンズ42と絞り兼用メカシャッター44とを含む光学ユニットである。レンズユニット40は、CPU12によって制御されるレンズ駆動部46、絞り駆動部48によって電動駆動され、ズーム制御、フォーカス制御およびアイリス制御が行われる。
【0050】
レンズユニット40を通過した光は、CCD38の受光面に結像される。CCD38の受光面には多数のフォトダイオード(受光素子)が二次元的に配列されており、各フォトダイオードに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造(ベイヤー、Gストライプなど)で配置されている。また、CCD38は、各フォトダイオードの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。CPU12は、タイミングジェネレータ50を介してCCD38での電荷蓄積時間を制御する。なお、CCD38に代えてMOS型など他の方式の撮像素子を用いてもよい。
【0051】
CCD38の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU12の指令に従いタイミングジェネレータ50から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。
【0052】
CCD38から出力された信号はアナログ処理部(CDS/AMP)52に送られ、ここで画素ごとのR、G、B信号がサンプリングホールド(相関二重サンプリング処理)され、増幅された後、A/D変換器54に加えられる。A/D変換器54は、順次入力するR、G、B信号をデジタル信号に変換して画像入力コントローラ56に出力する。
【0053】
画像信号処理回路58は、画像入力コントローラ56を介して入力するデジタルの画像信号をCPU12の指令に従って処理する。すなわち、画像信号処理回路58は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含む画像処理手段として機能し、CPU12からのコマンドに従ってメモリ18を活用しながら所定の信号処理を行う。
【0054】
なお、画像入力コントローラ56には、メモリ18およびVRAM20のデータ読み出し制御、書き込み制御を行うメモリコントローラが含まれている。
【0055】
画像信号処理回路58に入力されたRGBの画像データは、画像信号処理回路58において輝度信号(Y信号)および色差信号(Cr,Cb 信号)に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路58で処理された画像データはVRAM20に格納される。
【0056】
撮影画像を画像表示装置28にモニタ出力する場合、VRAM20から画像データが読み出され、バス14を介してビデオエンコーダ60に送られる。ビデオエンコーダ60は、入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換して画像表示装置28に出力する。
【0057】
CCD38から出力される画像信号によって、1コマ分の画像を表す画像データがA領域20AとB領域20Bとで交互に書き換えられる。VRAM20のA領域20AおよびB領域20Bのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてVRAM20内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置28に供給されることにより、撮像中の映像がリアルタイムに画像表示装置28に表示される。撮影者は、画像表示装置28に表示される映像(スルームービー画)によって撮影画角を確認できる。
【0058】
撮影ボタン24が半押しされ、S1がオンすると、カメラ10はAEおよびAF処理を開始する。すなわち、CCD38から出力された画像信号はA/D変換後に画像入力コントローラ56を介してAF検出回路62並びにAE/AWB検出回路64に入力される。
【0059】
AE/AWB検出回路64は、1画面を複数のエリア(例えば、8×8)に分割し、分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU12に提供する。CPU12は、AE/AWB検出回路64から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いCPU12はCCD38の電子シャッターおよびアイリスを制御して適正な露光量を得る。
【0060】
また、AE/AWB検出回路64は、分割エリアごとにRGB信号の色別の平均積算値を算出し、その算出結果をCPU12に提供する。CPU12は、Rの積算値、Bの積算値、Gの積算値を得て、R/GおよびB/Gの比を求め、これらR/G、B/Gの値と、AE演算による撮影EV値の情報に基づいて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って、例えば、各比の値がおよそ1(つまり、1画面においてRGBの積算比率がR:G:B≒1:1:1)になるように、ホワイトバランス調整回路のアンプゲインを制御し、各色チャンネルの信号に補正をかける。前述した各比の値を1以外の値になるようにホワイトバランス調整回路のアンプゲインを調整すると、ある色味が残った画像を生成することができる。なお、ホワイトバランス制御の詳細は後述する。
【0061】
本カメラ10におけるAF制御は、例えば映像信号のG信号の高周波成分が極大になるようにフォーカシングレンズ(撮影レンズ42を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ)を移動させるコントラストAFが適用される。すなわち、AF検出回路62は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内(例えば、画面中央部)に予め設定されているフォーカス対象エリア内の信号を切り出すAFエリア抽出部、およびAFエリア内の絶対値データを積算する積算部から構成される。
【0062】
AF検出回路62で求めた積算値のデータはCPU12に通知される。CPU12は、レンズ駆動部46を制御してフォーカシングレンズを移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部46を制御する。なお、AF評価値の演算はG信号を利用する態様に限らず、輝度信号(Y信号)を利用してもよい。
【0063】
撮影ボタン24が半押しされ、S1オンによってAE/AF処理が行われ、撮影ボタン24が全押しされ、S2オンによって記録用の撮影動作がスタートする。S2オンに応動して取得された画像データは画像信号処理回路58において輝度/色差信号(Y/C信号)に変換され、ガンマ補正等の所定の処理が施された後、メモリ18に格納される。
【0064】
メモリ18に格納されたY/C信号は、圧縮伸張回路66によって所定のフォーマットに従って圧縮された後、メディアコントローラ34を介して記録メディア32に記録される。例えば、静止画についてはJPEG(Joint Photographic Experts Group)形式、動画についてはモーションJPEG形式で記録される。
【0065】
モーションJPEG方式では、CCD38から取得した画像データを一旦、内部のメモリ18に記憶した後、画像信号処理回路58において輝度/色差信号(Y/C信号)に変換し、1画像内でJPEG圧縮しながら、外部の記録メディア32に一定のフレームレート(例えば、30フレーム/秒)で静止画を連続的に保存していく。
【0066】
動画のファイル形式はモーションJPEGに限定されず、MPEGなど他のファイル形式を適用してもよい。また、静止画ファイルの記録形式もJPEG形式に限定されず、TIF 形式やBMP 形式など他の形式を用いてもよい。MPEG方式の場合は、フレーム内圧縮およびフレーム間圧縮を行いながら外部の記録メディア32に連続的に記録する。
【0067】
動画撮影中には、いわゆる「山登り方式」の連続的なAF処理(コンティニアスAF)を行う。すなわち、フォーカシングレンズを光軸に沿って前後に微小移動させて、焦点評価値の増減方向をチェックしながら、AF評価値の極大点まで、徐々にフォーカシングレンズを移動させる。
【0068】
動画撮影時の音声はマイク(図1には不図示)によって検出され、その検出信号(音声信号)は、A/D変換器(図1には不図示)によってデジタル信号に変換され、音声信号処理回路(図1には不図示)に送られる。音声信号処理回路はバス14に接続されており、メモリ18を利用しながらCPU12の指令に従い音声データを所定の信号形式に変換する。こうして生成された音声データは、メモリ18に記憶され、画像データとともに圧縮伸張回路66で圧縮された後、記録メディア32に記録される。
【0069】
録画開始後に、もう一度撮影ボタン24を押下(S1オン)すると録画動作が停止する。なお、撮影ボタン24を押下継続している期間、録画動作を行い、押下解除により録画を停止させる態様や、録画開始後の一定時間で録画を自動停止させる態様などもある。
【0070】
モード選択スイッチ22により再生モードが選択されると、記録メディア32に記録されている最終の画像ファイル(最後に記録されたファイル)の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路66を介して非圧縮のYC信号に伸張され、画像信号処理回路58およびビデオエンコーダ60を介して表示用の信号に変換された後、画像表示装置28に出力される。これにより、当該ファイルの画像内容が画像表示装置28の画面上に表示される。
【0071】
再生対象ファイルが動画ファイルの場合には、インデックス画像が表示され、動画再生開始の指示を受け付ける画面になる。表示されているインデックス画像から所望のインデックス画像を選択し、操作部から所定の操作(例えば、十字キーの下キー押下)を行うと、選択されたインデックス画像に対応した動画ファイルの再生処理がスタートし、画像表示装置28に動画映像が表示されるとともに、音声信号処理回路において再生処理された音声データがD/A変換器を介してスピーカ(図1には不図示)に出力され、動画とともに記録した音声も再生される。
【0072】
静止画の一コマ再生中(動画の先頭フレーム再生中も含む。)に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること(順コマ送り/逆コマ送り)ができる。コマ送りされた位置の画像ファイルが記録メディア32から読み出され、上記と同様にして静止画像や動画が画像表示装置28に再生表示される。
【0073】
次に、図2乃至4を用いて、上記の如く構成されたカメラ10のオートホワイトバランス調節機能について説明する。
【0074】
図2は本実施形態に係るカメラ10のオートホワイトバランス処理に関連する部分のブロック図である。図2中図1と同一または類似する部分には同一の符号を付しその説明は省略する。
【0075】
図2のデジタル信号処理回路100は図1中画像信号処理回路58の一部であり、同時化回路102、ホワイトバランス調整回路104、ガンマ補正回路106、YC信号作成回路108、およびメモリ118から構成されている。ここで、メモリ110は図1のメモリ18と同一であるが、本発明の理解を容易にするために図2ではメモリ18とメモリ110とが別々に記載されている。なお、図1ではメモリ18とメモリ110を合わせてメモリ18と記載されている。
【0076】
A/D変換器54から出力されたR、G、B信号は画像入力コントローラを介して一旦メモリ18に格納される。同時化回路102は、メモリ18から読み出された点順次のR、G、B信号を同時式に変換し、R、G、B信号を同時にホワイトバランス調整回路104に出力する。ホワイトバランス調整回路104は、R、G、B信号のデジタル値をそれぞれ増減するための乗算器104R、104G、104Bから構成されており、R、G、B信号は、それぞれ乗算器104R、104G、104Bに加えられる。
【0077】
乗算器104R、104G、104Bの他の入力には、CPU12からホワイトバランス制御するためのホワイトバランス補正値(ゲイン値)Rg、Gg、Bgが加えられており、乗算器104R、104G、104Bはそれぞれ2入力を乗算し、この乗算によってホワイトバランス調整されたR’、G’、B’信号をガンマ補正回路106に出力する。
【0078】
ホワイトバランス補正値をRg、Gg、Bg、補正する前の信号をR、G、Bとし、ホワイトバランス調整回路104での補正結果をR’、G、’B’とすると、補正結果R’、G’、B’は次式によって表される。
【0079】
【数1】
R’=Rg×R
G’=Gg×G
B’=Bg×B
ガンマ補正回路106は、ホワイトバランス調整されたR’、G’、B’信号が所望のガンマ特性となるように入出力特性を変更し、YC信号作成回路108に出力する。YC信号作成回路108は、ガンマ補正されたR、G、B信号から輝度信号Yと色差信号であるクロマ信号Cr、Cbとを作成する。これらの輝度信号Yとクロマ信号Cr、Cbは、メモリ110に格納される。メモリ110内のYC信号を読み出し、画像表示装置28に出力することにより、動画または静止画を画像表示装置28に表示させることができる。
【0080】
図3は、オートホワイトバランス(AWB)制御の流れを示したフローチャートである。
【0081】
撮影ボタン全押し(S2オン)に応動してオートホワイトバランス制御が開始され(ステップS100)、CCD38より取得された1画面分のRGBデータはメモリ18に記憶される。撮像画面は複数のエリア(例えば8×8)に分割され、エリアごとにR、G、B信号の色別の平均積算値が算出される(ステップS110)。
【0082】
得られた色別の積算値から一画素あたりの平均値が算出され、その平均値からR信号とG信号との比R/G、およびB信号とG信号との比B/Gが求められる(ステップS112)。
【0083】
なお、エリアごとのR、G、B信号の平均値は、図2に示した積算回路112によって算出され、CPU12に送られる。また積算回路112とCPU12の間には乗算器112R、112G、112Bが設けられており、乗算器112R、112G、112Bには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。なお、図2に示した積算回路112は図1に示したAE/AWB検出回路64に含まれている。
【0084】
こうしてエリアごと求められる色情報(R/G、B/G)は、それぞれのエリアが図4の表色座標200上に表された検出枠のうち何れの検出枠に入るかを判別するために使用される。なお、図4における日陰検出枠202や昼光色検出枠204等の検出枠は、横軸をR/G、たて軸をB/Gとする表色座標200上に表された枠であり、検出枠ごとに光源種などの色分布の範囲を規定するものである。
【0085】
図4では日陰検出枠202、昼光色検出枠204、白色検出枠206、晴れ検出枠208、温白色検出枠210、タングステン検出枠(2)212、タングステン検出枠(3)214が示されている。ただし、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【0086】
図4に示した検出枠を用い、撮像画面の各エリアに対応する64点の分布を得て、64点の分布を検出枠ごとに平均化する。即ち、各検出枠に出力された点のみに関して、各検出枠に入った個数と各検出枠での平均座標(Ri/Gi,Bi/Gi)とが算出される(図3のステップS114)。
【0087】
各枠ごとの分布をある色味に合わせるために、それぞれの枠ごとにゲインが算出される(ステップS114)。目標値を(Tx,Ty)とすると、各枠ごとのゲイン(逆数ゲイン)Gri、Gbiは次式で計算される。
【0088】
【数2】
Gri=Tx×(Gi/Ri)
Gbi=Ty×(Gi/Bi)
こうして求められた各枠ごとのゲインと明るさの関数、各検出枠検出個数の割合によって決められた検出枠ごとに評価値が求められる。該評価値は次式で計算される。
【0089】
【数3】
評価値Hi=F(明るさ)×F(検出個数)
上記のように求められた評価値Hiとの重み付けでホワイトバランスゲインRg、Gg、Bgが求められる(ステップS118)。
【0090】
ホワイトバランスゲインRg、Gg、Bgは次式で計算される。
【0091】
【数4】
Rg=Σ(Hi×Gri)/Σ(Hi×Gg)
Bg=Σ(Hi×Gbi)/Σ(Hi×Gg)
Gg=Gg(Ggは任意の値)
このようにして、ホワイトバランスゲインRg、Gg、Bgが算出されるとオートホワイトバランス制御は終了される(ステップS120)。
【0092】
目標値(Tx,Ty)を(1,1)に設定すると、RGB信号の比が1:1:1となる。色味を残すためには目標値は(1,1)以外に設定される。
【0093】
上述したホワイトバランス制御を利用した撮影シーン判別について、図5、6を用いて説明する。
【0094】
図5は、ホワイトバランス制御およびシーン判別制御の機能ブロック図である。RGB積算部300では、1画面を複数のエリア(例えば、8×8)に分割され、分割エリアごとに色別の平均積算値が算出され、R/G、B/G積算部302においてR信号とG信号との比R/G、およびB信号とG信号との比B/Gが求められる。
【0095】
R/GおよびB/Gが求められると、図4に示した表色座標200上における各エリアの分布を得ることができる。検出個数算出部304では、表色座標200上に設定された検出枠の中に入ったエリアの個数および分布から、検出枠ごとの平均座標(Ri/Gi,Bi/Gi)が求められる。
【0096】
逆数ゲイン算出306では、検出個数算出部304で求められた平均座標(Ri/Gi,Bi/Gi)から、上述した[数2]に示した式によって、逆数ゲインGriおよびGbiが求められる。
【0097】
また、AE演算部308では、分割エリアごとにR、G、B信号から求めた輝度信号を積算し、明るさの評価値演算部310では、ホワイトバランスゲインを求める際に用いられる明るさの関数F(明るさ)が求められる。
【0098】
AWB評価値演算部312では、前記明るさの関数F(明るさ)と検出個数演算部304で求められた平均座標(Ri/Gi,Bi/Gi)とから、上述した[数3]に示した式により検出枠ごとの評価値Hiが求められ、AWBゲイン算出部314において、逆数ゲイン算出部306で求められた検出枠ごとの逆数ゲインGri、GbiとAWB評価値演算部312で求められた検出枠ごとの評価値Hiとから、上述した[数4]に示した式によってホワイトバランスゲインRg、Gg、Bgが求められる。
【0099】
一方、重心演算部316では、検出枠ごとに検出個数と各検出枠の平均値との重み付けによって重心座標(R/G,B/G)が求められる。検出枠ごとの検出個数をNiとすると、重心座標(R/G,B/G)は次式によって求められる。
【0100】
【数5】
R/G=Σ(Ni×Ri/Gi)/ΣNi×Gg
B/G=Σ(Ni×Bi/Gi)/ΣNi×Gg
上記の如く求められた重心座標(R/G,B/G)によって、図4に示した表色座標上に設定されたどの検出枠に重心が位置しているかを判断することができる。即ち、重心が位置している検出枠の光源が、当該画像を撮影したときの光源であると判断することができる。
【0101】
シーンチェンジ判定部318では、当該画像の重心位置を監視し、前記重心位置が異なる検出枠内に移動したときには光源種が変ったと判断し、これを撮影シーンが変った(シーンチェンジ)と判定する。
【0102】
本実施形態では、表色座標にR/G、B/G座標系を用いたが表色座標系にはR、G、B座標系等、他の座標系を用いてもよい。
【0103】
上述したシーン判別制御を利用して、動画のインデックス作成について説明する。
【0104】
図6は、動画撮影時におけるインデックス生成およびインデックス画像抽出の概要を示した図である。図6では、時間軸400は左から右に進行しており、時間軸400の左端(スタート)から動画記録が開始され、時間軸400の右端(ストップ)で動画記録が終了し、この間に撮影された動画は1つの動画ファイルとして記録される。
【0105】
画像402は動画記録開始時の画像であり、本動画は所定の間隔(サンプリングレート)で記録されたn個の画像から構成されている。
【0106】
時間軸400上には、図5に説明したシーン判別制御によってシーンチェンジと判断されたシーンが示されている。画像404は動画記録開始から1回目のシーンチェンジ時(シーンチェンジ1)のフレーム画像を示し、画像406は2回目のシーンチェンジ時(シーンチェンジ2)のフレーム画像、画像408は3回目のシーンチェンジ時(シーンチェンジ3)のフレーム画像、・・・、画像410はm−1回目のシーンチェンジ時(シーンチェンジm−1)のフレーム画像、画像412はm回目のシーンチェンジ時(シーンチェンジm)のフレーム画像を示している。当該動画記録では、図5に説明したシーン判別制御によってm回のシーンチェンジが検出されている。なお、nおよびmはそれぞれ任意の自然数である。
【0107】
シーンチェンジ時のフレーム画像が抽出され、予め設定された縮小率で圧縮されて、インデックス画像が生成される。フレーム画像402からインデックス画像422が生成され、同様にフレーム画像404からインデックス画像424が生成され、フレーム画像406、408、410、412からインデックス画像426、428、430、432がそれぞれ生成され、m個のインデックス画像が生成される。上記の如く生成されたインデックス画像422乃至432は、元のフレーム画像のフレーム番号と対応付けされて、記録メディア32に記憶される。
【0108】
シーンチェンジ時のフレーム画像を抽出せずに、フラグを立てて記録してもよいし、また、シーンチェンジ時のフレーム番号のリストを作成し、フレーム番号リストを記録する形態でもよい。また、毎フレーム画像にRGB信号の積算値や色温度情報、光源種情報等のホワイトバランス情報を添付して記録し、記録されているフレーム画像のホワイトバランス情報からシーンチェンジ時のフレーム画像を検索する形態も考えられる。
【0109】
図1に示したモード選択スイッチ22が再生モードに設定され、再生画像に動画ファイルが選択されると、記録メディア32に記録されたインデックス画像はCPU12の制御に従って随時読み出され、所定の配列形式に従って配列されてインデックスが生成される。このように生成されたインデックスは画像表示装置28に表示される。
【0110】
各インデックス画像には、少なくとも元のフレーム画像の名称(例えば、フレーム1などのフレーム名や任意のファイル名等)を対応付けして記録されるが、さらに、元のフレーム画像の記録時間、当該インデックス画像の容量、ファイル全体の記録時間、撮影条件などの当該インデックス画像に関連した情報を添付してもよい。
【0111】
本実施形態では元のフレーム画像を縮小してインデックス画像を生成したが、すべてのインデックス画像を縮小せず記憶可能な容量を持つメモリを備えていれば、縮小処理を省略することができる。
【0112】
また、インデックス画像を記録メディア32に記録し、再生時に記録メディア32からインデックス画像を読み出し、時系列順に配置してインデックスを作成したが、インデックス画像が生成された際にインデックスを作成し、インデックスを画像として記録メディアに記録する形態も考えられる。
【0113】
図7は、インデックス表示形式の一例を示した図である。
【0114】
図7に示したとおり、画像表示装置28にはインデックス433が表示され、インデックス433内にはインデックス画像が12枚同時に表示されており、記録開始時の画像(図6のインデックス画像422)が上段左に配置され、左上方向から右方向にかけて、下方向に改行しながら、時系列にそってマトリクス状に配置される。
【0115】
図7において、インデックス画像422の右隣にはインデックス画像424が配置され、インデックス画像424の右隣にはインデックス画像426が配置され、さらに、インデックス画像426の右隣にはインデックス画像428が配置される。図6においてmが12である場合には、インデックス画像430は下段右から3枚目に配置され、インデックス画像432は下段左端に配置される。
【0116】
また、インデックス画像が13枚以上ある場合には、例えば、図1に示した十字キーの下キーを押下するなどの操作手段26を操作することにより、1枚目から12枚目の画像に代わって13枚目から24枚目の画像が画像表示装置28に表示される。なお、例えば、インデックス画像が20枚のときには、21枚目から24枚目までの画像を表示する領域には、インデックス画像の大きさと同じ大きさの枠が表示される。
【0117】
また、画像表示装置28に表示されるインデックス433には、インデックス画像の他に選択されているインデックス画像を示す選択枠434が表示されている。選択枠434は、図1に示した十字キーなどの操作手段26を操作して移動させることができ、所望のインデックス画像の位置に移動させ、メニュー/OKキー(操作手段26)を操作して、選択を決定させる。
【0118】
また、12枚のインデックス画像を同時に記録する形態を例示したが、インデックス画像の表示枚数は1つの画像の大きさ(面積)や画像表示装置28の有効表示面積よって決められる。また、表示枚数をユーザが選択するよう構成してもよい。さらにインデックス画像の添付情報を同時に表示させてもよい。
【0119】
本実施形態では、図1に示したモード選択スイッチ22が再生モードに設定された場合に画像表示装置28にインデックス画像を表示させる形態を例示したが、動画撮影(記録)時に、インデックス画像を同時表示させてもよい。インデックス画像を撮影画像と同時表示する形態は、インデックス画像専用表示領域を設けてもよいし、撮影画像に重ねて表示してもよい。撮影画像と重ねて表示する場合には撮影の妨げにならないように表示することが好ましい。
【0120】
図8は、本実施形態に係るカメラ10のホワイトバランス制御およびシーン判別制御の流れを示したフローチャートである。図8中図3と同一または類似する部分については同一の符号を付し、その説明は省略する。
【0121】
図1に示した撮影ボタン24全押し(S2オン)により動画撮影(記録)が開始され(図8のステップS200)、最初の画像が取得されると、図1に示した画像信号処理回路58にて、図3で説明したオートホワイトバランス制御が行われる。(図8で破線に囲まれた部分が図3のオートホワイトバランス制御に相当する)
まず、各分割エリアのRGBごとの積算値が算出され(ステップS110)、ステップS110によって求められたRGBごとの積算値からR/GおよびB/G(各エリアの色情報)が求められる(ステップS112)。
【0122】
図4に示した表色座標200上における各エリアの色情報分布から、各検出枠に入ったエリアの個数と各検出枠での平均座標が求められ(図8のステップS114)、各枠ごとにホワイトバランスゲインが算出される(ステップS118)。
【0123】
ステップS114において算出された各検出枠に入ったエリアの個数と各検出枠での平均座標とから、当該画像の重心座標が算出され、この重心座標が図4の表色座標200に示された何れの検出枠に入るかが算出される(ステップS12)。
【0124】
続いて、ステップS202において算出された重心座標が、図4に示した表色座標200上の何れの検出枠に入るかが検出され、連続撮影された2つの画像間でステップS202において算出された重心座標が入る表色座標200上の検出枠が変るか否かが判定されるシーン判定が行われる(ステップS204)。ステップS204において重心座標が入る検出枠が変らない(撮影シーンが変らない)と判定された場合には(NO判定)、ステップS208に進み、撮影終了操作(S1オン)がなされたか否かが検出される。ステップS208において撮影修了操作がなされない場合には(NO判定)、ステップS200に戻り、次の画像が取得される。
【0125】
一方、ステップS208において撮影終了操作がなされた場合には(YES判定)、動画撮影は終了される。
【0126】
ステップS204において、重心座標の検出枠が変った(撮影シーンが変った即ちシーンチェンジ)と判定された場合には(YES判定)、当該撮影画像からインデックス画像が抽出され、抽出されたインデックス画像からインデックスが生成される(ステップS206)。ステップS206においてインデックスが生成されると、カメラ10の処理はステップS208に進み、ステップS208において撮影終了操作がなされないと、次の画像が取得され、ステップS208において撮影終了操作がなされると撮影が終了される。
【0127】
上記の如く構成されたカメラ10では、動画撮影時において、オートホワイトバランス制御のアルゴリズムを利用して光源種判別を行い、撮影シーンの光源種が変ったか否かを判定してシーン判別を行う。オートホワイトバランス機能を利用するので新規機能を追加する必要がなく、カメラ10内の制御負担も節約できる。さらにシーンチェンジと判断されたときには当該フレーム画像からインデックス画像を抽出し、インデックスを作成する。したがって、ノーカットの1動画においても自動的にシーンチェンジを検出しインデックス433を生成することが可能である。
【0128】
本実施形態では、カメラ10内でシーン判別し、当該フレーム画像からインデックス画像を抽出し、インデックス433を生成したが、シーン判別に使用したシーン変化情報を記録しておき、カメラ10以外の再生装置や画像処理装置でインデックス433を生成してもよい。
【0129】
【発明の効果】
本発明によれば、入力された画像データから色温度情報を生成し、生成された色温度情報に基づいて撮影シーンの判別を行うように構成したので、ノーカットの1動画であっても当該1動画内の撮影シーンの判別が可能になる。撮像手段を介して時系列に沿って取得された複数の画像について前記色温度情報生成手段により生成される色温度情報の変化に基づいて撮影シーンの変化を判断することができる。また、オートホワイトバランスの機能を利用して色温度情報を生成するように構成したので新規機能を追加する必要がなくカメラ内の制御負担も節約できる。
【0130】
さらに、シーン判別によって撮影シーンが変化したところの画像をインデックス画像として抽出し、抽出されたインデックス画像からインデックスを生成するように構成したので、ノーカットの1動画であってもシーンごとのインデックスを生成することができる。インデックスを表示する表示手段とインデックスのデータを記録するインデックス記録手段とを備える態様もある。表示手段に表示された複数のインデックス画像から所望のインデックス画像を選択し、選択されたインデックス画像に対応する画像から再生できるように構成したので、1つの動画の途中から所望の場面を再生でき、便利である。
【図面の簡単な説明】
【図1】本発明の実施形態に係るカメラのブロック図
【図2】本実施形態に係るカメラのホワイトバランス処理関連部分のブロック図
【図3】オートホワイトバランス制御の流れを示したフローチャート
【図4】表色座標上の光源種検出枠を示した図
【図5】オートホワイトバランス制御およびシーン判別制御の機能ブロック図
【図6】インデックス画像抽出およびインデックス作成の概要を示した図
【図7】インデックス表示形式の一例を示した図
【図8】ホワイトバランス制御およびシーン判別制御の流れを示したフローチャート
【符号の説明】
10…カメラ、12…CPU、18…メモリ、26…操作手段、28…画像表示装置、32…記録メディア、40…レンズユニット、58…画像信号処理回路、200…表色座標、316…重心演算部、318…シーンチェンジ判定部、422,424,426,428,430,432…インデックス画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing apparatus and an image processing method, and more particularly to a moving image recording and reproduction processing technique suitable for a digital camera or a video camera having a moving image recording function.
[0002]
[Prior art]
In the moving image reproducing apparatus disclosed in
[0003]
[Patent Document 1]
JP-A-6-153157
[0004]
[Problems to be solved by the invention]
However, in the case of extracting an index image at a constant time interval as in
[0005]
Further, the above document describes that an index can be created based on a scene change, a recording start, an index mark, etc., but there is no specific disclosure regarding a scene change detection method. If an index image is created after the start of recording, the scene at the start of recording becomes an index image, and a desired scene cannot be searched unless the recording start scene is a desired scene. For example, when shooting multiple videos with similar images at the beginning and different scenes at the end, the index image of the same image at the start of recording is extracted, and the image contents are grasped. Difficult to do. In such a case, in the conventional configuration, it was necessary to check the contents by playing the moving image from the beginning.
[0006]
On the other hand, when creating an index image triggered by an index mark, the photographer must appropriately perform an operation of attaching an index mark while photographing, so the photographer's operation is complicated.
[0007]
The present invention has been made in view of such circumstances, and provides a moving image processing technique capable of automatically detecting a scene change of a moving image and easily generates an index for each scene that makes it easy to grasp the entire image of the moving image. An object of the present invention is to provide a moving image processing apparatus and method capable of performing the above.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a moving image processing apparatus according to the present invention comprises:,lightA moving image processing apparatus that processes image data of a moving image obtained by continuously photographing a subject using an imaging unit that converts a scientific image into an electrical signal,A detection frame setting unit that sets a detection frame indicating a color distribution range corresponding to a light source type on a predetermined color coordinate, and a screen imaged by the imaging unit is divided into a plurality of areas, and color information is obtained for each area. Color information acquisition means, distribution information acquisition means for obtaining a distribution of the area with respect to the detection frame based on the color information of each area acquired by the color information acquisition means, and the area obtained by the distribution information acquisition means Centroid coordinates calculating means for calculating the centroid coordinates of the area distribution from the distribution of the area, and the centroid coordinates of the distribution of the area obtained by the centroid coordinate calculating means correspond to any light source type set on the color coordinates Detection frame determining means for determining whether the detection frame is positioned, and monitoring the barycentric coordinates of the distribution of the area, and light when the barycentric position moves into a different detection frame It is determined that the species has changed, if the light source type has changed, it is determined that the shooting scene has changed, shootingAnd a scene discriminating unit for discriminating a change in the scene.
[0009]
According to the present invention, the color temperature information is generated from the input image data, and the shooting scene is determined based on the generated color temperature information. It is possible to determine the shooting scene in the video.In addition, since the color temperature information is generated using the auto white balance function, it is not necessary to add a new function, and the control burden in the camera can be saved.
[0010]
The color temperature information means information reflecting the color temperature, and includes, for example, aspects such as the color temperature itself, information indicating the ratio of the color components, and information on the light source type determined based on the analysis of the color information. .
[0011]
A change in the shooting scene can be determined based on a change in the color temperature information generated by the color temperature information generation unit for a plurality of images acquired in time series via the imaging unit.
[0012]
The moving image processing apparatus according to an aspect of the present invention includes an index image extraction unit that extracts, as an index image, an image of a moving image continuously shot by the imaging unit, where the scene determination unit determines that the scene has changed. And index generating means for generating an index in which a plurality of index images extracted by the index image extracting means are arranged in time series.
[0013]
According to this aspect, since an image where the shooting scene has changed due to scene discrimination is extracted as an index image and an index is generated from the extracted index image, even for one uncut video, for each scene An index can be generated.
[0014]
One image in the moving image is called a frame image, and information (for example, a frame number, a frame name, a time code, etc.) for identifying the frame is given to each frame image.
[0015]
Furthermore, there is also an aspect including display means for displaying an index and index recording means for recording data of the index.
[0016]
In addition, the mode for recording the index data includes a mode for recording the index itself as an image, a mode for recording information necessary for reproducing the index (such as a description of the frame number of the index image), and the index itself as an image. There is a mode in which information necessary for reproducing the index is recorded.
[0017]
In addition, a recording unit that records a moving image obtained by continuously photographing a subject using the imaging unit on a recording medium, a reproduction processing unit that reproduces an image recorded in the recording unit, and the reproduction processing unit And display means for displaying the reproduced image and the index generated by the index generation means.
[0018]
If an imaging unit is provided, a moving image recording apparatus (that is, a moving image imaging recording apparatus) is obtained. There is also an aspect of a signal processing device configured to be separated from the imaging unit. The signal processing device can be realized by a personal computer or the like.
[0019]
A moving image processing apparatus according to another aspect of the present invention includes an index selection unit that selects a desired index image from the plurality of index images displayed on the display unit, and a desired index image is selected by the index selection unit. Then, reproduction control means for performing control to start reproduction from an image corresponding to the index image is provided.
[0020]
According to this aspect, since the desired index image is selected from the plurality of index images displayed on the display means and can be reproduced from the image corresponding to the selected index image, the desired index image can be reproduced from the middle of one moving image. It is convenient to play the scenes.
[0021]
According to still another aspect, there is provided a scene discrimination information recording unit that records scene discrimination information representing a determination result of the scene discrimination unit in association with an image.
[0022]
A mode for recording scene discrimination information in association with an image is a mode for flagging a corresponding frame (including a mode for recording scene discrimination information in a predetermined area of the frame), a mode for recording as header information, or a mode There is a mode of creating a list of frames.
[0023]
When the white balance information (for example, gain value) is recorded for each frame, the position where the gain value is changed (when the gain value is changed more than the threshold value), that is, the scene is changed.
[0024]
Alternatively, the recorded scene discrimination information may be used during reproduction to extract an index image, and an index may be generated from the extracted index image. Further, the generated index may be displayed, the generated index may be recorded, or both display and recording may be performed.
[0028]
In order to achieve the above object, a moving image processing method according to the present invention is obtained by continuously photographing a subject using an imaging unit that converts an optical image into an electrical signal.Videoimage dataA detection frame setting step of setting a detection frame indicating a range of color distribution corresponding to a light source type on a predetermined color coordinate, and a plurality of areas of a screen imaged by the imaging unit. A color information acquisition step for obtaining color information for each area, and a distribution information acquisition step for obtaining a distribution of the area with respect to the detection frame based on the color information of each area acquired by the color information acquisition step; The barycentric coordinate calculation step of calculating the barycentric coordinate of the area distribution from the distribution of the area obtained by the distribution information acquiring step, and the barycentric coordinate of the area distribution obtained by the barycentric coordinate calculating step are the color coordinates. A detection frame determining step for determining which of the light source types set above is positioned in a detection frame; monitoring the barycentric coordinates of the distribution of the area; A scene determination step of determining that the light source type has changed when moving within the detection frame, and determining that the shooting scene has changed when the light source type has changed, and determining a change in the shooting scene. It is said. A moving image processing method according to an aspect of the present invention includes:An index image extracting step of extracting, as an index image, an image at which the shooting scene has been determined to have changed by the scene determining step among the moving images continuously shot by the image pickup means; and the index image extractingProcessAnd an index generation step of generating an index in which a plurality of index images extracted by the above are arranged in time series.
[0029]
You may add the process of displaying the produced | generated index on a display means, and the process of recording the data of the produced | generated index on a recording medium.
[0030]
The output form of the generated index may include a form for displaying on the display means, a form for recording on the recording medium, and a form for outputting to the outside via a communication medium.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
A preferred embodiment of a camera that functions as an image processing apparatus according to the present invention will be described below with reference to the accompanying drawings.
[0032]
FIG. 1 is a block diagram of a camera that functions as an image processing apparatus according to an embodiment of the present invention.
[0033]
The
[0034]
Note that automatic exposure, automatic focus adjustment, and automatic white balance adjustment may be described as AE, AF, and AWB, respectively.
[0035]
A
[0036]
The memory (SDRAM) 18 is used as a program development area and a calculation work area for the
[0037]
The
[0038]
The
[0039]
When the image data to be reproduced is a still image, the still image is displayed on the
[0040]
The
[0041]
The menu / OK key is an operation having both a function as a menu button for instructing to display a menu on the screen of the
[0042]
The
[0043]
The
[0044]
In implementing the present invention, the number of media sockets is not particularly limited. The means for recording the image data is not limited to the removable medium, but may be a recording medium (internal memory) built in the
[0045]
The
[0046]
The
[0047]
Next, the shooting function of the
[0048]
When the still image shooting mode or the moving image shooting mode is selected by the
[0049]
The
[0050]
The light that has passed through the
[0051]
The subject image formed on the light receiving surface of the
[0052]
The signal output from the
[0053]
The image
[0054]
Note that the
[0055]
The RGB image data input to the image
[0056]
When the captured image is output to the
[0057]
Image data representing an image for one frame is rewritten alternately in the
[0058]
When the
[0059]
The AE /
[0060]
The AE /
[0061]
The AF control in the
[0062]
The integrated value data obtained by the
[0063]
The
[0064]
The Y / C signal stored in the
[0065]
In the motion JPEG method, the image data acquired from the
[0066]
The file format of the moving image is not limited to motion JPEG, and other file formats such as MPEG may be applied. Also, the recording format of the still image file is not limited to the JPEG format, and other formats such as a TIF format and a BMP format may be used. In the case of the MPEG system, recording is continuously performed on the
[0067]
During moving image shooting, so-called “mountain climbing” continuous AF processing (continuous AF) is performed. That is, the focusing lens is slightly moved back and forth along the optical axis, and the focusing lens is gradually moved to the maximum point of the AF evaluation value while checking the increase / decrease direction of the focus evaluation value.
[0068]
The sound during video shooting is detected by a microphone (not shown in FIG. 1), and the detection signal (sound signal) is converted into a digital signal by an A / D converter (not shown in FIG. 1). It is sent to a processing circuit (not shown in FIG. 1). The audio signal processing circuit is connected to the
[0069]
After the start of recording, when the photographing
[0070]
When the playback mode is selected by the
[0071]
When the reproduction target file is a moving image file, an index image is displayed and a screen for accepting an instruction to start moving image reproduction is displayed. When a desired index image is selected from the displayed index images and a predetermined operation (for example, pressing the down key of the cross key) is performed from the operation unit, the playback process of the moving image file corresponding to the selected index image starts. Then, the moving image is displayed on the
[0072]
During single-frame playback of a still image (including playback of the first frame of a moving image), the file to be played is switched by operating the right or left key of the four-way controller (forward / reverse frame advance). Can do. The image file at the frame-advanced position is read from the
[0073]
Next, the auto white balance adjustment function of the
[0074]
FIG. 2 is a block diagram of a portion related to the auto white balance process of the
[0075]
A digital
[0076]
The R, G, and B signals output from the A /
[0077]
White balance correction values (gain values) Rg, Gg, and Bg for white balance control are added from the
[0078]
If the white balance correction values are Rg, Gg, Bg, the signals before correction are R, G, B, and the correction results in the white
[0079]
[Expression 1]
R ′ = Rg × R
G ′ = Gg × G
B ′ = Bg × B
The
[0080]
FIG. 3 is a flowchart showing a flow of auto white balance (AWB) control.
[0081]
The auto white balance control is started in response to full depression of the shooting button (S2 on) (step S100), and the RGB data for one screen acquired from the
[0082]
An average value per pixel is calculated from the obtained integrated value for each color, and a ratio R / G between the R signal and the G signal and a ratio B / G between the B signal and the G signal are obtained from the average value. (Step S112).
[0083]
Note that the average values of the R, G, and B signals for each area are calculated by the integrating circuit 112 shown in FIG. 2 and sent to the
[0084]
The color information (R / G, B / G) thus obtained for each area is used to determine which detection frame is included in the detection frames represented on the color coordinate 200 of FIG. used. Note that the detection frames such as the
[0085]
FIG. 4 shows a
[0086]
The distribution of 64 points corresponding to each area of the imaging screen is obtained using the detection frames shown in FIG. 4, and the distribution of 64 points is averaged for each detection frame. In other words, for only the points output to each detection frame, the number of pieces in each detection frame and the average coordinates (Ri / Gi, Bi / Gi) in each detection frame are calculated (step S114 in FIG. 3).
[0087]
In order to match the distribution of each frame to a certain color, a gain is calculated for each frame (step S114). When the target value is (Tx, Ty), gains (reciprocal gains) Gri and Gbi for each frame are calculated by the following equations.
[0088]
[Expression 2]
Gri = Tx × (Gi / Ri)
Gbi = Ty × (Gi / Bi)
An evaluation value is obtained for each detection frame determined by the function of gain and brightness for each frame and the ratio of the number of detected detection frames. The evaluation value is calculated by the following equation.
[0089]
[Equation 3]
Evaluation value Hi = F (brightness) × F (detected number)
White balance gains Rg, Gg, and Bg are obtained by weighting with the evaluation value Hi obtained as described above (step S118).
[0090]
White balance gains Rg, Gg, and Bg are calculated by the following equations.
[0091]
[Expression 4]
Rg = Σ (Hi × Gri) / Σ (Hi × Gg)
Bg = Σ (Hi × Gbi) / Σ (Hi × Gg)
Gg = Gg (Gg is an arbitrary value)
Thus, when the white balance gains Rg, Gg, and Bg are calculated, the auto white balance control is terminated (step S120).
[0092]
When the target value (Tx, Ty) is set to (1, 1), the RGB signal ratio is 1: 1: 1. In order to leave the color, the target value is set to other than (1, 1).
[0093]
Shooting scene discrimination using the above-described white balance control will be described with reference to FIGS.
[0094]
FIG. 5 is a functional block diagram of white balance control and scene discrimination control. In the
[0095]
When R / G and B / G are obtained, the distribution of each area on the color coordinate 200 shown in FIG. 4 can be obtained. The detected
[0096]
In the
[0097]
The
[0098]
In the AWB evaluation
[0099]
On the other hand, the center-of-
[0100]
[Equation 5]
R / G = Σ (Ni × Ri / Gi) / ΣNi × Gg
B / G = Σ (Ni × Bi / Gi) / ΣNi × Gg
Based on the center-of-gravity coordinates (R / G, B / G) obtained as described above, it is possible to determine in which detection frame set on the color coordinate shown in FIG. 4 the center of gravity is located. That is, it can be determined that the light source of the detection frame where the center of gravity is located is the light source when the image is captured.
[0101]
The scene
[0102]
In this embodiment, the R / G and B / G coordinate systems are used for the color coordinate, but other coordinate systems such as the R, G, B coordinate system may be used for the color coordinate system.
[0103]
The creation of an index for a moving image will be described using the scene discrimination control described above.
[0104]
FIG. 6 is a diagram showing an overview of index generation and index image extraction during moving image shooting. In FIG. 6, the
[0105]
An
[0106]
On the
[0107]
A frame image at the time of a scene change is extracted and compressed at a preset reduction ratio to generate an index image. An
[0108]
A frame may be set and recorded without extracting a frame image at the time of a scene change, or a list of frame numbers at the time of a scene change may be created and a frame number list may be recorded. Also, each frame image is recorded with white balance information such as RGB signal integration values, color temperature information, and light source type information attached, and the frame image at the time of the scene change is searched from the white balance information of the recorded frame image. The form to do is also considered.
[0109]
When the
[0110]
Each index image is recorded in association with at least the name of the original frame image (for example, a frame name such as
[0111]
In the present embodiment, the index image is generated by reducing the original frame image. However, if a memory having a capacity capable of storing all the index images without reducing them is provided, the reduction process can be omitted.
[0112]
In addition, the index image is recorded on the
[0113]
FIG. 7 is a diagram showing an example of an index display format.
[0114]
As shown in FIG. 7, an
[0115]
In FIG. 7, an
[0116]
When there are 13 or more index images, for example, the first to twelfth images are replaced by operating the operating means 26 such as pressing the down key of the cross key shown in FIG. Thus, the 13th to 24th images are displayed on the
[0117]
In addition to the index image, a
[0118]
Further, although an example in which twelve index images are simultaneously recorded has been illustrated, the number of index images to be displayed is determined by the size (area) of one image and the effective display area of the
[0119]
In the present embodiment, an example in which an index image is displayed on the
[0120]
FIG. 8 is a flowchart showing a flow of white balance control and scene discrimination control of the
[0121]
When the
First, an integrated value for each RGB in each divided area is calculated (step S110), and R / G and B / G (color information of each area) are obtained from the integrated values for each RGB obtained in step S110 (step S110). S112).
[0122]
From the color information distribution of each area on the color coordinate 200 shown in FIG. 4, the number of areas in each detection frame and the average coordinates in each detection frame are obtained (step S114 in FIG. 8). A white balance gain is calculated (step S118).
[0123]
The center-of-gravity coordinates of the image are calculated from the number of areas included in each detection frame calculated in step S114 and the average coordinates in each detection frame, and the center-of-gravity coordinates are indicated by the color coordinate 200 in FIG. Which detection frame is entered is calculated (step S12).
[0124]
Subsequently, it is detected which detection frame on the color coordinate 200 shown in FIG. 4 the barycentric coordinate calculated in step S202 enters, and is calculated in step S202 between two consecutively photographed images. A scene determination is performed in which it is determined whether or not the detection frame on the color coordinate 200 in which the barycentric coordinates enter changes (step S204). If it is determined in step S204 that the detection frame in which the barycentric coordinates enter does not change (the shooting scene does not change) (NO determination), the process proceeds to step S208, and it is detected whether or not the shooting end operation (S1 on) is performed. Is done. If the photographing completion operation is not performed in step S208 (NO determination), the process returns to step S200, and the next image is acquired.
[0125]
On the other hand, when the shooting end operation is performed in step S208 (YES determination), the moving image shooting is ended.
[0126]
In step S204, when it is determined that the detection frame of the barycentric coordinates has changed (the shooting scene has changed, that is, a scene change) (YES determination), an index image is extracted from the captured image, and from the extracted index image An index is generated (step S206). When the index is generated in step S206, the process of the
[0127]
With the
[0128]
In this embodiment, the scene is determined in the
[0129]
【The invention's effect】
According to the present invention, the color temperature information is generated from the input image data, and the shooting scene is determined based on the generated color temperature information. It is possible to determine the shooting scene in the video. A change in the shooting scene can be determined based on a change in the color temperature information generated by the color temperature information generation unit for a plurality of images acquired in time series via the imaging unit. In addition, since the color temperature information is generated using the auto white balance function, it is not necessary to add a new function, and the control burden in the camera can be saved.
[0130]
Furthermore, since the image where the shooting scene has changed due to scene discrimination is extracted as an index image, and an index is generated from the extracted index image, an index for each scene is generated even for one uncut video. can do. There is also an aspect provided with display means for displaying an index and index recording means for recording data of the index. Since a desired index image is selected from a plurality of index images displayed on the display means and can be reproduced from an image corresponding to the selected index image, a desired scene can be reproduced from the middle of one video, Convenient.
[Brief description of the drawings]
FIG. 1 is a block diagram of a camera according to an embodiment of the present invention.
FIG. 2 is a block diagram of a portion related to white balance processing of the camera according to the present embodiment.
FIG. 3 is a flowchart showing a flow of auto white balance control.
FIG. 4 is a diagram showing a light source type detection frame on color coordinates.
FIG. 5 is a functional block diagram of auto white balance control and scene discrimination control.
FIG. 6 is a diagram showing an overview of index image extraction and index creation.
FIG. 7 is a diagram showing an example of an index display format
FIG. 8 is a flowchart showing a flow of white balance control and scene discrimination control.
[Explanation of symbols]
DESCRIPTION OF
Claims (7)
所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定手段と、
前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得手段と、
前記色情報取得手段により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得手段と、
前記分布情報取得手段により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出手段と、
前記重心座標算出手段により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源種に対応した検出枠に位置するかを判断する検出枠判断手段と、
前記エリアの分布の重心座標を監視するとともに、前記重心位置が異なる検出枠内に移動したときには光源種が変わったと判断し、光源種が変わった場合には撮影シーンが変わったと判断して、撮影シーンの変化を判別するシーン判別手段と、
を備えたことを特徴とする動画像処理装置。A moving image processing apparatus that processes image data of a moving image obtained by continuously photographing a subject using an imaging unit that converts an optical image into an electrical signal,
Detection frame setting means for setting a detection frame indicating a range of color distribution corresponding to the light source type on a predetermined color coordinate;
A color information acquisition unit that divides a screen imaged by the imaging unit into a plurality of areas and acquires color information for each area;
Distribution information acquisition means for obtaining a distribution of the area with respect to the detection frame based on the color information of each area acquired by the color information acquisition means;
Centroid coordinate calculating means for calculating centroid coordinates of the distribution of the area from the distribution of the area obtained by the distribution information acquiring means;
A detection frame determination unit that determines whether the barycentric coordinate of the distribution of the area obtained by the barycentric coordinate calculation unit is located in a detection frame corresponding to which light source type set on the color coordinate;
While monitoring the barycentric coordinates of the distribution of the area, it is determined that the light source type has changed when the barycentric position moves into a different detection frame, and when the light source type has changed, it is determined that the shooting scene has changed, and shooting is performed. Scene discriminating means for discriminating scene changes;
A moving image processing apparatus comprising:
前記インデックス画像抽出手段により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成手段と、
を備えたことを特徴とする請求項1記載の動画像処理装置。Index image extraction means for extracting, as an index image, an image at which a scene has been determined to be changed by the scene determination means among videos continuously shot by the imaging means;
Index generating means for generating an index in which a plurality of index images extracted by the index image extracting means are arranged in chronological order;
The moving image processing apparatus according to claim 1, further comprising:
前記記録手段に記録されている画像を再生する再生処理手段と、
前記再生処理手段により再生された画像や前記インデックス生成手段により生成されたインデックスを表示する表示手段と、
を備えたことを特徴とする請求項2記載の動画像処理装置。Recording means for recording a moving image obtained by continuously photographing a subject using the imaging means on a recording medium;
Reproduction processing means for reproducing an image recorded in the recording means;
Display means for displaying an image reproduced by the reproduction processing means and an index generated by the index generation means;
The moving image processing apparatus according to claim 2, further comprising:
前記インデックス選択手段により所望のインデックス画像が選択されると、当該インデックス画像に対応する画像から再生を開始する制御を行う再生制御手段と、
を備えたことを特徴とする請求項3記載の動画像処理装置。Index selection means for selecting a desired index image from the plurality of index images displayed on the display means;
When a desired index image is selected by the index selection unit, a reproduction control unit that performs control to start reproduction from an image corresponding to the index image;
The moving image processing apparatus according to claim 3, further comprising:
所定の色座標上で光源種に対応する色分布の範囲を示す検出枠を設定する検出枠設定工程と、
前記撮像手段により撮像された画面を複数エリアに分割し、エリアごとに色情報を取得する色情報取得工程と、
前記色情報取得工程により取得した各エリアの色情報に基づき、前記検出枠に対する前記エリアの分布を求める分布情報取得工程と、
前記分布情報取得工程により求められた前記エリアの分布から前記エリアの分布の重心座標を算出する重心座標算出工程と、
前記重心座標算出工程により求められた前記エリアの分布の重心座標が前記色座標上に設定された何れの光源種に対応した検出枠に位置するかを判断する検出枠判断工程と、
前記エリアの分布の重心座標を監視するとともに、前記重心位置が異なる検出枠内に移 動したときには光源種が変わったと判断し、光源種が変わった場合には撮影シーンが変わったと判断して、撮影シーンの変化を判別するシーン判別工程と、
を含むことを特徴とする動画像処理方法。A moving image processing method for processing image data of a moving image obtained by continuously photographing a subject using an imaging means for converting an optical image into an electrical signal,
A detection frame setting step for setting a detection frame indicating a range of a color distribution corresponding to a light source type on a predetermined color coordinate;
A color information acquisition step of dividing the screen imaged by the imaging means into a plurality of areas and acquiring color information for each area;
Based on the color information of each area acquired by the color information acquisition step, a distribution information acquisition step for obtaining a distribution of the area with respect to the detection frame;
A centroid coordinate calculating step of calculating a centroid coordinate of the distribution of the area from the distribution of the area obtained by the distribution information acquiring step;
A detection frame determination step of determining whether the center of gravity coordinates of the distribution of the area obtained by the gravity center coordinate calculation step are located in a detection frame corresponding to which light source type set on the color coordinates;
Monitors the barycentric coordinates of the distribution of the area, the determined light source type has changed when the gravity center position is moved in different detection frame, if the light source type is changed, it is determined that the shooting scene has changed, A scene discrimination process for discriminating changes in the shooting scene;
Moving image processing method characterized by including the.
前記インデックス画像抽出工程により抽出された複数のインデックス画像を時系列順に配列させたインデックスを生成するインデックス生成工程と、
を含むことを特徴とする請求項6記載の動画像処理方法。And the index image extraction step of extracting previous SL image where it is determined that the imaging scene changes by the scene discrimination step of videos are continuously captured by the image pickup means (frame image) as an index image,
An index generation step for generating an index in which a plurality of index images extracted by the index image extraction step are arranged in time series; and
The moving image processing method according to claim 6 , further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003090595A JP4264808B2 (en) | 2003-03-28 | 2003-03-28 | Moving image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003090595A JP4264808B2 (en) | 2003-03-28 | 2003-03-28 | Moving image processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004297697A JP2004297697A (en) | 2004-10-21 |
JP4264808B2 true JP4264808B2 (en) | 2009-05-20 |
Family
ID=33404183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003090595A Expired - Fee Related JP4264808B2 (en) | 2003-03-28 | 2003-03-28 | Moving image processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4264808B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4137085B2 (en) | 2005-04-21 | 2008-08-20 | キヤノン株式会社 | Imaging device |
JP2007019617A (en) * | 2005-07-05 | 2007-01-25 | Fujifilm Holdings Corp | Photographing apparatus |
KR101162171B1 (en) * | 2005-09-22 | 2012-07-02 | 엘지전자 주식회사 | mobile communication terminal taking moving image and its operating method |
JP4818031B2 (en) | 2005-10-27 | 2011-11-16 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP5413982B2 (en) * | 2010-08-16 | 2014-02-12 | Necインフロンティア株式会社 | Recorded message playback device, recorded message playback method, and recorded message playback program |
KR101277316B1 (en) | 2013-01-22 | 2013-06-20 | (주) 한일디엔에스 | System and method for managing light-emitting diode |
CN112784738B (en) * | 2021-01-21 | 2023-09-19 | 上海云从汇临人工智能科技有限公司 | Moving object detection alarm method, moving object detection alarm device and computer readable storage medium |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3315766B2 (en) * | 1992-09-07 | 2002-08-19 | 富士通株式会社 | Image data encoding method, image data encoding device using the method, image data restoring method, image data restoring device using the method, scene change detecting method, scene change detecting device using the method, scene change recording Device and image data scene change recording / reproducing device |
JPH10224741A (en) * | 1997-02-10 | 1998-08-21 | Kokusai Denshin Denwa Co Ltd <Kdd> | Cut point detection method for moving image |
JP4057147B2 (en) * | 1998-06-16 | 2008-03-05 | コニカミノルタビジネステクノロジーズ株式会社 | Backlight scene determination method, computer-readable storage medium storing a backlight scene determination method program, and image processing apparatus having a backlight scene determination function |
JP3896438B2 (en) * | 1999-04-12 | 2007-03-22 | 富士フイルム株式会社 | Digital camera and auto white balance control method |
JP2003061012A (en) * | 2001-08-10 | 2003-02-28 | Sharp Corp | Video reproducing device |
-
2003
- 2003-03-28 JP JP2003090595A patent/JP4264808B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004297697A (en) | 2004-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4158592B2 (en) | Auto white balance adjustment method and camera to which this method is applied | |
JP4284448B2 (en) | Image processing apparatus and method | |
JP4730667B2 (en) | Automatic regeneration method and apparatus | |
JP4787180B2 (en) | Imaging apparatus and imaging method | |
JP4697606B2 (en) | Imaging apparatus and focus control method | |
JP4730553B2 (en) | Imaging apparatus and exposure control method | |
JP3778163B2 (en) | Imaging device | |
JP4126721B2 (en) | Face area extraction method and apparatus | |
JP6325841B2 (en) | Imaging apparatus, imaging method, and program | |
JP5132495B2 (en) | Imaging apparatus and image processing method | |
JP2008028728A (en) | Digital camera | |
JP2009048136A (en) | Focusing device and focusing method | |
JP2006042399A (en) | Imaging apparatus | |
JP4683337B2 (en) | Image display device and image display method | |
JP4067033B2 (en) | Image processing apparatus and method | |
JP4264808B2 (en) | Moving image processing apparatus and method | |
US7570294B2 (en) | Digital camera | |
JP4026516B2 (en) | Image processing apparatus and method | |
JP2010050784A (en) | Digital camera | |
JP2006166252A (en) | Imaging apparatus | |
JP4433297B2 (en) | Imaging apparatus and image reproduction apparatus | |
JP2004304695A (en) | White balance adjustment method | |
JP5054209B2 (en) | Imaging apparatus and focus control method | |
JP5208295B2 (en) | Imaging apparatus and control method thereof | |
JP2007180599A (en) | Imaging apparatus, imaging apparatus control method, and imaging apparatus control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090122 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4264808 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140227 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |