JPWO2007086387A1 - 撮像装置、撮像制御方法及び撮像制御プログラム - Google Patents

撮像装置、撮像制御方法及び撮像制御プログラム Download PDF

Info

Publication number
JPWO2007086387A1
JPWO2007086387A1 JP2007555955A JP2007555955A JPWO2007086387A1 JP WO2007086387 A1 JPWO2007086387 A1 JP WO2007086387A1 JP 2007555955 A JP2007555955 A JP 2007555955A JP 2007555955 A JP2007555955 A JP 2007555955A JP WO2007086387 A1 JPWO2007086387 A1 JP WO2007086387A1
Authority
JP
Japan
Prior art keywords
value
light quantity
light amount
imaging
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007555955A
Other languages
English (en)
Inventor
知志 細川
知志 細川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2007086387A1 publication Critical patent/JPWO2007086387A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

被写体環境の明るさによるフレームレートの変動を抑制することを可能とする撮像装置を提供する。被写体を撮像し、画像データを取得する撮像手段(1、2)と、撮像手段(1、2)により取得した画像データをフレーム単位に圧縮する圧縮手段(3)と、撮像手段(1、2)により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出手段(2)と、光量情報算出手段(2)により算出した光量情報を基に、圧縮手段(3)によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定手段(5、6)と、を有し、圧縮手段(3)は、圧縮率決定手段(5、6)により決定した圧縮率を基に、画像データをフレーム単位に圧縮する。

Description

本発明は、撮像装置、撮像制御方法及び撮像制御プログラムに関し、特に、被写体を撮像し、画像データを生成し、その生成した画像データを圧縮する撮像装置、その撮像装置における撮像制御方法及び撮像制御プログラムに関するものである。
従来、画像データのノイズ量、あるいは、画像データの複雑度に応じて、画像データを圧縮するための圧縮率を変化させる技術は存在するが、処理内容が複雑になり、また、入力画像全体に対する画像処理が必要なため、負荷が高く、上述した技術を実装するのが困難であった。
また、上述した技術を実装しない場合、被写体環境の明るさによる符号量の変動が激しく、被写体環境が暗い場合には、フレームレートが維持されていても、被写体環境が明るい場合には、フレームレートが一気に低下するという問題が発生することになる。
一般的に、撮像素子は、被写体環境が暗いと、出力信号も微弱となるため、入力信号の明るさに応じて信号入力時間を長くとる制御が一般的である(シャッタースピードの制御)。
なお、携帯電話機等の通信端末装置に搭載されるような小面積のカメラセンサ(撮像部)の場合には、もともとの画像信号が微弱な信号となるため、通常の撮影環境(例えば、屋外,屋内等)であっても信号入力時間は大きく変動することになる。
また、通信端末装置では、手ブレの影響を非常に受け易い構造であるため、信号入力時間が長くなると画像に対するブレの影響が大きくなる。ブレは、画像をぼかす要因として現れるため、結果として、被写体環境が暗くなることで、画像がぼける度合いが非常に大きくなる。
これに対し、動画撮影時に使用されるMPEG−4,H.263などの映像エンコーダは、DCT(Discrete Cosine Transform)により画像を周波数領域に変換した後、自然画像には少ない高周波成分を意図的にカットすることで高い圧縮率を実現することが可能である。このため、一定程度の画質を維持しつつ、符号化しようとした場合に、高周波成分が多い画像の場合は、効率よく圧縮することができず、1フレーム当たりの符号量が増加し、逆に、高周波成分が低い画像の場合は、1フレーム当たりの符号量が少なくて済む傾向がある。
以上のことから、通信端末装置における動画撮影では、被写体環境の明るさと、映像エンコーダにおける1フレーム当たりの符号量と、の間に、図1に示すような相関関係があることが判明する。
このため、図1に示すような、被写体環境の明るさと、映像エンコーダにおける1フレーム当たりの符号量と、の相関関係を適用し、被写体環境の明るさによるフレームレートの変動を抑制するように制御することが望まれる。
なお、本発明より先に出願された特許文献として、被写体像を撮像してデジタル画像データを出力する撮像手段と、前記撮像手段への入射光量を制御する絞り手段と、前記撮像手段からの画像データを圧縮するデータ圧縮手段と、前記圧縮手段により圧縮された画像データを格納する記録媒体とを備えたスチルカメラにおいて、前記絞り手段の絞り値に基づいて、前記データ圧縮手段の圧縮率を制御する圧縮率制御手段を備え、データ圧縮の圧縮係数を自動的に選定する場合において圧縮率選定を低消費電力でかつ高速に行うことを可能とするスチルカメラが開示された文献がある(例えば、特許文献1参照)。
特開平7−177463号公報
なお、上記特許文献1は、絞り手段の絞り値に基づいて、データ圧縮手段の圧縮率を制御することで、データ圧縮の圧縮係数を自動的に選定する場合において圧縮率選定を低消費電力でかつ高速に行うことを可能とするものであり、被写体環境の明るさと、映像エンコーダにおける1フレーム当たりの符号量と、の相関関係を適用し、被写体環境の明るさによるフレームレートの変動を抑制するように制御する点については考慮されたものではない。
本発明は、上記事情に鑑みてなされたものであり、被写体環境の明るさと、映像エンコーダにおける1フレーム当たりの符号量と、の相関関係を適用し、被写体環境の明るさによるフレームレートの変動を抑制することを可能とする撮像装置、撮像制御方法及び撮像制御プログラムを提供することを目的とするものである。
かかる目的を達成するために、本発明は以下の特徴を有することとする。
本発明にかかる撮像装置は、被写体を撮像し、画像データを取得する撮像手段と、撮像手段により取得した画像データをフレーム単位に圧縮する圧縮手段と、撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出手段と、光量情報算出手段により算出した光量情報を基に、圧縮手段によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定手段と、を有し、圧縮手段は、圧縮率決定手段により決定した圧縮率を基に、画像データをフレーム単位に圧縮することを特徴とするものである。
また、本発明にかかる撮像装置は、光量情報を基に、圧縮率を決定するための光量値を算出する光量値算出手段と、閾値と、圧縮率と、を対応付けて管理する参照テーブルと、を有し、光量値算出手段により算出した光量値に適した閾値を選定し、該選定した閾値を基に、参照テーブルを参照し、光量値に適した閾値に対応付けられた圧縮率を取得し、圧縮手段によりフレーム単位に圧縮する圧縮率を決定することを特徴とするものである。
また、本発明にかかる撮像装置において、光量値算出手段は、光量値:Aを、光量値:A=シャッタースピード×ゲイン値により算出することを特徴とするものである。
また、本発明にかかる撮像装置において、光量値算出手段は、光量値:Aを、光量値:A=シャッタースピード+ゲイン値により算出することを特徴とするものである。
また、本発明にかかる撮像装置において、参照テーブルは、閾値が小さい値から順に、閾値と、圧縮率と、を対応づけて管理し、光量値算出手段により算出した光量値と、参照テーブルで管理している閾値と、を閾値が小さい値から順に比較し、光量値算出手段により算出した光量値が、閾値よりも小さいと判断した閾値を、光量値算出手段により算出した光量値に適した閾値として選定することを特徴とするものである。
また、本発明にかかる撮像装置において、光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、光量値算出手段は、光量値:Aを、光量値:A=シャッタースピード×ゲイン値(アナログゲイン値×デジタルゲイン値)により算出することを特徴とするものである。
また、本発明にかかる撮像装置において、光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、光量値算出手段は、光量値:Aを、光量値:A=シャッタースピード+ゲイン値(アナログゲイン値+デジタルゲイン値)により算出することを特徴とするものである。
また、本発明にかかる撮像装置において、撮像手段は、光量情報算出手段により算出した光量情報を基に、シャッタースピード及びゲイン値を制御し、被写体を撮像することを特徴とするものである。
また、本発明にかかる撮像制御方法は、被写体を撮像し、画像データを取得する撮像手段を有する撮像装置における撮像制御方法であって、撮像手段により取得した画像データをフレーム単位に圧縮する圧縮工程と、撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出工程と、光量情報算出工程により算出した光量情報を基に、圧縮工程によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定工程と、を、撮像装置が行い、圧縮工程は、圧縮率決定工程により決定した圧縮率を基に、画像データをフレーム単位に圧縮することを特徴とするものである。
また、本発明にかかる撮像制御方法は、撮像装置は、閾値と、圧縮率と、を対応付けて管理する参照テーブルを有し、光量情報を基に、圧縮率を決定するための光量値を算出する光量値算出工程を、撮像装置が行い、光量値算出工程により算出した光量値に適した閾値を選定し、該選定した閾値を基に、参照テーブルを参照し、光量値に適した閾値に対応付けられた圧縮率を取得し、圧縮工程によりフレーム単位に圧縮する圧縮率を決定することを特徴とするものである。
また、本発明にかかる撮像制御方法において、光量値算出工程は、光量値:Aを、光量値:A=シャッタースピード×ゲイン値により算出することを特徴とするものである。
また、本発明にかかる撮像制御方法において、光量値算出工程は、光量値:Aを、光量値:A=シャッタースピード+ゲイン値により算出することを特徴とするものである。
また、本発明にかかる撮像制御方法において、参照テーブルは、閾値が小さい値から順に、閾値と、圧縮率と、を対応づけて管理し、光量値算出工程により算出した光量値と、参照テーブルで管理している閾値と、を閾値が小さい値から順に比較し、光量値算出工程により算出した光量値が、閾値よりも小さいと判断した閾値を、光量値算出工程により算出した光量値に適した閾値として選定することを特徴とするものである。
また、本発明にかかる撮像制御方法において、光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、光量値算出工程は、光量値:Aを、光量値:A=シャッタースピード×ゲイン値(アナログゲイン値×デジタルゲイン値)により算出することを特徴とするものである。
また、本発明にかかる撮像制御方法において、光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、光量値算出工程は、光量値:Aを、光量値:A=シャッタースピード+ゲイン値(アナログゲイン値+デジタルゲイン値)により算出することを特徴とするものである。
また、本発明にかかる撮像制御プログラムは、被写体を撮像し、画像データを取得する撮像手段を有する撮像装置において実行させる撮像制御プログラムであって、撮像手段により取得した画像データをフレーム単位に圧縮する圧縮処理と、撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出処理と、光量情報算出処理により算出した光量情報を基に、圧縮処理によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定処理と、を、撮像装置に実行させ、圧縮処理は、圧縮率決定処理により決定した圧縮率を基に、画像データをフレーム単位に圧縮することを特徴とするものである。
また、本発明にかかる撮像制御プログラムは、撮像装置は、閾値と、圧縮率と、を対応付けて管理する参照テーブルを有し、光量情報を基に、圧縮率を決定するための光量値を算出する光量値算出処理を、撮像装置に実行させ、光量値算出処理により算出した光量値に適した閾値を選定し、該選定した閾値を基に、参照テーブルを参照し、光量値に適した閾値に対応付けられた圧縮率を取得し、圧縮処理によりフレーム単位に圧縮する圧縮率を決定することを特徴とするものである。
また、本発明にかかる撮像制御プログラムにおいて、光量値算出処理は、光量値:Aを、光量値:A=シャッタースピード×ゲイン値により算出することを特徴とするものである。
また、本発明にかかる撮像制御プログラムにおいて、光量値算出処理は、光量値:Aを、光量値:A=シャッタースピード+ゲイン値により算出することを特徴とするものである。
また、本発明にかかる撮像制御プログラムにおいて、参照テーブルは、閾値が小さい値から順に、閾値と、圧縮率と、を対応づけて管理し、光量値算出処理により算出した光量値と、参照テーブルで管理している閾値と、を閾値が小さい値から順に比較し、光量値算出処理により算出した光量値が、閾値よりも小さいと判断した閾値を、光量値算出処理により算出した光量値に適した閾値として選定することを特徴とするものである。
また、本発明にかかる撮像制御プログラムにおいて、光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、光量値算出処理は、光量値:Aを、光量値:A=シャッタースピード×ゲイン値(アナログゲイン値×デジタルゲイン値)により算出することを特徴とするものである。
また、本発明にかかる撮像制御プログラムにおいて、光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、光量値算出処理は、光量値:Aを、光量値:A=シャッタースピード+ゲイン値(アナログゲイン値+デジタルゲイン値)により算出することを特徴とするものである。
本発明によれば、撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出し、その算出した光量情報を基に、フレーム単位に圧縮する圧縮率を決定し、その決定した圧縮率を基に、画像データをフレーム単位に圧縮することで、被写体環境の明るさによるフレームレートの変動を抑制することが可能となる。
まず、図2を参照しながら、本実施形態における撮像装置の特徴について説明する。
本実施形態における撮像装置は、被写体を撮像し、画像データを取得する撮像手段(撮像部1、撮像制御部2に相当)と、撮像手段(1、2)により取得した画像データをフレーム単位に圧縮する圧縮手段(映像エンコーダ部3に相当)と、撮像手段(1、2)により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出手段(撮像制御部2に相当)と、光量情報算出手段(2)により算出した光量情報を基に、圧縮手段(3)によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定手段(パラメータ検索処理部5、パラメータ格納部6に相当)と、を有し、圧縮手段(3)は、圧縮率決定手段(5、6)により決定した圧縮率を基に、画像データをフレーム単位に圧縮することを特徴とするものである。これにより、被写体環境の明るさによらずフレーム毎の符号量を一定の値に保つことが可能となり、帯域不足によるフレームスキップを抑制し、常に、一定のフレームレートを維持させることが可能となる。以下、添付図面を参照しながら、本実施形態における撮像装置について説明する。
まず、図2を参照しながら、本実施形態における撮像装置の構成について説明する。なお、図2は、本実施形態における撮像装置の構成を示す図である。
本実施形態における撮像装置は、図2に示すように、撮像部(1)と、撮像制御部(2)と、映像エンコーダ部(3)と、メモリカード(4)と、パラメータ検索処理部(5)と、パラメータ格納部(6)と、を有して構成される。
撮像部(1)は、動画撮影用の撮像データを撮像するためのものであり、撮像部(1)において撮像した撮像データを撮像制御部(2)に出力する。
撮像制御部(2)は、撮像部(1)を制御し、また、撮像部(2)から出力された撮像データに対し、画像処理を施し、その画像処理を施した画像データを、映像エンコーダ部(3)に出力する。なお、撮像制御部(2)は、DSP(Digital Signal Processor)などの信号処理プロセッサで構成される。
また、撮像制御部(2)は、撮像部(1)を制御することになり、撮像制御部(2)は、撮像部(1)から出力された撮像データの光量情報(シャッタースピード、及び、ゲイン値)を算出し、撮像部(1)から出力される撮像データの明度が適正値となるように、撮像部(1)のシャッタースピード、及び、ゲイン値を調節することになる。
映像エンコーダ部(3)は、MPEG−4、H.263などのエンコーダである。映像エンコーダ部(3)は、一般的に使用されているものであり、専用のハードウェア、または、DSPなどの信号処理プロセッサで構成される。
パラメータ検索処理部(5)は、撮像制御部(2)において算出した光量情報(シャッタースピード、及び、ゲイン値)を取得し、その取得した光量情報を基に、映像エンコーダ部(3)に設定する適切なパラメータ値(圧縮率)を決定する。なお、パラメータ検索処理部(5)は、ソフトウェアにて構成することも可能である。
パラメータ格納部(6)は、パラメータ検索処理部(5)がパラメータ値を決定する際に参照する参照テーブル(61)を格納するものである。なお、参照テーブル(61)は、ソフトウェアの固定データとして構成することも可能である。なお、参照テーブル(61)は、閾値と、パラメータ値と、が組み合わされたパラメータ表が複数列含まれて構成されており、閾値の小さい方から順に選択されるように構成されている。
メモリカード(4)は、映像ストリーム等の画像データを保存するためのものである。なお、メモリカード(4)は、撮像装置のスロット部(図示せず)に挿入する等の接続形式で構成することも可能である。また、メモリカード(4)は、撮像装置に内蔵された不揮発性のメモリにて代替することも可能である。
(撮像装置における制御動作)
次に、図3を参照しながら、本実施形態における撮像装置における一連の制御動作について説明する。
まず、撮像部(1)は、被写体を撮像し、撮像データを取得する(ステップS1)。次に、撮像部(1)は、その取得した撮像データを、撮像制御部(2)に出力する。撮像制御部(2)は、撮像部(1)から出力された撮像データに対し、画像処理を施し、画像データを生成する(ステップS2)。次に、撮像制御部(2)は、その生成した画像データを、映像エンコーダ部(3)に出力する。
映像エンコーダ部(3)は、撮像制御部(2)から出力された画像データに対し、パラメータ検索処理部(5)から設定されたパラメータ値(圧縮率)を基に、MPEG−4,H.263などのコーデックアルゴリズムにより圧縮処理を施し、映像ストリームを生成する(ステップS3)。そして、映像エンコーダ部(3)は、その生成した映像ストリームを、メモリカード(4)に記録する(ステップS4)。なお、上述した図3に示す一連の制御動作は、フレーム単位で行うことになり、本実施形態の撮像装置は、上述した図3に示す一連の制御動作をフレーム単位で繰り返し行うことで、一定区間分の映像ストリームをメモリカード(4)に記録することになる。
なお、本実施形態における撮像装置は、撮像制御部(2)は、撮影を行っている間は、常に、撮像部(1)から出力された撮像データの光量情報(シャッタースピード、及び、ゲイン値)を算出しており、撮像制御部(2)は、その算出した光量情報(シャッタースピード、及び、ゲイン値)を撮像部(1)に設定し、常に最適な光量情報(シャッタースピード、及び、ゲイン値)を撮像部(1)に設定することになる。
次に、図4を参照しながら、本実施形態の撮像装置の特徴部分となるパラメータ検索処理部(5)における検索処理について説明する。
本実施形態における撮像装置は、パラメータ検索処理部(5)が、図4に示す一連の検索処理を、上述した図3に示す一連の制御動作と並行して行うことになる。
まず、パラメータ検索処理部(5)は、撮像制御部(2)において算出した光量情報(シャッタースピード、及び、ゲイン値)を取得する(ステップS11)。
次に、パラメータ検索処理部(5)は、その取得した光量情報を基に、光量値を算出し(ステップS12)、その算出した光量値を基に、パラメータ格納部(6)に格納されている参照テーブル(61)を参照し、上記算出した光量値に適した閾値:Iに対応付けられた最適なパラメータ値(圧縮率)を決定することになる(ステップS13〜ステップS16)。
なお、被写体環境の明るさに相当する情報は、光量情報の関数になっている。光量情報については、撮像部(1)にとり片方しか存在しない場合もあるし、また、ゲイン値がアナログ部とデジタル部などの2つ以上に分離している場合もある。なお、ゲイン値が、アナログ部とデジタル部との2つに分離している場合には、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を得ることになる。
まず、パラメータ検索処理部(5)は、撮像制御部(2)から取得した光量情報を基に、撮像部(1)に応じた適切な計算式にて光量値:Aを算出する(ステップS12)。なお、光量値:Aの算出式としては、例えば、以下のような『算出式:1』、または、『算出式:2』を適用することが可能である。
光量値:A=シャッタースピード×ゲイン値(=アナログゲイン値×デジタルゲイン値)・・・『算出式:1』
光量値:A=シャッタースピード+ゲイン値(=アナログゲイン値+デジタルゲイン値)・・・『算出式:2』
次に、パラメータ検索処理部(5)は、閾値:Iを0に初期化し(ステップS13)、上記ステップS12において算出した光量値:Aと、閾値:Iと、を比較し(ステップS14)、上記算出した光量値:Aが、閾値:Iよりも小さくなるまで、閾値:Iを1ずつ加算させながら、最適な閾値:Iをパラメータ格納部(6)に格納された参照テーブル(61)から選択することになる(ステップS14〜ステップS16)。
なお、参照テーブル(61)は、閾値:Iが小さい方から順に並んで構成されているため、ステップS16において最終的に選択される閾値:Iは、上記ステップS12において算出した光量値:Aより大きい値『光量値:A<閾値:I』で、尚かつ、上記算出した光量値:Aに最も近い値の閾値:Iが選択されることになる。
次に、パラメータ検索処理部(5)は、上記選択された閾値:Iに対応付けられたパラメータ値を参照テーブル(61)から取得し、その取得したパラメータ値を映像エンコーダ部(3)に設定することになる(ステップS17)。
次に、パラメータ検索処理部(5)は、一定時間が経過したと判断した際に(ステップS18/Yes)、パラメータ検索処理部(5)は、再び、ステップS1に戻り、図4に示す一連の検索処理を繰り返すことになる。なお、待ち時間となる一定時間は、任意に設定することが可能であり、一定時間としては、1/30秒〜2秒程度の時間を設定することが望ましい。
このように、本実施形態における撮像装置は、図4に示す一連のパラメータ検索処理を行うことで、刻々と変化する被写体環境の明るさに応じた最適なパラメータ値(圧縮率)を決定し、その決定したパラメータ値(圧縮率)を映像エンコーダ部(6)に設定することが可能となる。
なお、実際のパラメータ値(圧縮率)としては、図5(b)に示すように、暗い領域ほど、パラメータ値(圧縮率)を低い値(高周波成分をカットしない値)に設定し、明るい領域ほど、パラメータ値(圧縮率)を高い値(高周波成分をカットする値)に設定することになる。これにより、従来は、図5(a)に示すように、パラメータ値(圧縮率)を固定にしていたため、被写体環境の明るさにより1フレーム当たりの符号量が変動することになるが、本実施形態の制御動作のように、撮像制御部(2)において算出した光量情報を基に、パラメータ値を変動させるように制御することで、図5(b)に示すように、被写体環境の明るさによらず1フレーム当たり符号量を一定の値に保持することが可能となる。
このように、本実施形態における撮像装置は、撮像制御部(2)において算出した光量情報(シャッタースピード、及び、ゲイン値)に基づき、映像エンコーダ部(6)に設定するパラメータ値(圧縮率)を変化させることで、図5(b)に示すように、被写体環境の明るさによらずフレーム毎の符号量を一定の値に保つことが可能となる。これにより、帯域不足によるフレームスキップを抑制し、常に、一定のフレームレートを維持させることが可能となる。
また、本実施形態における撮像装置は、パラメータ格納部(6)に格納されている参照テーブル(61)を基に、最適なパラメータ値を決定することが可能となるため、既存のCPU等の空き時間を利用して上述した図4に示す一連の処理動作を実行させることが可能となる。また、映像エンコーダ部(3)に対して複雑な制御を追加する必要がなく、低コストで実現することが可能となる。
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
例えば、上述する撮像装置における一連の処理動作は、撮像部(1)において撮像した撮像データを基に算出した光量情報を基に、最適なパラメータ値(圧縮率)を決定し、その決定したパラメータ値(圧縮率)を基に、画像データを圧縮することにしたが、TV電話機能を搭載した撮像装置の上り映像処理に対しても上述した制御動作を適用することは可能である。
また、上述した本実施形態の撮像装置における制御動作は、ハード構成ではなく、コンピュータプログラム等のソフトウェアにより実行することも可能であり、また、上記のプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録し、その記録媒体から上記プログラムを、映像を撮像可能な撮像装置に読み込ませることで、上述した制御動作を、撮像装置において実行させることも可能である。また、所定のネットワークを介して接続されている外部機器から上記プログラムを撮像装置に読み込ませることで、上述した制御動作を、撮像装置において実行させることも可能である。
本発明にかかる撮像装置、撮像制御方法及び撮像制御プログラムは、PHS、携帯電話機等のカメラ機能や、TV電話機能が内蔵された撮像装置に適用可能である。
被写体環境の明るさと、映像エンコーダにおける1フレーム当たりの符号量と、の相関関係を示す図である。 本実施形態の撮像装置の構成を示す図である。 本実施形態の撮像装置における一連の制御動作を示す図である。 本実施形態の撮像装置を構成するパラメータ検索処理部(5)における一連の処理動作を示す図である。 被写体環境の明るさと、1フレーム当たりの符号量と、の相関関係を示す図であり、(a)は、パラメータ値(圧縮率)を固定制御していた従来の制御動作の場合を示し、(b)は、パラメータ値(圧縮率)を変動制御する本実施形態の制御動作の場合を示す図である。
符号の説明
1 撮像部
2 撮像制御部
3 映像エンコーダ部
4 メモリカード
5 パラメータ検索処理部
6 パラメータ格納部
61 参照テーブル

Claims (22)

  1. 被写体を撮像し、画像データを取得する撮像手段と、
    前記撮像手段により取得した画像データをフレーム単位に圧縮する圧縮手段と、
    前記撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出手段と、
    前記光量情報算出手段により算出した光量情報を基に、前記圧縮手段によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定手段と、を有し、
    前記圧縮手段は、前記圧縮率決定手段により決定した圧縮率を基に、前記画像データをフレーム単位に圧縮することを特徴とする撮像装置。
  2. 前記光量情報を基に、前記圧縮率を決定するための光量値を算出する光量値算出手段と、
    閾値と、前記圧縮率と、を対応付けて管理する参照テーブルと、
    を有し、
    前記光量値算出手段により算出した光量値に適した閾値を選定し、該選定した閾値を基に、前記参照テーブルを参照し、前記光量値に適した閾値に対応付けられた圧縮率を取得し、前記圧縮手段によりフレーム単位に圧縮する圧縮率を決定することを特徴とする請求項1記載の撮像装置。
  3. 前記光量値算出手段は、前記光量値:Aを、光量値:A=シャッタースピード×ゲイン値により算出することを特徴とする請求項2記載の撮像装置。
  4. 前記光量値算出手段は、前記光量値:Aを、光量値:A=シャッタースピード+ゲイン値により算出することを特徴とする請求項2記載の撮像装置。
  5. 前記参照テーブルは、前記閾値が小さい値から順に、前記閾値と、前記圧縮率と、を対応づけて管理し、
    前記光量値算出手段により算出した光量値と、前記参照テーブルで管理している前記閾値と、を前記閾値が小さい値から順に比較し、前記光量値算出手段により算出した光量値が、前記閾値よりも小さいと判断した閾値を、前記光量値算出手段により算出した光量値に適した閾値として選定することを特徴とする請求項2記載の撮像装置。
  6. 前記光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、
    前記光量値算出手段は、前記光量値:Aを、光量値:A=シャッタースピード×ゲイン値(アナログゲイン値×デジタルゲイン値)により算出することを特徴とする請求項3記載の撮像装置。
  7. 前記光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、
    前記光量値算出手段は、前記光量値:Aを、光量値:A=シャッタースピード+ゲイン値(アナログゲイン値+デジタルゲイン値)により算出することを特徴とする請求項4記載の撮像装置。
  8. 前記撮像手段は、
    前記光量情報算出手段により算出した光量情報を基に、シャッタースピード及びゲイン値を制御し、前記被写体を撮像することを特徴とする請求項1記載の撮像装置。
  9. 被写体を撮像し、画像データを取得する撮像手段を有する撮像装置における撮像制御方法であって、
    前記撮像手段により取得した画像データをフレーム単位に圧縮する圧縮工程と、
    前記撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出工程と、
    前記光量情報算出工程により算出した光量情報を基に、前記圧縮工程によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定工程と、
    を、前記撮像装置が行い、
    前記圧縮工程は、前記圧縮率決定工程により決定した圧縮率を基に、前記画像データをフレーム単位に圧縮することを特徴とする撮像制御方法。
  10. 前記撮像装置は、閾値と、前記圧縮率と、を対応付けて管理する参照テーブルを有し、
    前記光量情報を基に、前記圧縮率を決定するための光量値を算出する光量値算出工程を、前記撮像装置が行い、
    前記光量値算出工程により算出した光量値に適した閾値を選定し、該選定した閾値を基に、前記参照テーブルを参照し、前記光量値に適した閾値に対応付けられた圧縮率を取得し、前記圧縮工程によりフレーム単位に圧縮する圧縮率を決定することを特徴とする請求項9記載の撮像制御方法。
  11. 前記光量値算出工程は、前記光量値:Aを、光量値:A=シャッタースピード×ゲイン値により算出することを特徴とする請求項10記載の撮像制御方法。
  12. 前記光量値算出工程は、前記光量値:Aを、光量値:A=シャッタースピード+ゲイン値により算出することを特徴とする請求項10記載の撮像制御方法。
  13. 前記参照テーブルは、前記閾値が小さい値から順に、前記閾値と、前記圧縮率と、を対応づけて管理し、
    前記光量値算出工程により算出した光量値と、前記参照テーブルで管理している前記閾値と、を前記閾値が小さい値から順に比較し、前記光量値算出工程により算出した光量値が、前記閾値よりも小さいと判断した閾値を、前記光量値算出工程により算出した光量値に適した閾値として選定することを特徴とする請求項10記載の撮像制御方法。
  14. 前記光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、
    前記光量値算出工程は、前記光量値:Aを、光量値:A=シャッタースピード×ゲイン値(アナログゲイン値×デジタルゲイン値)により算出することを特徴とする請求項11記載の撮像制御方法。
  15. 前記光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、
    前記光量値算出工程は、前記光量値:Aを、光量値:A=シャッタースピード+ゲイン値(アナログゲイン値+デジタルゲイン値)により算出することを特徴とする請求項12記載の撮像制御方法。
  16. 被写体を撮像し、画像データを取得する撮像手段を有する撮像装置において実行させる撮像制御プログラムであって、
    前記撮像手段により取得した画像データをフレーム単位に圧縮する圧縮処理と、
    前記撮像手段により取得した画像データを基に、シャッタースピード及びゲイン値を含む光量情報を算出する光量情報算出処理と、
    前記光量情報算出処理により算出した光量情報を基に、前記圧縮処理によりフレーム単位に圧縮する圧縮率を決定する圧縮率決定処理と、
    を、前記撮像装置に実行させ、
    前記圧縮処理は、前記圧縮率決定処理により決定した圧縮率を基に、前記画像データをフレーム単位に圧縮することを特徴とする撮像制御プログラム。
  17. 前記撮像装置は、閾値と、前記圧縮率と、を対応付けて管理する参照テーブルを有し、
    前記光量情報を基に、前記圧縮率を決定するための光量値を算出する光量値算出処理を、前記撮像装置に実行させ、
    前記光量値算出処理により算出した光量値に適した閾値を選定し、該選定した閾値を基に、前記参照テーブルを参照し、前記光量値に適した閾値に対応付けられた圧縮率を取得し、前記圧縮処理によりフレーム単位に圧縮する圧縮率を決定することを特徴とする請求項16記載の撮像制御プログラム。
  18. 前記光量値算出処理は、前記光量値:Aを、光量値:A=シャッタースピード×ゲイン値により算出することを特徴とする請求項17記載の撮像制御プログラム。
  19. 前記光量値算出処理は、前記光量値:Aを、光量値:A=シャッタースピード+ゲイン値により算出することを特徴とする請求項17記載の撮像制御プログラム。
  20. 前記参照テーブルは、前記閾値が小さい値から順に、前記閾値と、前記圧縮率と、を対応づけて管理し、
    前記光量値算出処理により算出した光量値と、前記参照テーブルで管理している前記閾値と、を前記閾値が小さい値から順に比較し、前記光量値算出処理により算出した光量値が、前記閾値よりも小さいと判断した閾値を、前記光量値算出処理により算出した光量値に適した閾値として選定することを特徴とする請求項17記載の撮像制御プログラム。
  21. 前記光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、
    前記光量値算出処理は、前記光量値:Aを、光量値:A=シャッタースピード×ゲイン値(アナログゲイン値×デジタルゲイン値)により算出することを特徴とする請求項18記載の撮像制御プログラム。
  22. 前記光量情報が、アナログゲイン値と、デジタルゲイン値と、の2つのゲイン値を含む情報の場合には、
    前記光量値算出処理は、前記光量値:Aを、光量値:A=シャッタースピード+ゲイン値(アナログゲイン値+デジタルゲイン値)により算出することを特徴とする請求項19記載の撮像制御プログラム。
JP2007555955A 2006-01-30 2007-01-23 撮像装置、撮像制御方法及び撮像制御プログラム Pending JPWO2007086387A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006020713 2006-01-30
JP2006020713 2006-01-30
PCT/JP2007/051014 WO2007086387A1 (ja) 2006-01-30 2007-01-23 撮像装置、撮像制御方法及び撮像制御プログラム

Publications (1)

Publication Number Publication Date
JPWO2007086387A1 true JPWO2007086387A1 (ja) 2009-06-18

Family

ID=38309177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007555955A Pending JPWO2007086387A1 (ja) 2006-01-30 2007-01-23 撮像装置、撮像制御方法及び撮像制御プログラム

Country Status (5)

Country Link
US (1) US7965321B2 (ja)
EP (1) EP1981264A4 (ja)
JP (1) JPWO2007086387A1 (ja)
CN (1) CN101379811A (ja)
WO (1) WO2007086387A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625543B2 (ja) * 2010-06-28 2014-11-19 ソニー株式会社 符号化装置、電子機器、撮像装置、および撮像システム
US9691339B2 (en) * 2011-03-29 2017-06-27 Renesas Electronics Corporation Display apparatus and display apparatus control circuit
US9635212B2 (en) * 2014-05-30 2017-04-25 Apple Inc. Dynamic compression ratio selection
JP2016171383A (ja) * 2015-03-11 2016-09-23 株式会社リコー 情報端末、画像表示システム及びプログラム
CN105959587B (zh) * 2016-05-27 2019-02-12 北京小米移动软件有限公司 快门速度获取方法和装置
US10453221B2 (en) 2017-04-10 2019-10-22 Intel Corporation Region based processing
JP6974593B2 (ja) * 2018-04-03 2021-12-01 オリンパス株式会社 内視鏡装置、画像圧縮装置の作動方法およびプログラム
JP7052021B2 (ja) * 2018-05-01 2022-04-11 オリンパス株式会社 内視鏡装置及び内視鏡ならびに内視鏡装置の作動方法
CN110111633B (zh) * 2019-05-23 2022-01-07 中国人民解放军海军航空大学青岛校区 一种快门模拟控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181908A (ja) * 1994-12-21 1996-07-12 Nikon Corp スチルカメラ
JP2001061148A (ja) * 1999-06-14 2001-03-06 Nikon Corp 圧縮符号化方法,圧縮符号化プログラムを記録した記録媒体,および圧縮符号化方法を実施する電子カメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165027A (ja) * 1992-11-25 1994-06-10 Nikon Corp スチルカメラ
JP3427454B2 (ja) * 1993-12-21 2003-07-14 株式会社ニコン スチルカメラ
US6314206B1 (en) * 1997-04-07 2001-11-06 Asahi Kogaku Kogyo Kabushiki Kaisha Compression ratio setting device
DE19835284C2 (de) * 1998-08-05 2001-03-01 Tuhh Tech Gmbh Vorrichtung und Verfahren zur automatischen Fokussierung und Belichtung von Bildaufnahmesystemen
JP2002209137A (ja) * 2001-01-09 2002-07-26 Canon Inc 電子カメラ
JP2003110924A (ja) * 2001-09-27 2003-04-11 Olympus Optical Co Ltd 電子カメラ
JP2005124039A (ja) * 2003-10-20 2005-05-12 Seiko Epson Corp 露出制御装置および露出制御方法
JP2005167924A (ja) * 2003-12-05 2005-06-23 Matsushita Electric Ind Co Ltd 撮像装置及び撮像方法
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08181908A (ja) * 1994-12-21 1996-07-12 Nikon Corp スチルカメラ
JP2001061148A (ja) * 1999-06-14 2001-03-06 Nikon Corp 圧縮符号化方法,圧縮符号化プログラムを記録した記録媒体,および圧縮符号化方法を実施する電子カメラ

Also Published As

Publication number Publication date
EP1981264A1 (en) 2008-10-15
US7965321B2 (en) 2011-06-21
WO2007086387A1 (ja) 2007-08-02
CN101379811A (zh) 2009-03-04
US20100231736A1 (en) 2010-09-16
EP1981264A4 (en) 2011-09-07

Similar Documents

Publication Publication Date Title
JPWO2007086387A1 (ja) 撮像装置、撮像制御方法及び撮像制御プログラム
JP4794987B2 (ja) 映像信号処理装置
JP5525592B2 (ja) 映像信号処理装置
WO2011102850A1 (en) Method and apparatus for low-light imaging enhancement
US7418148B2 (en) Image compression method and image compression device
JP6242171B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2009141769A (ja) 画像処理装置
JP5655668B2 (ja) 撮像装置、画像処理方法及びプログラム
JP6092690B2 (ja) 撮像装置およびその制御方法
JP2015195582A (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体
JP2017224939A (ja) 撮像装置
JP6871727B2 (ja) 撮像装置、画像処理方法、及び、プログラム
JP6793511B2 (ja) 画像処理装置
JP2010183460A (ja) 撮像装置およびその制御方法
TWI390959B (zh) 視頻訊號處理裝置,視頻訊號處理方法及視頻訊號處理程式
JP2015023498A (ja) 画像符号化装置、画像符号化方法およびプログラム
JP2018110300A (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP2010183461A (ja) 撮像装置およびその制御方法
JP4253839B2 (ja) 画像圧縮方法、画像圧縮プログラム、画像圧縮装置及びデジタルカメラ
JP2001057636A (ja) 電子カメラ、および画像処理プログラムを記録した記録媒体
JP2006197181A (ja) 固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置
JP2016082256A (ja) 撮像装置
JP6242172B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2006166259A (ja) デジタルカメラ並びにデジタルカメラシステム、画像圧縮方法、画像処理方法及びプログラム並びにそれらを記録したコンピュータ読み取り可能な記録媒体
Hebbalaguppe et al. An efficient multiple exposure image fusion in JPEG domain

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091211

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20110705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120228