JP3849461B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP3849461B2
JP3849461B2 JP2001172640A JP2001172640A JP3849461B2 JP 3849461 B2 JP3849461 B2 JP 3849461B2 JP 2001172640 A JP2001172640 A JP 2001172640A JP 2001172640 A JP2001172640 A JP 2001172640A JP 3849461 B2 JP3849461 B2 JP 3849461B2
Authority
JP
Japan
Prior art keywords
recording
control signal
instructed
encoding
target information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001172640A
Other languages
English (en)
Other versions
JP2002369142A (ja
Inventor
政昭 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001172640A priority Critical patent/JP3849461B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US10/343,881 priority patent/US7349023B2/en
Priority to DE60227370T priority patent/DE60227370D1/de
Priority to PCT/JP2002/005266 priority patent/WO2002102085A1/ja
Priority to KR1020037001609A priority patent/KR100893419B1/ko
Priority to EP02730780A priority patent/EP1404134B1/en
Priority to CNB028024478A priority patent/CN1212018C/zh
Publication of JP2002369142A publication Critical patent/JP2002369142A/ja
Application granted granted Critical
Publication of JP3849461B2 publication Critical patent/JP3849461B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Description

【０００１】
【発明の属する技術分野】
この発明は、撮影された画像を圧縮符号化して、画像信号を所定の記録媒体に記録する撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ２（Moving Picture Experts Group Phase 2）は、放送やＡＶ機器に用いられる符号化方式であり、画像／音声／データなどの情報圧縮技術として広く用いられている。
【０００３】
ＭＰＥＧ２の標準モデルによる圧縮符号化装置によれば、入力される映像を一度符号化し、その発生情報量などから映像の複雑さや動きを抽出し、その映像の特徴を割出し、特徴に合わせた符号化制御を行うことにより、圧縮伸張後の画質の向上を図ることができる。
【０００４】
【発明が解決しようとする課題】
しかし、従来の動き検出による符号化制御では、実際の撮影状況を考えた場合には、以下のような不都合があった。たとえば、動きの激しいシーンに注目して撮影を行っている場合と、パンニング中のように、非注目のシーンであるにもかかわらず、画像の相関検出結果としては、動きの激しいシーンと同様の複雑度を出力する場合とを区別できない。
【０００５】
このため、記録容量に限りがあるディスクメディアを用いたカメラ一体型ビデオ記録再生装置に、動き検出による符号化制御を行う圧縮符号化装置を適用すると、再生画像を高画質に維持するためには、撮影する全てのシーンに常に最大のビットレートを割り付けることが必要になる。その結果、ディスクメディアへの記録時間が短くなってしまう。
【０００６】
この発明の目的は、撮影される動画像の内容と性質に合わせて目標情報量を補正制御するようにした撮像装置、及び撮像方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、撮像素子に対する集光用のレンズを駆動するレンズ駆動手段と、撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、前記レンズ駆動手段を制御するための駆動制御信号を出力する駆動制御手段と、前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、前記圧縮符号化手段を制御する符号化制御手段とを有し、前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置が提供される。
【０００８】
この発明の撮像装置では、目標情報量を符号化圧縮装置に供給する場合に、記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、レンズ駆動手段に対する駆動制御信号に基づき、集光用のレンズが移動中である場合に、目標情報量を第１目標量以下に減少させるとともに、記録制御信号により記録開始が指示されてから一定時間が経過するまでは目標情報量を第２目標量以上に増加させ、一定時間の経過後に目標情報量を減少させることにより、実撮影状況を加味した新たな目標情報量を設定できる。
【０００９】
【発明の実施の形態】
以下、この発明の実施の形態について、図面を参照して説明する。
図１は、各種制御マイコン等や符号化圧縮装置が組み込まれたカメラ一体型ビデオ記録再生装置の制御モデルを示すブロック図である。
【００１０】
レンズ系１は、ズームレンズ１ｚ、フォーカスレンズ１ｆとから構成され、このレンズ系１を介して、被写体からの光を撮像装置２に入力している。撮像装置２では、被写体の画像がＲＧＢ（赤、緑、青）の３色に相当する三つの映像信号として取り出される。このとき、レンズ系１は、被写体に対してつねに合焦点に維持されるように位置制御される。撮像装置２からの映像信号は、動画像データとしてＡ／Ｄ変換器３に送られ、Ａ／Ｄ変換器３では動画像データをディジタルデータに変換する。
【００１１】
フィルタ演算器４はディジタルフィルタを用いて構成されており、フィルタ係数を変えることにより、周波数成分の通過帯域特性を制御して、所定の周波数変換が行われる。この動画像データは、符号化圧縮装置１０からビットストリームとして図示しないビデオテープなどの記録媒体に記録される。
【００１２】
手ぶれ検知センサ５は、角速度センサなどにより手ぶれ検出信号を出力するものである。カメラ制御マイコン６ではこの手ぶれ検出信号に基づいて、手ぶれ補正を行って手ぶれによる画質の劣化をなくすようにしている。また、カメラ制御マイコン６は、手ぶれ補正のほか、撮像装置２からの映像入力、それを最適に制御するコントロール出力、及び各種の信号入力に基づいて、撮像装置２における光学系の制御を行っている。さらに、カメラ制御マイコン６はズームレンズ１ｚ、フォーカスレンズ１ｆを駆動することによって、ズーミングなどの制御も行っている。
【００１３】
目標情報量制御マイコン７は、目標ビットレートによって符号化圧縮装置１０を制御することにより、フィルタ演算器４からの動画像データに対して所定の圧縮符号化処理を施し、符号化されたビットストリームを形成するものである。また、フィルタ演算器４に対してはフィルタ係数を指令して、動画像データを符号化に適した解像度のデータに変換するようにしている。
【００１４】
ヒューマンインタフェース制御マイコン８は、ユーザからの操作スイッチ入力等により録画の開始、停止や、録画の経過時間情報などを制御するとともに、ユーザに対する表示を制御するものである。
【００１５】
なお、レンズ系１には、ズームレンズ１ｚ、フォーカスレンズ１ｆの間に露光調整用のアイリス（絞り）９が配置され、カメラ制御マイコン６によって、レンズ系１を介して撮像装置２に入力する被写体からの光量を調整している。
【００１６】
目標情報量制御マイコン７には、後に詳述するように、カメラ制御マイコン６からの情報、例えばビデオカメラのレンズ位置情報、露光調整情報、ホワイトバランス制御情報、及び角速度センサによる手ぶれ検出情報などが入力されている。また、ヒューマンインタフェース制御マイコン８からの情報、例えばビデオカメラの撮影開始、停止などを制御する情報などを加味して、符号化圧縮装置１０に対して撮影シーンに最適な符号化制御を指示することによって、限られた記録容量の記録メディアに最適な画質でより多くの動画を記録するようにしている。
【００１７】
図２は、ディジタル映像信号を圧縮処理するＭＰＥＧ２の標準モデルの構成を示すブロック回路図である。
符号化圧縮装置１０は、フィルタ演算器４を介してＡ／Ｄ変換器３から供給される動画像データに対して、符号化処理を施したビットストリームを出力する。即ち、符号化圧縮装置１０を構成する離散コサイン変換（discrete cosine transform；ＤＣＴ）器１１は、差分計算を行う加算器１２を介して供給される動画像データに対して離散コサイン変換処理を行い、量子化器１３に供給するように構成されている。量子化器１３は、ＤＣＴ器１１からの画像データに対して量子化処理を施し、可変長符号化器１４及び逆量子化器１５に供給する。
【００１８】
逆量子化器１５は、量子化器１３より供給される量子化された画像データに対して、逆量子化処理を施し、逆ＤＣＴ器１６に供給する。逆ＤＣＴ器１６は、逆量子化器１５からの逆量子化された画像データに対して逆ＤＣＴ変換を施した後、動き補償器１７に供給する。動き補償器１７は、画像データに対して動き補償を行い、加算器１２に供給する。
【００１９】
可変長符号化器１４は、量子化器１３からの画像データに対して、可変長符号化処理を行い、出力バッファ１８に供給する。出力バッファ１８は、可変長符号化器１４からの画像データを一旦記憶し、量子化レートを制御するレート制御器１９に供給する。レート制御器１９は、目標情報量制御マイコン７からの圧縮制御信号に基づいて、量子化器１３に対して量子化レートを制御するためのレート制御信号を供給する。
【００２０】
このように構成された符号化圧縮装置１０では、目標情報量制御マイコン７からの目標情報量に合致するように符号化制御が行われ、効率よく高圧縮なビットストリームを出力することができる。しかし前述の通り、従来のカメラ一体型ビデオ記録再生装置では、符号化圧縮装置１０の中で画像の複雑度や特徴抽出を行うだけであったために、実撮影状況を考えた場合、本当に動きの激しいシーンの画像データなのか、それともパンニング中のように、非注目のシーンであるにもかかわらず、動きの激しいシーンと同様の複雑度を持った画像データなのかを区別することができなかった。
【００２１】
この発明のカメラ一体型ビデオ記録再生装置では、目標情報量を符号化圧縮装置１０に供給する場合に、目標情報量制御マイコン７への入力信号、入力情報として、録画モード信号、ズームレンズ位置情報、フォーカス評価値、手ぶれ検出値、アイリス開閉量、カメラ信号ゲイン量、ホワイトバランス制御量などを用いることにより、実撮影状況を加味した新たな目標情報量を設定して、従来の問題点を解決している。すなわち、注目している動きの激しいシーンに対しては、フィルタ演算器４による帯域制限を行わないで、かつ画質を維持するに充分なビットレートを割り付けることが可能である。一方、パンニング中などのように、非注目の画像データが入力している場合には、記録映像の重要度は低いと考えられる。したがって、そのような場合には、少ないビットレートでも画質の破綻を来たさないように、フィルタ演算器４による帯域制限を行い、ビットレートも低く抑えて記録することが有効である。
【００２２】
なお、上述した各種制御マイコン６，７，８は、一つのＩＣやマイコンに内蔵されていても、同様の効果を期待できる。
つぎに、上記カメラ一体型ビデオ記録再生装置の画像圧縮における目標情報量の制御動作について、さらに詳細に説明する。
【００２３】
図３は、目標情報量制御の一例を示すタイミングチャートである。同図（ａ）〜（ｃ）は目標情報量制御マイコン７へ入力される状態情報であり、同図（ｄ）及び（ｅ）は、それぞれ目標情報量制御マイコン７から出力される目標ビットレート、及びフィルタ係数の指令信号である。
【００２４】
図３（ａ）は、録画モード信号の切替え状態を示している。
録画モード信号は、ヒューマンインタフェース制御マイコン８からユーザの操作に基づいて決定されるものである。録画モード信号は、記録モードＲＭとスタンバイモードＳＢＭの２つの動作モードに区別され、記録モードＲＭでは記録メディアに画像信号を記録しているが、スタンバイモードＳＢＭではカメラ画像は出力されているが記録していない。時刻ｔ２でスタンバイモードＳＢＭから記録モードＲＭに切り替わり、時刻ｔ７まで録画状態が続いている。その後、時刻ｔ８までスタンバイモードＳＢＭとなり、再び時刻ｔ８から時刻ｔ９まで記録モードＲＭが続いている。
【００２５】
図３（ｂ）は、ズームレンズ位置の変動状態、同図（ｃ）は、フォーカス評価値の変化の様子を示している。
ズームレンズ位置信号は、ユーザの操作に基づいて変更設定されるレンズ位置に対応して、カメラ制御マイコン６から出力される信号である。このレンズ位置は、縦軸方向に望遠（最長焦点距離）から広角（最短焦点距離）までのズームレンジ内で、手動、又は電動で移動可能である。図３（ｂ）のタイミングチャートでは、ズームレンジ内に傾斜したラインによってズーミング中のズームレンズ移動状態が示されている。時刻ｔ３では、ユーザが録画中のレンズ位置を広角から望遠に切替え、時刻ｔ５では再び広角に切り替えている。
【００２６】
フォーカス評価値とは、カメラ制御マイコン６がフォーカスレンズ１ｆを動かした結果、撮像装置２のＣＣＤなどの撮像素子に映し出された映像のコントラストを評価したものであって、正規化された数値として表現されている。ここで、フォーカスレンズの合焦動作とは、この評価値が大きくなる方向に制御することであって、ピントを合わせて、コントラストを上げることによって、映し出される映像は鮮明になる。時刻ｔ１以前のスタンバイモードＳＢＭ時、時刻ｔ３〜ｔ４、及び時刻ｔ５〜ｔ６などのズーミング時は、フォーカス合焦中であるため、フォーカス評価値が最適コントラストを下回っている。
【００２７】
図３（ｄ）に示す目標ビットレートとは、目標情報量制御マイコン７の制御アルゴリズムによって、その各入力信号、入力情報に基づいて決定されたＭＰＥＧ２標準モデルの符号化圧縮装置１０に対するパラメータとして設定されるものである。ＭＰＥＧ２標準モデルでは、出力されるビットストリームの演算結果をこの設定値に近づけるように、その内部演算が変更制御される。
【００２８】
図３（ｅ）に示すフィルタ係数とは、目標情報量制御マイコン７の制御アルゴリズムによって、その各入力信号、入力情報に基づいて決定されたＭＰＥＧ２標準モデルの符号化圧縮装置１０に入力される前の映像信号にフィルタリング処理を行うフィルタ演算器のパラメータである。このフィルタ係数を小さく設定することにより、フィルタ演算における解像度を下げることができる。これにより、目標ビットレートを低下させないでも、出力される映像の情報量を小さくすることができる。
【００２９】
一般に、人間は視線移動中には、通常より視線感度を落とし、必要以上の鮮明な映像を入力していないという特性がある。これは、疲れや不快感を感じないようにするためである。したがって、時刻ｔ３からｔ４などのズーム中や、フォーカス合焦への動作中には、画像に対する注目度が下がっているものと想定することができる。
【００３０】
すなわち、このような撮影状態では、必要以上に解像度の高い、鮮明な映像にする必要はない。そこで、カメラ制御マイコン６から目標情報量制御マイコン７に入力される状態情報に基づいて、図３（ｄ）に示すように目標ビットレートを低めに設定し、図３（ｅ）に示すようにフィルタ係数を小さく設定することにより、ビットストリームの絶対量を減らすようにしている。
【００３１】
また、ズーム直後には、被写体のフレーム（画枠）を変えたために、一般に撮影者の注目度が高くなる。そこで、フォーカス評価値が閾値を超えた時刻ｔ４や時刻ｔ６など、合焦完了直後の録画動作では、目標ビットレートとフィルタ係数が高くなるように設定するとともに、その後の時間経過に応じて平均目標情報量を下げている。これによって、限られた記録容量のメディアに、最適な画質でより多くの動画を記録することができる。
【００３２】
図４は、低照度での目標情報量制御の一例を示すタイミングチャートである。図３と同様、図４（ａ）〜（ｃ）は目標情報量制御マイコン７へ入力される状態情報であり、図４（ｄ）及び（ｅ）は、それぞれ目標情報量制御マイコン７から出力される目標ビットレート、及びフィルタ係数の指令信号である。
【００３３】
図４（ａ）は、録画モードの切替え状態を示している。時刻ｔ１でスタンバイモードＳＢＭから記録モードＲＭに切り替わり、時刻ｔ５まで録画状態が続いている。その後、時刻ｔ６までスタンバイモードＳＢＭとなり、再び時刻ｔ６から時刻ｔ８まで録画モードＲＭである。
【００３４】
カメラ一体型ビデオ記録再生装置の場合には、撮影したい映像に注目したところより録画開始とするケースが多い。このことを利用して、連続撮影時間情報をヒューマンインタフェース制御マイコン８から目標情報量制御マイコン７に入力し、時刻ｔ１や時刻ｔ６のような録画スタート直後には比較的多めに目標情報量を割り振るようにしている。
【００３５】
その後、連続して録画を続けた場合、長い時間が経過すると撮影者、及び再生時の視聴者の注目度が下がってくるものと想定される。前述したように、画像に対する注目度が下がってきた場合には、フィルタ演算器４のフィルタ係数を変え、高域の周波数成分を取り除くことで解像度を下げれば、後段の符号化圧縮装置１０での圧縮効率がさらに高まり、低いビットレートでも、映像劣化を抑えることができる。そこで、録画開始から録画モードが一定時間継続した後、例えば時刻ｔ４から平均目標情報量を下げるように目標情報量を制御している。
【００３６】
図４（ｂ）は、被写体の露光情報に基づいて変化するアイリス開閉量の変化を、同図（ｃ）には、カメラ信号ゲイン量の変化の様子を示している。
アイリス開閉量とカメラ信号ゲイン量は、いずれもカメラ制御マイコン６が撮像素子に映し出された映像の信号レベルを検出して決定されるものである。通常のビデオカメラでは、室内の暗いところなどでは、アイリス９が全開となる。また、カメラ信号ゲイン量は、撮像装置２内の図示しないカメラ信号処理回路において、映像信号レベルが適切な信号量となるようゲイン（利得）コントロールされるものである。
【００３７】
通常、ビデオカメラでは、カメラ信号処理回路のゲインを上げると、信号中のノイズ成分も大きくなってしまうので、室内の暗いところなどでは、まずアイリス開閉量を調節により信号レベルをコントロールし、全開となった後に、カメラ信号処理回路のゲインを上げる制御を行っている。アイリス開閉量が全開で、カメラ信号ゲイン量が大きい場合には、低照度の撮影であるといえる。
【００３８】
例えば、録画中の時刻ｔ３でアイリス開閉量が全開であって、カメラ信号ゲイン量が増加してくるような状態では、映像が暗く、Ｓ／Ｎも悪いため、解像度を下げるとともに、ビットレートを低めに設定しても画質に対して悪い印象を与えることは少ない。同様にカメラ制御マイコン６から目標情報量制御マイコン７に情報を入力してビットレートを低くするとともに、映像劣化を抑える。
【００３９】
このようにアイリス９がオープン状態であって、撮像装置２のゲインが上がった低照度の環境下では、これらのカメラ制御マイコン６からの露光補正の情報を利用して、目標情報量を適切に制御することが可能である。
【００４０】
図５は、ホワイトバランス異常や手ぶれ検出時の目標情報量制御の一例を示すタイミングチャートである。図３と同様、図５（ａ）〜（ｃ）は目標情報量制御マイコン７へ入力される状態情報であり、図５（ｄ）及び（ｅ）は、それぞれ目標情報量制御マイコン７から出力される目標ビットレート、及びフィルタ係数の指令信号である。
【００４１】
図５（ａ）は、録画モードの切替え状態を示している。時刻ｔ１でスタンバイモードＳＢＭから記録モードＲＭに切り替わり、時刻ｔ２まで録画状態が続いている。その後、時刻ｔ３までスタンバイモードＳＢＭとなり、再び時刻ｔ３から時刻ｔ８まで録画モードが続く。
【００４２】
図５（ｂ）は、ホワイトバランス制御量の変化の様子を示している。
ホワイトバランス制御量とは、カメラ制御マイコン６が撮像素子に映し出された映像信号の色成分を分析して求められるものであって、このホワイトバランス制御によって、ＲＧＢ（赤、緑、青）の３色に相当する三つの映像信号全体の和が白になるように、カメラ信号処理回路の色成分比率が制御される。しかし、被写体の明るさや環境の光源の変化などにより一時的に制御バランスが取れない状態になることがある。この値が大きいほど制御バランスが取れた状態であるが、図５では、時刻ｔ４からｔ５のタイミングに、ホワイトバランス制御の異常状態が生じたことを示している。
【００４３】
ホワイトバランスの情報を利用した場合として、ホワイトバランスの評価値が黒体放射カーブから外れたものは、映像としてはＮＧと判断される。そのため、この映像を高いビットレートで記録する必要は生じない。時刻ｔ３から時刻ｔ８までの録画モード中に、例えば時刻ｔ４でホワイトバランス制御量が異常となった場合には、フィルタ係数を小さくして解像度を下げるとともに、目標ビットレートを低めに設定することが可能である。
【００４４】
図５（ｃ）には、手ぶれ検出値の変化の様子を示している。
手ぶれ検出値とは、ビデオカメラのレンズ系１の近傍に設けられた手ぶれ検知センサ５からの出力信号に基づいて決定されるものであって、カメラ制御マイコン６では正規化された数値として処理されている。この数値が大きいほどレンズの動きが激しいものと認識される。
【００４５】
ビデオカメラにより移動中の被写体やパノラマ画像などを映し出す場合に、カメラを水平に左右方向に大きく動かして、パンニングなどが行われる。このような場合、例えば時刻ｔ６からｔ７に示すように、手ぶれ検出値が閾値を超えた大きな値となる。従来のカメラ制御マイコンでは、静止した風景などのパンニング中でも、時間軸上での画像の相関検出、特徴抽出によって被写体に大きな動きがあるものと認識して、符号化圧縮装置１０に指令される目標情報量を必要以上に上げてしまっていた。
【００４６】
ここでは、手ぶれ検知センサ５の出力によるパンニング中という付加情報をカメラ制御マイコン６から目標情報量制御マイコン７に入力して、目標情報量を必要以上に上げないように制御している。このときも、フィルタ演算器４のフィルタ係数を変え、高域の周波数成分を取り除くことを行えば、後段の符号化圧縮装置１０での圧縮効率がさらに高まり、低いビットレートでも、映像劣化を抑えることができる。
【００４７】
さらに、パンニング中には図３、図４で説明した録画モードの切替えの場合と同様に、画像に対する注目度が下がっているので、必要以上に解像度の高い、鮮明な映像にする必要はない。
【００４８】
以上に説明したように、目標情報量制御マイコン７によって符号化圧縮装置１０から出力されるビットストリームの絶対量を減らすことができ、限られた記録容量のメディアに、快適でかつ適切な画質でより多くの動画を記録することが可能になる。
【００４９】
つぎに、目標情報量制御マイコン１０の入力信号／入力情報に対する制御方法の具体例について説明する。
図６乃至図８は、制御手順の一例を示すフローチャートである。
【００５０】
図６に示すステップＳ１では、電源投入直後に目標情報量制御マイコン７における初期値が設定される。ここで設定される目標情報量の初期値は、目標ビットレートとフィルタ係数の初期値である。
【００５１】
ステップＳ２では、カメラ制御マイコン６からカメラの現在の状態を示す情報が入力される。この情報は、ズームレンズ位置情報、フォーカス評価値、アイリス開閉量、カメラ信号ゲイン量、ホワイトバランス制御量の変化、手ぶれ検出値などである。
【００５２】
ステップＳ３では、ヒューマンインタフェース制御マイコン８からユーザの操作状態を示す情報が入力される。この情報は、録画モード信号、録画開始からの経過時間情報などである。
【００５３】
ステップＳ４では、録画モード信号により記録メディアへの記録中であるかどうかを判定する。記録モードＲＭであれば録画中であるので、ステップＳ５に進み、スタンバイモードＳＢＭであればステップＳ１８に進み、待機する。これはカメラ一体型ビデオ記録再生装置では撮影したい映像に注目したときから、実際の録画を開始するケースが多いからである。
【００５４】
ステップＳ５では、連続撮影時間Ｔ１の測定信号により記録開始からの時間経過を判定する。録画開始直後の場合（Ｔ１≦Ｋ１）は、ステップＳ１２（図７）に進み、録画開始から十分に時間が経過した場合（Ｋ２≦Ｔ１）は、ステップＳ１５（図８）に進む。それ以外の場合（Ｋ１＜Ｔ１＜Ｋ２）は、ステップＳ６に進む。連続して一定時間（＝Ｋ２）以上録画を続けた場合には、撮影者だけでなく再生映像の視聴者にとっても、注目度が低下することが常識として知られている。図４に示すように、連続撮影時間が録画開始からＫ２（＝ｔ４−ｔ１）を超えた時点で、平均目標情報量を下げていくためである。
【００５５】
ステップＳ６では、アイリス開閉量とカメラ信号ゲインから撮影環境が低照度であるかどうかを判定する。アイリス９が全開で、かつカメラ信号ゲイン量が最大である場合（低照度撮影）には、ステップＳ１５（図８）に進む。目標情報量制御マイコン７で露光補正の情報を利用することにより、アイリス９がオープン状態で撮像装置２のゲインが上がった低照度の環境下での撮影が想定されるからである。照度が十分であれば、ステップＳ７に進む。
【００５６】
ステップＳ７では、ホワイトバランス情報によりホワイトバランスが異常であるかどうかを判定する。異常と判断した場合には、ステップＳ１５（図８）に進む。目標情報量制御マイコン７でホワイトバランスの情報を利用することによって、ホワイトバランスの評価値が黒体放射カーブから外れたものは、映像としてはＮＧと判断されるからである。正常であれば、ステップＳ８に進む。
【００５７】
ステップＳ８では、手ぶれ検出値によりカメラがパンニング中であるかどうかを判定する。手ぶれ検出値が一定の値を超えた場合には、パンニング中であるとして、ステップＳ１５（図８）に進む。手ぶれが検出されなかったときは、ステップＳ９に進む。
【００５８】
ステップＳ９では、ズームレンズ位置の変化によりズーミング中であるかどうかを判定する。ズーミング中であれば、ステップＳ１５（図８）に進み、そうでなければステップＳ１０に進む。
【００５９】
ステップＳ１０では、フォーカス評価値の大きさにより合焦動作中であるかどうかを判定する。フォーカス評価値がフォーカス閾値より小さい場合には、合焦動作中であるとして、ステップＳ１５（図８）に進み、そうでなければステップＳ１１に進む。パンニング中、ズーム中、及びフォーカス合焦への動作中には、撮影者等の画像に対する注目度が下がっているからである。とりわけ、パンニング中には従来の時間軸上での画像の相関検出、特徴抽出によると、動きがある画像という判断がなされるので、必要以上に目標情報量を高く設定しないためである。
【００６０】
ステップＳ１１では、ズームレンズ位置の変更後の経過時間Ｔ２を判定する。ズーミング開始直後の場合（Ｔ２≦Ｋ３）は、ステップＳ１２（図７）に進み、それ以外の場合（Ｋ３＜Ｔ２）は、ステップＳ１８に進む。ズーム開始直後の録画に際して、画像に対する注目度が高くなるので、目標情報量を上げることが好ましいからである。その後の時間経過とともに注目度は低下するので、経過時間Ｔ２が所定時間Ｋ３を超えた時点では、平均目標情報量を下げていく。
【００６１】
図７に示すステップＳ１２では、目標ビットレートが最大値となっているかどうかを判断する。最大値であればステップＳ１３に進み、そうでなければステップＳ１４に進む。
【００６２】
ステップＳ１３では、フィルタ係数が最大解像度に設定されているかどうかを判断する。最大値であればステップＳ１８（図６）に進み、そうでなければステップＳ１４に進む。
【００６３】
ステップＳ１４では、目標情報量を変更する。すなわち、目標ビットレートを最大値にするとともに、解像度を増やす方向にフィルタ係数を１ステップだけ増加させてから、ステップＳ１８（図６）に進む。
【００６４】
図８に示すステップＳ１５では、目標ビットレートが最小値となっているかどうかを判断する。最小値であればステップＳ１６に進み、そうでなければステップＳ１７に進む。
【００６５】
ステップＳ１６では、フィルタ係数が最小解像度に設定されているかどうかを判断する。最小値であればステップＳ１８（図６）に進み、そうでなければステップＳ１７に進む。
【００６６】
ステップＳ１７では、目標情報量を変更する。すなわち、目標ビットレートを１ステップだけ減少させるとともに、解像度を減らす方向にフィルタ係数を１ステップだけ減少させてから、ステップＳ１８（図６）に進む。
【００６７】
ステップＳ１８では、一定時間だけ待機し、その後にステップＳ２に戻る。
以上のフローチャートは、電源投入直後から一定時間ごとにループ動作が開始され、電源遮断によって停止するものとする。ループ時間は任意に設定することができるが、ＭＰＥＧ２の標準モデルに対して目標情報量を制御する場合には、１ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）単位以内での目標ビットレートの変更が困難であるため、その整数倍の時間を設定することが望ましい。また、判断ステップ５，１１などの定数Ｋ１〜Ｋ３の大きさは、実際の撮影条件下でのフィールドテストによって決定する。
【００６８】
【発明の効果】
以上に説明したように、この発明の撮像装置及び撮像方法によれば、ＭＰＥＧ２の標準モデルに対してビデオカメラのレンズ駆動、露光調整、ホワイトバランス、及び角速度センサによる手ぶれ検出などの制御情報や、補正する制御マイコンからの情報やビデオカメラの撮影開始、停止などを制御するヒューマンインタフェースマイコンからの情報を加味し、画像信号の記録中における撮影シーンの変化に応じて最適な符号化制御を行うことができ、限られた記録容量のメディアに、最適な画質でより多くの動画を記録できる利点がある。
【図面の簡単な説明】
【図１】この発明のカメラ一体型ビデオ記録再生装置の制御モデルを示すブロック図である。
【図２】ＭＰＥＧ２の標準モデルの構成を示すブロック回路図である。
【図３】目標情報量制御の一例を示すタイミングチャートである。
【図４】低照度での目標情報量制御の一例を示すタイミングチャートである。
【図５】ホワイトバランス異常や手ぶれ検出時の目標情報量制御の一例を示すタイミングチャートである。
【図６】制御手順の一例（その１）を示すフローチャートである。
【図７】制御手順の一例（その２）を示すフローチャートである。
【図８】制御手順の一例（その３）を示すフローチャートである。
【符号の説明】
１…レンズ系、２…撮像装置、３…Ａ／Ｄ変換器、４…フィルタ演算器、５…手ぶれ検知センサ、６…カメラ制御マイコン、７…目標情報量制御マイコン、８…ヒューマンインタフェース制御マイコン、９…アイリス（絞り）、１０…符号化圧縮装置

Claims (24)

  1. 撮像素子に対する集光用のレンズを駆動するレンズ駆動手段と、
    撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、
    前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
    前記レンズ駆動手段を制御するための駆動制御信号を出力する駆動制御手段と、
    前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
    前記圧縮符号化手段を制御する符号化制御手段と、
    を有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
  2. 前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項１記載の撮像装置。
  3. 前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項１記載の撮像装置。
  4. 撮像により得られた画像信号を基に露光補正処理またはホワイトバランス処理の少なくとも一方を実行する画質補正手段と、
    前記画質補正手段による処理が施された画像信号を圧縮符号化する圧縮符号化手段と、
    前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
    前記画質補正手段を制御するための補正制御信号を出力する補正制御手段と、
    前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
    前記圧縮符号化手段を制御する符号化制御手段と、
    を有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
  5. 前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項４記載の撮像装置。
  6. 前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項４記載の撮像装置。
  7. 撮像された画像の明るさに応じてアイリスの開度および撮像画像信号のゲインを制御する露光補正処理を実行する露光補正手段と、
    前記露光補正処理が施された画像信号を圧縮符号化する圧縮符号化手段と、
    前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
    前記露光補正手段を制御するための補正制御信号を出力する補正制御手段と、
    前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
    前記圧縮符号化手段を制御する符号化制御手段と、
    を有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、前記アイリスの開度が最大でかつ前記ゲインの制御値が所定値以上である場合に、前記露光補正処理の状態が不適切と判断して、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
  8. 撮像により得られた画像信号を基にホワイトバランス処理を実行するホワイトバランス処理手段と、
    前記ホワイトバランス処理が施された画像信号を圧縮符号化する圧縮符号化手段と、
    前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
    前記ホワイトバランス処理手段を制御するための補正制御信号を出力する補正制御手段と、
    前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
    前記圧縮符号化手段を制御する符号化制御手段と、
    を有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、ホワイトバランスの調整値があらかじめ決められた範囲にあるときに、前記ホワイトバランス処理の状態が不適切と判断して、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
  9. 撮像時の手ぶれを検出する手ぶれ検出手段と、
    撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、
    前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
    前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
    前記圧縮符号化手段を制御する符号化制御手段と、
    を有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出手段の検出結果に基づき撮像方向が変化している場合に、目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように前記圧縮符号化手段を制御することを特徴とする撮像装置。
  10. 前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手 段であることを特徴とする請求項９記載の撮像装置。
  11. 前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
    前記符号化制御手段は、前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出手段の検出結果に基づき撮像方向が変化している場合に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項９記載の撮像装置。
  12. 撮像により得られた画像信号を圧縮符号化する圧縮符号化手段と、
    前記圧縮符号化手段により圧縮符号化された画像信号を記録媒体に記録する記録手段と、
    前記記録手段による記録の開始および停止を指示する記録制御信号を出力する記録制御手段と、
    前記圧縮符号化手段を制御する符号化制御手段と、
    を有し、
    前記符号化制御手段は、前記記録制御信号に基づき、記録開始から一定時間が経過するまでは目標情報量を所定量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように、前記圧縮符号化手段を制御することを特徴とする撮像装置。
  13. 前記圧縮符号化手段は、ＭＰＥＧの標準モデルによる圧縮符号化手段であることを特徴とする請求項１２記載の撮像装置。
  14. 前記圧縮符号化手段により符号化される画像信号を前処理するフィルタ手段をさらに有し、
    前記符号化制御手段は、前記記録制御信号に基づき、記録開始から前記一定時間の経過後に、高周波成分を低減するように前記フィルタ手段を制御することを特徴とする請求項１２記載の撮像装置。
  15. 撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
    撮像素子に対する集光用のレンズの駆動を制御するための駆動制御信号を出力するステップと、
    前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
    前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、圧縮符号化による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
    を含むことを特徴とする撮像方法。
  16. 前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記駆動制御信号に基づき前記集光用のレンズが移動中である場合に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項１５記載の撮像方法。
  17. 撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
    撮像により得られた画像信号を基に実行される露光補正処理またはホワイトバランス処理の少なくとも一方を制御するための補正制御信号を出力するステップと、
    前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
    前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、圧縮符号化処理 による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
    を含むことを特徴とする撮像方法。
  18. 前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、少なくとも前記露光補正処理の状態が露光不足である場合または前記ホワイトバランス処理の調整値が異常値である場合に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項１７記載の撮像方法。
  19. 撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
    撮像された画像の明るさに応じてアイリスの開度および撮像画像信号のゲインを調整する露光補正処理を制御するための補正制御信号を出力するステップと、
    前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
    前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、前記アイリスの開度が最大でかつ前記ゲインの制御値が所定値以上である場合に、前記露光補正処理の状態が不適切と判断して、圧縮符号化処理による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
    を含むことを特徴とする撮像方法。
  20. 撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
    撮像により得られた画像信号を基に実行されるホワイトバランス処理を制御するための補正制御信号を出力するステップと、
    前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
    前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記補正制御信号に基づき、ホワイトバランスの調整値があらかじめ決められた範囲にあるときに、前記ホワイトバランス処理の状態が不適切と判断して、圧縮符号化処理による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
    を含むことを特徴とする撮像方法。
  21. 撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
    手ぶれを検出するステップと、
    前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
    前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出の検出結果に基づき撮像方向が変化している場合に、圧縮符号化による目標情報量を第１目標量以下に減少させるとともに、前記記録制御信号により記録開始が指示されてから一定時間が経過するまでは前記目標情報量を第２目標量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
    を含むことを特徴とする撮像方法。
  22. 前記記録制御信号により記録開始が指示されてから記録停止が指示されるまでの期間において、前記手ぶれ検出の検出結果に基づき撮像方向が変化している 場合に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項２１記載の撮像方法。
  23. 撮像された画像を圧縮符号化し、圧縮符号化された画像信号を記録媒体に記録する撮像方法において、
    前記記録媒体に対する記録の開始および停止を指示する記録制御信号を出力するステップと、
    前記記録制御信号に基づき、記録開始から一定時間が経過するまでは圧縮符号化による目標情報量を所定量以上に増加させ、前記一定時間の経過後に前記目標情報量を減少させるように制御するステップと、
    を含むことを特徴とする撮像方法。
  24. 前記記録制御信号に基づき、記録開始から前記一定時間の経過後に、圧縮符号化される画像信号に対してフィルタにより高周波成分を低減するように前処理を施すステップをさらに含むことを特徴とする請求項２３記載の撮像方法。
JP2001172640A 2001-06-07 2001-06-07 撮像装置及び撮像方法 Expired - Fee Related JP3849461B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2001172640A JP3849461B2 (ja) 2001-06-07 2001-06-07 撮像装置及び撮像方法
DE60227370T DE60227370D1 (de) 2001-06-07 2002-05-30 Kamera-integrierte videoaufzeichnung und wiedergabevorrichtung und aufzeichnungssteuerverfahren dafür
PCT/JP2002/005266 WO2002102085A1 (fr) 2001-06-07 2002-05-30 Appareil d'enregistrement et de lecture video a camera integree et procede de commande d'enregistrement associe
KR1020037001609A KR100893419B1 (ko) 2001-06-07 2002-05-30 촬상 장치 및 촬상 방법
US10/343,881 US7349023B2 (en) 2001-06-07 2002-05-30 Camera-integrated video recording and reproducing apparatus, and record control method thereof
EP02730780A EP1404134B1 (en) 2001-06-07 2002-05-30 Camera-integrated video recording and reproducing apparatus, and record control method thereof
CNB028024478A CN1212018C (zh) 2001-06-07 2002-05-30 和摄像机组合的视频记录/再现装置及其记录控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001172640A JP3849461B2 (ja) 2001-06-07 2001-06-07 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP2002369142A JP2002369142A (ja) 2002-12-20
JP3849461B2 true JP3849461B2 (ja) 2006-11-22

Family

ID=19014228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001172640A Expired - Fee Related JP3849461B2 (ja) 2001-06-07 2001-06-07 撮像装置及び撮像方法

Country Status (7)

Country Link
US (1) US7349023B2 (ja)
EP (1) EP1404134B1 (ja)
JP (1) JP3849461B2 (ja)
KR (1) KR100893419B1 (ja)
CN (1) CN1212018C (ja)
DE (1) DE60227370D1 (ja)
WO (1) WO2002102085A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113846B2 (en) 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
IL155175A (en) * 2003-03-31 2012-01-31 Given Imaging Ltd A diagnostic device that uses information thinning
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
WO2006090755A1 (en) * 2005-02-23 2006-08-31 Canon Kabushiki Kaisha Image processing apparatus
JP4708819B2 (ja) * 2005-03-14 2011-06-22 キヤノン株式会社 画像処理装置、方法、コンピュータプログラム及び記憶媒体
EP1713284A1 (en) * 2005-04-15 2006-10-18 Deutsche Thomson-Brandt Gmbh Method and device for recording digital data
JP4817990B2 (ja) 2005-08-17 2011-11-16 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4542011B2 (ja) * 2005-09-27 2010-09-08 富士通株式会社 カメラ及び手ぶれ補正方法及び手ぶれ補正プログラム
JP4794987B2 (ja) * 2005-11-09 2011-10-19 キヤノン株式会社 映像信号処理装置
KR100770927B1 (ko) * 2005-11-14 2007-10-26 삼성전자주식회사 휴대용 단말기에서 영상을 촬영하는 방법
JP2007295370A (ja) * 2006-04-26 2007-11-08 Sony Corp 符号化装置および方法、並びにプログラム
TWI367457B (en) 2006-07-03 2012-07-01 Nippon Telegraph & Telephone Image processing method and apparatus, image processing program, and storage medium for storing the program
JP4834535B2 (ja) * 2006-12-22 2011-12-14 キヤノン株式会社 撮像装置
JP4901460B2 (ja) * 2006-12-26 2012-03-21 富士フイルム株式会社 撮影装置、方法およびプログラム
BRPI0720420A2 (pt) * 2006-12-28 2014-01-14 Nippon Telegraph & Telephone Método e aparelho de processamento de vídeo, programa de processamento de vídeo e meio de armazenamento que armazena o programa
US8532199B2 (en) 2008-01-24 2013-09-10 Panasonic Corporation Dynamic image compression device
JP5780764B2 (ja) 2011-01-17 2015-09-16 オリンパス株式会社 撮像装置
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US10666925B2 (en) * 2015-04-29 2020-05-26 Adam S Rowell Stereoscopic calibration using a multi-planar calibration target
EP3300363B1 (en) 2015-12-15 2018-08-29 Axis AB A bit rate controller and a method for limiting output bit rate
US10148964B2 (en) * 2016-11-03 2018-12-04 Ujet, Inc. Image quality management
KR102315524B1 (ko) * 2017-06-16 2021-10-21 한화테크윈 주식회사 영상의 비트레이트 조절 방법 및 영상 획득 장치
JP2021170690A (ja) * 2018-06-01 2021-10-28 ソニーグループ株式会社 画像処理装置および方法
JP2020150383A (ja) * 2019-03-13 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 カメラ、制御方法、及び、プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237363A (en) * 1989-08-31 1993-08-17 Minolta Camera Kabushiki Kaisha Camera system with lens movable in vertical direction to optical axis of photo-taking lens
US5221963A (en) * 1990-03-31 1993-06-22 Minolta Camera Kabushiki Kaisha Video camera having a video signal processing apparatus
JPH05130602A (ja) * 1991-11-07 1993-05-25 Canon Inc 端末装置
JPH05300506A (ja) * 1992-04-23 1993-11-12 Canon Inc 画像音声通信端末装置
JP3110557B2 (ja) * 1992-07-01 2000-11-20 キヤノン株式会社 カメラ制御装置
KR100195071B1 (ko) * 1992-07-14 1999-06-15 윤종용 디지탈 비디오신호 기록 재생방법 및 그 장치
JPH06205249A (ja) * 1992-10-22 1994-07-22 Konica Corp ビデオカメラ
JP3400506B2 (ja) * 1993-03-12 2003-04-28 オリンパス光学工業株式会社 画像処理装置
US6078751A (en) * 1994-04-27 2000-06-20 Canon Kabushiki Kaisha Image-shake correcting device
JPH0884327A (ja) * 1994-09-13 1996-03-26 Matsushita Electric Ind Co Ltd 画像通信装置及び画像通信方法
JP3525353B2 (ja) * 1994-09-28 2004-05-10 株式会社リコー デジタル電子スチル・カメラ
US5926209A (en) 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
JP3480206B2 (ja) * 1996-11-26 2003-12-15 ミノルタ株式会社 位置検出装置及びカメラ
US6404776B1 (en) * 1997-03-13 2002-06-11 8 × 8, Inc. Data processor having controlled scalable input data source and method thereof
JPH1141515A (ja) * 1997-07-24 1999-02-12 Minolta Co Ltd スチルカメラ
KR100265113B1 (ko) * 1997-08-06 2000-09-01 윤종용 방송프로그램녹화방법
JPH11187309A (ja) * 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
JP4213297B2 (ja) * 1999-06-11 2009-01-21 富士フイルム株式会社 撮影装置
JP4616432B2 (ja) * 1999-07-16 2011-01-19 富士フイルム株式会社 信号処理装置
JP4181705B2 (ja) * 1999-09-14 2008-11-19 キヤノン株式会社 撮像装置、画像処理方法、及びコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
EP1404134B1 (en) 2008-07-02
JP2002369142A (ja) 2002-12-20
CN1465192A (zh) 2003-12-31
WO2002102085A1 (fr) 2002-12-19
US20040008772A1 (en) 2004-01-15
EP1404134A4 (en) 2007-06-06
KR20030029123A (ko) 2003-04-11
DE60227370D1 (de) 2008-08-14
US7349023B2 (en) 2008-03-25
EP1404134A1 (en) 2004-03-31
CN1212018C (zh) 2005-07-20
KR100893419B1 (ko) 2009-04-17

Similar Documents

Publication Publication Date Title
JP3849461B2 (ja) 撮像装置及び撮像方法
US8634458B2 (en) Image processing apparatus
US20020191951A1 (en) Image recording apparatus
US7272263B2 (en) Image decoding with a simplified process
US20070188634A1 (en) Imaging apparatus
JP3783238B2 (ja) 撮像システム、画像処理装置、符号化装置、符号化方法及びランダムノイズを除去する方法
JP4817990B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JPH06153152A (ja) 動画像符号化装置および方法
JP2008035167A (ja) 撮像装置
JP3221785B2 (ja) 撮像装置
JP3592025B2 (ja) 撮影画像記録装置
JP5501393B2 (ja) 画像処理装置
JP6354877B2 (ja) 撮像制御装置、及びその制御方法とプログラム
US20120093483A1 (en) Image processing apparatus and image processing method
JP2015019243A (ja) 撮像装置、及びその制御方法とプログラム
JP3037961B2 (ja) 電子カメラ装置および画像データの符号化装置
JP2004180345A (ja) 撮影画像記録装置
US20120060614A1 (en) Image sensing device
JP2001313906A (ja) デジタルカメラ
JP5132327B2 (ja) 画像処理装置
JP2006180200A (ja) 監視装置
JPH09186919A (ja) 撮像装置
JP2009033629A (ja) 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
JP2003250114A (ja) 映像記録装置
JP2006345255A (ja) 撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090908

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees