JP4103276B2 - 画像記録装置および方法 - Google Patents
画像記録装置および方法 Download PDFInfo
- Publication number
- JP4103276B2 JP4103276B2 JP34208299A JP34208299A JP4103276B2 JP 4103276 B2 JP4103276 B2 JP 4103276B2 JP 34208299 A JP34208299 A JP 34208299A JP 34208299 A JP34208299 A JP 34208299A JP 4103276 B2 JP4103276 B2 JP 4103276B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recording
- memory
- data
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、例えば撮影された動画像の画像信号を圧縮して記録媒体に記録する記録装置および記録方法に関する。
【０００２】
【従来の技術】
ディジタル静止画カメラにおいて、記録した画像の縮小画像（サムネール画像と称する）を生成し、インデックス用として記録することが知られている。静止画カメラの場合には、サムネール画像を生成するための処理を行う時間的余裕が十分にあった。また、テープを記録媒体とする動画カメラの場合では、一度テープに記録した動画像系列から再度、サムネール用の画像を生成することが可能である。しかしながら、テープのアクセス性の不便さから、サムネール画像を参照して所望の画像を検索することは、実用的とはいえない。
【０００３】
【発明が解決しようとする課題】
ところが、ディスク、半導体メモリを記録媒体とする動画カメラでは、その特徴であるランダム・アクセス性を十分に有効活用するためにも、記録した動画像系列の検索や頭出しが重要な機能になる。その際、各動画像系列の中身を素早くユーザーが知るためにも、サムネール動画像の生成が重要である。しかしながら、一度ディスク等に記録したデータから再度、サムネール用の画像を作り直す手法は、手間も時間もかかってしまう問題点があった。
【０００４】
したがって、この発明の目的は、動画撮影時に同時にサムネール画像を生成することによって、サムネール画像を生成するための手間と時間を省くことが可能とした画像記録装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、動画像を圧縮符号化して記録媒体に記録する画像記録装置において、
動きベクトルを検出するための入力画像が蓄えられる動きベクトル検出用メモリと、
メモリに蓄えられた画像を動きベクトルによって動き補償を行い、動き補償を行った画像と入力画像との差分を圧縮符号化する符号化手段と、
符号化手段により生成された圧縮符号化データを記録媒体に記録する記録手段と、
圧縮符号化データの記録媒体への記録と同時に、動きベクトル検出用メモリにアクセスして入力画像から複数の画像を一定間隔で抜き出し、抜き出した複数の画像からそれぞれ入力画像の縮小画像を生成する画像生成手段とを備え、
画像生成手段は、
動きベクトル検出用メモリ上に、縮小画像処理用のメモリエリアを確保し、
生成された縮小画像データをメモリエリアに格納し、
縮小画像データの容量が縮小画像処理用のメモリエリアの容量を超えた場合、偶数番目および奇数番目の一方に書いたデータの上に新しいデータを上書きし、
一連の入力画像に対する圧縮および記録処理の終了時に、メモリエリアから最初に偶数番目および奇数番目の他方に書いたデータを読み出し、次に、偶数番目および奇数番目の一方に書いたデータを読み出し、読み出した縮小画像を符号化手段により圧縮符号化した圧縮符号化データを、記録手段によって記録または送信するように制御することを特徴とする画像記録装置である。
【０００６】
請求項６の発明は、動画像を圧縮符号化して記録媒体に記録する画像記録方法において、
動きベクトルを検出するための入力画像を蓄える動きベクトル検出用メモリと、
メモリに蓄えられた画像を動きベクトルによって動き補償を行い、動き補償を行った画像と入力画像との差分を圧縮符号化するステップと、
生成された圧縮符号化データを記録媒体に記録するステップと、
圧縮符号化データの記録媒体への記録と同時に、動きベクトル検出用メモリにアクセスして入力画像から複数の画像を一定間隔で抜き出し、抜き出した複数の画像からそれぞれ入力画像の縮小画像を生成するステップとを備え、
縮小画像を生成するステップでは、
動きベクトル検出用メモリ上に、縮小画像処理用のメモリエリアを確保し、
生成された縮小画像データをメモリエリアに格納し、
縮小画像データの容量が縮小画像処理用のメモリエリアの容量を超えた場合、偶数番目および奇数番目の一方に書いたデータの上に新しいデータを上書きし、
一連の入力画像に対する圧縮および記録処理の終了時に、メモリエリアから最初に偶数番目および奇数番目の他方に書いたデータを読み出し、次に、偶数番目および奇数番目の一方に書いたデータを読み出し、読み出した縮小画像を圧縮符号化した圧縮符号化データを記録または送信することを特徴とする画像記録方法である。
【０００７】
この発明では、入力画像の圧縮および記録処理と同時に、入力画像系列から取り出した画像の縮小画像を自動的に生成することが可能になる。したがって、新たに縮小画像生成の手続きを後から取る必要がなくなり、後で再生する時、縮小画像の動画系列を参照することによって、容易に撮影内容の概要を把握することができる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。一実施形態は、動画像を撮影し、記録するカメラのような例において、圧縮符号化を施したデータを記録媒体に記録する画像圧縮システムの中に、サムネール画像生成機能を組み込むようにしたものである。
【０００９】
図１は、一実施形態の動画像圧縮記録装置全体の構成を示す。図１において、１がＣＣＤ等の撮像素子、レンズ等の光学系からなる撮像装置であり、２が撮像装置１によって撮影された画像信号をディジタル化するＡ／Ｄ変換器である。Ａ／Ｄ変換器２でディジタル化された画像信号が圧縮装置３に入力される。そして、圧縮装置３において画像信号が圧縮符号化され、ビットストリームが生成される。このビットストリームが書き込み装置４によって光ディスク、磁気ディスク、半導体メモリ等の記録媒体５に記録される。記録媒体５としては、ランダムアクセス性が優れたものが好ましい。また、圧縮制御装置６は、主に圧縮装置３との間でのエンコードパラメータのやり取りと、圧縮装置３内のフレームメモリとのアクセスによるサムネール画像生成と、書き込み装置４への記録の開始・停止等の制御を行う。
【００１０】
図１に示す構成例は、例えば蓄積媒体を使って記録再生するディジタルビデオカメラとしての応用を主に想定した場合に相当するものである。
【００１１】
図２は、図１中の圧縮装置３の一例の構成を示す。図１中のＡ／Ｄ変換器２から出力されるディジタル画像信号が圧縮装置３の入力として供給される。圧縮制御装置６との間で受け渡しされる符号化のためのパラメータに基づいて圧縮符号化されたビットストリームが圧縮装置３から出力される。加えて、圧縮制御装置６からフレームメモリに対してサムネール縮小画像生成のためのデータアクセスが行われる。圧縮装置３は、入力画像に対して適当な解像度・画素数変換を施す前処理装置７と、フレーム間の動き量を求める動きベクトル検出装置８と、符号化を行ってビットストリームを生成する符号化装置９とから構成される。
【００１２】
前処理装置７は、入力されるディジタル画像信号を圧縮制御装置６からの指令にしたがって、符号化する対象画像に適した解像度変換すなわち周波数特性変換を行うフィルタ演算器１０と、画素数変換すなわち標本化数変換を行う間引き処理器１１で構成される。前処理装置７での各種解像度・画素数変換の例としては、例えばディジタルフィルタを用いてそのフィルタ係数を変えることによって、周波数成分の通過域特性を制御して解像度変換を施したり、水平方向の画素を間引くことによって画素数変換を行う手法がある。
【００１３】
図３Ａは、フィルタ演算器１０の周波数特性の一例を示し、図３Ｂは、その他の例を示す。これらのフィルタ演算器１０は、前置フィルタとしてディジタル画像信号の帯域を制限する。図３において、周波数軸（横軸）は、ナイキスト周波数で正規化された正規化周波数を示す。図３Ａに示す周波数特性は、図３Ｂに示す周波数特性より広い通過帯域を有する。
【００１４】
フィルタ演算器１０の出力が間引き処理器１１に供給され、水平方向、垂直方向の画素数が間引かれ、通常サイズの画像が生成される。このように前処理された結果の画像信号が、動きベクトル検出装置８と符号化装置９へと供給される。図４Ａは、（水平方向の画素数×垂直方向のライン数）が（７０４×４８０）のサイズの画像を示す。図４Ｂが水平方向の画素数を３／４に変換した画像である。図４Ｃが水平方向の画素数を１／２に変換した画像である。これらの３種類の画像は、通常サイズとして取り扱うことが可能な画像であり、前処理装置７は、３種類の画像の内の一つを出力する。例えば図４Ｂの画素数の場合には、図３Ａに示すフィルタ特性が用いられ、図４Ｃの画素数の場合には、図３Ｂに示すフィルタ特性が用いられる。
【００１５】
動きベクトル検出装置８は、符号化対象画像を蓄えるフレームメモリ１２と順方向・逆方向のフレーム間の動きベクトル検出を行う動き検出器１３とで構成される。なお、フレームメモリ１２は、複数フレームの画像データを蓄えることができる容量を有し、通常の動画像圧縮のための画像データ（図４参照）に加え、サムネール画像のためのデータも同時にメモリ上の異なるエリアに蓄える構成とされている。つまり、フレームメモリ１２は、撮影中、逐次記録媒体に記録していく前の非圧縮状態の画像データを一旦蓄えるエリアと、後に述べるサムネール生成画像を一旦蓄えるエリアの両方を有する。
【００１６】
動きベクトル検出装置８では、各フレームの時間的並びにおいて順方向と逆方向に相当するフレーム間の各マクロブロック毎に対する動き量を求める。具体的には、ブロックマッチング法等を用いて最適な動きベクトル値を求める演算を行い、動きベクトル値を蓄えておく。
【００１７】
一般的にＭＰＥＧ(Moving Picture Experts Group)に代表される動画像圧縮システムでは、動きベクトルを求める際のフレーム間の動き予測方向によって、フレーム間符号化するフレームは、順方向のみの予測によるＰピクチャ(Predictive-coded picture ）と、順方向及び逆方向の両方向予測によるＢピクチャ(Bidirectionally predictive-coded picture ）に分けられ、フレーム内符号化するフレームはＩ(Intra-coded picture：イントラ符号化画像) ピクチャと呼ばれる。Ｂピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００１８】
したがって、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Forward) フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００１９】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。図５は、ＩおよびＰピクチャの周期をＭとし、ＧＯＰのピクチャ数をＮとすると、Ｍ＝３，Ｎ＝１５のＧＯＰの例を示す。
【００２０】
符号化装置９は、このようなＭＰＥＧの符号化を行う。符号化装置９は、離散コサイン変換ＤＣＴ器１４、量子化器１５、可変長符号化器１６を通して圧縮された画像信号のビットストリームを出力する。それと同時に量子化器１５の出力を、逆量子化器１７、逆ＤＣＴ器１８を通して画像データを復号し、既に再構築した参照フレームの画像データと足し合わせる加算器１９に供給し、加算器１９の出力をフレームメモリ２０に蓄える。
【００２１】
フレームメモリ２０の画像データに対して、動きベクトル検出装置８で得られた動きベクトルを用いて動き補償器２１で動き補償を行なう。再構築した画像データをフレーム間で符号化するモード時には、減算器２２で前処理装置７から入力される画像データとの引き算を行なう。すなわち、スイッチ２３は、ａ側に接続されている。また、フレーム内で符号化するモードの時は、スイッチ２３は、ｂ側に接続されている。そして、可変長符号化器１６から出力されるビットストリームは、バッファ２４を介して図１中の書き込み装置４へ出力される。また、量子化制御器２５は、量子化器１５で行なわれる量子化パラメータを制御することによって、ビットレートを制御する。この制御は、図１の圧縮制御装置６からの量子化に関する指令に基づいて、バッファ２４でのバッファ量を監視しながらなされる。
【００２２】
かかる符号化装置９は、動きベクトル検出装置８で得られた動きベクトル値を用いて動き補償を行ない、時間軸方向のデータの冗長度を削減し、かつＤＣＴによる空間軸方向から周波数軸方向への変換により冗長度を削減したデータに対して、周波数軸に対して重みづけを施した量子化を行なう。そして、可変長符号化を行なうことで、最終的なビットストリームを得るようにしている。
【００２３】
以上が通常の画像サイズの動画像系列に対する圧縮符号化処理の概要であるが、本実施形態は、一般的にＭＰＥＧに代表される上記処理に加えて、通常の圧縮符号化処理と同時にサムネール画像を生成し、生成したサムネール画像をフレームメモリに格納し、例えば撮影終了時に、生成したサムネール画像を動画系列として読み出し、読み出したサムネール動画系列を圧縮符号化し、圧縮符号化データを記録媒体５に記録するものである。圧縮符号化としては、例えば通常サイズの画像と同様にＭＰＥＧを使用できる。
【００２４】
本実施形態の動作の概要を図６を参照して説明する。動画像圧縮装置３によって撮影した動画像入力系列に対して、通常の画像サイズでの圧縮符号化を行った結果が記録媒体、例えば光ディスク５’に逐次書き込まれている。この基本動作と同時に、圧縮制御装置６が一定フレーム間隔で、入力画像が一旦蓄えられている動きベクトル検出装置８内のフレームメモリ１２、例えば半導体メモリの中から対象フレーム画像を１枚読み出す。読み出した対象フレーム画像に対してサムネール画像を生成し、生成したサムネール画像をフレームメモリ１２のサムネール画像専用のエリアに書き込む。これらの一連の動作が繰り返される。
【００２５】
以降の説明では、通常の圧縮符号化処理と同時に行うサムネール画像生成処理を中心として一実施形態の動作説明を行うことにする。一例として、１フレーム分の入力画像信号は、図４Ａに示すような水平方向に７０４画素、垂直方向に４８０ラインからなる。１フレームの画像を水平および垂直方向に１６画素づつ分割したマクロブロックは、水平方向に４４個、垂直方向に３０個、構成される。また、入力される動画像系列は１秒間に３０フレームであるとする。
【００２６】
この入力画像に対して図２中の前処理装置７で施される処理によって、動きベクトル検出装置８内のフレームメモリ１２に書き込まれる通常サイズの圧縮符号化対象画像データは、本例では、水平方向に間引きを行わない図４Ａに示すサイズ、図４Ｂに示す水平方向に３／４変換したサイズ、図４Ｃに示す水平方向に１／２変換したサイズの３種類を扱うことにする。
【００２７】
これらの通常画像サイズの画像に対して生成されるサムネール画像は、一律、水平方向に１７６画素、垂直方向に１２０ラインからなる。サムネール画像は、元の入力画像を水平および垂直方向にそれぞれ１／４のサイズに縮小したことに相当する。例えば、図４Ａに示す通常サイズの画像に対しては、図７Ａに示すように、水平方向には４画素毎に１画素をサブサンプリングし、垂直方向には４ライン毎に１ラインをサブサンプリングすることでサムネール画像が生成される。また、図４Ｂに示す通常サイズの画像に対しては、図７Ｂに示すように、水平方向には３画素毎に１画素をサブサンプリングし、垂直方向には４ライン毎に１ラインをサブサンプリングすることでサムネール画像が生成される。さらに、図４Ｃに示す通常サイズの画像に対しては、図７Ｃに示すように、水平方向には２画素毎に１画素をサブサンプリングし、垂直方向には４ライン毎に１ラインをサブサンプリングすることでサムネール画像が生成される。
【００２８】
このようなサムネール画像の生成は、図８に示すように、通常サイズ画像データを蓄えた図２中の動きベクトル検出装置８内のフレームメモリ１２にアクセスすることで行う。これを担うのが図１中の圧縮制御装置６である。圧縮制御装置６のサムネール画像生成処理に関する構成部分を図８に示す。この構成部分は、フレームメモリ読み出し処理部２６、間引き処理部２７およびフレームメモリ書き込み処理部２８で構成される。
【００２９】
撮影中、入力される動画像は、フレーム単位で、フレームメモリ１２中の通常画像のためのエリアとして用意した７フレーム分に順次格納され、通常サイズの圧縮符号化の対象として処理される。つまり、フレーム１〜フレーム７の７フレーム分のメモリエリアに、撮影中、入力画像順に巡回して各フレームの画像を上書きするように、一旦画像データをフレームメモリ１２内に取り込み、取り込まれた各フレームの画像を圧縮符号化する。
【００３０】
また、サムネール画像を生成するために、フレームメモリ読み出し処理部２６は、通常サイズ画像の系列から１フレームを一定フレーム間隔で読み出す。読み出したフレーム画像が間引き処理部２７に供給され、間引き処理部２７において、必要な水平および垂直方向の間引き処理がなされ、サムネール画像が生成される。サムネール画像は、フレームメモリ書き込み処理部２８によって、フレームメモリ１２中のサムネール画像用のメモリエリアに順次書き込まれる。
【００３１】
図８は、フレームメモリ１２中で、通常サイズの画像に換算して６フレーム分のエリアをサムネール画像用に使用する例を示す。この時、図７Ａに示したように、通常サイズの画像に対して、サムネール画像は、水平および垂直方向に１／４のサイズなので、水平・垂直方向にサムネール画像を４つずつ並べて書き込みことができる。すなわち、通常画像サイズで１フレーム分のエリアに合計１６フレーム分のサムネール画像を書き込むことができる。したがって、図９に示すように、フレームメモリ１２の６フレーム分のサムネール画像用エリアに、合計９６フレーム分のサムネール画像を蓄えられる。
【００３２】
次に、図１の圧縮制御装置６が司る、本実施形態で採用する一定フレーム間隔で入力画像の１フレームを抜き出してサムネール画像生成を行う動作について説明する。まず、本例では、サムネール画像用に用意しているフレームメモリのエリアに書き込める最大フレーム数（最大枚数）は、上述したように、９６枚である。そこで、図１０に示すように撮影開始フレームの先頭から一定フレーム間隔で、入力画像の中からサムネール画像を生成する対象フレームを抜き出す。
【００３３】
図１０では、１０フレーム毎に１枚のフレームを抜き出し、抜き出した各フレームからサムネール画像生成している例である。したがって、１秒間の３０フレームからは、３枚のフレーム画像が抜き取られる。このような例では、図１の圧縮制御装置６は、１０フレーム間隔でフレームメモリ１２内の通常サイズ画像データにアクセスしてサムネール画像を生成し、生成したサムネール画像を順にフレームメモリ１２内に格納する処理を行う。
【００３４】
撮影中、通常サイズの動画像を逐次、圧縮符号化して得られたビットストリームは、光ディスク５’等の記録媒体にリアルタイムに記録され、その過程で同時に生成されるサムネール画像は、撮影終了時にフレームメモリ１２内のサムネール画像エリアから読み出される。それによって、サムネール画像系列による撮影内容の一覧が可能になる。例えば、通常サイズの画像フレーム単位、すなわち、サムネール画像の１６枚単位を読み出すことによって内容の閲覧が可能となる。この場合の画像は、図９に示したような１６分割の画面の静止画として表示される。
【００３５】
この一実施形態は、サムネール画像による静止画の代わりに、動画系列を生成するようにしたものである。すなわち、撮影終了時にフレームメモリ１２内に蓄えられたサムネール画像の１枚ずつを、入力画像系列の中から抜き出した時間間隔で、且つ書き込んだ時間順に出力することによって動画系列を生成する。さらに、サムネール動画像系列を圧縮符号化することでサムネール動画のビットストリームを生成し、記録媒体に記録する。但し、撮影した本来の入力画像の時間変化と合わせるために、１秒間に３０フレームを表示する時に、抜き出したフレーム間隔に相当する１０フレーム分、１枚のサムネール画像の表示を繰り返すように、圧縮符号化する。
【００３６】
圧縮符号化を行う場合、１枚のサムネール画像を１０フレーム同じように、例えばＩピクチャとしてエンコードすることができる。その場合には、符号量が増大してしまう。そこで、図１１に示すように、１０フレーム毎に１フレームを抜き出してサムネール画像を生成した場合には、サムネール画像の１フレームをＩピクチャとして圧縮符号化し、それに続く９フレームの各フレームを、動きベクトルの値が全マクロブロックで０で、且つその動きベクトルによる順方向予測の差分値も全マクロブロックで０のＰピクチャに符号化する。それによって、９フレームの画像を直前のＩピクチャとして処理したフレームの画像と全く同じ画像とできる。すなわち、一種のフレームコピーを意図的に発生させることで符号量を最低限に抑える。この場合、ＩまたはＰピクチャの周期が（Ｍ＝１）で、ＧＯＰのピクチャ数が（Ｎ＝１０）のビットストリームが形成される。
【００３７】
このように形成されたサムネール画像の動画ストリームが記録媒体５または他の記録媒体に対して記録される。この例の場合では、通常の画像に比べフレームレート（１秒間のフレーム枚数）を落とすだけで、ある程度スムーズな動きを実現することに、サムネール画像による動画系列を生成することができる。
【００３８】
さらに、この一実施形態における圧縮制御装置６（図１）の動作の一例について説明する。一例として、１回の撮影中に、入力画像を一定間隔で抜き出し、動画サムネールを生成するための処理について説明する。
【００３９】
図１２は、圧縮制御装置６の動作を示すフローチャートである。まず、最初に撮影開始、つまりエンコード圧縮符号化処理が開始されると、ステップＳ１では、逐次入力される動画像系列の通常サイズ画像のエンコードが行われ、圧縮符号化された結果のビットストリームが光ディスク等の記録媒体に記録される。この通常の圧縮符号化処理と同時に行われるサムネール画像生成処理は、エンコードが終了するまで行われる。終了するかどうかの判定のステップＳ２において、まだ終了でないと決定される時には、入力画像のフレーム数のカウントを行う（ステップＳ３）。
【００４０】
ステップＳ３に続いて、現在の処理フレームが、撮影開始フレームを含んで、開始フレームからの一定フレーム間隔周期のフレームであるかどうかが判定される（ステップＳ４）。ここで、一定間隔のフレームと判定された場合には、ステップＳ５において、そのフレームに対してサムネール画像を生成する。そうでなかった場合には無処理でステップＳ１に戻る。
【００４１】
そして、撮影終了となり、ステップＳ２において、通常画像サイズのエンコード処理が終了したと判定したら、ステップＳ６の処理がなされる。ステップＳ６では、上述したように、フレームメモリ１２内のサムネール画像エリアに書いたサムネール画像を、フレーム単位で切り出して、一つのサムネール動画像系列としてエンコードし、その結果のビットストリームを光ディスク等の記録媒体に記録する。そのサムネール画像のビットストリームの記録が終了した時点で、全ての動作も終了となる。
【００４２】
以上の動作によるサムネール画像生成は、撮影開始フレームを含み、開始フレームから１０フレーム間隔毎に１枚のサムネール画像を生成する、図１０に示すような入力画像との関係にあり、圧縮符号化して記録媒体に書かかれたビットストリームは、伸張復号化した時点では図１１に示すような動画像系列として表される。
【００４３】
このように、この発明の一実施形態では、以上の処理を図１の圧縮制御装置６で行うことで、通常の動画像を圧縮符号化して光ディスク等の記録媒体に逐次ビットストリームを記録しながら、同時にサムネール画像をフレームメモリ内に蓄えておき、撮影が終了した時点で、今度はサムネール画像を圧縮符号化してそのビットストリームを記録媒体に記録するようになされる。
【００４４】
次に、一実施形態のように圧縮装置３内に存在するフレームメモリ１２に蓄えることができるサムネール画像のフレーム枚数が有限である場合には、１回の撮影時間が長いと、サムネール画像のフレーム数が最大サムネール枚数を越えるような場合が生じる。
【００４５】
このような場合に対して何も対処しない場合には、１回の撮影でサムネール画像の蓄えられるフレームメモリ１２内のエリアが満杯になった時点で、サムネール画像の生成とそのフレームメモリへの書き込みを強制的に中止させる制御を行う。これは、一番容易な処理ではあるが、後で撮影した内容を閲覧する目的では、撮影中の途中までしかサムネール画像が存在しないことになる。
【００４６】
そこで、次に述べるような手法がより好ましい。それは、撮影中に生成されたサムネール画像の枚数が最大サムネール画像の枚数を越えた場合、図１３に示すような順序１〜９６で一度書き込んだサムネール画像の上に、新たなサムネール画像を上書きする。上書きされるフレームを図１３では、斜線を付して示す。但し、その場合の上書きは、常にフレームメモリ１２上のサムネール画像系列に対して、当初、偶数フレーム番目に書き込んだサムネール画像のエリアに対してのみ行うようになされる。
【００４７】
つまり、図１３に示すようなフレームメモリ１２上に書かれるサムネール画像のマップに対して、サムネール動画像系列の並びは、最初に書き込んだ奇数フレーム番目を順に読み出し、フレームメモリ１２上の最後のサムネール画像に達したら、こんどは２度目に書き換えた偶数フレーム目のサムネール画像を順に読み出すことで、約２倍の撮影時間ぶんの動画サムネール系列を作ることが可能になる。この場合、生成されるサムネール画像のフレーム間隔が倍の時間になり、内容閲覧の密度が下がるが、１回の撮影中のサムネール内容を撮影終了まで用意することができる。
【００４８】
上述したように生成されたサムネール画像を再生するための構成例を図１４に示す。通常サイズの画像およびサムネール画像は、一般的なＭＰＥＧシステムでの再生系に相当する。記録媒体５からビットストリームを読み取り装置３１によって読み取り、読み取ったビットストリームを復号化装置３２で復号化し、後処理装置３３を介することによって画像信号を生成する。画像信号は、Ｄ／Ａ変換器３４によりアナログ画像信号へ変換され、表示装置３５にて表示される。
【００４９】
復号化装置３２は、破線で囲んで示すように、読み取り装置３１からのビットストリームがバッファ４１に供給される。バッファ４１の出力が可変長符号の復号化器４２に供給され、可変長符号の復号処理がなされる。可変長復号化器４２の出力が逆量子化器４３に供給され、記録時の量子化処理と逆の処理がなされる。逆量子化器４３の出力が加算器４５に供給される。加算器４５の出力に復号された画像信号が取り出される。
【００５０】
加算器４５からの復号出力がフレームメモリ４６および動き補償器４７に供給される。フレームメモリ４６は、復号した画像信号を一旦蓄積する。動き補償器４７は、可変長復号化器４２において分離された動きベクトルを用いて動き補償を行う。動き補償器４７の出力が前フレームの復号画像信号であり、復号画像信号が加算器４５に供給され、逆ＤＣＴ器３４の出力と加算される。
【００５１】
加算器４５からの復号画像信号が後処理装置３３の補間処理器４８に供給される。補間処理器４８に対してフィルタ演算器４９が接続される。後処理装置３３は、記録時の前処理と逆の処理を行い、元の画素数の復号画像が後処理装置３３からＤ／Ａ変換器３４に供給される。
【００５２】
この発明によって生成されたサムネール動画像系列は、図１１に示し、上述したようなフレーム間隔でもってＭＰＥＧ圧縮されている。したがって、伸張処理中のＭＰＥＧ復号は、通常サイズの画像と同じ処理でなされる。復号されたサムネール動画像系列をどのように表示するかは、機器の構成によっていくつかの方法を採用できる。
【００５３】
一つの方法は、サムネール画像の縮小されたサイズのままで、ＣＲＴモニタ、フラットディスプレイ等の表示装置３５に動画として表示するものである。他の方法は、サムネール画像を拡大して画面全体に表示するものである。拡大して表示する方法は、解像度が低い問題があるので、縮小されたサイズ（小画面）の動画として表示する方法が主たるものである。しかしながら、ビデオカメラに付属している液晶モニタ程度の表示画面の大きさであれば、拡大したサムネール画像を表示することも可能である。
【００５４】
さらに、図９に示すような分割表示も可能である。その場合には、サムネール動画像系列のＭＰＥＧ圧縮データを伸張して表示する仕組みが通常サイズの画像の復号・表示と多少相違する。復号過程において、ＭＰＥＧデータの中からＩピクチャのみを抜き出して画面分割位置に表示する処理が必要となる。Ｐピクチャとした部分は、表示上ではカットする。
【００５５】
なお、上述した一実施形態では、フレームメモリ１２上に逐次、未圧縮状態のサムネール画像を生成し、通常の画像サイズによる撮影が終了してから、サムネール画像についての圧縮符号化と記録媒体への記録を行っているが、サムネール画像生成とその圧縮符号化も含めた処理速度が十分に得られるシステムにおいては、１回の撮影において通常画像サイズの撮影と同時に、サムネール画像を圧縮符号化し、得られた圧縮符号化データ（ビットストリーム）をフレームメモリ１２上に蓄えておき、通常の撮影終了時にフレームメモリ１２から圧縮符号化データを読み出し、記録媒体に記録しても良い。
【００５６】
また、サムネール画像生成とその圧縮符号化に加え、記録媒体への記録も含めた処理速度が得られるシステムにおいては、通常画像サイズの撮影と同時に、サムネール画像を圧縮符号化し、得られたビットストリーム圧縮状態を記録媒体に記録しても良い。
【００５７】
なお、一実施形態では、サムネール画像のサイズを、本来の入力画像の水平・垂直方向にそれぞれ１／４にしたものを扱っているが、このサイズに限る必要はなく、撮影動画像系列の内容を閲覧するのに適した小さなサイズであることに意味がある。また、サムネール画像の生成を、水平および垂直方向の処理を簡易にするため、画素及びラインの単純間引き処理だけで行っているが、一実施形態における前処理装置７のようにデジタルフィルタによる周波数特性の変換と併用した間引き処理を行って、より高度なサムネール画像生成を行うことも可能である。
【００５８】
さらに、一実施形態では、一定フレーム間隔毎のサムネール画像の生成において、そのフレーム間隔を１０フレームとして説明しているが、この値に限る必要はない。
【００５９】
よりさらに、一実施形態では、サムネール画像を蓄えるものとして、一般にＭＰＥＧ等に代表される動画像圧縮装置内に必ず含まれるフレームメモリ上に、通常の画像サイズの格納エリア以外にサムネール画像専用のエリアを用意することで実現しているが、圧縮装置内のメモリとは限らず、外部の半導体メモリ等の記録媒体上に蓄えても同様である。
【００６０】
本実施形態で、圧縮装置内に存在するフレームメモリ１２として、汎用の６４Ｍｂｉｔの記憶容量を持つＤＲＡＭを採用して、入力画像（７０４画素、４８０ライン）の７フレーム分を通常サイズの動画像圧縮符号化のための最低限必要なフレーム枚数として使った場合、残りのメモリ上に上述のサイズ（１７６画素、１２０ライン）のサムネール画像用として最大限確保できる総サムネール画像フレーム数は、約１４０フレーム程度になる。
【００６１】
本実施形態では、通常画像サイズの圧縮符号化したビットストリームのデータも、サムネール画像を圧縮符号化したビットストリームの両者を光ディスク等の記録媒体に記録しているが、サムネール画像の圧縮したデータについてはデータ量が少ないので、インターネット等の通信回線に直接送信することもできる。つまり、高画質な映像は光ディスク等の記録媒体に記録しつつ、サムネール画像のようなサイズの小さい画像は通信用に送出することも可能である。
【００６２】
【発明の効果】
以上の説明から明らかなように、この発明によれば、通常の動画像カメラの記録媒体への記録と同時に、その画像系列から抽出したサムネール画像を自動的に生成することが可能になる。すなわち、ユーザから見れば、通常のビデオ撮影をしていると、その一回の撮影が終了するのと殆ど同時に、そのショットの概要となるサムネール画像による動画像系列が作成できていることになる。したがって、新たにサムネール生成の手続きを後から取る必要がなくなり、後で再生する時、サムネール動画系列を参照することによって、容易に撮影内容の概要を把握することができる。
【００６３】
また、この発明によって自動的に生成されたサムネール動画像は、記録媒体に記録する通常の画像サイズのデータよりもデータ量が少ないので、そのままインターネット等の通信媒体上に、例えばビデオメールのような応用の形で送ることもできる。
【００６４】
さらに、この発明を実現するのに、通常の動画エンコードに不可欠なメモリの容量に対してサムネール動画生成用のエリアに必要な容量を多くするだけで良く、ハードウエアの規模が増大しない利点がある。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の主要部のより詳細な構成を示すブロック図である。
【図３】この発明の一実施形態における前処理装置のフィルタの特性を示す略線図である。
【図４】この発明の一実施形態における通常画像のサイズの例を示す略線図である。
【図５】この発明の一実施形態における圧縮符号化の一例を説明するための略線図である。
【図６】この発明の一実施形態の概略的構成を示すブロック図である。
【図７】この発明の一実施形態におけるサムネール画像のサイズを説明するための略線図である。
【図８】この発明の一実施形態におけるサムネール画像生成処理を説明するためのブロック図である。
【図９】この発明の一実施形態におけるメモリ上のサムネール画像用フレーム配置を説明するための略線図である。
【図１０】この発明の一実施形態におけるサムネール画像生成のフレーム間隔を説明するための略線図である。
【図１１】この発明の一実施形態におけるサムネール動画像系列の構成を説明するための略線図である。
【図１２】この発明の一実施形態におけるサムネール画像生成処理を説明するためのフローチャートである。
【図１３】この発明の一実施形態におけるメモリ上のサムネール画像用フレーム配置を説明するための略線図である。
【図１４】この発明の一実施形態によって生成されたサムネール画像を再生するための構成例を示すブロック図である。
【符号の説明】
１・・・撮像装置、３・・・圧縮装置、５・・・記録媒体、６・・・圧縮制御装置、７・・・前処理装置、８・・・動きベクトル検出装置、９・・・符号化装置、２６・・・フレームメモリ読み出し処理部、２７・・・間引き処理部、２８・・・フレームメモリ書き込み処理部
【発明の属する技術分野】
この発明は、例えば撮影された動画像の画像信号を圧縮して記録媒体に記録する記録装置および記録方法に関する。
【０００２】
【従来の技術】
ディジタル静止画カメラにおいて、記録した画像の縮小画像（サムネール画像と称する）を生成し、インデックス用として記録することが知られている。静止画カメラの場合には、サムネール画像を生成するための処理を行う時間的余裕が十分にあった。また、テープを記録媒体とする動画カメラの場合では、一度テープに記録した動画像系列から再度、サムネール用の画像を生成することが可能である。しかしながら、テープのアクセス性の不便さから、サムネール画像を参照して所望の画像を検索することは、実用的とはいえない。
【０００３】
【発明が解決しようとする課題】
ところが、ディスク、半導体メモリを記録媒体とする動画カメラでは、その特徴であるランダム・アクセス性を十分に有効活用するためにも、記録した動画像系列の検索や頭出しが重要な機能になる。その際、各動画像系列の中身を素早くユーザーが知るためにも、サムネール動画像の生成が重要である。しかしながら、一度ディスク等に記録したデータから再度、サムネール用の画像を作り直す手法は、手間も時間もかかってしまう問題点があった。
【０００４】
したがって、この発明の目的は、動画撮影時に同時にサムネール画像を生成することによって、サムネール画像を生成するための手間と時間を省くことが可能とした画像記録装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、動画像を圧縮符号化して記録媒体に記録する画像記録装置において、
動きベクトルを検出するための入力画像が蓄えられる動きベクトル検出用メモリと、
メモリに蓄えられた画像を動きベクトルによって動き補償を行い、動き補償を行った画像と入力画像との差分を圧縮符号化する符号化手段と、
符号化手段により生成された圧縮符号化データを記録媒体に記録する記録手段と、
圧縮符号化データの記録媒体への記録と同時に、動きベクトル検出用メモリにアクセスして入力画像から複数の画像を一定間隔で抜き出し、抜き出した複数の画像からそれぞれ入力画像の縮小画像を生成する画像生成手段とを備え、
画像生成手段は、
動きベクトル検出用メモリ上に、縮小画像処理用のメモリエリアを確保し、
生成された縮小画像データをメモリエリアに格納し、
縮小画像データの容量が縮小画像処理用のメモリエリアの容量を超えた場合、偶数番目および奇数番目の一方に書いたデータの上に新しいデータを上書きし、
一連の入力画像に対する圧縮および記録処理の終了時に、メモリエリアから最初に偶数番目および奇数番目の他方に書いたデータを読み出し、次に、偶数番目および奇数番目の一方に書いたデータを読み出し、読み出した縮小画像を符号化手段により圧縮符号化した圧縮符号化データを、記録手段によって記録または送信するように制御することを特徴とする画像記録装置である。
【０００６】
請求項６の発明は、動画像を圧縮符号化して記録媒体に記録する画像記録方法において、
動きベクトルを検出するための入力画像を蓄える動きベクトル検出用メモリと、
メモリに蓄えられた画像を動きベクトルによって動き補償を行い、動き補償を行った画像と入力画像との差分を圧縮符号化するステップと、
生成された圧縮符号化データを記録媒体に記録するステップと、
圧縮符号化データの記録媒体への記録と同時に、動きベクトル検出用メモリにアクセスして入力画像から複数の画像を一定間隔で抜き出し、抜き出した複数の画像からそれぞれ入力画像の縮小画像を生成するステップとを備え、
縮小画像を生成するステップでは、
動きベクトル検出用メモリ上に、縮小画像処理用のメモリエリアを確保し、
生成された縮小画像データをメモリエリアに格納し、
縮小画像データの容量が縮小画像処理用のメモリエリアの容量を超えた場合、偶数番目および奇数番目の一方に書いたデータの上に新しいデータを上書きし、
一連の入力画像に対する圧縮および記録処理の終了時に、メモリエリアから最初に偶数番目および奇数番目の他方に書いたデータを読み出し、次に、偶数番目および奇数番目の一方に書いたデータを読み出し、読み出した縮小画像を圧縮符号化した圧縮符号化データを記録または送信することを特徴とする画像記録方法である。
【０００７】
この発明では、入力画像の圧縮および記録処理と同時に、入力画像系列から取り出した画像の縮小画像を自動的に生成することが可能になる。したがって、新たに縮小画像生成の手続きを後から取る必要がなくなり、後で再生する時、縮小画像の動画系列を参照することによって、容易に撮影内容の概要を把握することができる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。一実施形態は、動画像を撮影し、記録するカメラのような例において、圧縮符号化を施したデータを記録媒体に記録する画像圧縮システムの中に、サムネール画像生成機能を組み込むようにしたものである。
【０００９】
図１は、一実施形態の動画像圧縮記録装置全体の構成を示す。図１において、１がＣＣＤ等の撮像素子、レンズ等の光学系からなる撮像装置であり、２が撮像装置１によって撮影された画像信号をディジタル化するＡ／Ｄ変換器である。Ａ／Ｄ変換器２でディジタル化された画像信号が圧縮装置３に入力される。そして、圧縮装置３において画像信号が圧縮符号化され、ビットストリームが生成される。このビットストリームが書き込み装置４によって光ディスク、磁気ディスク、半導体メモリ等の記録媒体５に記録される。記録媒体５としては、ランダムアクセス性が優れたものが好ましい。また、圧縮制御装置６は、主に圧縮装置３との間でのエンコードパラメータのやり取りと、圧縮装置３内のフレームメモリとのアクセスによるサムネール画像生成と、書き込み装置４への記録の開始・停止等の制御を行う。
【００１０】
図１に示す構成例は、例えば蓄積媒体を使って記録再生するディジタルビデオカメラとしての応用を主に想定した場合に相当するものである。
【００１１】
図２は、図１中の圧縮装置３の一例の構成を示す。図１中のＡ／Ｄ変換器２から出力されるディジタル画像信号が圧縮装置３の入力として供給される。圧縮制御装置６との間で受け渡しされる符号化のためのパラメータに基づいて圧縮符号化されたビットストリームが圧縮装置３から出力される。加えて、圧縮制御装置６からフレームメモリに対してサムネール縮小画像生成のためのデータアクセスが行われる。圧縮装置３は、入力画像に対して適当な解像度・画素数変換を施す前処理装置７と、フレーム間の動き量を求める動きベクトル検出装置８と、符号化を行ってビットストリームを生成する符号化装置９とから構成される。
【００１２】
前処理装置７は、入力されるディジタル画像信号を圧縮制御装置６からの指令にしたがって、符号化する対象画像に適した解像度変換すなわち周波数特性変換を行うフィルタ演算器１０と、画素数変換すなわち標本化数変換を行う間引き処理器１１で構成される。前処理装置７での各種解像度・画素数変換の例としては、例えばディジタルフィルタを用いてそのフィルタ係数を変えることによって、周波数成分の通過域特性を制御して解像度変換を施したり、水平方向の画素を間引くことによって画素数変換を行う手法がある。
【００１３】
図３Ａは、フィルタ演算器１０の周波数特性の一例を示し、図３Ｂは、その他の例を示す。これらのフィルタ演算器１０は、前置フィルタとしてディジタル画像信号の帯域を制限する。図３において、周波数軸（横軸）は、ナイキスト周波数で正規化された正規化周波数を示す。図３Ａに示す周波数特性は、図３Ｂに示す周波数特性より広い通過帯域を有する。
【００１４】
フィルタ演算器１０の出力が間引き処理器１１に供給され、水平方向、垂直方向の画素数が間引かれ、通常サイズの画像が生成される。このように前処理された結果の画像信号が、動きベクトル検出装置８と符号化装置９へと供給される。図４Ａは、（水平方向の画素数×垂直方向のライン数）が（７０４×４８０）のサイズの画像を示す。図４Ｂが水平方向の画素数を３／４に変換した画像である。図４Ｃが水平方向の画素数を１／２に変換した画像である。これらの３種類の画像は、通常サイズとして取り扱うことが可能な画像であり、前処理装置７は、３種類の画像の内の一つを出力する。例えば図４Ｂの画素数の場合には、図３Ａに示すフィルタ特性が用いられ、図４Ｃの画素数の場合には、図３Ｂに示すフィルタ特性が用いられる。
【００１５】
動きベクトル検出装置８は、符号化対象画像を蓄えるフレームメモリ１２と順方向・逆方向のフレーム間の動きベクトル検出を行う動き検出器１３とで構成される。なお、フレームメモリ１２は、複数フレームの画像データを蓄えることができる容量を有し、通常の動画像圧縮のための画像データ（図４参照）に加え、サムネール画像のためのデータも同時にメモリ上の異なるエリアに蓄える構成とされている。つまり、フレームメモリ１２は、撮影中、逐次記録媒体に記録していく前の非圧縮状態の画像データを一旦蓄えるエリアと、後に述べるサムネール生成画像を一旦蓄えるエリアの両方を有する。
【００１６】
動きベクトル検出装置８では、各フレームの時間的並びにおいて順方向と逆方向に相当するフレーム間の各マクロブロック毎に対する動き量を求める。具体的には、ブロックマッチング法等を用いて最適な動きベクトル値を求める演算を行い、動きベクトル値を蓄えておく。
【００１７】
一般的にＭＰＥＧ(Moving Picture Experts Group)に代表される動画像圧縮システムでは、動きベクトルを求める際のフレーム間の動き予測方向によって、フレーム間符号化するフレームは、順方向のみの予測によるＰピクチャ(Predictive-coded picture ）と、順方向及び逆方向の両方向予測によるＢピクチャ(Bidirectionally predictive-coded picture ）に分けられ、フレーム内符号化するフレームはＩ(Intra-coded picture：イントラ符号化画像) ピクチャと呼ばれる。Ｂピクチャは、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００１８】
したがって、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Forward) フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００１９】
そして、ＭＰＥＧでは、ランダムアクセスを可能とするために、複数枚のピクチャのまとまりであるＧＯＰ(Group Of Picture)構造が規定されている。ＧＯＰに関するＭＰＥＧの規則では、第１にビットストリーム上で、ＧＯＰの最初がＩピクチャであること、第２に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャであることが規定されている。また、ＧＯＰとしては、以前のＧＯＰの最後のＩまたはＰピクチャからの予測を必要とする構造も許容されている。図５は、ＩおよびＰピクチャの周期をＭとし、ＧＯＰのピクチャ数をＮとすると、Ｍ＝３，Ｎ＝１５のＧＯＰの例を示す。
【００２０】
符号化装置９は、このようなＭＰＥＧの符号化を行う。符号化装置９は、離散コサイン変換ＤＣＴ器１４、量子化器１５、可変長符号化器１６を通して圧縮された画像信号のビットストリームを出力する。それと同時に量子化器１５の出力を、逆量子化器１７、逆ＤＣＴ器１８を通して画像データを復号し、既に再構築した参照フレームの画像データと足し合わせる加算器１９に供給し、加算器１９の出力をフレームメモリ２０に蓄える。
【００２１】
フレームメモリ２０の画像データに対して、動きベクトル検出装置８で得られた動きベクトルを用いて動き補償器２１で動き補償を行なう。再構築した画像データをフレーム間で符号化するモード時には、減算器２２で前処理装置７から入力される画像データとの引き算を行なう。すなわち、スイッチ２３は、ａ側に接続されている。また、フレーム内で符号化するモードの時は、スイッチ２３は、ｂ側に接続されている。そして、可変長符号化器１６から出力されるビットストリームは、バッファ２４を介して図１中の書き込み装置４へ出力される。また、量子化制御器２５は、量子化器１５で行なわれる量子化パラメータを制御することによって、ビットレートを制御する。この制御は、図１の圧縮制御装置６からの量子化に関する指令に基づいて、バッファ２４でのバッファ量を監視しながらなされる。
【００２２】
かかる符号化装置９は、動きベクトル検出装置８で得られた動きベクトル値を用いて動き補償を行ない、時間軸方向のデータの冗長度を削減し、かつＤＣＴによる空間軸方向から周波数軸方向への変換により冗長度を削減したデータに対して、周波数軸に対して重みづけを施した量子化を行なう。そして、可変長符号化を行なうことで、最終的なビットストリームを得るようにしている。
【００２３】
以上が通常の画像サイズの動画像系列に対する圧縮符号化処理の概要であるが、本実施形態は、一般的にＭＰＥＧに代表される上記処理に加えて、通常の圧縮符号化処理と同時にサムネール画像を生成し、生成したサムネール画像をフレームメモリに格納し、例えば撮影終了時に、生成したサムネール画像を動画系列として読み出し、読み出したサムネール動画系列を圧縮符号化し、圧縮符号化データを記録媒体５に記録するものである。圧縮符号化としては、例えば通常サイズの画像と同様にＭＰＥＧを使用できる。
【００２４】
本実施形態の動作の概要を図６を参照して説明する。動画像圧縮装置３によって撮影した動画像入力系列に対して、通常の画像サイズでの圧縮符号化を行った結果が記録媒体、例えば光ディスク５’に逐次書き込まれている。この基本動作と同時に、圧縮制御装置６が一定フレーム間隔で、入力画像が一旦蓄えられている動きベクトル検出装置８内のフレームメモリ１２、例えば半導体メモリの中から対象フレーム画像を１枚読み出す。読み出した対象フレーム画像に対してサムネール画像を生成し、生成したサムネール画像をフレームメモリ１２のサムネール画像専用のエリアに書き込む。これらの一連の動作が繰り返される。
【００２５】
以降の説明では、通常の圧縮符号化処理と同時に行うサムネール画像生成処理を中心として一実施形態の動作説明を行うことにする。一例として、１フレーム分の入力画像信号は、図４Ａに示すような水平方向に７０４画素、垂直方向に４８０ラインからなる。１フレームの画像を水平および垂直方向に１６画素づつ分割したマクロブロックは、水平方向に４４個、垂直方向に３０個、構成される。また、入力される動画像系列は１秒間に３０フレームであるとする。
【００２６】
この入力画像に対して図２中の前処理装置７で施される処理によって、動きベクトル検出装置８内のフレームメモリ１２に書き込まれる通常サイズの圧縮符号化対象画像データは、本例では、水平方向に間引きを行わない図４Ａに示すサイズ、図４Ｂに示す水平方向に３／４変換したサイズ、図４Ｃに示す水平方向に１／２変換したサイズの３種類を扱うことにする。
【００２７】
これらの通常画像サイズの画像に対して生成されるサムネール画像は、一律、水平方向に１７６画素、垂直方向に１２０ラインからなる。サムネール画像は、元の入力画像を水平および垂直方向にそれぞれ１／４のサイズに縮小したことに相当する。例えば、図４Ａに示す通常サイズの画像に対しては、図７Ａに示すように、水平方向には４画素毎に１画素をサブサンプリングし、垂直方向には４ライン毎に１ラインをサブサンプリングすることでサムネール画像が生成される。また、図４Ｂに示す通常サイズの画像に対しては、図７Ｂに示すように、水平方向には３画素毎に１画素をサブサンプリングし、垂直方向には４ライン毎に１ラインをサブサンプリングすることでサムネール画像が生成される。さらに、図４Ｃに示す通常サイズの画像に対しては、図７Ｃに示すように、水平方向には２画素毎に１画素をサブサンプリングし、垂直方向には４ライン毎に１ラインをサブサンプリングすることでサムネール画像が生成される。
【００２８】
このようなサムネール画像の生成は、図８に示すように、通常サイズ画像データを蓄えた図２中の動きベクトル検出装置８内のフレームメモリ１２にアクセスすることで行う。これを担うのが図１中の圧縮制御装置６である。圧縮制御装置６のサムネール画像生成処理に関する構成部分を図８に示す。この構成部分は、フレームメモリ読み出し処理部２６、間引き処理部２７およびフレームメモリ書き込み処理部２８で構成される。
【００２９】
撮影中、入力される動画像は、フレーム単位で、フレームメモリ１２中の通常画像のためのエリアとして用意した７フレーム分に順次格納され、通常サイズの圧縮符号化の対象として処理される。つまり、フレーム１〜フレーム７の７フレーム分のメモリエリアに、撮影中、入力画像順に巡回して各フレームの画像を上書きするように、一旦画像データをフレームメモリ１２内に取り込み、取り込まれた各フレームの画像を圧縮符号化する。
【００３０】
また、サムネール画像を生成するために、フレームメモリ読み出し処理部２６は、通常サイズ画像の系列から１フレームを一定フレーム間隔で読み出す。読み出したフレーム画像が間引き処理部２７に供給され、間引き処理部２７において、必要な水平および垂直方向の間引き処理がなされ、サムネール画像が生成される。サムネール画像は、フレームメモリ書き込み処理部２８によって、フレームメモリ１２中のサムネール画像用のメモリエリアに順次書き込まれる。
【００３１】
図８は、フレームメモリ１２中で、通常サイズの画像に換算して６フレーム分のエリアをサムネール画像用に使用する例を示す。この時、図７Ａに示したように、通常サイズの画像に対して、サムネール画像は、水平および垂直方向に１／４のサイズなので、水平・垂直方向にサムネール画像を４つずつ並べて書き込みことができる。すなわち、通常画像サイズで１フレーム分のエリアに合計１６フレーム分のサムネール画像を書き込むことができる。したがって、図９に示すように、フレームメモリ１２の６フレーム分のサムネール画像用エリアに、合計９６フレーム分のサムネール画像を蓄えられる。
【００３２】
次に、図１の圧縮制御装置６が司る、本実施形態で採用する一定フレーム間隔で入力画像の１フレームを抜き出してサムネール画像生成を行う動作について説明する。まず、本例では、サムネール画像用に用意しているフレームメモリのエリアに書き込める最大フレーム数（最大枚数）は、上述したように、９６枚である。そこで、図１０に示すように撮影開始フレームの先頭から一定フレーム間隔で、入力画像の中からサムネール画像を生成する対象フレームを抜き出す。
【００３３】
図１０では、１０フレーム毎に１枚のフレームを抜き出し、抜き出した各フレームからサムネール画像生成している例である。したがって、１秒間の３０フレームからは、３枚のフレーム画像が抜き取られる。このような例では、図１の圧縮制御装置６は、１０フレーム間隔でフレームメモリ１２内の通常サイズ画像データにアクセスしてサムネール画像を生成し、生成したサムネール画像を順にフレームメモリ１２内に格納する処理を行う。
【００３４】
撮影中、通常サイズの動画像を逐次、圧縮符号化して得られたビットストリームは、光ディスク５’等の記録媒体にリアルタイムに記録され、その過程で同時に生成されるサムネール画像は、撮影終了時にフレームメモリ１２内のサムネール画像エリアから読み出される。それによって、サムネール画像系列による撮影内容の一覧が可能になる。例えば、通常サイズの画像フレーム単位、すなわち、サムネール画像の１６枚単位を読み出すことによって内容の閲覧が可能となる。この場合の画像は、図９に示したような１６分割の画面の静止画として表示される。
【００３５】
この一実施形態は、サムネール画像による静止画の代わりに、動画系列を生成するようにしたものである。すなわち、撮影終了時にフレームメモリ１２内に蓄えられたサムネール画像の１枚ずつを、入力画像系列の中から抜き出した時間間隔で、且つ書き込んだ時間順に出力することによって動画系列を生成する。さらに、サムネール動画像系列を圧縮符号化することでサムネール動画のビットストリームを生成し、記録媒体に記録する。但し、撮影した本来の入力画像の時間変化と合わせるために、１秒間に３０フレームを表示する時に、抜き出したフレーム間隔に相当する１０フレーム分、１枚のサムネール画像の表示を繰り返すように、圧縮符号化する。
【００３６】
圧縮符号化を行う場合、１枚のサムネール画像を１０フレーム同じように、例えばＩピクチャとしてエンコードすることができる。その場合には、符号量が増大してしまう。そこで、図１１に示すように、１０フレーム毎に１フレームを抜き出してサムネール画像を生成した場合には、サムネール画像の１フレームをＩピクチャとして圧縮符号化し、それに続く９フレームの各フレームを、動きベクトルの値が全マクロブロックで０で、且つその動きベクトルによる順方向予測の差分値も全マクロブロックで０のＰピクチャに符号化する。それによって、９フレームの画像を直前のＩピクチャとして処理したフレームの画像と全く同じ画像とできる。すなわち、一種のフレームコピーを意図的に発生させることで符号量を最低限に抑える。この場合、ＩまたはＰピクチャの周期が（Ｍ＝１）で、ＧＯＰのピクチャ数が（Ｎ＝１０）のビットストリームが形成される。
【００３７】
このように形成されたサムネール画像の動画ストリームが記録媒体５または他の記録媒体に対して記録される。この例の場合では、通常の画像に比べフレームレート（１秒間のフレーム枚数）を落とすだけで、ある程度スムーズな動きを実現することに、サムネール画像による動画系列を生成することができる。
【００３８】
さらに、この一実施形態における圧縮制御装置６（図１）の動作の一例について説明する。一例として、１回の撮影中に、入力画像を一定間隔で抜き出し、動画サムネールを生成するための処理について説明する。
【００３９】
図１２は、圧縮制御装置６の動作を示すフローチャートである。まず、最初に撮影開始、つまりエンコード圧縮符号化処理が開始されると、ステップＳ１では、逐次入力される動画像系列の通常サイズ画像のエンコードが行われ、圧縮符号化された結果のビットストリームが光ディスク等の記録媒体に記録される。この通常の圧縮符号化処理と同時に行われるサムネール画像生成処理は、エンコードが終了するまで行われる。終了するかどうかの判定のステップＳ２において、まだ終了でないと決定される時には、入力画像のフレーム数のカウントを行う（ステップＳ３）。
【００４０】
ステップＳ３に続いて、現在の処理フレームが、撮影開始フレームを含んで、開始フレームからの一定フレーム間隔周期のフレームであるかどうかが判定される（ステップＳ４）。ここで、一定間隔のフレームと判定された場合には、ステップＳ５において、そのフレームに対してサムネール画像を生成する。そうでなかった場合には無処理でステップＳ１に戻る。
【００４１】
そして、撮影終了となり、ステップＳ２において、通常画像サイズのエンコード処理が終了したと判定したら、ステップＳ６の処理がなされる。ステップＳ６では、上述したように、フレームメモリ１２内のサムネール画像エリアに書いたサムネール画像を、フレーム単位で切り出して、一つのサムネール動画像系列としてエンコードし、その結果のビットストリームを光ディスク等の記録媒体に記録する。そのサムネール画像のビットストリームの記録が終了した時点で、全ての動作も終了となる。
【００４２】
以上の動作によるサムネール画像生成は、撮影開始フレームを含み、開始フレームから１０フレーム間隔毎に１枚のサムネール画像を生成する、図１０に示すような入力画像との関係にあり、圧縮符号化して記録媒体に書かかれたビットストリームは、伸張復号化した時点では図１１に示すような動画像系列として表される。
【００４３】
このように、この発明の一実施形態では、以上の処理を図１の圧縮制御装置６で行うことで、通常の動画像を圧縮符号化して光ディスク等の記録媒体に逐次ビットストリームを記録しながら、同時にサムネール画像をフレームメモリ内に蓄えておき、撮影が終了した時点で、今度はサムネール画像を圧縮符号化してそのビットストリームを記録媒体に記録するようになされる。
【００４４】
次に、一実施形態のように圧縮装置３内に存在するフレームメモリ１２に蓄えることができるサムネール画像のフレーム枚数が有限である場合には、１回の撮影時間が長いと、サムネール画像のフレーム数が最大サムネール枚数を越えるような場合が生じる。
【００４５】
このような場合に対して何も対処しない場合には、１回の撮影でサムネール画像の蓄えられるフレームメモリ１２内のエリアが満杯になった時点で、サムネール画像の生成とそのフレームメモリへの書き込みを強制的に中止させる制御を行う。これは、一番容易な処理ではあるが、後で撮影した内容を閲覧する目的では、撮影中の途中までしかサムネール画像が存在しないことになる。
【００４６】
そこで、次に述べるような手法がより好ましい。それは、撮影中に生成されたサムネール画像の枚数が最大サムネール画像の枚数を越えた場合、図１３に示すような順序１〜９６で一度書き込んだサムネール画像の上に、新たなサムネール画像を上書きする。上書きされるフレームを図１３では、斜線を付して示す。但し、その場合の上書きは、常にフレームメモリ１２上のサムネール画像系列に対して、当初、偶数フレーム番目に書き込んだサムネール画像のエリアに対してのみ行うようになされる。
【００４７】
つまり、図１３に示すようなフレームメモリ１２上に書かれるサムネール画像のマップに対して、サムネール動画像系列の並びは、最初に書き込んだ奇数フレーム番目を順に読み出し、フレームメモリ１２上の最後のサムネール画像に達したら、こんどは２度目に書き換えた偶数フレーム目のサムネール画像を順に読み出すことで、約２倍の撮影時間ぶんの動画サムネール系列を作ることが可能になる。この場合、生成されるサムネール画像のフレーム間隔が倍の時間になり、内容閲覧の密度が下がるが、１回の撮影中のサムネール内容を撮影終了まで用意することができる。
【００４８】
上述したように生成されたサムネール画像を再生するための構成例を図１４に示す。通常サイズの画像およびサムネール画像は、一般的なＭＰＥＧシステムでの再生系に相当する。記録媒体５からビットストリームを読み取り装置３１によって読み取り、読み取ったビットストリームを復号化装置３２で復号化し、後処理装置３３を介することによって画像信号を生成する。画像信号は、Ｄ／Ａ変換器３４によりアナログ画像信号へ変換され、表示装置３５にて表示される。
【００４９】
復号化装置３２は、破線で囲んで示すように、読み取り装置３１からのビットストリームがバッファ４１に供給される。バッファ４１の出力が可変長符号の復号化器４２に供給され、可変長符号の復号処理がなされる。可変長復号化器４２の出力が逆量子化器４３に供給され、記録時の量子化処理と逆の処理がなされる。逆量子化器４３の出力が加算器４５に供給される。加算器４５の出力に復号された画像信号が取り出される。
【００５０】
加算器４５からの復号出力がフレームメモリ４６および動き補償器４７に供給される。フレームメモリ４６は、復号した画像信号を一旦蓄積する。動き補償器４７は、可変長復号化器４２において分離された動きベクトルを用いて動き補償を行う。動き補償器４７の出力が前フレームの復号画像信号であり、復号画像信号が加算器４５に供給され、逆ＤＣＴ器３４の出力と加算される。
【００５１】
加算器４５からの復号画像信号が後処理装置３３の補間処理器４８に供給される。補間処理器４８に対してフィルタ演算器４９が接続される。後処理装置３３は、記録時の前処理と逆の処理を行い、元の画素数の復号画像が後処理装置３３からＤ／Ａ変換器３４に供給される。
【００５２】
この発明によって生成されたサムネール動画像系列は、図１１に示し、上述したようなフレーム間隔でもってＭＰＥＧ圧縮されている。したがって、伸張処理中のＭＰＥＧ復号は、通常サイズの画像と同じ処理でなされる。復号されたサムネール動画像系列をどのように表示するかは、機器の構成によっていくつかの方法を採用できる。
【００５３】
一つの方法は、サムネール画像の縮小されたサイズのままで、ＣＲＴモニタ、フラットディスプレイ等の表示装置３５に動画として表示するものである。他の方法は、サムネール画像を拡大して画面全体に表示するものである。拡大して表示する方法は、解像度が低い問題があるので、縮小されたサイズ（小画面）の動画として表示する方法が主たるものである。しかしながら、ビデオカメラに付属している液晶モニタ程度の表示画面の大きさであれば、拡大したサムネール画像を表示することも可能である。
【００５４】
さらに、図９に示すような分割表示も可能である。その場合には、サムネール動画像系列のＭＰＥＧ圧縮データを伸張して表示する仕組みが通常サイズの画像の復号・表示と多少相違する。復号過程において、ＭＰＥＧデータの中からＩピクチャのみを抜き出して画面分割位置に表示する処理が必要となる。Ｐピクチャとした部分は、表示上ではカットする。
【００５５】
なお、上述した一実施形態では、フレームメモリ１２上に逐次、未圧縮状態のサムネール画像を生成し、通常の画像サイズによる撮影が終了してから、サムネール画像についての圧縮符号化と記録媒体への記録を行っているが、サムネール画像生成とその圧縮符号化も含めた処理速度が十分に得られるシステムにおいては、１回の撮影において通常画像サイズの撮影と同時に、サムネール画像を圧縮符号化し、得られた圧縮符号化データ（ビットストリーム）をフレームメモリ１２上に蓄えておき、通常の撮影終了時にフレームメモリ１２から圧縮符号化データを読み出し、記録媒体に記録しても良い。
【００５６】
また、サムネール画像生成とその圧縮符号化に加え、記録媒体への記録も含めた処理速度が得られるシステムにおいては、通常画像サイズの撮影と同時に、サムネール画像を圧縮符号化し、得られたビットストリーム圧縮状態を記録媒体に記録しても良い。
【００５７】
なお、一実施形態では、サムネール画像のサイズを、本来の入力画像の水平・垂直方向にそれぞれ１／４にしたものを扱っているが、このサイズに限る必要はなく、撮影動画像系列の内容を閲覧するのに適した小さなサイズであることに意味がある。また、サムネール画像の生成を、水平および垂直方向の処理を簡易にするため、画素及びラインの単純間引き処理だけで行っているが、一実施形態における前処理装置７のようにデジタルフィルタによる周波数特性の変換と併用した間引き処理を行って、より高度なサムネール画像生成を行うことも可能である。
【００５８】
さらに、一実施形態では、一定フレーム間隔毎のサムネール画像の生成において、そのフレーム間隔を１０フレームとして説明しているが、この値に限る必要はない。
【００５９】
よりさらに、一実施形態では、サムネール画像を蓄えるものとして、一般にＭＰＥＧ等に代表される動画像圧縮装置内に必ず含まれるフレームメモリ上に、通常の画像サイズの格納エリア以外にサムネール画像専用のエリアを用意することで実現しているが、圧縮装置内のメモリとは限らず、外部の半導体メモリ等の記録媒体上に蓄えても同様である。
【００６０】
本実施形態で、圧縮装置内に存在するフレームメモリ１２として、汎用の６４Ｍｂｉｔの記憶容量を持つＤＲＡＭを採用して、入力画像（７０４画素、４８０ライン）の７フレーム分を通常サイズの動画像圧縮符号化のための最低限必要なフレーム枚数として使った場合、残りのメモリ上に上述のサイズ（１７６画素、１２０ライン）のサムネール画像用として最大限確保できる総サムネール画像フレーム数は、約１４０フレーム程度になる。
【００６１】
本実施形態では、通常画像サイズの圧縮符号化したビットストリームのデータも、サムネール画像を圧縮符号化したビットストリームの両者を光ディスク等の記録媒体に記録しているが、サムネール画像の圧縮したデータについてはデータ量が少ないので、インターネット等の通信回線に直接送信することもできる。つまり、高画質な映像は光ディスク等の記録媒体に記録しつつ、サムネール画像のようなサイズの小さい画像は通信用に送出することも可能である。
【００６２】
【発明の効果】
以上の説明から明らかなように、この発明によれば、通常の動画像カメラの記録媒体への記録と同時に、その画像系列から抽出したサムネール画像を自動的に生成することが可能になる。すなわち、ユーザから見れば、通常のビデオ撮影をしていると、その一回の撮影が終了するのと殆ど同時に、そのショットの概要となるサムネール画像による動画像系列が作成できていることになる。したがって、新たにサムネール生成の手続きを後から取る必要がなくなり、後で再生する時、サムネール動画系列を参照することによって、容易に撮影内容の概要を把握することができる。
【００６３】
また、この発明によって自動的に生成されたサムネール動画像は、記録媒体に記録する通常の画像サイズのデータよりもデータ量が少ないので、そのままインターネット等の通信媒体上に、例えばビデオメールのような応用の形で送ることもできる。
【００６４】
さらに、この発明を実現するのに、通常の動画エンコードに不可欠なメモリの容量に対してサムネール動画生成用のエリアに必要な容量を多くするだけで良く、ハードウエアの規模が増大しない利点がある。
【図面の簡単な説明】
【図１】この発明の一実施形態のブロック図である。
【図２】この発明の一実施形態の主要部のより詳細な構成を示すブロック図である。
【図３】この発明の一実施形態における前処理装置のフィルタの特性を示す略線図である。
【図４】この発明の一実施形態における通常画像のサイズの例を示す略線図である。
【図５】この発明の一実施形態における圧縮符号化の一例を説明するための略線図である。
【図６】この発明の一実施形態の概略的構成を示すブロック図である。
【図７】この発明の一実施形態におけるサムネール画像のサイズを説明するための略線図である。
【図８】この発明の一実施形態におけるサムネール画像生成処理を説明するためのブロック図である。
【図９】この発明の一実施形態におけるメモリ上のサムネール画像用フレーム配置を説明するための略線図である。
【図１０】この発明の一実施形態におけるサムネール画像生成のフレーム間隔を説明するための略線図である。
【図１１】この発明の一実施形態におけるサムネール動画像系列の構成を説明するための略線図である。
【図１２】この発明の一実施形態におけるサムネール画像生成処理を説明するためのフローチャートである。
【図１３】この発明の一実施形態におけるメモリ上のサムネール画像用フレーム配置を説明するための略線図である。
【図１４】この発明の一実施形態によって生成されたサムネール画像を再生するための構成例を示すブロック図である。
【符号の説明】
１・・・撮像装置、３・・・圧縮装置、５・・・記録媒体、６・・・圧縮制御装置、７・・・前処理装置、８・・・動きベクトル検出装置、９・・・符号化装置、２６・・・フレームメモリ読み出し処理部、２７・・・間引き処理部、２８・・・フレームメモリ書き込み処理部
Claims (6)
- 動画像を圧縮符号化して記録媒体に記録する画像記録装置において、
動きベクトルを検出するための入力画像が蓄えられる動きベクトル検出用メモリと、
メモリに蓄えられた画像を上記動きベクトルによって動き補償を行い、動き補償を行った画像と上記入力画像との差分を圧縮符号化する符号化手段と、
上記符号化手段により生成された圧縮符号化データを記録媒体に記録する記録手段と、
上記圧縮符号化データの記録媒体への記録と同時に、上記動きベクトル検出用メモリにアクセスして上記入力画像から複数の画像を一定間隔で抜き出し、抜き出した複数の画像からそれぞれ上記入力画像の縮小画像を生成する画像生成手段とを備え、
上記画像生成手段は、
上記動きベクトル検出用メモリ上に、上記縮小画像処理用のメモリエリアを確保し、
生成された上記縮小画像データを上記メモリエリアに格納し、
上記縮小画像データの容量が上記縮小画像処理用のメモリエリアの容量を超えた場合、偶数番目および奇数番目の一方に書いたデータの上に新しいデータを上書きし、
一連の入力画像に対する圧縮および記録処理の終了時に、上記メモリエリアから最初に偶数番目および奇数番目の他方に書いたデータを読み出し、次に、偶数番目および奇数番目の一方に書いたデータを読み出し、読み出した上記縮小画像を上記符号化手段により圧縮符号化した圧縮符号化データを、上記記録手段によって記録または送信するように制御することを特徴とする画像記録装置。 - 請求項１において、
さらに、撮影手段を有し、上記撮影手段によって撮影された画像が入力されることを特徴とする画像記録装置。 - 請求項１において、
上記縮小画像の圧縮符号化データを上記記録媒体または他の記録媒体に記録することを特徴とする画像記録装置。 - 請求項１において、
上記縮小画像の圧縮符号化データを通信媒体を使用して送信することを特徴とする画像記録装置。 - 請求項１において、
上記画像生成手段が動画像の圧縮および記録処理を開始する時の先頭の１枚の画像から上記縮小画像を生成することを特徴とする画像記録装置。 - 動画像を圧縮符号化して記録媒体に記録する画像記録方法において、
動きベクトルを検出するための入力画像を蓄える動きベクトル検出用メモリと、
上記メモリに蓄えられた画像を上記動きベクトルによって動き補償を行い、動き補償を行った画像と上記入力画像との差分を圧縮符号化するステップと、
生成された圧縮符号化データを記録媒体に記録するステップと、
上記圧縮符号化データの記録媒体への記録と同時に、上記動きベクトル検出用メモリにアクセスして上記入力画像から複数の画像を一定間隔で抜き出し、抜き出した複数の画像からそれぞれ上記入力画像の縮小画像を生成するステップとを備え、
上記縮小画像を生成するステップでは、
上記動きベクトル検出用メモリ上に、上記縮小画像処理用のメモリエリアを確保し、
生成された上記縮小画像データを上記メモリエリアに格納し、
上記縮小画像データの容量が上記縮小画像処理用のメモリエリアの容量を超えた場合、偶数番目および奇数番目の一方に書いたデータの上に新しいデータを上書きし、
一連の入力画像に対する圧縮および記録処理の終了時に、上記メモリエリアから最初に偶数番目および奇数番目の他方に書いたデータを読み出し、次に、偶数番目および奇数番目の一方に書いたデータを読み出し、読み出した上記縮小画像を圧縮符号化した圧縮符号化データを記録または送信することを特徴とする画像記録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34208299A JP4103276B2 (ja) | 1999-12-01 | 1999-12-01 | 画像記録装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34208299A JP4103276B2 (ja) | 1999-12-01 | 1999-12-01 | 画像記録装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001160947A JP2001160947A (ja) | 2001-06-12 |
| JP4103276B2 true JP4103276B2 (ja) | 2008-06-18 |
Family
ID=18351027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34208299A Expired - Fee Related JP4103276B2 (ja) | 1999-12-01 | 1999-12-01 | 画像記録装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4103276B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8271336B2 (en) | 1999-11-22 | 2012-09-18 | Accenture Global Services Gmbh | Increased visibility during order management in a network-based supply chain environment |
| JP4221669B2 (ja) * | 2004-09-06 | 2009-02-12 | ソニー株式会社 | 記録装置および方法、記録媒体、並びにプログラム |
| JP4586684B2 (ja) | 2005-08-31 | 2010-11-24 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4600762B2 (ja) | 2005-08-31 | 2010-12-15 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP5063098B2 (ja) * | 2006-12-12 | 2012-10-31 | ヤフー株式会社 | 情報提供装置、情報提供方法、及びコンピュータプログラム |
| JP4869174B2 (ja) * | 2007-07-31 | 2012-02-08 | キヤノン株式会社 | 記録再生装置及び記録再生方法 |
-
1999
- 1999-12-01 JP JP34208299A patent/JP4103276B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001160947A (ja) | 2001-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4051841B2 (ja) | 画像記録装置および方法 | |
| JP4123567B2 (ja) | 画像信号処理装置及び方法 | |
| KR100812907B1 (ko) | 디지털 카메라와, 그것에 이용 가능한 메모리 제어 장치,화상 처리 장치 및 화상 처리 방법 | |
| JP3787398B2 (ja) | 画像処理装置及びその方法 | |
| US7583302B2 (en) | Image processing device having blur correction function | |
| JP2006253768A (ja) | デジタルカメラ | |
| JP5496047B2 (ja) | 画像再生方法、画像再生装置、画像再生プログラム、撮像システム、および再生システム | |
| JP3592025B2 (ja) | 撮影画像記録装置 | |
| JP3221785B2 (ja) | 撮像装置 | |
| JP2012085001A5 (ja) | ||
| JP4103276B2 (ja) | 画像記録装置および方法 | |
| JPH08154230A (ja) | 動画符号化データの媒体蓄積方法 | |
| JP2005341382A (ja) | 画像処理装置，撮像装置，コンピュータプログラムおよび画像処理方法 | |
| JPH10276402A (ja) | 画像記録装置 | |
| JP4605183B2 (ja) | 画像信号処理装置及び方法 | |
| JP3902824B2 (ja) | 画像処理装置及び方法 | |
| JP2004180345A (ja) | 撮影画像記録装置 | |
| JP2000138941A (ja) | 符号化装置、カメラ装置および記録方法 | |
| JP3829312B2 (ja) | 画像記録装置および方法、並びに画像処理装置および方法 | |
| JP3964563B2 (ja) | ビデオサーバ装置 | |
| JP4359966B2 (ja) | 画像信号符号化装置、カメラ装置および記録方法 | |
| WO1999067947A1 (en) | Image sensing/storing method and image sensing device | |
| JP2006166255A (ja) | 画像符号化装置、撮像装置、画像記録方法、画像記録装置、画像記録媒体及び画像再生装置 | |
| JPH08130715A (ja) | 画像再生装置 | |
| JPH0865565A (ja) | 撮像記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070821 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071022 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080115 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |