JP4483483B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4483483B2
JP4483483B2 JP2004252451A JP2004252451A JP4483483B2 JP 4483483 B2 JP4483483 B2 JP 4483483B2 JP 2004252451 A JP2004252451 A JP 2004252451A JP 2004252451 A JP2004252451 A JP 2004252451A JP 4483483 B2 JP4483483 B2 JP 4483483B2
Authority
JP
Japan
Prior art keywords
resolution
frame
distribution information
imaging
vector distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004252451A
Other languages
English (en)
Other versions
JP2006074180A (ja
Inventor
務 西澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004252451A priority Critical patent/JP4483483B2/ja
Priority to US11/182,754 priority patent/US7701485B2/en
Priority to DE200560013163 priority patent/DE602005013163D1/de
Priority to EP20050015918 priority patent/EP1631055B1/en
Publication of JP2006074180A publication Critical patent/JP2006074180A/ja
Application granted granted Critical
Publication of JP4483483B2 publication Critical patent/JP4483483B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、被写体の動画撮影を行う撮像装置に関する。
動画撮影を行う撮像装置では、記録時のデータ量を減らすために、撮像素子から順に出力される多数のフレームを様々な方法で圧縮する。圧縮処理を行う内部回路は、同一解像度のフレームを一定時間間隔で取り込み、フレーム内圧縮やフレーム間圧縮の処理を順に施す（例えば特許文献１を参照）。
特開平９−２３４０５号公報
しかしながら、上記の撮像装置では、同一解像度のフレームを取り込んで圧縮処理を行うため、高精細な動画像を得るために記録解像度を高めようとすると、各フレームの解像度を高めることになり、圧縮処理の最中に取り扱うデータ量が増大して処理速度が遅くなってしまい、結果として撮像フレームレートが遅くなってしまう。
本発明の目的は、圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる撮像装置を提供することにある。
請求項１に記載の撮像装置は、被写体像を撮像して第１解像度のフレームを第１時間間隔で出力する第１撮像手段と、前記被写体像を撮像して前記第１解像度より高い第２解像度のフレームを前記第１時間間隔より長い第２時間間隔で出力する第２撮像手段と、前記第１撮像手段から出力される各フレームを複数の小ブロックに分割し、隣り合うフレーム間の各々の小ブロックごとに動きベクトルを検出し、該小ブロックごとの動きベクトルを前記第１解像度のベクトル分布情報として出力する検出手段と、前記第１解像度のベクトル分布情報の各々の小ブロックごとに変換処理を行うと共に、任意の１つの小ブロックに注目する際、該注目ブロックの前記動きベクトルに該注目ブロックの周囲ブロックの前記動きベクトルを加味することで、前記第１解像度のベクトル分布情報を前記第２解像度のベクトル分布情報に変換する変換手段と、前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとを、記録媒体に記録する記録手段とを備えたものである。
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記第１解像度のベクトル分布情報を用いた動き補償後の予測フレームと前記第１撮像手段から出力されるフレームとの差分フレームを生成する生成手段をさらに備え、前記変換手段は、前記ベクトル分布情報の解像度を変換する処理に加えて、前記生成手段により生成された前記第１解像度の前記差分フレームを前記第２解像度の差分フレームに変換する処理も行い、前記記録手段は、前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとに加えて、前記第２解像度の差分フレームも、前記記録媒体に記録するものである。
請求項３に記載の発明は、請求項１に記載の撮像装置において、前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームとをＭＰＥＧ方式で符号化して記録するものである。
ことを特徴とする撮像装置。
請求項４に記載の発明は、請求項２に記載の撮像装置において、前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームと前記第２解像度の差分フレームとをＭＰＥＧ方式で符号化して記録するものである。
請求項５に記載の発明は、請求項１に記載の撮像装置において、前記第１撮像手段は、ＡＥ用および/またはＡＦ用の検知手段と兼用であり、前記第２撮像手段は、静止画撮影用の撮像手段と兼用である。
本発明の撮像装置によれば、フレームレートを低下させることなく、圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる。
以下、図面を用いて本発明の実施形態を詳細に説明する。
本実施形態の撮像装置１０には、図１に示す通り、２つの撮像素子１１,１２が設けられる。撮像素子１１,１２は、例えばＣＣＤ撮像素子である。被写体からの光は、撮影レンズ１３を介して撮像装置１０の内部に入射し、ハーフミラー１４を介して２方向に光路分割された後、一方の透過光がそのまま撮像素子１２に入射すると共に、他方の反射光がミラー１５と補正レンズ１６とを介して撮像素子１１に入射する。撮像素子１１,１２の撮像面には、各々、被写体像が形成される。補正レンズ１６は、撮像素子１１,１２のサイズの違いを補正すると共に、撮影レンズ１３から撮像素子１１,１２までの光路長の違いを補正するための光学系である。
ここで、図２を用いて２つの撮像素子１１,１２の特性（連写速度と解像度）の違いを説明する。
撮像素子１１は、低解像度で高速読み出し可能(例えば秒30コマ)な構成であり、例えば水平方向の有効画素数Ｘ1＝640個,垂直方向の有効画素数Ｙ1＝480個である。撮像素子１１は、その撮像面に形成された被写体像を撮像し、有効画素数Ｘ1,Ｙ1に応じた低解像度のフレームＦ1を時間間隔Ｔ1＝1/30秒で繰り返し出力する。その時間間隔Ｔ1＝1/30秒は、動画撮影に必要な連写速度を満足している。
撮像素子１２は、高解像度で低速読み出し可能(例えば秒６コマ)な構成であり、例えば水平方向の有効画素数Ｘ2＝1280個,垂直方向の有効画素数Ｙ2＝960個である。撮像素子１２は、その撮像面に形成された被写体像を撮像し、有効画素数Ｘ2,Ｙ2に応じた高解像度のフレームＦ2を時間間隔Ｔ2＝1/６秒で繰り返し出力する。その時間間隔Ｔ2＝1/６秒は、動画撮影に必要な連写速度より低速である。
本実施形態では、低解像度の撮像素子１１から５枚のフレームＦ1が出力されるごとに、高解像度の撮像素子１２から１枚のフレームＦ2が出力される。また、高解像度のフレームＦ2が出力されるタイミングで、同時に低解像度のフレームＦ1が出力される。このため、２つの撮像素子１１,１２から出力されるフレームＦ1,Ｆ2を時系列の順に並べると、図３のようになる。時刻ｔ1ではフレームＦ1,Ｆ2が同時に出力され、時刻ｔ2〜ｔ5では低解像度のフレームＦ1のみ出力され、時刻ｔ6では再びフレームＦ1,Ｆ2が同時に出力される。ちなみに、同時刻に出力されたフレームＦ1,Ｆ2には同じ被写体が写り込んでいる。
さらに、本実施形態では、低解像度のフレームＦ1の水平方向の有効画素数Ｘ1＝640個の２倍が、高解像度のフレームＦ2の水平方向の有効画素数Ｘ2＝1280個に相当し、かつ、低解像度のフレームＦ1の垂直方向の有効画素数Ｙ1＝480個の２倍が、高解像度のフレームＦ2の垂直方向の有効画素数Ｙ2＝960個に相当する。このため、図４(ａ),(ｂ)に示す通り、低解像度のフレームＦ1の１画素（図中太実線枠）が、高解像度のフレームＦ2の４画素（図中太実線枠）に対応することになる。なお、高解像度のフレームＦ2の１画素は、点ハッチング領域に相当する。
本実施形態の撮像装置１０には、上記のような特性の異なるの２つの撮像素子１１,１２が設けられる他、図１に示すＡ/Ｄ変換部１７,１８とデータ処理部１９と圧縮部２０と記録部２１とが設けられる。さらに、データ処理部１９は、動き検出部９Ａと解像度変換部９Ｂとで構成される。また、撮像装置１０には、記録部２１を介して外部記憶媒体２２が装着される。外部記憶媒体２２は、撮像装置１０ら取り外し可能なメモリカードなどである。
撮像装置１０の内部回路(１７〜２１)には、撮像素子１１,１２から解像度の異なる２種類のフレーム（つまり低解像度のフレームＦ1と高解像度のフレームＦ2）が取り込まれる。撮像素子１１,１２からのフレームＦ1,Ｆ2は、各々、Ａ/Ｄ変換部１７,１８を介してアナログ信号からデジタル信号に変換され、データ処理部１９,圧縮部２０に出力される。撮像装置１０では、データ処理部１９,圧縮部２０によって所定のデータ処理を行い、外部記憶媒体２２への記録時のデータ量を減らすようにしている。
圧縮部２０におけるデータ処理は、フレーム内圧縮処理である。圧縮部２０は、一定の時間間隔Ｔ2＝1/６秒ごとに高解像度のフレームＦ2を取り込み、フレーム内圧縮の処理を行ったのち、ＭＰＥＧ方式（例えばＭＰＥＧ２など）のＩピクチャ(Intra-Picture)用のデータとして記録部２１に出力する。
一方、データ処理部１９におけるデータ処理は、フレーム間演算処理である。データ処理部１９は、一定の時間間隔Ｔ1＝1/30秒ごとに低解像度の各フレームＦ1を取り込み、フレーム間演算処理を行ったのち、ＭＰＥＧ方式のＰピクチャ(Predictive-Picture)またはＢピクチャ(Bidirectionally predictive-Picture)用のデータ作成のための動きベクトル情報を記録部２１に出力する。
具体的に説明すると、データ処理部１９の動き検出部９Ａでは、低解像度の各フレームＦ1を図５に示すような複数の小ブロック３１に分割する。各々の小ブロック３１には複数の画素が含まれる。そして、各々の小ブロック３１ごとに、隣り合うフレーム間（例えば図３の時刻ｔ1のフレームＦ1と時刻ｔ2のフレームＦ1との間）での動きベクトルＭ1,Ｍ2,…,ＭNを検出する。
これらの動きベクトルＭ1,Ｍ2,…,ＭNは、低解像度のフレームＦ1における小ブロック３１の位置情報と関連づけられている。動き検出部９Ａは、各々の小ブロック３１ごとに動きベクトルＭ1,Ｍ2,…,ＭNを検出し終えると、この動きベクトルＭ1,Ｍ2,…,ＭNを低解像度のベクトル分布情報(図５)として解像度変換部９Ｂに出力する。このような動き検出の処理は、一定の時間間隔Ｔ1＝1/30秒ごとに行われる。
解像度変換部９Ｂは、動き検出部９Ａから入力した低解像度のベクトル分布情報(図５)を高解像度のベクトル分布情報(図６)に変換する処理を行う。高解像度のベクトル分布情報(図６)は、高解像度のフレームＦ2における小ブロック３２の位置情報と、各々の小ブロック３２ごとの動きベクトルＭ1,Ｍ2,…,ＭNとを関連づけたものである。
本実施形態では、高解像度のフレームＦ2における小ブロック３２が、低解像度のフレームＦ1における小ブロック３１と同じ画素数であるとする。この場合、図４の画素対応と同様、低解像度のフレームＦ1における１つの小ブロック３１が、高解像度のフレームＦ2における４個の小ブロック３２に対応することになる。
解像度変換の処理は、低解像度のベクトル分布情報(図５)の各々の小ブロック３１ごとに行われる。例えば図７に示すように、低解像度のフレームＦ1における位置(ｉ,ｊ)の小ブロック３１の動きベクトルＭKに注目する際、その動きベクトルＭKを高解像度のフレームＦ2における同じ位置(ｉ,ｊ)の４個の小ブロック３２に適応させる。なお、ここでは、高解像度のフレームＦ2における座標位置は、縦横各々２ブロックの４つの小ブロック（低解像度のフレームＦ1における小ブロック）を単位として表記している。つまり、４個の小ブロック３２に対して、小ブロック３１と同じ動きベクトルＭKを割り当てる。
同様の変換処理を低解像度のベクトル分布情報(図５)の各々の動きベクトルＭ1,Ｍ2,…,ＭNについて行うことで、図６に示す高解像度のベクトル分布情報を生成することができる。解像度変換部９Ｂは、高解像度のベクトル分布情報(図６)を生成し終えると、これを記録部２１に出力する。このような解像度変換の処理も、一定の時間間隔Ｔ1＝1/30秒ごとに行われる。
記録部２１には、データ処理部１９（つまり動き検出部９Ａと解像度変換部９Ｂ）を介して一定の時間間隔Ｔ1＝1/30秒ごとに高解像度のベクトル分布情報(図６)が入力されると共に、圧縮部２０を介して一定の時間間隔Ｔ2＝1/６秒ごとに高解像度のフレームＦ2が入力される。そして記録部２１は、高解像度のベクトル分布情報(図６)と高解像度のフレームＦ2のデータとを用いてＭＰＥＧ方式で符号化して外部記憶媒体２２に記録する。
ＭＰＥＧ方式においては、以下のように、Ｉピクチャ、Ｐピクチャ、ＢピクチャからなるＧＯＰ（Group of Pictures）を１つの単位として圧縮処理が施される。
ここで、Ｉピクチャは、前後の予測を用いずに、フレーム内符号化が施されるフレームである。撮影している被写体がある程度の動きを伴う場合、画像の動き領域について、算出された動きベクトル分だけずらして、次フレームの画像として予測する、いわゆる動き補償フレーム間予測が行われる。Ｐピクチャにおいては、過去の画像と、算出された動きベクトルを用いて、予測画像が生成される。Ｂピクチャにおいては、時間的に前後両方向の画像と、算出された動きベクトルを用いて、予測画像が生成される。
本実施形態においては、撮像素子１２によりＩピクチャに相当する画像データが得られる。さらに、撮像素子１１による画像データから動きベクトルが算出される。このようにして得られた動きベクトルを用いて、撮像素子１２より得られた高解像度画像データに対して動き補償フレーム間予測を施すことで、Ｐピクチャ、Ｂピクチャに相当する画像を得ることができる。すなわち、撮像素子１２より得られた高解像度画像圧縮データと、撮像素子１１による画像データから算出された動きベクトルとを記録しておけば、Ｉピクチャに相当する画像と、Ｐピクチャ、Ｂピクチャに相当する画像を再生することができる。
上記のように、本実施形態の撮像装置１０では、撮像素子１１,１２から解像度の異なる２種類のフレーム（つまり低解像度のフレームＦ1と高解像度のフレームＦ2）を取り込み、データ処理部１９,圧縮部２０によって所定のフレーム内圧縮やフレーム間圧縮の処理を行い、高解像度のベクトル分布情報(図６)とフレームＦ2とを記録することにより、高精細な動画像を得ることができる。
また、本実施形態の撮像装置１０では、圧縮処理の最中に取り扱うデータのうち、記録解像度のデータは一定の時間間隔Ｔ2＝1/６秒ごとに撮像素子１２から出力されるフレームＦ2のみであり、動きベクトルＭ1,Ｍ2,…,ＭNの検出にはデータ量の少ない低解像度のフレームＦ1を用いている。したがって、圧縮処理の最中に取り扱うデータ量を減らしつつ記録解像度を高めることもできる。
さらに、本実施形態の撮像装置１０では、撮像素子１２から出力される高解像度なフレームＦ2をそのまま高精細な静止画像（連写画像）として切り出して使用することも可能である。
また、本実施形態の撮像装置１０では、撮像素子１１をＡＥ用および/またはＡＦ用のセンサ（検知手段）と兼用にして、撮像素子１２を静止画撮影用の撮像素子と兼用にすることも可能である。この場合、本実施形態の撮像装置１０は、デジタルスチルカメラとしての使用（高精細な静止画撮影）と、デジタルビデオカメラとしての使用（高精細な動画撮影）とで任意に切り換えることができる。
さらに、本実施形態の撮像装置１０では、撮像素子１１のみによる動画撮影（撮影時の消費電力やファイルサイズを抑えた動画撮影）と、上述した本発明による高精細な動画撮影とを任意に切り換えることもでき、撮影用途や状況に合わせた動画撮影が可能となる。
（変形例）
なお、上記した実施形態では、データ処理部１９におけるフレーム間圧縮の際、動きベクトルＭ1,Ｍ2,…,ＭNを検出する例を説明したが、本発明はこれに限定されない。必要に応じて、低解像度のベクトル分布情報(図５)を用いた動き補償後の予測フレームを生成し、この予測フレームと撮像素子１１から出力される低解像度のフレームＦ1との差分フレームを生成する場合にも、本発明を適用できる。
この場合、解像度変換部９Ｂでは、ベクトル分布情報の解像度変換の処理(図５→図６)に加えて、上記した低解像度の差分フレームを高解像度の差分フレームに変換する処理も行う。この変換処理も、図７と同様に行うことができる。つまり、低解像度の差分フレームにおける各々の小ブロック３１の濃度値を、高解像度の差分フレームにおける対応位置の４個の小ブロック３２の濃度値として割り当てればよい。
そして、記録部２１では、データ処理部１９から一定の時間間隔Ｔ1＝1/30秒ごとに入力される高解像度のベクトル分布情報(図６)と、圧縮部２０から一定の時間間隔Ｔ2＝1/６秒ごとに入力される高解像度のフレームＦ2とに加えて、ベクトル分布情報(図６)と共にデータ処理部１９から一定の時間間隔Ｔ1＝1/30秒ごとに入力される高解像度の差分フレームも、ＭＰＥＧ方式で符号化して外部記憶媒体２２に記録する。
また、上記した実施形態では、解像度変換の処理（図７参照）において、低解像度のフレームＦ1における各々の小ブロック３１の動きベクトルＭKを、高解像度のフレームＦ2における対応位置の４個の小ブロック３２の動きベクトルＭKとして割り当てる例を説明したが、本発明はこれに限定されない。図８に示す通り、低解像度のフレームＦ1の任意の１つの小ブロック３１に注目する際、この注目ブロックの動きベクトルＭKに対して、注目ブロックの周囲の動きベクトル(例えばＭA,ＭB,ＭC,ＭD)を加味する（例えば重み付けして加算する）ことで解像度変換の処理を行い、４個の小ブロック３２に異なる(または同じ)動きベクトルＭK1,ＭK2,ＭK3,ＭK4を割り当ててもよい。このような処理を行うことで、高精細な動画像の画質をさらに改善できる。
さらに、上記した実施形態では、撮像素子１２から高解像度のフレームＦ2が出力されるタイミング時刻ｔ1,ｔ6,…（図２,図３参照）で、同時に、撮像素子１１から低解像度のフレームＦ1が出力される例を説明したが、本発明はこれに限定されない。撮像素子１１,１２の撮像タイミングがずれている場合でも本発明を適用できる。この場合、双方の撮像タイミングが既知であれば、これを圧縮処理の演算に加味することで、同様の効果を得ることができる。
また、上記した実施形態では、補正レンズ１６を撮像素子１１とミラー１５との間に配置する例を説明したが、本発明はこれに限定されない。補正レンズ１６の位置は、ハーフミラー１４とミラー１５との間でもよい。
さらに、上記した実施形態では、撮像素子１３から撮像素子１１までの光路をミラー１５によって折り曲げる例を説明したが、ミラー１５を省略してもよい。この場合、ハーフミラー１４の反射光路上に同様の補正レンズと撮像素子１１を配置すればよい。
本実施形態のデジタルカメラ１０の内部構成を示すブロック図である。 撮像素子１１,１２の特性（連写速度と解像度）の違いを説明する模式図である。 撮像素子１１,１２から出力されるフレームＦ1,Ｆ2を時系列に並べた模式図である。 撮像素子１１,１２から出力されるフレームＦ1,Ｆ2の画素対応を説明する模式図である。 低解像度のベクトル分布情報を説明する図である。 高解像度のベクトル分布情報を説明する図である。 解像度変換を説明する図である。 解像度変換の変形例を説明する図である。
符号の説明
１０ 撮像装置
１１，１２ 撮像素子
１３ 撮影レンズ
１６ 補正レンズ
１７，１８ Ａ/Ｄ変換部
１９ データ処理部
２０ 圧縮部
９Ａ 動き検出部
９Ｂ 解像度変換部
２１ 記録部
２２ 外部記憶媒体
３１，３２ 小ブロック

Claims (5)

  1. 被写体像を撮像して第１解像度のフレームを第１時間間隔で出力する第１撮像手段と、
    前記被写体像を撮像して前記第１解像度より高い第２解像度のフレームを前記第１時間間隔より長い第２時間間隔で出力する第２撮像手段と、
    前記第１撮像手段から出力される各フレームを複数の小ブロックに分割し、隣り合うフレーム間の各々の小ブロックごとに動きベクトルを検出し、該小ブロックごとの動きベクトルを前記第１解像度のベクトル分布情報として出力する検出手段と、
    前記第１解像度のベクトル分布情報の各々の小ブロックごとに変換処理を行うと共に、任意の１つの小ブロックに注目する際、該注目ブロックの前記動きベクトルに該注目ブロックの周囲ブロックの前記動きベクトルを加味することで、前記第１解像度のベクトル分布情報を前記第２解像度のベクトル分布情報に変換する変換手段と、
    前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとを、記録媒体に記録する記録手段と
    を備えたことを特徴とする撮像装置。
  2. 請求項１に記載の撮像装置において、
    前記第１解像度のベクトル分布情報を用いた動き補償後の予測フレームと前記第１撮像手段から出力されるフレームとの差分フレームを生成する生成手段をさらに備え、
    前記変換手段は、前記ベクトル分布情報の解像度を変換する処理に加えて、前記生成手段により生成された前記第１解像度の前記差分フレームを前記第２解像度の差分フレームに変換する処理も行い、
    前記記録手段は、前記第２解像度のベクトル分布情報と、前記第２撮像手段から出力されるフレームとに加えて、前記第２解像度の差分フレームも、前記記録媒体に記録する
    ことを特徴とする撮像装置。
  3. 請求項１に記載の撮像装置において、
    前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームとをＭＰＥＧ方式で符号化して記録する
    ことを特徴とする撮像装置。
  4. 請求項２に記載の撮像装置において、
    前記記録手段は、前記第２解像度のベクトル分布情報と前記第２撮像手段から出力されるフレームと前記第２解像度の差分フレームとをＭＰＥＧ方式で符号化して記録する
    ことを特徴とする撮像装置。
  5. 請求項１に記載の撮像装置において、
    前記第１撮像手段は、ＡＥ用および/またはＡＦ用の検知手段と兼用であり、
    前記第２撮像手段は、静止画撮影用の撮像手段と兼用である
    ことを特徴とする撮像装置。
JP2004252451A 2004-08-31 2004-08-31 撮像装置 Active JP4483483B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004252451A JP4483483B2 (ja) 2004-08-31 2004-08-31 撮像装置
US11/182,754 US7701485B2 (en) 2004-08-31 2005-07-18 High resolution imaging apparatus with reduced data
DE200560013163 DE602005013163D1 (de) 2004-08-31 2005-07-20 Bilderzeugungsgerät
EP20050015918 EP1631055B1 (en) 2004-08-31 2005-07-20 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004252451A JP4483483B2 (ja) 2004-08-31 2004-08-31 撮像装置

Publications (2)

Publication Number Publication Date
JP2006074180A JP2006074180A (ja) 2006-03-16
JP4483483B2 true JP4483483B2 (ja) 2010-06-16

Family

ID=35385562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004252451A Active JP4483483B2 (ja) 2004-08-31 2004-08-31 撮像装置

Country Status (4)

Country Link
US (1) US7701485B2 (ja)
EP (1) EP1631055B1 (ja)
JP (1) JP4483483B2 (ja)
DE (1) DE602005013163D1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573725B2 (ja) * 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP5002931B2 (ja) * 2005-09-16 2012-08-15 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2008228232A (ja) * 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
JP2008252512A (ja) * 2007-03-30 2008-10-16 Olympus Corp 撮像記録装置
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2009147730A (ja) * 2007-12-14 2009-07-02 Fujifilm Corp 動画生成装置、動画撮影装置、動画生成方法及びプログラム
JP2009164859A (ja) * 2008-01-04 2009-07-23 Fujifilm Corp 撮像装置及び撮像制御方法
JP5243432B2 (ja) 2008-02-06 2013-07-24 パナソニック株式会社 画像処理装置、及び画像処理方法
JP2010028722A (ja) * 2008-07-24 2010-02-04 Sanyo Electric Co Ltd 撮像装置及び画像処理装置
JP2013546238A (ja) * 2010-10-22 2013-12-26 ユニバーシティ オブ ニュー ブランズウィック カメラ撮像システムおよび方法
US9930316B2 (en) 2013-08-16 2018-03-27 University Of New Brunswick Camera imaging systems and methods
JP5144739B2 (ja) * 2010-12-15 2013-02-13 アクティブ オプティクス ピーティーワイ リミテッド 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ
JP5327296B2 (ja) * 2011-09-08 2013-10-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5327297B2 (ja) * 2011-09-08 2013-10-30 ソニー株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
KR101424387B1 (ko) 2013-02-01 2014-07-28 고려대학교 산학협력단 영상 처리 방법 및 장치
TWI528268B (zh) * 2014-03-12 2016-04-01 緯創資通股份有限公司 照片群組產生及操作方法以及使用該方法的裝置
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3513554B2 (ja) 1995-07-06 2004-03-31 株式会社日立製作所 撮像装置及び方法
JPH09163210A (ja) 1995-12-13 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 撮像システム
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6198505B1 (en) * 1999-07-19 2001-03-06 Lockheed Martin Corp. High resolution, high speed digital camera
KR100680452B1 (ko) * 2000-02-22 2007-02-08 주식회사 팬택앤큐리텔 움직임 벡터 메모리의 갱신방법 및 장치
JP2002094862A (ja) 2000-09-12 2002-03-29 Chinon Ind Inc 撮像装置
US7151801B2 (en) 2002-03-25 2006-12-19 The Trustees Of Columbia University In The City Of New York Method and system for enhancing data quality
US7304681B2 (en) * 2004-01-21 2007-12-04 Hewlett-Packard Development Company, L.P. Method and apparatus for continuous focus and exposure in a digital imaging device

Also Published As

Publication number Publication date
EP1631055A3 (en) 2006-10-18
EP1631055B1 (en) 2009-03-11
US7701485B2 (en) 2010-04-20
JP2006074180A (ja) 2006-03-16
EP1631055A2 (en) 2006-03-01
DE602005013163D1 (de) 2009-04-23
US20060044408A1 (en) 2006-03-02

Similar Documents

Publication Publication Date Title
US7701485B2 (en) High resolution imaging apparatus with reduced data
JP5243432B2 (ja) 画像処理装置、及び画像処理方法
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
US7697037B2 (en) Image signal processing device and method
JP2010028722A (ja) 撮像装置及び画像処理装置
JP4682990B2 (ja) カメラ画像圧縮処理装置及び圧縮処理方法
JP2008109336A (ja) 画像処理装置および撮像装置
JP2000341577A (ja) 手振れ補正装置およびその補正方法
US8705628B2 (en) Method and device for compressing moving image
JP2012231377A (ja) 撮像装置及び画像生成方法
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
US20130177287A1 (en) Reproduction apparatus, image capturing apparatus, and program
JP2007134788A (ja) 画像処理装置及びプログラム
KR20090066192A (ko) 기록 장치, 기록 방법, 재생 장치, 재생 방법, 및프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
JP2000023024A (ja) 画像入力装置
KR20100061311A (ko) 촬상장치 및 촬상장치의 제어 방법
JP5165084B2 (ja) 画像符号化装置
JP2009071759A (ja) 手振れ補正システム
JP2012244312A (ja) 撮像方法及び撮像装置
JP6031366B2 (ja) 撮像制振装置
JP2005217493A (ja) 撮像装置
JP2008103928A (ja) 撮像装置
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
JP5094550B2 (ja) 撮像装置
JP2001024932A (ja) 画像入力装置及び画像入力方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

R150 Certificate of patent or registration of utility model

Ref document number: 4483483

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250