JP4794386B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4794386B2
JP4794386B2 JP2006207220A JP2006207220A JP4794386B2 JP 4794386 B2 JP4794386 B2 JP 4794386B2 JP 2006207220 A JP2006207220 A JP 2006207220A JP 2006207220 A JP2006207220 A JP 2006207220A JP 4794386 B2 JP4794386 B2 JP 4794386B2
Authority
JP
Japan
Prior art keywords
frame
frame rate
image
unit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006207220A
Other languages
English (en)
Other versions
JP2008035280A (ja
Inventor
守 向野
茂之 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006207220A priority Critical patent/JP4794386B2/ja
Publication of JP2008035280A publication Critical patent/JP2008035280A/ja
Application granted granted Critical
Publication of JP4794386B2 publication Critical patent/JP4794386B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、符号化画像ストリームを復号する画像復号方法および画像表示方法に関する。
デジタルビデオカメラなどが普及してきており、一般ユーザも簡単に動画を撮像することができるようになってきている。一方、符号化された動画像を復号して再生する装置も普及してきており、撮像した動画像を容易に再生したり編集したりすることができるようになってきている。
そのような再生装置は、スロー再生や早送り再生などの特殊再生機能を搭載するものが一般的である。高品質のスロー再生を行うには、動画像を撮像する際、高速度で撮像された、すなわちフレームレートを高くして撮像された符号化画像データが必要である。
特許文献1は、高速に再生した再生データをディスクドライブに一旦記録し、これを再生して特殊効果処理を施して再びディスクドライブに記録した後に高速に再生し、これを高速に記録する編集システムを開示する。
特開2003−317448号公報
高速撮像された符号化画像ストリームのデータ量は、通常速度での再生に対応したフレームレートで撮像された符号化画像ストリームのデータ量より大きくなってしまう。特に、携帯型で小型のデジタルビデオカメラではデータ量の削減に対する要求が強くなる。
一方、通常速度で再生中の動画像を高品質なスロー再生で同時に視聴したい、ストリーム配信されてくる動画像を高品質でリアルタイムにスロー再生させたいなど、ユーザの視聴態様の高度化に対する要求も強くなっている。
本発明はこうした状況に鑑みなされたものであり、その目的は、データ量の肥大化が抑制された符号化画像ストリームを使用しつつ、高度な視聴環境を提供することができる画像復号方法および画像表示方法を提供することにある。
上記課題を解決するために、本発明のある態様の画像復号方法は、非変速再生に対応した基本フレームレートより高いフレームレートで撮像された複数のピクチャと、当該複数のピクチャから生成された基本フレームレートに対応したピクチャとが混在する区間を含む符号化画像ストリームを復号するとき、指定された再生モードに応じて、撮像された複数のピクチャおよび基本フレームレートに対応したピクチャのいずれかを選択する。「ピクチャ」は符号化の単位であり、その概念にはフレーム、フィールド、VOP(Video Object Plane)などが含まれてもよい。「基本フレームレートに対応したピクチャ」は、基本フレームレートより高いフレームレートで撮像された複数のピクチャが合成されて生成されてもよい。
この態様によると、異なるフレームレートのピクチャが混在する区間では、指定された再生モードに適したピクチャを選択することができるため、高度な視聴環境を提供することができる。また、その環境を提供するための符号化画像ストリームのデータ量も抑制されている。
スロー再生モードが指定された場合、混在する区間にて、撮像された複数のピクチャを選択してもよい。これによると、高品質なスロー再生画像を提供することができる。
本発明の別の態様は、画像表示方法である。この方法は、同一画面上に、スロー再生画像を表示する領域と、非変速再生画像を表示する領域とを設けて画像を表示する方法であって、非変速再生に対応した基本フレームレートより高いフレームレートで撮像された複数のピクチャと、当該複数のピクチャから生成された基本フレームレートに対応したピクチャとが混在する区間を含む符号化画像ストリームを表示するとき、混在する区間にて、スロー再生画像を撮像された複数のピクチャから生成し、非変速再生画像を基本フレームレートに対応したピクチャから生成する。
この態様によると、ある動画像の通常速度での再生画像と、当該動画像の高品質なスロー再生画像を同一画面上に同時に表示させることができる。また、その環境を提供するための符号化画像ストリームのデータ量も抑制されている。
画面上に、基本フレームレートより高いフレームレートで撮像された複数のピクチャによるスロー再生が可能な状態である場合、その旨を表示する領域をさらに設けてもよい。これによると、ユーザはスロー再生すべきタイミングを容易に認識することができる。
画面上に、編集対象の符号化画像ストリームのデータ区間およびその再生位置を示すデータ区間表示領域をさらに設け、データ区間表示領域は、符号化画像ストリームの全データ区間のうち、混在する区間を識別可能なよう表示してもよい。これによると、高品質なスロー再生が可能な区間を容易に認識でき、編集により、高品質なスロー再生区間を組み込んだ動画像を容易に生成することができる。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、データ量の肥大化が抑制された符号化画像ストリームを使用しつつ、高度な視聴環境を提供することができる。
図1は、実施形態1に係る符号化装置100を搭載した撮像装置500の構成図である。これらの構成は、ハードウェア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされた画像符号化機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
撮像装置500は、撮像部400および符号化装置100を備える。撮像部400は、CCD(Charge Coupled Devices)センサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどの撮像素子、それを駆動するドライバを備え、撮像した画像を電気信号に変換し、符号化装置100に出力する。符号化装置100は、フレーム単位で動画像の入力を受け取り、動画像を符号化し、符号化ストリームを出力する。
本実施形態の符号化装置100は、国際標準化機関であるISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)によって標準化されたMPEG(Moving Picture Experts Group)シリーズの規格(MPEG−1、MPEG−2およびMPEG−4)、電気通信に関する国際標準機関であるITU−T(International Telecommunication Union-Telecommunication Standardization Sector)によって標準化されたH.26xシリーズの規格(H.261、H.262およびH.263)、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるH.264/AVC(両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264)に準拠して動画像の符号化を行う。
MPEGシリーズの規格では、フレーム内符号化を行う画像フレームをI(Intra)フレーム、過去のフレームを参照画像として順方向のフレーム間予測符号化を行う画像フレームをP(Predictive)フレーム、過去と未来のフレームを参照画像として双方向のフレーム間予測符号化を行う画像フレームをBフレームという。
一方、H.264/AVCでは、参照画像として利用できるフレームは、時間の先後を問わず、過去の2枚のフレームを参照画像としてもよく、未来の2枚のフレームを参照画像としてもよい。また、参照画像として利用できるフレームの枚数も問わず、3枚以上のフレームを参照画像として用いることもできる。したがって、MPEG−1/2/4では、Bフレームは双方向予測(Bi-directional prediction)フレームのことを指していたが、H.264/AVCでは、Bフレームは、参照画像の時間の先後は問わないため、双予測(Bi-predictive prediction)フレームのことを指すことに留意する。
なお、本願明細書では、フレームとピクチャを同じ意味で用いており、Iフレーム、Pフレーム、Bフレームは、それぞれIピクチャ、Pピクチャ、Bピクチャとも呼ばれている。
また、本願明細書では、符号化の単位としてフレームを例に挙げて説明するが、符号化の単位はフィールドであってもよい。また、符号化の単位はMPEG−4におけるVOPであってもよい。
ブロック生成部10は、撮像部400から入力された画像フレームをマクロブロックに分割する。画像フレームの左上から右下方向の順にマクロブロックが形成される。ブロック生成部10は生成したマクロブロックを差分器12、動き補償部60およびフレームレート制御部70に供給する。
差分器12は、ブロック生成部10から供給される画像フレームがIフレームであれば、そのままDCT部20に出力するが、PフレームまたはBフレームであれば、動き補償部60から供給される予測画像との差分を計算してDCT部20に供給する。
動き補償部60は、フレームメモリ80に格納されている過去または未来の画像フレームを参照画像として利用し、ブロック生成部10から入力されたPフレームまたはBフレームの各マクロブロックについて、誤差の最も小さい予測領域を参照画像から探索し、マクロブロックから予測領域へのずれを示す動きベクトルを求める。動き補償部60は、動きベクトルを用いてマクロブロック毎に動き補償を行い、予測画像を生成する。動き補償部60は、生成した動きベクトルをフレームレート制御部70と可変長符号化部90に供給し、予測画像を差分器12と加算器14に供給する。
動き補償部60では、双方向予測と片方向予測のいずれも適用可能である。動き補償部60は、片方向予測では、前方参照フレームに対する動きを示す順方向動きベクトルを生成する。双方向予測では、順方向動きベクトルに加えて、後方参照フレームに対する動きを示す逆方向動きベクトルの2つの動きベクトルを生成する。
差分器12は、ブロック生成部10から出力される現在の画像、すなわち符号化対象の画像と、動き補償部60から出力される予測画像との差分を求め、DCT部20に出力する。DCT部20は、差分器12から与えられた差分画像を離散コサイン変換(DCT)し、DCT係数を量子化部30に与える。
量子化部30は、DCT係数を量子化し、可変長符号化部90に与える。可変長符号化部90は、動き補償部60から与えられた動きベクトルとともに差分画像の量子化されたDCT係数を可変長符号化し、符号化ストリームCSを生成する。
量子化部30は、画像フレームの量子化されたDCT係数を逆量子化部40に供給する。逆量子化部40は、与えられた量子化データを逆量子化し、逆DCT部50に与え、逆DCT部50は、与えられた逆量子化データを逆離散コサイン変換する。これにより、符号化された画像フレームが復元される。復元された画像フレームは加算器14に入力される。
加算器14は、逆DCT部50から供給される画像フレームがIフレームであれば、そのままフレームメモリ80に格納する。加算器14は、逆DCT部50から供給される画像フレームがPフレームまたはBフレームであれば、それは差分画像であるため、逆DCT部50から供給された差分画像と動き補償部60から供給される予測画像とを加算することにより、元の画像フレームを再構成し、フレームメモリ80に格納する。
PフレームもしくはBフレームの符号化処理の場合は、上述のように動き補償部60が動作するが、Iフレームの符号化処理の場合は、動き補償部60は動作せず、ここでは図示しないが、Iフレームはフレーム内予測が行われた後、DCT部20に供給される。
フレームレート制御部70は、動き補償部60から与えられる動きベクトル、ブロック生成部10から与えられる色情報や輝度情報を参照して、撮像部400が動画像を撮像する際のフレームレートを適応的に制御する。
図2は、本実施形態に係るフレームレート制御部70の構成を説明する図である。フレームレート制御部70は、特徴量取得部72、特徴量解析部74、条件設定部76およびフレームレート設定部78を備える。
特徴量取得部72は、画像の特徴を示すパラメータをブロック生成部10や動き補償部60から取得する。例えば、ブロック生成部10から与えられたマクロブロックから色情報(R、G、B)や輝度情報(Y)を取得する。また、動き補償部60から動きベクトルを取得する。
特徴量解析部74は、特徴量取得部72により取得された上記パラメータを、条件設定部76により設定された条件にしたがい、解析する。例えば、取得した動きベクトルから、各マクロブロックのx方向およびy方向への移動量を絶対値で表し、フレームごとにすべてのマクロブロックの上記移動量を足し合わせた値(以下、本明細書ではベクトル量と呼ぶ。)の変化を観測する。また、動きベクトルの方向の変化を観察することもできる。
特徴量解析部74は、各種パラメータの変化を履歴として管理し、統計的な解析を施すことができる。例えば、観測すべきパラメータの増減傾向の大きさや、状態継続期間や、パラメータが閾値を超えた回数、頻度などを求める際、最大値、最小値を排除したり、移動平均処理を行うことにより、異常値を排除することができる。特徴量解析部74は、これらの解析に基づき、観察しているパラメータが所定の範囲に収まるようフレームレート設定部78にフレームレートの変更を指示する。
また、特徴量解析部74は、取得した色情報の変化や輝度情報の変化を観察することもできる。また、動きベクトルを解析することにより、人間や動物などの被写体の移動速度や移動距離を観察することもできる。なお、動きベクトルや被写体の動きの速度は、オートフォーカス制御系から取得することも可能である。
条件設定部76は、特徴量取得部72が取得すべきパラメータの種類、特徴量解析部74が画像を解析するために必要な解析条件およびフレームレート設定部78がフレームレートを設定するために必要な条件やパラメータを設定する。条件設定部76は、画像の解析条件として、各種パラメータへの重み付けを設定することができる。例えば、動きベクトル、色、輝度の変化や被写体の変化に対して、画像の中央領域での変化を周辺領域での変化より重視するよう、中央付近のマクロブロックにおける各種パラメータの変化に対して1を超える係数を掛け、周辺領域のマクロブロックにおける各種パラメータの変化に対して1未満の係数を掛けするよう設定してもよい。
条件設定部76は、各種パラメータの変化を観測すべき範囲自体を制限することもできる。例えば、周辺領域のマクロブロックにおける各種パラメータの変化を無視することができる。また、観察すべき被写体を限定することもできる。例えば、パターンマッチングにより人間の顔と判定された被写体の変化のみを観察してもよい。
条件設定部76は、各種のパラメータのいずれを使用するかを定めるモード設定を行うことができる。動きベクトル量を中心に観察するが、補助的に色の変化を観察するといった複合的な設定も可能である。また、フレームレートを変更するための最終的な判断として、どのパラメータにどの程度の寄与度を持たせるかを設定することもできる。
条件設定部76は、基本フレームレート、遷移可能なフレームレート、遷移可能範囲、変更周期およびフレームレートを変更すべき上記パラメータの変化量を示す閾値を設定する。以下、具体例を説明する。条件設定部76は、通常速度で再生される際のフレームレートを、基本フレームレートに設定する。なお、ユーザの撮影意図により、スロー再生または早送り再生される際のフレームレートを基本フレームレートに設定してもよい。フレームレートの遷移可能範囲として、基本フレームレートの整数倍でのフレームレート変更を制約条件とし、この条件下であらかじめ遷移可能なフレームレートを選定する。
基本フレームレート周期 :T0
フレームレート周期:Tf=T0/N(Nは自然数)
フレームレート周期の遷移範囲:Tf〜T0
基本フレームレート周期T0はフレームレートの逆数である。フレームレートの変更周期は、基本フレームレート周期の整数倍の時間間隔に設定する。特徴量解析部74は、この時間間隔内の映像単位で次に変更するフレームレートを判定する。すなわち、基本フレームレート周期に同期した時間間隔でフレームレート変更点を持つことになる。フレームレート変更点のフレームレートの最大値は、そのフレームレートで再生される各フレームの最低視聴時間が保証される値に設定する。
基本フレームレートを最小単位とし、その整数倍にフレームレート変更点を設定すると、限定されたフレームレートでしか再生できない低スペックな再生装置でも、どのフレームレートで撮像された動画像データであるかを容易に判断することができ、視聴や編集の混乱を抑制することができる。なお、基本フレームレート周期内にフレームレート変更点を設けることを許容した場合、フレームレートを動的に変更するための設定条件やタイミング制御が複雑化したり、編集が難しくなるが、高速撮像の割合を減らすことができる。したがって、基本フレームレート周期内にフレームレート変更点を設けることを排除するものではない。
条件設定部76は、フレームレートの適応的な変更処理を発動させるトリガー条件を設定することもできる。特定色を検出したなど各種パラメータが所定の条件を満たした場合、被写体の移動速度や移動距離が所定の設定値を超えた場合、ユーザから外部入力があった場合などに発動するよう設定することができる。
フレームレート設定部78は、条件設定部76に設定された条件にしたがい、特徴量解析部74からの指示に応じて、フレームレートを適応的に変更する。具体的には、撮像部400に設けられる撮像素子の露光時間を制御する。当該撮像素子を駆動するドライバに指示することにより露光時間を調整することができる。
図3は、3種類のフレームレート周期tを示す図である。図3中、上のフレームは、フレームレート周期tが基本フレームレート周期T0と同じフレームを示す。真ん中のフレームは、フレームレート周期tが基本フレームレート周期の1/4(T0/4)のフレームを示す。下のフレームは、フレームレート周期tが基本フレームレート周期の1/2(T0/2)のフレームを示す。よって、通常速度で撮像されている上のフレームに対して、真ん中のフレームは4倍速で、下のフレームは2倍速で撮像されていることが分かる。
図4は、動きベクトル量の変化とフレームレートの変化の関係を示す図である。図4中、上段の凹凸のあるブロックは、動きベクトル量の変化を示したものである。撮影者が一定の地点を撮影している場合で、連続するフレーム間で被写体の動きが小さい場合、動きベクトル量も小さくなる。その逆の場合、動きベクトル量は大きくなる。画像の変化が大きい区間をスロー再生する場合、通常のフレームレートで撮像されたフレーム群を再生していくと、コマ落ちして画像が滑らかにつながらない場合がある。この点、その区間のフレームレートを高くし、フレーム数が多ければ、滑らかな画像を再生することができる。
図4は、この知見を具体化した例を示している。通常速度のフレームレートで撮像を開始するが、フレームレート変更タイミング間の周期に対応する基本フレームレート周期T0での動きベクトル量が大きいため、次のフレームレート変更タイミングで4倍速のフレームレートに変更している。基本フレームレート周期T0が2回経過する間、動きベクトル量が小さくなってきているので、その次のフレームレート変更タイミングで2倍速のフレームレートに変更している。その後、基本フレームレート周期T0が3回経過する間、動きベクトル量が小さくなってきているので、その次のフレームレート変更タイミングで通常速度のフレームレートに変更している。
図5(a)は、撮像するときの時間軸上でのフレームデータの並びを示す。図5(b)は、再生するときの時間軸上でのフレームデータの並びを示す。図5は、通常速度のフレームレートで撮像したフレームデータと4倍速のフレームレートで撮像したフレームデータとが混在している。上述したように本実施形態では動画像を撮像中にフレームレートが適応的に変化するため、図5(a)に示すように、撮像された動画像ストリームは、フレーム間の時間間隔が異なる区間が混在することになる。一方、通常再生する場合、図5(b)に示すように、一定の時間間隔でフレームデータが再生される。高速撮像したフレームデータは高品質なスローモーション映像となる。
図6は、実施形態1に係るフレームレート変更処理の一例を示すフローチャートである。まず、条件設定部76は、遷移可能なフレームレートすなわちフレームレートの変更点をフレームレート設定部78に複数設定する(S10)。また、初期のフレームレートを設定する(S12)。条件設定部76は、基本フレームレート周期T0に対応する動きベクトル量の単位分析期間を設定する(S14)。また、動きベクトル量の上限閾値および下限閾値を設定する(S16)。これらの閾値は、設計者が実験やシミュレーションで求めた値に設定されることができる。また、設計者が求めた複数の閾値候補からユーザが選択してもよい。
ステップS10〜S14までの設定処理は、撮像装置500に設けられた図示しない操作部または撮像装置500に接続されたPCなどからユーザが条件設定部76に指示することにより行われてもよいし、システムが自動で行ってもよい。なお、一度設定した設定値は、ユーザからの変更指示がない限り、引き継がれてもよい。
動き補償部60は、各マクロブロックの動きベクトルを抽出して特徴量取得部72に与え、特徴量解析部74は、特徴量取得部72から与えられる動きベクトルから動きベクトル量を算出する(S18)。
特徴量解析部74は、動きベクトル量の単位分析期間が終了すると(S20のY)、その期間内に動きベクトル量が何回、上限閾値または下限閾値を超えたかを検出する(S22)。上限閾値または下限閾値を超えた回数が、あらかじめ設定された所定の回数に満たない場合(S22のN)、フレームレートを変更せずに、ステップS18に遷移し処理を続行する。この設定された所定の回数も、設計者が実験やシミュレーションで求めた値に設定されることができる。
ステップS22にて、あらかじめ設定された所定の回数を超えた場合(S22のY)、特徴量解析部74は、閾値を所定の回数超えたのが下限閾値の場合(S24のY)、現在のフレームレートを低方向に変更する(S26)。閾値を所定の回数超えたのが上限閾値の場合(S28のY)、現在のフレームレートを高方向に変更する(S30)。変更後も、フレームレート変更処理が継続している間(S32のN)、ステップS18に遷移し上述した処理を続行する。
なお、低方向または高方向に変更すべきフレームレートの変更点が、もはや低方向または高方向に存在しない場合、所定の回数を超えている場合でもフレームレートを変更しない。フレームレートの変更は、基本的には隣り合う変更点に段階的に遷移させるものであるが、例えば、所定の回数を2倍以上超えるなど、動きベクトル量が閾値を超える頻度が非常に高い場合、フレームレートを現在の動作点から2段階以上離れた変更点に遷移させてもよい。なお、各フレームレートの変更点ごとに上限閾値および下限閾値をあらかじめ設定しておいてもよい。
以上説明したように本実施形態によれば、動画像を撮像中にフレームレートを適応的に変更することにより、高品質な特殊再生を可能としつつ、データ量の肥大化を抑制することができる。よって、高品質な特殊再生を可能としつつ、長時間撮影も可能である。
また、高品質な特殊再生に必要な高速度撮像に切り替えるタイミングをマニュアル操作で適切に指定することは難しい。被写体の動きの変化などを人間の認識では捕らえにくいためである。必要のない高速度撮像は、データ量を肥大化させ撮影可能時間を短縮させてしまう。この点、本実施形態では、システムが適応的にフレームレートを変更するため、このような事態が発生しにくい。
図7は、実施形態2に係る符号化装置100を搭載した撮像装置500の構成図である。実施形態2に係る撮像装置500は、実施形態1に係る符号化装置100内に基本レート画像生成部8が付加された構成である。したがって、基本レート画像生成部8に関連する構成要素以外は、実施形態1と同様のためその説明は省略する。
基本レート画像生成部8は、撮像部400から入力された画像フレームを基に、フレームレート制御部70の指示にしたがい、基本フレームレートで撮像された画像フレームに相当する画像フレーム(以下、基本レート画像フレームと呼ぶ。)を生成する。フレームレート制御部70が撮像部400に通常速度のフレームレートを設定している場合、基本レート画像生成部8は、撮像部400から供給される画像フレームをそのままブロック生成部10に出力し、基本レート画像フレームを生成しない。一方、フレームレート制御部70が2倍速や4倍速などフレームレートを基本フレームレートより高く設定している場合、撮像部400から供給される画像フレームから基本レート画像フレームを生成する。この場合、単位フレームレート期間T0内における複数の画像フレームを合成して、基本レート画像フレームを生成する。この生成手法の詳細は後述する。
図8は、3倍速撮像により生成された画像フレームから基本レート画像フレームを生成する様子を説明する図である。3倍速撮像モードでは、単位フレームレート期間T0内に3枚のフレームが生成される。図8では、最初のフレームF12、中間のフレームF14および最後のフレームF16が生成される。通常速度での撮像では、単位フレームレート期間T0内に1枚のフレームしか生成されない。
3倍速で撮像された期間のフレームは、通常速度で撮像された期間のフレームより露光時間が短いため、3倍速で撮像された各フレームは、単位フレームレート期間T0内の一部の情報のみを表現することになる。再生側でこれらのフレームが混在する動画像ストリームを通常速度で再生する場合、3倍速で撮像された期間についていずれか1枚のフレームを選択して再生すると、コマ落ちして動画像が滑らかにつながらず視聴者が違和感を感じる場合がある。そこで、基本レート画像生成部8は、3倍速などの高速で撮像された期間について、複数枚のフレームから基本レート画像フレームを生成する。
具体的には図8に示すように、同一座標軸上における最初のフレームF12の画素Px12、中間のフレームF14の対応する画素Px14および最後のフレームF16の対応する画素Px16を合算し、フレーム数ここでは3で割って、基本レート画像フレームFn10の対応する画素Pxn10を算出する。これを画素ごとにすべて算出すると、基本レート画像フレームFn10全体を生成することができる。なお、複数枚のフレームを合算する場合、通常速度で撮像されたフレームの撮像時間が、合算する各フレームの撮像時間に適宜配分されるよう各フレームの画素値を重み付けしてもよい。
図9は、通常再生およびスロー再生において再生されるフレームを示す図である。図8で説明した3倍速撮像モードでは、単位フレームレート期間T0内に、撮像された3枚のフレームとそれらのフレームから生成された基本レート画像フレームとが生成される。これらのフレームが混在した動画像ストリームは、再生側で以下のように再生される。すなわち、通常速度で再生される場合、図9の上の流れに示すように基本レート画像フレームFn10、Fn20のみが再生される。一方、スロー再生される場合、図9の下の流れに示すように、撮像されたフレームF12〜フレームF26のみが再生される。
図10は、フレームレートが適応的に変更されながら撮像される画像フレームから基本レート画像フレームを生成する具体例を説明する図である。図10中、一番上の流れを示すa行は、撮像フレームレートを示す。図10では、通常速撮像モードから8倍速撮像モードに遷移し、さらに4倍速撮像モードに遷移する例を示す。b行は、撮像されたフレームデータを示す。通常速撮像モードでは1枚、8倍速撮像モードでは8枚、4倍速撮像モードでは4枚のフレームデータが生成される。
c行およびd行は、基本レート画像フレームの生成過程を示す。c行は基本レート画像フレームの生成する第1段階を示す。8倍速撮像モードでは、1枚目と2枚目、5枚目と6枚目といったように隣り合うフレームを順番に合成し、4枚の中間フレームを生成する。4倍速撮像モードでは、1枚目と2枚目、3枚目と4枚目のフレームを合成し、2枚の中間フレームを生成する。
d行は、基本レート画像フレームの生成する第2段階を示す。8倍速撮像モードにて、第1段階で生成した4枚のフレームの内、隣り合うフレームを順番に合成し、2枚の中間フレームを生成する。これら基本レート画像フレームの生成する各段階で行われるフレーム合成処理は、図8で説明したように、合成するフレーム間の対応する画素を合算して、フレーム数ここでは2で割って、生成するフレームの画素を順次求めていく。
e行は通常速撮像モードで撮像されたフレームおよび基本レート画像フレームを示す。8倍速撮像モードでは、第2段階で生成された2枚のフレームを合成して、基本レート画像フレームを生成する。4倍速撮像モードでは、第1段階で生成された2枚のフレームを合成して、基本レート画像フレームの生成する。
f行は高速撮像モードで撮像されたフレームを示す。これらのフレームは、副画像フレームとして動画像ストリーム中に付加される。再生側でスロー再生する際に利用される。基本的に、e行とf行のフレームで動画像ストリームが形成される。ただ、基本レート画像フレームを生成する過程で生成された中間フレームも副画像フレームとして動画像ストリームに付加してもよい。再生側でスロー再生の速度が複数選択できる場合、選択された速度によっては、補間フレームとして利用することができる場合がある。すなわち、8倍速撮像モードにて、第2段階で生成された2枚のフレームを使用すれば、1/2倍のスロー再生が容易に実現でき、第1段階で生成された4枚のフレームを使用すれば、1/4倍のスロー再生が容易に実現できる。
次に、通常速撮像モードで撮像されたフレームと、3倍速撮像モードで撮像されたフレームとが混在する動画像フレームの生成方法について、具体的な記録フォーマットを示しながら説明する。
図11は、通常速撮像モードで撮像されたフレームと3倍速撮像モードで撮像されたフレームの撮像時間軸上での並びを示す図である。第1フレームFn0、第2フレームFn1、第3フレームFn2、第4フレームFn4、第5フレームFn5は、通常速撮像モードで撮像されたフレームである。第6フレームF0、第7フレームF1、第8フレームF2、第9フレームF3、第10フレームF4および第11フレームF5は、3倍速撮像モードで撮像されたフレームである。第12フレームFn3は、3倍速撮像モードで撮像されたフレームから生成された基本レート画像フレームである。
図12(a)は、IDR(Instantaneous Decoder Refresh)ピクチャを用いた記録例を示す図である。図12(b)は、RP SEI(Recovery Point Supplemental Enhancement Information)を用いた記録例を示す図である。図12(c)は、SI/SP(スイッチングIピクチャ/スイッチングPピクチャ)を用いた記録例を示す図である。
図12(a)に示すIDRピクチャを用いた記録例は、H.264規格で定義されているランダムアクセス機能を利用する。IDRピクチャは、Iピクチャの一種であり、後続のPフレームに自己より前にある全フレームを参照禁止にする。上述したようにH.264/AVCでは、直前より前のフレームを基にPフレーム、Bフレームを生成することもできる。この点、IDRピクチャがあれば、後続するPフレームがIDRピクチャより先行する参照フレームを使用することがないため、復号側は、IDRピクチャにランダムにアクセスして、そのIDRピクチャから復号を開始することができる。
図12(a)に示す記録例は、フレームレートが切り替わるフレームおよび高フレームレートで撮像されたフレームから生成された基本レート画像フレームをIDRピクチャとすることにより、復号側でランダムアクセスすることを可能としている。
図12(a)にて、各フレームが記述される前にSPS(Sequence Parameter Ser)およびPPS(Picture Parameter Ser)が挿入される。SPSおよびPPSは、後続するシーケンスおよびフレームの各種パラメータを記述する領域であり、各フレームのフレームレート情報などを記録する。次に、図11で説明した第1フレームFn0、第2フレームFn1および第3フレームFn2が非IDRピクチャとして記述される。非IDRピクチャとは、一般的なIピクチャ、Pピクチャ、Bピクチャのいずれかを示す。
次に、SPSおよびPPSが挿入され、第6フレームF0がIDRピクチャとして記述される。次に、第7フレームF1、第8フレームF2、第9フレームF3、第10フレームF4および第11フレームF5は、非IDRピクチャとして順次記述される。次に、SPSおよびPPSが挿入され、第12フレームFn3がIDRピクチャとして記述され、続いて、第4フレームFn4および第5フレームFn5が非IDRピクチャとして記述される。このように、フレームレートの切り替わりフレームである第6フレームF0および基本レート画像フレームである第12フレームFn3がIDRピクチャとして記述される。これにより、復号側は第6フレームF0および第12フレームFn3にランダムアクセスでき、どちらのフレームを復号するか選択することができる。
図12(b)に示す記録例は、フレームレートが切り替わるフレームおよび高フレームレートで撮像されたフレームから生成された基本レート画像フレームをリカバリーポイントに設定するためのRP SEIをストリーム中に挿入することにより、復号側でランダムアクセスすることを可能としている。
図12(b)にて、まず、SPSおよびPPSが挿入され、第1フレームFn0、第2フレームFn1および第3フレームFn2が非IDRピクチャとして記述される。次に、SPSおよびPPSが挿入され、第6フレームF0の前にRP SEIが挿入される。続いて、第6フレームF0がIピクチャとして記述され、第7フレームF1、第8フレームF2、第9フレームF3、第10フレームF4および第11フレームF5が非IDRピクチャとして順次記述される。
次に、SPSおよびPPSが挿入され、第12フレームFn3の前にRP SEIが挿入される。続いて、第12フレームFn3がIピクチャとして記述され、第4フレームFn4および第5フレームFn5が非IDRピクチャとして順次記述される。このように、フレームレートの切り替わりフレームである第6フレームF0および基本レート画像フレームである第12フレームFn3の前にリカバリーポイントを設定した。これにより、復号側は第6フレームF0および第12フレームFn3にランダムアクセスでき、どちらのフレームを復号するか選択することができる。
図12(c)に示す記録例は、高フレームレートで撮像されたフレームから生成された基本レート画像フレームと、その前のフレームをH.264規格で定義されているスイッチングIピクチャ/Pピクチャとして記述することにより、復号側でスキップ処理を可能としている。
図12(c)にて、まず、SPSおよびPPSが挿入され、第1フレームFn0、第2フレームFn1および第3フレームFn2が非IDRピクチャとして記述される。次に、SPSおよびPPSが挿入され、第6フレームF0、第7フレームF1、第8フレームF2、第9フレームF3および第10フレームF4が非IDRピクチャとして順次記述される。次に、第11フレームF5がSPピクチャとして記述される。
次に、SPSおよびPPSが挿入され、第12フレームFn3がSPピクチャとして記述され、第4フレームFn4および第5フレームFn5が非IDRピクチャとして順次記述される。このように、単位フレームレート期間T0に高速撮像モードで複数撮像されたフレームの最後のフレームである第11フレームF5および基本レート画像フレームである第12フレームFn3をSPピクチャとして記述した。これにより、復号側は少なくとも第11フレームF5および第12フレームFn3のいずれか一方のフレームを使用することでスキップ動作を選択することができる。
以上説明したように本実施形態によれば、動画像を撮像する際、フレームレートが適応的に制御されながら、フレームデータを記録することができるため、高速度撮像を含む撮影作業が容易になり、長時間撮影にも適している。また、記録されたデータ構造は、特殊再生や編集が容易なものであり、撮影意図を反映した自動編集などにも適している。この点、スロー再生用の画像データと通常再生用のデータを別に撮像し、後に編集してそれらを混在させた動画像ストリームを生成することは煩雑であり、一般にユーザにとって難しい作業となる。また、後述するように、視聴する際のインタラクティブ操作にも容易に対応することができる。
図13は、実施形態3に係る復号装置300を搭載した画像再生装置700の構成図である。これらの機能ブロックもハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現することができる。
画像再生装置700は、復号装置300、表示制御部610、表示部612、通信部620、画像バッファ630、画像記録部640、特殊再生制御部650、編集部660および操作部670を備える。復号装置300は、通信部620、画像バッファ630および画像記録部640のいずれかから符号化ストリームの入力を受け取り、符号化ストリームを復号して出力画像を生成する。
フレーム選択部305は、特殊再生制御部650から制御を受けて、符号化ストリームに含まれる後段に出力すべきフレーム、および復号せずに廃棄すべきフレームを選択する。上述したように高速撮像モードで撮像された区間のデータには、副画像フレームと基本レート画像フレームが含まれる。フレーム選択部305は、特殊再生制御部650からスロー再生するよう指示された場合、基本レート画像フレームをスキップして、副画像フレームを後段に出力する。一方、特殊再生制御部650から通常再生するよう指示された場合、副画像フレームをスキップして、基本レート画像フレームを後段に出力する。例えば、図12(a)で説明した記録例で記述された符号化ストリームの場合、IDRピクチャを目印にスキップまたは後段に出力すべきフレームを特定することができる。
可変長復号部310は、フレーム選択部305から入力された符号化ストリームを可変長復号し、復号された画像データを逆量子化部320に供給し、動きベクトル情報を動き補償部360に供給する。
逆量子化部320は、可変長復号部310により復号された画像データを逆量子化し、逆DCT部330に供給する。逆量子化部320により逆量子化された画像データはDCT係数である。逆DCT部330は、逆量子化部320により逆量子化されたDCT係数を逆離散コサイン変換(IDCT)することにより、元の画像データを復元する。逆DCT部330により復元された画像データは、加算器312に供給される。
加算器312は、逆DCT部330から供給された画像データがIフレームである場合、そのIフレームの画像データをそのまま出力するとともに、PフレームやBフレームの予測画像を生成するための参照画像として、フレームメモリ380に格納する。
加算器312は、逆DCT部330から供給された画像データがPフレームである場合、その画像データは差分画像であるから、逆DCT部330から供給された差分画像と動き補償部360から供給される予測画像を加算することにより、元の画像データを復元し出力する。
動き補償部360は、可変長復号部310から供給される動きベクトル情報と、フレームメモリ380に格納された参照画像を用いて、PフレームまたはBフレームの予測画像を生成し、加算器312に供給する。
通信部620は、符号側から各種のネットワークを介して符号化ストリームを受信する。ストリーム再生する場合、受信した符号化ストリームを復号装置300に入力する。その場合、溢れてしまうデータは、画像バッファ630に一時記憶する。ストリーム再生しない場合、画像記録部640に記録する。
特殊再生制御部650は、操作部670から入力されるユーザの指示にしたがい、特殊再生の制御を行う。具体的には、スロー再生が指示された場合、副画像フレームが存在する区間は副画像フレームを選択するようフレーム選択部305に指示する。通常再生の場合、副画像フレームが存在する区間は基本レート画像フレームを選択するよう指示する。また、早送り再生が指示された場合、例えば、Iフレームだけを選択するよう指示する。
編集部660は、操作部670から入力されるユーザの指示にしたがい、特殊再生画像を組み込んだ動画像ストリームを生成する。具体例については後述する。操作部670は、ユーザの指示を受け付け、特殊再生制御部650、編集部660および表示制御部610などに伝達する。
表示制御部610は、復号装置300で復元された画像データを表示部612に表示させる場合の表示制御を行う。例えば、子画面を表示させたり、サムネイル画像を表示させたりする。
図14は、実施形態3に係る表示部612の表示例を示す図である。図14(a)は、アイコン82を含む表示画面を示す図である。例えば、そのアイコン内に「SLOW VIEW」などと表示されていてもよい。当該アイコン82は、スロー再生などの特殊再生が可能になった状態をユーザに通知するためのものである。表示制御部610は、副画像フレームが存在しない区間では表示しないか、無効になるよう制御する。ユーザが操作部670からそのアイコン82を選択すると、スロー再生画像が表示される子画面が現れる。
図14(b)は、子画面84を含む表示画面を示す図である。親画面には通常再生映像が表示される。子画面84にはスロー再生映像が表示され、副画像フレームが存在する区間は副画像フレームの画像が表示される。また、操作部670からのユーザに指示にしたがい、表示制御部610は、親画面にスロー再生映像を表示し、子画面84に通常再生映像を表示するよう切り替えてもよい。ここで、親画面とは、表示部612の表示領域中で最も大きな表示画面を指す。なお、図14(b)に示すように親画面内に子画面84を表示させるのではなく、上下または左右に2画面分割して通常再生映像とスロー再生映像を表示させてもよい。
図14(c)は、コマ送りウインドウ86を含む表示画面を示す図である。コマ送りウインドウ86は、複数の子画面を含む。コマ送りウインドウ86は、副画像フレームが存在する区間は副画像フレーム、存在しない区間は通常のフレームを一番左の子画面に表示し、所定の時間Δtが経過したら右隣りの子画面に順次移動させて表示する。一番右の子画面に表示されているフレームは所定の時間Δtが経過したら表示の更新が一旦中断され、同時に、まだ表示されていない次のフレームが一番左の子画面に表示される。このように、所定の時間Δtごとに子画面の画像が順次更新されていく。ユーザは、コマ送りウインドウ86に表示されている複数の子画面のいずれかを操作部670から選択して、その子画面に表示されている画像を親画面に表示させることもできる。
図14(d)は、サムネイル画像88を含む表示画面を示す図である。図14(d)では、サムネイル画像88が複数表示される。各サムネイル画像88は、過去に表示した副画像フレームを持つ各区間の最初の副画像フレームを表示した画像である。ユーザは、いずれかのサムネイル画像88を操作部670から選択することにより、その区間のスロー再生映像を親画面、複数の子画面、もしくは複数のコマ送りウインドウの子画面として表示させることができる。なお、上述したコマ送りウインドウ86などの複数の子画面に1コマ1コマ静止画を表示させる代わりに、滑らかなスローモーションと静止画を交互に繰り返し表示させてもよい。
図15は、実施形態3に係る表示部612の編集画面例1を示す図である。図15(a)は、動画像ストリームを通常速再生で編集している様子を示す図である。表示画面内に編集前画像表示画面92a、編集後画像表示画面94a、データ区間表示バー96aおよび第1コマ送りウインドウ98が表示される。編集前画像表示画面92aは、編集対象の動画像ストリームを表示する画面である。編集前画像表示画面92aに隣接する位置に、編集対象の動画像ストリームの再生位置を視覚的に示すためのバー92bが設けられ、そのバー92b内に現在の再生位置を示すインディケーター92cが設けられる。ユーザは、このインディケーター92cを操作部670から動かすことにより、再生位置を所望の位置に移動させることができる。
編集後画像表示画面94aは、編集後の動画像ストリームを表示する画面である。編集後画像表示画面94aに隣接する位置に、編集後の動画像ストリームの再生位置を視覚的に示すためのバー94bが設けられ、そのバー94b内に現在の再生位置を示すインディケーター94cが設けられる。ユーザは、このインディケーター94cを操作部670から動かすことにより、再生位置を所望の位置に移動させることができる。
第1コマ送りウインドウ98は、複数の子画面を含み、編集前の動画像ストリームまたは編集後の動画像ストリームの各フレームをコマ送り表示する。データ区間表示バー96aは、第1コマ送りウインドウ98に表示されている動画像ストリームの全データ区間をバーで示し、その再生位置をユーザに視覚的に認識させるためのものである。データ区間表示バー96aには、再生位置を示すインディケーター96bが設けられ、動画像ストリーム中の現在の再生位置を示す。その再生位置は、第1コマ送りウインドウ98に表示されている画面に対応し、図15(a)では左から2番目の子画面が現在の再生位置を示す。
データ区間表示バー96aは、副画像フレームが存在する区間96cを黒塗りで示し、高品質なスロー再生が可能な区間であることをユーザに示す。図15(a)では、通常速再生での編集作業を示すものであるため、副画像フレームが存在する区間でも基本レート画像フレームが第1コマ送りウインドウ98に表示される。
ユーザは、操作部670から指示することにより、編集前の動画像ストリームを第1コマ送りウインドウ98に表示させ、切り出すべき区間を一つ以上選択し、それらの区間の動画像データが組み合わされた編集後の動画像ストリームを生成することができる。図15(a)では、編集後の動画像ストリームは、副画像フレームを含まない通常速再生に対応したものである。
図15(b)は、図15(a)の表示画面に副画像フレームの表示領域を付加した例を示す図である。図15(b)では図15(a)の表示画面に第2コマ送りウインドウ99が付加される。第2コマ送りウインドウ99は、複数の子画面を含み、副画像フレームをコマ送り表示する。
図16は、実施形態3に係る表示部612の編集画面例2を示す図である。図16(a)は、動画像ストリームを通常速再生およびスロー再生で編集している様子を示す図である。図16(a)では、第1コマ送りウインドウ98は、編集後の動画像ストリームを表示している。データ区間表示バー96aには、副画像フレームで構成される区間96dが含まれる。ユーザは、第2コマ送りウインドウ99に表示されている副画像フレームからも、切り出すべき区間を選択し、通常速で再生される区間とスロー再生される区間とが混在した動画像ストリームを生成することができる。
図16(b)は、通常速再生およびスロー再生が混在した動画像ストリームを編集した様子を示す図である。図16(b)に示す編集後の動画像ストリームは、最初、通常速再生されるが、途中から自動的にスロー再生に切り換わる。なお、編集後の動画像ストリーム中のスロー再生される区間に、基本レート画像フレームが含まれる必要はない。
以上説明したように本実施形態によれば、副画像フレームと、それに対応する基本レート画像フレームとが混在した区間を含む動画像ストリームを使用して、ヒューマンインタフェースに優れた画像表示や編集を可能とすることができる。例えば、通常速再生とスロー再生を同一画面上に表示させることも容易に可能である。また、副画像フレームが存在する区間を示すアイコンなどを画面上に表示すれば、ユーザは高品質なスロー再生が可能である区間を容易に認識することができる。
また、動画像ストリーム中で被写体の動きが大きく高速度撮像された区間を、ユーザが容易に認識することができるため、スローモーション化すべき画像区間の候補を容易に認識することができる。この点、記憶に頼って被写体の動きが大きく注目すべきシーンを検索することは難しい。また、撮像中の画像がリアルタイムに配信されてくる場合も、復号側で編集処理を加えなくても、高品質なスロー再生をリアルタイムに再生することができる。
以上、本発明をいくつかの実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば、実施形態1にて、上述した適応的なフレームレートの変更処理により高速撮像されている期間、撮像装置500の図示しないファインダなどの表示部に、何倍速で撮像されているかを示すメッセージなどを表示させてもよい。これにより、フレームレートの適応的な変更をユーザにリアルタイムに通知することができる。
また、実施形態2にて、上述した記録フォーマットによる記録以外に、H.264/AVC規格のSVC(Scalable Video Codec)機能を利用して記録手法も可能である。すなわち、SVCのMCTF(Motion Compensated Temporal Filtering、動き補償時間方向フィルタ)技術を用い、高速撮像されたフレームをスローモーション映像として全域フレームとして記録し、通常速度映像としてのフレームおよび上記スローモーション映像と通常速度映像の中間となる時間速さでのスローモーション映像としてのフレームを低周波フレームとして記録する。これにより、スケーラブルな高品質のスローモーションなどの特殊映像を備えて、圧縮率をさらに向上させることができる。
実施形態1に係る符号化装置を搭載した撮像装置の構成図である。 実施形態1に係るフレームレート制御部の構成を説明する図である。 実施形態1に係る3種類のフレームレート周期tを示す図である。 実施形態1に係る動きベクトル量の変化とフレームレートの変化の関係を示す図である。 図5(a)−(b)は撮像および再生するときの時間軸上におけるフレームデータの並びを示す図である。 実施形態1に係るフレームレート変更処理の一例を示すフローチャートである。 実施形態2に係る符号化装置を搭載した撮像装置の構成図である。 3倍速撮像により生成された画像フレームから基本レート画像フレームを生成する過程を説明する図である。 通常再生およびスロー再生において再生されるフレームを示す図である。 実施形態2に係るフレームレートが適応的に変更されながら撮像される画像フレームから基本レート画像フレームを生成する具体例を説明する図である。 実施形態2に係る通常速撮像モードで撮像されたフレームと3倍速撮像モードで撮像されたフレームの撮像時間軸上での並びを示す図である。 図12(a)−(c)は実施形態2に係る動画像ストリームの記録例を示す図である。 実施形態3に係る復号装置を搭載した画像再生装置の構成図である。 図14(a)−(d)は実施形態3に係る表示部の表示例を示す図である。 図15(a)−(b)は実施形態3に係る表示部の編集画面例1を示す図である。 図16(a)−(b)は実施形態3に係る表示部の編集画面例2を示す図である。
符号の説明
300 復号装置、 305 フレーム選択部、 310 可変長復号部、 312 加算器、 320 逆量子化部、 330 逆DCT部、 360 動き補償部、 380 フレームメモリ、 610 表示制御部、 612 表示部、 620 通信部、 630 画像バッファ、 640 画像記録部、 650 特殊再生制御部、 660 編集部、 670 操作部、 700 画像再生装置。

Claims (5)

  1. 撮像により撮像対象の複数のピクチャを取得する撮像手段と、
    前記撮像手段のフレームレートを制御するフレームレート制御手段と、
    前記撮像手段により取得された複数のピクチャを符号化し、符号化画像ストリームを生成する符号化手段と、
    前記符号化手段により生成された符号化画像ストリームを復号する復号手段と、
    を備え、
    前記フレームレート制御手段は、指定により前記撮像手段のフレームレートを予め設定された基本フレームレートより高いフレームレートに変更し、
    前記符号化手段は、前記撮像手段のフレームレートが基本フレームレートより高いフレームレートに変更されたとき、基本フレームレートより高いフレームレートで撮像された複数のピクチャから基本フレームレートに対応したピクチャを生成するとともに、前記撮像された複数のピクチャと前記基本フレームレートに対応したピクチャとが混在する符号化画像ストリームを生成し、
    前記復号手段は、前記符号化手段により生成された前記符号化画像ストリームを復号するとき、指定された再生モードに応じて、前記撮像された複数のピクチャおよび前記基本フレームレートに対応したピクチャのいずれかを選択して復号する、
    ことを特徴とする撮像装置。
  2. スロー再生モードが指定された場合、前記復号手段は、前記撮像された複数のピクチャを選択して復号することを特徴とする請求項1に記載の撮像装置。
  3. 前記復号手段により復号された符号化画像ストリームを表示装置に表示する表示制御手段を備え、
    当該表示制御手段は、表示装置の同一画面上に、スロー再生画像を表示する領域と、非変速再生画像を表示する領域とを設けて画像を表示し、
    前記撮像された複数のピクチャと前記基本フレームレートに対応したピクチャとが混在する区間を含む符号化画像ストリームを表示するとき、前記混在する区間にて、前記スロー再生画像を前記撮像された複数のピクチャから生成し、前記非変速再生画像を前記基本フレームレートに対応したピクチャから生成することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記表示制御手段は、前記画面上に、前記撮像された複数のピクチャによるスロー再生が可能な状態である場合、その旨を表示する領域をさらに設けることを特徴とする請求項3に記載の撮像装置。
  5. 前記表示制御手段は、前記画面上に、編集対象の前記符号化画像ストリームのデータ区間およびその再生位置を示すデータ区間表示領域をさらに設け、
    前記データ区間表示領域に、前記符号化画像ストリームの全データ区間のうち、前記混在する区間を識別可能なよう表示することを特徴とする請求項3または4に記載の撮像装置。
JP2006207220A 2006-07-28 2006-07-28 撮像装置 Expired - Fee Related JP4794386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006207220A JP4794386B2 (ja) 2006-07-28 2006-07-28 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006207220A JP4794386B2 (ja) 2006-07-28 2006-07-28 撮像装置

Publications (2)

Publication Number Publication Date
JP2008035280A JP2008035280A (ja) 2008-02-14
JP4794386B2 true JP4794386B2 (ja) 2011-10-19

Family

ID=39124228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006207220A Expired - Fee Related JP4794386B2 (ja) 2006-07-28 2006-07-28 撮像装置

Country Status (1)

Country Link
JP (1) JP4794386B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4895016B2 (ja) * 2006-09-28 2012-03-14 三洋電機株式会社 撮像装置
JP4777274B2 (ja) * 2007-02-19 2011-09-21 キヤノン株式会社 映像再生装置及びその制御方法
JP5141427B2 (ja) * 2008-07-30 2013-02-13 株式会社ニコン 画像再生装置および画像再生プログラム
JP4992860B2 (ja) * 2008-08-13 2012-08-08 カシオ計算機株式会社 撮像装置及びプログラム
JP4742324B2 (ja) 2009-02-17 2011-08-10 カシオ計算機株式会社 動画像を記録する記録装置、記録方法及びプログラム
JP2011139293A (ja) * 2009-12-28 2011-07-14 Sanyo Electric Co Ltd 画像再生制御装置、画像再生制御方法および撮像装置
JP2011139291A (ja) * 2009-12-28 2011-07-14 Sanyo Electric Co Ltd 画像再生制御装置、画像再生制御方法および撮像装置
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
JP6357548B2 (ja) * 2015-02-03 2018-07-11 株式会社ソニー・インタラクティブエンタテインメント 動画像処理装置
EP3249652B1 (en) * 2016-05-25 2020-07-15 Axis AB Method and apparatus for playing back recorded video
KR102584526B1 (ko) * 2016-09-26 2023-10-05 한화비전 주식회사 영상 처리 장치 및 방법
JP7115058B2 (ja) * 2018-06-21 2022-08-09 日本電気株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094947A (ja) * 2000-09-12 2002-03-29 Matsushita Electric Ind Co Ltd 高速映像再生装置、高速映像再生方法および記録媒体
JP2003078880A (ja) * 2001-08-30 2003-03-14 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2004180290A (ja) * 2002-11-15 2004-06-24 Sony Corp 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
JP3985775B2 (ja) * 2002-11-15 2007-10-03 ソニー株式会社 編集画像表示制御装置と編集画像表示制御方法およびプログラム
JP4222869B2 (ja) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
JP2004221999A (ja) * 2003-01-15 2004-08-05 Canon Inc 画像処理方法
JP4244720B2 (ja) * 2003-06-20 2009-03-25 ソニー株式会社 撮像装置及び画像検索方法
JP2006121299A (ja) * 2004-10-20 2006-05-11 Canon Inc 記録再生装置
JP4609711B2 (ja) * 2005-05-19 2011-01-12 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2008035280A (ja) 2008-02-14

Similar Documents

Publication Publication Date Title
JP4794386B2 (ja) 撮像装置
KR100904649B1 (ko) 서브-프레임 메타데이터를 이용한 적응적 비디오 프로세싱회로 및 플레이어
JP5029062B2 (ja) 多視点動画像伝送システム
KR100504641B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
WO2008075688A1 (ja) 撮像装置及び方法、記録装置及び方法、再生装置及び方法
JP2008228282A (ja) 画像処理装置
JP2010035133A (ja) 動画像符号化装置及び動画像符号化方法
JP2008035281A (ja) 画像符号化方法
JP2004015501A (ja) 動画像符号化装置および動画像符号化方法
JP2009284331A (ja) 復号装置及び復号方法、プログラム
JP3592025B2 (ja) 撮影画像記録装置
JP4771986B2 (ja) 画像符号化装置およびそれを用いた撮像装置
JP2008141354A (ja) 画像符号化装置および撮像装置
JP4850111B2 (ja) 画像表示装置およびそれを搭載した撮像装置
JP4875008B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
JP2004128941A (ja) 画像符号化方法および画像符号化装置
JP2009027693A (ja) 動画像圧縮符号化装置
JP2010166386A (ja) 動画再生装置及びプログラム
JP2009218965A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
JP2007142809A (ja) 映像記録装置
JP2005341382A (ja) 画像処理装置,撮像装置,コンピュータプログラムおよび画像処理方法
JP2006311366A (ja) 画像記録装置及び画像記録装置の駆動方法
JP2005175974A (ja) 撮像装置
JP2004180345A (ja) 撮影画像記録装置
JP4700992B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110726

R151 Written notification of patent or utility model registration

Ref document number: 4794386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees