JP4797974B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4797974B2
JP4797974B2 JP2006346927A JP2006346927A JP4797974B2 JP 4797974 B2 JP4797974 B2 JP 4797974B2 JP 2006346927 A JP2006346927 A JP 2006346927A JP 2006346927 A JP2006346927 A JP 2006346927A JP 4797974 B2 JP4797974 B2 JP 4797974B2
Authority
JP
Japan
Prior art keywords
image
encoder
unit
control information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006346927A
Other languages
English (en)
Other versions
JP2008160494A (ja
Inventor
桜井博
高橋将
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006346927A priority Critical patent/JP4797974B2/ja
Priority to US12/000,954 priority patent/US20080152313A1/en
Publication of JP2008160494A publication Critical patent/JP2008160494A/ja
Application granted granted Critical
Publication of JP4797974B2 publication Critical patent/JP4797974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、記録再生機能を備えた撮像装置に関する。
本技術分野の背景技術として、例えば、特開平08−046959号公報(特許文献1)、特開2005−151173号公報(特許文献2)、特開2006−245867号公報(特許文献3)、特開平10−191255号公報(特許文献4)、特開2006−237846号公報(特許文献5)がある。それぞれ、次のように記載されている(要約参照)。
特開平08−046959号公報には、「[目的]動画像の符号化データを高品位化するための作業の効率改善を図る。[構成]共通の動画像をそれぞれ同時に圧縮符号化して、それぞれ同一符号量の参照画像を生成すると共に、それぞれ異なる符号量の非参照画像を生成する複数の符号器2、3、4、及び各符号器2、3、4で得た符号化データの中から任意に選択された符号化データを画像グループの単位で結合し、これを最終出力ストリームとしてデータ蓄積媒体9に蓄積する合成部8を備える。動画像の圧縮符号化を見掛け上一回行うだけでよくなり、人の介入を要する作業は各符号器2、3、4で得た符号化データの中から任意の符号化データを選択する作業だけとなり、作業効率の改善を実現できる。」と記載されている。
特開2005−151173号公報には、「[課題]同一の動画像コンテンツを高ビットレートで符号化して第1の記録部に記録すると同時に、低ビットレートで符号化して第2の記録部に記録した場合、両者を連携して再生する方法を実現する。[解決手段]復号部104が第1の記録部102に記録された符号化データを再生し、これに続いて再生を停止すると、管理部105は、最後に再生されたパケットの次にあるパケットのタイムスタンプを再生開始点として符号化データのヘッダに書き込む。同時に、この時の時刻が再生開始点の更新時刻としてヘッダに書き込まれる。管理部105は次に、第2の記録部103に記録された符号化データの再生開始点と再生開始点の更新時刻を、第1の記録部102に同期させる働きをする。」と記載されている。
特開2006−245867号公報には、「[課題]記録済みの映像信号を極力再圧縮せずに、ユーザが記憶容量をコントロール可能な映像記録再生装置を提供する。[解決手段]映像信号をそれぞれ異なるビットレートでエンコードして記録媒体に記録する2以上のエンコーダと、記録媒体に記録中または記録終了後に、いずれかのエンコーダを介して記録された映像データを削除する手段とを備える。」と記載されている。
特開平10−191255号公報には、「[課題]本発明は、記録再生装置に関し、簡易な構成でデータの破損によつて生じる出力の乱れを未然に防止し得るようにする。[解決手段]入力データを第1のビツトレート及び第1のビツトレートに比して低いビツトレートの第2のビツトレートで圧縮符号化して記録媒体(5)に記録するようにしたことにより、再生時、第1のビツトレートで圧縮符号化されたデータが破損された場合は、第2のビツトレートで圧縮符号化されたデータを伸長復号化して出力し得、データの破損によつて生じる出力の乱れを未然に防止し得る。かくするにつき簡易な構成でデータの破損によつて生じる出力の乱れを未然に防止し得る。」と記載されている。
特開2006−237846号公報には、「[課題]記録メディアに応じた最適な符号量制御が可能な装置を提供する。[解決手段]動画像データを入力する入力手段と、前記動画像データを符号化する符号化手段と、前記符号化手段により出力された符号化動画像データを第1の記録媒体に記録する第1の記録手段と、前記符号化手段により出力された符号化動画像データを第2の記録媒体に記録する第2の記録手段と、前記第1の記録媒体と前記第2の記録媒体のうち一方を選択して前記符号化動画像データを記録させる選択手段と、前記符号化手段により出力される符号化動画像データの発生符号量を制御する符号量制御手段と、前記選択手段の選択結果に応じて前記符号量制御手段による制御手順を変更する変更手段とを備える。」と記載されている。
特開平08−046959号公報 特開2005−151173号公報 特開2006−245867号公報 特開平10−191255号公報 特開2006−237846号公報
画像圧縮し、記録する方法として、2パスエンコードが知られている。この2パスエンコードでは、一度エンコードをした後、その際のエンコードで得られたレート制御情報等を基に、再度エンコードし、画質向上する手法である。
しかしながら、従来の技術では、圧縮する元画像データを保持しなければならず、大掛かりな装置を必要とする。そのため、携帯して用いることが多く、小型化が求められるカメラでは、2パスエンコードは用いられにくい。
他方、近年の画像圧縮においては、高ビットレートの画像と低ビットレートの画像を同時に記録することも可能となってきている。この場合、低ビットレートの画像にとっては、圧縮する元画像データを保持しなくとも、高ビットレートの画像を用いることで、2パスエンコードを実現することができる。
そこで、複数のメディアを利用し、低ビットレートであっても高画質の記録をすることができ、かつ、簡単な構成の撮像装置が望まれる。
本発明の目的は、撮像装置の高画質化である。
上記目的を達成するために、その一例として、高ビットレートの画像と低ビットレートの画像を同時に記録し、高ビットレートの画像から低ビットレートの画像へ置き換え、もしくは高ビットレートの画像を再エンコードして高画質の低ビットレート画像を生成、記録するようにする。
本発明の詳細は、特許請求の範囲に記載のとおりである。
本発明によると、撮像装置の高画質化が実現される。一例として、低ビットレートで高画質画像を記録することができ、メディアへの記録容量を削減することができ、より高画質で記録時間を長くすることができる。
なお、上記した以外の本発明の課題、構成、効果は、実施形態の中で説明される。
以下、本発明の実施形態を図面により説明する。
図1は本発明による撮像装置の一実施形態を示すブロック図であって、1はレンズ、2はセンサ、3はカメラ信号処理、4は該1、2、3を総称した撮像部、5は第一の画像圧縮用エンコーダ1、6は第二の画像圧縮用エンコーダ2、7はメモリ制御部、8は画像データ格納用メモリ、9はCPU、50はレート制御情報保持部、51は画質劣化判定部、10はストリーム制御部、11は第一の記録メディア1、12は第二の記録メディア2、13はバッファメモリである。例えば、第一の記録メディア1は光ディスク(例えば、DVD)を、第二の記録メディア2はハードディスクを用いることができるが、これに限定されない。また、例えば、第一の画像圧縮用エンコーダ1はMPEG2方式の画像圧縮を、第二の画像圧縮用エンコーダ2はH.264方式の画像圧縮を用いることができるが、これに限定されない。
同図において、撮像部4から出力されるデジタル画像データはメモリ制御部7を介してメモリ8に格納される。該格納されたデジタル画像データは所定のタイミングでメモリ8より読み出し、第一のエンコーダ5と第二のエンコーダ6それぞれに供給する。第一のエンコーダ5の出力は低ビットレートで画像圧縮され、ストリーム制御部10に入力し、一旦バッファ13に格納去れた後、第一の記録メディア11に書き込む。それと同時に、第二のエンコーダ6の出力は高ビットレートで画像圧縮され、第一のエンコーダ出力と同様にストリーム制御部10から一旦バッファ13に格納した後、第二の記録メディア12に記録する。CPU9は上記第一のエンコーダ5から、発生符号量を制御するためのレート制御情報として、レート制御情報保持部50に記憶し、該レート制御情報から画質劣化位置を画質劣化判定部51により判定し、該画質劣化位置を記憶する。次に、記録終了後について説明する。第一の記録メディアに記録された圧縮画像データと第二の記録メディアに記録された圧縮画像データを同時にストリーム制御部10に読み出し、上記検出した画質劣化位置でない場合は、第一の記録メディアに記録された圧縮画像データをそのまま再度第一の記録メディア11に書き戻し、上記画質劣化した画像位置の場合は、第二の記録メディアから読み出した圧縮画像データに置き換えて第一の記録メディア11に記録する。これにより、第一に記録メディア11に記録された低ビットレート画像の画質劣化部が高ビットレートの画像に置き換わり高画質な画像を記録することができる。なお、上記置き換えは例えばGOP(Group Of Picture)単位とすることにより、より高画質な画像を得ることができる。この様子を図2に示す。図2において、画像入力はそれぞれI_picture、P_picture、B_pictureとしてエンコードし、一般的に15枚程度の画像データをGOPとする。このGOP単位で画質劣化の大きいGOPを高画質の圧縮データに置き換える。図2の例では、GOP2-Lが高画質なGOP2-Hに置き換わり、記録メディアに書き込むことができる。GOP単位での画質劣化の判断は、Qパラメータ情報から行う。Qパラメータ情報が所定の値を逸脱した場合は動きの激しい画像、もしくは高周波成分の多い細かい絵柄等であり、画質が劣化していると判断すればよい。
ところで、一般的にはQパラメータ情報はマクロブロック(16×16画素)単位での量子化係数を意味し、量子化係数が大きいほど、量子化ステップが荒くなり画質劣化が大きくなる。Qパラメータ情報はマクロブロック単位の情報のため、画質劣化の判断にはPicture毎の平均値、あるいはGOPでの平均値を用いる等により行えば情報量を少なくすることが可能である。
なお、図2のGOP構成では、B0、B1で示すB_pictureは、前のGOPのP12を予測画像として生成することが可能であるが、本実施例では、GOP単位でのデータ置き換えを行うため、同一GOP内のI2を予測画像としたクローズドGOPとしてエンコードすることが望ましい。
本実施例では、第二のエンコーダ6の出力を記録メディア11に全圧縮画像データを記録することにより実現したが、上記検出した画質劣化位置情報に対応した画像データのみを記録し、上記第一のエンコーダ5により記録された圧縮画像データの置き換え位置の時だけ、記録メディア11出力を読み出し、該出力で置き換えるよう構成することも可能である。また、記録メディア10には低ビットレートデータ、記録メディア11には高ビットレートデータを記録することにより説明したが、入れ替えて記録してもよいことは言うまでもない。
図3は第2の実施形態を示すもので、図1で示した第1の実施形態との相違点は第二のエンコーダ6をコーデック14に置き換えた点で、第1の実施形態と同一機能部分には同一記号を付し、その説明を省略する。
本実施例において、第一、第二の記録メディアに記録するところまでは、第1の実施形態と同様であり、記録するまでの説明は省略し、記録データを読み出すところから説明する。なお、レート制御情報としては、Qパラメータ情報とスタッフィング情報を記憶しレート制御情報保持部50に、また、画質劣化位置については、レート制御情報保持部に格納された情報から、画質劣化判定部51により検出し、保持する。次に記録後の動作を説明する。第一のメディア11、第二のメディア12から、同時に記録されたデータを読み出し、第二の記録メディアから読み出された圧縮画像データはストリーム制御部10を介しコーデック14に供給される。ストリーム制御部10では、バッファ13によりバッファリングを行い、データ出力タイミングを制御する。次に、該コーデック14では圧縮画像データを伸長し、復号画像データを生成する。該画像データはメモリ制御部7を介してメモリ8に記憶され、所定のタイミングで第一のエンコーダ5に読み出す。第一のエンコーダでは記録時に検出された画質劣化位置の画像データを保持していたレート制御情報に基づき再エンコードし、画質改善を行う。該再エンコードデータをストリーム制御部10に供給し、第一に記録メディアから読み出した圧縮ストリームに置き換える。これにより、第1の実施形態と同様、低ビットレートでかつ高画質な画像を記録することができる。
次に、再エンコードする際の画質改善について説明する。再エンコード時の画質改善は記憶しておいたレート制御情報を基づいて行う。例えば、GOP単位内での各PictureのQパラメータ値の平均値が高いPictureに対して再エンコード時での符号量割り当て量を増やし、また、Qパラメータ値の平均値が低いPicture、あるいはスタッフィング量の多いPictureに対しては符号量割り当てを少なくすることでより高画質な圧縮画像を得ることができる。また、マクロブロック毎あるいは、複数マクロブロック毎にQパラメータ値を参照し、マクロブロック、あるいは複数マクロブロック毎に符号量割り当てを行えばさらに高画質な圧縮画像を記録することができる。なお、本実施例ではスタッフィング情報を記録時に記憶することにより説明したが、再エンコード前でのデコード時に記憶することも可能である。
以上、本実施例によれば、第1の実施形態のようにビットレートが上がることなく、低ビットレートを保ったまま、高画質な画像を記録することが可能である。
図4は第3の実施形態を示すもので、図3で示した第2の実施形態との相違点はサイズ変換部15を備えた点で、第2の実施形態と同一機能部分には同一記号を付し、その説明を省略する。
本実施例において、第一の記録メディアに記録するところは第2の実施形態と同様で、低ビットレートかつSDサイズ(例えば720×480)の画像を記録し、また、画質劣化位置情報およびレート制御情報をCPUに蓄積する。これに対し第二の記録メディアにはHDサイズの圧縮画像データを記録する。該第二の記録メディアから読み出されたデータはストリーム制御部12を介してコーデック14に入力され、HDサイズ(例えば1920×1080)の画像として、メモリ制御部6を介しメモリ7に記憶される。次に所定のタイミングでメモリ7より読み出されたHDサイズの映像データはサイズ変換部15によりSDサイズへダウンコンバートする。第一のエンコーダでは記録時に検出された画質劣化位置の画像データを保持していたレート制御情報に基づき上記SDサイズへダウンコンバートした映像信号を再エンコードし、画質改善を行う。該再エンコードデータをストリーム制御部10に供給し、第一に記録メディアから読み出した圧縮ストリームに置き換える。本実施例においても、再エンコード時の動作については、図3の実施例と同様であり、説明は省略する。
これにより、本実施例では、第2の実施形態と同様、低ビットレートな画像を記録することが可能である。
図5は第4の実施形態を示すもので、図3に示す実施形態との相違点は、第二のエンコーダ6をデコーダ16で構成した点で、その他は図3に示す実施形態と同様であり、同一機能部分には同一記号を付し、その説明を省略する。
本実施例では、第一のエンコーダ5を時分割で低ビットレートと高ビットレートそれぞれの圧縮画像を生成し、それぞれ第一の記録メディア11、第二の記録メディア12に記録する。記録タイミングの一例を図6を用いて説明する。撮像部4から入力したデジタル画像信号はメモリ制御部6を介してメモリ7に記憶する。図6において、あるタイミングの入力画像を番号を付し0、1、2---とした場合、Iピクチャとしてエンコードする2の画像データがメモリ7に記憶された次のフレームからエンコードを開始する。この際、エンコーダ5では低ビットレートの圧縮画像として、S2Aの画像を出力し、ストリーム制御部10を介して第一のメディア10に記録すると同時に、CPU9へレート制御情報から検出した画質劣化位置情報、レート制御情報を蓄積する。その後、高ビットレート圧縮画像として、S2Bを出力し、ストリーム制御回路10を介し第二の記録メディアに記録する。その後、それぞれの記録メディアから圧縮画像データを読み出し、高ビットレート画像をデコーダ16で伸長し、メモリ7へ記録する。その後、図3、図4に示す実施形態と同様にメモリ7から読み出した伸長画像から、レート制御情報に基づき低ビットレート画像を再エンコードすることにより生成し、第一の記録メディア11への記録する。本実施例では、図3、図4の実施例のコーデック14がデコーダ16となるため、回路規模を小さくできる特徴がある。
以上、本実施例によれば、高画質な低ビットレート画像の記録を少ない回路規模により実現することができる。
図7は第5の実施形態を示すもので、第一、第二の2つのエンコーダ5、6と、デコーダ16から構成したもので、他の実施形態と、同一機能部分には同一記号を付し、その説明は省略する。
本実施例において、第一のエンコーダ5は第4の実施形態と同様、時分割で、高ビットレート画像と低ビットレート画像を生成し、それぞれ第一、第二の記録メディア11、12に記録する。その際低ビットレート画像のレート制御情報をCPU9に同時に記録する動作、および再エンコードにより高画質低ビットレート圧縮画像の生成する動作は第2、第3、第4の実施形態と同様である。
図8は本実施例の動作を説明する図で、1つのGOPを記録し終わると、高ビットレート画像データと低ビットレート画像データを同時に読み出し、高ビットレート画像データをデコーダ16で伸長しメモリに蓄えた後、第二のエンコーダ6により、蓄積しておいた、低ビットレート画像生成時のレート制御情報に基づき再度圧縮し、低ビットレート、高画質な圧縮画像データを生成し、ストリーム制御部10に供給する。これと同時に、記録メディア11に記録した低ビットレート圧縮データをストリーム制御部に供給する。ここで、画質劣化部の該低ビットレート圧縮データを上記、再度圧縮した低ビットレートに置き換え、第二の記録メディア12に記録する。
以上説明したように、本実施例によれば、高画質低ビットレート圧縮画像を記録することができるとともに、記録後、高画質変換動作を行うことなく記録することができる。
図9は第6の実施形態を示すもので、第五の実施形態における記録メディアを記録メディア11の一つで構成した点以外は第六の実施形態と同様であり、同一機能部分には同一記号を付し、その説明は省略する。
本実施例では、記録メディアを記録メディア11の一つで構成し、第一のエンコーダ5は第4の実施形態と同様、時分割で、高ビットレート画像と低ビットレート画像を生成し記録メディア11に記録する。その際低ビットレート画像のレート制御情報をCPU9に同時に記録する動作、および再エンコードにより高画質低ビットレート圧縮画像の生成する動作は第2、第3、第4、第5の実施形態と同様である。本実施例における記録メディア11は、2つの圧縮ストリームを同時に記録、また、記録後の再エンコードでの高画質低ビットレート圧縮画像の生成時の同時読み出しと、2つのストリームを扱う必要があるため、高速動作が要求される。また、容量的にも2つの圧縮ストリームを記録するため、大容量が必要である。
本実施例によれば、一個の記録メディアにより構成できるので、小形で高画質低ビットレート圧縮画像を記録することができる。
図10は第7の実施形態を示すもので、エンコード、デコード機能をコーデック14一個のみで構成した点以外は他の実施形態と同様であり、同一機能部分には同一記号を付し、その説明は省略する。
本実施例では、低ビットレートと高ビットレートの圧縮画像を時分割でコーデック14で生成し、低ビットレート画像のレート制御情報をCPU9に同時に記録すると同時に、それぞれ記録メディア11、12に記録する。その後、記録された圧縮ストリームの読み出しは他の実施例と同様であるが、再エンコードの際には、コーデック14では、デコードとエンコードを時分割にて行う。図11は本実施例の動作を説明する図で、低ビットレートの圧縮画像データおよび高ビットレート圧縮画像データをそれぞれ、S0A---、S0B---と生成し、記録する。次に記録メディア12から読み出された該高ビットレート圧縮画像データはストリーム制御部10を介してコーデック14に供給される。コーデック14では、図11の再エンコード時の動作に示すように、D0B---で示すデコード動作と、S0---で示す再エンコード動作を時分割で行う。蓄積しておいた低ビットレート画像生成時のレート制御情報に基づく再エンコード動作については、他の実施例と同様の動作を行うので、説明は省略する。
以上説明したように、本実施例によれば、圧縮伸長をコーデック14のみで行うことができるので、回路規模が小さく、低コストで高画質低ビットレート圧縮画像を記録することができる。
図12は第8の実施形態を示すもので、画質劣化の判断をユーザが行うよう構成した実施例である。本実施例は図3に示す実施例に画質劣化部分をユーザが指定できるよう、スイッチ17を備えた点以外、図3の実施例と同様の動作を行うので、同一機能部分には同一記号を付し、その説明は省略する。
本実施例において、レート制御情報としてQパラメータ情報とスタッフィング情報を記憶すること、および第一、第二の記録メディアに記録するところまでは、図3の実施例と同様であるが、画質劣化位置はユーザが位置を指定するので、保持する必要はない。記録した後、ユーザは低ビットレート画像の再生を行い、モニタ等で見ながら画質劣化が激しいと判断すると、スイッチ17をONすることにより、CPUは画質劣化位置情報として保持する。ユーザが再生を終了すると、上記画質劣化位置情報に基づいて、高ビットレート圧縮画像データを伸長、該伸長データから、高画質低ビットレート圧縮画像データを生成する。本高画質低ビットレート圧縮画像データの生成については、図3と同様の動作により行うので、説明は省略する。なお、再エンコードによる画質改善動作はGOP単位で行うので、ユーザが画質劣化と判断した画像を含むGOPはすべて再エンコードすればよい。
本実施例によれば、ユーザが画質確認を行った後、その部分について画質改善動作を行うことができるので、ユーザの満足度の高い圧縮画像を生成できる。また、本実施例のように、ユーザが画質劣化位置を指定する構成を図3の実施例から実現したが、本発明の他の実施例を用いて実現することが可能であることはいうまでもない。
図13は第9の実施形態を示すもので、図3に示す実施例に音声処理を加えたもので、図3の実施例と同一機能部分には同一記号を付し、その説明は省略する。まず、本実施例での記録について説明する。マイク30より音声信号が入力し、音声処理部32で適性レベルのデジタル音声データとした後、音声コーデック33により圧縮音声データを生成し
ストリーム制御部20に供給する。一方、映像データについては、図3で説明したように、高ビットレート圧縮画像データ、低ビットレート圧縮画像データが生成され、音声信号と同様に、ストリーム制御部20に供給される。ストリーム制御部20に供給された2つの圧縮画像データと音声圧縮データは、図14に示すストリーム制御部20の詳細図に示す、MUX/DEMUX部21、22にそれぞれ供給され、映像、音声を含むシステムストリームが生成される。該生成された2つのシステムストリームは記録メディア11、12にそれぞれ記録される。その際、バッファ13によりバッファリングし、システムストリームの生成タイミングおよび記録タイミングを調整する。次に、再エンコード動作により説明する。上記記録メディア11、12から上記2つのシステムストリームを読み出し、バッファ13によりタイミングを調整しながら、それぞれMUX/DEMUX部21、22により音声圧縮データと画像圧縮データに分離される。この時、音声データはバッファ13に保持しておく。分離後、高ビットレートの圧縮画像データをデコード、低ビットレート画像のレート制御情報に基づいて再エンコードするところは図3の説明と同様である。該再エンコードされた画質改善された圧縮画像データは、再度、ストリーム制御部20に供給され、
MUX/DEMUX部21により上記保持しておいた音声圧縮データと上記圧縮画像データからシステムストリームを生成して、記録メディア11に記録する。なお、映像、音声の再生では、上記2つのシステムストリームのいずれかの音声を出力するため、切り替え部23を設けている。
以上、本実施例によれば、低ビットレート高画質圧縮画像データをを圧縮音声データとともに圧縮規格にのっとり一つのストリームとして記録することができる。
なお、本実施例では圧縮音声データは1つのみ生成することにより説明したが、画像データと同様に2つの圧縮データを使用してもよい。その際、音声コーデックを2つ準備してもよいが、音声コーデック33を時分割で動作させると、ハードを増やすことなく実現できる。また、本実施例では、低ビットレート圧縮画像データ、高ビットレート圧縮画像データそれぞれに対してシステムストリームとして一旦記録する構成としたが、たとえば、低ビットレート圧縮画像データのみをシステムストリームとして記録し、高ビットレート圧縮画像データは画像データのみを記録することによりMUX/DEMUX部22、音声切り替え部23を省略した構成とすることも可能である。
なお、圧縮伸長の方式については、MPEG-1、MPEG-2、MPEG-4、H.264等の動画圧縮規格があるが、特に圧縮方式にこだわるものではなく、本発明のいずれの実施例においても有効であることについても言うまでもない。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
本発明による撮像装置の第1の実施例を示すブロック図である。 図1における撮像装置の動作を模式的に示す図である。 本発明による撮像装置の第2の実施例を示すブロック図である。 本発明による撮像装置の第3の実施例を示すブロック図である。 本発明による撮像装置の第4の実施例を示すブロック図である。 図5における撮像装置の動作を模式的に示す図である。 本発明による撮像装置の第5の実施例を示すブロック図である。 図7における撮像装置の動作を模式的に示す図である。 本発明による撮像装置の第6の実施例を示すブロック図である。 本発明による撮像装置の第7の実施例を示すブロック図である。 図10における撮像装置の動作を模式的に示す図である。 本発明による撮像装置の第8の実施例を示すブロック図である。 本発明による撮像装置の第9の実施例を示すブロック図である。 図13のストリーム制御部を説明するブロック図である。
符号の説明
1 レンズ
2 センサ
3 カメラ信号処理部
4 撮像部
5 第一のエンコーダ
6 第二のエンコーダ
7 メモリ制御部
8 メモリ
9 CPU
10 ストリーム制御部
11 第一の記録メディア
12 第二の記録メディア
13 バッファ
14 コーデック
15 サイズ変換部
16 デコーダ
17 スイッチ
20 ストリーム制御部
21 MUX/DEMUX部
22 MUX/DEMUX部
23 切り替え部
30 マイク
31 スピーカ
32 音声処理部
33 音声コーデック
50 レート制御情報保持部
51 画質劣化判定部

Claims (8)

  1. センサからデジタル映像信号を生成する撮像部と、
    画像圧縮を行う第一および第二のエンコーダと、
    上記第一および第二のエンコーダ出力を記録メディアに記録する記録部と、
    上記第一のエンコーダで圧縮する際のレート制御情報蓄積部と、
    を具備する撮像装置であって、
    第一のエンコーダで生成した圧縮データのうち上記レート制御情報に応じて定まる所定の位置を、当該位置に対応する第二のエンコーダで生成した圧縮データに、同一単位内の画像を予測画像とする所定単位で、置き換えることを特徴とする撮像装置。
  2. センサからデジタル映像信号を生成する撮像部と、
    画像圧縮を行うエンコーダと、
    画像圧縮と画像伸長を動作切り替えにより選択可能なコーデックと、
    上記エンコーダ出力と上記コーデックでのエンコード出力を記録メディアに記録する記録部と、
    上記エンコーダで圧縮する際のレート制御情報蓄積部と、
    を具備する撮像装置であって、
    上記コーデックで生成した圧縮データを該コーデックをデコードに切り替え伸長した後、上記レート制御情報に応じて定まる位置の該エンコーダで再度圧縮生成したデータを、当該位置に対応する上記エンコーダ出力データに、同一単位内の画像を予測画像とする所定単位で、置き換えて記録することを特徴とする撮像装置。
  3. 請求項2において、
    サイズ変換部を備え、上記コーデックから生成したHD画像を圧縮伸長した画像を該サイズ変換部によりSDサイズに変換した後、上記レート制御情報に応じて該エンコーダで再度圧縮生成したデータを、上記レート制御情報に応じて上記エンコーダ出力データに置き換えて記録することを特徴とする撮像装置。
  4. センサからデジタル映像信号を生成する撮像部と、
    画像圧縮を行うエンコーダと、
    画像伸長を行うデコーダと、
    上記エンコーダ出力を記録メディアに記録する記録部と、
    上記エンコーダで圧縮する際のレート制御情報蓄積部と、
    を具備する撮像装置であって、
    上記エンコーダでは時分割でビットレートの異なる2つの圧縮データを生成し、該2つの圧縮データの内ビットレートの低い圧縮を行う際のレート制御情報を蓄積し、該2つの圧縮データのビットレートの高い圧縮データを上記デコーダにより伸長した後、上記レート制御情報に応じて定まる位置の該エンコーダで再度圧縮生成したデータを、当該位置に対応する上記ビットレートの低い圧縮データに、同一単位内の画像を予測画像とする所定単位で、置き換えて記録することを特徴とする撮像装置。
  5. センサからデジタル映像信号を生成する撮像部と、
    画像圧縮を行う第一および第二のエンコーダと、
    画像伸長を行うデコーダと、
    上記エンコーダ出力を記録メディアに記録する記録部と、
    上記第一のエンコーダで圧縮する際のレート制御情報蓄積部と、
    を具備する撮像装置であって、
    上記第一のエンコーダでは時分割でビットレートの異なる2つの圧縮データを生成し、該2つの圧縮データの内ビットレートの低い圧縮を行う際のレート制御情報を蓄積し、該2つの圧縮データのビットレートの高い圧縮データを上記デコーダにより伸長した後、上記レート制御情報に応じて定まる位置の上記第二のエンコーダで再度圧縮生成したデータを、当該位置に対応する上記ビットレートの低い圧縮データに、同一単位内の画像を予測画像とする所定単位で、置き換えて記録することを特徴とする撮像装置。
  6. センサからデジタル映像信号を生成する撮像部と、
    画像圧縮および画像伸長を行うコーデックと、
    上記コーデック出力を記録メディアに記録する記録部と、
    上記コーデックで圧縮する際のレート制御情報蓄積部と、
    を具備する撮像装置であって、
    上記コーデックでは時分割でビットレートの異なる2つの圧縮データを生成し、該2つの圧縮データの内ビットレートの低い圧縮を行う際のレート制御情報を蓄積し、上記コーデックを時分割で伸長、圧縮を切り替えて動作させることにより、該2つの圧縮データのビットレートの高い圧縮データを上記コーデックで伸長した後、上記レート制御情報に応じて定まる位置の上記コーデックで再度圧縮生成したデータを、当該位置に対応する上記ビットレートの低い圧縮データに、同一単位内の画像を予測画像とする所定単位で、置き換えて記録することを特徴とする撮像装置。
  7. 請求項2乃至請求項6のいずれかにおいて、
    ユーザからの情報入力手段を備え、上記レート制御情報の代わりに上記ユーザからの情報に応じて、上記コーデックで再度圧縮生成したデータを、上記ビットレートの低い圧縮データに置き換えて記録することを特徴とする撮像装置。
  8. 請求項1ないし7において、
    前記所定単位はGOPであることを特徴とする撮像装置。
JP2006346927A 2006-12-25 2006-12-25 撮像装置 Active JP4797974B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006346927A JP4797974B2 (ja) 2006-12-25 2006-12-25 撮像装置
US12/000,954 US20080152313A1 (en) 2006-12-25 2007-12-19 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006346927A JP4797974B2 (ja) 2006-12-25 2006-12-25 撮像装置

Publications (2)

Publication Number Publication Date
JP2008160494A JP2008160494A (ja) 2008-07-10
JP4797974B2 true JP4797974B2 (ja) 2011-10-19

Family

ID=39542940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006346927A Active JP4797974B2 (ja) 2006-12-25 2006-12-25 撮像装置

Country Status (2)

Country Link
US (1) US20080152313A1 (ja)
JP (1) JP4797974B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375669B1 (ko) * 2006-11-07 2014-03-19 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
CN102687512A (zh) * 2009-12-28 2012-09-19 松下电器产业株式会社 图像编码装置以及集成电路
FR2990814B1 (fr) * 2012-05-18 2014-05-16 Assistance Tech Et Etude De Materiels Electroniques Procede et systeme de traitement pour generer au moins deux flux video compresses
JP5811045B2 (ja) * 2012-06-14 2015-11-11 株式会社Jvcケンウッド 記録装置および記録方法
JP6023596B2 (ja) * 2013-01-24 2016-11-09 株式会社日立情報通信エンジニアリング 画像符号化装置
KR102509939B1 (ko) * 2015-10-13 2023-03-15 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 인코딩 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846959A (ja) * 1994-07-28 1996-02-16 Toshiba Corp 動画像編集装置
JPH10191255A (ja) * 1996-12-25 1998-07-21 Sony Corp 記録装置、再生装置、記録再生装置、並びに記録方法、再生方法、記録再生方法
US5847760A (en) * 1997-05-22 1998-12-08 Optibase Ltd. Method for managing video broadcast
JP4239318B2 (ja) * 1999-09-29 2009-03-18 ソニー株式会社 記録再生方法及び記録再生装置
CN1169372C (zh) * 2000-02-01 2004-09-29 皇家菲利浦电子有限公司 以可选择的图像分辨率进行视频编码和解码
JP2003102006A (ja) * 2001-09-25 2003-04-04 Pagecom Co Ltd 動画圧縮装置および動画圧縮方法
JP4066852B2 (ja) * 2003-03-04 2008-03-26 株式会社日立製作所 ビデオ符号化方式変換装置、変換方法、およびこれを用いたビデオ記録再生装置
JP4806515B2 (ja) * 2003-05-19 2011-11-02 株式会社日立製作所 符号化装置、これを用いたビデオカメラ装置及び符号化方法
JP2005151173A (ja) * 2003-11-14 2005-06-09 Sharp Corp 動画像記録再生装置、動画像再生装置および動画像再生方法
JP4423215B2 (ja) * 2005-02-23 2010-03-03 キヤノン株式会社 画像処理装置
JP2006245867A (ja) * 2005-03-02 2006-09-14 D & M Holdings Inc 映像記録再生装置および映像記録方法

Also Published As

Publication number Publication date
JP2008160494A (ja) 2008-07-10
US20080152313A1 (en) 2008-06-26

Similar Documents

Publication Publication Date Title
JP4769717B2 (ja) 画像復号化方法
US8073271B2 (en) Method and device for condensed image recording and reproduction
WO2006027880A1 (ja) 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
US20060039469A1 (en) Scalable video compression based on remaining battery capacity
JP4797974B2 (ja) 撮像装置
JP4869147B2 (ja) 画像記録再生装置
JP4284370B2 (ja) ビデオサーバ及びビデオ編集システム
JP4902854B2 (ja) 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JP2007142809A (ja) 映像記録装置
KR100543453B1 (ko) 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP2003023637A (ja) 画像符号化方法および画像符号化装置
JP4178521B2 (ja) 符号化映像信号の記録方法、及び映像信号符号化装置
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2011091592A (ja) 画像符号化装置、符号変換装置、画像記録装置、画像再生装置、画像符号化方法及び、集積回路
JP2001211420A (ja) ディスク記録媒体における圧縮符号化ストリームの編集方法および編集装置
JP2005159832A (ja) 信号処理装置
JP2005101835A (ja) 記録装置
JPH08265693A (ja) 映像信号符号化方法及び映像信号記録媒体
JP2006121415A (ja) 動画符号化装置
JP2005237020A (ja) ディジタル映像処理装置及びディジタル映像処理方法
JP2005079621A (ja) マルチフォーマット符号化器及びこれを含む記録システム、並びに符号化処理用1チップlsi
JP2005011453A (ja) ディジタル情報記録装置
JPH09261069A (ja) 符号化装置
JP2005328434A (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2006129338A (ja) 映像記録再生装置及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110718

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4797974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250