JP4387072B2 - 携帯型映像記録装置 - Google Patents

携帯型映像記録装置 Download PDF

Info

Publication number
JP4387072B2
JP4387072B2 JP2001212649A JP2001212649A JP4387072B2 JP 4387072 B2 JP4387072 B2 JP 4387072B2 JP 2001212649 A JP2001212649 A JP 2001212649A JP 2001212649 A JP2001212649 A JP 2001212649A JP 4387072 B2 JP4387072 B2 JP 4387072B2
Authority
JP
Japan
Prior art keywords
encoding
bit rate
frame
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001212649A
Other languages
English (en)
Other versions
JP2003032629A (ja
Inventor
正志 森
邦夫 中岡
宏明 堺
貴也 菅ヶ谷
明彦 内藤
正樹 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001212649A priority Critical patent/JP4387072B2/ja
Priority to US10/014,351 priority patent/US7313317B2/en
Publication of JP2003032629A publication Critical patent/JP2003032629A/ja
Application granted granted Critical
Publication of JP4387072B2 publication Critical patent/JP4387072B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/418External card to be used in combination with the client device, e.g. for conditional access
    • H04N21/4184External card to be used in combination with the client device, e.g. for conditional access providing storage capabilities, e.g. memory stick
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、音声や映像情報を記録する機能をもつ携帯端末映像記録装置に関し、更に詳しくは映像の再生品質を左右する符号化パラメータを制御することによって、好適な再生品質を取得することができる携帯型映像記録装置に関するものである。
【0002】
【従来の技術】
映像音声をデジタルで記録再生できる装置としては、記録媒体としてデジタルビデオカセット(DVテープカセット)、デジタルビデオディスク(DVD)などを用いるデジタルビデオカメラやポータブルDVDプレーヤのようなものがある。しかし、この種の機器は、高いビットレートが要求されるので、サイズが大きいわりには記録再生時間が短い。
【0003】
そこで、記録媒体として、フラッシュメモリを利用したマルチメディア(MMC)カード、スマートメディア(商標)、SD(secure density)カードなどのメモリカードを用い、ビデオ入力および音声入力を受入して符号化を行ってメモリカードに記録し、この記録されたデータを復号化して再生する各種の携帯端末型のデジタル記録再生装置が提案されている。また、昨今は、記録媒体として、2インチ,あるいは3cm以下の極めて小型の低容量光磁気ディスク(500MB〜2GB)を用いた携帯端末型のデジタル記録再生装置も提案されている。この種の携帯型のデジタル記録再生装置においては、前述のDVDなどに比べビットレートを下げた記録を行うことで記録可能時間を長くしている。
【0004】
【発明が解決しようとする課題】
しかしながら、従来のこの種の携帯型のデジタル記録再生装置においては、動画音声の符号化に当たって、フレームレートあるいはビットレートが、動画コンテンツの種類や画像サイズに関係なく、常に固定であることが多い。したがって、従来技術では、動画コンテンツの種類(ニュース、ドラマなど)によっては、再生画質が良くない、フレームレートが低いため動画の動きが十分に把握できない、必要以上にビットレートを上げているため記録媒体への記録可能時間が短くなるなどの問題がある。また、画面サイズ(inch)、画像解像度(動画サイズ)の違いに応じて適当なフレームレートあるいはビットレートが設定されていないときも、前記と同様の問題が発生する。
【0005】
この発明は上記に鑑みてなされたもので、使用者に常に最適な画質の動画を提供することが可能でありかつ動画音声データを効率よく小型記録メディアに記録することが可能な携帯型映像記録装置を得ることを目的としている。
【0006】
【課題を解決するための手段】
上記目的を達成するためこの発明にかかる携帯型映像記録装置は、入力された音声および映像データを符号化して小型記録メディアに記録する携帯型映像記録装置において、入力された音声および映像データを符号化する符号化手段と、映像コンテンツの種類に応じて前記符号化手段で行う符号化のフレームレートおよびビットレートを可変設定するパラメータ設定手段とを備えることを特徴とする。
【0007】
この発明によれば、ニュース、野球中継、ドラマなどの映像コンテンツの種類に応じて前記符号化手段で行う符号化のフレームレートおよびビットレートを可変設定する。
【0008】
つぎの発明にかかる携帯型映像記録装置は、入力された音声および映像データを符号化して小型記録メディアに記録する携帯型映像記録装置において、入力された音声および映像データを符号化する符号化手段と、画像サイズに応じて前記符号化手段で行う符号化のフレームレートおよびビットレートを可変設定するパラメータ設定手段とを備えることを特徴とする。
【0009】
この発明によれば、画像サイズに応じて前記符号化手段で行う符号化のフレームレートおよびビットレートを可変設定する。
【0010】
つぎの発明にかかる携帯型映像記録装置は、入力された音声および映像データを符号化して小型記録メディアに記録する携帯型映像記録装置において、入力された音声および映像データを符号化する符号化手段と、画像解像度に応じて前記符号化手段で行う符号化のフレームレートおよびビットレートを可変設定するパラメータ設定手段とを備えることを特徴とする。
【0011】
この発明によれば、QCIF,SQVGA,HQVGAなどの画像解像度の違いに応じて前記符号化手段で行う符号化のフレームレートおよびビットレートを可変設定する。
【0012】
つぎの発明にかかる携帯型映像記録装置は、入力された音声および映像データを符号化して小型記録メディアに記録する携帯型映像記録装置において、入力された音声および映像データを符号化する符号化手段と、符号化中、現在のビットレートが目標ビットレートを保つように、前記符号化手段で行う符号化のフレームレートあるいはフレーム画質を予め設定された所定のフレームレート範囲およびフレーム画質範囲内で可変設定するパラメータ設定手段とを備えることを特徴とする。
【0013】
この発明によれば、符号化中、現在のビットレートが目標ビットレートを保つように、前記符号化手段で行う符号化のフレームレートあるいはフレーム画質を予め設定された所定のフレームレート範囲およびフレーム画質範囲内で可変設定する。
【0014】
つぎの発明にかかる携帯型映像記録装置は、入力された音声および映像データを符号化して小型記録メディアに記録する携帯型映像記録装置において、入力された音声および映像データを符号化する符号化手段と、映像コンテンツの種類、画像サイズおよび画像解像度に対応して前記符号化手段で行う符号化のフレームレート範囲、ビットレート範囲およびフレーム画質範囲の最適化範囲が予め設定記憶されるデータベースと、このデータベースの記憶内容に基づいて、選択された映像コンテンツ、画像サイズおよび画像解像度に最適なフレームレートおよびビットレートを選択し、該選択したフレームレートおよびビットレートを前記符号化手段に初期設定する第1のパラメータ設定手段と、符号化中、現在のビットレートが目標ビットレートを保つように、前記符号化手段で行う符号化のフレームレートあるいはフレーム画質を前記データベースに設定された所定のフレームレート範囲およびフレーム画質範囲内で可変設定する第2のパラメータ設定手段とを備えることを特徴とする。
【0015】
この発明によれば、第1のパラメータ設定手段によって、符号化の際の平均的な意味でのフレームレートおよびビットレートを、選択された映像コンテンツ、画像サイズおよび画像解像度に応じて最適な範囲に設定する。また、第2のパラメータ設定手段によって、全体としてのビットレートを一定に保つため、符号化時に、フレームレートまたはフレーム画質を動的に変動させる。
【0016】
つぎの発明にかかる携帯型映像記録装置は、上記発明において、前記第2のパラメータ設定手段は、前記フレームレートまたはフレーム画質を1フレーム毎に設定することを特徴とする。
【0017】
この発明によれば、第2のパラメータ設定手段によって1フレーム毎にフレームレートまたはフレーム画質を動的に可変設定することで、全体としてのビットレートを一定に保つようにする。
【0018】
つぎの発明にかかる携帯型映像記録装置は、上記発明において、前記データベースの記憶内容は、利用者モニタリングの調査結果に基づいて設定されることを特徴とする。
【0019】
この発明によれば、利用者モニタリングの調査結果に基づいて、データベースの記憶内容が設定される。
【0020】
つぎの発明にかかる携帯型映像記録装置は、上記発明において、前記符号化手段の符号化によって前記小型記録メディアに記憶された音声および映像データを読み出して復号化する復号化手段と、この復号化された音声および映像データを再生する再生手段とを更に備えることを特徴とする。
【0021】
この発明によれば、符号化手段の符号化によって小型記録メディアに記憶された音声および映像データを読み出して復号化した後、再生することが可能となる。
【0022】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる携帯型映像記録装置の好適な実施の形態を詳細に説明する。
【0023】
図1はこの発明にかかる携帯型ビデオプレーヤの本実施の形態の構成例を示すブロック図である。この実施の形態では、小型記録メディアとして、メモリカードを採用している。図1の携帯型ビデオプレーヤは、メモリカードコネクタ2を備えており、このカードコネクタに、マルチメディア(MMC)カード、スマートメディア(商標)、SD(secure density)カードなどのフラッシュメモリが内蔵された任意のメモリカード1を着脱することができる。このようなメモリカードを着脱自在に装着するためのコネクタ2においては、複数のコンタクト端子をコネクタハウジング内に設け、これら複数のコンタクト端子を、装填されたメモリカードの表または裏面に形成された複数の接触パッドと接触させ、これらの接触を介してメモリカードをコネクタが取り付けられる当該携帯型ビデオプレーヤと電気的に接続するようにしている。
【0024】
この携帯型ビデオプレーヤは、映像音声の記録再生が可能であり、メモリカードコネクタ2、スピーカ3、音声外部出力端子4、映像入力端子5、音声入力端子6、音声D/Aコンバータ7、音声映像A/Dコンバータ8、液晶ディスプレイなどで構成される表示装置9、表示制御装置10、符号化/復号化装置12、全体制御装置20、パラメータ設定装置30およびデータベース40を備えている。
【0025】
データベース40の設定記憶内容について説明する。このデータベースは、例えば、ユーザのモニタリング結果を参考にして設定する。
【0026】
すなわち、動画コンテンツの種類(ニュース、スポーツ放映、ドラマなど)と表示画面のサイズの違いとの各種組み合わせ毎に、符号化の際の各種パラメータについてどの範囲の値が適切であるかを利用者モニタリングによって調査する。符号化の際のパラメータとしては、ビットレート、フレームレート、動き優先/フレーム内画質優先の切替え、さらには符号化画像サイズ(ライン数×ピクセル数)などがある。そして、このモニタリング結果を参照して、各コンテンツ内容および表示画面サイズごとに適切なパラメータ範囲を指定しておきデータベース化する。
【0027】
決定すべきパラメータ範囲の種類は2種類ある。
(a)一つは平均的な意味でのフレームレートとビットレートの最適なパラメータ範囲である。
(b)もう一つは全体としてのビットレートを保つため、画像シーケンス内部で符号化時に動的にフレームレート対フレーム内画質を設定するためのパラメータ範囲(最適フレーム画質範囲という)である。
【0028】
はじめに前者(a)のパラメータ範囲の決定方法について説明する。各種の表示画像サイズ(1.5inch,2inch,…,3inchなど)および各種の画像解像度(SQVGA(160*120),QCIF(174*144),HQVGA(240*176),CIF(352*288)など)の組み合わせに対して、動きの比較的多い画像を用意する。動きの少ない画像の場合、動きの激しい画像の場合と比べ、同一ビットレートかつ同一フレームレートで高品質の画質を得ることが可能である。そのため、評価は動きの多い画像について行えば十分である。
【0029】
そして、数種類の動きの多い動画像(スポーツ中継,映画,ドラマ)を用意し、これら複数の動画像を各種のビットレートとフレームレートの組み合わせで符号化を行う。符号化方式としては、例えばMPEG−4を用いる。そして、これら複数の異なる符号化動画像を復号化し、これら復号化したデータを上記した各種の表示画像サイズおよび各種の画像解像度の組み合わせをもって画像表示させて、多数の試験者にどの画像が良いか意見をもとめる利用者モニタリングを行う。そして、このモニタリング結果に基づいて、複数の異なる画像サイズおよび画像解像度毎に、最適なフレームレート範囲およびビットレート範囲を求める。図2は、このようにして得られた最適フレームレート範囲およびビットレート範囲に関するテーブルエントリであり、このようなデータテーブルがデータベース40に設定記憶される。
【0030】
図2においては、画像サイズが1.5〜2inchのときは、画像解像度は、SQVGA〜QCIFが最適であり、その際の最適フレームレート範囲は、8〜15fpsであり、また最適ビットレートは32〜128Kbpsである。また、画像サイズが2〜2.5inchのときは、画像解像度は、QCIF〜HQVGAが最適であり、その際の最適フレームレート範囲は、10〜15fpsであり、また最適ビットレートは64〜256Kbpsである。また、画像サイズが2.5〜3inchのときは、画像解像度は、HQVGA〜CIFが最適であり、その際の最適フレームレート範囲は、10〜20fpsであり、また最適ビットレートは128〜512Kbpsである。
【0031】
そして、図2に示したデータテーブルの設定内容にしたがって、符号化時におけるパラメータ設定の初期値および平均の値を設定する。
【0032】
次に後者(b)のパラメータ範囲の決定方法について説明する。各種の映像コンテンツ(ニュース、野球中継、ドラマなど)、各種の画像サイズ、各種の画像解像度の組み合わせた多数のサンプル動画を用意する。そして、各サンプル動画シーケンスを、動きの多い部分、動きの少ない部分、動きが中間程度の部分に分割する。これらの分割された動画シーケンスを次の手順で処理して、パラメータの範囲を決定する。
【0033】
(1)動きの多い分割シーケンス、動きが中間程度の分割シーケンスについては、所定のビットレート範囲内で、フレームレートおよびフレーム内画質のうちフレームレートを向上させかつフレーム内画質を低下させた画像、逆にフレームレートを低下させてフレーム内画質を向上させた画像、その中間の画像などを作成する。動きが少ないシーケンスについては、所定のビットレート範囲内で圧縮率を制御してフレーム内画質をできるだけ向上させる。
【0034】
(2)分割したシーケンスを再びつなぎ合わせ、元の動画シーケンスに組み立て直す。動きが多い部分あるいは動きの少ない部分の分割シーケンスについては、先の(1)の処理によって複数の異なる分割シーケンスが作成されるので、1つのサンプル動画について複数の動画シーケンスが復元されることになる。
【0035】
(3)そして、各サンプル動画について、どの動画シーケンスが視覚的に適切であるかを多数の利用者に判断してもらう利用者モニタリングを行う。
【0036】
(4)このモニタリング結果を分析し、動きの多い分割シーケンス、動きが中間程度の分割シーケンスについて、どのような選択を行ったほうが良いかを決定する。一般にパラメータ(フレームレート,フレーム内画質)は片方を向上させればもう片方が低下するといった傾向を持つ。
【0037】
(5)そして、上記モニタリング結果の分析結果に基づき、コンテンツ内容の種類、画像サイズ、画像解像度毎に、最適なフレームレート範囲および最適フレーム画質範囲を求める。図3はこのようにして得られた最適なフレームレート範囲および最適フレーム画質範囲に関するテーブルエントリの一部を示すものであり、このようなデータテーブルがデータベース40に設定記憶される。
【0038】
図3においては、例えば、コンテンツの種類がニュースで、画像サイズは2.0inchで、画像解像度がQCIFのときは、最適フレーム範囲は5〜10fpsで、最適フレーム画質範囲は30〜35dbである。コンテンツの種類が野球中継で、画像サイズは3.0inchで、画像解像度がCIFのときは、最適フレーム範囲は13〜15fpsで、最適フレーム画質範囲は30〜32dbである。コンテンツの種類がドラマで、画像サイズは2.5inchで、画像解像度がCIFのときは、最適フレーム範囲は10〜12fpsで、最適フレーム画質範囲は32〜35dbである。
【0039】
図1の全体制御装置20のパラメータ設定装置30においては、動画コンテンツの記録時には、記録するコンテンツ内容および表示画面サイズに基づいて、上記の各種パラメータを実現するように符号化装置12を設定して符号化を行い、該符号化した動画音声情報をメモリカード1に書き込む。
【0040】
動画コンテンツの再生時には、メモリカード1中の動画音声符号情報を読み出し、復号を行い、音声はデジタル-アナログ変換を行ってスピーカ3に出力し、動画はデジタル-アナログ変換を行って表示装置9に出力する。
【0041】
つぎに、図4〜図6のフローチャートに従って、図1に示した携帯型ビデオプレーヤの録画(記録)時の動作手順について詳細に説明する。
【0042】
図4は録画の際に行われる符号化パラメータの初期値の設定手順について示すものである。まず、録画を行う際、利用者は操作ボタン11を介して映像コンテンツの種類および記録ビットレートを選択指定する(ステップS100)。この映像コンテンツの種類および記録ビットレートの選択指定があると、全体制御装置20のパラメータ設定装置30は、前記選択された記録ビットレートを目標ビットレートとするとともに、この目標ビットレート、当該携帯型ビデオプレーヤの表示画面サイズ、および当該携帯型ビデオプレーヤの画像解像度に対応するフレームレートを、データベース40に設定された図2に示したデータテーブルの条件を満たす範囲内で選択する(ステップS110)。なお、利用者の選択した記録ビットレートが図2に示したデータテーブルの条件を満たす範囲内にないときは、利用者に再入力を促すかあるいは条件を満たす記憶ビットレート値にビットレートを変更する。そして、パラメータ設定装置30は、この選択したフレームレートおよびビットレートを、初期パラメータ値として、符号化装置12に設定する(ステップS120)。なお、この場合は、利用者が、映像コンテンツの種類および記録ビットレートを選択指定するようにしているが、映像コンテンツの種類のみを利用者が入力するようにしてもよい。
【0043】
図5は録画の際の携帯型ビデオプレーヤの全体的動作手順を示すものである。つぎに、操作ボタン11に含まれる録画ボタンが使用者によって投入されると(ステップS200)、全体制御装置20は、メモリカード1の記憶内容中に無いファイル名を生成し、このファイル名を記憶しておく(ステップS210)。つぎに、全体制御装置20は、この記憶されたファイル名で、メモリカード中に動画ファイルを記憶する領域を確保する(ステップS220)。
【0044】
つぎに、音声入力端子6を介して入力されるよりアナログ音声データを1フレーム分音声映像A/Dコンバータ8に読み込む(ステップS230)。音声映像A/Dコンバータ8は、読み込まれた1フレーム分のアナログ音声データを1フレーム分のデジタル音声データに変換する(ステップS240)。つぎに、音声映像A/Dコンバータ8は、1フレーム分のデジタル音声データを符号化装置12へ入力する(ステップS250)。
【0045】
つぎに、全体制御装置20のパラメータ設定装置30は、現在の状態に応じて、符号化装置12に設定するパラメータの最適化処理を実行する(ステップS260)。図6は、このパラメータの最適化処理手順の示すものである。まず、パラメータ設定装置30は、現在時点における累積の符号化ビット数を計算する(ステップS400)。そして、外計算した累積ビット数を符号化開始からの経過時間で除し、現在のビットレートを計算する。この計算したビットレートが先に設定された目標ビットレートより大きければ、フレームレートを下げるかまたはフレーム画質を向上させ、結果的にビットレートを下げる。また、計算したビットレートが目標ビットレートより小さければ、フレームレートを上げるかまたはフレーム画質を低下させ、結果的にフレームレートを上げる。ただし、フレームレートやフレーム内画質の増減の選択は、データベース40に設定される図3に示した最適フレームレート範囲内あるいは最適フレーム画質範囲内に収まるように行う。このようにして、フレーム画質およびフレームレートの最適化を実行して、全体としてのビットレートを一定に保つようにする(ステップS410)。
【0046】
そして、図5のステップS260の処理が1フレーム毎に行われることによって、上記の最適化処理は1フレーム毎に行われる。なお、符号化方式によっては、1フレームを複数の領域に分割して符号化を行うものがあり、このような符号化方式の場合は、これら複数の分割領域の全てについて上記最適化処理を1フレーム単位に実行する。
【0047】
以上のような最適化処理が終了すると、符号化装置12は、設定されたパラメータ値に従って入力された1フレーム分のデジタル音声データを符号化する(ステップS270)。つぎに、映像入力端子5を介してアナログ映像データを1フレーム分、音声映像A/Dコンバータ8に読み込む(ステップS280)。音声映像A/Dコンバータ8は、読み込まれた1フレーム分のアナログ映像データを1フレーム分のデジタル映像データに変換する(ステップS290)。つぎに、音声映像A/Dコンバータ8は、1フレーム分のデジタル映像データを符号化装置12へ入力する(ステップS300)。
【0048】
符号化装置12は、設定されたパラメータ値に従って入力された1フレーム分のデジタル映像データを符号化する(ステップS310)。さらに、符号化装置12は1フレーム分の音声符号化データおよび映像符号化データを多重化する(ステップS320)。そして、符号化装置12は多重化した1フレームデータを全体制御装置20に送信する。全体制御装置20は多重化された1フレームデータをメモリカード1中の先に記憶したファイル名の記憶領域に書き込む(ステップS330)。そして、操作ボタン11に含まれる停止ボタンが押下されるかあるいはメモリカード1の容量がなくなるまでは(ステップS340)、上記ステップS230〜ステップS330の処理を1フレーム毎に繰り返し実行する。
【0049】
つぎに、図6のフローチャートに従って、図1に示した携帯型ビデオプレーヤの再生時の動作手順について詳細に説明する。
【0050】
まず、再生を行う際、利用者は、操作ボタン11を用いてメモリカード1中の所望の動画ファイルを選択する(ステップS500)。この選択操作により、全体制御装置20は選択された動画ファイル名を記憶する(ステップS510)。利用者が、操作ボタン11の再生ボタンを押下すると(ステップS520)、全体制御装置20は先に選択されたメモリカード1中の動画ファイルを開く(ステップS530)。全体制御装置20は、選択されたメモリカード1中のファイルから1フレーム分の映像音声多重化データを読み出す(ステップS530)。全体制御装置20は1フレーム分の映像音声多重化データを復号化装置12に送信する(ステップS540)。
【0051】
復号化装置12は映像音声多重化データを映像データと音声データに分離する(ステップS550)。復号化装置12は音声データを復号する(ステップS560)。復号化装置12は映像データを復号する(ステップS570)。
【0052】
復号化装置12は復号映像データを表示制御装置10に出力する(ステップS580)。表示制御装置10は入力された復号映像データを表示装置9に合ったデータ形式に変換する(ステップS590)。表示制御装置10は表示装置9に復号映像データを送信する(ステップS600)。表示装置9はこの入力された復号映像データを表示する(ステップS610)。
【0053】
つぎに、復号化装置12はデジタル復号音声データを音声D/Aコンバータ7に出力する(ステップS620)。音声D/Aコンバータ7は、復号音声データをアナログ音声データに変換に、スピーカ3に出力する(ステップS630)。この結果、スピーカ3からアナログ音声データが出力される(ステップS640)。そして、操作ボタン11に含まれる停止ボタンが押下されるかあるいはメモリカード1の当該選択されたファイルからの出力が終了するまで(ステップS650)、上記ステップS540〜ステップS640の処理を1フレーム毎に繰り返し実行する。
【0054】
このように本実施の形態においては、パラメータ設定装置30によって、符号化の際の平均的な意味でのフレームレートおよびビットレートを、選択された映像コンテンツ、画像サイズおよび画像解像度に応じて最適な範囲に設定するとともに、全体としてのビットレートを一定に保つため、符号化時に、フレームレートまたはフレーム画質を動的に変動させるようにしているので、映像コンテンツの種類、画像サイズおよび画像解像度が変わった場合でも常に最適な画質の映像を使用者に提供することでき、また動画音声データをメモリカードに対し少ない情報量で効率よく記録することが可能となる。また、ビットレートを常に一定に保つことが可能となる。
【0055】
なお、本実施の形態においては、映像コンテンツの種類、画像サイズおよび画像解像度に対応して符号化装置12で行う符号化のフレームレート範囲、ビットレート範囲およびフレーム画質範囲の最適化範囲が予め設定記憶されるデータベースを作成するようにしているが、映像コンテンツの種類のみに対応して符号化のフレームレート範囲およびビットレート範囲の最適化範囲が予め設定記憶されるデータベースを作成し、このデータベースに基づいてフレームレートおよびビットレートを可変設定するようにしてもよい。同様に、画像サイズのみに対応して符号化のフレームレート範囲およびビットレート範囲の最適化範囲が予め設定記憶されるデータベースを作成し、このデータベースに基づいてフレームレートおよびビットレートを可変設定するようにしてもよい。さらには、画像解像度のみに対応して符号化のフレームレート範囲およびビットレート範囲の最適化範囲が予め設定記憶されるデータベースを作成し、このデータベースに基づいてフレームレートおよびビットレートを可変設定するようにしてもよい。すなわち、パラメータ設定装置30においては、映像コンテンツの種類に応じて符号化のフレームレートおよびビットレートを可変設定するようにしてもよいし、画像サイズに応じて符号化のフレームレートおよびビットレートを可変設定するようにしてもよいし、画像解像度に応じて符号化のフレームレートおよびビットレートを可変設定するようにしてもよい。
【0056】
また、本実施の形態では、音声データの符号化/復号化および映像データの符号化/復号化をシリアルに行うようにしているが、音声データ専用および映像データ専用の符号化/復号化装置を各別に設け、音声データの符号化/復号化および映像データの符号化/復号化を並行して行ってもよい。
【0057】
さらに、本実施の形態においては、小型記録メディアとして、メモリカードを採用したが、小型記録メディアとして、上述した小型(2インチ程度,3cm以下)かつ低容量(500MB〜2GB程度)の光磁気ディスク(例えば、データプレイ)を採用するようにしてもよいし、さらには、他の記録形式をもつ小型低容量の記憶媒体を採用するようにしてもよい。
【0058】
【発明の効果】
以上説明したように、この発明によれば、ニュース、野球中継、ドラマなどの映像コンテンツの種類に応じて符号化のフレームレートおよびビットレートを可変設定するようにしているので、映像コンテンツの種類が変わった場合でも常に最適な画質の映像を使用者に提供することができ、また動画音声データを小型記録メディアに対し少ない情報量で効率よく記録することが可能となる。
【0059】
つぎの発明によれば、画像サイズに応じて符号化のフレームレートおよびビットレートを可変設定するようにしているので、画像サイズが変わった場合でも常に最適な画質の映像を使用者に提供することができ、また動画音声データを小型記録メディアに対し少ない情報量で効率よく記録することが可能となる。
【0060】
つぎの発明によれば、画像解像度に応じて符号化のフレームレートおよびビットレートを可変設定するようにしているので、画像解像度が変わった場合でも常に最適な画質の映像を使用者に提供することができ、また動画音声データを小型記録メディアに対し少ない情報量で効率よく記録することが可能となる。
【0061】
つぎの発明によれば、符号化、現在のビットレートが目標ビットレートを保つように、符号化のフレームレートあるいはフレーム画質を予め設定された所定のフレームレート範囲およびフレーム画質範囲内で動的に可変設定するようにしているので、ビットレートを一定に保つことことができ、これにより常に最適な画質の映像を使用者に提供することができ、また動画音声データを小型記録メディアに対し少ない情報量で効率よく記録することが可能となる。
【0062】
つぎの発明によれば、第1のパラメータ設定手段によって、符号化の際の平均的な意味でのフレームレートおよびビットレートを、選択された映像コンテンツ、画像サイズおよび画像解像度に応じて最適な範囲に設定するとともに第2のパラメータ設定手段によって、全体としてのビットレートを一定に保つため、符号化時に、フレームレートまたはフレーム画質を動的に変動させるようにしているので、映像コンテンツの種類、画像サイズおよび画像解像度が変わった場合でも常に最適な画質の映像を使用者に提供することができ、また動画音声データを小型記録メディアに対し少ない情報量で効率よく記録することが可能となる。また、ビットレートを常に一定に保つことが可能となる。
【0063】
つぎの発明によれば、1フレーム毎にフレームレートまたはフレーム画質を動的に可変設定することで、全体としてのビットレートを一定に保つようにしているので、フレーム毎の処理によって効率よく全体としてのビットレートを一定に保つことが可能となる。
【0064】
つぎの発明によれば、利用者モニタリングの調査結果に基づいて、データベースの記憶内容を設定しているので、真に利用者の声が反映されることになり、最適な画質の映像を使用者に提供することが可能となる。
【0065】
つぎの発明によれば、符号化手段の符号化によって小型記録メディアに記憶された音声および映像データを読み出して復号化した後、再生することを可能としているので、常に最適な画質の動画を再生することが可能となる。
【図面の簡単な説明】
【図1】 この発明にかかわる携帯型映像記録装置の本実施の形態の構成を示すブロック図である。
【図2】 データベースの記憶内容を示す図である。
【図3】 データベースの他の記憶内容を示す図である。
【図4】 ビットレートおよびフレームレートの初期設定動作を示すフローチャートである。
【図5】 記録時の動作手順を示すフローチャートである。
【図6】 ビットレートを一定に保つための処理手順を示すフローチャートである。
【図7】 再生時の動作手順を示すフローチャートである。
【符号の説明】
1 メモリカード、2 メモリカードコネクタ、3 スピーカ、4 音声外部出力端子、5 映像入力端子、6 音声入力端子、7 音声D/Aコンバータ、8 音声映像A/Dコンバータ、9 表示装置、10 表示制御装置、11 操作ボタン、12 符号化/復号化装置(符号化装置,復号化装置)、20 全体制御装置、30 パラメータ設定装置、40 データベース。

Claims (3)

  1. 入力された音声および映像データを符号化して小型記録メディアに記録する携帯型映像記録装置において、
    入力された音声および映像データを符号化する符号化手段と、
    映像コンテンツの種類、画像サイズおよび画像解像度に対応して前記符号化手段で行う符号化のフレームレート範囲およびビットレート範囲の最適化範囲が予め設定記憶されるデータベースと、
    このデータベースの記憶内容に基づいて、選択された映像コンテンツ、画像サイズおよび画像解像度に最適なフレームレートおよびビットレートを選択し、該選択したフレームレートおよびビットレートを前記符号化手段に初期設定する第1のパラメータ設定手段と、
    符号化中、現在のビットレートを演算し、演算した現在のビットレートが前記初期設定されたビットレートに一致するように、前記符号化手段で行う符号化のフレームレートを前記データベースに記憶された所定のフレームレート範囲内で可変設定する処理を1フレーム毎に実行する第2のパラメータ設定手段と、
    を備えることを特徴とする携帯型映像記録装置。
  2. 前記データベースの記憶内容は、利用者モニタリングの調査結果に基づいて設定されることを特徴とする請求項に記載の携帯型映像記録装置。
  3. 前記符号化手段の符号化によって前記小型記録メディアに記憶された音声および映像データを読み出して復号化する復号化手段と、
    この復号化された音声および映像データを再生する再生手段と、
    を更に備えることを特徴とする請求項1または2に記載の携帯型映像記録装置。
JP2001212649A 2001-07-12 2001-07-12 携帯型映像記録装置 Expired - Lifetime JP4387072B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001212649A JP4387072B2 (ja) 2001-07-12 2001-07-12 携帯型映像記録装置
US10/014,351 US7313317B2 (en) 2001-07-12 2001-12-14 Portable image recording apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001212649A JP4387072B2 (ja) 2001-07-12 2001-07-12 携帯型映像記録装置

Publications (2)

Publication Number Publication Date
JP2003032629A JP2003032629A (ja) 2003-01-31
JP4387072B2 true JP4387072B2 (ja) 2009-12-16

Family

ID=19047779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001212649A Expired - Lifetime JP4387072B2 (ja) 2001-07-12 2001-07-12 携帯型映像記録装置

Country Status (2)

Country Link
US (1) US7313317B2 (ja)
JP (1) JP4387072B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4208533B2 (ja) * 2002-09-19 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP4392601B2 (ja) 2004-05-07 2010-01-06 パナソニック株式会社 データアクセス装置および記録媒体
JP4251650B2 (ja) 2005-03-28 2009-04-08 株式会社カシオ日立モバイルコミュニケーションズ 画像処理装置及びプログラム
US20070035699A1 (en) * 2005-08-10 2007-02-15 Mckee Joel V Apparatus, system, and method for associating contemporaneous notes with photographed images using a camera slate
US7434876B2 (en) * 2005-09-08 2008-10-14 Mary-Lou Laetitia Smulders Removable car seat cover
KR100651919B1 (ko) * 2005-09-29 2006-12-01 엘지전자 주식회사 녹화 속도 조절 기능을 갖는 이동통신단말기 및 이를이용한 방법
EP1932076B1 (en) * 2005-10-04 2020-07-08 Assia Spe, Llc Dsl system
US8249070B2 (en) * 2005-12-29 2012-08-21 Cisco Technology, Inc. Methods and apparatuses for performing scene adaptive rate control
JP4778343B2 (ja) * 2006-03-28 2011-09-21 Necカシオモバイルコミュニケーションズ株式会社 動画撮像機能を有する端末、および、プログラム
JP2008206060A (ja) * 2007-02-22 2008-09-04 Sony Corp 記録装置および方法、並びにプログラム
JP2009141389A (ja) * 2007-12-03 2009-06-25 Fujitsu Ten Ltd 表示装置および表示方法
US9113053B2 (en) * 2012-08-10 2015-08-18 Lg Electronics Inc. Input apparatus and method for acquiring a scan image
CN104519357B (zh) * 2013-09-26 2018-10-30 杭州海康威视数字技术股份有限公司 一种视频图像存储方法和装置
JP2017157904A (ja) * 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
JP2017157903A (ja) 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
JP2019050451A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム及び画像処理システム
US10979744B2 (en) 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130431A (ja) * 1991-11-07 1993-05-25 Matsushita Electric Ind Co Ltd デイジタル画像信号の高能率符号化装置
US5377051A (en) * 1993-01-13 1994-12-27 Hitachi America, Ltd. Digital video recorder compatible receiver with trick play image enhancement
JPH06251080A (ja) 1993-03-01 1994-09-09 Matsushita Electric Ind Co Ltd 携帯型情報再生装置及び情報転送装置
JPH1155626A (ja) * 1997-08-04 1999-02-26 Matsushita Electric Ind Co Ltd テレビジョン信号符号化装置およびテレビジョン信号記録装置
JP2000059774A (ja) 1998-08-06 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御装置
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
JP2000251461A (ja) * 1999-03-02 2000-09-14 Sony Corp 携帯形映像記録再生装置
US6834080B1 (en) * 2000-09-05 2004-12-21 Kabushiki Kaisha Toshiba Video encoding method and video encoding apparatus

Also Published As

Publication number Publication date
US20030012560A1 (en) 2003-01-16
JP2003032629A (ja) 2003-01-31
US7313317B2 (en) 2007-12-25

Similar Documents

Publication Publication Date Title
JP4387072B2 (ja) 携帯型映像記録装置
KR100566049B1 (ko) 정보매체를통한동시녹화및재생용녹화및재생시스템
JP5034960B2 (ja) 表示生成装置、表示生成方法、プログラム、およびコンテンツダウンロードシステム
WO2006061972A1 (ja) 記録装置および記録方法、再生装置および再生方法、記録再生装置および記録再生方法、並びにプログラム
KR20050083900A (ko) 남아있는 배터리 용량을 기초로 한 스캐일 가능한 비디오압축
US20090021613A1 (en) Video camera apparatus
US7860369B2 (en) Play-back device and method for controlling the same
JP2006050531A (ja) 情報記録装置
US7639920B2 (en) Recorder
JP2005535205A (ja) ユーザに制御されたトリックプレイのふるまい
JPH07143443A (ja) 情報符号化装置及び円盤状記録媒体及びその再生装置
JP2003224813A (ja) ディスク録画再生装置
KR100883119B1 (ko) 동영상 파일 목록 편집 방법
US20090142039A1 (en) Method and apparatus for recording video data
JP2006236541A (ja) 情報記録再生装置
TWI337042B (en) Method and recording system for recording media data
JP2004180288A (ja) データ処理装置とデータ処理方法とプログラムおよびデータ記録媒体
KR101370912B1 (ko) 영상 데이터 처리 방법 및 장치
KR100680914B1 (ko) 텔레비전 방송의 녹화/재생이 가능한 이동통신 단말기 및이를 이용한 방송 녹화/재생 방법
KR101613241B1 (ko) 디스플레이장치 및 영상재생방법
KR20070027205A (ko) 디지털 녹화시스템 및 그 녹화 방법
JP4187610B2 (ja) 記録再生装置
JP2005348077A (ja) 記録再生装置、及び再生装置。
US6741792B1 (en) Variable speed playback method and apparatus for playing back digital data stored in a recording medium
KR100664489B1 (ko) 비디 레코더 및 이를 이용한 동시 녹화재생 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090929

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090930

R150 Certificate of patent or registration of utility model

Ref document number: 4387072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131009

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term