JP5326724B2 - 映像処理装置および映像処理装置の制御プログラム - Google Patents
映像処理装置および映像処理装置の制御プログラム Download PDFInfo
- Publication number
- JP5326724B2 JP5326724B2 JP2009073483A JP2009073483A JP5326724B2 JP 5326724 B2 JP5326724 B2 JP 5326724B2 JP 2009073483 A JP2009073483 A JP 2009073483A JP 2009073483 A JP2009073483 A JP 2009073483A JP 5326724 B2 JP5326724 B2 JP 5326724B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- frame rate
- encoded video
- time
- received
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
また、一つの画像が再生される時間は(以下、「再生時間」という。)、30fpsの映像データの場合、1/30=0.0333…となることから、約33.3msecとなる。このようなフレームレートと再生時間との間の関係から、フレームレートが大きい映像データでは画像の再生時間の値は小さくなり、フレームレートが小さい映像データでは画像の再生時間の値は大きくなる。
映像テーブルとは、映像データとタイムテーブルとを関連付ける所定の情報であって、映像データのサイズや再生開始位置といった情報を有するデータである。
また、タイムテーブルは、その映像データの再生時間とその再生時間に関係付けられたデータ数とによって構成されるデータである。
図9に示すように、映像データの要素に対応してタイムテーブルの要素が作成されており、録画した映像データの再生や再生位置の検索を行う際には、これらのタイムテーブル全てを順次加算してこの映像データの全ての再生時間を導出することが必要となる。したがって、映像データの再生処理や映像検索処理の負荷が増加して、録画した映像データの再生開始までに時間がかかってしまうといった問題がある。さらに、映像データの再生時間を示すタイムテーブルの要素が符号化映像データの要素ごとに作成されてしまい、保存される符号化映像データにおけるタイムテーブルの要素が増大してしまうといった問題がある。
例えば、入力した可変フレームレートの符号化映像データを30fps固定のフレームレートの符号化映像データで出力するデータ変換装置の場合、15fpsの符号化映像データが入力されると、30fpsの符号化映像データとして変換される。ところが、60fpsの符号化映像データが入力されると、フレームレートを落として30fpsの符号化映像データへ変換されてしまうだけではなく、入力した映像データと変換後の映像データとの再生時間における整合性がとれず、映像データを間引くなどの処置も必要となる。 したがって、このデータ変換装置から出力された映像データを保存する場合には、入力する映像データの性質によっては、映像データの品質を落として保存することになってしまうことがあった。
号化映像データをネットワークを介して受信する受信手段と、この受信手段により受信さ
れた前記符号化映像データをすでに受信された映像データのフレームレートのうち再生時間を表す時間情報が基準値として保存されているフレームレートの約数となるフレームレートで受信した場合には、前記再生時間を表す時間情報が基準値として保存されているフレームレートのうち最大のフレームレートに基づく再生時間を表す時間情報とともに前記符号化映像データを出力し、再生時間を表す時間情報が基準値として保存されているフレームレートの約数とならないフレームレートで受信したときは、そのフレームレートに基づく再生時間を表す時間情報を前記符号化映像データとともに出力するフレームレート変換手段と、このフレームレート変換手段から出力される前記符号化映像データを前記時間情報とともに記録する記録手段とを設けたことを特徴とする。
また、本発明の映像処理装置は、前記記録手段によって記録された前記符号化映像デー
タを読み込んで、この符号化映像データを受信した際のフレームレートに基づく再生時間
で出力する符号化映像データ読込手段を備えても良い。
図1は、本発明の第1の実施の形態に係る映像処理装置の構成を示す機能ブロック図である。
本実施の形態に係る映像処理装置は、ネットワークを介して受信する可変フレームレートの符号化映像データを、固定フレームレート形式の符号化映像データへ変換して録画する映像処理装置である。
図1に示すように、本実施の形態に係る映像処理装置10は、ネットワーク1を介して符号化映像データを受信する映像データ受信部101と、受信した可変フレームレートの符号化映像データのフレームレートを固定フレームレート形式の符号化映像データへ変換するフレームレート変換部102と、固定フレームレート形式に変換された符号化映像データを記憶装置103bに書き込む映像データ書込部103aからなる記憶部103と、符号化映像データを復号化して映像データを出力する映像データ復号部104とから構成されている。
また、映像データ復号部104は、映像データ受信部101によって受信した符号化映像データを復号化して、映像データとして出力する。
したがって、タイムスタンプを基準値で分割され統一された符号化映像データは、統一されたタイムスタンプから導出されるフレームレートへ変換された固定フレームレート形式の符号化映像データへ変換されたことになる。
図2に示すように、符号化映像データの映像データAと再生時間の時間情報であるタイムスタンプ3aは関連付けられており、ここでは基準値をaとする。このタイムスタンプ3aを基準値aで分割すると、タイムスタンプ3aは基準値aと同値のタイムスタンプa三つに分割される。このとき、フレームレート変換部102は、先頭のタイムスタンプに本来の映像データである映像データAを関係付け、2番目以降のタイムスタンプには映像データではなくダミーデータを関連付けることにより、映像データAをタイムスタンプが同値の三つの映像データへ変換する。これによって、固定フレームレート形式の符号化映像データが三つ生成されたことになる。
また、上記ダミーデータは、任意の情報を有する擬似的な映像データであって、本来の映像データと比較して十分に小さいデータである。
ここで、映像データ書込部103aによって記憶装置103bへ書き込まれる所定のファイル形式について説明する。図3は、符号化映像データの所定のファイル形式(MPEG−4ファイルフォーマット)の一例を概念的に示す図である。図3に示すように、MPEG−4ファイルフォーマットはまず、ヘッダ部とデータ部に分かれる。データ部には、映像データが、ヘッダ部には全体情報とトラック情報が格納されている。トラック情報には映像テーブルとタイムテーブルの領域があり、映像テーブルには該当の映像データがデータ部のどの位置にあるのかを示す位置情報と映像データのデータサイズ情報が、タイムテーブルには映像データのタイムスタンプとこのタイムスタンプのデータ数が格納されている。
映像データ書込部103aは、フレームレート変換部102によって出力された固定フレームレート形式の符号化映像データの符号化映像データとタイムスタンプとから、図3に示すMPEG−4ファイルフォーマットに則り映像テーブル情報とタイムテーブルとをこれらの領域に格納するとともに、映像データ部分をデータ部に格納することによって、固定フレームレート形式の符号化映像データとして記憶装置103bに書き込む。
図4は、本実施の形態に係る映像処理装置10において、可変フレームレートの符号化映像データを録画する際の映像テーブルとタイムテーブルとの関係の一例を概念的に示す図である。図5は、本実施の形態に係る映像処理装置10における符号化映像データのフレームレート変換動作と固定フレームレート形式に変換された符号化映像データの保存動作との手順を示した動作フローチャートである。
図5に示すように、映像処理装置10の映像データ受信部101は、図示しないインターフェースからネットワーク1を介して可変フレームレートの符号化映像データを受信して(S101)、図示しない記憶領域に一時記憶する。
最初に受信した可変フレームレートの符号化映像データであった場合(S102で「Yes」)、受信した可変フレームレートの符号化映像データには映像データが存在せず、フレームレート変換部102は再生時間カウンター(以下、「カウンター」とする。)の初期値を図示しない記憶領域に保存して(S104)、可変フレームレートの符号化映像データの受信待機となる。
最初に受信した可変フレームレートの符号化映像データではない場合(S102で「No」)、フレームレート変換部102は、すでに保存されているカウンター値から、この可変フレームレートの符号化映像データのタイムスタンプを算出する(S103)。
例えば、図4に示すように、最初に受信した「映像データ0」のカウンター[Time]の値は0であり、次に受信した「映像データ1」のカウンター[Time]の値は3000であるので、フレームレート変換部102が算出する「映像データ1」のタイムスタンプは3000となる。
最初のタイムスタンプである場合(S105で「Yes」)、フレームレート変換部102はこのタイムスタンプを基準値として設定して図示しない記憶領域に保持する(S106)。例えば、図4に示す「映像データ1」を受信して算出したタイムスタンプが最初のタイムスタンプであり、このタイムスタンプの値3000が基準値として設定される。
タイムスタンプがすでに設定されている基準値と同値であった場合(S107で「Yes」)、フレームレート変換部102はこのタイムスタンプと対応する符号化映像データを映像データ書込部103aへ出力する。映像データ書込部103aは、この符号化映像データとタイムスタンプとを所定のファイル形式で記憶装置103bに書き込み(S108)、映像処理装置10は可変フレームレートの符号化映像データの受信待機状態となる(S101)。
例えば、図4に示す「映像データ2」を受信したとき、すなわち、「映像データ1」を受信して最初のタイムスタンプを算出し基準値3000を設定した後、「映像データ2」におけるカウンター[Time]の値は6000であるので、算出されるタイムスタンプは3000となる。このとき、基準値3000とこのタイムスタンプとは同値であるため、「映像データ2」とこのタイムスタンプは映像データ書込部103aによって所定のファイル形式に則って記憶装置103bへ書き込まれる。
タイムスタンプが基準値の倍数もしくは約数でなかった場合(S109で「No」)、フレームレート変換部102は、このタイムスタンプを基準値として追加設定し、図示しない保存領域に保持して(S110)、このタイムスタンプと対応する符号化映像データを映像データ書込部103aに出力する。映像データ書込部103aはこの符号化映像データとタイムスタンプとを所定のファイル形式で記憶装置103bに書き込み(S108)、映像処理装置10は可変フレームレートの符号化映像データの受信待機状態となる(S101)。
例えば、図4に示す「映像データ3」を受信したとき、「映像データ3」におけるカウンター[Time]の値は12000であり、「映像データ2」におけるカウンター[Time]の値が6000であったので、「映像データ3」のタイムスタンプは6000となる。つまり、この時点の基準値が3000でありタイムスタンプの値は6000であるので、このタイムスタンプは基準値の倍数であり、したがって、フレームレート変換部102は基準値によって「映像データ3」のタイムスタンプを3000と3000の二つのタイムスタンプへ分割する。
例えば、図4において「映像データn」を受信し、このときのカウンター[Time]の値からタイムスタンプを算出した結果「映像データn」のタイムスタンプが1500であった場合、すでに設定されている基準値が3000であるので、このタイムスタンプは基準値の約数となる。したがって、このタイムスタンプの値1500が3000に替わって基準値として更新されるとともに、すでに記憶装置103bに記憶されている基準値1500の倍数であるタイムスタンプをフレームレート変換部102は基準値1500で分割する。すなわち、以前の基準値が3000であった場合、記憶装置103bに記憶されているタイムスタンプは3000で統一されており、フレームレート変換部102はこのタイムスタンプを1500と1500の二つのタイムスタンプへ分割する。
例えば、図4において「映像データ6」を受信した場合、算出される「映像データ6」のタイムスタンプは9000であって設定されている基準値は3000であるので、「映像データ6」のタイムスタンプは値が3000のものが三つに分割される。図4に示すように、映像データ書込部103aは分割されたタイムスタンプのうち最初に再生する再生位置情報「h」を有するタイムスタンプに映像データである「映像データ6」を関連付けて映像テーブルを生成し所定のファイル形式に則り記憶装置103bへ映像テーブル情報とタイムテーブルと映像データとを書き込む。引き続き、2番目以降「i」「j」の再生位置情報を有するタイムスタンプにはダミーデータを関連付けて映像テーブルを生成し、所定のファイル形式に則り記憶装置103bへ映像テーブル情報とタイムテーブルとダミーデータとを書き込む。
図6は、本発明の第2の実施の形態に係る映像処理装置の構成を示す機能ブロック図である。
本実施の形態に係る映像処理装置は、ネットワークを介して受信する可変フレームレートの符号化映像データを、固定フレームレート形式の符号化映像データへ変換して録画する映像処理装置であって、特に、録画した符号化映像データを読み込んで受信した際のフレームレートに基づいた再生時間で符号化映像データの再生処理を行うものである。
映像データ読込部205は、記憶装置103bに所定のファイル形式で記憶されているフレームレートの変換がなされた固定フレームレート形式の符号化映像データを読み出して一時的に図示しない記憶領域に記憶し、この符号化映像データを解析して受信した際のフレームレートに基づいた再生時間で符号化映像データを映像データ復号部104へ出力する。
なお、これらの構成要素は、CPU(中央演算装置)やメモリ、インターフェースを備えた映像処理装置20に搭載されたコンピュータ(不図示)に、コンピュータプログラムをインストールすることにより、このコンピュータのハードウェア資源とソフトウェアとが協働して実現されるものである。
図7は、映像処理装置20の映像データ読込部205における映像データ再生動作を示すフローチャートである。図7に示すように、映像データ読込部205は、記憶装置103bに保存されている固定フレームレート形式に変換された符号化映像データから、再生する映像データを所定の処理によって検索する(S201)。
この映像データは、固定フレームレート形式の符号化映像データに変換されており、タイムテーブルの要素は単純な構造となっている。ここで、映像テーブルとタイムテーブルの構造は、図4に示すような構造となっており、所望のタイムスタンプはタイムテーブルの要素と、そのタイムスタンプが関連付けられている映像データとから導出することができる。
このように、映像データ読込部205はこの映像データにおける映像テーブル情報とタイムテーブルとから該当するタイムスタンプを導出する。
ここで、出力時間とは、固定フレームレート形式に変換された符号化映像データにおけるタイムスタンプの最小値であり、換言すると、記憶装置103bに保存されている固定フレームレート形式に変換された符号化映像データのフレームレートに基づいたタイムスタンプである。
したがって、出力時間と映像データのタイムスタンプとが一致している場合とは、この映像データは固定フレームレート形式に変換された符号化映像データの一つの要素であり、一方、一致していない場合とは、固定フレームレート形式に変換された符号化映像データの一つの要素ではない。
導出したタイムスタンプと取得した映像データの出力時間が一致していた場合(S303で「Yes」)、映像データ読込部205は検索結果を「データ有」として設定し映像データの検索処理を終了する(S305)。
映像データの検索結果が「データ無」である場合(S202で「Yes」)、上述した出力時間の更新を待って(S205)、次の再生映像データの検索処理を行う。
映像データの検索結果が「データ有」である場合(S202で「No」)、映像データ読込部205は、この映像データがダミーデータであるのか否かを判定し(S203)、ダミーデータであった場合(S203で「Yes」)、上述した出力時間の更新を待って(S205)次の再生映像データの検索処理を行う。
また、この映像データがダミーデータでなかった場合(S203で「No」)、映像データ読込部205は映像データ復号部104に対してこの映像データを出力し(S204)、上述した出力時間の更新を待って(S205)、次の再生映像データの検索処理を行う。
Claims (3)
- フレームレートに応じた再生時間を有する符号化映像データをネットワークを介して受
信する受信手段と、
この受信手段により受信された前記符号化映像データをすでに受信された映像データのフレームレートのうち再生時間を表す時間情報が基準値として保存されているフレームレートの約数となるフレームレートで受信した場合には、前記再生時間を表す時間情報が基準値として保存されているフレームレートのうち最大のフレームレートに基づく再生時間を表す時間情報とともに前記符号化映像データを出力し、再生時間を表す時間情報が基準値として保存されているフレームレートの約数とならないフレームレートで受信したときは、そのフレームレートに基づく再生時間を表す時間情報を前記符号化映像データとともに出力するフレームレート変換手段と、
このフレームレート変換手段から出力される前記符号化映像データを前記時間情報とと
もに記録する記録手段と
を備えることを特徴とする映像処理装置。 - 請求項1に記載の映像処理装置において、
前記記録手段によって記録された前記符号化映像データを読み込んで、この符号化映像データを受信した際のフレームレートに基づく再生時間で出力する符号化映像データ読込手段を有することを特徴とする映像処理装置。 - フレームレートに応じた再生時間を有する符号化映像データをネットワークを介して受
信する受信ステップと、
この受信ステップにより受信された前記符号化映像データをすでに受信された映像データのフレームレートのうち再生時間を表す時間情報が基準値として保存されているフレームレートの約数となるフレームレートで受信した場合には、前記再生時間を表す時間情報が基準値として保存されているフレームレートのうち最大のフレームレートに基づく再生時間を表す時間情報とともに前記符号化映像データを出力し、再生時間を表す時間情報が基準値として保存されているフレームレートの約数とならないフレームレートで受信したときは、そのフレームレートに基づく再生時間を表す時間情報を前記符号化映像データとともに出力するフレームレート変換ステップと、
このフレームレート変換手段から出力される前記符号化映像データを前記時間情報とと
もに記録する記録ステップと、
前記記録ステップによって記録された前記符号化映像データを読み込んで、この符号化
映像データを受信した際のフレームレートに基づく再生時間で出力する符号化映像データ
読込ステップと
をコンピュータに実行させることを特徴とする映像処理装置の制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009073483A JP5326724B2 (ja) | 2009-03-25 | 2009-03-25 | 映像処理装置および映像処理装置の制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009073483A JP5326724B2 (ja) | 2009-03-25 | 2009-03-25 | 映像処理装置および映像処理装置の制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010226585A JP2010226585A (ja) | 2010-10-07 |
JP5326724B2 true JP5326724B2 (ja) | 2013-10-30 |
Family
ID=43043263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009073483A Active JP5326724B2 (ja) | 2009-03-25 | 2009-03-25 | 映像処理装置および映像処理装置の制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5326724B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019184955A (ja) * | 2018-04-16 | 2019-10-24 | シャープ株式会社 | 映像処理装置、テレビジョン受像機、制御プログラム、及び記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3408957B2 (ja) * | 1996-11-15 | 2003-05-19 | 株式会社エヌ・ティ・ティ・ドコモ | 可変長符号化データ伝送装置、送信側装置、受信側装置およびその方法 |
JP3129411B2 (ja) * | 1998-05-28 | 2001-01-29 | 日本電気株式会社 | 動画像圧縮装置と動画像圧縮方法 |
JP3185763B2 (ja) * | 1998-07-13 | 2001-07-11 | 日本電気株式会社 | 動画像符号化装置 |
JP4242581B2 (ja) * | 2000-12-08 | 2009-03-25 | パナソニック株式会社 | データ変換装置 |
JP2005184411A (ja) * | 2003-12-19 | 2005-07-07 | Olympus Corp | 固体撮像装置 |
JP2005223617A (ja) * | 2004-02-05 | 2005-08-18 | Canon Inc | データ生成装置およびデータ生成方法、並びにプログラムおよびコンピュータ読み取り可能な記憶媒体 |
-
2009
- 2009-03-25 JP JP2009073483A patent/JP5326724B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010226585A (ja) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2370906C2 (ru) | Способ и устройство для редактирования видеофрагментов в сжатой области | |
US8407565B2 (en) | System and method for producing importance rate-based rich media, and server applied to the same | |
TWI584636B (zh) | 藉由減少視訊圖框來降低在網路上傳輸視訊所需之位元率的方法 | |
CN113225585B (zh) | 一种视频清晰度的切换方法、装置、电子设备以及存储介质 | |
CN102123281A (zh) | 视频播放时快进快退处理方法、装置以及移动终端 | |
JP5170708B2 (ja) | 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置 | |
US7840290B2 (en) | Encoded digital audio reproducing apparatus | |
JP2007036495A (ja) | 再生装置、圧縮装置、記録装置及び再生方法 | |
CN114222156A (zh) | 视频剪辑方法、装置、计算机设备和存储介质 | |
US9729919B2 (en) | Remultiplexing bitstreams of encoded video for video playback | |
JP6269734B2 (ja) | 動画データ編集装置、動画データ編集方法、再生装置、及びプログラム | |
JP5326724B2 (ja) | 映像処理装置および映像処理装置の制御プログラム | |
JP4902854B2 (ja) | 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置 | |
JP2003289495A (ja) | 動画像処理装置 | |
CN114025162B (zh) | 熵解码方法、介质、程序产品和电子设备 | |
JP2005110024A (ja) | データ送信装置、データ送受信システム、及びデータ送受信方法 | |
JP3785107B2 (ja) | 動画像および音声データの記録再生装置および再生方法 | |
JP2014075688A (ja) | 画像処理装置及び画像処理方法 | |
JP5047127B2 (ja) | 撮像装置 | |
JP2000152236A (ja) | 動画像符号化装置および多重化方法とその装置および記録再生装置 | |
JP2011139291A (ja) | 画像再生制御装置、画像再生制御方法および撮像装置 | |
CN116800877A (zh) | 一种图片的处理方法及相关设备 | |
CN115529491A (zh) | 一种音视频解码的方法、音视频解码的装置以及终端设备 | |
JP2005176330A (ja) | 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
WO2007099580A1 (ja) | マルチメディアデータ再生装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5326724 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |