JP6045051B1 - 動画像伝送装置及び動画像伝送方法 - Google Patents

動画像伝送装置及び動画像伝送方法 Download PDF

Info

Publication number
JP6045051B1
JP6045051B1 JP2016096139A JP2016096139A JP6045051B1 JP 6045051 B1 JP6045051 B1 JP 6045051B1 JP 2016096139 A JP2016096139 A JP 2016096139A JP 2016096139 A JP2016096139 A JP 2016096139A JP 6045051 B1 JP6045051 B1 JP 6045051B1
Authority
JP
Japan
Prior art keywords
stream data
moving image
data
color difference
yuv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016096139A
Other languages
English (en)
Other versions
JP2017204767A (ja
Inventor
鳴海 鼓大
鼓大 鳴海
伸康 田中
伸康 田中
Original Assignee
株式会社システム・ケイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社システム・ケイ filed Critical 株式会社システム・ケイ
Priority to JP2016096139A priority Critical patent/JP6045051B1/ja
Application granted granted Critical
Publication of JP6045051B1 publication Critical patent/JP6045051B1/ja
Priority to PCT/JP2017/017762 priority patent/WO2017195844A1/en
Publication of JP2017204767A publication Critical patent/JP2017204767A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19667Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】IPカメラなどネットワークを介して動画像を伝送する際に、帯域を広く取れない状況下でも高品質の動画像を伝送することができる動画像伝送装置及び動画像伝送方法を提供する。【解決手段】動画像を撮像する撮像部31と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード部32と、生成された第一ストリームデータを出力する出力部33とを含む撮像装置3に直接又はネットワークを介して接続され、ネットワーク4を介して受信端末6に動画像を伝送する伝送装置1であって、撮像装置3から第一ストリームデータを受信する受信部11と、受信又は生成したストリームデータを記憶する記憶部12と、記憶部12に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理部13と、第二ストリームデータを送信する送信部14と、を有する。【選択図】図1

Description

本発明は、ネットワークを介して動画像を伝送する動画像伝送システムに関し、特に、無線通信などの帯域が比較的狭い通信手段にて動画像を伝送する場合に適した動画像伝送システム及び動画像伝送方法に関する。
近年、ブロードバンドネットワークの普及により、IPカメラを屋内外に設置し、ネットワークを介して動画像データを送信して、離れた場所で閲覧や保存が可能な監視システムが普及している(例えば、特許文献1の図6参照)。従来の監視カメラシステムでは、撮像された動画像データは圧縮されてネットワーク配信される。動画像データの圧縮方式としては、MPEG2、MPEG4、H.264などが知られている。
特開2012−90172号公報
従来技術は、光ファイバーなど帯域が広くて安定しているブロードバンドネットワークに接続できる環境下では高画質かつ高フレームレートの動画像データをリアルタイムで安定的に送信することができるが、帯域が比較的に狭くて変動の大きいネットワークにしか接続できない環境下では、コマ落ちや送信不能状態に陥ることがあるという問題があった。
ブロードバンドネットワークの中でも帯域が広くて安定している光ファイバー網の整備は都市部など人口密集地に集中しており、帯域が比較的狭くて安定しないADSLや無線通信に依存している地域も多い。従来、ネットワークの帯域が比較的狭く安定しない地域において、データ容量の大きい動画像データをリアルタイムに送信する場合には、画像データの画質を落としたりサイズを小さくしたりするか、フレームレートを低くせざるを得ないため、高フレームレートできれいな画像の伝送技術が望まれていた。
そこで、本発明は、IPカメラなどネットワークを介して動画像を伝送する際に、帯域を広く取れない状況下でも、動きが滑らかで画像のきれいな高品質の動画像を伝送することができる動画像伝送装置及び動画像伝送方法を提供するものである。
本発明は、上記課題を解決するために、動画像を撮像する撮像手段と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段と、生成された第一ストリームデータを出力する出力手段とを含む撮像装置に直接又はネットワークを介して接続され、ネットワークを介して受信端末に動画像を伝送する動画像伝送装置であって、前記撮像装置から前記第一ストリームデータを受信する受信手段と、受信又は生成したストリームデータを記憶する記憶手段と、前記記憶手段に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段と、前記第二ストリームデータを送信する送信手段と、を有する動画像伝送装置を提供するものである。
また、本発明の動画像伝送装置は、前記再エンコード処理が、前記第一ストリームデータの画像データを輝度信号と色差信号からなるYUV画像データに変換し、該色差信号を間引く間引き処理を含むものである。
また、本発明の動画像伝送装置において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれたYUV4:2:2フォーマット又はYUV4:2:0フォーマットであり、前記再エンコード処理が、前記第一ストリームデータの画像データから更に前記色差信号を間引く間引き処理を含むものである。
また、本発明の動画像伝送装置において、前記第二ストリームデータはYUV4:2:0フォーマットである。
また、本発明の動画像伝送装置は、前記再エンコード処理が、前記間引き処理の後に、前記画像データのサイズを縮小する縮小処理を含むものである。
また、本発明の動画像伝送装置は、ルータ機能を備えたものである。
また、本発明の動画像伝送装置は、前記ネットワークを介してクラウドシステムと制御可能に接続され、前記送信手段が前記第二ストリームデータを前記クラウドシステムにアップロードする手段を備えたものである。
また、本発明は、ネットワークに接続された動画像撮像装置から配信される第一ストリームデータを伝送する動画像伝送方法であって、前記動画像撮像装置から前記第一ストリームデータを受信する受信工程と、受信した第一ストリームデータを一時的に記憶する一時記憶工程と、記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、前記第二ストリームデータを記憶する記憶工程と、前記第二ストリームデータを送信する送信工程と、を有する動画像伝送方法を提供するものである。
また、本発明の動画像伝送方法において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれた画像データからなるYUVフォーマットであり、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引き、YUVフォーマットに再変換する工程を含むものである。
また、本発明の動画像伝送方法は、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引いた後に、前記画像データのサイズを縮小する工程を含むものである。
また、本発明の動画像伝送方法は、前記送信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含むものである。
本発明の動画像伝送装置は、動画像を撮像する撮像手段と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段と、生成された第一ストリームデータを出力する出力手段とを含む撮像装置に直接又はネットワークを介して接続され、ネットワークを介して受信端末に動画像を伝送する動画像伝送装置であって、前記撮像装置から前記第一ストリームデータを受信する受信手段と、受信又は生成したストリームデータを記憶する記憶手段と、前記記憶手段に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段と、前記第二ストリームデータを送信する送信手段と、を有することにより、IPカメラなどの撮像装置が生成した第一ストリームデータを更に圧縮した第二ストリームデータを生成して送信するから、帯域が比較的狭くて安定しないネットワークを介しても、コマ落ちを防いで動きの滑らかな動画像をリアルタイムで伝送することができる効果がある。
また、本発明の動画像伝送装置は、前記再エンコード処理が、前記第一ストリームデータの画像データを輝度信号と色差信号からなるYUV画像データに変換し、該色差信号を間引く間引き処理を含むことにより、人の視覚に与える影響が大きいY画像データの解像度やサイズ、フレームレートを維持しつつ、人の視覚に与える影響が小さい色差信号を間引いてデータ量を圧縮するから、見た目の動きが滑らかで画像のきれいな高品質の動画像を伝送することができる効果がある。
また、本発明の動画像伝送装置において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれたYUV4:2:2フォーマット又はYUV4:2:0フォーマットであり、前記再エンコード処理が、前記第一ストリームデータの画像データから更に前記色差信号を間引く間引き処理を含むことにより、大きく圧縮されたYUV4:2:2フォーマット又はYUV4:2:0フォーマットの第一ストリームデータに、更に色差信号の間引き処理を加えてデータ量を圧縮するから、帯域が狭くて安定しない無線通信などのネットワークを介しても、コマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。
また、本発明の動画像伝送装置において、前記第二ストリームデータはYUV4:2:0フォーマットであることにより、人の視覚特性を利用して高い圧縮率を得ることができる効果がある。
また、本発明の動画像伝送装置は、前記再エンコード処理が、前記間引き処理の後に、前記画像データのサイズを縮小する縮小処理を含むことにより、画質の劣化を最小限に抑えつつ、更に高い圧縮率を得ることができる。本動画像伝送装置は、帯域が狭くて安定しない無線通信などのネットワークを介しても、確実にコマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。
また、本発明の動画像伝送装置は、ルータ機能を備えたことにより、撮像装置をインターネットなどの広域ネットワークに接続するルータ機器に、撮像装置から出力される第一ストリームデータを圧縮・変換し、第二ストリームデータを送信する機能を付加することができる。本動画像伝送装置は、既存のIPカメラであっても、帯域が比較的狭く安定しないネットワークにしか接続できない場所に設置することができ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。
また、本発明の動画像伝送装置は、前記ネットワークを介してクラウドシステムと制御可能に接続され、前記送信手段が前記第二ストリームデータを前記クラウドシステムにアップロードする手段を備えたことにより、通常時は動画像伝送装置からストリームデータをライブ配信又は録画配信する一方、動画像伝送装置側の帯域が減少したときには、クラウドシステムからストリームデータをライブ配信又は録画配信することができ、常に動画像を受信端末に伝送することができる効果がある。
また、本発明の動画像伝送方法は、ネットワークに接続された動画像撮像装置から配信される第一ストリームデータを伝送する動画像伝送方法であって、前記動画像撮像装置から前記第一ストリームデータを受信する受信工程と、受信した第一ストリームデータを一時的に記憶する一時記憶工程と、記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、前記第二ストリームデータを記憶する記憶工程と、前記第二ストリームデータを送信する送信工程と、を有することにより、IPカメラなどの撮像装置が生成した第一ストリームデータを更に圧縮した第二ストリームデータを生成してリアルタイムで送信することができる。また、本動画像伝送方法は、必要な帯域幅を得られないときには、記憶された第二ストリームデータを録画配信することができるから、確実に動画像を伝送することができる効果がある。
また、本発明の動画像伝送方法において、前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれた画像データからなるYUVフォーマットであり、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引き、YUVフォーマットに再変換する工程を含むことにより、人の視覚に与える影響が大きいY画像データの解像度やサイズ、フレームレートを維持しつつ、人の視覚に与える影響が小さい色差信号を間引いてデータ量を圧縮するから、見た目の動きが滑らかで画像のきれいな高品質の動画像を伝送することができる。本動画像伝送方法は、YUVフォーマットの第一ストリームデータに、更に色差信号の間引き処理を加えてデータ量を圧縮するから、帯域が狭くて安定しない無線通信などのネットワークを介しても、コマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。
また、本発明の動画像伝送方法は、前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引いた後に、前記画像データのサイズを縮小する工程を含むことにより、画質の劣化を最小限に抑えつつ、更に高い圧縮率を得ることができる。本動画像伝送方法は、帯域が狭くて安定しない無線通信などのネットワークを介しても、確実にコマ落ちを防ぎつつ、動きが滑らかできれいな動画像をリアルタイムで伝送することができる効果がある。
また、本発明の動画像伝送方法は、前記送信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含むことにより、通常時はストリームデータを直にライブ配信又は録画配信する一方、接続しているネットワークの帯域が減少したときには、クラウドシステムからストリームデータをライブ配信又は録画配信することができ、常に動画像を受信端末に伝送することができる効果がある。

本発明に係る動画像伝送装置の一実施例を示す構成図。 本発明に係る動画像伝送方法の一実施例を示すフローチャート。
本発明の実施の形態を図示する実施例に基づいて説明する。図1は、本発明に係る動画像伝送装置の一実施例を示す構成図である。
本発明の動画像伝送装置1は、動画像を撮像する撮像手段(撮像部31)と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段(エンコード部32)と、生成された第一ストリームデータを出力する出力手段(出力部33)とを含む撮像装置3に直接又はネットワークを介して接続され、ネットワーク4を介して受信端末6に動画像を伝送する装置であって、撮像装置3から第一ストリームデータを受信する受信手段(受信部11)と、受信又は生成したストリームデータを記憶する記憶手段(記憶部12)と、記憶手段(記憶部12)に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段(処理部13)と、第二ストリームデータを送信する送信手段(送信部14)と、を有する。
本願の発明者らは、IPカメラなどの撮像装置3を監視カメラとして設置したときに撮像される動画像には、背景など動きのない部分が多く、IPカメラなどで使用されているYUVフォーマットから更に色差情報を間引いても、視覚的な画質に与える影響が小さいことに着目した。そして、撮像装置3において既に非可逆圧縮されている画像データを、色差情報を間引くことにより更に圧縮率を高め、且つ非可逆圧縮することで、様々な利点を引き出すことができることを見出した。
本発明は、動画像データの変換前後の動画圧縮コードが同種の場合に限って、解像度を下げたり、フレーム間予測情報を少ない演算で不可逆圧縮したりする一般的トランスコードに対して、YUV画像データの色差情報による圧縮を付加することによって、従来にない高圧縮処理を可能にした。本願の伝送装置1は、ハイビジョン画質と30fpsの一般的なフレームレートを維持しつつ500kbps程度まで動画像データのサイズを小さくすることができ、色情報を残して視覚的にもきれいな動画像をライブ配信可能にした。
[撮像装置]
本実施例において、撮像装置3は、例えば監視カメラとして設置されるIPカメラであり、動画像を撮像する撮像部31と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード部32と、生成された第一ストリームデータを出力する出力部33と、を有する。
撮像部31は、レンズ及び撮像素子(CCD又はCMOSなど)を備えている。被写体からの光はレンズを通って撮像素子上に結像し、撮像素子で光電変換されてRGB画像データに変換される。撮像部31は、設定に応じてRGB画像データをエンコード部32に供給し、又は、輝度信号と色差信号からなるYUV画像データに変換し、YUV画像データをエンコード部32に供給する。本実施例において、画像データのサイズは1980×1080pixelで、フレームレートは30fpsである。
本実施例において、エンコード部32は、画像データのサイズ及びフレームレートを変更しないで、色差信号をYUV4:2:2フォーマット又はYUV4:2:0フォーマットに間引き処理し、H.264規格で圧縮処理して第一ストリームデータを生成する。生成された第一ストリームデータは、内部メモリに一時的に保存され、出力部33から出力される。出力部33は、RTSPやHTTPで要求されたストリームデータを伝送装置1に出力する。
エンコード部32は、動画像データをH.264規格で圧縮処理するものに限らず、MPEG−1、MPEG−2、MPEG−4やH.263規格など他の規格で圧縮処理してもよい。また、撮像装置3は、図示しない記憶装置を備え、エンコード部32が第一ストリームデータの他にMotion JPEG規格の動画像データを生成し、記憶装置に記憶する構成であってもよい。
撮像装置3は、撮像した動画像データをリアルタイムで出力することができる構成であればよく、広く普及しているIPカメラなど動画像を撮影可能な種々のカメラを使用することができる。
[伝送装置]
伝送装置1は、撮像装置3から第一ストリームデータを受信する受信部11と、受信又は生成したストリームデータを記憶する記憶部12と、記憶部12に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理部13と、第二ストリームデータを送信する送信部14と、を有する。
伝送装置1と撮像装置3は、PoE接続など通信ケーブル2を介して伝送装置1から撮像装置3へ電力供給可能に接続されている。図示の実施例では、1台の伝送装置1に1台の撮像装置3が接続されているが、伝送装置1には複数の撮像装置3を接続してもよい。また、撮像装置3の電源が確保できる場合には、有線又は無線LANなどの一般的なネットワークを介して相互に接続してもよい。
実施例において、伝送装置1は、ルータ機能を備えており、インターネットなどの広域ネットワーク4に無線接続されている。撮像装置3は、伝送装置1を介してネットワーク4に接続されており、ネットワーク4にアクセス可能な受信端末6に動画像を配信することができる。また、撮像装置3は、受信端末6から撮影条件など各種設定が可能になっている。なお、伝送装置1は、ネットワーク4に有線で接続してもよいが、撮像装置3の設置可能範囲が広がることから、無線接続できることが好ましい。
受信部11は、通信ケーブル2を介して撮像装置3からリアルタイムで第一ストリームデータを受信し、記憶部12にストリームプロファイルデータをそのまま一時保存する。
記憶部12は、例えばROMやRAMなどのメモリ及びハードディスクを備えている。記憶部12には、処理部13の各種処理を実行するためのプログラムなどが格納されるプログラム領域と、このプログラムの実行過程で生成される作業データなどを一時的に記憶するワーク領域などが割り当てられている。また、記憶部12には、撮像装置3から受信した第一ストリームデータと、処理部13で生成される第二ストリームデータを記憶する。
処理部13は、プロセッサなどの電子回路であり、伝送装置1の制御と、記憶部12に記憶された第一ストリームデータの再エンコード処理などを行う。本実施例において、処理部13は、第一ストリームデータに対して、デコードしないで再エンコードするトランスコード処理を行う。処理部13は、第一ストリームデータのYUV画像データから更に色差信号を間引く間引き処理を行い、次に、画像データのサイズを縮小する縮小処理を行う。画像データサイズは、例えば1280×720pixelに縮小される。本実施例では、動画像のスムーズな再生のために、フレームレートは30fpsから変更しない。
色差信号の間引き処理は、YUV画像データの輝度信号(Y)はそのままにして、色差信号(U,V)のみ間引き処理を行う。本実施例では、UとVそれぞれの水平方向と垂直方向を半分に間引いた4:2:0フォーマットに変換される。処理部13は、第一ストリームデータをH.264規格で再エンコード処理し、生成される第二ストリームデータのビットレートが500kbps程度になるように、一般的なトランスコード処理に加えて色差信号の間引き処理を行う。例えば、動画像データは、ベースラインプロファイルのレベル3で圧縮される。なお、動画像データの圧縮処理は、現在の規格ではH.264規格で圧縮することが好ましいが、規格やフォーマットは実施例に限らず、他の規格やフォーマットを用いてもよい。
処理部13は、YUV画像データの構成要素を変更するYUVフィルタを備えている。YUVフィルタは、YUVそれぞれにスケール用パラメータが設定されており、Yパラメータは輝度を調整し、Uパラメータは青色のカラーバランスを調整し、Vパラメータは赤色のバランスを調整する。
受信部11で受信した第一ストリームデータがRGBフォーマットの場合、処理部13は、第一ストリームデータの画像データを輝度信号(Y)と色差信号(U,V)からなるYUV画像データに変換した後、色差信号を間引く間引き処理を行う。処理部13は、画像データのUとVそれぞれの水平方向と垂直方向を半分に間引いた4:2:0フォーマットに変換する。処理部13は、第一ストリームデータをH.264規格で再エンコード処理し、生成される第二ストリームデータのビットレートが500kbps程度になるように、一般的なトランスコード処理に加えて色差信号の間引き処理を行う。受信部11は、第一ストリームデータの形式にかかわらず、プログレッシブ形式で第二ストリームデータを生成することが好ましい。
処理部13で生成された第二ストリームデータは、記憶部12に記憶されると共に、送信部14からネットワーク4を介してクラウドシステム5及び受信端末6へ送信される。
送信部14は、無線通信機能を備えており、インターネットなどの広域ネットワーク4に無線接続されている。送信部14は、生成された第二ストリームデータをリアルタイムで受信端末6へ送信すると同時にクラウドシステムへアップロードする。また、送信部14は、受信端末からの要求に応じて、記憶部12に記憶された第二ストリームデータを録画配信する。なお、送信部14は、ネットワーク4に有線で接続してもよい。
[受信側機器]
クラウドシステム5は、ネットワーク4を介して伝送装置1と接続されており、API(アプリケーションプログラミングインターフェース)を使用して連携している。クラウドシステム5は、伝送装置1からアップロードされた第二ストリームデータを記憶装置に記憶する。クラウドシステム5は、第二ストリームデータをリアルタイムで受信端末に送信することができ、また、受信端末からの要求に応じて第二ストリームデータを録画配信する。
受信端末6は、インターネットなどの広域ネットワーク4に接続可能なパーソナルコンピュータ、タブレット端末、スマートフォンなどである。受信端末6は、伝送装置1又はクラウドシステム5にアクセスして、撮像装置3が撮像した動画像をライブ視聴又は録画視聴することができる。また、受信端末6は、クラウドシステム5にアクセスして、クラウドシステム5の機器管理やリモート操作、伝送装置1の設定変更などの管理を行うことができる。
[伝送装置の動作]
以下、図2を参照しながら、本実施例1に係る伝送装置1の動作について説明する。図2は、本発明に係る動画像伝送方法の一実施例を示すフローチャートである。
本発明の動画像伝送方法は、ネットワーク4に接続された動画像の撮像装置3から配信される第一ストリームデータを伝送する方法であって、撮像装置3から第一ストリームデータを受信する受信工程と、受信した第一ストリームデータを一時的に記憶する一時記憶工程と、記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、第二ストリームデータを記憶する記憶工程と、第二ストリームデータを送信する送信工程と、を有する。
撮像装置3は、撮像部31で動画像を撮像すると、赤(R)緑(G)青(B)の各画像からなるRGB画像データを輝度信号(Y)と色差信号(U,V)からなるYUV画像データに変換する(ステップS1)。撮像装置3による動画像の撮像は、ネットワーク4を介して制御することができる。
撮像装置3は、エンコード部32において、色差信号(U,V)をYUV4:2:0フォーマットに間引き処理し、H.264規格で圧縮処理して第一ストリームデータを生成する(ステップS2)。第一ストリームデータは、例えば画像データのサイズが1980×1080pixelで、フレームレートが30fpsである。第一ストリームデータは撮像装置3の最大解像度でプログレッシブ信号を使用することが好ましい。
撮像装置3は、生成された第一ストリームデータを内部メモリに一時的に保存する(ステップS3)。
撮像装置3は、伝送装置1からのリクエストを待機する(ステップS4)。伝送装置1は、受信端末6又はクラウドシステム5からの指示によって、撮像装置3に第一ストリームデータを出力するようにリクエストする。出力部33は、伝送装置1からのリクエストを受けて、第一ストリームデータをリアルタイムで出力する(ステップS5)。
伝送装置1は、受信部11で第一ストリームデータを受信すると、記憶部12にストリームプロファイルデータをそのまま一時保存する(ステップS6)。このとき、データはMPEG形式で保存する。
伝送装置1は、処理部13において、YUV画像データの輝度信号(Y)はそのままにして、色差信号(U,V)のみ間引き処理を行う(ステップS7)。処理部13は、人の視覚特性を利用して、色差信号の間引き処理が行われている第一ストリームデータにおいて更に色差信号の間引き処理を行う。
処理部13は、ルックアップテーブルYUVフィルタを用いて、YUVの画素形式を部分的に修正する。色差信号(U,V)の間引き処理は、画素の間引きと諧調の圧縮とを組み合わせて行うことができる。
処理部13は、色差信号の間引き処理が行われた画像データのサイズを縮小する縮小処理を行う(ステップS8)。画像データのサイズは、例えば1280×720pixelに縮小される。なお、フレームレートは30fpsから変更しない。撮像装置3で生成される第一ストリームデータは、インターレース信号のものとプログレッシブ信号のものがあるため、処理部13は、プログレッシブ信号を使用してストリームデータを生成する。
処理部13は、動画像データをH.264規格で再エンコード処理して、第二ストリームデータを生成する(ステップS9)。処理部13は、生成される第二ストリームデータのビットレートが500kbps以下になるように指定し、フレーム間予測やエントロピー符号化などの圧縮処理も行う。
伝送装置1は、生成された第二ストリームデータを記憶部12に保存すると同時に、送信部14において、ネットワーク4を介して第二ストリームデータを受信端末6又はクラウドシステム5へ送信する(ステップS10)。
本発明の動画像伝送方法は、色情報を視覚的にもきれいな動画像を維持しつつ、従来にない高圧縮処理を可能にした。本動画像伝送方法は、ハイビジョン画質と一般的なフレームレートを維持しつつ500kbps以下まで動画像データのサイズを小さくすることができた。これにより、上りの通信速度が1Mbps程度しかないネットワークを介してもきれいな動画像データを安定的にライブ配信することが可能になった。また、本発明の動画像伝送方法は、動画像データの圧縮処理を分散させたことにより、撮像装置3やクラウドシステム5の負担を軽減させることができる。
本発明の別の実施例としては、伝送装置1がクラウドシステムであってもよい。このときは、伝送装置1と撮像装置3はネットワークを介して接続される。その他の構成は、実施例1の構成と同様である。
伝送装置1がクラウドシステムである場合には、撮像装置3から伝送装置1への第一ストリームデータの送信負荷を軽減することはできないが、クラウドシステムにおける記憶容量の低減と記憶速度の向上を図ることができる。また、帯域の狭いところにある受信端末6からも、コマ落ちすることなくライブ視聴が可能になる。
1 伝送装置
2 通信ケーブル
3 撮像装置
4 ネットワーク
5 クラウドシステム
6 受信端末
11 受信部
12 記憶部
13 処理部
14 送信部
31 撮像部
32 エンコード部
33 出力部

Claims (11)

  1. 動画像を撮像する撮像手段と、撮像した動画像をエンコード処理して第一ストリームデータを生成するエンコード手段と、生成された第一ストリームデータを出力する出力手段とを含む撮像装置に直接又はネットワークを介して接続され、ネットワークを介して受信端末に動画像を伝送する動画像伝送装置であって、
    前記撮像装置から前記第一ストリームデータを受信する受信手段と、
    受信又は生成したストリームデータを記憶する記憶手段と、
    前記記憶手段に記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理手段と、
    前記第二ストリームデータを送信する送信手段と、
    を有し、前記再エンコード処理がYUV画像データの色差信号を間引く間引き処理を含む動画像伝送装置。
  2. 前記再エンコード処理が、前記第一ストリームデータの画像データを輝度信号と色差信号からなるYUV画像データに変換し、該色差信号を間引く間引き処理を含む請求項1に記載の動画像伝送装置。
  3. 前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれたYUV4:2:2フォーマット又はYUV4:2:0フォーマットであり、
    前記再エンコード処理が、前記第一ストリームデータの画像データから更に前記色差信号を間引く間引き処理を含む請求項1に記載の動画像伝送装置。
  4. 前記第二ストリームデータはYUV4:2:0フォーマットである請求項2又は請求項3に記載の動画像伝送装置。
  5. 前記再エンコード処理が、前記間引き処理の後に、前記画像データのサイズを縮小する縮小処理を含む請求項2乃至請求項4の何れか一項に記載の動画像伝送装置。
  6. 請求項1乃至請求項5の何れか一項に記載の動画像伝送装置であって、ルータ機能を備えた動画像伝送装置。
  7. 前記ネットワークを介してクラウドシステムと制御可能に接続され、前記送信手段が前記第二ストリームデータを前記クラウドシステムにアップロードする手段を備えた請求項6に記載の動画像伝送装置。
  8. ネットワークに接続された動画像撮像装置から配信される第一ストリームデータを伝送する動画像伝送方法であって、
    前記動画像撮像装置から前記第一ストリームデータを受信する受信工程と、
    受信した第一ストリームデータを一時的に記憶する一時記憶工程と、
    記憶された第一ストリームデータを再エンコード処理して圧縮した第二ストリームデータを生成する処理工程と、
    前記第二ストリームデータを記憶する記憶工程と、
    前記第二ストリームデータを送信する送信工程と、
    を有し、前記再エンコード処理がYUV画像データの色差信号を間引く間引き処理を含む動画像伝送方法。
  9. 前記第一ストリームデータは、撮像された画像データが輝度信号と色差信号からなるYUV画像データに変換され、該色差信号が間引かれた画像データからなるYUVフォーマットであり、
    前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引き、YUVフォーマットに再変換する工程を含む請求項8に記載の動画像伝送方法。
  10. 前記処理工程が、前記第一ストリームデータの画像データから更に前記色差信号を間引いた後に、前記画像データのサイズを縮小する工程を含む請求項9に記載の動画像伝送方法。
  11. 前記送信工程が、ネットワークを介して制御可能に接続されたクラウドシステムに前記第二ストリームデータをアップロードする工程と、受信端末からのリクエストに応じて前記第二ストリームデータを送信する工程と、を含む請求項10に記載の動画像伝送方法。
JP2016096139A 2016-05-12 2016-05-12 動画像伝送装置及び動画像伝送方法 Expired - Fee Related JP6045051B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016096139A JP6045051B1 (ja) 2016-05-12 2016-05-12 動画像伝送装置及び動画像伝送方法
PCT/JP2017/017762 WO2017195844A1 (en) 2016-05-12 2017-05-10 Moving image transmission device and moving image transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016096139A JP6045051B1 (ja) 2016-05-12 2016-05-12 動画像伝送装置及び動画像伝送方法

Publications (2)

Publication Number Publication Date
JP6045051B1 true JP6045051B1 (ja) 2016-12-14
JP2017204767A JP2017204767A (ja) 2017-11-16

Family

ID=57543846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016096139A Expired - Fee Related JP6045051B1 (ja) 2016-05-12 2016-05-12 動画像伝送装置及び動画像伝送方法

Country Status (2)

Country Link
JP (1) JP6045051B1 (ja)
WO (1) WO2017195844A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284005A (ja) * 2002-01-15 2003-10-03 Sony Corp データ処理装置
JP2007228459A (ja) * 2006-02-27 2007-09-06 Ikegami Tsushinki Co Ltd 監視システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7995652B2 (en) * 2003-03-20 2011-08-09 Utc Fire & Security Americas Corporation, Inc. Systems and methods for multi-stream image processing
JP2006333254A (ja) * 2005-05-27 2006-12-07 Fujifilm Holdings Corp 動画像リアルタイム通信端末、動画像リアルタイム通信端末の制御方法及び動画像リアルタイム通信端末の制御プログラム
US8428120B2 (en) * 2007-12-11 2013-04-23 Taiwan Imagingtek Corporation Method and apparatus of Bayer pattern direct video compression
US9282297B2 (en) * 2008-01-24 2016-03-08 Micropower Technologies, Inc. Video delivery systems using wireless cameras
US20110007159A1 (en) * 2009-06-06 2011-01-13 Camp David M Video surveillance system and associated methods
JP2012090172A (ja) 2010-10-21 2012-05-10 Canon Inc 監視カメラ、監視カメラの制御方法及びネットワークカメラシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003284005A (ja) * 2002-01-15 2003-10-03 Sony Corp データ処理装置
JP2007228459A (ja) * 2006-02-27 2007-09-06 Ikegami Tsushinki Co Ltd 監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6016030234; 出原 優一 Yuichi Idehara: 'JPEG2000スケーラブル配信を用いた映像監視システムの検討' FIT2004 第3回情報科学技術フォーラム 一般講演論文集 第4分冊 インターネット ネットワーク 第4分冊, 20040820, pp.119,120, 社団法人電子情報通信学会 *

Also Published As

Publication number Publication date
WO2017195844A1 (en) 2017-11-16
JP2017204767A (ja) 2017-11-16

Similar Documents

Publication Publication Date Title
JP6610735B2 (ja) 画像処理装置及び画像処理方法
US11706448B2 (en) Image processing apparatus and image processing method
KR102498725B1 (ko) 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
JP4488027B2 (ja) 情報処理装置および方法、並びに、情報処理システム
WO2015104891A1 (ja) 画像処理装置及び画像処理方法
KR102309086B1 (ko) 화상 부호화 장치 및 방법과, 화상 복호 장치 및 방법
JPWO2011013349A1 (ja) 映像データ処理装置及び映像データ処理システム
JP2015513717A (ja) データ、マルチメディアおよびビデオの送信の更新システム
CN111901630A (zh) 一种数据传输方法、装置、终端设备和存储介质
JP2007325109A (ja) 配信サーバ、ネットワークカメラ、配信方法及びプログラム
US9948903B2 (en) Method for configuration of video stream output from a digital video camera
JP2008118271A (ja) 撮像装置の遠隔制御システム
WO2013011671A1 (ja) 送信装置および送信方法
KR102050417B1 (ko) 네트워크 시스템 및 방법
Ramil et al. Real-time video server implementation for a mobile robot
KR101164365B1 (ko) 차량용 영상 모니터링 장치의 4채널 화면 분할 방법
KR20050115226A (ko) 송신 제어 장치 및 방법, 기록 매체, 및 프로그램
JP4799191B2 (ja) 通信端末、通信システムおよび通信方法
JP6045051B1 (ja) 動画像伝送装置及び動画像伝送方法
KR20130122117A (ko) 실시간 동영상 전송 방법 및 장치
KR101291559B1 (ko) 실시간 다중 영상압축 장치 및 방법
KR20140072668A (ko) 네트워크 카메라 서버 및 그의 비디오 스트림 처리 방법
Mohammed et al. Ultra-High-Definition Video Transmission for Mission-Critical Communication Systems Applications
JP2019161251A (ja) 画像配信装置、方法及びプログラム
JP2002010266A (ja) 画像情報変換装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161110

R150 Certificate of patent or registration of utility model

Ref document number: 6045051

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees