JPWO2014192804A1 - デコーダ及び監視システム - Google Patents

デコーダ及び監視システム Download PDF

Info

Publication number
JPWO2014192804A1
JPWO2014192804A1 JP2015519900A JP2015519900A JPWO2014192804A1 JP WO2014192804 A1 JPWO2014192804 A1 JP WO2014192804A1 JP 2015519900 A JP2015519900 A JP 2015519900A JP 2015519900 A JP2015519900 A JP 2015519900A JP WO2014192804 A1 JPWO2014192804 A1 JP WO2014192804A1
Authority
JP
Japan
Prior art keywords
unit
image
desired region
decoder
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015519900A
Other languages
English (en)
Inventor
健一 新房
健一 新房
弘典 寺内
弘典 寺内
茂木　一男
一男 茂木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2014192804A1 publication Critical patent/JPWO2014192804A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

出力先のデコーダにおいて、希望領域受信部４３により希望領域を受信し、出力元から入力される画像において切出し部４４が希望領域部分を切り出し、切り出した希望領域部分の画像を表示する。

Description

本発明は、デコーダ及び監視システムに関するものである。
近年、地デジに代表されるデジタル放送が開始され、ハイビジョン放送が標準となっている。また同時に、動画像を撮影するビデオカメラにおいても、ハイビジョン撮影が標準となりつつ有る。
ハイビジョン動画の撮影は、今までのＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）動画と比較して、画素数が大幅に増加している。フルハイビジョン動画は１フレームの画素数が１９２０×１０８０であるのに対し、ＳＤ動画では６４０×４８０であり、フルハイビジョン動画の画素数はＳＤ動画の６倍になっている。
また近年、広域監視システムでも、ハイビジョン動画を使用するシステムが増加してきている。ただし、既存のシステムには従来のＳＤ動画用設備も多く残っており、完全なシステム機材入れ替えが行われない限り、それらの機器の混在が発生する。
例えば、フルハイビジョンカメラとＳＤ解像度モニタが混在するシステムにおいては、一般的にハイビジョン映像信号をＳＤ解像度まで縮小処理してモニタに表示する。それにより、フルハイビジョンカメラとＳＤ解像度モニタの混在が可能となる。しかし、ユーザーが目視でフルハイビジョンカメラの視野範囲を見渡すことは可能となるが、縮小処理にて画像情報が圧縮された分、解像度が犠牲になるため、監視業務に支障が出る状況となる。
特許文献１では、フルハイビジョンカメラ装置で撮像したハイビジョン映像を、表示手段の解像度に応じた解像度に縮小処理した縮小画像を作成するとともに、フォーカス合わせ等の作業に支障が出ないようにするため、ハイビジョン映像信号からフォーカス合わせの対象となる所定の画像領域を抽出し、この抽出領域の画像の解像度をハイビジョン映像信号の解像度に維持したままのフォーカス用映像信号を作成し、このフォーカス用映像と上記縮小画像を重畳してモニタ表示画面（例えば画面の上下）に並べて表示する方法が提案されている。
また、特許文献２では、静止画の画像データを転送する際に指定領域を設定し、指定領域については高解像度の画像データを転送し、指定領域以外の領域については低解像度の画像データを転送する方法が提案されている。
特開２００６−３３１２６号公報 特開２００７−８１４６５号公報
広域監視システムでは、複数のカメラを複数の監視所で活用するのが一般的である。
例えば、フルハイビジョンカメラ２台と監視所２箇所の広域監視システムを例に取る。
フルハイビジョンカメラＡ側にエンコーダＡを設置し、フルハイビジョンカメラＢ側にエンコーダＢを設置し、各エンコーダはＳＤ解像度に圧縮され符号化された画像をネットワークにマルチキャストで配信する。配信されたＳＤ解像度画像のマルチキャストデータは、監視所ＣにあるデコーダＣと、監視所ＤにあるデコーダＤにて復号され、それぞれの監視所のＳＤ解像度モニタに表示される。
ここで、監視所Ｃ、監視所Ｄでは、両方共フルハイビジョンカメラＡの画像を見ており、監視所ＣではフルハイビジョンカメラＡの画像の領域Ｃを高解像度で観測したいと要求し、監視所ＤではフルハイビジョンカメラＡの画像の領域Ｄを高解像度で観測したいと要求した場合を考える。
このときの領域Ｃ、領域Ｄは、上記特許文献１での抽出領域または上記特許文献２での指定領域に相当する。そこで、特許文献１、特許文献２に示される従来技術を、この広域監視システムにおいて適用することが考えられるが、この広域監視システムのケースでは、エンコーダＡに監視所Ｃと監視所Ｄよりそれぞれ異なった領域の高解像度化のリクエストが出されており、当然ながらエンコーダＡは監視所Ｃ、監視所Ｄ両方の要求を同時に実現することは出来ない。一方の監視所からの要求のみ実現可能となる。仮にエンコーダＡが監視所Ｃからの領域Ｃの要求のみを採用した場合、監視所Ｄは本来要求していない領域Ｃを高解像度で受信させられることとなり、監視業務に支障が出る。
つまり、従来の技術では、高解像度で表示させる領域の位置は、一意に定まってしまい、複数の監視所で異なった領域の位置を高解像度で観測することは不可能となる。
なお、上記のような課題は、広域監視システムに限定されるものではなく、出力元から同じ画像を入力される出力先が、複数存在するようなシステムに共通する課題である。
本発明は、上記のような課題を解決するためになされたもので、各監視所等の出力先において、画像内の任意の領域を、他の出力先（例えば監視所等）の影響なく観測することを可能にすることを目的とする。
この発明に係るデコーダは、画像データを受信するデータ受信部と、データ受信部が受信した画像データを復号する復号部と、希望領域を受信する希望領域受信部と、復号部が復号した画像データから得られる画像において、希望領域受信部が受信した希望領域を切り出す切出し部と、切出し部が切り出した領域を、所定の画像サイズに縮小または拡大する画像生成部とを備えることを特徴とするものである。
この発明によれば、出力先ごとに、画像内の任意の領域を、他の出力先の影響なく観測することができる。
この発明の実施の形態１に係るデコーダおよびこのデコーダを備えるシステムを示す図である。 この発明の実施の形態１に係るフルハイビジョンカメラが撮影するフルハイビジョン画像の例を示す図である。 オペレータが指示する希望領域の例を示す図である。 オペレータが指示する希望領域の例を示す図である。 この発明の実施の形態１に係るデコーダの各部の処理フローを示すフローチャートである。 この発明の実施の形態２に係るデコーダおよびこのデコーダを備えるシステムを示す図である。 オペレータが指示する希望領域と各希望領域の中央位置の例を示す図である。 この発明の実施の形態３に係るデコーダおよびこのデコーダを備えるシステムを示す図である。 この発明の実施の形態３に係るデコーダの各部の処理フローを示すフローチャートである。 この発明の実施の形態３に係るシステムによる処理の様子を示す図である。 この発明の実施の形態３におけるエンコーダの構成を示す図である。 この発明の実施の形態３に係るデコーダの構成を示す図である。 この発明の実施の形態４に係るデコーダおよびこのデコーダを備えるシステムを示す図である。 この発明の実施の形態４に係るシステムによる処理の様子を示す図である。 この発明の実施の形態４におけるエンコーダの構成を示す図である。 この発明の実施の形態５に係るデコーダを備えるシステムを示す図である。 この発明の実施の形態５に係るデコーダの構成を示す図である。 この発明の実施の形態５におけるエンコーダの構成を示す図である。 この発明の実施の形態５に係るシステムの処理フローを示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この発明の実施の形態１について図１〜５を参照しながら説明する。
図１は、この発明の実施の形態１に係るデコーダおよびこのデコーダを備えるシステムを示す図である。図１（ａ）はシステムの全体について示し、図１（ｂ）はシステム内のデコーダの構成について示している。なお、各図中、同一符号は同一又は相当部分を示す。
図１（ａ）には、フルハイビジョンカメラ１（以下ＨＤカメラ１とする）、ハイビジョンエンコーダ２（以下ＨＤエンコーダ２とする）、ネットワーク３、デコーダ４ａ、４ｂ、４ｃ、ＳＤ解像度モニタ５ａ、５ｂ、５ｃ、操作卓６ａ、６ｂ、６ｃを示している。
ＨＤカメラ１は、１９２０画素×１０８０ラインのフルハイビジョン画像（以下ＨＤ画像とする）をマイク出力音声とあわせて撮影する。
ＨＤエンコーダ２は、ＨＤカメラ１が出力するＨＤ画像とマイク出力音声とを符号化する。この符号化データは、ネットワーク３により伝送される。符号化データの伝送としては、符号化方式Ｈ.２６４では８Ｍｂｐｓ程度のレートが一般的である。ここではＵＤＰマルチキャストストリームとする。
ネットワーク３には、ＨＤエンコーダ２とデコーダ４ａ、４ｂ、４ｃとが接続されている。
デコーダ４ａは監視所Ａに、デコーダ４ｂは監視所Ｂに、デコーダ４ｃは監視所Ｃにそれぞれ配置されたデコーダであり、ＨＤエンコーダ２が配信した符号化データをネットワーク３より受信して復号化する。
ＳＤ解像度モニタ５ａは監視所Ａに、ＳＤ解像度モニタ５ｂは監視所Ｂに、ＳＤ解像度モニタ５ｃは監視所Ｃにそれぞれ配置されたＳＤ解像度モニタであり、ＳＤ解像度モニタ５ａはデコーダ４ａがデコードした画像を、ＳＤ解像度モニタ５ｂはデコーダ４ｂがデコードした画像を、ＳＤ解像度モニタ５ｃはデコーダ４ｃがデコードした画像をそれぞれ表示する。
操作卓６ａは監視所Ａに、操作卓６ｂは監視所Ｂに、操作卓６ｃは監視所Ｃにそれぞれ配置された操作卓であり、操作卓６ａはデコーダ４ａに対する指示を入力するためのオペレータ用Ｉ／Ｆが、操作卓６ｂはデコーダ４ｂに対する指示を入力するためのオペレータ用Ｉ／Ｆが、操作卓６ａはデコーダ４ａに対する指示を入力するためのオペレータ用Ｉ／Ｆが、それぞれ提供される。
図１（ｂ）には、デコーダ４ａ、４ｂ、４ｃの内部構成として、ＬＡＮ受信部４１、ＨＤ復号部４２、希望領域受信部４３、切出し部４４、ＳＤ画像作成部４５、ビデオ信号作成部４６を示している。
ＬＡＮ受信部４１は、ネットワーク３よりＵＤＰパケット等を受信する。
ＨＤ復号部４２は、ＬＡＮ受信部４１で受信したデータを復号し、ＨＤ画像に戻す。
希望領域受信部４３は、操作卓６ａ、６ｂ、６ｃのうち対応する操作卓より入力される希望領域を受信し、設定する。
切出し部４４は、ＨＤ復号部４２が復号したＨＤ画像において、希望領域受信部４３から入力された希望領域を切り出す。
ＳＤ画像作成部４５は、切出し部４４で切り出された希望領域を、ＳＤサイズの画像に合うように縮小拡大する。
ビデオ信号作成部４６は、ＳＤ画像作成部４５より渡されるＳＤ画像を、コンポジットビデオ信号等に変換して出力する。
次に、上記のように構成されたこの発明の実施の形態１の動作について説明する。
ＨＤカメラ１は、１９２０画素×１０８０ラインのＨＤ画像を撮影する。その画像は図２に示すものであり、ＨＤエンコーダ２へ出力される。図２に示すものは一例としての参考であり、画像コンテンツ自体に意味は無い。なお、図２では線図として表現している。
ＨＤエンコーダ２は、１９２０画素×１０８０ラインのＨＤ画像を受けて、Ｈ.２６４等の符号化方式でエンコードを実施する。一般には作成された符号化データは、ＲＴＰヘッダを付けたＲＴＰストリームに変換され、ＵＤＰ／ＩＰパケットとしてネットワーク３に配信される。ただし、符号化方式、ヘッダ構造は一例としての参考であり、当然他の方式であっても構わない。ＵＤＰ／ＩＰパケットもＴＣＰ／ＩＰパケットで代用してもよい。
ネットワーク３では、配信パケットを運ぶ。なお、図においてはＬＡＮとして描かれているが、バックボーンを介して広域にまたがるＷＡＮであってもよい。また、有線無線も問わない。符号化方式がＨ.２６４の場合であれば、配信されるストリームは、８Ｍｂｐｓ程度が一般であるが、配信レートに規定はない。ただし、ネットワーク３はこの配信レートを転送する帯域を有することが条件となる。
配信パケットは、デコーダ４ａ、４ｂ、４ｃへ到着する。以降のデコーダでの動作については、図５にフローチャートとして示す。このネットワーク３より到着する配信パケットは、各デコーダのＬＡＮ受信部４１にて受信される。一般的には、装置のＦ／Ｗの中にあるプロトコルスタックなどが該当する。ＬＡＮ受信部４１では、ＲＴＰヘッダ等を解釈し、必要データ部のみ抽出・配列して、次工程に渡す。次工程に渡されるこれらは、ＨＤエンコーダ２が作成した符号化データそのものとなる。（ステップＳＴ１）
ＨＤ復号部４２では、ＬＡＮ受信部４１から入力された符号化データを復号し、本来のＨＤ画像に復号する。つまり、１９２０画素×１０８０ラインのＨＤ画像である。ただし、この時点ではまだ画像をＳＤ解像度モニタには渡さない。（ステップＳＴ２）
オペレータは、操作卓を介して、希望領域を指示する。（ステップＳＴ３）
この指示は、希望領域受信部４３で受信され、希望領域が設定される。（ステップＳＴ４）
希望領域の例を図３に示す。図３（ａ）に示す画像は、ＨＤ復号部４２で復号したＨＤ画像であり、図２で示した１９２０画素×１０８０ラインのＨＤ画像と同じものである。オペレータが入力した希望領域は、図中領域Ｅ1→Ｅ2→Ｅ3と、順に移動しているとする。領域Ｅ1、Ｅ2、Ｅ3は、いずれも６４０画素×４８０ラインの大きさの領域であり、オペレータが手元の操作卓よりジョイスティック等で希望領域をスライドさせるイメージで指示されている。
切出し部４４は、オペレータからの指示に従い、ＨＤ復号部４２で復号したＨＤ画像から適宜対象領域を切り出していく。この場合は、領域Ｅ1、Ｅ2、Ｅ3の枠線で示された領域が順に切り出されていく。（ステップＳＴ５）
切出し部４４が切り出した領域の画像は、ＳＤ画像作成部４５へと渡されるが、この画像は既にＳＤ画像であるため、ＳＤ画像作成部４５では、そのまま無圧縮で次工程に渡す。（ステップＳＴ６）
ビデオ信号作成部４６では、ＳＤ画像作成部４５より受け取ったＳＤ画像を、ＳＤ解像度モニタに表示できるフォーマットの信号（例えばコンポジット信号）に変換して出力する。（ステップＳＴ７）
図３（ｂ）は領域Ｅ1の画像を、図３（ｃ）は領域Ｅ2の画像を、図３（ｄ）は領域Ｅ3の画像を、それぞれＳＤ解像度モニタで映し出したものを示している。上記の例では、オペレータの指示した通りの希望領域を、図３（ｂ）→図３（ｃ）→図３（ｄ）の順で次々映し出す。
また、配信パケットがネットワーク３からデコーダ４ａ、４ｂ、４ｃへ到着してからの処理は、監視所Ａ、Ｂ、Ｃにて各個に独立して実施できる。オペレータが指示を出すのも、その指示をデコーダで受けて、指示に従いＳＤ画像を作成するのも、それぞれの監視所の中で閉じており、他の監視所には波及しない。
よって、各監視所では、他の監視所の影響を受けること無く、任意に希望領域を設定できる。
以上の処理は、監視所の中では「ＳＤ画像のパン・チルトスクロール」と見て取れる。図３（ａ）に示すＨＤ画像の範囲の中での限定的スクロールであるが、オペレータの指示に従ったスクロールに見えるため、これを擬似スクロールと呼ぶ。
また、次に、希望領域の設定時の動作において、上記した擬似スクロールとは異なる場合について説明する。
この場合の希望領域の例を図４に示す。図４（ａ）はＨＤ復号部４２で復号したＨＤ画像である。オペレータが入力した希望領域は、図中領域Ｆ1→Ｆ2→Ｆ3と、順に移動しているとする。また、領域Ｆ1は１２８０画素×９６０ラインの大きさ、領域Ｆ2は６４０画素×４８０ラインの大きさ、領域Ｆ3は３２０画素×２４０ラインの大きさの領域であり、オペレータが手元の操作卓よりズームイン／ズームアウトボタン等で希望領域を拡大縮小させるイメージで指示されている。
切出し部４４は、オペレータからの指示に従い、ＨＤ復号部４２で復号したＨＤ画像から適宜対象領域を切り出していく。この場合は、領域Ｆ1、Ｆ2、Ｆ3の枠線で示された領域が順に切り出されていく。切り出された領域の画像はＳＤ画像作成部４５へと渡される。
ここで、領域Ｆ1、Ｆ3の画像はＳＤ画像ではない。そのため、ＳＤ映像作成部４５では、これらの画像をＳＤサイズまで圧縮・拡大して、６４０画素×４８０ラインの大きさに作り変える。
ビデオ信号作成部４６では、ＳＤ映像作成部４５より受け取ったＳＤ画像を、ＳＤ解像度モニタに表示できるフォーマットの信号（例えばコンポジット信号）に変換して出力する。
図４（ｂ）は領域Ｆ1の画像を、図４（ｃ）は領域Ｆ2の画像を、図４（ｄ）は領域Ｆ3の画像を、それぞれＳＤ解像度モニタで映し出したものを示している。上記の例では、オペレータの指示した通りの希望領域を、図４（ｂ）→図４（ｃ）→図４（ｄ）の順で次々映し出す。
上記の処理は、擬似スクロールについて説明した場合と同様に、監視所Ａ、Ｂ、Ｃにて各個に独立して実施できる。オペレータの指示を出すのも、その指示をデコーダで受けて、指示に従いＳＤ画像を作成するのも、それぞれの監視所の中に閉じており、他の監視所には波及しない。
よって、各監視所では、他の監視所の影響を受けること無く、任意に希望領域を設定できる。
以上の処理は、監視所の中では「ＳＤ画像のズームイン／ズームアウト」と見て取れる。図３（ａ）に示すＨＤ画像の範囲の中での限定的ズームイン／ズームアウトであるが、オペレータの指示に従ったズームイン／ズームアウトに見えるため、これを擬似ズームイン／ズームアウトと呼ぶ。
なお、上記では、広域監視システムを例に説明したが、出力元から同じ画像を入力される出力先が、複数存在するようなシステムであれば、本発明が適用できることはいうまでもない。
また、上記では、１９２０画素×１０８０ラインであるＨＤ仕様の装置と６４０画素×４８０ラインであるＳＤ仕様の装置とが混在している場合について示したが、ＨＤ、ＳＤに限らず、互いに異なる解像度であればよい。
このような場合、ＬＡＮ受信部はデータ受信部に、ＨＤ復号部は復号部に、ＳＤ画像作成部は画像生成部にそれぞれ対応する。
以上のように、この実施の形態１によれば、出力先ごとに、画像内の任意の領域を、他の出力先の影響なく観測することができる。
また、当初得られた画像の解像度が、出力先の装置の対応する解像度より高い場合において、出力先で観測する画像内任意の領域の画質を当初得られた画像の画質と同等とすることができ、擬似的にパン・チルトズームが可能となる。
特に、上記で示したように広域監視システムに適用した場合は、複数の監視所にてそれぞれ異なる任意の領域を希望領域として要求しても、各監視所にて独立して自由に希望領域を決定できることとなり、監視所間の希望領域の競合が発生しない。また、監視所毎にＨＤカメラで撮影した画像の中の任意の領域を自由にＨＤカメラと同じ高解像度でＳＤサイズに切出せるので、各監視所にてＨＤカメラ画像をＳＤ解像度モニタに映し出し、オペレータの指示に従い、本来同一のカメラをあたかも監視所毎に独立してパン・チルトズームしている（擬似的なパン・チルトズーム）がごとき効果を得ることが可能となる。
実施の形態２．
この発明の実施の形態２について図６、７を参照しながら説明する。
図６は、この発明の実施の形態２に係るデコーダおよびこのデコーダを備えるシステムを示す図である。図６（ａ）はシステムの全体について示し、図６（ｂ）はシステム内のデコーダの構成について示している。なお、各図中、同一符号は同一又は相当部分を示す。また、実施の形態１で既に説明したものについては、適宜その説明を省略する。
図６（ａ）には、図１（ａ）で示した構成に加え、ステレオスピーカー７が監視所Ｃに配置されている。ステレオスピーカー７は、ＨＤカメラ１のステレオマイクの音声を出力する為のものであり、一般的にはＳＤ解像度モニタ５ｃの近傍に配置される。
なお、図では監視所Ｃにのみステレオスピーカーを設けた構成について示しているが、監視所Ａ、監視所Ｂにも設けてもよい。
図１（ｂ）には、デコーダ４ａ、４ｂ、４ｃの内部構成として、ＬＡＮ受信部４１、ＨＤ復号部４２、希望領域受信部４３、切出し部４４、ＳＤ画像作成部４５、ビデオ信号作成部４６、バランス判定部４７、音声ミキサー部４８を示している。
ＬＡＮ受信部４１は、ネットワーク３よりＵＤＰパケット等を受信する。
ＨＤ復号部４２は、ＬＡＮ受信部４１で受信したデータを復号し、ＨＤ画像とステレオ音声に戻す。
希望領域受信部４３は、操作卓６ａ、６ｂ、６ｃのうち対応する操作卓より入力される希望領域を受信する。
切出し部４４は、ＨＤ復号部４２が復号したＨＤ画像において、希望領域受信部４３から入力された希望領域を切り出す。
ＳＤ画像作成部４５は、切出し部４４で切り出された希望領域を、ＳＤサイズの画像に合うように縮小拡大する。
ビデオ信号作成部４６は、ＳＤ画像作成部４５より渡されるＳＤ画像を、コンポジットビデオ信号等に変換して出力する。
バランス判定部４７は、切出し部４４で切り出された領域の画像の中央位置を算出し、ＨＤ復号部４２が復号したＨＤ画像のどの位置にその中央位置が有るかを算出する。
音声ミキサー部４８は、バランス判定部４７が算出した中央位置に基づき、ステレオ音声の左右の音量を調整する。
次に、上記のように構成されたこの発明の実施の形態２の動作について説明する。
ＨＤカメラ１は、１９２０画素×１０８０ラインのＨＤ画像をステレオマイク出力音声とあわせて撮影する。その画像は図２に示すものであり、ステレオマイク出力音声とともにＨＤエンコーダ２へ出力される。図２に示すものは一例としての参考であり、画像コンテンツ自体に意味は無い。
ＨＤエンコーダ２は、１９２０画素×１０８０ラインのＨＤ画像とステレオマイク出力音声を受けて、Ｈ.２６４等の符号化方式でエンコードを実施する。一般には作成された符号化データは、ＲＴＰヘッダを付けたＲＴＰストリームに変換され、ＵＤＰ／ＩＰパケットとしてネットワーク３に配信される。ただし、符号化方式、ヘッダ構造は一例としての参考であり、当然他の方式であっても構わない。ＵＤＰ／ＩＰパケットもＴＣＰ／ＩＰパケットで代用してもよい。
ネットワーク３では、配信パケットを運ぶ。なお、図においてはＬＡＮとして描かれているが、バックボーンを介して広域にまたがるＷＡＮであってもよい。また、有線無線も問わない。符号化方式がＨ.２６４の場合であれば、配信されるストリームは８Ｍｂｐｓ程度が一般であるが、配信レートに規定はない。ただし、ネットワーク３はこの配信レートを転送する帯域を有することが条件となる。
配信パケットは、デコーダ４ａ、４ｂ、４ｃへ到着する。このネットワーク３より到着する配信パケットは、各デコーダのＬＡＮ受信部４１にて受信される。一般的には、装置のＦ／Ｗの中にあるプロトコルスタックなどが該当する。ＬＡＮ受信部４１では、ＲＴＰヘッダ等を解釈し、必要データ部のみ抽出・配列して、次工程に渡す。次工程に渡されるこれらは、ＨＤエンコーダ２が作成した符号化データそのものとなる。
ＨＤ復号部４２では、ＬＡＮ受信部４１から入力された符号化データを復号し、本来のＨＤ画像とステレオ音声とに復号する。つまり、復号された画像は１９２０画素×１０８０ラインのＨＤ画像である。ただし、この時点ではまだデコーダから画像や音声の出力は行わない。
オペレータは操作卓を介して、希望領域を指示する。
この指示は、希望領域受信部４３で受け取られ、設定される。
希望領域の例を図７に示す。図７（ａ）に示す画像は、ＨＤ復号部４２で復号したＨＤ画像であり、図２で示した１９２０画素×１０８０ラインのＨＤ画像と同じものである。オペレータが入力した希望領域は、図中領域Ｇ1→Ｇ2→Ｇ3と、順に移動しているとする。領域Ｇ1、Ｇ2、Ｇ3は、いずれも６４０画素×４８０ラインの大きさの領域であり、オペレータが手元の操作卓よりジョイスティック等で希望領域をスライドさせるイメージで指示されている。
切出し部４４は、オペレータからの指示に従い、ＨＤ復号部４２で復号したＨＤ画像から適宜対象領域を切り出していく。この場合は、領域Ｇ1、Ｇ2、Ｇ3の枠線で示されたエリアが順に切り出されていく。
切出し部４４が切り出した領域の画像は、ＳＤ画像作成部４５へと渡されるが、この画像は既にＳＤ画像であるため、ＳＤ画像作成部４５では、そのまま無圧縮で次工程に渡す。
ビデオ信号作成部４６では、ＳＤ画像作成部４５より受け取ったＳＤ画像を、ＳＤ解像度モニタに表示できるフォーマットの信号（例えばコンポジット信号）に変換して出力する。
図７（ｂ）は領域Ｇ1の画像を、図７（ｃ）は領域Ｇ2の画像を、図７（ｄ）は領域Ｇ3の画像を、それぞれＳＤ解像度モニタで映し出したものを示している。上記の例では、オペレータの指示した通りの希望領域を、図７（ｂ）→図７（ｃ）→図７（ｄ）の順で次々映し出す。
また、配信パケットがネットワーク３からデコーダ４ａ、４ｂ、４ｃへ到着してからの処理は、監視所Ａ、Ｂ、Ｃにて各個に独立して実施できる。オペレータが指示を出すのも、その指示をデコーダで受けて、指示に従いＳＤ画像を作成するのも、それぞれの監視所の中に閉じており、他の場所には波及しない。
よって、各監視所では、他の監視所の影響を受けること無く、任意に希望領域を設定できる。
また、更にこのとき、バランス判定部４７は、切出し部４４から、切り出し位置の情報を得ており、現在ＳＤ解像度モニタに映し出されている画像の中央位置が、切り出す前のＨＤ画像においてどの位置に該当するかを算出する。上記の領域Ｇ1、Ｇ2、Ｇ3では、図７（ａ）に示す位置Ｓ1、Ｓ2、Ｓ3がそれぞれの中央位置として算出される。この中央位置の情報は、音声ミキサー部４８に出力される。
音声ミキサー部４８は、ＨＤ復号部４２で復号されたステレオ音声に対して、バランス判定部４７が算出した中央位置に基づき、ステレオ音声が画像と一致するようにバランス調整を行う。
具体的に例を示すと、領域Ｇ1が切り出されているとき、バランス判定部４７は中央位置を位置Ｓ1と算出する。そして、位置Ｓ1においては、切り出す前のＨＤ画像の左端までの距離Ｌ1と、右端までの距離Ｌ2の比率が１：４であるとする。
このとき、音声ミキサー部４８が、ＨＤ復号部４２が複合したステレオ音声データにおいて、Ｒ側を１／５に、Ｌ側を４／５にボリューム調整すると、音源は仮想的に位置Ｓ1に移動する。
つまり、音声ミキサー部４８は、このようにして音源の仮想的位置を、オペレータの要求する希望領域に合わせて左右に移動することができる。
以上の処理は、監視所の中では「音源も含めたＳＤ画像のパン・チルトスクロール」と見て取れる。図７（ａ）に示すＨＤ画像の範囲の中での限定的スクロールであるが、オペレータの指示に従ったスクロールに見えるため、これを音源移動付き擬似スクロールと呼ぶ。
以上のように、この実施の形態２によれば、実施の形態１で示した効果に加え、画像におけるパン・チルトスクロールに従い、音源も仮想的に移動し、音声と画像の違和感のない一体的な仮想移動が可能になるという効果を得られる。
実施の形態３．
この発明の実施の形態３について図８〜図１２を参照しながら説明する。
実施の形態１、２では、ＨＤカメラ１の台数は１台であり、かつ、ＨＤカメラ１がある画角に固定された固定式のＨＤカメラであるとして説明した。実施の形態３では、１８０度、３６０度等の角度内を一定時間（例えば１分間、５分間等）かけて旋回しながら撮影を行う旋回式のＨＤカメラ１ａを用いる場合について説明する。ＨＤカメラ１ａが旋回しながら撮影した複数枚のＨＤ画像を基に作成される、広範囲を映した１枚の高品質画像（以下、周囲高品質画像とする）から、切出し部４４は領域を切り出す。
図８は、実施の形態３に係るデコーダおよびこのデコーダを備えるシステムを示す図である。図８（ａ）はシステムの全体について示し、図８（ｂ）はシステム内のデコーダの構成について示している。なお、各図中、同一符号は同一又は相当部分を示す。また、実施の形態１で既に説明したものについては、適宜その説明を省略する。
図８（ａ）には、図１（ａ）で示したＨＤカメラ１に替えて、旋回しながら撮影を行うＨＤカメラ１ａが配置されている。
図８（ｂ）には、デコーダ４ａ、４ｂ、４ｃの内部構成として、ＬＡＮ受信部４１、ＨＤ復号部４２、希望領域受信部４３、切出し部４４、ＳＤ画像作成部４５、ビデオ信号作成部４６、画像合成部４９を示している。
ＬＡＮ受信部４１、ＨＤ復号部４２、希望領域受信部４３、ＳＤ画像作成部４５、ビデオ信号作成部４６の機能については、既に実施の形態１で説明した通りである。
画像合成部４９は、ＨＤ復号部４２が復号して戻したＨＤ画像を、周知の画像処理技術により複数枚合成して、１枚の周囲高品質画像を作成する。例えば、ＨＤカメラ１ａが１８０度の角度内を１分間かけて旋回しながら撮影する場合、その１分間の内にＨＤカメラ１ａから出力されてＨＤ復号部４２が復号した複数のＨＤ画像を合成して、１枚の周囲高品質画像を作成する。この場合の周囲高品質画像は、１８０度の範囲を映した画像となる。
切出し部４４は、画像合成部４９が作成した周囲高品質画像において、希望領域受信部４３から入力された希望領域を切り出す。
次に、上記のように構成されたこの発明の実施の形態３の動作について説明する。
ＨＤカメラ１ａが撮影したＨＤ画像が、ＨＤエンコーダ２とネットワーク３を介して、配信パケットとしてデコーダ４ａ、４ｂ、４ｃへ到着するまでの流れは、既に実施の形態１で説明した通りである。配信パケットがデコーダ４ａ、４ｂ、４ｃへ到着した以降のデコーダでの動作については、図９にフローチャートとして示す。
図９に示すステップＳＴ１、２では、図５に示したステップＳＴ１、２と同様の処理が行われる。なお、ステップＳＴ１、２の処理は、周囲高品質画像を１枚作成するのに必要なＨＤ画像がＨＤカメラ１ａによって撮影されている一定時間（例えば１分間、５分間等）の間、繰り返し行われる。
画像合成部４９は、ＨＤ復号部４２が復号したＨＤ画像を複数枚合成して、１枚の周囲高品質画像を作成する。（ステップＳＴ８）
図９に示すステップＳＴ３、４では、図５に示したステップＳＴ３、４と同様の処理が行われる。
切出し部４４は、オペレータからの指示に従い、画像合成部４９が作成した周囲高品質画像から希望領域を切り出していく。（ステップＳＴ５）
ステップＳＴ６、７では、図５に示したステップＳＴ６、７と同様の処理が行われる。
このように、実施の形態３に係るデコーダによれば、周囲高品質画像に対する擬似スクロールが可能となる。また、オペレータが指示する希望領域が、実施の形態１で説明した領域Ｆ１、Ｆ３のようにＳＤサイズとは異なる場合、ＳＤ画像作成部４５が当該希望領域の画像をＳＤサイズまで圧縮・拡大することにより、擬似ズームイン／ズームアウトが可能となる。
なお、１台のＨＤカメラ１ａが旋回しながら撮影を行うのではなく、複数台のＨＤカメラ１がそれぞれ異なる画角に固定されて、複数台の固定式のＨＤカメラ１全体で１８０度、３６０度等の範囲の撮影を行うようにしてもよい。この場合、複数台のＨＤカメラ１が同時に撮影した複数枚のＨＤ画像を基に作成される、広範囲を映した１枚の高品質画像（以下、同時周囲高品質画像とする）から、切出し部４４は領域を切り出す。
図１０に、複数台のＨＤカメラ１が撮影したＨＤ画像を基に同時周囲高品質画像が作成され、その同時周囲高品質画像から領域が切り出される際の処理の様子を示す。図１０については、図８（ｂ）を援用しながら説明する。
３台のＨＤカメラ１が同時に撮影した３枚のＨＤ画像Ａ、Ｂ、Ｃは、既に実施の形態１で説明したように配信パケットとしてＬＡＮ受信部４１で受信された後、ＨＤ復号部４２でＨＤ画像Ａ、Ｂ、Ｃに復号される。
画像合成部４９は、ＨＤ復号部４２が復号して戻した３枚のＨＤ画像Ａ、Ｂ、Ｃを合成して、１枚の同時周囲高品質画像Ｄを作成する。この場合の同時周囲高品質画像Ｄは、例えばＨＤ画像Ａ、Ｂ、Ｃがそれぞれ６０度の範囲を映した画像である場合、１８０度の範囲を映した画像となる。
切出し部４４は、画像合成部４９が作成した同時周囲高品質画像において、希望領域受信部４３から入力された希望領域Ｈ１、Ｈ２、Ｈ３を切り出していく。
このように、周囲高品質画像の場合と同様に、実施の形態３に係るデコーダによれば、同時周囲高品質画像に対する擬似スクロールおよび擬似ズームイン／ズームアウトが可能となる。
なお、複数枚のＨＤ画像を合成して、１枚の周囲高品質画像又は同時周囲高品質画像を作成する画像合成部４９を、デコーダ４ａ、４ｂ、４ｃに設けた場合を上記では示したが、画像合成部４９に相当する構成をＨＤエンコーダ２に設けてもよい。
この場合のＨＤエンコーダ２は、図１１に示すように構成される。
ＨＤ画像受信部（画像受信部）２１は、１台のＨＤカメラ１ａ（又は複数台のＨＤカメラ１）が撮影した複数枚のＨＤ画像を受信する。
画像合成部２２は、ＨＤ画像受信部２１が受信した複数枚のＨＤ画像を合成して、１枚の周囲高品質画像（又は１枚の同時周囲高品質画像）を作成する。
符号部２３は、画像合成部２２が作成した１枚の周囲高品質画像（又は１枚の同時周囲高品質画像）を符号化する。
送信部２４は、符号部２３が符号化した１枚の周囲高品質画像（又は１枚の同時周囲高品質画像）を、配信パケットとしてネットワーク３へ送信する。
送信部２４が送信した配信パケットが到着するデコーダ４ａ、４ｂ、４ｃは、図１２に示すように、図８（ｂ）で示したＨＤ復号部４２および画像合成部４９に替えて、ＬＡＮ受信部４１が出力する符号化データを復号し、１枚の周囲高品質画像（又は１枚の同時周囲高品質画像）に戻す復号部５０を備える。復号部５０が復号して戻した１枚の周囲高品質画像（又は１枚の同時周囲高品質画像）において、切出し部４４は、希望領域を切り出す。
また、ＨＤカメラ１、１ａを、ＨＤ画像を撮影するカメラとして説明したが、４Ｋ、８Ｋ、１６Ｋ等のＨＤ品質よりもさらに高品質な画像（以下、超高品質画像とする）を撮影するカメラとしてもよい。この場合のデコーダ４ａ、４ｂ、４ｃは、ＬＡＮ受信部４１が出力する符号化データを復号し、超高品質画像に戻す復号部を備える。復号部が復号して戻した超高品質画像において、切出し部４４は、希望領域を切り出す。
このようにすることで、ＨＤ品質よりもさらに高品質な画像の切り出しが可能となる。
また、実施の形態３に係るデコーダにおいても、実施の形態２と同様にバランス判定部４７および音声ミキサー部４８を備え、音源も含めたＳＤ画像のパン・チルトスクロールを実施できるようにしてよい。
以上のように、この実施の形態３によれば、実施の形態１で示した効果に加え、より広範囲を映した画像において、監視所毎に独立した擬似的なパン・チルトズームができるという効果が得られる。
実施の形態４．
この発明の実施の形態４について図１３〜図１５を参照しながら説明する。
実施の形態３では、複数枚のＨＤ画像を基に、広範囲を映した１枚の周囲高品質画像（又は同時周囲高品質画像）が作成される場合を示した。実施の形態４では、魚眼レンズを備えたカメラが、３６０度のＨＤ品質の画像を撮影する場合について説明する。
図１３は、実施の形態４に係るデコーダおよびこのデコーダを備えるシステムを示す図である。図１３（ａ）はシステムの全体について示し、図１３（ｂ）はシステム内のデコーダの構成について示している。なお、各図中、同一符号は同一又は相当部分を示す。また、実施の形態１で既に説明したものについては、適宜その説明を省略する。
図１３（ａ）には、図１（ａ）で示したＨＤカメラ１に替えて、魚眼レンズを備えて３６０度のＨＤ品質の画像を撮影するカメラ１ｂが配置されている。
図１３（ｂ）には、デコーダ４ａ、４ｂ、４ｃの内部構成として、ＬＡＮ受信部４１、希望領域受信部４３、切出し部４４、ＳＤ画像作成部４５、ビデオ信号作成部４６、復号部５０ａ、歪み補正部５１を示している。
ＬＡＮ受信部４１、希望領域受信部４３、ビデオ信号作成部４６の機能については、既に実施の形態１で説明した通りである。
復号部５０ａは、ＬＡＮ受信部４１が出力する符号化データを復号し、３６０度のＨＤ品質の画像に戻す。
切出し部４４は、復号部５０ａが戻した３６０度のＨＤ品質の画像において、希望領域受信部４３から入力された希望領域を切り出す。
歪み補正部５１は、切出し部４４で切り出された希望領域の歪みを、周知の画像処理技術により補正する。
ＳＤ画像作成部４５は、歪み補正部５１により歪みが補正された希望領域を、ＳＤサイズの画像に合うように縮小拡大する。
図１４に、魚眼レンズを備えたカメラ１ｂが撮影した３６０度のＨＤ品質の画像から領域が切り出される際の処理の様子を示す。
カメラ１ｂが撮影した３６０度のＨＤ品質の画像Ｅは、配信パケットとしてＬＡＮ受信部４１で受信された後、復号部５０ａで３６０度のＨＤ品質の画像Ｅに復号される。
切出し部４４は、復号部５０ａが戻した３６０度のＨＤ品質の画像Ｅにおいて、希望領域受信部４３から入力された希望領域Ｉ１、Ｉ２、Ｉ３を切り出していく。
歪み補正部５１は、切出し部４４で切り出された希望領域Ｉ１、Ｉ２、Ｉ３の画像の歪みを補正する。
ＳＤ画像作成部４５は、歪み補正部５１により歪みが補正された希望領域Ｉ１、Ｉ２、Ｉ３の画像を、ＳＤサイズの画像に合うように縮小拡大して、ＳＤ画像Ｊ１、Ｊ２、Ｊ３とする。
このように、実施の形態４に係るデコーダによれば、魚眼レンズを用いて撮影された３６０度のＨＤ品質の画像に対する擬似スクロールおよび擬似ズームイン／ズームアウトが可能となる。
なお、復号部５０ａが戻した３６０度のＨＤ品質の画像全体を対象に、歪み補正部５１が歪みを補正して、歪みが補正された３６０度のＨＤ品質の画像において、切出し部４４が希望領域を切り出すように構成してもよい。
また、歪み補正部５１に相当する構成をＨＤエンコーダ２に備え、歪みが補正された３６０度のＨＤ品質の画像を符号化したものが、デコーダ４ａ、４ｂ、４ｃに配信されるように構成してもよい。
この場合のＨＤエンコーダ２は、図１５に示すように構成される。
画像受信部２１ａは、魚眼レンズを備えたカメラ１ｂが撮影した３６０度のＨＤ品質の画像を受信する。
歪み補正部２５は、画像受信部２１ａが受信した３６０度のＨＤ品質の画像の歪みを補正する。
符号部２３は、歪み補正部２５が歪みを補正した３６０度のＨＤ品質の画像を符号化する。
送信部２４は、符号部２３が符号化した３６０度のＨＤ品質の画像を、配信パケットとしてネットワーク３へ送信する。
送信部２４が送信した配信パケットが到着するデコーダ４ａ、４ｂ、４ｃは、図１３（ｂ）で示した歪み補正部５１を有さずに構成される。
また、魚眼レンズを備えたカメラ１ｂはＨＤ品質の画像でなく、４Ｋ、８Ｋ、１６Ｋ等の３６０度の超高品質画像を撮影するものであってもよい。
また、実施の形態４に係るデコーダにおいても、実施の形態２と同様にバランス判定部４７および音声ミキサー部４８を備え、音源も含めたＳＤ画像のパン・チルトスクロールを実施できるようにしてよい。
以上のように、この実施の形態４によれば、実施の形態１で示した効果に加え、より広範囲を映した画像において、監視所毎に独立した擬似的なパン・チルトズームができるという効果が得られる。
実施の形態５．
この発明の実施の形態５について図１６〜図１９を参照しながら説明する。
実施の形態１〜４では、デコーダ４ａ、４ｂ、４ｃに切出し部４４を備えて、監視所側で希望領域の切り出しを行う場合を示した。実施の形態５では、ＨＤエンコーダ２に切出し部４４に相当する構成を備えることで、ＨＤエンコーダ２が希望領域を切り出して当該希望領域の画像を配信するものとして説明する。
図１６は、実施の形態５に係るデコーダを備えるシステムの全体を示す図である。また、図１７はシステム内のデコーダの構成について、図１８はシステム内のＨＤエンコーダの構成について示している。なお、各図中、同一符号は同一又は相当部分を示す。また、実施の形態１〜４で既に説明したものについては、適宜その説明を省略する。
図１６には、複数台の固定式のＨＤカメラ１が配置されている。
デコーダ４ａ、４ｂ、４ｃは、図１７に示すように、ＬＡＮ受信部４１、希望領域受信部４３、ビデオ信号作成部４６、復号部５０ｂ、希望領域送信部５２を備える。
ＬＡＮ受信部４１、希望領域受信部４３、ビデオ信号作成部４６の機能については、既に実施の形態１で説明した通りである。
復号部５０ｂは、ＬＡＮ受信部４１が出力する符号化データを復号し、ＳＤ画像に戻す。
希望領域送信部５２は、希望領域受信部４３が受信した希望領域を、ネットワーク３を介してＨＤエンコーダ２に送信する。
ＨＤエンコーダ２は、図１８に示すように、ＨＤ画像受信部２１、画像合成部２２、符号部２３、送信部２４、希望領域受信部２６、切出し部２７、ＳＤ画像作成部２８を備える。
ＨＤ画像受信部２１、画像合成部２２、符号部２３、送信部２４については、既に実施の形態３で説明した通りである。
希望領域受信部２６は、希望領域送信部５２が送信した希望領域を受信し、設定する。
切出し部２７は、画像合成部２２が作成した１枚の同時周囲高品質画像において、希望領域受信部２６から入力された希望領域を切り出す。
ＳＤ画像作成部２８は、切出し部２７で切り出された希望領域を、ＳＤサイズの画像に合うように縮小拡大する。
次に、上記のように構成されたこの発明の実施の形態５の動作について、図１９に示すフローチャートを用いて説明する。
ＨＤ画像受信部２１は、複数台のＨＤカメラ１が撮影した複数枚のＨＤ画像を受信する。（ステップＳＴ１０）
画像合成部２２は、ＨＤ画像受信部２１が受信した複数枚のＨＤ画像を合成して、１枚の同時周囲高品質画像を作成する。（ステップＳＴ１１）
図１９に示すステップＳＴ３、４では、図５に示したステップＳＴ３、４と同様の処理が行われる。
希望領域送信部５２は、希望領域受信部４３が受信した希望領域を、ネットワーク３を介してＨＤエンコーダ２に送信する。（ステップＳＴ１２）
希望領域受信部２６は、希望領域送信部５２が送信した希望領域を受信し、設定する。（ステップＳＴ１３）
切出し部２７は、画像合成部２２が作成した１枚の同時周囲高品質画像において、希望領域受信部２６から入力された希望領域を切り出す。（ステップＳＴ１４）
ＳＤ画像作成部２８は、切出し部２７で切り出された希望領域を、ＳＤサイズの画像に合うように縮小拡大する。（ステップＳＴ１５）
符号部２３は、ＳＤ画像作成部２８より受け取ったＳＤ画像を符号化する。（ステップＳＴ１６）
送信部２４は、符号部２３が符号化したＳＤ画像を、配信パケットとしてネットワーク３へ送信する。（ステップＳＴ１７）
図１９に示すステップＳＴ１では、図５に示したステップＳＴ１と同様の処理が行われる。
復号部５０ｂは、ＬＡＮ受信部４１が出力する符号化データを復号し、本来のＳＤ画像に戻す。（ステップＳＴ１８）
ビデオ信号作成部４６は、復号部５０ｂが復号したＳＤ画像を、ＳＤ解像度モニタに表示できるフォーマットの信号に変換して出力する。（ステップＳＴ１９）
このように、ＨＤエンコーダ２はＳＤ画像を符号化して配信パケットとしてネットワーク３へ送信するので、ＨＤ画像を符号化して配信パケットとして送信する場合よりも、使用するネットワーク３の帯域を節約することが可能となる。
なお、複数台の固定式のＨＤカメラ１に替えて、旋回しながら撮影を行う１台の旋回式のＨＤカメラ１ａを配置してもよい。この場合、画像合成部２２は周囲高品質画像を作成し、切出し部２７は、画像合成部２２が作成した周囲高品質画像において、希望領域受信部２６から入力された希望領域を切り出す。
また、魚眼レンズを備えて３６０度のＨＤ品質の画像を撮影するカメラ１ｂを配置してもよい。この場合、ＨＤエンコーダ２は、画像合成部２２に替えて、画像の歪みを補正する歪み補正部を備えるようにする。あるいは、ＨＤエンコーダ２でなく、デコーダ４ａ、４ｂ、４ｃに歪み補正部を備えるようにしてもよい。
また、固定式のＨＤカメラ１を１台のみ配置してもよい。この場合、ＨＤエンコーダ２は、画像合成部２２を有さずに構成される。
また、希望領域受信部４３及び希望領域送信部５２をデコーダ４ａ、４ｂ、４ｃに備えずに、操作卓６ａ、６ｂ、６ｃから直接ネットワーク３を介してＨＤエンコーダ２に希望領域を送信するように構成してもよい。
また、ネットワーク３に接続されたタブレット端末、スマートフォン等の通信機器８が、ＨＤエンコーダ２が送信する配信パケットを受信し、ＳＤ画像を復号するようにしてもよい。このとき、通信機器８は、図１７に示すデコーダの各構成を備えるようにする。
そして、通信機器８がＳＤ画像よりも低い解像度の画像の表示に対応しているならば、ＨＤエンコーダ２がＳＤ画像よりも低い解像度の画像を符号化して送信するように構成することで、ネットワーク３の帯域を更に節約することが可能となる。
以上のように、この実施の形態５によれば、実施の形態１で示した効果に加え、ネットワーク３の帯域を節約することができるという効果が得られる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係るデコーダ及び監視システムは、監視所ごとに画像内の任意の領域を、他の監視所の影響なく観測することを可能とするので、監視先に設けられたカメラを複数の監視所で共有して監視業務を行う監視システムに用いるのに適している。
１，１ａ ＨＤカメラ、１ｂ カメラ、２ ＨＤエンコーダ、２１ ＨＤ画像受信部、２１ａ画像受信部、２２ 画像合成部、２３ 符号部、２４ 送信部、２５ 歪み補正部、２６ 希望領域受信部、２７ 切出し部、２８ ＳＤ画像作成部、３ ネットワーク、４ａ〜４ｃ デコーダ、４１ ＬＡＮ受信部、４２ ＨＤ復号部、４３ 希望領域受信部、４４ 切出し部、４５ ＳＤ画像作成部、４６ ビデオ信号作成部、４７ バランス判定部、４８ 音声ミキサー部、４９ 画像合成部、５０，５０ａ，５０ｂ 復号部、５１ 歪み補正部、５２ 希望領域送信部、５ａ〜５ｃ ＳＤ解像度モニタ、６ａ〜６ｃ 操作卓、７ ステレオスピーカー、８ 通信機器。
この発明に係るデコーダは、画像データを受信するデータ受信部と、データ受信部が受信した画像データを復号する復号部と、希望領域を受信する希望領域受信部と、復号部が復号した画像データから得られる画像において、希望領域受信部が受信した希望領域を切り出す切出し部と、切出し部が切り出した領域を、所定の画像サイズに縮小または拡大する画像生成部とを備え、データ受信部が、ステレオ音声データを受信し、復号部が、データ受信部が受信したステレオ音声データを復号し、希望領域の中央位置が復号部が復号した画像データから得られる画像におけるどの位置に該当するかを算出するバランス判定部と、バランス判定部が算出した希望領域の中央位置が仮想的に音源となるように、復号部が復号したステレオ音声データから得られるステレオ音声の音量を調整する音声ミキサー部とを備える。

Claims (10)

  1. 画像データを受信するデータ受信部と、
    上記データ受信部が受信した画像データを復号する復号部と、
    希望領域を受信する希望領域受信部と、
    上記復号部が復号した画像データから得られる画像において、上記希望領域受信部が受信した希望領域を切り出す切出し部と、
    上記切出し部が切り出した領域を、所定の画像サイズに縮小または拡大する画像生成部とを備えることを特徴とするデコーダ。
  2. 上記データ受信部はステレオ音声データを受信し、
    上記復号部は上記データ受信部が受信したステレオ音声データを復号し、
    上記復号部が復号した画像データから得られる画像における上記希望領域の位置を算出するバランス判定部と、
    上記バランス判定部が算出した上記希望領域の位置に基づき、上記復号部が復号したステレオ音声データから得られるステレオ音声の音量を調整する音声ミキサー部とを備えることを特徴とする請求項１記載のデコーダ。
  3. 上記復号部が復号した画像データから得られる画像を複数枚合成する画像合成部を備え、
    上記切出し部は、上記復号部が復号した画像データから得られる画像が上記画像合成部により複数枚合成された画像において、上記希望領域受信部が受信した希望領域を切り出すことを特徴とする請求項１記載のデコーダ。
  4. 上記切出し部が切り出した領域の歪みを補正する歪み補正部を備え、
    上記画像生成部は、上記切出し部により切り出され上記歪み補正部が歪みを補正した領域を、所定の画像サイズに縮小または拡大することを特徴とする請求項１記載のデコーダ。
  5. 上記復号部が復号した画像データから得られる画像の歪みを補正する歪み補正部を備え、
    上記切出し部は、上記歪み補正部が歪みを補正した上記復号部により復号された画像データから得られる画像において、上記希望領域受信部が受信した希望領域を切り出すことを特徴とする請求項１記載のデコーダ。
  6. カメラが取得した画像を符号化して画像データとして出力するエンコーダと、
    上記エンコーダが出力した画像データを受信するデータ受信部と、上記データ受信部が受信した画像データを復号する復号部と、希望領域を受信する希望領域受信部と、上記復号部が復号した画像データから得られる画像において、上記希望領域受信部が受信した希望領域を切り出す切出し部と、上記切出し部が切り出した領域を、所定の画像サイズに縮小または拡大する画像生成部とを備えるデコーダとを備えることを特徴とする監視システム。
  7. 上記エンコーダは、カメラが取得したステレオ音声を符号化してステレオ音声データとして出力し、
    上記データ受信部は上記エンコーダが出力したステレオ音声データを受信し、
    上記復号部は上記データ受信部が受信したステレオ音声データを復号し、
    上記デコーダは、上記復号部が復号した画像データから得られる画像における上記希望領域の位置を算出するバランス判定部と、上記バランス判定部が算出した上記希望領域の位置に基づき、上記復号部が復号したステレオ音声データから得られるステレオ音声の音量を調整する音声ミキサー部とを備えることを特徴とする請求項６記載の監視システム。
  8. 上記エンコーダは、カメラが取得した画像を複数枚合成したものを符号化して画像データとして出力することを特徴とする請求項６記載の監視システム。
  9. 上記エンコーダは、魚眼レンズを有するカメラが取得した画像の歪みを補正したものを符号化して画像データとして出力することを特徴とする請求項６記載の監視システム。
  10. カメラが取得した画像を受信する画像受信部と、希望領域を受信する希望領域受信部と、上記画像受信部が受信した画像において、上記希望領域受信部が受信した希望領域を切り出す切出し部と、上記切出し部が切り出した領域を、所定の画像サイズに縮小または拡大する画像生成部と、上記画像生成部が縮小または拡大した領域を符号化する符号部と、上記符号部が符号化した領域を画像データとして出力する送信部とを備えるエンコーダと、
    上記エンコーダが出力した画像データを受信するデータ受信部と、上記データ受信部が受信した画像データを復号する復号部とを備えるデコーダとを備えることを特徴とする監視システム。
JP2015519900A 2013-05-28 2014-05-28 デコーダ及び監視システム Pending JPWO2014192804A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013111998 2013-05-28
JP2013111998 2013-05-28
PCT/JP2014/064107 WO2014192804A1 (ja) 2013-05-28 2014-05-28 デコーダ及び監視システム

Publications (1)

Publication Number Publication Date
JPWO2014192804A1 true JPWO2014192804A1 (ja) 2017-02-23

Family

ID=51988829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015519900A Pending JPWO2014192804A1 (ja) 2013-05-28 2014-05-28 デコーダ及び監視システム

Country Status (4)

Country Link
US (1) US9749542B2 (ja)
EP (1) EP3007438A4 (ja)
JP (1) JPWO2014192804A1 (ja)
WO (1) WO2014192804A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3148186A1 (en) * 2015-09-24 2017-03-29 Airbus Operations GmbH Virtual windows for airborne vehicles
EP3148188A1 (en) * 2015-09-24 2017-03-29 Airbus Operations GmbH Virtual windows for airborne verhicles
US10834373B2 (en) * 2016-03-11 2020-11-10 Hyperloop Transportation Technologies, Inc. Augmented windows
JP6513301B2 (ja) * 2016-09-26 2019-05-15 株式会社日立国際電気 映像監視システム
WO2021019987A1 (ja) * 2019-07-30 2021-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2022015264A (ja) * 2020-07-08 2022-01-21 パナソニックｉ－ＰＲＯセンシングソリューションズ株式会社 監視カメラシステムおよび監視カメラ設定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355758A (ja) * 1998-06-09 1999-12-24 Niles Parts Co Ltd テレビ放送システム
JP2000278583A (ja) * 1999-03-23 2000-10-06 Canon Inc カメラ制御システムおよびその制御方法およびその動作処理プログラムを記憶した記憶媒体
JP2003219389A (ja) * 2002-01-18 2003-07-31 Nippon Telegr & Teleph Corp <Ntt> 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体
JP2004088483A (ja) * 2002-08-27 2004-03-18 Nagoya City 映像情報配信システムと映像情報配信方法とそのためのサーバ
JP2006033257A (ja) * 2004-07-14 2006-02-02 Fujitsu Ltd 画像配信装置
JP2008306355A (ja) * 2007-06-06 2008-12-18 Nippon Telegr & Teleph Corp <Ntt> 画像再生処理装置、画像再生処理方法、プログラム、及び記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5896128A (en) * 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
JPH0946710A (ja) 1995-07-28 1997-02-14 Canon Inc 画像通信システムおよび画像通信装置
JPH1023407A (ja) * 1996-07-09 1998-01-23 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像伝送方法、並びに記録媒体
US6573909B1 (en) * 1997-08-12 2003-06-03 Hewlett-Packard Company Multi-media display system
JP2006033126A (ja) 2004-07-13 2006-02-02 Matsushita Electric Ind Co Ltd 撮影用モニタ表示装置
JP2007081465A (ja) 2005-09-09 2007-03-29 Canon Inc 遠隔装置及び撮像装置
JP2007311860A (ja) * 2006-05-16 2007-11-29 Opt Kk 画像処理装置、カメラ装置および画像処理方法
JP5312256B2 (ja) * 2008-09-12 2013-10-09 三洋電機株式会社 撮像装置および撮像システム
JP2012017513A (ja) * 2010-06-10 2012-01-26 Nippon Mining & Metals Co Ltd 銅の浸出方法
JP5872171B2 (ja) * 2011-02-17 2016-03-01 クラリオン株式会社 カメラシステム
JP2014007653A (ja) * 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
US9092683B2 (en) * 2012-07-10 2015-07-28 Honeywell International Inc. Cloud-based system for processing of decodable indicia
KR101987820B1 (ko) * 2012-10-05 2019-06-11 삼성전자주식회사 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
WO2014069920A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Recording medium, reproducing device for providing service based on data of recording medium, and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355758A (ja) * 1998-06-09 1999-12-24 Niles Parts Co Ltd テレビ放送システム
JP2000278583A (ja) * 1999-03-23 2000-10-06 Canon Inc カメラ制御システムおよびその制御方法およびその動作処理プログラムを記憶した記憶媒体
JP2003219389A (ja) * 2002-01-18 2003-07-31 Nippon Telegr & Teleph Corp <Ntt> 映像配信方法及びシステム及び装置及びユーザ端末及び映像配信プログラム及び映像配信プログラムを格納した記憶媒体
JP2004088483A (ja) * 2002-08-27 2004-03-18 Nagoya City 映像情報配信システムと映像情報配信方法とそのためのサーバ
JP2006033257A (ja) * 2004-07-14 2006-02-02 Fujitsu Ltd 画像配信装置
JP2008306355A (ja) * 2007-06-06 2008-12-18 Nippon Telegr & Teleph Corp <Ntt> 画像再生処理装置、画像再生処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
US9749542B2 (en) 2017-08-29
EP3007438A4 (en) 2017-01-11
US20160057355A1 (en) 2016-02-25
WO2014192804A1 (ja) 2014-12-04
EP3007438A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
WO2014192804A1 (ja) デコーダ及び監視システム
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
US8953079B2 (en) System and method for generating 360 degree video recording using MVC
US8077194B2 (en) System and method for high resolution videoconferencing
JP7045856B2 (ja) 独立符号化バックグラウンド更新に基づく映像伝送
US9736367B1 (en) Video system for real-time panoramic video delivery
WO2017166360A1 (zh) 视频通话方法及装置
CN107211081B (zh) 基于独立编码的背景更新的视频传输
WO2011091604A1 (zh) 视频通信的方法、装置和系统
WO2007061068A1 (ja) 受信装置及び本線映像配信装置
JP5340772B2 (ja) 画像通信システム
WO2020213430A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP2008515273A (ja) 部分的ビデオ画像を符号化する方法
JP2009260412A (ja) 通信システム
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
JP2006339733A (ja) 画像伝送方法および画像伝送システム
JP2012004991A (ja) 放送受信装置及びその制御方法
JP7107318B2 (ja) 送信装置、送信方法、受信装置、受信方法および撮像装置
JP2022171421A (ja) 映像作成装置、番組制作システムおよびプログラム
JP2000324474A (ja) カメラ画像伝送方法及びカメラ画像伝送システム
KR20090131891A (ko) 개인별 맞춤형 실시간 동영상 제공 시스템 및 방법
WO2012067051A1 (ja) 映像処理サーバおよび映像処理方法
JP5865052B2 (ja) 画像表示装置、画像表示装置の制御方法、およびプログラム
JP5960095B2 (ja) 映像配信システム
JP2011176454A (ja) ネットワークカメラ装置、指定装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170131