JP6896655B2 - 画像伝送システム - Google Patents

画像伝送システム Download PDF

Info

Publication number
JP6896655B2
JP6896655B2 JP2018006584A JP2018006584A JP6896655B2 JP 6896655 B2 JP6896655 B2 JP 6896655B2 JP 2018006584 A JP2018006584 A JP 2018006584A JP 2018006584 A JP2018006584 A JP 2018006584A JP 6896655 B2 JP6896655 B2 JP 6896655B2
Authority
JP
Japan
Prior art keywords
image
reference image
unit
difference
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018006584A
Other languages
English (en)
Other versions
JP2019125969A (ja
Inventor
直人 瀬戸
直人 瀬戸
広幸 小林
広幸 小林
和信 倉橋
和信 倉橋
浩美 井上
浩美 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Energy Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Energy Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018006584A priority Critical patent/JP6896655B2/ja
Publication of JP2019125969A publication Critical patent/JP2019125969A/ja
Application granted granted Critical
Publication of JP6896655B2 publication Critical patent/JP6896655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明の実施形態は、画像伝送システムに関する。
近年、画像による監視システムの需要が年々高まっており、技術の進歩により、フルHD(水平画素1920×垂直画素1080)画像、さらには4K(水平画素3840×垂直画素2160)画像といった高解像度動画を監視システムに適用したいという要望も増えてきている。
動画データの符号化量低減技術としては、前後画像および基準画像との比較で、差分に変化がない場合フレームレートを落としてデータ量を低減する技術や、異常が検知された領域(異常領域)および異常が検知されていない領域(非異常領域)が予め分かっている場合に非異常領域の画質を大幅に低減してデータ量を低減(高圧縮)する技術が知られている。
特許第5656575号公報 特開2013−229666号公報
高解像度動画による監視システムの提供は、デバイスの観点からすれば、従前よりも安価に高解像度の撮像素子を入手できるようになっているため、年々容易化しているといえる。
一方、データ通信の通信環境の観点からすると、高解像度動画による監視システムの提供が必ずしも容易化しているとはいえない状況にある。例えば、発電所関連では、通信媒体のセキュリティ性確保などの理由から未だに室内ではPHS(Personal Handyphone System)が利用される場合もある。この場合、通信帯域が狭く、高解像度の動画を通常のテレビのフレームレートである30[fps](毎秒30フレーム)や60[fps](毎秒60フレーム)でリアルタイムに伝送することが難しくなり得る。
従って、通信環境に左右されることなく高解像度動画による監視システムを提供するためには、限られた通信帯域で遠隔地に効率よく画像を伝送する必要がある。
また、画像による監視システムにおけるデータ量を低減する観点からすれば、従来技術においてもフレームレート符号化手段側においてはデータ量が低減されている一方、監視センター側、すなわちローカル側ではデータ量が必ずしも低減されているとはいえない実情がある。
具体的に説明すれば、画像による監視システムを連続で稼働させる場合、その稼動状態は、24時間連続で且つ数日に亘る場合も有り得る。
例えば、フルHD(1920×1080画素)の動画を、符号化方式としてH.264/AVCを採用し、デジタル放送と同等のフレームスピードである30[fps]で送信しようとする場合、数十M(メガ)[bps]の伝送量が必要となるため、1日(24時間連続稼働)で蓄積されるデータ量は、数十メガバイト[Mbyte]から数十テラバイト[Tbyte]となる。
このように、従来技術では、フレームレートを下げてデータ量を低減したり、符号化の前に前処理を行ったりすることで、伝送するデータ量を低減しているため、狭帯域な通信回線を利用できる点で有益であるものの、監視センター側において保存が必要なデータ量については十分な低減が図られていないという課題がある。
本発明の実施形態は、上述した事情に鑑みてなされたものであり、狭帯域な通信環境下
においてもデータ伝送可能であって、且つローカル側で保存が必要なデータ量を大幅に低
減可能な画像伝送システムを提供することを目的とする。
本実施形態に係る画像伝送システムは、上述した課題を解決するため、一の画像から前記一の画像の範囲を含む参照画像を減算して前記一の画像と前記参照画像との差分画像を生成し、生成した差分画像の画像データを符号化する符号化手段と、前記差分画像の符号化された画像データを復号化して得られる前記差分画像と前記差分画像を生成する際に減算した前記参照画像とを加算し、前記一の画像に相当する合成画像を生成する復号化手段とを具備し、前記一の画像は、対象物を撮像する撮像手段が駆動可能な範囲を撮像して得られる少なくとも一つの撮像画像から選択される一つの撮像画像と同じ画像範囲を有する画像であって、前記符号化手段は、前記撮像手段が前記撮像画像を得る際における前記撮像手段の姿勢を表す姿勢情報と関連付けられ、前記撮像画像と同じ範囲を撮像した前記参照画像を保持する第1の記憶領域にアクセスして、前記第1の記憶領域に保持される前記参照画像の中から、前記姿勢情報を検出する姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第1の参照画像選択部と、前記一の画像と前記第1の参照画像選択部が前記姿勢情報に基づいて選択した前記参照画像とを受け取り、前記一の画像と前記参照画像との差分画像を得る減算部と、前記差分画像を表す差分画像データを符号化する画像符号化部と、前記撮像画像をモノクロ化したモノクロ撮像画像を得る画像変換部と、を備えて前記モノクロ撮像画像を前記一の画像として前記減算部へ出力し、前記復号化手段は、有線または無線の通信媒体を介して通信可能に接続される前記符号化手段から前記差分画像データを受け取り、前記差分画像データを復号化してモノクロの前記差分画像を得る画像復号化部と、前記姿勢情報と関連付けられている前記参照画像を保持する第2の記憶領域にアクセスして、前記第2の記憶領域に保持される参照画像の中から、前記姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第2の参照画像選択部と、前記第2の参照画像選択部が入力される前記姿勢情報に基づいて選択した前記参照画像と前記画像復号化部が復号化して得られる前記差分画像とを加算し、前記モノクロ撮像画像に相当するモノクロの合成画像を得る加算部と、前記加算部が得る前記モノクロの合成画像に対して、前記撮像画像に相当する画像を得る画像復元部とを備え、前記第2の記憶領域は、前記第1の記憶領域と同じ記憶領域であり、前記第2の参照画像選択部は、前記第1の参照画像選択部がアクセスする前記第1の記憶領域と同じ記憶領域にアクセスして前記第1の参照画像選択部が選択した前記参照画像を選択することを特徴とする。
本実施形態に係る画像伝送システムは、上述した課題を解決するため、一の画像から前記一の画像の範囲を含む参照画像を減算して前記一の画像と前記参照画像との差分画像を生成し、生成した差分画像の画像データを符号化する符号化手段と、前記差分画像の符号化された画像データを復号化して得られる前記差分画像と前記差分画像を生成する際に減算した前記参照画像とを加算し、前記一の画像に相当する合成画像を生成する復号化手段とを具備し、前記一の画像は、対象物を撮像する撮像手段が駆動可能な範囲を撮像して得られる少なくとも一つの撮像画像から選択される一つの撮像画像と同じ画像範囲を有する画像であって、前記符号化手段は、前記撮像手段が前記撮像画像を得る際における前記撮像手段の姿勢を表す姿勢情報と関連付けられ、前記撮像画像と同じ範囲を撮像した前記参照画像を保持する第1の記憶領域にアクセスして、前記第1の記憶領域に保持される前記参照画像の中から、前記姿勢情報を検出する姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第1の参照画像選択部と、前記一の画像と前記第1の参照画像選択部が前記姿勢情報に基づいて選択した前記参照画像とを受け取り、前記一の画像と前記参照画像との差分画像を得る減算部と、前記差分画像を表す差分画像データを符号化する画像符号化部と、を備え、前記復号化手段は、有線または無線の通信媒体を介して通信可能に接続される前記符号化手段から前記差分画像データを受け取り、前記差分画像データを復号化する画像復号化部と、前記姿勢情報と関連付けられている前記参照画像を保持する第2の記憶領域にアクセスして、前記第2の記憶領域に保持される参照画像の中から、前記姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第2の参照画像選択部と、前記第2の参照画像選択部が入力される前記姿勢情報に基づいて選択した前記参照画像と前記画像復号化部が復号化して得られる前記差分画像とを加算した画像を得る加算部とを備え、前記第2の記憶領域は、前記第1の記憶領域と同じ記憶領域であり、前記第2の参照画像選択部は、前記第1の参照画像選択部がアクセスする前記第1の記憶領域と同じ記憶領域にアクセスして前記第1の参照画像選択部が選択した前記参照画像を選択することを特徴とする。
本実施形態によれば、狭帯域な通信環境下においてもデータ伝送でき、ローカル側で保存が必要なデータ量を大幅に低減することができる。
第1の実施形態に係る画像伝送システムの構成を示す概略図。 実施形態に係る画像伝送システムで用いられる参照画像の一例(第1の実施例)を示す説明図。 実施形態に係る画像伝送システムで用いられる参照画像の一例(第2の実施例)を示す説明図。 第1の実施形態に係る画像伝送方法における全体的な処理の流れを示す処理フロー図。 実施形態に係る画像伝送システムにおける他の構成例(変形例)を示す概略図。 第2の実施形態に係る画像伝送システムの構成を示す概略図。 第2の画像伝送処理手順における第2の符号化工程の処理の流れを示す処理フロー図。 第2の画像伝送処理手順における第2の復号化工程の処理の流れを示す処理フロー図。 第3の実施形態に係る画像伝送システムの構成を示す概略図。
以下、本発明の実施形態に係る画像伝送システム、監視装置および画像伝送方法を添付の図面に基づいて説明する。
なお、後述する各実施形態は、撮像手段が撮像する画像がフルHD(水平画素1920×垂直画素1080)のカラー画像であって、画像伝送システムを、定点カメラから監視対象を撮像した画像を取得する監視装置(ローカル)と監視対象の画像を受け取り統括管理する表示処理装置(センター)とを伝送可能に接続した監視システムに適用した場合の例を説明している。
[第1の実施形態]
図1は、第1の実施形態に係る画像伝送システムの一例である画像伝送システム1Aの構成を示す概略図である。
なお、図1に示される記号「丸I」(○印内にローマ数字「I」が記入された記号)は、結合子であり、後述する図5等の他の図においても同様である。また、矢印の方向は、信号およびデータの流れの方向を示している。
画像伝送システム1Aは、例えば、本実施形態に係る監視装置の一例であって、画像データを符号化する符号化手段を備える監視装置20Aと、監視装置20Aから伝送される、符号化された画像データを復号化する復号化手段を備える表示処理装置30Aとを具備する。
画像伝送システム1Aにおいて、監視装置20Aは、入力側(図1における左側)がカメラ10と通信可能に接続され、出力側(図1における右側)が表示処理装置30Aと通信可能に接続される。また、表示処理装置30Aは、出力側が表示装置40と通信可能に接続される。
カメラ10は、例えば、入射した光を集光するレンズ(図示省略)を介して入射した光を電気信号に変換することによって対象物を撮像する撮像手段としての撮像部11と、カメラ10(撮像部11)の撮像時の姿勢を表す姿勢情報を検出する姿勢情報検出手段としての姿勢情報検出部16とを備える。
姿勢情報検出部16が検出する姿勢情報は、表示処理装置30A側へ伝送される画像に対する参照画像27_kおよび37_k(kおよびnは、1≦k≦nを満たす自然数)を選択する際の識別情報に含まれる。ここで、参照画像27_kおよび37_kは、それぞれ、参照画像の候補と成り得るn枚の画像群(以下、「参照画像群」とする。)27_1〜27_nおよび37_1〜37_nから参照画像として選択される1枚の画像(以下、「選択参照画像」とする。)である。
撮像部11は、例えば、CCD(Charged Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の各種の撮像素子で構成される。
姿勢情報検出部16は、例えば、カメラ10が駆動可能な方向のうち、少なくとも基準位置(角度)に対するパン(水平)方向の角度を表すパン角θ(図2および図3)とチルト(垂直)方向の角度を表すチルト角φ(図2および図3)とを検出する角度センサ、カメラ10の角速度を検出するジャイロセンサ(角速度センサ)等のカメラ10の撮像時の姿勢を特定可能な姿勢情報を検出するセンサで構成される。
姿勢情報検出部16は、基準位置からの駆動量に応じた姿勢情報を検出し、検出した姿勢情報をデータ出力する。例えば、姿勢情報検出部16が角度センサで構成される場合、姿勢情報検出部16は少なくともパン角θおよびチルト角φを逐一検出する。
カメラ10は、基本的には任意の箇所に固定され、駆動範囲内の所定範囲を撮像するとともに撮像時の姿勢情報を検出する。カメラ10は、撮像部11から対象物を撮像して得られる撮像画像の画像データを監視装置20Aへ伝送する。
また、カメラ10は、姿勢情報検出部16から伝送する画像データを得る際におけるカメラ10の姿勢情報を、監視装置20Aおよび表示処理装置30Aへそれぞれ伝送する。伝送される姿勢情報は、選択参照画像27_kおよび選択参照画像37_kをそれぞれ選択する際の識別情報の少なくとも一部を構成する。
なお、上述したカメラ10は、姿勢情報検出部16を備えている場合の例であるが、必ずしもカメラ10自体が姿勢情報検出部16を備えている必要はなく、カメラ10の撮像時の姿勢情報を検出可能である限り、カメラ10の外部に姿勢情報検出部16が設けられていてもよい。また、カメラ10は、監視装置20A等の後述する監視装置に組み込まれて(一体的に)構成されていてもよい。
監視装置20Aは、例えば、符号化手段としての減算部21、参照画像選択部22Aおよび画像符号化部23と、記憶手段としての記憶部24とを備える。また、記憶部24には、撮像画像と同じ画像範囲を有する1枚の選択参照画像27_kを選択する際に参照される画像として、例えば、n枚の参照画像群27_1〜27_nが保持されている。
減算部21は、一方の入力から他方の入力を減算して出力する減算機能を有する。監視装置20において減算部21は、一方の入力である第1の入力として、カメラ10から撮像画像の画像データを受け取り、他方の入力である第2の入力として、参照画像選択部22Aから選択参照画像27_k(参照画像群27_1〜27_nから選択される1枚)の画像データを受け取り、撮像画像と選択参照画像27_kとの差分をとった差分画像の画像データを生成する。生成された差分画像の画像データは、減算部21から出力され、画像符号化部23に入力される。
参照画像選択部22Aは、画像の識別情報として、カメラ10の姿勢情報を姿勢情報検出部16から受け取り、受け取った識別情報(カメラ10の姿勢情報)と関連付けられている選択参照画像27_kを記憶部24に保持される参照画像群27_1〜27_nから選択し読み出す。参照画像選択部22Aは、読み出した選択参照画像27_kを、参照画像選択部22Aから減算部21へ出力する。
画像符号化部23は、画像データを符号化する機能を有する。画像および画像の符号化方式は、基本的には、MPEG4およびH.264/AVCやH.265/AVC等の動画および動画符号化規格に準拠した方式を用いる。
画像符号化部23は、減算部21から画像データを受け取ると、受け取った画像データを符号化した符号化画像データを生成し、符号化画像データを表示処理装置30Aへ伝送する。
記憶部24は、情報の読み出し(リード)および書き込み(ライト)が可能な記憶領域を提供する記憶回路を有し、当該記憶領域に情報を保持する機能を有する。
監視装置20Aにおいて記憶部24は、選択参照画像27_kの候補となる参照画像群27_1〜27_nまたは選択され得る参照画像群27_1〜27_nの画像範囲を網羅するパノラマ画像28(図3)を保持する。
なお、参照画像群27_1〜27_nおよびパノラマ画像28は、監視装置20Aを設置したタイミングで準備されることが基本であるが、設置後の撮影環境の変化等により撮像される画像の内容が変わってしまう場合も有り得るため、必要に応じて、データ更新されることが好ましい。
監視装置20Aは、例えば、プロセッサおよび記憶回路を有する集積回路が形成される半導体チップに、上述した減算部21、参照画像選択部22Aおよび記憶部24の機能を組み込んだ(インストールした)半導体チップと、上述した画像符号化部23の機能を有するハードウェアエンコーダとの組み合わせ、上述した減算部21、参照画像選択部22A、画像符号化部23および記憶部24の機能を組み込んだ(インストールした)半導体チップ、コンピュータおよび上述した減算部21、参照画像選択部22A、画像符号化部23および記憶部24の機能をコンピュータに実現させるプログラム等によって構成される。
なお、図1に示されるデータ伝送システム1Aおよび監視装置20Aは、表示処理装置30A側(センター側)で監視装置20Aから伝送される情報を参考にして対象物の監視を行っている例であるが、監視装置20A側(ローカル側)で監視する対象物の正常または異常の判定が必要な場合、監視装置20Aや表示処理装置30Aに監視する対象物の正常または異常を判定する判定部(図1において図示省略)をさらに設けてもよい。
データ伝送システム1Aでは、通常時であれば、撮像画像(減算部21において、減算される画像)と選択参照画像27_kとは酷似する(ほとんど差異が無い)関係であるため、例えば、差分画像の少なくとも一部に、正常または異常の判定を行う判定領域を設定し、設定した判定領域の輝度差が、所定値よりも大きい(是)か否かを判定することによって、監視する対象物の正常または異常を判定することができる。
具体的には、差分画像に設定した判定領域の輝度差が、所定値よりも大きい(是である)旨の判定結果が得られた場合、異常が生じていると判定し、所定値以下(否)の場合には正常と判定する。
なお、判定部を表示処理装置30Aに設ける場合、判定部が行った判定結果を表示処理装置30Aから監視装置20Aへ伝送するように、監視装置20Aおよび表示処理装置30Aを構成すればよい。
また、監視する対象物の異常を報知する必要がある場合、監視する対象物の異常を報知する発報部(図1において図示省略)を、必要に応じて、監視装置20Aおよび表示処理装置30Aの少なくとも一方に設けてもよい。
発報部を追設する場合、監視する対象物の異常を示す情報を、上述した判定部等の他の構成要素から受け取る、または監視する対象物の異常を判定する機能を発報部に持たせて、受け取るまたは判定した判定結果の情報に基づいて異常を報知する。異常の発報の方法は、ユーザが認識可能な方法、すなわち、人間の五感の少なくとも何れかの感覚で異常の発報を人間が感知できる方法の中から適宜選択される。
なお、表示処理装置30Aへ符号化画像データを伝送する際には、符号化画像データを構成するデータパケットのヘッダ部に他の情報を組み込んで伝送してもよい。表示処理装置30Aへ伝送が必要な情報のうち、監視装置20Aが受け取った情報または生成した情報については、符号化画像データを構成するデータパケットのヘッダ部に組み込んで表示処理装置30Aへ伝送するようにすることができる。
例えば、データ伝送システム1Aにおいて、監視装置20Aが受け取った姿勢情報を符号化画像データに組み込んで伝送すれば、姿勢情報検出部16と表示処理装置30Aとを接続する通信媒体が不要となり、当該通信媒体を節約することができる。
表示処理装置30Aは、例えば、復号化手段としての画像復号化部31、加算部32および参照画像選択部33Aと記憶手段としての記憶部34とを備える。また、記憶部34には、参照画像群27_1〜27_nと実質的に同じ画像であるn枚の参照画像群37_1〜37_nが保持されている。
画像復号化部31は、画像符号化部23のデータ符号化の方式に対応したデータ復号化の機能を有する。画像復号化部31では、画像符号化部23と同様、規格に準拠した方式を採用し、基本的には画像符号化部23で採用する方式と同じ方式を採用する。
画像復号化部31は、監視装置20Aから符号化画像データを受け取ると、符号化画像データを復号化する。すなわち、画像復号化部31は、画像符号化部23が符号化する前の画像データに復号し、復号した画像データを加算部32へ出力する。
加算部32は、二つの入力を加算して出力する加算機能を有する。表示処理装置30Aにおいて、加算部32は、第1の入力として画像復号化部31から受け取る画像データと第2の入力として参照画像選択部33Aから受け取る選択参照画像37_kの画像データとを加算(合成)し、加算(合成)した画像データを得る。
表示処理装置30Aにおいて、加算部32から出力される画像データは、カメラ10から監視装置20Aが受け取る撮像画像、より詳細には監視装置20Aにおける減算部21の第1の入力として減算される画像に相当する画像の画像データである。すなわち、加算部32が生成した画像データに基づく画像(合成画像)は、カメラ10から受け取る撮像画像と同義の画像である。加算部32は、加算結果である画像データを、カメラ10が取得した画像データとして表示装置40へ出力する。
表示処理装置30Aにおける参照画像選択部33Aおよび記憶部34は、監視装置20Aが備える参照画像選択部22Aおよび記憶部24と実質的に同じ機能を有する。すなわち、参照画像選択部33Aおよび記憶部34と、参照画像選択部22Aおよび記憶部24とは、設けられている場所が、監視装置20Aであるか表示処理装置30Aであるかの点で相違するが、機能的には実質的に相違しない。
なお、表示処理装置30Aは、例えば、プロセッサおよび記憶回路を有する集積回路が形成される半導体チップに、上述した加算部32、参照画像選択部33Aおよび記憶部34の機能を組み込んだ(インストールした)半導体チップと、上述した画像復号化部31の機能を有するハードウェアデコーダとの組み合わせ、上述した画像復号化部31、加算部32、参照画像選択部33Aおよび記憶部34の機能を組み込んだ(インストールした)半導体チップ、コンピュータおよび上述した画像復号化部31、加算部32、参照画像選択部33Aおよび記憶部34の機能をコンピュータに実現させるプログラム等によって構成される。
続いて、参照画像選択部22Aが選択する選択参照画像27_kと記憶部24に保持される参照画像群27_1〜27_n(またはパノラマ画像28)との関係について説明する。
図2および図3は、画像伝送システム1A等、実施形態に係る画像伝送システムで用いられる選択参照画像27_kの一例を示す説明図である。
選択参照画像27_kの第1の実施例として図2に例示される選択参照画像27_kは、n枚の参照画像群27_1〜27_nの中から識別情報が合致する1枚を選択参照画像27_kとして選択する場合の例である。
図2に例示される参照画像群27_1〜27_nは、パン(水平)方向に撮像画像i(iは自然数)枚およびチルト(垂直)方向に撮像画像j(jは自然数)枚が並んでおり、撮像画像n(=ij)枚分の画像範囲を網羅している。
カメラ10(図1)のパン角θおよびチルト角φの設定は、少なくとも監視する対象物を網羅する範囲であることが必要であるが、好ましくは監視する対象物を網羅し、カメラ10の解像度に応じて求められるパン方向およびチルト方向の最小駆動角αおよびβの整数倍に設定することである。すなわち、θ=iαおよびφ=jβが成立するように、パン角θおよびチルト角φを設定し、パン方向i枚×チルト方向j枚の参照画像群27_1〜27_nを準備する。
ここで、図2に例示される「参照画像(1,1)」は、基準位置からパン方向に最小駆動角αの1倍(=α)、チルト方向に最小駆動角βの1倍(=β)移動した位置において取得される撮像画像と同じ範囲を撮像した画像(参照画像)27_1である。
チルト方向の位置を基準位置からチルト方向に最小駆動角β移動した位置に固定したまま、パン方向に最小駆動角αずつiαまで順次移動させた(パン角θをα,2α,…,iαと変化させた)場合、パン方向にα移動後の最初の位置において取得される撮像画像と同じ範囲を撮像した画像(参照画像)が「参照画像(1,1)」であり、以降、「参照画像(2,1)」、…「参照画像(i,1)」となる。
チルト方向についてもパン方向と同様に、基準位置からパン方向に最小駆動角α移動した位置に固定したまま、チルト方向に最小駆動角βずつチルト角φ=jβまで順次移動させた(チルト角φをβ,2β,…,jβと変化させた)場合、チルト方向にβ移動後の最初の位置において取得される撮像画像と同じ範囲を撮像した画像(参照画像)が「参照画像(1,1)」であり、以降、「参照画像(1,2)」、…「参照画像(1,j)」となる。
従って、「参照画像(i,j)」は、基準位置からパン方向に最小駆動角αのi倍(=iα)、チルト方向に最小駆動角βのj倍(=jβ)移動した位置において取得される撮像画像と同じ範囲を撮像した画像(参照画像)27_n(図2の例では、n=ij)である。
上述した第1の実施例の場合、参照画像選択部22Aは、識別情報に含まれる姿勢情報としてカメラ10のパン角θおよびチルト角φを取得し、取得したパン角θおよびチルト角φと同じ姿勢で撮像された画像と同じ範囲の画像を参照画像群27_1〜27_nの中から探し、該当する参照画像を選択参照画像27_kとする。
また、参照画像選択部22Aが選択する選択参照画像27_kの第2の実施例として、参照画像群27_1〜27_nの代わりに、選択参照画像27_kの画像範囲を網羅するパノラマ画像28を記憶部24に保持させてよい。
図3に例示される、選択参照画像27_kの第2の実施例としてのパノラマ画像28は、撮像画像として取得され得る全ての画像、すなわち参照画像群27_1〜27_nを合成した画像である。パノラマ画像28は、パン(水平)方向に撮像画像i枚分の長さとチルト(垂直)方向に撮像画像j枚分の長さとを有する撮像画像n枚分の範囲を網羅する1枚の画像である。
図3に例示されるパノラマ画像28の画素位置は、カメラ10(図1)のパン方向をX軸方向とし、チルト方向をY軸方向とする二次元直交座標系によって表される。パノラマ画像28には、基準点および当該基準点を基準としてパン方向(X軸方向)およびチルト方向(Y軸方向)に所定量の画素を切り出した、カメラ10の解像度に相当する画素数の基準画像Oが設定される。
図3に例示されるパノラマ画像28では、当該画像に含まれる一点(画素)であって、四隅の点(画素)PO1〜PO4のうち、左隅の点(画素)PO1に位置する原点O(0,0)を基準点とし、原点OからX軸正方向およびY軸正方向に、それぞれ、フルHD画像に相当する1080画素および1920画素を切り出した基準画像Oが設定されている。
参照画像選択部22A(図1)は、受け取った姿勢情報から把握される画像、すなわち画像Rの基準点の位置を二次元直交座標系の座標に変換する。ここで、画像Rの基準点は、基準画像Oの基準と同じ位置関係にあり、図3に示される例では、基準画像Oと同じ位置関係にある左隅の点(画素)Pr1に位置する。
ここで、画像Rの基準点の位置を表す座標として得られた座標が(X,Y)=(X1,Y1)である場合、この基準点(X1,Y1)から基準画像Oと同様に、X軸正方向およびY軸正方向に、それぞれ、1080画素および1920画素を切り出した画像Rを選択参照画像27_kとして選択する。
すなわち、選択参照画像27_kとして選択される画像Rは、基準画像Oの四隅の点(画素)PO1〜PO4を、それぞれ、X軸方向にX1およびY軸方向にY1だけ平行移動させた四点(画素)PR1〜PR4を、四隅とする画像である。すなわち、パノラマ画像28における基準画像Oに対する移動量は、(ΔX,ΔY)=(X1,Y1)である。
ここで、パノラマ画像28の水平画素数をu、垂直画素数をv、パン方向の最小駆動角をα、チルト方向の最小駆動角をβとした場合、パン方向の最小駆動角αに対する水平画素数およびチルト方向の最小駆動角βに対する垂直画素数は、それぞれ、u/αおよびv/βとなる。
従って、カメラ10を、パン方向に角度αおよびチルト方向に角度β移動させた場合、基準画像Oに対するX軸方向の移動量ΔXはα×(u/α)となり、Y軸方向の移動量ΔYはβ×(v/β)となる。すなわち(ΔX,ΔY)=(uα/α,vβ/β)となる。パノラマ画像28の水平画素数u、垂直画素数v、パン方向の最小駆動角α、チルト方向の最小駆動角βおよび基準画像Oを撮像した際のカメラ10の姿勢情報としてのパン角およびチルト角が既知なので、カメラ10の現在のパン角およびチルト角がわかれば、上述の方法で基準画像Oから画像Rへの移動量(ΔX,ΔY)を画素単位で求めることができる。
なお、図3に示される基準画像Oの基準点は、左下隅の点(画素)PO1である場合の例であるが、基準点は必ずしもPO1でなくてもよく、基準画像Oに含まれる一点(画素)であればよい。
参照画像群27_1〜27_n(第1の実施例:図2)の代わりに、パノラマ画像28(第2の実施例:図3)を採用した場合、参照画像群27_1〜27_nを採用する場合と比べて記憶部24における画像データのデータ量をより小さく抑えることができる。
なお、上述した参照画像選択部22Aが選択する選択参照画像27_kと記憶部24に保持される参照画像群27_1〜27_n(またはパノラマ画像28)との関係は、監視装置20Aにおける話であるが、表示処理装置30Aにおいても同様である。
すなわち、表示処理装置30Aにおける参照画像選択部33Aが選択する選択参照画像37_kと記憶部34に保持される参照画像群37_1〜37_n(または参照画像群37_1〜37_nと同じ画像範囲を有するパノラマ画像)との関係は、上述した参照画像選択部22Aが選択する選択参照画像27_kと記憶部24に保持される参照画像群27_1〜27_n(またはパノラマ画像28)との関係についての説明における符号22A、24および27を、それぞれ、33A、34および37に読み替えた内容である。
次に、第1の実施形態に係る画像伝送方法について説明する。
第1の実施形態に係る画像伝送方法は、例えば、画像伝送システム1Aを用いて実施することができる。画像伝送システム1Aを用いて第1の実施形態に係る画像伝送方法を実施する場合、伝送元となる監視装置20Aでは、伝送したい元の画像と参照画像との差分画像が生成され、さらに差分画像の画像データが符号化される一方、伝送先となる表示処理装置30Aでは、監視装置20Aから受け取る符号化された画像データが復号化され、参照画像を用いて監視装置20Aから伝送したい元の画像が生成される。
図4は、第1の実施形態に係る画像伝送方法の一例であって、画像伝送システム1Aが行う第1の画像伝送処理手順における全体的な処理の流れを示す処理フロー図である。
第1の画像伝送処理手順は、監視装置20Aが行う第1の符号化工程(ステップS1)と、表示処理装置30Aが行う第1の復号化工程(ステップS2)とを備える。
第1の画像伝送処理手順では、処理ステップの実行が開始されると(START)、第1の符号化工程(ステップS1:ステップS11〜ステップS14)が行われ、続いて、第1の復号化工程(ステップS2:ステップS21〜ステップS24)が行われる。
図4に例示される第1の符号化工程(ステップS1)では、減算部21(図1)が、伝送先となる表示処理装置30Aへ伝送するカメラ10の撮像画像の画像データを第1の入力として受け取る一方、参照画像選択部22Aが、減算部21が受け取る撮像画像の識別情報(監視装置20Aでは姿勢情報を含む)を受け取る(ステップS11)。
続いて、参照画像選択部22A(図1)が、参照画像群27_1〜27_n(またはパノラマ画像28)から、受け取った識別情報と関連付けられている1枚の選択参照画像27_k(図1)を選択する(ステップS12)。
続いて、減算部21が、第1の入力として受け取った撮像画像の画像データから選択参照画像27_kの画像データを減算して、当該撮像画像と選択参照画像27_kとの差分画像の画像データを生成する(ステップS13)。以下、ステップS13を「第1の差分画像生成ステップ」と呼称する。
続いて、画像符号化部23(図1)が、第1の差分画像生成ステップ(ステップS13)において生成された差分画像の画像データを符号化し、差分画像の符号化画像データを生成する(ステップS14)。
差分画像の符号化画像データが生成されると、ステップS14は完了し、ステップS14の完了をもって、第1の符号化工程(ステップS1:ステップS11〜ステップS14)は完了する。
第1の符号化工程(ステップS1:ステップS11〜ステップS14)が完了すると、監視装置20Aは、得られた符号化画像データと受け取った識別情報とを表示処理装置30A(図1)へ伝送する。
第1の復号化工程(ステップS2:ステップS21〜ステップS24)では、表示処理装置30Aにおける画像復号化部31(図1)が差分画像の符号化画像データを受け取る一方、参照画像選択部33A(図1)が、監視装置20Aから表示処理装置30Aへ伝送する画像の識別情報を受け取る(ステップS21)。
続いて、画像復号化部31(図1)が、受け取った差分画像の符号化画像データを復号化する。当該復号化の結果、画像復号化部31は、監視装置20Aが生成した差分画像の画像データと同義の画像データを得る(ステップS22)。
続いて、参照画像選択部33Aが、選択参照画像群37_1〜37_n(図1)(または選択参照画像群37_1〜37_nと同じ画像範囲を有するパノラマ画像)から、受け取った識別情報と関連付けられている1枚の選択参照画像37_kを選択する(ステップS23)。
続いて、加算部32が、ステップS22において得られた差分画像の画像データとステップS23において選択された選択参照画像37_kの画像データとを加算し、差分画像と選択参照画像37_kとを合成した合成画像を生成する(ステップS24)。本処理ステップで生成される合成画像は、監視装置20Aがカメラ10から受け取る撮像画像と同義の画像である。
差分画像と選択参照画像37_kとを合成した合成画像が生成されると、第1の復号化工程は全処理ステップ(ステップS2:ステップS21〜ステップS24)を完了する。第1の復号化工程が完了すると、第1の画像伝送処理手順の全処理工程(ステップS1およびステップS2)が完了し、第1の画像伝送処理手順は終了する(END)。
本実施形態では、カメラ10が撮影した撮像画像と基本的には移動する物体がない場合に撮像画像と酷似する(ほとんど差異が無い)選択参照画像27_kとの差分をとった差分画像を監視装置20Aから表示処理装置30A側へ伝送する。ここで、生成される差分画像は、基本的にはほとんど差異が無いことからデータ量が非常に小さい(輝度差の少ない)画像となる。
故に、本実施形態によれば、画像伝送システム1Aにおける監視装置20Aから表示処理装置30Aへ伝送が必要なデータ量を大きく低減することができ、監視装置20Aおよび表示処理装置30Aを接続する通信網の通信帯域が狭く単位時間あたりに伝送可能なデータ量が少ない場合であっても、所定時間内に表示処理装置30A側へ必要な情報を伝送することができる。また、データの符号化工程および復号化工程を適用することで、伝送が必要なデータ量をより少なく抑えることができる。
また、本実施形態によれば、監視装置20Aにおいて生成される差分画像が、伝送したい元の画像(減算される画像)とは顕著に異なる画像であるため、伝送される差分画像が第三者に傍受された(情報漏洩した)としても、ユーザが本来伝送したい元の画像を第三者が確認することはできず、通信帯域の広狭に左右されず高い秘匿性を確保することができる。
なお、上述した画像伝送システム1Aは、一例であり、上述した例に限定されるものではない。
例えば、上述した画像伝送システム1Aは、監視装置20Aが記憶部24を備え、表示処理装置30Aが記憶部34を備えている構成例であるが、記憶部24は監視装置20Aの外部に設けられていてもよい。また、記憶部24と同様に記憶部34についても表示処理装置30Aの外部に設けられていてもよい。
さらに、後述する図5に例示されるように、監視装置20Aの外部に設けた記憶部24および表示処理装置30Aの外部に設けた記憶部34を共用化して画像伝送システムを構築してもよい。すなわち、選択参照画像37_kと選択参照画像27_kとを共用化し、参照画像選択部33Aが選択参照画像37_kとして共用化される選択参照画像27_kを選択する画像伝送システムを構築してもよい。
図5は、実施形態に係る画像伝送システムにおける他の構成例(変形例)である画像伝送システム1Bの構成を示す概略図である。
画像伝送システム1Bは、例えば、画像伝送システム1Aに対して、監視装置20Aおよび表示処理装置30Aの代わりに、監視装置20Aから記憶部24が省略された監視装置20Bおよび表示処理装置30Aから記憶部34が省略された表示処理装置30Bとを具備する。また、画像伝送システム1Bでは、記憶部24および記憶部34に相当する記憶領域を提供する記憶手段としての記憶装置50が、監視装置20Bおよび表示処理装置30Bの外部に設けられている。
また、図5に例示される画像伝送システム1Bでは、記憶装置50において、記憶部24および記憶部34に相当する記憶領域が共用化されて構成されている。すなわち、画像伝送システム1Aにおける、記憶部24に保持される参照画像群27_1〜27_nおよび記憶部34に保持される参照画像群37_1〜37_nを、参照画像群27_1〜27_nおよび参照画像群37_1〜37_nの何れか一方に集約して記憶装置50に保持させた画像伝送システム1Bを構築されている。
さらに、図5に示される画像伝送システム1Bは、監視装置20Bおよび表示処理装置30Bが、それぞれ、記憶部24および記憶部34を備えておらず、参照画像群37_1〜37_nと共用化される参照画像群27_1〜27_nが記憶装置50に保持される構成例であるが、当該構成に対して、さらに監視装置20Bが、例えば記憶部24等のデータを保持可能な記憶領域を有していたり、表示処理装置30Bが例えば記憶部34等のデータを保持可能な記憶領域を有していたりしてもよい。
例えば、図5に例示される画像伝送システム1Bに対して、監視装置20Bの代わりに記憶部24を備える監視装置20Aが設けられている画像伝送システム1Bを構築した場合、記憶部24が有する記憶領域を、参照画像群27_1〜27_nを保持する代わりにカメラ10から伝送される撮像画像を保持する記憶領域として用いることができる。当該構成を採用した場合、カメラ10から伝送される撮像画像を一旦保持可能になる。
記憶部24が有する記憶領域をカメラ10から伝送される撮像画像を保持する記憶領域として用いる場合、記憶部24に保持される画像から伝送したい画像の選択を受け付け、選択された画像を記憶部24から読み出して表示処理装置30B側へ伝送する画像転送手段としての画像転送部(図示省略)を監視装置20Aにさらに設けることができる。
画像伝送システム1B(監視装置20Bおよび表示処理装置30B)および画像伝送システム1Bを用いた画像伝送方法においては、監視装置20Bの外部に参照画像群27_1〜27_nを保持させる構成および表示処理装置30Bの外部に参照画像群37_1〜37_nを保持させる構成のうち少なくとも一方の構成が採用されるため、参照画像群27_1〜27_nを保持する記憶部24を省略した監視装置20Bを構成したり、参照画像群37_1〜37_nを保持する記憶部34を省略した表示処理装置30Bを構成したりすることができ、監視装置20Bや表示処理装置30Bにおける記憶領域をより小さく抑えることができる。
また、監視装置20Bの外部に参照画像群27_1〜27_nを保持させる構成を採用し、監視装置20Bの代わりに記憶部24を備える監視装置20Aを採用した画像伝送システム1B(監視装置20Aおよび表示処理装置30B)では、カメラ10から伝送される撮像画像を一旦保持する記憶領域として記憶部24を利用することができるため、伝送したい画像を事後的に選択して表示処理装置30B側へ伝送可能なシステムを構築することができる。
[第2の実施形態]
図6は、第2の実施形態に係る画像伝送システムの一例である画像伝送システム1Cの構成を示す概略図である。
なお、図6に示される記号「丸I」(○印内にローマ数字「I」が記入された記号)および「丸II」(○印内にローマ数字「II」が記入された記号)は、何れも結合子である。
画像伝送システム1Cは、画像伝送システム1Aに対して、監視装置20Aの代わりに監視装置20Cを、表示処理装置30Aの代わりに表示処理装置30Cを具備する点と、参照画像群27_1〜27_nおよび37_1〜37_nの代わりに、当該参照画像群をモノクロ化したモノクロ参照画像群29_1〜29_nおよび39_1〜39_nが、それぞれ、記憶部24および記憶部34に保持されている点とで相違するが、その他の点は実質的に相違しない。
そこで、画像伝送システム1Cの説明では、画像伝送システム1Aに対する相違点を中心に説明し、実質的に相違しない構成要素については同じ符号を付して説明を省略する。
画像伝送システム1Cは、例えば、画像伝送システム1Aに対して、監視装置20Aの代わりに監視装置20Cを、表示処理装置30Aの代わりに表示処理装置30Cを具備する。
監視装置20Cは、例えば、減算部21と、参照画像選択部22Aと、画像符号化部23と、記憶部24と、画像変換部26とを備える。
画像変換部26は、減算部21の前段(入力側:図6における左側)に設けられ、カメラ10から入力される画像(撮像画像)をグレースケール化し、入力される画像のモノクロ画像に変換する画像変換機能を有する。
画像変換部26は、例えば、入力される画像をモノクロ画像に変換し、当該画像のモノクロ画像を生成する。画像のグレースケール化の方法は、元の画像の輝度をモノクロ画像の輝度として採用する等の方法から任意に選択できる。
元の画像の輝度をモノクロ画像の輝度として採用する方法の一例としては、元の画像がRGB色空間で表される、R(赤色)、G(緑色)およびB(青色)の各色の輝度値(R,G,B)の情報を有しており、RGB色空間をYCbCr色空間に変換する際に得られるY、CbおよびCrのうちYの値、すなわち、輝度値をモノクロ画像の輝度値として決定する方法がある。
YCbCr色空間に変換する際に得られるYの値(輝度値)を求める方法としては、例えば下記式(1)〜(3)で表されるRGB色空間をYCbCr色空間に変換する変換式を用いて求めることができる。
[数1]
Y=0.29900×R+0.58700×G+0.11400×B …(1)
Cb=−0.16874×R−0.33126×G+0.50000×B …(2)
Cr=0.50000×R−0.41869×G−0.08131×B …(3)
上記式(1)〜(3)において、左辺のY、CbおよびCrは、それぞれ、YCbCr色空間の各要素、すなわち輝度および色差である。また、右辺のR、GおよびBは、それぞれ、RGB色空間の各要素、すなわちR(赤色)、G(緑色)およびB(青色)の各色の輝度値である。
なお、上記式(1)〜(3)で表される変換式は、幾つかある変換式の一つであり、採用可能な変換式は上記式(1)〜(3)に限定されるものではなく、他の変換式を採用することもできる。
画像変換部26は、モノクロ画像を生成すると、生成したモノクロ画像を減算部21へ出力する。また、画像変換部26は、上記式(2)および(3)を用いて求められるCbおよびCrの値を、表示処理装置30C(より詳細には、画像復元部36)へ伝送する。
なお、監視装置20Cでは、画像変換部26が出力するモノクロ画像を用いて差分画像が生成されるため、画像変換されていない参照画像群27(27_1〜27_n)をモノクロ画像に変換したモノクロ参照画像群29(29_1〜29_n)を参照画像群27_1〜27_nの代わりに記憶部24に保持している。
監視装置20Cにおいて、参照画像選択部22Aは、受け取った識別情報(カメラ10の姿勢情報)と関連付けられている参照画像(以下、「モノクロ選択参照画像」とする。)29_kを記憶部24に保持されるモノクロ参照画像群29_1〜29_nから選択し読み出す。参照画像選択部22Aは、読み出したモノクロ選択参照画像29_kを参照画像選択部22Aから減算部21へ出力する。
表示処理装置30Cは、例えば、画像復号化部31と、加算部32と、参照画像選択部33Aと、画像復元部36とを備える。
表示処理装置30Cにおいて、参照画像選択部33Aは、受け取った識別情報(カメラ10の姿勢情報)と関連付けられているモノクロ選択参照画像39_kを記憶部34に保持されるモノクロ参照画像群39_1〜39_nから選択し読み出す。参照画像選択部33Aは、読み出したモノクロ選択参照画像39_kを参照画像選択部33Aから加算部32へ出力する。
画像復元部36は、加算部32の後段(出力側:図6における右側)に設けられ、加算部32が出力した合成画像、すなわち監視装置20C内で画像変換部26が得るモノクロ画像から画像変換部26に入力される元の画像を復元(再構成)する機能を有する。元の画像への復元(再構成)は、画像変換後のモノクロ画像のY、CbおよびCrの各値を上述した式(1)〜(3)に代入して得られる三元一次連立方程式を、R、GおよびBについて解くことにより行われる。
画像復元部36は、加算部32が合成したモノクロの合成画像から画像変換部26において画像変換される前の画像(以下、「元画像」とする。)を復元(再構成)すると、復元(再構成)した元画像を、表示装置40へ出力する。
次に、第2の実施形態に係る画像伝送方法について説明する。
第2の実施形態に係る画像伝送方法は、第1の実施形態に係る画像伝送方法に対して、画像変換部26が行う画像変換に係る処理ステップが第1の符号化工程に追加される点と、画像復元部36が行う画像復元に係る処理ステップが第1の復号化工程に追加される点とで相違するが、その他の点は実質的に相違しない。
従って、上述した第1の画像伝送処理手順において、第1の符号化工程の代わりに、第1の符号化工程に画像変換の処理ステップを追加した第2の符号化工程を具備し、第1の復号化工程の代わりに、第1の復号化工程に画像復元の処理ステップを追加した第2の復号化工程を具備した画像伝送処理手順が、第2の実施形態に係る画像伝送方法の一例である第2の画像伝送処理手順となる。
第2の実施形態に係る画像伝送方法の説明では、第1の画像伝送処理手順に対して相違する画像変換および画像復元変換に係る処理ステップを中心に説明し、実質的に相違しないその他の処理ステップについては説明を省略する。
図7は、第2の画像伝送処理手順における第2の符号化工程の処理の流れを示す処理フロー図である。
第2の符号化工程は、例えば、第1の符号化工程(ステップS11〜ステップS14:図4)に対して、画像を画像変換してモノクロ化したモノクロ画像を生成する画像変換ステップ(ステップS16)をさらに備え、第1の差分画像生成ステップ(ステップS13:図4)の代わりに画像変換後のモノクロ画像とモノクロ参照画像29との差分画像を生成するステップ(以下、「第2の差分画像生成ステップ」とする。)(ステップS17)を備える点で相違するが、その他の処理ステップは第1の符号化工程と実質的に相違しない。
第2の符号化工程では、まず、ステップS11が行われ、続いて、画像変換ステップ(ステップS16)、ステップS12、第2の差分画像生成ステップ(ステップS17)およびステップS14の順で行われる。
画像変換ステップ(ステップS16)は、監視装置20Cが表示処理装置30C側へ伝送する画像と当該画像と関連付けられている識別情報として含まれる姿勢情報を受け取った後、伝送する画像を受け取った画像変換部26が、受け取った画像を画像変換(モノクロ化)することにより行われる。画像変換部26が、受け取った画像のモノクロ画像を生成すると画像変換ステップは完了する。
画像変換ステップ(ステップS16)が完了すると、続いて、ステップS12が行われ、さらに続いて、第2の差分画像生成ステップ(ステップS17)が行われる。
第2の差分画像生成ステップ(ステップS17)は、第1の差分画像生成ステップ(ステップS13)に対して、差分画像を生成する際に使用される減算される画像および減算する画像が相違するが、その他の点は実質的に同様の処理ステップである。
第2の差分画像生成ステップでは、減算される画像として画像変換後のモノクロ画像が用いられ、減算する画像としてモノクロ参照画像29が用いられる。モノクロの差分画像が生成されると、第2の差分画像生成ステップは完了する。
第2の差分画像生成ステップ(ステップS17)が完了すると、続いて、ステップS14が行われる。続いて、ステップS14が完了すると、第2の符号化工程は全処理ステップ(ステップS11,S16,S12,S17およびS14)を終了する(END)。
図8は、第2の画像伝送処理手順における第2の復号化工程の処理の流れを示す処理フロー図である。
第2の復号化工程は、例えば、第1の復号化工程(ステップS21〜ステップS24:図4)に対して、画像変換されたモノクロ画像を当該画像変換前の元画像を生成(再構成)する画像復元ステップ(ステップS25)をさらに備える点で相違するが、その他の処理ステップは第1の復号化工程と実質的に相違しない。
第2の復号化工程が開始されると(START)、表示処理装置30Cが、まず、ステップS21〜ステップS24を順次行い、続いて、画像復元ステップ(ステップS25)を行う。
画像復元ステップ(ステップS25)では、画像復元部36が、加算部32から出力されるモノクロの合成画像に対して、当該画像変換される前の元画像を再構成する。画像復元部36が元画像を再構成すると、画像復元ステップは完了し、第2の復号化工程は全処理ステップ(ステップS21〜ステップS25)を終了する(END)。
本実施形態によれば、第1の実施形態と同様の効果を得ることができる。
また、画像伝送システム1C、監視装置20Cおよび第2の画像伝送処理手順によれば、撮像画像を画像変換してモノクロ化したモノクロ撮像画像を用いて差分画像を生成するため、監視装置20Cにおけるモノクロ参照画像29および表示処理装置30Cにおけるモノクロ参照画像39の保存に必要なデータ量をさらに低減することができる。
さらに、画像伝送システム1C、監視装置20Cおよび第2の画像伝送処理手順によれば、監視装置20Cがモノクロ撮像画像を用いて差分画像を生成するため、監視装置20Cおよび表示処理装置30C間のデータ伝送量をより少なく抑えることができる。
なお、図6に示される画像伝送システム1Cは、表示処理装置30Cを具備している構成例であるが、表示装置40に表示させる画像がモノクロ画像でも差し支えないのであれば、画像復元部36を省略して表示処理装置30Cを構成することができる。すなわち、表示処理装置30Cの代わりに表示処理装置30A(記憶部34にはモノクロ参照画像群39_1〜39_kを保持)を具備する構成を採用してもよい。
画像復元部36を省略した構成を採用した画像伝送システム1Cでは、元画像の復元が不要になるため、画像変換部26において、上述した式(1)の代わりに下記式(4)に示される整数演算式を採用することができる。
[数2]
Y=77×R+150×G+29×B …(4)
画像復元部36を省略した構成を採用した画像伝送システム1Cおよび監視装置20C並びに当該画像伝送システム1Cが行う第2の画像伝送処理手順によれば、画像変換に係る演算として、上述した式(1)の代わりに上記式(4)に示される整数演算式を採用することによって、画像変換部26が画像変換に係る演算を実行する際に浮動小数点演算が不要となり、当該演算に要する(消費する)クロック数を抑えることができる。
[第3の実施形態]
図9は、第3の実施形態に係る画像伝送システムの一例である画像伝送システム1Dの構成を示す概略図である。
なお、図9に示される記号「丸I」(○印内にローマ数字「I」が記入された記号)および「丸III」(○印内にローマ数字「III」が記入された記号)は、何れも結合子である。
画像伝送システム1Dは、画像伝送システム1Aに対して、監視装置20Aの代わりに監視装置20Dを、表示処理装置30Aの代わりに表示処理装置30Dを具備する点と、監視装置20Dおよび表示処理装置30Dが対象物の撮像された日時を表す日時情報を取得して利用する点とが相違するが、その他の点では実質的に相違しない。
そこで、画像伝送システム1Dの説明では、画像伝送システム1Aに対する相違点を中心に説明し、実質的に相違しない構成要素については同じ符号を付して説明を省略する。
画像伝送システム1Dは、例えば、監視装置20Dと、表示処理装置30Dとを具備する。監視装置20Dおよび表示処理装置30Dは、カメラ60から撮像画像および姿勢情報に加えてさらに対象物が撮像された日時を表す日時情報を取得する。
カメラ60は、例えば、画像伝送システム1Aにおいて適用されるカメラ10に対して、撮像部11が対象物を撮像した日時を表す日時情報を生成し、生成した日時情報を出力する日時情報出力手段としての日時情報出力部17をさらに備える。カメラ60は、日時情報出力部17が生成した日時情報を監視装置20Dおよび表示処理装置30Dへそれぞれ出力する。
なお、上述したカメラ60は、姿勢情報検出部16および日時情報出力部17を備えている場合の例であるが、必ずしもカメラ60自体が姿勢情報検出部16および日時情報出力部17を備えている必要はなく、カメラ60の外部に、姿勢情報検出部16や日時情報出力部17が設けられていてもよい。
また、上述した日時情報出力部17は、カメラ60が対象物を撮像した日時を表す日時情報を生成して出力する例であるが、生成される日時情報は必ずしもカメラ60が対象物を撮像した日時を表す情報でなくてもよい。例えば、画像を蓄積可能な記憶手段としてのバッファメモリと日時情報出力部17とを監視装置20Dに設けている場合、画像データをバッファメモリに取り込む際の日時を表す日時情報を生成するように日時情報出力部17を構成してもよい。
さらに、カメラ60は、カメラ10および監視装置20A〜20Cと同様に、監視装置20Dに組み込まれて(一体的に)構成されてもよい。
監視装置20Dは、例えば、監視装置20Aに対して、参照画像選択部22Aの代わりに参照画像選択部22Dを備える。参照画像選択部22Dは、参照画像選択部22Aと基本的な機能は同様であるが、参照画像選択の際に用いる画像の識別情報に日時情報をさらに含む点と、選択対象となる参照画像群270(270_1〜270_n)および271(271_1〜271_n)が日時情報とも関連付けられている点が相違する。
ここで、参照画像群270_1〜270_nおよび271_1〜271_nは、何れも参照画像群27(27_1〜27_n)に相当する画像群(n枚の画像)であり、姿勢情報に加えて日時情報とも関連付けられている。
図9に例示される「参照画像(1,1;t0)」から「参照画像(i,j;t0)」は、図1等に例示される「参照画像(1,1)」から「参照画像(i,j)」に対して、さらに日時情報としての時刻t0と関連付けられている参照画像を意味する。同様に、「参照画像(1,1;t1)」から「参照画像(i,j;t1)」は、「参照画像(1,1)」から「参照画像(i,j)」に対して、さらに日時情報としての時刻t1と関連付けられている参照画像を意味する。
また、参照画像群270_1〜270_nは、時刻t0における画像群である。参照画像群271_1〜271_nは、時刻t1における画像群である。すなわち、参照画像群27_1〜27_nのうち、日時情報としての時刻t0と関連付けられている画像群が参照画像群270_1〜270_nであり、日時情報としての時刻t1と関連付けられている画像群が参照画像群271_1〜271_nである。
監視装置20Dにおいて、参照画像選択部22Dは、姿勢情報検出部16から受け取る姿勢情報および日時情報出力部17から受け取る日時情報を画像の識別情報として受け取り、記憶部24に保持される参照画像群270_1〜270_nおよび271_1〜271_nの中から受け取った姿勢情報および日時情報と関連付けられている1枚の画像を選択する。
表示処理装置30Dは、例えば、表示処理装置30Aに対して、参照画像選択部33Aの代わりに参照画像選択部33Dを備える。参照画像選択部33Dは、参照画像選択部33Aと基本的な機能は同様であるが、選択参照画像37_kを選択する際に用いる画像の識別情報に日時情報をさらに含む点と、選択対象となる参照画像群370_1〜370_nおよび371_1〜371_nが日時情報とも関連付けられている点が相違する。
参照画像群370_1〜370_nおよび371_1〜371_nは、参照画像群270_1〜270_nおよび271_1〜271_nに相当する画像である。すなわち、参照画像群37(37_1〜37_n)のうち、日時情報としての時刻t0と関連付けられている画像群が参照画像群370_1〜370_nであり、日時情報としての時刻t1と関連付けられている画像群が参照画像群371_1〜371_nである。
表示処理装置30Dにおいて、参照画像選択部33Dは、姿勢情報検出部16から受け取る姿勢情報および日時情報出力部17から受け取る日時情報を画像の識別情報として受け取り、記憶部34に保持される参照画像群370_1〜370_nおよび371_1〜371_nの中から受け取った姿勢情報および日時情報と関連付けられている1枚の画像を選択する。
なお、第3の実施形態に係る画像伝送方法は、第1の実施形態に係る画像伝送方法に対して、日時情報と関連付けられていない参照画像群27_1〜27_n並びに37_1〜37_nの代わりに、それぞれ、日時情報とも関連付けられている参照画像群270_1〜270_nおよび271_1〜271_n並びに参照画像群370_1〜370_nおよび371_1〜371_nから選択される点で相違するが、その他の点は実質的に相違しない。
すなわち、第1の画像伝送処理手順における画像の識別情報に、姿勢情報および日時情報を含む画像伝送処理手順が、第3の実施形態に係る画像伝送方法の一例である第3の画像伝送処理手順となる。
本実施形態によれば、日時の違いに応じた参照画像270_k,271_kおよび370_k,371_kの選択が可能となるため、朝、昼、夜といった時間帯や春、夏、秋、冬といった季節による映像の違い(特に照度)にも対応することができる。
なお、上述した画像伝送システム1Dは、画像伝送システム1Aにおいて参照画像選択部22Aおよび33Aの代わりに参照画像選択部22Dおよび33Dを備える構成例であるが、必ずしも参照画像選択部22Aおよび33Aを備える画像伝送システム1Aに限定されるものではない。すなわち、参照画像選択部22Aおよび33Aを具備する画像伝送システム1B,1C等の他の画像伝送システムへの参照画像選択部22Dおよび33Dの適用を妨げるものではなく、参照画像選択部22Aおよび33Aの代わりに参照画像選択部22Dおよび33Dを備える構成を適用することができる。
以上、上述した画像伝送システム1A〜1D、監視装置20A〜20Dおよび画像伝送方法によれば、カメラ10または60が撮影した撮像画像と基本的には移動する物体がない場合に撮像画像と酷似する(ほとんど差異が無い)参照画像との差分をとった差分画像を表示処理装置30A〜30D側へ伝送するため、狭帯域な通信環境下においてもデータ伝送できる。
また、上述した画像伝送システム1A〜1D、監視装置20A〜20Dおよび画像伝送方法によれば、監視装置20A〜20Dにおいて生成される差分画像が、伝送したい元の画像(減算される画像)とは顕著に異なる画像であるため、伝送される差分画像が第三者に傍受された(情報漏洩した)としても、ユーザが本来伝送したい元の画像を第三者が確認することはできず、高い秘匿性を確保することができる。
画像伝送システム1B(監視装置20Bおよび表示処理装置30B)および画像伝送システム1Bを用いた画像伝送方法においては、監視装置20Bの外部に参照画像群27_1〜27_nを保持させる構成および表示処理装置30Bの外部に参照画像群37_1〜37_nを保持させる構成のうち少なくとも一方の構成が採用されるため、参照画像群27_1〜27_nを保持する記憶部24を省略した監視装置20Bを構成したり、参照画像群37_1〜37_nを保持する記憶部34を省略した表示処理装置30Bを構成したりすることができ、監視装置20Bや表示処理装置30Bにおける記憶領域をより小さく抑えることができる。
また、参照画像群27_1〜27_nおよび37_1〜37_nを、監視装置20Bおよび表示処理装置30Bの外部に保持させることで、監視装置20Bにおいて選択される参照画像群27_1〜27_nを表示処理装置30Bにおいて選択される参照画像群37_1〜37_nとして用いることができる。すなわち、参照画像群27_1〜27_nと参照画像群37_1〜37_nとを共用化できる。従って、画像伝送システム1Bではシステム全体で必要とする記憶容量をより少なく抑えることができる。
また、画像伝送システム1C(監視装置20Cおよび表示処理装置30C)を適用する場合、表示処理装置30Cへ伝送される差分画像およびモノクロ参照画像群29_1〜29_nおよび39_1〜39_nがモノクロ画像となるため、監視装置20Cにおけるモノクロ参照画像群29_1〜29_nおよび表示処理装置30Cにおけるモノクロ参照画像群39_1〜39_nの保存に必要なデータ量をさらに低減することができる。
さらに、画像伝送システム1D(監視装置20Dおよび表示処理装置30D)を適用する場合、日時の違いに応じた参照画像270_k(または271_k)および370_k(または371_k)の選択が可能となるため、朝、昼、夜といった時間帯や春、夏、秋、冬といった季節による映像の違いにも対応することができる。
なお、上述した実施形態において説明した「プロセッサ」とは、例えば、専用または汎用のCPU、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等のプログラムを実行可能な演算処理回路を意味する。プロセッサは、記憶回路に保存されるプログラムを読み出して実行することにより、各種機能を実現する。
また、記憶回路にプログラムにプログラムを保存するかわりに、プロセッサを構成する回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで各種機能を実現する。
さらに、複数の独立したプロセッサを組み合わせてプログラムを実行可能な演算処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現してもよい。プロセッサが複数設けられる場合、プログラムを記憶する記憶回路は、プロセッサごとに個別に設けられてもよいし、複数のプロセッサの機能に対応するプログラムを幾つか集約して設けてもよい。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階では、上述した実施例以外にも様々な形態で実施することができる。
例えば、カメラ10,60の撮像画像を保持する記憶手段および保持した画像から指定された画像を転送する画像転送手段を当該カメラ10,60または監視装置20A〜20Dに追設したり、カメラ10または60と監視装置20A〜20Cまたは20Dとを一体的に構成したり、表示処理装置30A〜30Dと表示装置40とを一体的に構成したりする等して本発明を実施してもよい。
本発明は、発明の要旨を逸脱しない範囲で、種々の省略、追加、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1A〜1D…画像伝送システム、10,60…カメラ、11…撮像部、16…姿勢情報検出部、17…日時情報出力部、20A〜20D…監視装置、21…減算部、22A,22D…参照画像選択部、23…画像符号化部、24…記憶部、26…画像変換部、27(27_1〜27_n),37(37_1〜37_n),270(270_1〜270_n),271(271_1〜271_n),370(370_1〜370_n),371(371_1〜371_n)…参照画像群、27_k,37_k,270_k,271_k,370_k,371_k…選択参照画像、28…パノラマ画像、29(29_1〜29_n),39(39_1〜39_n)…モノクロ参照画像群、29_k,39_k…モノクロ選択参照画像、30A〜30D…表示処理装置、31…画像復号化部、32…加算部、33A,33D…参照画像選択部、34…記憶部、36…画像復元部、40…表示装置、50…記憶装置。

Claims (6)

  1. 一の画像から前記一の画像の範囲を含む参照画像を減算して前記一の画像と前記参照画像との差分画像を生成し、生成した差分画像の画像データを符号化する符号化手段と、
    前記差分画像の符号化された画像データを復号化して得られる前記差分画像と前記差分画像を生成する際に減算した前記参照画像とを加算し、前記一の画像に相当する合成画像を生成する復号化手段とを具備し
    前記一の画像は、対象物を撮像する撮像手段が駆動可能な範囲を撮像して得られる少なくとも一つの撮像画像から選択される一つの撮像画像と同じ画像範囲を有する画像であって、
    前記符号化手段は、
    前記撮像手段が前記撮像画像を得る際における前記撮像手段の姿勢を表す姿勢情報と関連付けられ、前記撮像画像と同じ範囲を撮像した前記参照画像を保持する第1の記憶領域にアクセスして、前記第1の記憶領域に保持される前記参照画像の中から、前記姿勢情報を検出する姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第1の参照画像選択部と、
    前記一の画像と前記第1の参照画像選択部が前記姿勢情報に基づいて選択した前記参照画像とを受け取り、前記一の画像と前記参照画像との差分画像を得る減算部と、
    前記差分画像を表す差分画像データを符号化する画像符号化部と、
    前記撮像画像をモノクロ化したモノクロ撮像画像を得る画像変換部と、を備えて前記モノクロ撮像画像を前記一の画像として前記減算部へ出力し、
    前記復号化手段は、
    有線または無線の通信媒体を介して通信可能に接続される前記符号化手段から前記差分画像データを受け取り、前記差分画像データを復号化してモノクロの前記差分画像を得る画像復号化部と、
    前記姿勢情報と関連付けられている前記参照画像を保持する第2の記憶領域にアクセスして、前記第2の記憶領域に保持される参照画像の中から、前記姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第2の参照画像選択部と、
    前記第2の参照画像選択部が入力される前記姿勢情報に基づいて選択した前記参照画像と前記画像復号化部が復号化して得られる前記差分画像とを加算し、前記モノクロ撮像画像に相当するモノクロの合成画像を得る加算部と、
    前記加算部が得る前記モノクロの合成画像に対して、前記撮像画像に相当する画像を得る画像復元部とを備え、
    前記第2の記憶領域は、前記第1の記憶領域と同じ記憶領域であり、
    前記第2の参照画像選択部は、前記第1の参照画像選択部がアクセスする前記第1の記憶領域と同じ記憶領域にアクセスして前記第1の参照画像選択部が選択した前記参照画像を選択することを特徴とする画像伝送システム。
  2. 一の画像から前記一の画像の範囲を含む参照画像を減算して前記一の画像と前記参照画像との差分画像を生成し、生成した差分画像の画像データを符号化する符号化手段と、
    前記差分画像の符号化された画像データを復号化して得られる前記差分画像と前記差分画像を生成する際に減算した前記参照画像とを加算し、前記一の画像に相当する合成画像を生成する復号化手段とを具備し
    前記一の画像は、対象物を撮像する撮像手段が駆動可能な範囲を撮像して得られる少なくとも一つの撮像画像から選択される一つの撮像画像と同じ画像範囲を有する画像であって、
    前記符号化手段は、
    前記撮像手段が前記撮像画像を得る際における前記撮像手段の姿勢を表す姿勢情報と関連付けられ、前記撮像画像と同じ範囲を撮像した前記参照画像を保持する第1の記憶領域にアクセスして、前記第1の記憶領域に保持される前記参照画像の中から、前記姿勢情報を検出する姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第1の参照画像選択部と、
    前記一の画像と前記第1の参照画像選択部が前記姿勢情報に基づいて選択した前記参照画像とを受け取り、前記一の画像と前記参照画像との差分画像を得る減算部と、
    前記差分画像を表す差分画像データを符号化する画像符号化部と、を備え、
    前記復号化手段は、
    有線または無線の通信媒体を介して通信可能に接続される前記符号化手段から前記差分画像データを受け取り、前記差分画像データを復号化する画像復号化部と、
    前記姿勢情報と関連付けられている前記参照画像を保持する第2の記憶領域にアクセスして、前記第2の記憶領域に保持される参照画像の中から、前記姿勢情報検出手段から入力される前記姿勢情報と関連付けられている前記参照画像を選択する第2の参照画像選択部と、
    前記第2の参照画像選択部が入力される前記姿勢情報に基づいて選択した前記参照画像と前記画像復号化部が復号化して得られる前記差分画像とを加算した画像を得る加算部とを備え、
    前記第2の記憶領域は、前記第1の記憶領域と同じ記憶領域であり、
    前記第2の参照画像選択部は、前記第1の参照画像選択部がアクセスする前記第1の記憶領域と同じ記憶領域にアクセスして前記第1の参照画像選択部が選択した前記参照画像を選択することを特徴とする画像伝送システム。
  3. 前記符号化手段は、前記差分画像に含まれる判定領域の輝度差が、所定値よりも大きいか否かを判定する判定部を備える請求項1又は請求項2記載の画像伝送システム。
  4. 前記符号化手段および前記復号化手段の少なくとも一方は、前記差分画像に含まれる判定領域の輝度差が、所定値よりも大きいか否かの判定結果を示す情報を前記判定部から受け取る一方、受け取る情報に基づいて把握される前記判定結果が、前記輝度差が前記所定値よりも大きい旨を示す判定結果である場合、警報を出力する発報部を備える請求項3記載の画像伝送システム。
  5. 前記参照画像は、前記撮像手段によって、少なくとも二つの異なる日時に撮像されたそれぞれの画像を含んでおり、前記それぞれの画像は、前記姿勢情報に加えて日時を表す日時情報とも関連付けられている請求項1から4の何れか一項に記載の画像伝送システム。
  6. 撮像手段が撮像した画像を保持する記憶手段と、
    前記記憶手段に保持される画像のうち指定された画像を読み出して前記符号化手段へ転送する画像転送手段とをさらに設けた請求項1から5の何れか一項に記載の画像伝送システム。
JP2018006584A 2018-01-18 2018-01-18 画像伝送システム Active JP6896655B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018006584A JP6896655B2 (ja) 2018-01-18 2018-01-18 画像伝送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018006584A JP6896655B2 (ja) 2018-01-18 2018-01-18 画像伝送システム

Publications (2)

Publication Number Publication Date
JP2019125969A JP2019125969A (ja) 2019-07-25
JP6896655B2 true JP6896655B2 (ja) 2021-06-30

Family

ID=67399133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018006584A Active JP6896655B2 (ja) 2018-01-18 2018-01-18 画像伝送システム

Country Status (1)

Country Link
JP (1) JP6896655B2 (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2923653B2 (ja) * 1989-10-25 1999-07-26 池上通信機株式会社 移動物体検出装置
JPH07284088A (ja) * 1994-04-11 1995-10-27 Fujitsu General Ltd 監視画像伝送システム
JPH09205628A (ja) * 1996-01-25 1997-08-05 Oki Electric Ind Co Ltd 画像情報伝送装置
JP2001186506A (ja) * 1999-12-27 2001-07-06 Victor Co Of Japan Ltd 画像伝送装置およびその方法
JP2001285872A (ja) * 2000-03-28 2001-10-12 Victor Co Of Japan Ltd 画像伝送装置
JP2001320707A (ja) * 2000-05-10 2001-11-16 Mega Chips Corp 画像伝送システム
JP3841033B2 (ja) * 2002-08-28 2006-11-01 ソニー株式会社 モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2004295749A (ja) * 2003-03-28 2004-10-21 Denon Ltd 映像監視装置
JP4404120B2 (ja) * 2007-09-04 2010-01-27 ソニー株式会社 レンズ鏡筒回転検知装置及びレンズ鏡筒回転型撮像装置
JP2011076214A (ja) * 2009-09-29 2011-04-14 Alps Electric Co Ltd 障害物検出装置
JP5582881B2 (ja) * 2010-06-14 2014-09-03 キヤノン株式会社 画像解析装置及び画像解析方法
JP6261191B2 (ja) * 2013-05-31 2018-01-17 キヤノン株式会社 表示制御装置、表示制御方法、プログラム
JP2016082455A (ja) * 2014-10-17 2016-05-16 株式会社リコー 伝送システム、伝送端末、伝送方法及び伝送プログラム
JP6737528B2 (ja) * 2016-06-13 2020-08-12 三菱電機株式会社 監視カメラ制御装置

Also Published As

Publication number Publication date
JP2019125969A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US11064110B2 (en) Warp processing for image capture
US11962736B2 (en) Image stitching with electronic rolling shutter correction
US8305424B2 (en) System, apparatus and method for panorama image display
RU2371880C1 (ru) Способ панорамного телевизионного наблюдения и устройство для его осуществления
US11323628B2 (en) Field of view adjustment
CN107613216B (zh) 对焦方法、装置、计算机可读存储介质和电子设备
US20180255307A1 (en) Sequential In-Place Blocking Transposition For Image Signal Processing
US20220284554A1 (en) Image processing
EP3466051A1 (en) Three-dimensional noise reduction
RU2723645C1 (ru) Устройство компьютерной системы панорамного телевизионного наблюдения с повышенной разрешающей способностью
KR20100018998A (ko) 전방위 감시 카메라 시스템 및 그를 이용한 영상처리방법
US11295589B2 (en) Image processing device and method for simultaneously transmitting a plurality of pieces of image data obtained from a plurality of camera modules
JP6896655B2 (ja) 画像伝送システム
JP2006129152A (ja) 撮像装置および画像配信システム
JP2009100259A (ja) 監視カメラおよび画像監視システム
JP3550046B2 (ja) カメラ画像伝送方法及びカメラ画像伝送システム
KR20090015311A (ko) 영상 감시시스템
EP3091742A1 (en) Device and method for encoding a first image of a scene using a second image having a lower resolution and captured at the same instant
CN114298889A (zh) 图像处理电路和图像处理方法
CN109391788B (zh) 用于处理图像信号的系统
CN114257733A (zh) 具有视点偏移的全向图像的图像处理的方法和系统
KR100500152B1 (ko) 고해상도 영상 신호 전송 방법 및 상기 방법을 수행하는 고해상도 카메라 시스템
JP4218278B2 (ja) 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム
KR20120005664A (ko) Cctv 카메라의 어안 영상의 평면 영상 변환 장치
KR20160046561A (ko) 영상 관리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150