JP5997988B2

JP5997988B2 - 画像伝送システムおよび画像伝送方法

Info

Publication number: JP5997988B2
Application number: JP2012201076A
Authority: JP
Inventors: 信博知原; 宣隆木村; 古川　徹; 徹古川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2012-09-13
Filing date: 2012-09-13
Publication date: 2016-09-28
Anticipated expiration: 2032-09-13
Also published as: JP2014057228A

Description

本発明は、画像伝送装置および画像伝送方法に関して、特に複数の撮影画像を繋ぎ合わせてモザイク画像を生成し伝送する画像伝送装置および画像伝送方法に関する。

近年、被災地での情報収集や農耕地や山林などの観測のために航空機が情報収集に利用されている。航空機が収集する情報の中でも特に地上を撮影した画像情報はさまざまな用途に利用される。その中でも複数の撮影画像を繋ぎ合わせることで生成できるモザイク画像は、撮影地域全体を俯瞰する事ができるため撮影地域全体の状況把握に有効である。そのため、航空機に搭載したカメラで撮影した複数の撮影画像を繋ぎ合わせて広域かつ高解像度なモザイク画像を生成する技術が重要となっている
次に一般的なモザイク画像の生成方法を説明する。図１はモザイク画像生成処理の概要を示す図である。画像111aは複数の画像を繋ぎ合せて生成したモザイク画像であり、画像111bは新たに撮影された画像である。画像111dは111bの一つ前に撮影され、モザイク画像111aに繋ぎ合せられた画像である。まず画像111dと画像111bの特徴点を検出する。特徴点検出では、画像111dと画像111bから木や人工物などの形状を特徴として検出する（S111）。その後、画像111ｄと画像111bとの画像間で特徴点同士の対応付けを行い、画像間の位置関係を求める（S112）。最後に、対応付けした特徴点同士が１つの画像内の同じ位置になるように、片方の画像111bを変形しもう一方のモザイク画像111aに重ねることでモザイク画像111cを生成する（S113）。

これに対して、特許文献１では高精度な位置合せに基づいた歪の少ないモザイク画像生成の提案がなされている。

特許公開２００２−１５０２６４

図２は従来方式のモザイク画像生成の運用イメージを示す図である。航空機１００は、地上局１１０から指示を受けて飛行を行い、取得した情報を地上局１１０に伝送する。地上局１１０は、航空機１００から受信する情報に基づいてさらに航空機１００に飛行経路の指示を行う。

しかし、航空機１００と地上局１１０との間は数ｋｍ以上もあるため確保できる通信帯域は低帯域である。そのため、航空機１００に搭載されるカメラで撮影した撮影画像は航空機１００内部の記憶装置に蓄積しておき、着陸後に記憶装置から撮影画像を吸い出して地上でモザイク画像を生成していた。

しかし航空機が着陸した後に地上でモザイク画像を生成すると、地上局１１０でモザイク画像を見ながら実時間で飛行中の飛行機の飛行経路を変更するなどの高度な操作や、迅速な情報収集が行えない。

そこで、特許文献１では、航空機１００に搭載したカメラで撮影した撮影画像をＪＰＥＧやＭＰＥＧに代表される画像符号化技術により符号化することで、伝送レートを削減して地上局１１０に伝送し、地上局１１０側で実時間でモザイク画像を生成し表示していた。

ところが、モザイク画像生成に用いる画像が符号化した画像の場合、位置合わせを行う際に使用する画像に符号化劣化を含んでしまい、モザイク画像生成に必要な高精度な位置合わせが行えず、生成したモザイク画像が実際の地形と一致しない問題が生じてしまう。

特許文献１はこの問題に言及しておらず、高精度な位置合せによるモザイク画像の生成と、遠隔地での実時間でのモザイク画像の閲覧を両立することができないという課題があった。本発明は上記の問題を鑑みて行われたもので、低帯域な通信環境におけるモザイク画像の生成および伝送において、高精度な位置合わせによるモザイク画像の生成と実時間かつ低帯域なモザイク画像の伝送を両立することを目的としている。

画像処理部は、複数の画像を繋ぎ合わせてモザイク画像を更新する手段と、入力画像を繋ぎ合わせた際の位置関係を含む更新領域情報と更新領域の画像データを表す更新画像を生成する手段と前記更新領域情報と更新画像を伝送する手段と、を備え、画像復元部は、前記更新領域情報と更新画像から前記モザイク画像を復元する手段を備える。

本発明によると複数枚の撮影画像から高精度に位置合わせして生成したモザイク画像を、低帯域な通信環境でも実時間で遠隔地に安定的に伝送することができる。

モザイク画像生成処理の概要従来方式のモザイク画像生成の運用イメージモザイク画像伝送装置の構成画像処理部の構成位置合わせ部の処理内容モザイク画像更新部の処理内容差分領域の概念図更新画像符号化部の構成図画像復元部画像重畳部の処理内容画像処理部の構成画像重畳部の処理内容モザイク画像更新部の処理内容変化領域の概念図

図３は、本発明のモザイク画像伝送システムの構成を示す図である。モザイク画像伝送システムは、カメラ２００と画像処理部２１０と送信部２２０と受信部２３０と画像復元部２４０と表示部２５０を備える。本装置の実施形態の一例として、航空機にカメラ２００と画像処理部２１０と送信部２２０を搭載し、受信部２３０と画像復元部２４０と表示部２５０を地上局に設置する構成が考えられる。

カメラ２００は、任意の時間間隔で対象の画像を撮影し、画像処理部２１０に撮像画像として送出する。

画像処理部２１０は、複数の撮影画像からモザイク画像を生成し、モザイク画像の更新領域を符号化した更新画像ストリームと、更新画像の領域を示す更新領域情報を送信部２２０に出力する。

送信部２２０は更新画像と更新領域情報を遠隔地に送出する。

受信部２３０は送信部２２０が送出した更新画像と更新領域情報を受け取り、画像復元部２４０に出力する。

画像復元部２４０は、更新画像と更新領域情報からモザイク画像を復元し表示部２５０に出力する。

表示部２５０は受け取ったモザイク画像を表示してユーザに提示する。

図７に差分領域の概念を示す。一つ前の撮影画像704までで作成したモザイク画像である画像７０１を、次の撮像画像７０２を用いて更新した画像がモザイク画像７０３である。このとき、右の画像７０２を変形した画像のうち、一つ前の撮影画像704までで作成したモザイク画像である左の画像７０１と重複していない領域が差分領域７００である。また、差分領域７００の位置と形状が差分領域情報、差分領域７００の画像が差分領域画像である。

図４は本発明による画像処理部２１０の構成を示す図である。画像処理部２１０は、カメラ２００から入力される撮像画像３５０と該撮影画像が入力される一つ前に入力された撮像画像との位置合せを行い位置合せ情報３６０とモザイク画像初期化設定３８０とを生成する位置合せ部３００と、位置合せ情報３６０と撮像画像３５０から更新領域情報３７０と更新画像３９０とを生成するモザイク画像更新部３１０と、更新画像３９０を画像符号化して更新画像ストリーム４００を出力する更新画像符号化部３２０を備える。

画像処理部２１０は、画像処理部２１０の外部から入力される撮影画像３５０を位置合せ部３００に送出する。

位置合せ部３００は、画像処理部２１０の外部から入力される撮像画像３５０（図７の７０２）と、該撮影画像が入力される一つ前に入力され位置合わせ部３００内部に記憶されている撮像画像３５０（図７の７０４）との間で画像の位置合せを行い、位置合せ情報３６０を出力する。

モザイク画像更新部３１０は、位置合わせ部３００から入力される位置合せ情報３６０と画像処理部２１０の外部から入力される撮像画像３５０とモザイク画像更新部３１０の内部に記憶している既に作成されているモザイク画像（図７の７０１）の形状の情報であるモザイク画像領域情報とから更新領域情報３７０と更新画像３９０を生成し、モザイク画像およびモザイク画像領域情報の更新を行う。モザイク画像７０１はモザイク画像７０３に示すように更新される。

更新画像符号化部３２０は、モザイク画像更新部３１０から入力される更新画像３９０の画像符号化を行い、更新画像ストリーム４００を生成し出力する。

本発明によれば、符号化劣化を含まない撮影画像３５０を用いて画像処理部でモザイク画像を生成するため、高精度な位置合せを行ったモザイク画像が生成できる。

さらに、逐次拡大していくモザイク画像において、随時モザイク画像の更新領域のみの画像を符号化して送信するため伝送する画像情報を大幅に削減することができ、低帯域な通信環境でも実時間でモザイク画像の伝送を行うことができる。

図５は位置合せ部３００の処理内容を示したフロー図である。位置合せ部３００は、処理を開始すると、フレーム番号初期化ステップ５００を実行する。

フレーム番号初期化ステップ５００では、フレーム番号ｋを０に設定し、画像読込ステップ５１０を実行する。

画像読込ステップ５１０では、位置合わせ部３００の外部から撮影画像３５０の読み込みを行い、特徴点検出ステップ５２０を実行する。

特徴点検出ステップ５２０では、撮像画像３５０からコーナー特徴などの画像特徴を用いて特徴点の検出を行い特徴点群情報を生成し、フレーム番号判定ステップ５３０を実行する。なお、特徴点検出ステップ５２０で使用する画像特徴は、特徴点同士の対応付けが可能であれば、コーナー特徴に限らない。

フレーム番号判定ステップ５３０では、フレーム番号ｋが０ならば位置初期化ステップ５４０を、フレーム番号ｋが０でないならば特徴点対応付けステップ５５０を実行する。

位置初期化ステップ５４０では、位置合せ情報３６０をモザイク画像の原点に設定し、モザイク画像初期化設定３８０をアサートして出力して、継続判定ステップ５７０を実行する。

特徴点対応付けステップ５５０では、撮像画像３５０から検出された特徴点群情報と一つ前の撮像画像３５０から検出された特徴点群情報との対応付けを行い、対応した特徴点の組を特徴点ペアとして扱い、特徴点ペア群を出力し、位置推定ステップ５６０を実行する。

位置推定ステップ５６０では、特徴点ペア同士の位置関係から画面全体の位置関係を推定し、位置合わせ情報３６０として出力し、モザイク画像初期化設定３８０をディアサートして出力し、継続判定ステップ５７０を実行する。このとき、位置合わせ情報３６０は、特徴点ペア同士の位置関係から導かれるアフィン変換や射影変換などの変換行列として表現される。

継続判定ステップ５７０では、モザイク画像生成を継続するか判定処理を行い、継続実行する場合はフレーム番号加算ステップ５８０を実行、継続実行しない場合はフレーム番号初期化ステップ５００を実行する。モザイク画像生成の継続判定ステップ５７０では以下の三つの判定処理が行われる。

一つ目の判定処理は、フレーム番号が設定されたフレーム制限数以上の場合はモザイク画像生成を継続実行しないと判定し、フレーム番号が設定されたフレーム制限数未満の場合は二つ目の判定を実行する。これにより、モザイク画像生成時の誤差蓄積を一定間隔でリセットする
二つ目の判定処理は、特徴点検出ステップ５２０で検出された特徴点群が含む特徴点数が設定された許容特徴点数よりも少ない場合はモザイク画像生成を継続実行しないと判定し、特徴点検出ステップ５２０で検出された特徴点群が含む特徴点数が設定された許容特徴点数と同じかもしくは多い場合は三つ目の判定を実行する。これにより、画像同士の位置合せに十分な特徴点数が得られなかった場合にはモザイク画像生成しない。

三つ目の判定処理は、特徴点ペアが既定の数得られ、かつ位置合せ情報３６０を評価し正常と評価した場合にはモザイク画像生成を継続実行すると判定し、特徴点ペアが既定の数得られなかった場合もしくは位置合せ情報３６０を評価し異常と評価した場合にはモザイク画像生成を継続実行しないと判定する。これにより、異常な位置合せ情報３６０が得られた場合にモザイク画像を生成しない。

フレーム番号加算処理５８０では、フレーム番号ｋをインクリメントし、画像読込ステップ５１０を実行する。

図６は本実施の形態におけるモザイク画像更新部３１０の処理内容を示したフロー図である。モザイク画像更新部３１０では処理を開始したら、画像読込処理を実行する。

画像読込ステップ６００では、画像処理部２１０の外部から撮影画像３５０の読込を行い、位置合せ情報取得ステップ６１０を実行する。

位置合せ情報取得ステップ６１０では、位置合せ部３００から位置合せ情報３６０を取得し初期化設定取得ステップ６２０を実行する。

初期化設定取得ステップ６２０では、位置合せ部３００からモザイク画像初期化設定３８０を取得し、画像変形ステップ６３０を実行する。

画像変形ステップ６３０では、位置合せ情報３６０を基に撮影画像３５０を変形して変形撮影画像として出力し差分領域情報生成ステップ６４０を実行する。

差分領域情報生成ステップ６４０では、変形撮影画像の領域の内、前の撮影画像までで生成されているモザイク画像と重複していない領域部分を差分領域７００として、モザイク画像の原点に対する差分領域の位置と形状を表す差分領域情報を生成し、差分領域情報を更新領域情報３７０として送信部に出力し、差分画像生成ステップ６４０を実行する。なお、差分領域情報はマスク画像や更新領域の各頂点を順番に列挙したベクトル群など、モザイク画像内での差分領域の位置と形状を表現できるものであれば構わない。また、差分領域情報を記述する単位はモザイク画像の画素単位に変換できるものであれば制限されるものでなく、直接モザイク画像内での画素座標でも、ＧＰＳなどから得られる実環境での絶対位置情報などでも良い。また、起動直後もしくはモザイク画像生成打ち切り直後の位置合わせ情報は位置合わせ部によってモザイク画像の原点に設定され、かつ前撮影画像までを用いて生成したモザイク画像と重複している領域が無いため、撮影画像３５０がそのまま差分領域に撮影画像３５０の位置と形状が差分領域となる。

差分画像生成ステップ６５０では、変形撮影画像のうち差分領域情報の示す位置と形状の部分を抽出して差分画像を生成し、差分画像を更新画像３９０として更新画像符号化部３２０に出力し、モザイク画像生成ステップ６８０を実行する。

モザイク画像生成ステップ６８０では、前の撮影画像３５０までで生成されているモザイク画像に差分領域情報が示す領域に差分画像を重畳することでモザイク画像を更新して、初期化判定ステップ６７０を実行する。

初期化判定ステップ６７０では、モザイク画像初期化設定３８０がディアサートされているなら画像読込ステップ６００を実行、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ６８０を実行する。

モザイク画像初期化ステップ６８０では、保持しているモザイク画像をクリアし、画像読込処理ステップ６００する。

モザイク画像更新部では、システム内に保持しているメモリのうち、逐次拡大していくモザイク画像の画像サイズに合わせて、モザイク画像を保持するメモリ領域を拡大する。一方で、モザイク画像初期化ステップ６８０で、保持しているモザイク画像をクリアする場合は、モザイク画像が使用していたメモリ領域を解放する。従って本発明のモザイク画像更新部では、最初から大規模なメモリ領域を確保する必要が無く、常にモザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。図８は更新画像符号化部の構成を示す図である。更新画像符号化部３２０は、更新画像３９０を符号化する画像符号化部８００と、符号化した更新画像ストリーム４００をバッファリングし外部に出力する送出バッファ８１０と、送出バッファの使用状況に応じて符号化パラメータを出力する符号化制御部８２０を備える。

画像符号化部８００は、モザイク画像更新部３１０から更新画像３９０を、符号化制御部８２０から符号化パラメータ８７０を入力し、符号化パラメータ８７０に応じて画像符号化を行い、送出バッファ８１０に符号化結果である更新画像ストリーム８５０を出力し、更新画像３９０の有効画素数である更新画像有効画素数８８０を符号化制御部８２０に出力する。なお、画像符号化部８００で使用する符号化方式は、ＪＰＥＧやＭＰＥＧなどの一般的な符号化方式で構わない。

送出バッファ８２０は画像符号化部８００から入力した更新画像ストリーム８５０をバッファリングし、更新画像ストリーム４００を出力し、送出バッファ８２０のバッファ使用量８６０を符号化制御部８２０に出力する。

符号化制御部８２０では画像符号化部８００から入力した更新画像有効画素数８８０と送出バッファ８１０から入力したバッファ使用量８６０から符号化パラメータ８７０を決定し画像符号化部８００に符号化パラメータ８７０を出力する。

符号化パラメータ８７０の決定方法は符号化方式の実装によって異なるため、一例としてＪＰＥＧで実装した場合を説明する。一般的な画像符号化方式では、画質と符号量はトレードオフの関係にあり、符号化方式がＪＰＥＧで実装された場合は、量子化係数という符号化パラメータ８７０で、画質と符号量を調節できる。また、更新画像ストリーム８５０の符号量は符号化対象となる更新画像の画素数である更新画像有効画素数８８０と相関がある。

本発明による更新画像符号化部３２０では、この特性を利用して、符号化制御部８２０は、送出バッファ８１０のバッファ使用量と更新画像有効画素数８８０に応じて、符号化パラメータ８７０を決定する。これにより、確保できた伝送レートで実時間で転送できる最良な画質で符号化を行うことができる。

具体的には符号化制御部８２０は、送出バッファ８１０のバッファ使用量８６０が多ければ量子化係数を低画質かつ低レートな設定に、送出バッファの使用量が少なければ量子化係数を高画質かつ高レートな設定に、さらに更新画像有効画素数８８０が多ければ量子化係数を低画質かつ低レートな設定に、更新画像有効画素数８８０が少なければ量子化係数を高画質かつ高レートな設定することで、符号化パラメータ８７０を決定する。

本発明の更新画像符号化部３２０によって伝送レートに応じて最適な符号量で符号化されるため、伝送レート超過による伝送漏れを防止することで、通信環境の変動に対して安定なモザイク画像の伝送を行うことができる。

図９は画像復元部２４０の構成を表す図である。画像復元部２４０は、更新画像ストリーム４００を復号化する復号化部９００と、復元更新画像９５０と更新領域情報３７０およびモザイク画像初期化設定３８０からモザイク画像を再構成して復元モザイク画像９６０を生成する画像重畳部９１０から構成される。

画像復元部２４０は、外部から更新画像ストリーム４００と更新領域情報３７０とモザイク画像初期化設定３８０を入力し、モザイク画像を再構成して復元モザイク画像と９６０として外部に出力する。

復号化部９００は、更新画像ストリーム４００を復号化し復元更新画像９５０を生成し画像重畳部９１０に出力する。

画像重畳部９１０は、復元更新画像９５０と更新領域情報３７０とモザイク画像初期化設定３８０を入力してモザイク画像を再構成し復元モザイク画像９６０として画像復元部２４０外部に出力する。

本実施形態によれば、モザイク画像の更新領域情報３７０と更新画像３９０が合わせて送信されるため、一部の更新情報の伝送漏れが発生した場合でも、通信再開後にモザイク画像の再構成処理を再開することができ、安定なモザイク画像の伝送を行うことができる。

図１０は画像重畳部９１０の処理内容を表したフロー図である。画像重畳部９１０は処理を開始すると更新画像読込ステップ１０００を実行する。

更新画像読込ステップ１０００では、復号化部９００から復元更新画像９５０を入力し更新領域情報取得ステップ１０１０を実行する。

更新領域情報取得ステップ１０１０は画像復元部２４０の外部から更新領域情報３７０を入力し、初期化設定取得ステップ１０２０を実行する。

初期化設定取得ステップ１０２０は画像復元部２４０の外部からモザイク画像初期化設定３８０を入力し、モザイク画像更新ステップ１０３０を実行する。

モザイク画像更新ステップ１０３０は、一つ前の復元更新画像９５０までで作成した復元モザイク画像９６０の原点に対して更新領域情報３７０に基づいた位置に復元更新画像９５０を重畳することで復元モザイク画像９６０を更新し、画像復元部２４０の外部に出力し、初期化判定ステップ１０４０を実行する。

初期化判定ステップ１０４０は、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ１０５０を実行、モザイク画像初期化設定３８０がディアサートされているなら復号更新画像読込ステップ１０００を実行する。

モザイク画像初期化ステップ１０５０では、保持している復元モザイク画像９６０をクリアし、復号画像読込ステップ１０００を実行する。なお画像重畳部では、システム内に保持しているメモリのうち、逐次拡大していく復元モザイク画像に合わせて、復元モザイク画像を保持するメモリ領域を拡大する。従って、本発明の画像重畳部では最初から大規模なメモリ領域を使用する必要が無く、常に復元モザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。

本実施形態によれば、符号化前に位置合わせを行うため、高精度な位置合せを行ったモザイク画像を生成することができる。また、撮像枚数が増えるにつれてモザイク画像自体は拡大してくが、更新画像３９０と更新領域情報３７０のみを伝送することで、低帯域な通信環境でも高画質な画像を実時間で伝送することができる。また、本実施形態によれば、更新画像符号化部３２０によって伝送レートに応じて最適な符号量で符号化されるため、伝送レート超過による伝送漏れを防止でき、また通信の完全遮断などにより一時的な伝送漏れが避けられない場合でも、更新領域情報と更新画像を一緒に転送する事により、通信再開後に途中の画像からモザイク画像の再構築を再開することができ、通信環境の変動に対して安定なモザイク画像の伝送を行うことができる。

なお、本実施形態は実装方法によらず電気回路やソフトウェアによる実装でも本実施形態に含まれるものとする

図１１は本実施形態による画像処理部２１０の構成を示す図である。画像処理部２１０は、撮像画像３５０を入力し一つ前の撮像画像との位置合せを行いモザイク画像初期化設定３８０を生成する位置合せ部３００と、位置合せ情報３６０と撮像画像３５０から更新画像３９０とを生成するモザイク画像更新部３１０と、更新画像３９０を画像符号化して更新画像ストリーム４００を出力する符号化部３２０を備える。

画像処理部２１０は画像処理部２１０の外部から撮影画像３５０を入力し位置合せ部３００に送出する。

位置合せ部３００は、画像処理部２１０の外部から入力する撮像画像３５０と、位置合わせ部３００内部に記憶している前の撮像画像３５０の間で画像の位置合せを行い、位置合せ情報３６０をモザイク画像更新部３８０に出力し、位置合せ情報３６０と撮影画像３５０の画像サイズ１１００を更新領域情報として画像処理部外部２１０に出力する。

モザイク画像更新部３１０は、位置合わせ部３００から入力する位置合せ情報３６０と画像処理部２１０の外部から入力する撮像画像３５０とモザイク画像更新部３１０の内部に記憶しているモザイク画像領域情報から更新画像３９０を生成し、モザイク画像の更新を行う。更新画像符号化部３２０は、モザイク画像更新部３１０から入力した更新画像３９０の画像符号化を行い、更新画像ストリーム４００を生成し出力する。

本発明の形態によれば、モザイク画像の生成を符号化劣化を含まない撮影画像３５０で行うため、高精度な位置合せを行ったモザイク画像が生成できる。さらに、逐次拡大していくモザイク画像において、随時モザイク画像の更新領域のみの画像を符号化して送信するため伝送する画像情報を大幅に削減することができ、低帯域な通信環境でも実時間でモザイク画像の伝送を行うことができる。

図１２は画像重畳部９１０の処理内容を表したフロー図である。画像重畳部９１０は処理を開始すると復号更新画像読込ステップ１２００を実行する。更新画像読込ステップ１０００では、復号化部９００から復元更新画像９５０を入力し初期化設定取得ステップ１２１０を実行する。初期化設定取得ステップ１２１０は画像復元部２４０の外部からモザイク画像初期化設定３８０を入力し、位置合わせ情報取得ステップ１２２０を実行する。

位置合わせ情報取得ステップ１２２０は、画像復元部２４０の外部から位置合わせ情報３６０と撮影画像の画像サイズ１１００を入力し、差分領域情報生成ステップ１２３０を実行する。差分領域情報生成ステップ１２３０では、位置合わせ情報３６０と撮影画像の画像サイズ１１００から画変形撮影画像の領域の内、前の撮影画像までで生成されているモザイク画像と重複していない領域部分を差分領域として、モザイク画像の原点に対する差分領域の位置と形状を表す差分領域情報を生成し、差分領域情報を送信部に出力し、モザイク画像更新ステップ１２４０を実行する。

モザイク画像更新ステップ１２４０は、一つ前の前の復元更新画像９５０までで作成した復元モザイク画像９６０の原点に対して差分領域情報に基づいた位置に復元更新画像９５０を重畳することで復元モザイク画像９６０を更新し、画像復元部２４０の外部に出力し、初期化判定ステップ１２５０を実行する。初期化判定ステップ１２５０は、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ１２６０を実行、モザイク画像初期化設定３８０がディアサートされいているなら復号更新画像読込ステップ１２００を実行する。

モザイク画像初期化ステップ１２６０では、保持している復元モザイク画像９６０をクリアし、復号画像読込ステップ１２００を実行する。画像重畳部では、システム内に保持しているメモリのうち、逐次拡大していく復元モザイク画像に合わせて、復元モザイク画像を保持するメモリ領域を拡大する。従って、本発明の画像重畳部では最初から大規模なメモリ領域を使用する必要が無く、常に復元モザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。

なお、本実施の形態は画像処理部２１０と画像重畳部９１０以外の構成は実施例１と同じになるため詳細の説明を省く。

本実施形態によると更新領域が複雑な形状になるとき、実施例１の場合は更新領域情報３７０の情報量が多くなってしまうのに対して、本実施形態では画像処理部２１０から画像重畳部９１０へは情報量が少ない位置合わせ情報３６０と撮影画像の画像サイズ１１００を更新領域情報として送り、画像重畳部９１０側で再度差分領域情報を計算することで実施例１よりも伝送レートの低減を抑えることができる。尚、撮影画像の画像サイズが一定である場合は、画像処理部２１０は画像復元部９１０に、位置合わせ情報のみを更新領域情報として送信すればよい。

実施例３では、元のモザイク画像と次の撮影画像の重複している領域のうち特に大きく変化している領域（変化領域）も更新領域として更新画像及び更新領域を画像処理部から画像復元部に送信する場合を説明する。

図１４に変化領域の概念を示す。一つ前の撮影画像までで作成したモザイク画像である画像１５００を、次の撮像画像１５１０を用いて更新した画像がモザイク画像１５２０である。

モザイク画像１５２０のうち、元のモザイク画像１５００と次の撮影画像１５１０の重複している領域１５３０のうち特に大きく変化している領域と変化領域１５４０する。変化領域１５４０の位置と形状を変化領域情報、変化領域１５４０の画像を変化領域画像とする。

図１３は本実施の形態におけるモザイク画像更新部３１０の処理内容を示したフロー図である。モザイク画像更新部３１０では処理を開始すると、画像読込処理を実行する。画像読込ステップ１３００では、画像処理部２１０の外部から撮影画像１５１０の読込を行い、位置合せ情報取得ステップ１３１０を実行する。位置合せ情報取得ステップ１３１０では、位置合せ部３００から位置合せ情報３６０を取得し初期化設定取得ステップ１３２０を実行する。初期化設定取得ステップ１３２０では、位置合せ部３００からモザイク画像初期化設定３８０を取得し、画像変形ステップ１３３０を実行する。画像変形ステップ１３３０では、位置合せ情報３６０を基に撮影画像１５１０を変形して変形撮影画像として出力し差分領域情報生成ステップ１３４０を実行する。

差分領域情報生成ステップ１３４０では、変形撮影画像の領域の内、前の撮影画像までで生成されているモザイク画像１５００と重複していない領域部分１５５０を差分領域として、モザイク画像の原点に対する差分領域の位置と形状を表す差分領域情報を生成し、差分領域情報を更新領域情報３７０として画像処理装置外部に出力し、差分画像生成ステップ１３４０を実行する。なお、差分領域情報はマスク画像や更新領域の各頂点を順番に列挙したベクトル群など、モザイク画像内での差分領域の位置と形状を表現できるものであれば構わない。また、起動直後もしくはモザイク画像生成打ち切り直後の位置合わせ情報は位置合わせ部によってモザイク画像の原点に設定され、かつ前画像までで生成されているモザイク画像と重複している領域が無いため、撮影画像３５０がそのまま差分領域に撮影画像３５０の位置と形状がそのまま差分領域となる。

差分画像生成ステップ１３５０では、変形撮影画像のうち差分領域情報の示す位置と形状の部分を抽出して差分画像を生成し、差分画像を更新画像３９０として更新画像符号化部３２０に出力し、モザイク画像生成ステップ１３８０を実行する。

変化領域情報生成ステップ１３６０では、変形撮影画像の領域で前の撮影画像までで生成されているモザイク画像１５００と重複している領域部分のうち、大きな画像変化があった領域を変化領域１５４０として抽出し、モザイク画像１５００の原点に対する変化領域１５４０の位置と形状を表す変化領域情報を生成し、変化領域情報を更新領域情報３７０として画像処理装置外部に出力し、変化画像生成処理１３８０を実行する。なお、変化領域情報はマスク画像や変化領域の各頂点を順番に列挙したベクトル群など、モザイク画像内での変化領域の位置と形状を表現できるものであれば構わない。また、起動直後もしくはモザイク画像生成打ち切り直後は、モザイク画像と重複している領域が無いため変化領域は存在しない。変化画像生成ステップ１３８０では、変形撮影画像のうち変化領域情報の示す位置と形状の部分を抽出して変化画像を生成し、変化画像を更新画像３９０として更新画像符号化部３２０に出力し、モザイク画像更新ステップ１３９０を実行する。

モザイク画像更新ステップ１３９０では、前の撮影画像３５０までで生成されているモザイク画像に差分領域情報の示す領域に差分画像を、変化領域情報の示す位置に変化画像を重畳することでモザイク画像を更新して初期化判定ステップ１４００を実行する。

初期化判定ステップ１４００では、モザイク画像初期化設定３８０がディアサートされているなら画像読込ステップ１３００を実行、モザイク画像初期化設定３８０がアサートされているならモザイク画像初期化ステップ１４１０を実行する。

モザイク画像初期化ステップ１４１０では、保持しているモザイク画像をクリアし、画像読込処理ステップ１３００する。モザイク画像更新部では、システム内に保持しているメモリのうち、逐次拡大していくモザイク画像に合わせて、モザイク画像を保持するメモリ領域を拡大する。従って本発明のモザイク画像更新部では、最初から大規模なメモリ領域を確保する必要が無く、常にモザイク画像を保持するのに最低限必要なメモリサイズしか使用しない。

本実施形態によると、撮影画像内で移動物体があった場合に、撮影時間の異なる撮像画像間での差分が大きくなるため、変化領域として検出される。検出された変化領域は更新領域の一つとして更新画像符号化部３２０で画像符号化され画像復元部２４０に送信される。画像復元部２４０は、画像重畳部９１０にて変化領域を更新領域の一つとしてモザイク画像を更新し、変化領域が更新されたモザイク画像を表示する。

従って、本実施形態によると、移動体などによってモザイク画像内で変化があった場合にも、変化領域のみを画像表示部に送ることで、帯域増加を最低減に抑えたまま移動体を含んだモザイク画像を表示することができる。

１００航空機、１１０地上局、２００カメラ、２１０画像処理部、２２０送信部、２３０受信部、２４０画像復元部、２５０表示部、３００位置合わせ部、３１０モザイク画像更新部、３２０更新画像符号化部、３５０撮影画像、３６０位置合わせ情報、３７０更新領域情報、３８０モザイク画像初期化設定、３９０更新画像、４００更新画像ストリーム、５００フレーム番号初期化ステップ、５１０画像読込ステップ、５２０特徴点検出ステップ、５３０フレーム番号判定ステップ、５４０位置初期化ステップ、５５０特徴点対応付けステップ、５６０位置推定ステップ、５７０継続判定ステップ、５８０フレーム番号加算ステップ、６００画像読込ステップ、６１０位置合わせ情報取得ステップ、６２０初期化設定取得ステップ、６３０画像変形ステップ、６４０差分領域情報生成ステップ、６５０差分画像生成ステップ、６６０モザイク画像更新ステップ、６７０初期化判定ステップ、６８０モザイク画像初期化ステップ、７００差分領域、８００画像符号化部、８１０送出バッファ、８２０符号化制御部、８５０更新画像ストリーム、８６０バッファ使用量、８７０符号化パラメータ、８８０更新画像有効画素数、９００復号化部、９１０画像重畳部、９５０復元更新画像、９６０復元モザイク画像、１０００復号更新画像読込ステップ、１０１０更新領域情報取得ステップ、１０２０初期化設定取得ステップ、１０３０モザイク画像更新ステップ、１０４０初期化判定ステップ、１０５０モザイク画像初期化ステップ、１１００画像サイズ、１２００復号更新画像読込ステップ、１２１０初期化設定取得ステップ、１２２０位置合わせ情報取得ステップ、１２３０差分領域情報取得ステップ、１２４０モザイク画像更新ステップ、１２５０初期化判定ステップ、１２６０モザイク画像初期化ステップ、１３００画像読込ステップ、１３１０位置合わせ情報取得ステップ、１３２０初期化設定取得ステップ、１３３０画像変形ステップ、１３４０差分領域情報生成ステップ、１３５０差分画像生成ステップ、１３６０変化領域検出、１３７０変化領域情報生成、１３８０変化画像生成、１３９０モザイク画像更新ステップ、１４００初期化判定ステップ、１４１０モザイク画像初期化ステップ

Claims

画像処理部と画像復元部を備えた画像生成システムにおける画像生成方法であって、
画像処理部において、
複数の入力画像を繋ぎ合わせてモザイク画像を更新する手段と、
前記入力画像と、既に作成されている前記モザイク画像から、当該モザイク画像に当該入力画像を繋ぎ合わせた際の当該モザイク画像に対する当該入力画像の位置関係を含む更新領域情報と、当該入力画像を用いて更新される領域である更新領域の画像データを表す更新画像を生成する手段と
前記更新領域情報と更新画像を伝送する手段と、を備え、
前記画像復元部において、
前記更新領域情報と更新画像から前記モザイク画像を復元する手段を備えることを特徴とする画像伝送方法。
前記画像処理部において、
前記更新画像を符号化した更新画像ストリームデータを生成する手段と
前記更新領域情報と前記更新画像ストリームデータを伝送する手段と、を備え、
前記画像復元部において、
前記更新画像ストリームデータから更新画像を復号化する手段を備えることを特徴とする請求項１に記載の画像伝送方法。
前記更新領域情報は、前記既に作成されたモザイク画像の原点に対する前記入力画像の位置及び前記更新領域のうち前記既に作成されたモザイク画像と重複しない領域である差分領域の形状に関する情報を含むことを特徴とする請求項２に記載の画像生成方法。
前記更新領域情報は、入力画像と前記入力画像の一つ前に入力された入力画像との位置合わせ情報を含むことを特徴とする請求項２に記載の画像生成方法。
前記更新領域情報は、入力画像の画像サイズを含むことを特徴とする請求項４に記載の画像生盛方法。
前記画像処理部は、入力した画像同士を比較入力した画像間で重複する領域から変化領域を抽出する手段を備え、
前記更新領域情報は、前記変化領域の位置と形状を表す変化領域情報を含み、
前記更新画像は、前記変化領域の画像データを表す変化画像を含むことを特徴とする請求項２に記載の画像伝送方法。
前記画像処理部は、
前記更新領域情報と更新画像をバッファする手段と、
前記バッファのバッファ使用量と前記更新画像の有効画素数に基づいて符号化パラメータを調整する手段と、
を備えることを特徴とする請求項２に記載の画像伝送方法。
前記画像処理部は、
前記更新したモザイク画像の歪の有無を判定する手段と、
前記更新したモザイク画像に歪が生じたと判定された場合に前記モザイク画像をクリアする手段と
モザイク画像をクリアしたことを表すモザイク画像初期化設定を伝送する手段と
を備えることを特徴とする請求項１に記載の画像伝送方法。
前記モザイク画像の画像サイズに合わせて、該モザイク画像を格納するメモリ領域を拡大する手段を備えることを特徴とする請求項１に記載の画像伝送方法。
画像処理部と画像復元部を備えた画像生成システムであって、
画像処理部は、
複数の入力画像を繋ぎ合わせてモザイク画像を更新し、前記入力画像と、既に作成されている前記モザイク画像から、当該モザイク画像に当該入力画像を繋ぎ合わせた際の当該モザイク画像に対する当該入力画像の位置関係を含む更新領域情報と、当該入力画像を用いて更新される領域である更新領域の画像データを表す更新画像を生成するモザイク画像更新部と、
前記更新領域情報と更新画像を伝送する送信部、を備え、
前記画像復元部は、
前記更新領域情報と更新画像から前記モザイク画像を復元する画像重畳部を備えることを特徴とする画像伝送システム。
前記画像処理部において、
前記更新画像を符号化した更新画像ストリームデータを生成する更新画像符号化部を備え、
前記送信部から前記更新領域情報と前記更新画像ストリームデータを伝送し、
前記画像復元部は、
前記更新画像ストリームデータから更新画像を復号化する復号化部を備えることを特徴とする請求項１０に記載の画像伝送システム。
前記更新領域情報は、前記既に作成されたモザイク画像の原点に対する前記入力画像の位置及び前記更新領域のうち前記既に作成されたモザイク画像と重複しない領域である差分領域の形状に関する情報を含むことを特徴とする請求項１１に記載の画像伝送システム。
前記更新領域情報は、入力画像と前記入力画像の一つ前に入力された入力画像との位置合わせ情報を含むことを特徴とする請求項１１に記載の画像伝送システム。
前記更新領域情報は、入力画像の画像サイズを含むことを特徴とする請求項１３に記載の画像伝送システム。
前記モザイク画像更新部は、入力した画像同士を比較入力した画像間で重複する領域から変化領域を抽出し、
前記更新領域情報は、前記変化領域の位置と形状を表す変化領域情報を含み、
前記更新画像は、前記変化領域の画像データを表す変化画像を含むことを特徴とする請求項１１に記載の画像伝送システム。