JPH11112956A

JPH11112956A - 画像合成通信装置

Info

Publication number: JPH11112956A
Application number: JP26613497A
Authority: JP
Inventors: Masashi Hirozawa; 昌司広沢; Yasuhisa Nakamura; 安久中村; Hiroyuki Akagi; 宏之赤木; Tsuguro Inota; 嗣朗猪田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-09-30
Filing date: 1997-09-30
Publication date: 1999-04-23
Anticipated expiration: 2017-09-30
Also published as: JP3966392B2; DE69841993D1; EP0905977B1; US20010055429A1; EP0905977A2; EP0905977A3; US6434276B2

Abstract

(57)【要約】【課題】テレビ会議において、文書等を安価なカメラ
で撮影して、通信回線で送受信しようとしたとき、文書
全体を写すと小さな文字が潰れて判別できず、文字が判
別できる程度の解像度で撮影すると、文書全体が写せな
い。【解決手段】撮像部１を動かして撮影された時刻Ｔ１
の画像Ｆ１は、画像記憶部２及び特徴点抽出部３に取り
込まれ、特徴点抽出部３で画像Ｆ１の特徴点が抽出さ
れ、次ぎフレームの開始時刻Ｔ２の画像Ｆ２は、画像記
憶部２及び特徴点抽出部３に取り込まれ、探索範囲決定
部４により指定された領域の画像Ｆ２と画像Ｆ１の特徴
点とを相関演算部５により演算して動き量を算出して、
高解像度の画像を合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラなど
の撮像装置を用いて連続的に画像を取リ込んで結像面上
の被写体画像の動き量を検出し、検出した動き量をもと
に広画角、高精細の画像を合成し、またそれらに必要な
データを送受信しながら行なう画像合成通信装置に関す
る。

【０００２】

【従来の技術】従来のテレビ会議などでは、文書画像を
送信する方法として、出席者の画像を取る撮像装置とは
別に、例えばＦＡＸやスキャナなどを使った、書画専用
の撮像装置を使う従来技術があった。また、従来のテレ
ビ会議、テレビ電話では、広画角の画像を得る方法とし
て、ビデオカメラなどのようにレンズ自体の画角を変化
させたり、撮像装置を回転させて視野を振ったり、ある
いは、特開昭５９−４４１８４号公報に示されているよ
うに、複数の静止画を組み合わせて、一つの全体画面に
構成する従来技術があった。

【０００３】また、高精細・広画角画像を安価な撮影装
置で得る方法として、特開平５−２６０２６４号公報に
示されているように、被写体の一部を所望する解像度で
撮影し、撮像装置を回転させたり移動させたりして走査
し、得られた画像を合成するという従来技術があった。
また、画像を合成する際、画像の動き量を計算する必要
があるが、その計算方法には幾つかある。

【０００４】主にビデオカメラの手ぶれなどの動きの補
償に用いられているものとして、代表点方式がある。図
１９に代表点方式の概念図を示す。これは、連続して取
り込んだ画像に対して前フレームの画像の固定された位
置に代表点を設定し、さらに現フレームの画像に対し、
２次元方向にずらしながら対応する画素で相関演算及び
累積加算演算を行い、演算値が最も高くなる量を動き量
として検出するものである。

【０００５】更に、特開平６−８６１４９号公報には、
設定した代表点でラプラシアンフイルタなどを施し、輝
度勾配を求め、その値を使って演算することにより精度
が高くなるよう工夫した技術が開示されている。

【０００６】また、画像の重複部分に対して相関演算を
施して、合成する位置をきめるブロックマッチング方式
を用いても動き量を検出することは可能である。図２０
にブロックマッチング方式の概念図を示す。これは、前
フレームの画像の参照すべき特定領域を設定し、現フレ
ームの画像に対し、２次元方向にずらしながら相関演算
を行い、代表点方式と同様にして求めるものである。し
かしながら、代表点方式が数個の点で相関を求め累積加
算するのでよいのに対し、ブロックマッチング方式で
は、特定領域すべての累積加算が必要となリ、より高速
な処理が必要となる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来例の書画専用カメラやＦＡＸに使うテレビカメラの
内、安価なカメラでは、文書などを撮影しても、文書全
体を写すと小さな文字が潰れて判別できず、文字が判別
できるほどの解像度で撮影すると、今度は文書全体を把
握することができないという欠点があった。また、レン
ズ自体の画角を変化させる上記従来例では、視野を広く
する分解像度が落ちてしまう欠点があった。

【０００８】また、撮像装置を回転させる上記従来例で
は、一度に広画角の画像を得られないという欠点があっ
た。また、特開昭６０−２０３０６３号公報では、画像
を精度よく合成することができず、手で持ってカメラを
振って撮影するような手法では合成できないという欠点
があった。また、カメラ側に合成装置が必要であるとい
う欠点もあった。また、特開平５−２６０２６４号公報
に示されるような部分画像を合成して高精細・広画角画
像を得る上記の従来技術では、通信と組み合わせた場
合、送り側が合成装置を持っている必要があるという欠
点があった。

【０００９】もし受信側で合成するにしても、単純に部
分画像をすべて送ってしまうと、合成に必要な量以上に
送ってしまい、無駄に送信量を増やしてしまう欠点があ
った。また、動き量検出方法として、上記の代表点方式
では、ある代表点に対しては必ずある一定の輝度勾配を
有する必要がある。例えば文書画像の様に、白黒のデー
タを対象とする場合では、すべての代表点で輝度勾配が
低くなり、動き量がうまく検出されないという問題があ
った。

【００１０】すなわち、対象の画像において、輝度勾配
が一様に分布している場合には有効であるが、そうでな
い場合、例えは背景の多い文書などは、輝度勾配の少な
い箇所が背景になってしまい、動き量の検出が難しくな
る。一方、ブロックマッチング方式では、計算量が多い
ため、実時間で動き量を検出するのが難しいという問題
があった。

【００１１】本発明は、低解像度、狭画角の安価な撮像
装置を用いて、画像間の動き量を、対象の画像の輝度勾
配が一様でないような、例えば文書画像に対して、精度
良く、高速に求め、高精細・広画角の画像を合成し、通
信を介して扱えるようような画像合成通信装置を提供す
ることを目的としている。

【００１２】

【課題を解決するための手段】本発明の請求項１に記載
の画像合成通信装置は、上記課題を解決するために、時
系列に画像を入力するための撮像部と、上記撮像部より
入力された各画像を記憶する画像記憶部と、現フレーム
の画像から輝度変化の高い箇所を特徴点として抽出する
特徴点抽出部と、次フレームの画像の所定領域を相関演
算のための探索範囲として決定する探索範囲決定部と、
上記特徴点と上記探索範囲内の各画素との相関をとる相
関演算部と、上記相関演算部から得られた動き量に基づ
き画像を合成する画像合成部と、上記画像合成部から得
られた画像を送信する画像送信部と、前記自分側の画像
送信部或は相手側の画像送信部から送信された画像を受
信する画像受信部とを有することを特徴とする。

【００１３】本発明の請求項２に記載の画像合成通信装
置は、上記の課題を解決するために、請求項１記載の画
像合成通信装置において、上記探索範囲決定部は、前フ
レームの画像と現フレーム画像から求めた動き量に基づ
いて上記探索範囲を決定することを特徴とする。

【００１４】本発明の請求項３に記載の画像合成通信装
置は、上記の課題を解決するために、請求項１記載の画
像合成通信装置において、上記特徴点抽出部は、現フレ
ームの画像から一方向の座標が一致する複数の領域から
輝度変化の高い箇所を特徴点として抽出し、上記探索範
囲決定部は、次フレームの画像の上記各領域ごとに相関
演算のための探索範囲として決定し、上記相関演算部
は、上記各領域ごとに相関演算を行うことを特徴とす
る。

【００１５】本発明の請求項４に記載の画像合成通信装
置は、上記の課題を解決するために、時系列に画像を入
力するための撮像部と、上記撮像部から得られた画像を
送信する画像送信部と、前記自分側の画像送信部或は相
手側の画像送信部から送信された画像を受信する画像受
信部と、上記画像受信部より入力された各画像を記憶す
る画像記憶部と、現フレームの画像から輝度変化の高い
箇所を特徴点として抽出する特徴点抽出部と、次フレー
ムの画像の所定領域を相関演算のための探索範囲として
決定する探索範囲決定部と、上記特徴点と上記探索範囲
内の各画素との相関をとる相関演算部と、上記相関演算
部から得られた動き量を得て画像を合成する画像合成部
とを有することを特徴とする。

【００１６】本発明の請求項５に記載の画像合成通信装
置は、上記の課題を解決するために、請求項４記載の画
像合成通信装置において、上記探索範囲決定部は、前フ
レームの画像と現フレーム画像から求めた動き量に基づ
いて上記探索範囲を決定することを特徴とする。

【００１７】本発明の請求項６に記載の画像合成送通信
装置は、上記の課題を解決するために、請求項４記載の
画像合成通信装置において、上記特徴点抽出部は、現フ
レームの画像から一方向の座標が一致する複数の領域か
ら輝度変化の高い箇所を特徴点として抽出し、上記探索
範囲決定部は、次フレームの画像の上記各領域ごとに相
関演算のための探索範囲として決定し、上記相関演算部
は、上記各領域ごとに相関演算を行うことを特徴とす
る。

【００１８】本発明の請求項７に記載の画像合成通信装
置は、上記の課題を解決するために、時系列に画像を入
力するための撮像部と、上記撮像部より入力された各画
像を記憶する画像記憶部と、現フレームの画像から輝度
変化の高い箇所を特徴点として抽出する特徴点抽出部
と、次フレームの画像の所定領域を相関演算のための探
索範囲として決定する探索範囲決定部と、上記特徴点と
上記探索範囲内の各画素との相関をとる相関演算部と、
上記相関演算部から得られる動き量から新たに撮像され
た部分の画像を得る更新画像算出部と、上記相関演算部
から得られる動き量と上記更新画像算出部から得られる
部分画像を送信する画像送信部と、前記自分側の画像送
信部或は、相手側の画像送信部から送信された動き量と
部分画像を受信する画像受信部と、上記画像受信部から
得られる動き量と部分画像から画像を合成する画像合成
部を有することを特徴とする。

【００１９】本発明の請求項８に記載の画像合成通信装
置は、上記の課題を解決するために、請求項７記載の画
像合成通信装置において、上記探索範囲決定部は、前フ
レームの画像と現フレーム画像から求めた動き量に基づ
いて上記探索範囲を決定することを特徴とする。

【００２０】本発明の請求項９に記載の画像合成通信装
置は、上記の課題を解決するために、請求項７記載の画
像合成通信装置において、上記特徴点抽出部は、現フレ
ームの画像から一方向の座標が一致する複数の領域から
輝度変化の高い箇所を特徴点として抽出し、上記探索範
囲決定部は、次フレームの画像の上記各領域ごとに相関
演算のための探索範囲として決定し、上記相関演算部
は、上記各領域ごとに相関演算を行うことを特徴とす
る。

【００２１】

【発明の実施の形態】

〔実施形態１〕以下、本発明の実施形態１について図面
を参照して説明する。図１は、本実施形態１の画像合成
通信装置を示すブロック図である。１は画像を撮像する
光学系やＣＣＤなどで構成される撮像部、２は撮像部１
から転送された画像データを格納する画像記憶部、３は
画素演算に用いる点を抽出する特徴点抽出部、４は相関
演算の探索範囲を決定する探索範囲決定部、５は画素間
の相関をとり、動き量を出力する相関演算部、３６は画
像を合成する画像合成部、３０は合成画像を送信する画
像送信部、３１は上記各部を制御する制御部、３２は合
成画像を受信する画像受信部である。上記画像受信部３
２は、送信側の画像合成通信装置が、送信部と一体に、
或は、分離して備えている場合もあるが、離れた別の画
像合成通信装置が備えていることもある。

【００２２】ここで、撮像部１を、実際に、手で動かし
て白地に黒の文字が書かれた文書画像を撮像する場合の
途中を示す図４を用いて説明する。図４は一定の時間間
隔で連続撮像された画像の途中を示している。ここで、
Ｔ１，Ｔ２，Ｔ３，・・・・は、画像の取り込み開始時
間で、取り込まれた画像をＦ１，Ｆ２，Ｆ３，・・・・
とする。Ｔ１とＴ２との間で、撮像部１から画像Ｆ１が
取り込まれ、画像記憶部２に格納され、同時に特徴点抽
出部３にも送られ、画像Ｆ１の特徴点が抽出される。

【００２３】次ぎに、Ｔ２とＴ３との間で、画像Ｆ２が
取り込まれ、画像記憶部２に格納され、同時に特徴点抽
出部３に送られ、画像Ｆ２のすべての特徴点が抽出され
る。

【００２４】また、Ｔ２とＴ３との間では、前フレーム
のＴ１Ｔ２間で抽出された画像Ｆ１のすべての特徴点
と、それらの特徴点ごとに対応する画像Ｆ２内の特定位
置の近傍すべての画素と相関演算部５で相関演算を行
う。なお、画像Ｆ２内の特定位置は、Ｔ１とＴ２との間
の前フレームで求めた動き量で補正されている。Ｔ２と
Ｔ３との間では、相関演算が行なわれた後、相関演算部
５で求められた動き量が、画像合成部６に送られ、画像
合成が行なわれる。

【００２５】以下、同様にして、現フレームの特徴点を
参照画像とし、次フレームの特定位置近傍の領域を探索
画像としてＴ３以降もＴ２とＴ３との間と同様な処理が
繰り返される。次に、特徴点抽出動作について説明す
る。図５に、特徴点抽出部３の構成を示す。７は隣接画
素を同時に読み出すためのラインメモリ、８は輝度勾配
を求めるための加減算器、９は輝度の絶対値を得るため
の絶対値演算器、１０は輝度勾配が閾値を超えるかどう
かを調べる比較器、１１は求めた特徴点の輝度値とその
座標値を格納する特徴点情報格納レジスタ、１２は探索
範囲を制御するめの探索範囲制御部である。

【００２６】次に、輝度勾配の高い特徴点を選択する利
点について図６を用いて説明する。輝度勾配が高いと
は、隣接する画素の差が大きいという意味で、文書画像
においては文字のエッジ部分が対応する。また相関演算
として差の絶対値を用いるものとする。仮に、輝度勾配
の少ない箇所、例えば背景部分を特徴点とすると、隣接
する画素の輝度値がほぼ等しいため、ある範囲での減算
結果に対し、差が生じない。

【００２７】一方、輝度勾配の高い箇所を特徴点とする
と、隣接する画素の値が異なるため、ある範囲での減算
結果に対し、差が生ずるのである。具体的には、輝度変
化の少ない図６の特徴点１を採用し、探索範囲１の間で
減算を行うとすると、得られる結果は左下のグラフの様
になり、ほとんどの箇所で最小の値をとってしまうた
め、動き量の決定は困難である。一方、図６の特徴点２
を採用し、探索範囲２の間で減算を行うとすると、得ら
れる結果は右下のグラフの様になり、ほぼ２点程度にし
ぼられる。これは、さらに、他の特徴点をとり、その探
索範囲との減算結果を探索範囲の各画素ごとに累積加算
することによって、動き量をしぼり込むことができるこ
とを示している。

【００２８】再び、図５に戻って特徴点抽出動作につい
て説明する。本発明の特徴点抽出は、輝度勾配がある閾
値を越えるかどうかを、つまリ、隣接する画素の絶対値
差が、ある閾値を越えるかどうかで判断する。そこであ
る閾値を越える場合、その特徴点の輝度値と座標値を探
索範囲決定部４に転送する。特徴点を検出する際に、ま
ず撮像部１から画像記憶部２にデータが転送されるのと
同期してラインメモリ７に一画素毎のデータが取り込ま
れる。

【００２９】ラインメモリ７は１ライン分のバッファを
有しておリ、ある画素とその上下左右の画素が同時に加
減算器８から参照すべく構成する。そして、加減算器８
では隣接する画素値の差を求め、さらに絶対値演算器９
で絶対値を求め比較器１０に転送する。比較器１０では
閾値よリ高いかどうかの判断を行い、該当する画素の輝
度値、座標値、及びその特徴点を抽出した順序を示す特
徴点番号を特徴点情報格納レジスタ１１に蓄える。

【００３０】また、探索範囲制御部１２は、特徴点情報
格納レジスタ１１に格納されている座標より探索領域内
では新たな特徴点を格納しないことを実現するためのも
のである。これは、探索側の画像に対して参照側の特徴
点が唯一に決定されるように制御することにより実現さ
れ、具体的な制御は、特徴点情報格納レジスタ１１に格
納された特徴点の座標値と求めようとしている特徴点の
座標値とのｘ，ｙ方向の距離を求め、その距離が一定値
以下の場合には特徴点にしないようにすることにより実
現できる。このように構成すると、特徴点の抽出は画像
取り込みと並行して実行することが可能となる。

【００３１】次に、相関演算のための探索範囲を決定し
て相関演算を行う動作について、図７，図８を用いて説
明する。図７は特徴点抽出部３によって求めた特徴点お
よび相関演算の概念を示したものである。左上の画像は
時刻Ｔ１に撮像された画像Ｆ１、右上の画像は時刻Ｔ２
に撮像された画像Ｆ２である。

【００３２】図８は探索範囲決定部４を示すブロック図
である。１３は特徴点抽出部３より転送された特徴点の
座標を蓄える座標値用レジスタ、１４は相関演算部５で
求められた動き量を格納する前フレーム動き量格納部、
１５は前フレームの動き量から補正した座標値を生成す
るアドレス生成器、１６はアドレス生成器１５と座標値
用レジスタ１３の値から探索範囲の右上を原点とするア
ドレスおよび特徴点番号に変換するアドレス変換器であ
る。

【００３３】まず、Ｔ１とＴ２との間で、画像Ｆ１のす
べての特徴点を求め、Ｔ２で座標値用レジスタ１３に格
納される。次に、Ｔ２とＴ３との間で画像Ｆ２が撮像部
１から画像記憶部２に送られ画像Ｆ２の特徴点を求める
のと同時に、アドレス生成器１５で前フレームで求めた
動き量を補正した値がアドレス変換器１６に送られる。
なお、撮影の開始時点では、動き量の初期値は０が設定
される。アドレス変換器１６は、例えば特徴点の個数分
の差分回路および比較回路を有することで、どの特徴点
か、および探索範囲の中で相対位置はどこかを求め、相
関演算部５に該当するアドレスの輝度値と同期して送り
だす。再び、図５を用いて説明すると、特徴点抽出部３
で「像」のにんべんの中程を特徴点であると決定し、座
標値用レジスタ１３に与えられる。アドレス生成器１５
は動き量分を補正したアドレスに変換する。これは図７
の画像Ｆ２’を生成することである。

【００３４】このようにすると、現フレームの動き量が
前フレームの動き量と等しいならば、特徴点と同じアド
レスが対応する点となるはずであリ、前フレームの動き
量で補正した領域近傍を探索して相関演算を行うのがよ
い。そこでアドレス変換器１６では、特徴点の座標値と
同じ座標値を中心とした、Ｍ×Ｎ画素の画像を生成す
る。これは、図５右下の画像に対応し、画像Ｆ１の特徴
点の輝度値と、撮像部よリ取り込まれた画像Ｆ２’のＭ
×Ｎ画素の輝度値とを相関演算した結果が出力される。
同一フレームでの他の特徴点についても、同様にＭ×Ｎ
画素の画像を生成して相関演算を行う。

【００３５】さらに、相関演算部５について以下に説明
を行う。例として相関演算部５は、下式

【００３６】

【数１】

【００３７】

【数２】

【００３８】を満たす（ｘ，ｙ）を求めるものとする。
ここで、ｋは特徴点の個数、Ｍは横方向の動き量の探索
幅、Ｎは縦方向の動き量の探索幅、Ｓ（ｘ，ｙ）（ｉ）
は動き量が（ｘ，ｙ）であるとした時のｉ番目の特徴点
に対応する探索側の画素の輝度値、Ｒ（ｉ）は特徴点ｉ
の輝度値である。

【００３９】また、動き量が（ｘ，ｙ）である場合に、
画像Ｆ１の特徴点座標（ｘＲ，ｙＲ）と画像Ｆ２’の特
徴点に対応する画素の座標（ｘＴ，ｙＴ）はｘＴ＝ｘＲ
＋ｘｙＴ＝ｙＲ＋ｙなる関係がある。

【００４０】次に、動き検出の動作について説明する。
図９は相関演算部５のブロック図である。１７は特徴点
抽出部３で求められた特徴点の輝度値を格納する特徴点
用レジスタ、１８は画素の相関を求める画素演算部、１
９は累積値を格納する累積メモリ、２０は最小値を求め
る最小値検出部である。

【００４１】探索範囲決定部４で生成された特徴点番号
によって、特徴点用レジスタ１７の対応する特徴点が選
択され画素演算部１８に送られる。同時に範囲内座標は
累積メモリ１９の該当箇所を選択する。さらに輝度値が
与えられ、差和演算により相関値が求められ累積メモリ
１９に返す。１フレームの処理が終了したら最小値検出
部２０が累積メモリ１９の探索側の画素Ｍ×Ｎの中から
相関値の最も少ない部分を選択し動き量として出力す
る。以上の様な構成により、実時間での高精度な動き検
出が可能となる。

【００４２】本発明では任意の探索範囲を設定すること
が可能であるため、例えは探索範囲決定部４で出力され
る範囲内座標値の生成箇所を少し変更して、図１０に示
すように、参照側の矩形領域Ｌ１，Ｌ２を設定し、矩形
領域Ｌ１，Ｌ２それぞれの特徴点の抽出及び探索範囲を
決定し、各領域ごとに相関演算を行い、２つの動き量を
検出することで回転、拡大縮小を含むアフィン変換のパ
ラメータを求めることができる。具体的には図１０に示
すように、矩形領域Ｌ１，Ｌ２から特徴量を求め、さら
に探索側の画像と相関演算を行い、矩形領域Ｌ１，Ｌ２
に一致する矩形領域Ｒ１，Ｒ２を求める。

【００４３】矩形領域Ｌ１，Ｌ２の矩形中心座標を、
（Ｘ（F1，1），Ｙ（F1，1））、（Ｘ（F1，2），Ｙ（F
1，2））、矩形領域Ｒ１，Ｒ２の矩形中心座標を、（Ｘ
（F2，1），Ｙ（F2，1））、（Ｘ（F2，2），Ｙ（F2，
2））とする。参照側の任意の座標位置を（Ｘ_L，
Ｙ_L）、探索側の任意の座標位置を（Ｘ_R，Ｙ_R）と表す
と、次の式によって、相互にアフィン変換される。

【００４４】

【数３】

【００４５】

【数４】

【００４６】次に、本発明を用いた場合の演算時間を、
従来のブロックマッチング方式と比較して説明を行う。
特徴点方式では、特徴点の検出に必要な時間は、参照す
る画像の面積に比例する。また、相関演算に必要な時間
は、探索範囲の面積と特徴点の個数に比例する。

【００４７】ここで参照する画像の面積を３２０×２４
０画素、描出する特徴点の個数を２５箇所、探索範囲を
２０画素×２０画素とすると、演算に要する時間は７
８，０００×α＋１０，０００×βとなる。ここで、α
は輝度勾配を求める際の一画素単位の演算量、βは画素
の相関を求める一画素単位の演算量である。

【００４８】一方、ブロックマッチング方式を用いた場
合は、２０×２０×３２０×２４０β＝３０，７２０，
０００βとなる。仮にαとβかほぼ同じ程度の演算量で
あると仮定すると、特徴点方式の演算に要する時間は８
８，０００βとなりブロックマッチング方式は特徴点方
式の３００倍以上の演算量が必要となる。

【００４９】また、ブロックマッチング方式でも輝度変
化を観測して参照面積を２５程度に抑えれば演算量は同
等となるか、図１１に示すように、探索側に同じ文字が
ほぼ隣接している場合などではマッチングが困難にな
り、動き量が決定できない場合があり、結果が著しく劣
ってしまう。

【００５０】次に、画像合成部について説明する。図１
２は、合成処理の流れをフローチャート化したものであ
る。合成画像を記録するメモリは、画像記憶部２を使
う。撮像部１から送られてる撮像画像を記録しておく領
域とは別の領域をあらかじめ割り当てておく。

【００５１】この領域を図１３の合成画像メモリ３７と
する。合成画像メモリ３７上の左上の点を原点とし、以
降、位置（ｘ，ｙ）の画素をｆ（ｘ，ｙ）で表現する。
メモリはアドレスを指定することでアクセスできるが、
この場合、合成画像メモリ３７の幅をｗ、原点のアドレ
スをｚとすると、ｆ（ｘ，ｙ）のアドレスは、ｚ＋ｙ×
ｗ＋ｘで表される。

【００５２】まず最初の画像であるＦ１を、Ｆ１の左上
の点が合成画像メモリ３７上の（ｘ₀，ｙ₀）に来るよう
に、合成画像メモリ３７上に上書きする（ステップＳ
１）。初期位置（ｘ₀，ｙ₀）は予め決めておく。Ｆ１上
の画素は、ｇ₁（ｘ，ｙ）でアクセスできるとする。こ
れもｆ（ｘ，ｙ）と同様に、Ｆ１の幅と原点のアドレス
を使って各画素のアドレスを計算できる。上書き操作
は、式を使ってかけば、ｆ（ｘ＋ｘ₀，ｙ＋ｙ₀）＝ｇ₁
（ｘ，ｙ）（但し、０≦ｘ＜ｗ₁、０≦ｙ＜ｈ₁、ｗ₁：
Ｆ１の幅、ｈ₁：Ｆ１の高さ）となる。

【００５３】次に、Ｆ２の画像の内、Ｆ１と重ならない
部分だけ上書きする。図１３は、Ｆ１、Ｆ２、Ｆ３が上
書きされた状態である。相関演算部５から得られる動き
量が、平行移動だけでなく、回転や拡大縮小まで含んで
いる場合は、前記のアフィン変換の行列の形で得られ
る。ここで、Ｆ１とＦ２の間で図１０のようにそれぞれ
の２つの矩形領域Ｌ１、Ｌ２とＲ１、Ｒ２の対応位置を
求めてあるとし、Ｆ１の２つの矩形領域Ｌ１、Ｌ２の中
心座標を（Ｘ（F1，1），Ｙ（F1，1））、（Ｘ（F1，
2），Ｙ（F1，2））、Ｆ２の２つの矩形領域Ｒ１、Ｒ２
の中心座標を（Ｘ（F2，1），Ｙ（F2，1））、（Ｘ（F
2，2），Ｙ（F2，2））とする。この時、前記のアフィ
ン変換の式より、Ｆ１からＦ２へのアフィン変換のパラ
メータ、

【００５４】

【数５】

【００５５】が相関演算部５より得られる（ステップＳ
４）。簡単に表現するために、以下、これを、

【００５６】

【数６】

【００５７】と表す。アフィン変換でなく、単なる平行
移動だけの場合、Ｂ₁，₂、Ｃ₁，₂は０となる。Ｆ２上の
画素位置を（Ｘ_F2，Ｙ_F2）、合成画像上の上書きされる
べき対応画素位置を（Ｘ’_F2，Ｙ’_F2）とすると、Ｆ１
の左上の点が合成画像メモリ３７上の（ｘ₀，ｙ₀）にあ
る時、次の式で変換式が定義される。

【００５８】

【数７】

【００５９】これによって、（Ｘ’_F2，Ｙ’_F2）の点に
対応する、Ｆ２上の画素位置（Ｘ_F2，Ｙ_F2）が求められ
る（ステップＳ５）。一般に、（Ｘ’_F2，Ｙ’_F2）が整
数の時、（Ｘ_F2，Ｙ_F2）は整数とは限らないので、Ｆ２
上の位置（Ｘ_F2，Ｙ_F2）の画素ｇ₂（Ｘ_F2，Ｙ_f2）は、
通常は、周囲の画素から補間して決める。しかし、最も
簡単に求めるには、（Ｘ_F2，Ｙ_F2）の小数点以下を四捨
五入して整数にしてしまえば良い。つまり、最近傍の点
を代わりに使うことになる。四捨五入操作をround（）
で表すと、（Ｘ_F2，Ｙ_F2）の最近傍の画素位置は、（ro
und（Ｘ_F2），round（Ｙ_F2））と表せる。

【００６０】従って、合成画像メモリ３７上の位置
（Ｘ’_F2，Ｙ’_F2）の画素ｆ（Ｘ’_F2，Ｙ’_F2）は、Ｆ
２上の画素ｇ₂（round（Ｘ_F2），round（Ｙ_F2））で上
書きすれば良く、ｆ（Ｘ’_F2，Ｙ’_F2）＝ｇ₂（round（Ｘ_F2），round（Ｙ_F2））＝ｇ₂（round(Ａ₁，₂(Ｘ’_F2−ｘ₀）＋Ｂ₁，₂（Ｙ’_F2−ｙ₀））, round(Ｃ₁，₂(Ｘ’_F2−ｘ₀）＋Ｄ₁，₂（Ｙ’_F2−ｙ₀）））と表すことができる（ステップＳ６）。しかし、（Ｘ’
_F2，Ｙ’_F2）に対応するＦ２上の点（Ｘ_F2，Ｙ_F2）が、
Ｆ２内に存在するかどうかをチェックしなければいけな
い。そのチェックを最も簡単に行なうには、（round
（Ｘ_F2），round（Ｙ_F2））の座標値を計算してその座
標がＦ２の画像の大きさに収まるかどうかを次式で調べ
ればわかる。

【００６１】次式をすべて満たせば、（Ｘ’_F2，
Ｙ’_F2）は対応するＦ２の画素値を求めることができ
る。但し、ｗ₂：Ｆ２の幅、ｈ₂：Ｆ２の高さ、である。０≦round（Ｘ_F2）＜ｗ₂ ０≦round（Ｙ_F2))＜ｈ₂ これを使って、合成画像上のすべての位置で対応するＦ
２の画素値を求めることができるかチェックし（ステッ
プＳ７）、次に前の画像であるＦ１と合成画像上で重な
っていないかチェックする。これは、次式を満たしてい
るかどうかをチェックすれば分かる（ステップＳ１
１）。

【００６２】ｘ₀≦Ｘ’_F2＜ｘ₀＋ｗ₁ ｙ₀≦Ｙ’_F2＜ｙ₀＋ｈ₁ もし上式をすべて満たしていれば、Ｆ１と重なっている
ことになるので、上書きしない。これによって、Ｆ１と
重ならない部分のＦ２の画像のみが合成画像上に上書き
されることになる（ステップＳ１２）。次にＦ３の画像
を上書きする場合を考える。Ｆ３上の画素位置を
（Ｘ_F3，Ｙ_F3）、合成画像上の上書きされるべき対応画
素位置を（Ｘ’_F3，Ｙ’_F3）とし、Ｆ２とＦ３の間の動
き情報を、

【００６３】

【数８】

【００６４】とする。Ａ₂，₃、Ｂ₂，₃、Ｃ₂，₃、Ｄ₂，₃
の値は、Ｆ１とＦ２の間の動き情報と同様の求め方で良
い。これらを使って、（Ｘ_F3，Ｙ_F3）と（Ｘ’_F3，Ｙ’
_F3）の関係が次の式で定義される（ステップＳ４、Ｓ
５）。

【００６５】

【数９】

【００６６】これと次の式によって、Ｆ３の上書き操作
が表される（ステップＳ６、Ｓ１２）。ｆ（Ｘ’_F3，Ｙ’_F3)＝ｇ₃（round（Ｘ_F3），round（Ｙ
_F3））合成画像上のどの画素を上書きすべきかも、Ｆ２の場合
と同様にチェックできる。すなわち、まず、合成画像上
の点がＦ３の画像に収まるかどうかを次式でチェックす
る（ステップＳ７）。但し、ｗ₃：Ｆ３の幅、ｈ₃：Ｆ３
の高さ、である。

【００６７】０≦round（Ｘ_F3）＜ｗ₃ ０≦round（Ｙ_F3))＜ｈ₃ 次に、前の画像であるＦ２と重なっていないかどうか次
式でチェックする。合成画像上の位置（Ｘ’_F3，
Ｙ’_F3）に対応するＦ２上の位置を（Ｘ”_F3，Ｙ”_F3）
とすると、（Ｘ’_F3，Ｙ’_F3）と（Ｘ”_F3，Ｙ”_F3）の
関係は、合成画像とＦ２の関係そのままであり、

【００６８】

【数１０】

【００６９】で表される（ステップＳ８、Ｓ９）。従っ
て、（Ｘ’_F3，Ｙ’_F3）からＦ２上の対応位置
（Ｘ”_F3，Ｙ”_F3）を求めることができる。この（Ｘ”
_F3，Ｙ”_F3）が、画像Ｆ２内に収まっているかどうか
は、次式を満たすかどうかを調べれば良い。

【００７０】０≦round（Ｘ”_F3）＜ｗ₂ ０≦round（Ｙ”_F3))＜ｈ₂ 上式をすべて満たしていれば、Ｆ２内に収まることにな
り、Ｆ３とＦ２が重なる部分であることを示す（ステッ
プＳ１０、Ｓ１１）。結局、合成画像上のすべての点で
（ステップＳ１３、Ｓ１４）、Ｆ３の対応点があり、Ｆ
２の対応点がないものをチェックし、チェックに通った
ものを上書き可能として、Ｆ３の画素値で上書きすれば
良い（ステップＳ１２）。Ｆ４以下の画像を上書きする
場合も、変換の行列の数が、

【００７１】

【数１１】

【００７２】の様に増えていくだけで、同様の計算を繰
り返せば良い。これをすべての時系列画像について繰り
返す（ステップＳ１５、Ｓ１６、Ｓ１７）。この様に、
相関演算部５から得られる動き量に従って、画像を上書
きしていくことで、図１３のような合成画像が得られ
る。

【００７３】次に、画像送信部、画像受信部について説
明する。画像送信部３０では、画像合成部３６から合成
画像を得て、送信する。通信回線は、様々な種類のもの
を使えるが、ここではクロック、enable、データ、グラ
ウンド、供給電圧（＋５Ｖ）の５本だけの簡単なシリア
ル接続例で説明する。グラウンド、供給電圧は時間によ
らず一定なので、図１４の信号遷移図はこのうちクロッ
ク、enable、データのみを記述している。各信号線を表
す折れ線は、電圧レベルを示し、下側がグラウンドレベ
ル、上側が供給電圧レベルを示す。信号線の電圧を供給
電圧レベルにすることを「上げる」、逆にグランドレベ
ルにすることを「下げる」、グラウンドレベルを「ロ
ー」、供給電圧レベルを「ハイ」と、以下、表現する。

【００７４】クロック信号は、ローとハイの状態を等し
い時間間隔だけ交互に繰り返す。画像通信フォーマット
は数多く存在するが、ここでは最も簡単なフォーマット
で説明する。ここで、合成画像の大きさとして、幅が
Ｗ、高さがＨとし、合成画像の左上の点を原点として、
原点から右方向を＋Ｘ方向、下方向を＋Ｙ方向とする。
各画素は、ＲＧＢの三原色から構成されるとし、合成画
像上の位置（Ｘ，Ｙ）の画素のＲ成分をｆ_R（ｘ，
ｙ）、Ｇ成分をｆ_G（ｘ，ｙ）、Ｂ成分をｆ_B（ｘ，ｙ）
と表すとする。各成分の値は１バイトで表されるとす
る。

【００７５】まず最初に、図１４のように、画像の幅Ｗ
を送る。Ｗを２バイトとし、最上位bit（bit15）から最
下位bit（bit0）まで順に流す。始めに送信側が送信状
態でないときは、図の時刻Ｔ０のように、enableを上げ
ておく。データを送る時は、まずenableを下げてやる。
enableを下げるタイミングは、時刻Ｔ１のように、クロ
ックが下がる時にしておく。まず、データを送る前にス
タートビットを送る。すなわち、時刻Ｔ２で信号線をロ
ー、時刻Ｔ３でハイ、時刻Ｔ４でローになっているよう
にする。

【００７６】次に、Ｗを表す各bitの０、1 をロー、ハ
イとして、bit15からbit0まで順にクロックの立ち下が
りで設定する。次に、スタートビットと同様にストップ
ビットを送る。最後にenableを立ち上げて、データセッ
トの送信を終了する。次に画像の高さＨを送る。これは
Ｗと全く同じ手順であり、Ｗのデータの代わりにＨのデ
ータを送るだけである。

【００７７】次に各画素データを送る。図１５はこれを
説明した図である。クロック、enableは、図１４と同じ
タイミングなので、省いてある。時間は左から右へ、上
から下へ流れている。Ｗなどと同様に、スタートビッ
ト、ストップビットの間にデータを挟んで送れば良い。
各画素は、Ｒ、Ｇ、Ｂ成分それぞれが８bitのデータを
持つので、最初にＲ、次にＧ、最後にＢと３回にデータ
を分けて送ることになる。

【００７８】従って、全ての画素を送るには、（Ｈ×Ｗ
×３）回だけ、８bitデータを送れば良いことになる。
画素の送る順は予め決めておけば良い。例えば、最初
は、ｆ_R（０，０）、次は、ｆ_G（０，０）、ｆ_B（０，
０）を順に送り、次にｆ_R（１，０）、ｆ_G（１，０）、
ｆ_B（１，０）、次にｆ_R（２，０）、ｆ_G（２，０）、
ｆ_B（２，０）という具合に送っていく。右端ｆ_B（Ｗ−
１，０）まで送ったら、次の行の左端ｆ_R（０，１）か
ら順に同様に送っていく。最後は、ｆ_B（Ｗ−１，Ｈ−
１）となる。

【００７９】受信する方では、この逆の操作を行なえば
良い。すなわち、まず、enable信号を監視して、enable
がローになったら、クロックの立ち上がり時に信号線の
値を読むようにする。信号を読み始めて、信号がロー、
ハイ、ローと変化してスタートビットがあることを確認
する。次に決まったビット数だけデータを読み、信号が
ロー、ハイ、ローと変化してストップビットがあること
を確認する。enableがハイになったら、信号線の値を読
むのをやめる。

【００８０】決まったビット数とは、具体的には、最初
と２回目のデータは、全体の幅と高さが16bitで入って
いるので、16となる。それ以外は、画素データなので、
８である。２回のデータ受信で全体の幅Ｗと高さＨが分
かったら、（Ｗ×Ｈ×３）回だけ、８bitデータを受信
すれば良い。受信した画素データは予め決めた順序で解
釈すれば良い。前の例で行けば、最初は、ｆ_R（０，
０）であり、その後、ｆ_G（０，０）、ｆ_B（０，０）、
ｆ_R（１，０）と続き、右端ｆ_B（Ｗ−１，０）までいっ
たら、次の行の左端ｆ_R（０，１）から順に同様に解釈
していく。最後は、ｆ_B（Ｗ−１，Ｈ−１）となる。こ
れによって、合成画像の送受信が可能となる。

【００８１】〔実施形態２〕図２は、本実施形態２の画
像合成通信装置の構成を示すブロック図である。１は画
像を撮像する光学系やＣＣＤなどで構成される撮像部、
３０は撮像部１から転送された画像を送信する画像送信
部、３３は送信側の上記各部を制御する制御部、３２は
３０から送られてきた画像を受信する画像受信部、２は
画像受信部３２から転送された画像データを格納する画
像記憶部、３は画素演算に用いる点を抽出する特徴点抽
出部、４は相関演算の探索範囲を決定する探索範囲決定
部、５は画素間の相関をとり、動き量を出力する相関演
算部、３６は画像を合成する画像合成部、３１は受信側
の上記各部を制御する制御部である。

【００８２】上記図２に示す、上記撮像部１と、画像送
信部３０及び制御部３３は、画像情報受信側の画像合成
通信装置が一体に、或は分離して備えている場合と、別
の画像合成通信装置が備えている場合とがある。本実施
形態２において、送受信される画像は、撮像部で撮影さ
れた画像そのままであり、この送受信も、先の合成画像
の送受信と全く同じ通信方法を使えば実現できる。

【００８３】すなわち、最初に撮像部で撮影された画像
の幅Ｗと高さＨを送り、その後、（Ｗ×Ｈ×３）バイト
分だけ画素の情報を送れば良い。画像受信部３２も、実
施形態１の画像受信部３２と全く同様に、受信したデー
タを解釈してやれば良い。受信した画像は、画像記憶部
２に格納され、画像合成部３６によって合成される。合
成の方法は、実施形態１と同じで良い。

【００８４】〔実施形態３〕図３は、本実施形態３の画
像合成通信装置の構成を示すブロック図である。１は画
像を撮像する光学系やＣＣＤなどで構成される撮像部、
２は撮像部１から転送された画像データを格納する画像
記憶部、３は画素演算に用いる点を抽出する特徴点抽出
部、４は相関演算の探索範囲を決定する探索範囲決定
部、５は画素間の相関をとり、動き量を出力する相関演
算部、３５は、相関演算部５から得られる動き量と画像
記憶部２の画像データから前の画像と重ならない部分
（更新画像）を算出する更新画像算出部、３０は相関演
算部５から得られる動き量と更新画像算出部３５から得
られる更新画像を送信する画像送信部、３１は送信側の
上記各部を制御する制御部、３２は画像送信部３０から
送られてきた動き量と更新画像を受信する画像受信部、
３４は画像受信部３２から転送された画像データを格納
する画像記憶部、３６は画像記憶部の画像と画像受信部
３２から得る動き量から画像を合成する画像合成部、３
３は受信側の上記各部を制御する制御部である。

【００８５】図１６は、本実施形態３の画像合成通信装
置の送受信情報のフォーマットの説明図である。送受信
される情報は、相関演算部５から得られる動き量と更新
画像算出部３５から得られる部分画像である。実際に送
信する際は、前の実施形態１の説明と同様に、enalbe、
クロック、電源電圧、グランドなどの線、送信シーケン
スとして、データ信号上のスタートビット、ストップビ
ットなどが必要だが、手順は一緒なので、データ部分だ
けを抽出して説明してある。

【００８６】動き量とは、画像合成の説明で使われた２
×２の行列の値で良い。回転、拡大縮小せずに単なる平
行移動量だけ使って合成する場合は、Ｘ方向とＹ方向の
ずれ量だけで良い。図１６のように、まず、前の画像と
の間のアフィン変換を行なう行列の値を送る。例えば、
画像Ｆ３の場合、画像Ｆ２と画像Ｆ３の間の変換になる
ので、先の例であげた表現方式を借りれば、変換行列の
要素の値、Ａ₂，₃、Ｂ₂，₃、Ｃ₂，₃、Ｄ₂，₃を順に送れ
ば良い。データは浮動小数点で表現されているとして、
そのビット数は、どこまで精度を求めるかによるが、32
bitあれば一般に充分である。

【００８７】パラメータを送った次は、画像の幅と高さ
を送る。ここではそれぞれ２バイトとしておく。次に更
新画像算出部３５から得られる部分画像を送る。更新画
像算出部３５では、前の画像と重ならない部分を計算す
る。計算の仕方は、画像合成部３６で説明した方法とほ
ぼ同様になる。例えば、画像Ｆ３とＦ２の例で言えば、
Ｆ３上の点を（ｘ，ｙ）、それに対応するＦ２上の点を
（ｘ’，ｙ’）とすると、（ｘ，ｙ）から（ｘ’，
ｙ’）への変換式は、次の通りになる。但し、（ｘ₁，
ｙ₁）、（ｘ₂，ｙ₂）はＦ３上の点であり、Ｆ２上の点
（ｘ’₁，ｙ’₁）、（ｘ’₂，ｙ’₂）に対応している。

【００８８】

【数１２】

【００８９】これでＦ３上の点がＦ２上でどの位置に移
されるのか分かるので、０≦round（ｘ）＜ｗ₂ ０≦round（ｙ）＜ｈ₂ を共に満たす場合は、その点は重なっていることにな
る。この処理をＦ３上のすべての点において行なえば、
Ｆ２と重ならないＦ３上の点が分かる。以後、重ならな
い点を送信画素、重なる点を非送信画素と呼ぶことにす
る。送信画素をすべて送る際には、送信画素と非送信画
素を受信側で解釈できるように送ってやらねばならな
い。マスク画像を別に送る手もあるが、それでは送信す
るデータ量が多くなってしまう。そこで、重ならない領
域は大抵連続した領域である特徴を利用して、送れば良
い。

【００９０】図１７は、これを説明したフローチャート
である。まず、送信画素から非送信画素かを判断を開始
する位置「判定ポイント」をＦ３の左上の点に設定する
（ステップＳ２１）。次に、その行を判定ポイントから
右へみていって、「次の送信画素までの画素数」を数え
る（ステップＳ２２）。判定ポイントが送信画素である
なら、０になる。判定ポイントが非送信画素で、非送信
画素がｐ画素続いていて、その後が送信画素であった
ら、「次の送信画素までの画素数」はｐになる。もし、
送信画素がその行の判定ポイント後になかったら、行の
残りの画素数を「次の送信画素までの画素数」とする。
「次の送信画素までの画素数」が求まったら、それを２
バイトで表して、データとして送信する。

【００９１】次に、「次の送信画素数」だけ、判定ポイ
ントを右へ進める（ステップＳ２３）。ステップＳ２４
において、この時点で行の右端までいってしまったらス
テップＳ２５に進み、最後の行でなかったらステップＳ
２６に進み、次の行の左端の点を判定ポイントとして設
定して、また、ステップＳ２２の「次の送信画素までの
画素数」を数える処理に戻る。図１６の例では、「次の
送信画素までの値（ｔ）」を送った後で、次の行に移っ
ている。ステップＳ２４において、まだ右端までいかな
い場合は、ステップＳ２７に進み、判定ポイントを次の
送信画素にし、そこから右へ見ていって、「次の非送信
画素までの画素数」を数える。もし送信画素がｑ画素続
いていたら、ｑになる。そして「次の非送信画素までの
画素数」を２バイトで表して、データとして送信する
（ステップＳ２７）。

【００９２】次に、画素のデータ、すなわちＲ、Ｇ、Ｂ
の値をその画素数分だけ順に送る。図１６の例では、Ｒ
（ｐ，０）から始まって、Ｂ（ｐ＋ｑ−１，０)まで送
っている（ステップＳ２８）。ステップＳ２９におい
て、この時点で行の右端までいってしまったら、最後の
行でなければ、次の行の左端の点を判定ポイントとして
設定して、ステップＳ２５に戻る。右端までいかない場
合は、判定ポイントを次の非送信画素にして、最初の処
理である、ステップＳ２２の「次の送信画素までの画素
数」を数える処理に戻る。ステップＳ２５において、最
後の行で右端まできてしまったら、処理はすべて終る。
このようにして、前の画像と重ならない部分の画像を送
ることができる。

【００９３】受信する側では、これと逆の操作を行なえ
ば良い。図１８はこれを説明したフローチャートであ
る。変換行列の値、画像の幅、高さのデータは既に受信
しているとする。図３の受信側の画像記憶部３４に、受
信する画像の記憶領域を確保しておく。この大きさは、
既に受信している画像の幅、高さから決められる。確保
した領域の左上を原点とした位置「描画ポイント」を決
めることで、その記憶領域の特定位置へ画素データを書
き込むことができるようになっている。まず、描画ポイ
ントを確保した記憶領域の左上に取る（ステップＳ３
１）。

【００９４】次に、「次の送信画素までの画素数」を受
信する（ステップＳ３２）。この数の画素は、非送信画
素として送られてこないので、描画ポイントをこの数だ
け右にシフトしておく（ステップＳ３３）。ステップＳ
３４において、描画ポイントが右端に来たかどうかを判
断する。もし右端に来ていたら、ステップＳ３５に進
み、最後の行かどうかを判断する。もし最後の行でなけ
れば、ステップＳ３６において、描画ポイントを次の行
の左端にして、ステップＳ３２の次の送信画素までの値
を受信する処理に戻る。

【００９５】ステップＳ３４において、描画ポイントが
右端に来ていなければ、ステップＳ３７に進み、「次の
非送信画素までの画素数」を受信する。ステップＳ３８
において、この画素数分だけデータが送られてくるの
で、それを受信しながら、データを画像記憶部３４に書
き込んでいく。具体的には、各画素のデータは、Ｒ、
Ｇ、Ｂの順で受信されるので、その値を使って、描画ポ
イントの位置へ画素データを書き込む。次に描画ポイン
トを一つ右へシフトして、次の画素のデータ、Ｒ、Ｇ、
Ｂを受信する。これを画素数分だけ繰り返す。

【００９６】その処理が終ったら、ステップＳ３９にお
いて、描画ポイントが右端にきたかどうかを判断する。
もし右端に来ていたら、ステップＳ３５に進んで、最後
の行かどうかを判断する。もし最後の行でなければ、描
画ポイントを次の行の左端にして、ステップＳ３２の次
の送信画素までの値を受信する処理に戻る。ステップＳ
３５において、右端で最後の行であるなら、この画像の
データの受信は終了となる。

【００９７】これによって、必要最小限の画像が受信さ
れたことになる。これらの処理を繰り返すことで、複数
の画像データを画像記憶部に記録できる。次に、これら
のデータから画像を合成する。手法は、先に説明した手
法とまったく同じである。合成に必要なデータは、連続
する２画像間の変換行列と各画像の画素データである。

【００９８】ここで変換行列は送られたきたものを使え
ばよいし、各画像の画素データは、すべて送られてきた
わけではないが、合成には、前の画像と重ならない部分
しか使われないので、画像記憶部に記録されている部分
的な画素データだけで充分である。これによって、受信
したデータから画像を合成することができる。

【００９９】

【発明の効果】以上のように、本発明によれば、解像度
の低いカメラを用いても、被写体の一部を複数枚写し
て、合成して送ることで、離れた場所に広画角、高精細
の画像を送れる効果がある。また、合成を被写体側で行
なうだけでなく、撮影画像をそのまま送り、受信側で合
成させることで、被写体側が通常のテレビ電話、テレビ
会議のシステムなどしか所有していなくても、低解像度
のカメラと送信設備で、広画角、高精細の画像を相手側
は得ることができる。

【０１００】また、その際、撮影画像をそのまま送ら
ず、前の画像との重なり具合を調べて、重なっていない
部分のみを送ることで、必要最低限の画像のみを送るこ
とができ、通信量を減らすことができる。さらに、これ
らの画像合成の基本となる時系列画像間の動き量検出
は、輝度勾配が画像面に一様に存在していない場合で
も、任意の箇所を特徴点として相関演算することができ
るため、文書などの背景が真っ白なものでも精度良く動
き量の検出が可能であり、代表点方式より精度的に優れ
ている。また、ブロックマッチング方式に比べると演算
量が２桁程度少なくなり、フレームレートでのリアルタ
イム処理も可能である。

【図面の簡単な説明】

【図１】本実施形態１の画像合成通信装置の構成を示す
ブロック図である。

【図２】本実施形態２の画像合成通信装置の構成を示す
ブロック図である。

【図３】本実施形態３の画像合成通信装置の構成を示す
ブロック図である。

【図４】本発明の画像合成に係る連続撮像した画像を示
す図である。

【図５】本発明の画像合成通信装置に係る特徴点抽出部
のブロック図である。

【図６】本発明に係る輝度勾配の高い箇所を選択する利
点を説明するための図である。

【図７】本発明の画像合成通信装置に係る探索範囲決定
部のブロック図である。

【図８】本発明の画像合成通信装置に係る相関演算部の
ブロック図である。

【図９】本発明に係る相関演算のための探索範囲を決定
する様子を説明するための図である。

【図１０】本発明に係るアフィン変換を検出する様子を
説明するための図である。

【図１１】本発明に係るブロックマッチング方式の問題
点を説明するための図である。

【図１２】本発明に係る合成処理のフローチャートであ
る。

【図１３】本発明に係る合成画像の様子を説明するため
の図である。

【図１４】本発明に係るデータを送る際の各信号線の状
態を説明するための図である。

【図１５】本発明に係る合成画像の送信を説明するため
の図である。

【図１６】本発明に係る更新画像の送信を説明するため
の図である。

【図１７】本発明に係る送信画素の判定を説明するため
のフローチャートである。

【図１８】本発明に係る受信画素の格納を説明するため
のフローチャートである。

【図１９】従来の代表点マッチング方式の概念図であ
る。

【図２０】従来のブロックマッチング方式の概念図であ
る。

【符号の説明】

１撮像部２画像記憶部３特徴点抽出部４探索範囲決定部５相関演算部３０画像送信部３１制御部３２画像受信部３３制御部３４画像記憶部３５更新画像算出部３６画像合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者猪田嗣朗大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】時系列に画像を入力するための撮像部
と、上記撮像部より入力された各画像を記憶する画像記憶部
と、現フレームの画像から輝度変化の高い箇所を特徴点とし
て抽出する特徴点抽出部と、次フレームの画像の所定領域を相関演算のための探索範
囲として決定する探索範囲決定部と、上記特徴点と上記探索範囲内の各画素との相関をとる相
関演算部と、上記相関演算部から得られた動き量に基づき画像を合成
する画像合成部と、上記画像合成部から得られた画像を送信する画像送信部
と、上記画像送信部或は、相手側の画像送信部から送信され
た画像を受信する画像受信部と、を有することを特徴と
する画像合成通信装置。
【請求項２】上記探索範囲決定部は、前フレームの画
像と現フレーム画像から求めた動き量に基づいて上記探
索範囲を決定することを特徴とする請求項１記載の画像
合成通信装置。
【請求項３】上記特徴点抽出部は、現フレームの画像
から一方向の座標が一致する複数の領域から輝度変化の
高い箇所を特徴点として抽出し、上記探索範囲決定部
は、次フレームの画像の上記各領域ごとに相関演算のた
めの探索範囲として決定し、上記相関演算部は、上記各
領域ごとに相関演算を行うことを特徴とする請求項１記
載の画像合成通信装置。
【請求項４】時系列に画像を入力するための撮像部
と、上記撮像部から得られた画像を送信する画像送信部と、上記自分側の画像送信部或は、相手側の画像送信部から
送信された画像を受信する画像受信部と、上記画像受信部より入力された各画像を記憶する画像記
憶部と、現フレームの画像から輝度変化の高い箇所を特徴点とし
て抽出する特徴点抽出部と、次フレームの画像の所定領域を相関演算のための探索範
囲として決定する探索範囲決定部と、上記特徴点と上記探索範囲内の各画素との相関をとる相
関演算部と、上記相関演算部から得られた動き量に基いて画像を合成
する画像合成部と、を有することを特徴とする画像合成
通信装置。
【請求項５】上記探索範囲決定部は、前フレームの画
像と現フレーム画像から求めた動き量に基づいて上記探
索範囲を決定することを特徴とする請求項４記載の画像
合成通信装置。
【請求項６】上記特徴点抽出部は、現フレームの画像
から一方向の座標が一致する複数の領域から輝度変化の
高い箇所を特徴点として抽出し、上記探索範囲決定部
は、次フレームの画像の上記各領域ごとに相関演算のた
めの探索範囲として決定し、上記相関演算部は、上記各
領域ごとに相関演算を行うことを特徴とする請求項４記
載の画像合成通信装置。
【請求項７】時系列に画像を入力するための撮像部
と、上記撮像部より入力された各画像を記憶する画像記憶部
と、現フレームの画像から輝度変化の高い箇所を特徴点とし
て抽出する特徴点抽出部と、次フレームの画像の所定領域を相関演算のための探索範
囲として決定する探索範囲決定部と、上記特徴点と上記探索範囲内の各画素との相関をとる相
関演算部と、上記相関演算部から得られる動き量から新たに撮像され
た部分の画像を得る更新画像算出部と、上記相関演算部から得られる動き量と上記更新画像算出
部から得られる部分画像を送信する画像送信部と、上記自分側の画像送信部或は、相手側の画像送信部から
送信された動き量と部分画像を受信する画像受信部と、上記画像受信部から得られる動き量と部分画像から画像
を合成する画像合成部を有することを特徴とする画像合
成通信装置。
【請求項８】上記探索範囲決定部は、前フレームの画
像と現フレーム画像から求めた動き量に基づいて上記探
索範囲を決定することを特徴とする請求項７記載の画像
合成通信装置。
【請求項９】上記特徴点抽出部は、現フレームの画像
から一方向の座標が一致する複数の領域から輝度変化の
高い箇所を特徴点として抽出し、上記探索範囲決定部
は、次フレームの画像の上記各領域ごとに相関演算のた
めの探索範囲として決定し、上記相関演算部は、上記各
領域ごとに相関演算を行うことを特徴とする請求項７記
載の画像合成通信装置。