JP3171349B2 - 映像通信方式 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像通信方式に関し、
特に、比較的粗い景観の全体像と詳細な部分像の両者の
同時伝達を可能にするものであり、テレビ電話、テレビ
会議などの双方向映像通信サービスに利用できることは
勿論、専用線映像伝送サービス、会話形動画情報検索サ
ービス、テレビ放送など映像の伝達を行う広範囲の産業
分野で利用できる技術に関するものである。

【０００２】

【従来の技術】テレビ電話やテレビ会議に代表される映
像において、従来、映像入力用のテレビカメラの画角は
一定である。また、そのカメラには、４ＭＨｚのＮＴＳ
Ｃ（Ｎational Ｔelevision Ｓystem Ｃommitee)方式が
用いられて撮像素子の画素配置は、空間的に均一になっ
ている。さらに、そのカメラの視軸は、通常固定であ
る。

【０００３】例えば、文献１：山本英雄、「テレビ電話
システムの概要」テレビジョン学会誌，Vol.42, No.11,
pp.1157〜1160（1988）、文献２：吉川光高、「テレビ
会議システムの概要」テレビジョン学会誌，Vol.42, N
o.11, pp.1168〜1175（1988）、文献３：島村和典他、
「画像通信システム」テレビジョン学会誌，Vol.46, N
o.7, pp.880〜887（1992）等に記載されている。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
映像通信では、次のような問題があった。

【０００５】（１）画角一定の撮像系から得られる情報
だけを伝達している。そのため、広角で撮像する場合
は、部分の詳細を伝達することができず、逆に小さい画
角で撮像する場合は、全体の様子を伝達することができ
ない。

【０００６】（２）均一な画素配置の撮像系を使用して
いるため、見たい部位では十分な解像度が得られず、逆
に興味のない部位は必要以上の解像度になっており、限
りある伝送帯域を十分に生かしていない。

【０００７】（３）撮像のカメラワークが送信者に委ね
られており、一般には固定して使用されている。そのた
め、受信者が見たい時々刻々変化する映像の注目部位が
伝達されない。

【０００８】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、全体の様子と部分
の詳細の同時伝達が可能な技術を提供することにある。

【０００９】本発明の他の目的は、時々刻々変化する注
目部位に視軸を移動することが可能な技術を提供するこ
とにある。

【００１０】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
になるであろう。

【００１１】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。 即ち、本発明は、映像の入力系、伝
送系および表示系を有する映像通信方式であって、広角
の画像を撮影する第１撮影手段と、前記第１の撮像手段
よりも狭い画角の画像を撮影する第２撮影手段と、前記
第１撮影手段から出力される映像信号を対数極座標系の
映像信号に変換し、第１の座標変換映像信号を出力する
第１座標変換手段と、前記第２撮影手段から出力される
映像信号を対数極座標系の映像信号に変換し、第２の座
標変換映像信号を出力する第２座標変換手段と、前記第
１および第２座標変換手段からそれぞれ出力される、前
記第１および第２の座標変換映像信号を多重符号化して
１チャンネルの映像信号として伝送する伝送手段と、前
記伝送される１チャンネルの映像信号から、前記第１の
座標変換映像信号と、前記第２の座標変換映像信号とを
分解・復号化する分解・復号化手段と、前記分解・復号
化手段から出力される分解・復号化された前記第１の座
標変換映像信号を直交座標系の映像信号に変換し、第１
の復元映像信号を出力する第１座標復元部と、前記分解
・復号化手段から出力される分解・復号化された前記第
２の座標変換映像信号を直交座標系の映像信号に変換
し、第２の復元映像信号を出力する第１座標復元部と、
前記第１および第２の座標復元部から、それぞれ出力さ
れる前記第１および第２の復元映像信号を合成して表示
する表示手段とを有し、比較的粗い景観の全体像と詳細
な部分像の両者を同時に入力、伝送、表示することを特
徴とする。

【００１２】本発明の好ましい実施の形態では、前記第
１撮影手段から出力される映像信号の中の、時間的変化
の大きい領域を検出し、その重心に前記第２撮影手段の
視軸を移動させる視軸移動手段を有し、自動的に注目部
位の追跡を行うことを特徴とする。

【００１３】

【００１４】

【作用】前述の手段によれば、広角の撮像系と、それよ
り狭い画角の撮像系から全体像と部分像を入力し、両者
の映像信号を多重符号化して１チャンネルの映像信号と
して伝送し、受信側において１チャンネルの映像信号か
ら前記広角の撮像系とそれより狭い画角の撮像系の両者
の映像信号を分解・復号化し、それらの映像を合成して
表示することにより、比較的粗い景観の全体像と詳細な
部分像の両者を同時に入力、伝送、表示するので、全体
の様子と部分の詳細を同時に伝達することができる。こ
の場合に、広角の撮像系と、それより狭い画角の撮像系
から入力される映像に対数極座標形の画素標本化を行
い、中心ほど解像度が高い映像を伝送し、表示すること
により、見たい部位は高い解像度で、興味のない部位は
低い解像度で、それぞれ映像を伝達するので、見たい部
位では十分な解像度が得られ、逆に興味のない部位は必
要な解像度になっており、伝送帯域を十分に生かすこと
ができる。

【００１５】

【００１６】さらに、広角の撮像系で得られる画像の中
から、時間的変化の大きい領域を検出し、その重心に広
角の撮像系より狭い画角の撮像系の視軸を移動し、自動
的に注目部位の追跡を行うので、時々刻々変化する注目
部位に視軸を移動することができる。

【００１７】なお、ここで、前記広角の撮像系による広
角画像と狭い画角の撮像系による狭い画角の画像ともそ
れぞれの中心は見たい部位にあり、周辺は興味の薄い部
分になっていることを想定している。また、注目部位
は、広角画像における時間的変化の大きい領域と一致す
ることを想定している。これらの想定は、一般的な映像
通信、あるいは、人間の視線のふるまいを考慮すると、
非常に自然であると言える。

【００１８】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００１９】図１は、本発明の映像通信方式の一実施例
の全体概略構成を示すブロック構成図である。なお、本
実施例においては、映像関係分野での慣例に従い、前記
広角の撮像系を「広角カメラ」、広角の撮像系より狭い
画角の撮像系を「標準カメラ」、広角の撮像系の画角を
「広角」、狭い画角の撮像系の画角を「標準画角」と呼
ぶ。

【００２０】本実施例の映像通信方式は、図１に示すよ
うに、広角カメラ１、標準カメラ２、第１座標変換部
３、第２座標変換部４、視軸演算部５、電動架台６、符
号化部７、復号化部８、第１座標復元部９、第２座標復
元部１０、画像合成部１１、及び画像表示部１２で構成
されている。

【００２１】前記広角カメラ１は広角画像を、標準カメ
ラ２は標準画角画像を、それぞれ入力するためのもので
あり、いずれも市販のテレビカメラで実現できる。

【００２２】前記第１座標変換部３および第２座標変換
部４は、画像の標本化を通常の直交座標系から対数極座
標系に変換するためのものであり、本出願人が出願した
先願の発明（特願平３−９７０３２号、発明の名称「画
像標本化方法」）を利用することにより、実現可能であ
る。ここで、第１座標変換部３からの出力画像を広角座
標変換画像、第２座標変換部４からの出力画像を標準座
標変換画像と呼ぶことにする。

【００２３】前記視軸演算部５は、広角座標変換画像を
処理して、注目すべき対象の方向を検出し、その方向情
報を視軸信号として出力するためのものであり、その詳
細は後述する。

【００２４】前記電動架台６は、視軸信号に基づいて標
準カメラ２の視軸を移動するためのものであり、ステッ
プモータにより視軸を水平および垂直方向に回転できる
市販のカメラ架台により実現できる。

【００２５】前記符号化部７は、広角座標変換画像、標
準座標変換画像、および視軸信号を入力し、前二者に冗
長度抑圧処理を施した後、全信号を適当な方法で１チャ
ンネルの映像信号に組み立て、伝送路に送出するための
ものであり、詳細は後述する。

【００２６】前記復号化部８は、受信した１チャンネル
の映像信号を広角カメラ系と標準カメラ系の２チャンネ
ルの映像信号および視軸信号に分解し、前二者について
復号処理をするためのものであり、詳細は後述する。

【００２７】第１座標復元部９および第２座標復元部１
０は、画像の標本化を対数極座標系から通常の直交座標
系に戻すためのものであり、前述の先願に示された方法
を用いて実現可能である。ここで、第１座標復元部９か
らの出力画像を広角復元画像、第２座標復元部１０から
の出力画像を標準復元画像と呼ぶことにする。

【００２８】前記画像合成部１１は、広角復元画像の中
に、標準復元画像を重畳するためのものであり、詳細は
後述する。ここで、合成された画像を視野復元画像と呼
ぶことにする。

【００２９】前記画像表示部１２は、画像合成部１１か
ら出力される視野復元画像を表示するものであり、通常
のテレビモニタで実現できる。

【００３０】次に、本実施例の映像通信方式の動作につ
いて説明する。

【００３１】図１において、広角カメラ１から入力され
た画像は、第１座標変換部３において、対数極座標系に
再標本化され、広角座標変換画像が得られる。この広角
座標変換画像を基に、視軸演算部５において標準カメラ
２の視軸方向が計算され視軸信号が生成される。電動架
台６に視軸信号が入力し、その方向に標準カメラ２の視
軸が移動される。

【００３２】標準カメラ２から入力された画像は、第２
座標変換部４において、対数極座標系に再標本化され、
標準座標変換画像が得られる。

【００３３】前記広角座標変換画像は、符号化部７に入
力し、冗長度抑圧処理を受ける。また、前記標準座標変
換画像は、符号化部７に入力し、冗長度抑圧処理を受け
る。それらの処理を受けた両画像信号と視軸信号は、符
号化部７において、１チャンネルの映像信号に組み立て
られ、伝送路に送出される。

【００３４】受信された映像信号は、復号化部８におい
て、元の２系統の映像信号と視軸信号に分解されるとと
もに、映像信号は復号処理を受ける。２系統の復号画像
は、第１座標復元部９、第２座標復元部１０において、
直交座標系画像に復元され、広角復元画像と標準復元画
像が得られる。

【００３５】画像合成部１１において、標準復元画像が
広角復元画像に重畳され、視野復元画像が得られる。

【００３６】画像表示部１２において、視野復元画像が
表示される。

【００３７】次に、前記視軸演算部５の詳細について説
明する。

【００３８】図２は、本実施例の視軸演算部５の詳細構
成を示すブロック構成図である。

【００３９】本実施例の視軸演算部５は、図２に示すよ
うに、空間微分部２１、画像蓄積部２２、時間差分演算
部２３、２値化部２４、最大領域検出部２５、重心検出
部２６、座標逆変換部２７で構成されている。

【００４０】前記空間微分部２１は、空間的な変化を検
出するためのものであり、通常のエッジ検出フイルタで
実現できる。この処理は、人の視線がエッジに集中する
習性があることを踏まえて挿入している。また、この処
理を挿入することにより後続する時間差分演算部２３に
おいて、画面全体の明るさの時間変化の影響を除くこと
ができる。時間差分演算部２３は、時間的に連続する２
フレームの画像間の差分を計算するためのものである。

【００４１】前記画像蓄積部２２は、時間差分演算用に
１フレーム前の画像を蓄積するためのものである。２値
化部２４は、画像を２値化するためのものである。最大
領域検出部２５は、８近傍で接続した多数の領域のう
ち、面積が最大の領域を検出するためのものである。重
心検出部２６は、前記最大領域の重心を計算するための
ものである。座標逆変換部２７は、前記重心位置の座標
を対数極座標系から直交座標系に戻すためのものであ
る。これらの各部は通常の画像処理技術と半導体電子技
術を用いて、容易に実現できる。

【００４２】以上の一連の処理の結果の例を図３（ディ
スプレイ上に表示された模式図）に示す。図３におい
て、（ａ）は時刻ｔ−１の空間微分部の出力画像、
（ｂ）は時刻ｔの空間微分部の出力画像、（ｃ）は２値
化部の出力画像、（ｄ）は重心検出部の出力、（ｅ）は
入力広角画像上に示した座標逆変換部の出力座標位置で
あリ、３１は画像、３２は２値化画像、３３は重心座標
位置、３４は全体像である。

【００４３】次に、前記符号化部７の詳細について説明
する。

【００４４】図４は、本実施例の符号化部７の詳細構成
を示すブロック構成図である。

【００４５】本実施例の符号化部７は、図４に示すよう
に、冗長度抑圧部４１，４３、時間圧縮部４２，４４、
送出信号組立部４５で構成されている。図４において、
（ア）は広角座標変換画像、（イ）は視軸信号、（ウ）
は標準座標変換画像である。

【００４６】冗長度抑圧部４１，４３は、映像信号に含
まれる統計的な冗長度を抑圧し、伝送信号量を削減する
ためのものであり、映像信号の符号化で通常用いられる
原理を利用できる。

【００４７】時間圧縮部４２，４４は、映像信号の時間
軸を半分に圧縮するためのものであり、標本化周波数を
２倍にすることにより実現できる。

【００４８】送出信号組立部４５は、２系統の映像信号
と視軸信号を１チャンネルの映像信号伝送路に乗せて伝
送するためそれらの信号を後に分解可能なように組み立
てるためのものであり、単純には、それらの信号を時間
軸上に順次配列することにより実現できる。

【００４９】なお、図４中においては、わかり易くする
ために、アナログ信号イメージで処理の経過を示してい
るが、現在では、一般にデジタル処理が用いられてお
り、ここでも当然ながら、デジタル処理が利用できる。

【００５０】次に、前記復号化部８の詳細について説明
する。

【００５１】図５は、本実施例の復号化部８の詳細構成
を示すブロック構成図である。

【００５２】本実施例の復号化部８は、図５に示すよう
に、受信信号分解部５１、時間軸伸長部５２，５４、冗
長度復元部５３，５５で構成されている。

【００５３】受信信号分解部５１は、受信した１チャン
ネルの映像信号から、２系統の映像信号と視軸信号を分
解して取り出すためのものであり、フレーム同期信号を
手がかりにして適当に時間軸を切り出すことにより実現
可能である。

【００５４】時間軸伸長部５２，５４は、時間軸圧縮さ
れた映像信号を元の時間軸に戻すためのものであり、標
本化周波数を１／２にすることにより実現できる。

【００５５】冗長度復元部５３，５５は、冗長度抑圧さ
れた画像信号から元の冗長度を含む画像信号を復元する
ためのものであり、冗長度抑圧で用いたアルゴリズムを
逆に辿ることにより、実現可能である。

【００５６】次に、前記画像合成部１１の詳細について
説明する。

【００５７】図６は、本実施例の画像合成部１１の詳細
構成を示すブロック構成図であり、（ア）は広角復元画
像、（イ）は視軸信号、（ウ）は標準復元画像である。

【００５８】本実施例の画像合成部１１は、図６に示す
ように、切替信号生成部６１、書込切替部６２、視野復
元画像記憶部６３で構成される。

【００５９】切替信号生成部６１は、視野復元画像記憶
部６３に広角復元画像と標準復元画像のいずれを書き込
むかを、視軸信号に基づいて決定する切替信号を生成す
るためのものであり、標準復元画像の画角が既知であれ
ば容易に生成可能である。

【００６０】書込切替部６２は、切替信号生成部６１か
らの信号に従い、視野復元画像記憶部６３への入力画像
信号を切り替えるためのものであり、既存の電子スイッ
チにより実現できる。

【００６１】視野復元画像記憶部６３は、最終的に表示
する画像フレームを一時的に記憶するためのものであ
り、既存のフレームメモリが利用できる。

【００６２】図７（ディスプレイ上に表示された画像の
模式図）は、画像合成部１１における処理結果の一例を
示す図であり、（ａ）は広角復元画像、（ｂ）は視野復
元画像、（ｃ）は標準復元画像である。

【００６３】図８（ディスプレイ上に表示された画像の
模式図）は従来の映像通信方式による伝達画像の例を示
す図であり、（ａ）は広角画像を入力した場合であり、
（ｂ）は標準画角画像を入力した場合である。

【００６４】以上の説明からわかるように、図８と本発
明による伝達画像の例である図７（ｃ）を比較すれば、
従来の映像通信方式では、全体に粗い景観像か、或い
は、詳細な中心部分像のいずれかしか伝達できないのに
対し、本実施例では、中心で密な景観像と、詳細な注目
部分像の両方が伝達でき、本実施例が、従来方式よりは
るかに豊富な情報伝達が可能であることが分かる。例え
ば、従来方式では伝達できない右上方のトラックの運転
手の様子が、本実施例では伝達できており、本実施例の
有効性が確認される。

【００６５】なお、図７，図８の例では、広角画像、標
準画角画像とも画素数が少なく、かつ、画角があまり大
きくない。そのため、広角の場合の従来方式が本実施例
に比べ遜色ないように見える。しかし、人間の視野の不
均一性（解像度が、視線付近の視角直径５°程度までは
高いが、それより周辺では著しく低下する）を考慮すれ
ば、画素数や画角が増すほど、従来方式に対する本発明
の優位性が増すことは自明である。

【００６６】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更可能
であることは勿論である。

【００６７】

【発明の効果】以上、説明したように、本発明によれ
ば、比較的粗い景観の全体像と詳細な部分像の両者を同
時に入力、伝送、表示するので、全体の様子と部分の詳
細を同時に伝達することができる。

【００６８】また、見たい部位は高い解像度で、興味の
ない部位は低い解像度で、それぞれ映像を伝達するの
で、見たい部位では十分な解像度が得られ、逆に興味の
ない部位は必要な解像度になっており、伝送帯域を十分
に生かすことができる。

【００６９】また、広角の撮像系で得られる画像を処理
して時間的変化の大きい領域を検出し、その重心に広角
の撮像系より狭い画角の撮像系の視軸を移動し、自動的
に注目部位の追跡を行うので、時々刻々変化する注目部
位に視軸を移動することができる。

【図面の簡単な説明】

【図１】 本発明の映像通信方式の一実施例の全体概略
構成を示すブロック構成図、

【図２】 本実施例の視軸演算部の詳細構成を示すブロ
ック構成図、

【図３】 本実施例の一連の処理の結果の例を示す模式
図、

【図４】 本実施例の符号化部の詳細構成を示すブロッ
ク構成図、

【図５】 本実施例の復号化部の詳細構成を示すブロッ
ク構成図、

【図６】 本実施例の画像合成部の詳細構成を示すブロ
ック構成図、

【図７】 本実施例の画像合成部における処理結果の一
例を示す模式図、

【図８】 従来の映像通信方式による伝達画像の例を示
す図。

【符号の説明】

１…広角カメラ、２…標準カメラ、３…第１座標変換
部、４…第２座標変換部、５…視軸演算部、６…電動架
台、７…符号化部、８…復号化部、９…第１座標復元
部、１０…第２座標復元部、１１…画像合成部、１２…
画像表示部、２１…空間微分部、２２…画像蓄積部、２
３…時間差分演算部、２４…２値化部、２５…最大領域
検出部、２６…重心検出部、２７…座標逆変換部、３１
…画像、３２…２値化画像、３３…重心座標位置、３４
…全体像、４１，４３…冗長度抑圧部、４２，４４…時
間圧縮部、４５…送出信号組立部、５１…受信信号分解
部、５２，５４…時間軸伸長部、５３，５５…冗長度復
元部、６１…切替信号生成部、６２…書込切替部、６３
…視野復元画像記憶部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/10 H04N 7/14 - 7/173 H04N 7/20 - 7/22

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 映像の入力系、伝送系および表示系を有
   する映像通信方式であって、広角の画像を撮影する第１撮影 手段と、前記第１の撮像手段よりも狭い画角の画像を撮影する第
   ２撮影 手段と、前記第１撮影手段から出力される映像信号を対数極座標
   系の映像信号に変換し、第１の座標変換映像信号を出力
   する第１座標変換手段と、 前記第２撮影手段から出力される映像信号を対数極座標
   系の映像信号に変換し、第２の座標変換映像信号を出力
   する第２座標変換手段と、 前記第１および第２座標変換手段からそれぞれ出力され
   る、前記第１および第２の座標変換 映像信号を多重符号
   化して１チャンネルの映像信号として伝送する伝送手段
   と、前記伝送される１チャンネルの映像信号から、前記第１
   の座標変換映像信号と、前記第２の座標変換映像信号 と
   を分解・復号化する分解・復号化手段と、前記分解・復号化手段から出力される分解・復号化され
   た前記第１の座標変換映像信号を直交座標系の映像信号
   に変換し、第１の復元映像信号を出力する第１座標復元
   部と、 前記分解・復号化手段から出力される分解・復号化され
   た前記第２の座標変換映像信号を直交座標系の映像信号
   に変換し、第２の復元映像信号を出力する第１座標復元
   部と、 前記第１および第２の座標復元部から、それぞれ出力さ
   れる前記第１および第２の復元 映像信号を合成して表示
   する表示手段とを有し、 比較的粗い景観の全体像と詳細な部分像の両者を同時に
   入力、伝送、表示することを特徴とする映像通信方式。
2. 【請求項２】 前記第１撮影手段から出力される映像信
   号の中の、時間的変化の大きい領域を検出し、その重心
   に前記第２撮影手段の視軸を移動させる視軸移動手段を
   有し、自動的に注目部位の追跡を行うことを特徴とする
   請求項１に記載の映像通信方式。