JPH07284095A - 視点適応型画像伝送方法および画像伝送装置 - Google Patents
視点適応型画像伝送方法および画像伝送装置Info
- Publication number
- JPH07284095A JPH07284095A JP7301594A JP7301594A JPH07284095A JP H07284095 A JPH07284095 A JP H07284095A JP 7301594 A JP7301594 A JP 7301594A JP 7301594 A JP7301594 A JP 7301594A JP H07284095 A JPH07284095 A JP H07284095A
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- transmitting
- unit
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】画像通信のように限られた伝送路に映像を送り
表示する画像伝送システムにおいて，受信者が効率的に
画像検索や画像認識をできるようにすることを目的とす
る。 【構成】受信側で検出した視点位置を画像送信装置10へ
送り，画像送信装置10では，視点位置情報に基づいて視
点を中心とする部分の画像を優先的に符号化して伝送す
る。画像受信装置20は，受信した視点を中心とする部分
の画像を復号化して表示する。
表示する画像伝送システムにおいて，受信者が効率的に
画像検索や画像認識をできるようにすることを目的とす
る。 【構成】受信側で検出した視点位置を画像送信装置10へ
送り，画像送信装置10では，視点位置情報に基づいて視
点を中心とする部分の画像を優先的に符号化して伝送す
る。画像受信装置20は，受信した視点を中心とする部分
の画像を復号化して表示する。
Description
【０００１】
【産業上の利用分野】本発明は，例えば画像通信のよう
に限られた伝送路に映像を送り表示する画像伝送システ
ムに係り，特に受信者の視点に適応して効率的に画像検
索や画像認識ができるようにした視点適応型画像伝送方
法および画像伝送装置に関するものである。
に限られた伝送路に映像を送り表示する画像伝送システ
ムに係り，特に受信者の視点に適応して効率的に画像検
索や画像認識ができるようにした視点適応型画像伝送方
法および画像伝送装置に関するものである。
【０００２】
【従来の技術】従来，画像を効率的に伝送表示する方法
には，表示画像を中心部分から周辺に順次送る方法や全
体画像を低解像度の画像から高解像度の画像へ次第に解
像度を上げて伝送表示する方法があった。
には，表示画像を中心部分から周辺に順次送る方法や全
体画像を低解像度の画像から高解像度の画像へ次第に解
像度を上げて伝送表示する方法があった。
【０００３】
【発明が解決しようとする課題】しかしながら，上記の
方法では受信者の指示で表示画像を送る部分の優先順位
を決めた場合に比べ，効率的でない問題点があった。本
発明は，この問題点の解決を図り，受信者の指示で画像
における重要な部分についての効率的な伝送を可能とす
る手段を提供することを目的とする。
方法では受信者の指示で表示画像を送る部分の優先順位
を決めた場合に比べ，効率的でない問題点があった。本
発明は，この問題点の解決を図り，受信者の指示で画像
における重要な部分についての効率的な伝送を可能とす
る手段を提供することを目的とする。
【０００４】
【課題を解決するための手段】本発明の視点適応型画像
伝送装置は，次のような画像送信装置と画像受信装置と
からなる。画像送信装置は，画像を入力する手段と，入
力した画像を蓄積する手段と，画像を符号化して送信す
る手段と，画像受信装置から受信した視点位置情報に基
づき視点を中心とする画像を走査しその部分の画像を優
先的に符号化対象とする手段とを備える。また，画像受
信装置は，受信した画像を表示する表示器と，その表示
器上の視点位置を検出し前記画像送信装置へ送信する手
段と，前記画像送信装置から受信した画像を復号化する
手段と，復号化した画像が視点を中心とする画像である
場合にその画像を視点位置に基づいて復元する手段と，
復元した画像データを前記表示器へ出力する手段とを備
える。
伝送装置は，次のような画像送信装置と画像受信装置と
からなる。画像送信装置は，画像を入力する手段と，入
力した画像を蓄積する手段と，画像を符号化して送信す
る手段と，画像受信装置から受信した視点位置情報に基
づき視点を中心とする画像を走査しその部分の画像を優
先的に符号化対象とする手段とを備える。また，画像受
信装置は，受信した画像を表示する表示器と，その表示
器上の視点位置を検出し前記画像送信装置へ送信する手
段と，前記画像送信装置から受信した画像を復号化する
手段と，復号化した画像が視点を中心とする画像である
場合にその画像を視点位置に基づいて復元する手段と，
復元した画像データを前記表示器へ出力する手段とを備
える。
【０００５】本発明の視点適応型画像伝送方法は，画像
受信装置において入力された表示器上の視点位置を検出
し，検出した視点位置情報を画像の送信側へ送信する。
画像送信装置においては，受信した視点位置情報に基づ
き視点を中心とする部分の画像を走査し優先的に符号化
して伝送する。画像受信装置は，受信した視点を中心と
する部分の画像を復号化して表示する。
受信装置において入力された表示器上の視点位置を検出
し，検出した視点位置情報を画像の送信側へ送信する。
画像送信装置においては，受信した視点位置情報に基づ
き視点を中心とする部分の画像を走査し優先的に符号化
して伝送する。画像受信装置は，受信した視点を中心と
する部分の画像を復号化して表示する。
【０００６】
【作用】本発明は，受信者の指示で決まる視点中心を検
出し，視点中心部を優先的に伝送することを主要な特徴
とする。このような手段によれば，受信者の指示で優先
的に表示画像を送る部分を決定して伝送することによ
り，受信者は効率的な画像検索や画像認識ができるよう
になる。
出し，視点中心部を優先的に伝送することを主要な特徴
とする。このような手段によれば，受信者の指示で優先
的に表示画像を送る部分を決定して伝送することによ
り，受信者は効率的な画像検索や画像認識ができるよう
になる。
【０００７】
【実施例】以下，本発明の実施例を図面を用いて詳細に
説明する。図１は本発明による処理系の構成例を示す図
である。
説明する。図１は本発明による処理系の構成例を示す図
である。
【０００８】画像送信装置１０の画像入力部１１でサン
プリングされたＸ画素×Ｙ画素の画像は入力フレームバ
ッファ１２に入り，低解像度画像生成部１３で入力画像
の低解像度な画像が生成され，画像符号化部１４で符号
化されて，通信網３０を通して画像受信装置２０へ送ら
れる。
プリングされたＸ画素×Ｙ画素の画像は入力フレームバ
ッファ１２に入り，低解像度画像生成部１３で入力画像
の低解像度な画像が生成され，画像符号化部１４で符号
化されて，通信網３０を通して画像受信装置２０へ送ら
れる。
【０００９】画像受信装置２０では，画像復号化部２１
で復号された画像を出力フレームバッファ２４に入れ，
表示部２５で低解像度な映像を表示する。受信者がその
表示を見て，視点入力部２６で視点を入力する。視点入
力部２６は，例えばマウスやタブレットやライトペンな
どの二次元座標を指示できる入力デバイスによって構成
される。これは，位置が検出できるものであれば他の手
段でもよい。視点入力部２６からの入力情報は視点検出
部２７へ通知され，視点検出部２７で得られた視点座標
（ｘ，ｙ）を通信網３０を通し，画像送信装置１０の視
点中心画像走査部１５へ送る。
で復号された画像を出力フレームバッファ２４に入れ，
表示部２５で低解像度な映像を表示する。受信者がその
表示を見て，視点入力部２６で視点を入力する。視点入
力部２６は，例えばマウスやタブレットやライトペンな
どの二次元座標を指示できる入力デバイスによって構成
される。これは，位置が検出できるものであれば他の手
段でもよい。視点入力部２６からの入力情報は視点検出
部２７へ通知され，視点検出部２７で得られた視点座標
（ｘ，ｙ）を通信網３０を通し，画像送信装置１０の視
点中心画像走査部１５へ送る。
【００１０】視点中心画像走査部１５では，受信した視
点座標（ｘ，ｙ）から，その周りの画像データを順次，
画像符号化部１４へ送る。画像符号化部１４へ転送され
た座標は出力済み座標記憶部１６に記録される。
点座標（ｘ，ｙ）から，その周りの画像データを順次，
画像符号化部１４へ送る。画像符号化部１４へ転送され
た座標は出力済み座標記憶部１６に記録される。
【００１１】視点座標が移動した場合，視点中心画像走
査部１５で求められた画素が既に伝送されているかどう
かを出力済み座標記憶部１６の記録から判断して，既に
伝送されている場合には，画像データを画像符号化部１
４へ送らない。
査部１５で求められた画素が既に伝送されているかどう
かを出力済み座標記憶部１６の記録から判断して，既に
伝送されている場合には，画像データを画像符号化部１
４へ送らない。
【００１２】画像符号化部１４で符号化された画像デー
タは，通信網３０を通して画像受信装置２０の画像復号
化部２１へ送られる。画像復号化部２１で復号された画
像データは，一旦，復号バッファ２２に入る。
タは，通信網３０を通して画像受信装置２０の画像復号
化部２１へ送られる。画像復号化部２１で復号された画
像データは，一旦，復号バッファ２２に入る。
【００１３】視点中心画像復元部２３では，視点座標
（ｘ，ｙ）を元に送信側と同じアルゴリズムで，視点座
標（ｘ，ｙ）からその周りの画像データを出力フレーム
バッファ２４に送る。
（ｘ，ｙ）を元に送信側と同じアルゴリズムで，視点座
標（ｘ，ｙ）からその周りの画像データを出力フレーム
バッファ２４に送る。
【００１４】図２は視点座標を中心として送られる画像
の説明図である。入力フレームバッファ１２には，図２
（Ａ）に示すように，画像入力部１１でサンプリングさ
れたＸ画素×Ｙ画素の画像データが格納される。画像受
信装置２０から視点座標（ｘ，ｙ）が送られてくると，
視点中心画像走査部１５は，出力済みであるかどうかを
判定しながら，最初に図２（Ｂ）に示すように視点座標
（ｘ，ｙ）の画像データを画像符号化部１４へ送り，次
に図２（Ｃ）にハッチングで示すように，視点座標
（ｘ，ｙ）の周りの画像データを画像符号化部１４へ送
り，その次には，さらにその周りの図２（Ｄ）にハッチ
ングで示す部分の画像データを画像符号化部１４へ送
る。順次，周りの画像データを送信していき，これを視
点の移動があるまで，または所定のサイズになるまで繰
り返す。
の説明図である。入力フレームバッファ１２には，図２
（Ａ）に示すように，画像入力部１１でサンプリングさ
れたＸ画素×Ｙ画素の画像データが格納される。画像受
信装置２０から視点座標（ｘ，ｙ）が送られてくると，
視点中心画像走査部１５は，出力済みであるかどうかを
判定しながら，最初に図２（Ｂ）に示すように視点座標
（ｘ，ｙ）の画像データを画像符号化部１４へ送り，次
に図２（Ｃ）にハッチングで示すように，視点座標
（ｘ，ｙ）の周りの画像データを画像符号化部１４へ送
り，その次には，さらにその周りの図２（Ｄ）にハッチ
ングで示す部分の画像データを画像符号化部１４へ送
る。順次，周りの画像データを送信していき，これを視
点の移動があるまで，または所定のサイズになるまで繰
り返す。
【００１５】図３，図４および図５（Ａ）は，画像符号
化部１４へ送る画像データの決定を行うアルゴリズムの
例を示す。特に，図３はメイン処理，図４は周囲の各画
素データを送るサブルーチンの処理，図５（Ａ）は出力
済みでない画素データを画像符号化部１４へ送るサブル
ーチンの処理を示している。
化部１４へ送る画像データの決定を行うアルゴリズムの
例を示す。特に，図３はメイン処理，図４は周囲の各画
素データを送るサブルーチンの処理，図５（Ａ）は出力
済みでない画素データを画像符号化部１４へ送るサブル
ーチンの処理を示している。
【００１６】図３に示すメイン処理において，視点座標
（ｘ，ｙ）が与えられると，まずステップＳ１１では，
図５（Ａ）に示すサブルーチンＳｕｂ２（ｘ，ｙ）を呼
び出し，視点座標（ｘ，ｙ）の画素データを画像符号化
部１４へ送る。次に，その周りのデータを送るために，
ステップＳ１２では幅ｗを３にして，ｍを１からｗまで
カウントアップしながら，図４に示すサブルーチンＳｕ
ｂ１（ｘ，ｙ，ｗ，ｍ，１），Ｓｕｂ１（ｘ，ｙ，ｗ，
ｍ，ｗ）を呼び出す（ステップＳ１３〜Ｓ１７）。次
に，ｎを２から（ｗ−１）までカウントアップしなが
ら，図４に示すサブルーチンＳｕｂ１（ｘ，ｙ，ｗ，
１，ｎ），Ｓｕｂ１（ｘ，ｙ，ｗ，ｗ，ｎ）を呼び出す
（ステップＳ１８〜Ｓ２２）。これにより，図２（Ｃ）
にハッチングで示す部分のデータが画像符号化部１４へ
送られる。
（ｘ，ｙ）が与えられると，まずステップＳ１１では，
図５（Ａ）に示すサブルーチンＳｕｂ２（ｘ，ｙ）を呼
び出し，視点座標（ｘ，ｙ）の画素データを画像符号化
部１４へ送る。次に，その周りのデータを送るために，
ステップＳ１２では幅ｗを３にして，ｍを１からｗまで
カウントアップしながら，図４に示すサブルーチンＳｕ
ｂ１（ｘ，ｙ，ｗ，ｍ，１），Ｓｕｂ１（ｘ，ｙ，ｗ，
ｍ，ｗ）を呼び出す（ステップＳ１３〜Ｓ１７）。次
に，ｎを２から（ｗ−１）までカウントアップしなが
ら，図４に示すサブルーチンＳｕｂ１（ｘ，ｙ，ｗ，
１，ｎ），Ｓｕｂ１（ｘ，ｙ，ｗ，ｗ，ｎ）を呼び出す
（ステップＳ１８〜Ｓ２２）。これにより，図２（Ｃ）
にハッチングで示す部分のデータが画像符号化部１４へ
送られる。
【００１７】ステップＳ２３により幅ｗを２だけ広げた
後，ステップＳ２４により，ｗが２＊ｉｎｔ（ｍａｘ
（Ｘ，Ｙ）／２）＋１より大きくなったかどうかを判定
し，Ｙｅｓであれば処理を終了する。Ｎｏであれば，ス
テップＳ１３へ戻り，同様に処理を繰り返す。なお，こ
こでｉｎｔは小数点以下切り捨ての関数，ｍａｘは最大
値を選ぶ関数である。次のステップＳ１３〜Ｓ２２で
は，幅ｗが５のデータ，すなわち図２（Ｄ）にハッチン
グで示す部分のデータが画像符号化部１４へ転送され
る。同様に順次，周囲のデータが画像符号化部１４へ転
送される。
後，ステップＳ２４により，ｗが２＊ｉｎｔ（ｍａｘ
（Ｘ，Ｙ）／２）＋１より大きくなったかどうかを判定
し，Ｙｅｓであれば処理を終了する。Ｎｏであれば，ス
テップＳ１３へ戻り，同様に処理を繰り返す。なお，こ
こでｉｎｔは小数点以下切り捨ての関数，ｍａｘは最大
値を選ぶ関数である。次のステップＳ１３〜Ｓ２２で
は，幅ｗが５のデータ，すなわち図２（Ｄ）にハッチン
グで示す部分のデータが画像符号化部１４へ転送され
る。同様に順次，周囲のデータが画像符号化部１４へ転
送される。
【００１８】図４に示すサブルーチンＳｕｂ１（ｘ，
ｙ，ｗ，ｍ，ｎ）において，第１および第２の引数ｘ，
ｙは視点座標，第３の引数ｗは幅，第４の引数ｍはｘ方
向の変位，第５の引数ｎはｙ方向の変位を表す。
ｙ，ｗ，ｍ，ｎ）において，第１および第２の引数ｘ，
ｙは視点座標，第３の引数ｗは幅，第４の引数ｍはｘ方
向の変位，第５の引数ｎはｙ方向の変位を表す。
【００１９】まず，ステップＳ３０では，視点座標の移
動があるかどうかを判定し，視点座標の移動があればメ
イン処理を終了させる。視点座標の移動がなければ，ス
テップＳ３１によってｐｘ，ｐｙを次式により計算す
る。
動があるかどうかを判定し，視点座標の移動があればメ
イン処理を終了させる。視点座標の移動がなければ，ス
テップＳ３１によってｐｘ，ｐｙを次式により計算す
る。
【００２０】ｐｘ＝ｘ＋ｍ−（ｗ＋１）／２ ｐｙ＝ｙ＋ｎ−（ｗ＋１）／２ このｐｘ，ｐｙがそれぞれ０より大きく，かつＸ，Ｙ以
下であるかどうかを，ステップ３２で判定し，Ｙｅｓで
あれば，ステップＳ３３により図５（Ａ）に示すサブル
ーチンＳｕｂ２（ｐｘ，ｐｙ）を呼び出し，ｐｘ，ｐｙ
の画素データを画像符号化部１４へ送る処理を行う。Ｎ
ｏであれば処理を終了して，呼び出し元のメイン処理へ
戻る。
下であるかどうかを，ステップ３２で判定し，Ｙｅｓで
あれば，ステップＳ３３により図５（Ａ）に示すサブル
ーチンＳｕｂ２（ｐｘ，ｐｙ）を呼び出し，ｐｘ，ｐｙ
の画素データを画像符号化部１４へ送る処理を行う。Ｎ
ｏであれば処理を終了して，呼び出し元のメイン処理へ
戻る。
【００２１】図５（Ａ）のサブルーチンＳｕｂ２（ｐ
ｘ，ｐｙ）では，ステップＳ４０により，（ｐｘ，ｐ
ｙ）の画素データを既に送ったかを，出力済み座標記憶
部１６との比較で調べる。ステップＳ４１の判定によ
り，出力済みであれば何もしないで呼び出し元へ戻る。
出力済みでなければ，ステップＳ４２により（ｐｘ，ｐ
ｙ）の画素データを画像符号化部１４へ送り，呼び出し
元へ戻る。
ｘ，ｐｙ）では，ステップＳ４０により，（ｐｘ，ｐ
ｙ）の画素データを既に送ったかを，出力済み座標記憶
部１６との比較で調べる。ステップＳ４１の判定によ
り，出力済みであれば何もしないで呼び出し元へ戻る。
出力済みでなければ，ステップＳ４２により（ｐｘ，ｐ
ｙ）の画素データを画像符号化部１４へ送り，呼び出し
元へ戻る。
【００２２】視点中心画像復元部２３で画像データを復
元するアルゴリズムは，図３，図４および図５（Ｂ）に
示すとおりである。図３のメイン処理および図４のサブ
ルーチンＳｕｂ１（ｘ，ｙ，ｗ，ｍ，ｎ）は，前述した
画像符号化部１４へ送る画像データの決定を行うアルゴ
リズムと同様である。
元するアルゴリズムは，図３，図４および図５（Ｂ）に
示すとおりである。図３のメイン処理および図４のサブ
ルーチンＳｕｂ１（ｘ，ｙ，ｗ，ｍ，ｎ）は，前述した
画像符号化部１４へ送る画像データの決定を行うアルゴ
リズムと同様である。
【００２３】図５（Ｂ）に示すサブルーチンＳｕｂ２
（ｐｘ，ｐｙ）では，まずステップＳ５０において，
（ｐｘ，ｐｙ）の画素データを既に送ったかを，出力フ
レームバッファ２４との比較で調べる。ステップＳ５１
の判定により，出力済みであれば処理を終了して呼び出
し元へ戻る。出力済みでなければ，ステップＳ５２によ
り（ｐｘ，ｐｙ）の画素データを出力フレームバッファ
２４へ送り，呼び出し元へ戻る。
（ｐｘ，ｐｙ）では，まずステップＳ５０において，
（ｐｘ，ｐｙ）の画素データを既に送ったかを，出力フ
レームバッファ２４との比較で調べる。ステップＳ５１
の判定により，出力済みであれば処理を終了して呼び出
し元へ戻る。出力済みでなければ，ステップＳ５２によ
り（ｐｘ，ｐｙ）の画素データを出力フレームバッファ
２４へ送り，呼び出し元へ戻る。
【００２４】以上のアルゴリズムにより，視点座標を中
心に広がる高解像度画像を順次伝送し，受信側ではそれ
を復元することができる。次に，図６に示す例に従っ
て，本発明により動画像を伝送する場合の実施例を説明
する。図６において，図１と同符号のものは図１に示す
ものに対応し，１７は低解像度の画像を蓄積する画像蓄
積部，１８は画像を比較する画像比較部，１９は出力済
みの画素座標をビットマップで管理する画像更新テーブ
ルを表す。
心に広がる高解像度画像を順次伝送し，受信側ではそれ
を復元することができる。次に，図６に示す例に従っ
て，本発明により動画像を伝送する場合の実施例を説明
する。図６において，図１と同符号のものは図１に示す
ものに対応し，１７は低解像度の画像を蓄積する画像蓄
積部，１８は画像を比較する画像比較部，１９は出力済
みの画素座標をビットマップで管理する画像更新テーブ
ルを表す。
【００２５】初期設定として，送信側の画像更新テーブ
ル１９は初期値としてすべてをオフにする。画像更新テ
ーブル１９においてフラグがオンの画素座標は，その画
素データが高解像で出力されたことを示す。画素が変化
すると，その部分のフラグがオフにされる。
ル１９は初期値としてすべてをオフにする。画像更新テ
ーブル１９においてフラグがオンの画素座標は，その画
素データが高解像で出力されたことを示す。画素が変化
すると，その部分のフラグがオフにされる。
【００２６】送信側の画像入力部１１でサンプリングさ
れた画像は，入力フレームバッファ１２に入り，低解像
度画像生成部１３で入力画像の低解像度な画像が生成さ
れ，画像蓄積部１７に蓄積されると共に，画像符号化部
１４で符号化されて，通信網３０を通して受信側に送ら
れる。次の画像が入力されると，画像比較部１８により
画像蓄積部１７にある１つ前の画像と比較し，更新され
た画素座標を画像更新テーブル１９にフラグをオフにし
て登録し，その部分について高解像度な画像が未出力で
あることを示す。画像符号化部１４では更新された画像
データだけが符号化されて，通信網３０を通して受信側
に送られる。
れた画像は，入力フレームバッファ１２に入り，低解像
度画像生成部１３で入力画像の低解像度な画像が生成さ
れ，画像蓄積部１７に蓄積されると共に，画像符号化部
１４で符号化されて，通信網３０を通して受信側に送ら
れる。次の画像が入力されると，画像比較部１８により
画像蓄積部１７にある１つ前の画像と比較し，更新され
た画素座標を画像更新テーブル１９にフラグをオフにし
て登録し，その部分について高解像度な画像が未出力で
あることを示す。画像符号化部１４では更新された画像
データだけが符号化されて，通信網３０を通して受信側
に送られる。
【００２７】受信側では画像復号化部２１で復号された
画像を出力フレームバッファ２４に入れ，表示部２５で
低解像度な画像を表示する。受信者がその表示を見て，
視点入力部２６で視点を入力する。視点検出部２７で得
られた視点座標を通信網３０を通し，送信側の視点中心
画像走査部１５へ送る。
画像を出力フレームバッファ２４に入れ，表示部２５で
低解像度な画像を表示する。受信者がその表示を見て，
視点入力部２６で視点を入力する。視点検出部２７で得
られた視点座標を通信網３０を通し，送信側の視点中心
画像走査部１５へ送る。
【００２８】視点中心画像走査部１５では，受信した視
点座標から，視点座標とその周りの座標を順次求め，画
素が既に伝送されているかどうかを出力済み座標記憶部
１６により画像更新テーブル１９をもとに判断して，既
に伝送されている画像データ以外を画像符号化部１４へ
送る。このとき伝送する画素の大きさは伝送効率と表示
効果のトレイドオフで決める。
点座標から，視点座標とその周りの座標を順次求め，画
素が既に伝送されているかどうかを出力済み座標記憶部
１６により画像更新テーブル１９をもとに判断して，既
に伝送されている画像データ以外を画像符号化部１４へ
送る。このとき伝送する画素の大きさは伝送効率と表示
効果のトレイドオフで決める。
【００２９】画像符号化部１４へ転送された座標は，出
力済み座標記憶部１６により画像更新テーブル１９のフ
ラグをオンにして記録される。画像符号化部１４で符号
化された画像データは，通信網３０を通して受信側の画
像復号化部２１へ送られる。
力済み座標記憶部１６により画像更新テーブル１９のフ
ラグをオンにして記録される。画像符号化部１４で符号
化された画像データは，通信網３０を通して受信側の画
像復号化部２１へ送られる。
【００３０】画像復号化部２１で復号された画像データ
は，一旦，復号バッファ２２に入る。視点中心画像復元
部２３では視点座標を元に送信側と同じアルゴリズム
で，視点座標からその周りの画像データを出力フレーム
バッファ２４に送る。
は，一旦，復号バッファ２２に入る。視点中心画像復元
部２３では視点座標を元に送信側と同じアルゴリズム
で，視点座標からその周りの画像データを出力フレーム
バッファ２４に送る。
【００３１】図３〜図５で説明したアルゴリズムによ
り，視点座標を中心に広がる高解像度画像が順次伝送さ
れる。画像の変化があり，かつ視点の近傍でない部分に
ついては，低解像度な画像に置き変わって表示される。
り，視点座標を中心に広がる高解像度画像が順次伝送さ
れる。画像の変化があり，かつ視点の近傍でない部分に
ついては，低解像度な画像に置き変わって表示される。
【００３２】ｔ１，ｔ２，ｔ３，ｔ４の時間経過のもと
で得られる送信側のサンプリング画像，低解像度画像，
画像更新テーブル１９，受信側の表示画像の変化の例
を，図７に示す。
で得られる送信側のサンプリング画像，低解像度画像，
画像更新テーブル１９，受信側の表示画像の変化の例
を，図７に示す。
【００３３】図７（３）は，初期設定時ｔ１において，
送信側の画像更新テーブル１９が初期値としてすべてを
オフに設定された状態を示している。送信側の画像入力
部１１で４×４の画素でサンプリングされた画像（図７
（１））は入力フレームバッファ１２に入り，低解像度
画像生成部１３で２×２の画素でサンプリングされ，図
７（２）に示す低解像度な画像が生成され，画像蓄積部
１７に蓄積される。それと共に画像符号化部１４で符号
化されて，通信網３０を通して受信側に送られる。次の
画像が入力されると画像比較部１８で画像蓄積部１７に
ある１つ前の画像と比較し，更新された画素座標を画像
更新テーブル１９にフラグをオフにして登録する。画像
符号化部１４では更新された画像データだけが符号化さ
れて，通信網３０を通して受信側に送られる。
送信側の画像更新テーブル１９が初期値としてすべてを
オフに設定された状態を示している。送信側の画像入力
部１１で４×４の画素でサンプリングされた画像（図７
（１））は入力フレームバッファ１２に入り，低解像度
画像生成部１３で２×２の画素でサンプリングされ，図
７（２）に示す低解像度な画像が生成され，画像蓄積部
１７に蓄積される。それと共に画像符号化部１４で符号
化されて，通信網３０を通して受信側に送られる。次の
画像が入力されると画像比較部１８で画像蓄積部１７に
ある１つ前の画像と比較し，更新された画素座標を画像
更新テーブル１９にフラグをオフにして登録する。画像
符号化部１４では更新された画像データだけが符号化さ
れて，通信網３０を通して受信側に送られる。
【００３４】受信側では画像復号化部２１で復号された
画像を出力フレームバッファ２４に入れ，表示部２５で
図７（４）に示す低解像度な画像を表示する。受信者が
その表示画像を見て，視点入力部２６で視点Ｓを入力し
たとする。視点検出部２７はその視点Ｓの座標を検出
し，通信網３０を通して送信側の視点中心画像走査部１
５へ送る。
画像を出力フレームバッファ２４に入れ，表示部２５で
図７（４）に示す低解像度な画像を表示する。受信者が
その表示画像を見て，視点入力部２６で視点Ｓを入力し
たとする。視点検出部２７はその視点Ｓの座標を検出
し，通信網３０を通して送信側の視点中心画像走査部１
５へ送る。
【００３５】視点中心画像走査部１５では視点Ｓの座標
から，画素が既に伝送されているかどうかを図７（３）
に示す画像更新テーブル１９により判断して，画像符号
化部１４へ送る。画像符号化部１４へ転送された座標
は，出力済み座標記憶部１６により図７（５）に示すよ
うに画像更新テーブル１９のフラグをオンにして記録さ
れる。
から，画素が既に伝送されているかどうかを図７（３）
に示す画像更新テーブル１９により判断して，画像符号
化部１４へ送る。画像符号化部１４へ転送された座標
は，出力済み座標記憶部１６により図７（５）に示すよ
うに画像更新テーブル１９のフラグをオンにして記録さ
れる。
【００３６】画像符号化部１４で符号化された画像デー
タは，通信網３０を通して受信側の画像復号化部２１へ
送られる。画像復号化部２１で復号された画像データ
は，一旦，復号バッファ２２に入る。視点中心画像復元
部２３では視点座標を元に送信側と同じアルゴリズムで
視点座標から，その周りの画像データを出力フレームバ
ッファ２４に送る。これにより，図７（６）に示すよう
に，視点Ｓの部分が高解像度で表示される。
タは，通信網３０を通して受信側の画像復号化部２１へ
送られる。画像復号化部２１で復号された画像データ
は，一旦，復号バッファ２２に入る。視点中心画像復元
部２３では視点座標を元に送信側と同じアルゴリズムで
視点座標から，その周りの画像データを出力フレームバ
ッファ２４に送る。これにより，図７（６）に示すよう
に，視点Ｓの部分が高解像度で表示される。
【００３７】次に送られる画素は，視点座標の周りの画
素である。視点中心画像走査部１５で視点座標の周りの
座標を求め，画素が既に伝送されているかどうかを，図
７（５）に示す画像更新テーブル１９から判断して，受
信側へ送られ，画像更新テーブル１９は図７（７）に示
すように更新される。受信側の表示部２５には，図７
（８）に示す画像が表示される。
素である。視点中心画像走査部１５で視点座標の周りの
座標を求め，画素が既に伝送されているかどうかを，図
７（５）に示す画像更新テーブル１９から判断して，受
信側へ送られ，画像更新テーブル１９は図７（７）に示
すように更新される。受信側の表示部２５には，図７
（８）に示す画像が表示される。
【００３８】図７（９）に示す画素群Ｐのように送信側
のサンプリング画像の変化があった場合，図７（１０）
に示すように低解像度画像のサンプリングが行われ，画
像更新テーブル１９は図７（１１）のように変化した画
素の部分がオフにされる。そして，更新された画像デー
タだけが符号化されて通信網３０を通して，受信側に送
られる。こうして送られた画像が，図７（１２）に示す
ように受信側で表示される。
のサンプリング画像の変化があった場合，図７（１０）
に示すように低解像度画像のサンプリングが行われ，画
像更新テーブル１９は図７（１１）のように変化した画
素の部分がオフにされる。そして，更新された画像デー
タだけが符号化されて通信網３０を通して，受信側に送
られる。こうして送られた画像が，図７（１２）に示す
ように受信側で表示される。
【００３９】
【発明の効果】以上説明したように，本発明によれば，
表示画像を送る場合に，受信者の指示による視点を中心
にした部分を優先的に伝送することにより，受信者は効
率的な画像検索や画像認識ができるようになる。
表示画像を送る場合に，受信者の指示による視点を中心
にした部分を優先的に伝送することにより，受信者は効
率的な画像検索や画像認識ができるようになる。
【図１】本発明による処理系の構成例を示す図である。
【図２】視点座標を中心として送られる画像の説明図で
ある。
ある。
【図３】視点中心画像走査部および視点中心画像復元部
のアルゴリズムの例を示す図である。
のアルゴリズムの例を示す図である。
【図４】視点中心画像走査部および視点中心画像復元部
のアルゴリズムの例を示す図である。
のアルゴリズムの例を示す図である。
【図５】視点中心画像走査部および視点中心画像復元部
のアルゴリズムの例を示す図である。
のアルゴリズムの例を示す図である。
【図６】本発明により動画像を伝送する場合の実施例の
ブロック図である。
ブロック図である。
【図７】各ｔ１，ｔ２，ｔ３，ｔ４の時間経過のもとで
得られる送信側のサンプリング画像，低解像度画像，画
像更新テーブル，受信側の表示画像の変化の例を示す図
である。
得られる送信側のサンプリング画像，低解像度画像，画
像更新テーブル，受信側の表示画像の変化の例を示す図
である。
１０ 画像送信装置 １１ 画像入力部 １２ 入力フレームバッファ １３ 低解像度画像生成部 １４ 画像符号化部 １５ 視点中心画像走査部 １６ 出力済み座標記憶部 ２０ 画像受信装置 ２１ 画像復号化部 ２２ 復号バッファ ２３ 視点中心画像復元部 ２４ 出力フレームバッファ ２５ 表示部 ２６ 視点入力部 ２７ 視点検出部
Claims (2)
- 【請求項１】 画像を伝送し，表示する画像伝送方法に
おいて，画像の受信側において入力された表示器上の視
点位置を検出する過程と，検出した視点位置情報を画像
の送信側へ送信する過程と，画像の送信側において受信
した視点位置情報に基づき視点を中心とする部分の画像
を走査し優先的に符号化して伝送する過程と，画像の受
信側において受信した視点を中心とする部分の画像を復
号化して表示する過程とを有することを特徴とする視点
適応型画像伝送方法。 - 【請求項２】 画像送信装置と画像受信装置とを備え，
画像を伝送して表示する画像伝送装置において，前記画
像送信装置は，画像を入力する手段と，入力した画像を
蓄積する手段と，画像を符号化して送信する手段と，画
像受信装置から受信した視点位置情報に基づき視点を中
心とする画像を走査しその部分の画像を優先的に符号化
対象とする手段とを備え，前記画像受信装置は，受信し
た画像を表示する表示器と，その表示器上の視点位置を
検出し前記画像送信装置へ送信する手段と，前記画像送
信装置から受信した画像を復号化する手段と，復号化し
た画像が視点を中心とする画像である場合にその画像を
視点位置に基づいて復元する手段と，復元した画像デー
タを前記表示器へ出力する手段とを備えたことを特徴と
する視点適応型画像伝送装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7301594A JPH07284095A (ja) | 1994-04-12 | 1994-04-12 | 視点適応型画像伝送方法および画像伝送装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7301594A JPH07284095A (ja) | 1994-04-12 | 1994-04-12 | 視点適応型画像伝送方法および画像伝送装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07284095A true JPH07284095A (ja) | 1995-10-27 |
Family
ID=13506098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7301594A Pending JPH07284095A (ja) | 1994-04-12 | 1994-04-12 | 視点適応型画像伝送方法および画像伝送装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07284095A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
| JP2004007421A (ja) * | 2002-05-31 | 2004-01-08 | Innotive Corp | ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法 |
| JP2008510357A (ja) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置 |
| WO2015178133A1 (ja) * | 2014-05-22 | 2015-11-26 | オリンパス株式会社 | 無線内視鏡システム、内視鏡、表示装置、画像送信方法、画像表示方法、及びプログラム |
| JP2017041688A (ja) * | 2015-08-18 | 2017-02-23 | 富士ゼロックス株式会社 | サーバー装置、情報処理システム及び端末装置 |
| JP2022501685A (ja) * | 2018-06-26 | 2022-01-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | シーンの画像を生成するための装置および方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
| JPS60180389A (ja) * | 1984-02-28 | 1985-09-14 | Nec Corp | 画像伝送装置 |
| JPS6378673A (ja) * | 1986-09-22 | 1988-04-08 | Ricoh Co Ltd | 画像伝送方式 |
| JPS6451883A (en) * | 1987-08-24 | 1989-02-28 | Toshiba Corp | Still picture transmission system |
| JPH02100488A (ja) * | 1988-10-06 | 1990-04-12 | Fuji Xerox Co Ltd | 画像伝送装置 |
-
1994
- 1994-04-12 JP JP7301594A patent/JPH07284095A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5335313A (en) * | 1976-09-13 | 1978-04-01 | Nippon Telegr & Teleph Corp <Ntt> | Picture image communication system |
| JPS60180389A (ja) * | 1984-02-28 | 1985-09-14 | Nec Corp | 画像伝送装置 |
| JPS6378673A (ja) * | 1986-09-22 | 1988-04-08 | Ricoh Co Ltd | 画像伝送方式 |
| JPS6451883A (en) * | 1987-08-24 | 1989-02-28 | Toshiba Corp | Still picture transmission system |
| JPH02100488A (ja) * | 1988-10-06 | 1990-04-12 | Fuji Xerox Co Ltd | 画像伝送装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
| JP2004007421A (ja) * | 2002-05-31 | 2004-01-08 | Innotive Corp | ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法 |
| JP2008510357A (ja) * | 2004-08-13 | 2008-04-03 | インダストリー・アカデミック・コーオペレーション・ファウンデーション・キョンヒ・ユニヴァーシティ | 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置 |
| WO2015178133A1 (ja) * | 2014-05-22 | 2015-11-26 | オリンパス株式会社 | 無線内視鏡システム、内視鏡、表示装置、画像送信方法、画像表示方法、及びプログラム |
| JP2015221095A (ja) * | 2014-05-22 | 2015-12-10 | オリンパス株式会社 | 無線内視鏡システム、内視鏡、表示装置、画像送信方法、画像表示方法、及びプログラム |
| CN106455945A (zh) * | 2014-05-22 | 2017-02-22 | 奥林巴斯株式会社 | 无线内窥镜系统、内窥镜、显示装置、图像发送方法、图像显示方法和程序 |
| US10250853B2 (en) | 2014-05-22 | 2019-04-02 | Olympus Corporation | Wireless endoscope system, endoscope, display device, image transmission method, image display method, and program |
| JP2017041688A (ja) * | 2015-08-18 | 2017-02-23 | 富士ゼロックス株式会社 | サーバー装置、情報処理システム及び端末装置 |
| JP2022501685A (ja) * | 2018-06-26 | 2022-01-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | シーンの画像を生成するための装置および方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8787460B1 (en) | Method and apparatus for motion vector estimation for an image sequence | |
| US8619083B2 (en) | Multi-layer image composition with intermediate blending resolutions | |
| US7551782B2 (en) | System and method of user interface and data entry from a video call | |
| CN108881743B (zh) | 一种基于拼接墙的视频图像处理方法、装置及系统 | |
| US20020054211A1 (en) | Surveillance video camera enhancement system | |
| US11922599B2 (en) | Video super-resolution processing method and apparatus | |
| JPH08265745A (ja) | 特徴点の特定装置及びその方法 | |
| CN104735449A (zh) | 一种基于矩形分割隔列扫描的图像传输方法及系统 | |
| JPH02501701A (ja) | 信号コーディング | |
| EP2156657B1 (en) | Remote viewfinding | |
| JPH08317411A (ja) | 動きを推定する為の多重解像度循環探索装置及びその方法 | |
| CN110928509B (zh) | 显示控制方法、显示控制装置、存储介质、通信终端 | |
| JPH07284095A (ja) | 視点適応型画像伝送方法および画像伝送装置 | |
| US6571015B1 (en) | Method for compressing image information at high speed and method for transferring real-time moving images utilizing the same | |
| US5515179A (en) | Image processing of isolated pixels, and method, apparatus and facsimile incorporating such processing | |
| CN106713739A (zh) | 一种基于电子屏幕显示的二维码的识别方法 | |
| CN110650309B (zh) | 视频会议视频图像传输方法、终端及可读存储介质 | |
| US7944510B2 (en) | Broadcast receiving apparatus for capturing broadcast signal and method thereof | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US20020126761A1 (en) | Video data processing method | |
| JP2663922B2 (ja) | 動画像符号化装置 | |
| US20070098277A1 (en) | Transmitting apparatus, image processing system, image processing method, program, and recording medium | |
| JP4218278B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム | |
| CN117336537A (zh) | 视频推流方法、装置、计算机设备及计算机可读存储介质 | |
| CN112948046A (zh) | 截屏方法、装置、设备及存储介质 |