JP5210212B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP5210212B2 JP5210212B2 JP2009063228A JP2009063228A JP5210212B2 JP 5210212 B2 JP5210212 B2 JP 5210212B2 JP 2009063228 A JP2009063228 A JP 2009063228A JP 2009063228 A JP2009063228 A JP 2009063228A JP 5210212 B2 JP5210212 B2 JP 5210212B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel block
- data
- importance
- image processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
前記画像データが示す画像を複数の画素ブロックに分割する手段と、
複数チャネルを含む音声データを取得する手段と、
前記音声データを用いて音源の3次元空間における3次元座標位置を求め、該3次元空間中に仮想スクリーンを設定して該仮想スクリーン上に前記画像を配置した場合における該仮想スクリーン上のそれぞれの画素ブロックの前記3次元空間における3次元座標位置と、該求めた音源の3次元座標位置と、の間の距離を求める計算手段と、
前記複数の画素ブロックのそれぞれに対し、該画素ブロックについて求めた距離の大小に応じた重要度を示す重要度情報を割り当てる割り当て手段と、
前記複数の画素ブロックのそれぞれを圧縮する際、より高い重要度を示す重要度情報が割り当てられた画素ブロックは、より高い画質で復号されるように圧縮し、より低い重要度を示す重要度情報が割り当てられた画素ブロックは、より低い画質で復号されるように圧縮する手段と、
圧縮されたそれぞれの画素ブロックと、前記音声データと、を出力する出力手段と
を備えることを特徴とする。
本実施形態に係る画像処理装置は、各フレームの映像データ(画像データ)と、各フレームに対応する音声データとを、外部から若しくは自身が有するメモリから取得し、取得したこれらのデータを順次符号化してから出力する。出力先は特に限定するものではないが、本実施形態では、ある受信装置に対して出力するものとして説明する。
<参考文献2> L. Molgedey and H. G. Schuster, Separation of a mixture of independent signals using time delayed correlations, Physical Review Letter, 72, pp 3634-3637, 1994.
<参考文献3> J.-F. Cardoso and A. Souloumiac, Jacobi angles for simultaneous diagonalization, SIAM Journal on Matrix Analysis and Applications, Vol.17, No.1, 161-164, 1996.
重要度算出部117には、音声座標算出部116が求めた各音源の位置データが入力されると共に、映像分割部101からは各画素ブロックの位置データが入力される。もちろん、音声座標算出部116からのデータと映像分割部101からのデータは何れも同じフレームにおけるものである。
図5は、本実施形態に係るシステムの機能構成例を示すブロック図である。図5において、図1と同じ部分については同じ参照番号を付けており、その説明は省略する。音声分割部516は、音声データDB179から音声データを取得すると共に、この音声データと同じフレームの画像中における各画素ブロックの位置データが映像分割部101から入力される。そして音声分割部516は、取得した各画素ブロックの位置データと音声データとを用いて、各画素ブロックに対する音量を示す音量情報を求める処理を行う。
各画素ブロックに対する重要度を決定する場合、第1の実施形態では、音源と画素ブロックとの間の距離に基づいてこの画素ブロックに対する重要度を決定していた。また、第2の実施形態では、音源と画素ブロックとの間の距離を一旦計算し、この計算した距離に基づいてこの画素ブロックに対する音量情報を求め、求めた音量情報に基づいてこの画素ブロックに対する重要度を決定していた。
図9は、図1,5に示した画像処理装置に適用可能なハードウェアの構成例を示す図である。CPU801は、ROM803やRAM802に格納されているコンピュータプログラムやデータを用いて、装置全体の制御を行うと共に、画像処理装置100(500)が行うものとして上述した各処理を実行する。
・ 映像圧縮部104
・ 並び替え部105
・ ストリーム生成部106(506)
・ 音声座標算出部116
・ 重要度算出部117(517)
・ 音声分割部516
なお、映像圧縮部104等、一部については専用のハードウェアでもって構成しても良い。外部記憶装置804は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置804には、上記映像データDB178や、上記音声データDB179等が設けられている。外部記憶装置804に保存されているコンピュータプログラムやデータは、CPU801による制御に従って適宜RAM802にロードされ、CPU801による処理対象となる。しかし、映像データDB178や音声データDB179については、外部記憶装置804内に設けることに限定するものではなく、ネットワーク108を介して他の装置内に設けられても良い。
Claims (8)
- 画像データを取得する手段と、
前記画像データが示す画像を複数の画素ブロックに分割する手段と、
複数チャネルを含む音声データを取得する手段と、
前記音声データを用いて音源の3次元空間における3次元座標位置を求め、該3次元空間中に仮想スクリーンを設定して該仮想スクリーン上に前記画像を配置した場合における該仮想スクリーン上のそれぞれの画素ブロックの前記3次元空間における3次元座標位置と、該求めた音源の3次元座標位置と、の間の距離を求める計算手段と、
前記複数の画素ブロックのそれぞれに対し、該画素ブロックについて求めた距離の大小に応じた重要度を示す重要度情報を割り当てる割り当て手段と、
前記複数の画素ブロックのそれぞれを圧縮する際、より高い重要度を示す重要度情報が割り当てられた画素ブロックは、より高い画質で復号されるように圧縮し、より低い重要度を示す重要度情報が割り当てられた画素ブロックは、より低い画質で復号されるように圧縮する手段と、
圧縮されたそれぞれの画素ブロックと、前記音声データと、を出力する出力手段と
を備えることを特徴とする画像処理装置。 - 前記割り当て手段は、前記複数の画素ブロックのそれぞれに対し、該画素ブロックについて求めた距離が小さいほど高い重要度を示す重要度情報を割り当てることを特徴とする請求項1に記載の画像処理装置。
- 前記計算手段は、
前記音声データを用いて、前記3次元空間における複数の音源のそれぞれの3次元座標位置を求め、該音源の3次元座標位置と、前記仮想スクリーン上のそれぞれの画素ブロックの3次元座標位置と、の間の距離を求め、
前記割り当て手段は、
前記音源ごとに、前記複数の画素ブロックのそれぞれに対して該画素ブロックと該音源との間の距離の大小に応じた重要度を求める手段と、
前記複数の画素ブロックのそれぞれに対し、該画素ブロックに対して求めた前記音源ごとの重要度の合計値を求め、該求めた合計値を示す情報を前記重要度情報として該画素ブロックに割り当てる手段と
を備える
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記計算手段は、前記3次元空間における視聴者の位置と前記音源の位置との間の位置に仮想スクリーンを設定して該仮想スクリーン上に前記画像を配置した場合における該仮想スクリーン上のそれぞれの画素ブロックの前記3次元空間における3次元座標位置と、前記音源の3次元座標位置と、の間の距離を求めることを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記出力手段は、前記音声データを圧縮してから出力することを特徴とする請求項1に記載の画像処理装置。
- 前記出力手段は、圧縮されたそれぞれの画素ブロックを、対応する重要度情報が示す重要度が高い順に並び替え、並び替えた画素ブロックの集合と、前記音声データと、を含むストリームを出力することを特徴とする請求項1に記載の画像処理装置。
- 画像処理装置が行う画像処理方法であって、
前記画像処理装置の画像データ取得手段が、画像データを取得する工程と、
前記画像処理装置の分割手段が、前記画像データが示す画像を複数の画素ブロックに分割する工程と、
前記画像処理装置の音声データ取得手段が、複数チャネルを含む音声データを取得する工程と、
前記画像処理装置の計算手段が、前記音声データを用いて音源の3次元空間における3次元座標位置を求め、該3次元空間中に仮想スクリーンを設定して該仮想スクリーン上に前記画像を配置した場合における該仮想スクリーン上のそれぞれの画素ブロックの前記3次元空間における3次元座標位置と、該求めた音源の3次元座標位置と、の間の距離を求める計算工程と、
前記画像処理装置の割り当て手段が、前記複数の画素ブロックのそれぞれに対し、該画素ブロックについて求めた距離の大小に応じた重要度を示す重要度情報を割り当てる割り当て工程と、
前記画像処理装置の圧縮手段が、前記複数の画素ブロックのそれぞれを圧縮する際、より高い重要度を示す重要度情報が割り当てられた画素ブロックは、より高い画質で復号されるように圧縮し、より低い重要度を示す重要度情報が割り当てられた画素ブロックは、より低い画質で復号されるように圧縮する工程と、
前記画像処理装置の出力手段が、圧縮されたそれぞれの画素ブロックと、前記音声データと、を出力する出力工程と
を備えることを特徴とする画像処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009063228A JP5210212B2 (ja) | 2009-03-16 | 2009-03-16 | 画像処理装置、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009063228A JP5210212B2 (ja) | 2009-03-16 | 2009-03-16 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010219786A JP2010219786A (ja) | 2010-09-30 |
JP2010219786A5 JP2010219786A5 (ja) | 2012-04-26 |
JP5210212B2 true JP5210212B2 (ja) | 2013-06-12 |
Family
ID=42978157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009063228A Active JP5210212B2 (ja) | 2009-03-16 | 2009-03-16 | 画像処理装置、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5210212B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
US11501532B2 (en) | 2019-04-25 | 2022-11-15 | International Business Machines Corporation | Audiovisual source separation and localization using generative adversarial networks |
JP2023042323A (ja) * | 2021-09-14 | 2023-03-27 | 株式会社Jvcケンウッド | 利用者端末、データ処理方法、及びデータ処理プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06217276A (ja) * | 1992-08-27 | 1994-08-05 | Toshiba Corp | 動画像符号化装置 |
-
2009
- 2009-03-16 JP JP2009063228A patent/JP5210212B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010219786A (ja) | 2010-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6422995B2 (ja) | スクリーン関連オーディオオブジェクトリマッピングのための装置および方法 | |
JP7174810B2 (ja) | 高次アンビソニックス(hoa)信号を圧縮する方法、圧縮されたhoa信号を圧縮解除する方法、hoa信号を圧縮する装置および圧縮されたhoa信号を圧縮解除する装置 | |
KR102626677B1 (ko) | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 | |
KR102428794B1 (ko) | 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치 | |
JP5210212B2 (ja) | 画像処理装置、画像処理方法 | |
EP2732622B1 (en) | Multipoint connection apparatus and communication system | |
JP5308376B2 (ja) | 音信号擬似定位システム、方法、音信号擬似定位復号装置及びプログラム | |
US7292709B2 (en) | System for transmitting patient information | |
JP2013192139A (ja) | 多地点ビデオ会議システム及び画面配置割当て方法 | |
JP2001069502A (ja) | 映像送信端末、及び映像受信端末 | |
JP2010219786A5 (ja) | ||
JP6807527B2 (ja) | 番組分割装置及び番組分割方法 | |
JP2009089156A (ja) | 配信システムおよび配信方法 | |
JP2007124253A (ja) | 情報処理装置および制御方法 | |
JP6468739B2 (ja) | 映像音声信号送信装置及び方法 | |
JP7505029B2 (ja) | 適応オーディオ配信およびレンダリング | |
US12062377B2 (en) | Apparatus and method for processing audio | |
KR20230153226A (ko) | 다채널 오디오 신호 처리 장치 및 방법 | |
JP5866575B1 (ja) | 音声信号の線形予測装置、音声信号の線形予測方法 | |
KR101016199B1 (ko) | 복수의 참조프레임을 이용하여 중간 영상을 생성하는 장치 및 그 방법 | |
JP2022067849A (ja) | 映像符号化装置及びプログラム | |
CN117676071A (zh) | 音视频增强方法、装置、计算机设备和存储介质 | |
JPH06253302A (ja) | Tv会議システム | |
JP2001069123A (ja) | マルチメディアデータ通信装置及びその通信方法 | |
JP2015118324A (ja) | 符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120308 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130222 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5210212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |