JP6634976B2 - 情報処理装置、及びプログラム - Google Patents
情報処理装置、及びプログラム Download PDFInfo
- Publication number
- JP6634976B2 JP6634976B2 JP2016130992A JP2016130992A JP6634976B2 JP 6634976 B2 JP6634976 B2 JP 6634976B2 JP 2016130992 A JP2016130992 A JP 2016130992A JP 2016130992 A JP2016130992 A JP 2016130992A JP 6634976 B2 JP6634976 B2 JP 6634976B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- data
- sound data
- frequency
- panoramic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
<動画再生システムの構成>
第1の実施形態に係る動画再生システム1の構成について説明する。図1は、第1の実施形態に係る動画再生システム1の一例を示す図である。動画再生システム1は、撮像装置100と、端末200とを有する。撮像装置100と端末200とは、無線2を介して接続される。無線2は、例えば、WLAN(Wireless Local Access Network)、Bluetooth(登録商標)、及びBLE(Bluetooth Low Energy)等により実現される。
図2及び図3を用いて、第1の実施形態に係る撮像装置100の概要について説明する。図2は、第1の実施形態に係る撮像装置100の一例を示す模式図である。図2の(A)は、撮像装置100の外観を示しており、図2の(B)は、撮像装置100の方向1〜3からの外観を示す平面図である。撮像装置100は、撮像素子(101A、101B)、魚眼レンズ(102A、102B)、筐体103、音入力装置(104A、104B、104C)、及び操作装置105を有する。
(1)撮像装置
図4は、第1の実施形態に係る撮像装置100のハードウエア構成の一例を示す図である。
図5は、第1の実施形態に係る端末200のハードウエア構成の一例を示す図である。
(1)撮像装置
図6を用いて撮像装置100の機能構成について説明する。図6は、第1の実施形態に係る撮像装置100の機能構成の一例を示す図である。
図8を用いて端末200の機能構成について説明する。図8は、第1の実施形態に係る端末200の機能構成の一例を示す図である。端末200は、受付部210、再生制御部215、送受信部220、動画像デコーダ230、表示制御部240、音デコーダ250、音周波数解析部260、音合成部270、及び音処理部280を有する。これらの機能は、ROM203等に記憶された1以上のプログラムを読み出して、CPU201が実行することにより実現される。端末200は、情報記憶部290を有する。情報記憶部290は、例えば、ストレージ装置204により実現される。
図10乃至図12を用いて、音合成部270による音の合成処理について説明する。
高周波データの合成処理が実行される際には、耳の方向と音データの方向の角度を基に重み付け処理が実行される。まず、図10を用いて、「耳の方向と音データの方向」との角度の特定方法について説明する。図10は、第1の実施形態に係る耳の方向と音データの方向との関係の一例を示す図である。
次に、図12を用いて、音の合成処理について具体的に説明する。図12は、第1の実施形態に係る音合成処理に用いる計算式の一例を示す図である。
(1)動画再生開始時
図13を用いて、端末200の動画再生開始時の動作について説明する。図13は第1の実施形態に係る端末200の動作シーケンスの一例を示す図である。
次に、図14を用いて動画の表示領域の変更時の端末200の動作シーケンスについて説明する。図14は、第1の実施形態に係る端末200の動作シーケンスの一例を示す図である。
次に、第2の実施形態について説明する。第1の実施形態と共通する部分については説明を省略し、異なる部分についてのみ説明する。
図15を用いて第2の実施形態に係る音周波数解析部260A及び音合成部270Aについて説明する。図15は、第2の実施形態に係る音周波数解析部260A及び音合成部270Aの機能構成の一例を示す図である。
図16を用いてHPF出力調整部276が実行する動作フローについて説明する。図16は第2の実施形態に係るHPF出力調整部276の動作フローの一例を示す図である。
ここで、Kmaxは1以上の値であり、Knot_maxは、1より小さい値である。
端末200は、情報処理装置の一例である。音周波数解析部260、音合成部270、及び音処理部280は、音出力制御部の一例である。右耳の方向22Aは、第1の方向の一例である。左耳の方向22Bは、第2の方向の一例である。
2 無線
100 撮像装置
110 受付部 (撮像装置)
120 送受信部 (撮像装置)
130 撮像データ取得部
140 動画データ生成部
150 音データ取得部
160 音データ生成部
170 情報記憶部 (撮像装置)
171 指向性管理テーブル
172 対応管理テーブル
200 端末
210 受付部 (端末)
215 再生制御部
220 送受信部 (端末)
230 動画像デコーダ
240 表示制御部
250 音デコーダ
260 音周波数解析部
261 HPF(High Pass Filter)
262 LPF(Low Pass Filter)
264 BPF(Band Pass Filter)
270 音合成部
271 高周波数成分合成部
272 低周波数成分合成部
273 音出力データ生成部
275 中周波数成分合成部
276 出力調整部
280 音処理部
290 情報記憶部 (端末)
Claims (8)
- 撮像装置により撮像されたパノラマ動画データと、該パノラマ動画データの撮影時に、集音された音データの各々と、該音データの各々の方向とを取得する取得部と、
前記パノラマ動画データの所定の領域を切り出して画面に表示する表示制御部と、
前記所定の領域の前記パノラマ動画データ内での方向と、前記音データの各々の方向との角度を基に、前記音データの各々の所定の周波数より高い高周波成分の出力レベルを調整し、前記高周波成分の出力レベルが調整された音データの各々を合成して出力する音出力制御部と、を有する情報処理装置。 - 前記所定の領域の前記パノラマ動画データ内での方向は、前記所定の領域の中央位置と、撮像時の前記撮像装置の位置とから特定され、
前記音データの方向は、前記撮像装置の位置と、該音データを集音した集音装置の指向性とから特定される、請求項1に記載の情報処理装置。 - 前記音出力制御部は、
前記所定の領域の前記パノラマ動画データ内での方向と直交する第1の方向及び第2の方向を特定し、
前記音データの方向が、前記第1の方向に近い程、該音データの前記高周波成分の出力レベルが強調されるように調整された音データを出力し、
前記音データの方向が、前記第2の方向に近い程、該音データの前記高周波成分の出力レベルが強調されるように調整された音データを出力する、請求項1又は2に記載の情報処理装置。 - 前記音出力制御部は、前記音データの各々の前記所定の周波数以下の低周波数成分を平均化して出力する、請求項1乃至3のいずれか一項に記載の情報処理装置。
- 前記画面に表示する前記パノラマ動画データの領域の変更指示を受けて、前記表示制御部は、前記画面に表示す前記パノラマ動画データの領域を変更し、
前記パノラマ動画データの領域が変更されたことに応じて、前記音出力制御部は、変更された領域の前記パノラマ動画データ内での方向と、前記音データの各々の方向との角度を基に、前記高周波成分の出力レベルを調整する、請求項1乃至4のいずれか一項に記載の情報処理装置。 - 前記音出力制御部は、
前記音データの各々の前記高周波成分の中で、最も値が大きい一の周波数を特定し、
該一の周波数が、前記音データの各々で一致するか否かを判断し、
前記一の周波数が一致すると判断された場合、前記音データの各々の中で、最も大きい前記一の周波数の値を有する音データの前記高周波成分の出力レベルが大きくなるように調整する、請求項1乃至5のいずれか一項に記載の情報処理装置。 - 前記一の周波数が一致すると判断された場合、前記音出力制御部は、前記音データの各々の中で、最も大きい該一の周波数の値を有しない音データの前記高周波成分の出力レベルが小さくなるように調整する、請求項6に記載の情報処理装置。
- 撮像装置により撮像されたパノラマ動画データと、該パノラマ動画データの撮影時に、集音された音データの各々と、該音データの各々の方向とを取得するステップと、
前記パノラマ動画データの所定の領域を切り出して画面に表示するステップと、
前記所定の領域の前記パノラマ動画データ内での方向と、前記音データの各々の方向との角度を基に、前記音データの各々の所定の周波数より高い高周波成分の出力レベルを調整し、前記高周波成分の出力レベルが調整された音データの各々を合成して出力するステップと、をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130992A JP6634976B2 (ja) | 2016-06-30 | 2016-06-30 | 情報処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016130992A JP6634976B2 (ja) | 2016-06-30 | 2016-06-30 | 情報処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018005526A JP2018005526A (ja) | 2018-01-11 |
JP6634976B2 true JP6634976B2 (ja) | 2020-01-22 |
Family
ID=60949092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016130992A Active JP6634976B2 (ja) | 2016-06-30 | 2016-06-30 | 情報処理装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6634976B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019062448A (ja) * | 2017-09-27 | 2019-04-18 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62202607A (ja) * | 1987-02-23 | 1987-09-07 | ボ−ズ・コ−ポレ−シヨン | パワ−増幅システム |
JP3577798B2 (ja) * | 1995-08-31 | 2004-10-13 | ソニー株式会社 | ヘッドホン装置 |
JP2003299181A (ja) * | 2002-04-03 | 2003-10-17 | Sony Corp | オーディオ信号処理装置及びオーディオ信号処理方法 |
US7333622B2 (en) * | 2002-10-18 | 2008-02-19 | The Regents Of The University Of California | Dynamic binaural sound capture and reproduction |
JP2007027846A (ja) * | 2005-07-12 | 2007-02-01 | Oki Electric Ind Co Ltd | 動画再生システム及び動画再生方法 |
JP2007036608A (ja) * | 2005-07-26 | 2007-02-08 | Yamaha Corp | ヘッドホン装置 |
JP4670682B2 (ja) * | 2006-02-28 | 2011-04-13 | 日本ビクター株式会社 | オーディオ装置及び指向音生成方法 |
JP4495704B2 (ja) * | 2006-08-29 | 2010-07-07 | 日本電信電話株式会社 | 音像定位強調再生方法、及びその装置とそのプログラムと、その記憶媒体 |
US20080232601A1 (en) * | 2007-03-21 | 2008-09-25 | Ville Pulkki | Method and apparatus for enhancement of audio reconstruction |
JP2009156888A (ja) * | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 音声補正装置及びそれを備えた撮像装置並びに音声補正方法 |
WO2010005413A1 (en) * | 2008-07-09 | 2010-01-14 | Hewlett-Packard Development Company, L.P. | Method and system for simultaneous rendering of multiple multi-media presentations |
JP4735993B2 (ja) * | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
JP4849121B2 (ja) * | 2008-12-16 | 2012-01-11 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
JP2012119803A (ja) * | 2010-11-30 | 2012-06-21 | Canon Inc | 超広角映像の記録及び再生装置 |
JP5992210B2 (ja) * | 2012-06-01 | 2016-09-14 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP5773960B2 (ja) * | 2012-08-30 | 2015-09-02 | 日本電信電話株式会社 | 音響再生装置とその方法とプログラム |
JP6292658B2 (ja) * | 2013-05-23 | 2018-03-14 | 国立研究開発法人理化学研究所 | 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム |
JP2016046699A (ja) * | 2014-08-25 | 2016-04-04 | 株式会社 ゼネテック | 画像音声入出力システム |
-
2016
- 2016-06-30 JP JP2016130992A patent/JP6634976B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018005526A (ja) | 2018-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108337497B (zh) | 一种虚拟现实视频/图像格式以及拍摄、处理、播放方法和装置 | |
JP6984596B2 (ja) | 映像音響処理装置および方法、並びにプログラム | |
JP6289121B2 (ja) | 音響信号処理装置、動画撮影装置およびそれらの制御方法 | |
KR101861590B1 (ko) | 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 | |
US11490199B2 (en) | Sound recording apparatus, sound system, sound recording method, and carrier means | |
US10998870B2 (en) | Information processing apparatus, information processing method, and program | |
JP7428763B2 (ja) | 情報取得システム | |
US10873824B2 (en) | Apparatus, system, and method of processing data, and recording medium | |
JP6580516B2 (ja) | 処理装置および画像決定方法 | |
JP5892797B2 (ja) | 送受信システム及び送受信方法、受信装置及び受信方法 | |
JP6646116B2 (ja) | 映像音声処理プログラム及びゲーム装置 | |
JP6634976B2 (ja) | 情報処理装置、及びプログラム | |
CN107249166A (zh) | 一种完全沉浸式的耳机立体声实现方法及系统 | |
EP4138381A1 (en) | Method and device for video playback | |
JP6616023B2 (ja) | 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム | |
JP7143359B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101121030B1 (ko) | 촬상장치 | |
WO2022042151A1 (zh) | 一种录音方法和设备 | |
US11368611B2 (en) | Control method for camera device, camera device, camera system, and storage medium | |
JP5979843B2 (ja) | 音声信号処理装置、音声信号処理方法及びプログラム | |
JP2011130134A (ja) | 撮像装置、撮像システム | |
WO2021181966A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2022220306A1 (ja) | 映像表示システム、情報処理装置、情報処理方法、及び、プログラム | |
JP5653771B2 (ja) | 映像表示機器及びプログラム | |
JP2018074252A (ja) | 音響システム及びその制御方法、信号生成装置、コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6634976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |