JP5736839B2 - 信号処理装置、撮像装置、及びプログラム - Google Patents
信号処理装置、撮像装置、及びプログラム Download PDFInfo
- Publication number
- JP5736839B2 JP5736839B2 JP2011041567A JP2011041567A JP5736839B2 JP 5736839 B2 JP5736839 B2 JP 5736839B2 JP 2011041567 A JP2011041567 A JP 2011041567A JP 2011041567 A JP2011041567 A JP 2011041567A JP 5736839 B2 JP5736839 B2 JP 5736839B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- image
- processing
- noise
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Description
また、本発明の一態様は、撮像装置により撮像された画像データに関連付けられている音データに対するノイズ低減処理を行い、前記画像データが動画の場合、周波数帯域フィルタによる前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記音データの周波数スペクトルを算出し、前記周波数スペクトルに対して低減する前記ノイズ低減処理を行う処理部を備えることを特徴とする信号処理装置である。
また、本発明の一態様は、信号処理装置としてのコンピュータに、撮像装置により撮像された画像データに関連付けられている音データからノイズを低減するノイズ低減処理として、前記画像データが動画の場合、周波数帯域フィルタにより前記ノイズを低減し、前記画像データが静止画の場合、前記音データの周波数スペクトルを算出し前記周波数スペクトルから前記ノイズを低減する処理を実行させるためのプログラムである。
<第1実施形態>
図1は、この発明の第1実施形態による信号処理装置を備える撮像装置100の構成を示す概略ブロック図である。
この図1に示すとおり、第1実施形態に係る撮像装置100は、撮像部110と、CPU(Central processing unit)190と、操作部180、画像処理部140と、表示部150と、記憶部160と、バッファメモリ部130と、通信部170と、マイク230と、A/D(Analog/Digital)変換部240と、音信号処理部(処理部)250と、バス300と、を備えている。この撮像装置100が備える構成のうち、例えば、音信号処理部250が信号処理装置に対応する。
また、CPU190が駆動制御信号を生成する場合に、タイミング検出部191は、CPU190内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部191は、操作部180から入力されるズームレンズ114、または、AFレンズ112を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部191は、手振れ防止部118からの出力に基づいて、VRレンズ113が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部191は、操作部180からの入力に基づいて、操作部180が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
次に、音信号処理部250の概要について説明する。
音信号処理部250は、撮像された画像に関連付けられている音信号に対して、画像が動画である場合と静止画である場合とに応じて、それぞれに応じたノイズ低減処理をする。例えば、音信号処理部250は、撮像装置100において、動画が撮像される際の音信号に対しては、動画に関連付けて記録される音信号に適したノイズ低減処理をし、静止画が撮像される際の音信号に対しては、静止画に関連付けて記録される音信号に適したノイズ低減処理をする。
ここで、静止画に関連付けられている音の記録目的としては、撮像時の情報や被写体の説明等を音声メモとして付加する目的がある。例えば、静止画に関連付けられている音とは、予め設定されている期間であって、静止画の撮像タイミングに対応した期間(例えば、レリーズ押下前後の10秒間等)に検出された音である(撮像の際に検出された会話や音声)。また、静止画に関連付けられている音とは、静止画が撮像された後、予め設定された期間において検出された音(後から録音された音声)であってもよい。このような、音声の記録を目的とする場合は、記録された音声が聞き取りやすい(話の意味が伝わりやすく聞こえる)ことが優先され、音声以外の音は記録される必要がない音(ノイズ)である。そのため、音信号処理部250は、撮像された画像が静止画である場合、当該画像に関連付けられている音信号に対してノイズの低減処理をする際に、その低減処理によって音声以外の音信号(すなわち、ノイズ)の音質が変化してしまうことや環境音が消去されてしまうことは許容して音声が聞き取りやすいようなノイズ低減処理をする。
次に、音信号処理部250の構成の詳細について説明する。
図2は、音信号処理部250の構成の一例を示す概略ブロック図である。音信号処理部250は、処理選択部251と、ノイズ低減処理部252と、を備えている。処理選択部251は、タイミング検出部191から入力された画像形式が動画と静止画との何れの画像形式であるかを示す識別情報に基づいて、当該識別情報に関連付けてられているノイズ低減処理のそれぞれの処理パラメータ(動画用の処理パラメータおよび静止画用の処理パラメータ)を記憶部160から読み出す。そして、処理選択部251は、選択した処理パラメータをノイズ低減処理部252に出力する。
図3は、第1実施形態におけるノイズ低減処理の一例を示すフローチャートである。この図は、撮像装置100において、動画が撮像されている途中に静止画の撮像がされる場合の動作を示している。
なお、静止画に関連付けて記録される音信号の検出期間は、例えば、予め設定されている期間(例えば、レリーズ押下前後の10秒間等)であり、この期間が経過したタイミングにおいて終了される。
次に、第2実施形態におけるノイズ低減処理について説明する。
図4は、第2実施形態における音信号処理部250の構成の一例を示す概略ブロック図である。
第2実施形態のノイズ低減処理部252は、フィルタ処理部253と、フィルタ処理設定部254と、に代えて、スペクトル減算処理部255と、スペクトル減算処理設定部256と、を備えていることが第1実施形態と異なる。その他の構成については、第1実施形態と同様であり説明を省略する。
これにより、撮像装置100は、第1実施形態と同様に、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
次に、第3実施形態におけるノイズ低減処理について説明する。
図5は、第3実施形態における音信号処理部250の構成の一例を示す概略ブロック図である。
第3実施形態のノイズ低減処理部252は、フィルタ処理部253と、フィルタ処理設定部254と、スペクトル減算処理部255と、スペクトル減算処理設定部256とを備えていることが、第1実施形態および第2実施形態と異なる。すなわち、ノイズ低減処理部252は、周波数帯域フィルタとスペクトル減算処理との両方のノイズ低減処理(ノイズ低減アルゴリズム)を備えている。その他の構成については、第1実施形態と同様であり説明を省略する。
よって、撮像装置100は、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
次に、第4実施形態におけるノイズ低減処理について説明する。
第4実施形態の音信号処理部250は、画像が動画である場合と静止画である場合とに応じて、それぞれの場合に応じた推定ノイズによりノイズ低減処理をする。ここでは、第2実施形態と同様に、ノイズ低減処理部252がスペクトル減算処理部255と、スペクトル減算処理設定部256と、を備えている構成であるとして説明する。
よって、撮像装置100は、画像が動画である場合と静止画である場合とに応じて、撮像された画像に関連付けられている音信号のノイズを適切に低減することができる。
次に、第5実施形態におけるノイズ低減処理について説明する。
第5実施形態の音信号処理部250は、音信号の音量に応じてノイズ低減処理のノイズ低減強度を変更する。
図6は、第5実施形態の音信号処理部250の構成の一例を示す概略ブロック図である。この図において、音信号処理部250は、音量判定部257をさらに備えている。その他の構成については、前述した実施形態と同様である。なお、ノイズ低減処理部252は、フィルタ処理部253と、フィルタ処理設定部254と、を備えている構成としてもよいし、スペクトル減算処理部255と、スペクトル減算処理設定部256と、を備えている構成としてもよい。また、ノイズ低減処理部252は、フィルタ処理部253と、フィルタ処理設定部254と、スペクトル減算処理部255と、スペクトル減算処理設定部256と、を備えている構成としてもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
Claims (14)
- 撮像装置により撮像された画像データに関連付けられている音データに対するノイズ低減処理を、前記画像データが動画の場合と前記画像データが静止画の場合とで異ならせて行う処理部を備え、
前記処理部は、前記画像データが静止画の場合、前記音データの音量が大きくなるのに基づいて、前記音データに対する前記ノイズ低減処理の低減強度を大きくして処理を行う
ことを特徴とする信号処理装置。 - 前記処理部は、前記音データに対して周波数帯域フィルタによる前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記画像データが動画の場合よりも前記周波数帯域フィルタの前記低減強度を大きくして処理を行う
ことを特徴とする請求項1に記載の信号処理装置。 - 前記処理部は、前記音データの周波数スペクトルを算出し、前記周波数スペクトルに対して低減する前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記画像データが動画の場合よりも前記周波数スペクトルに対して低減する前記低減強度を大きくして処理を行う
ことを特徴とする請求項1に記載の信号処理装置。 - 前記処理部は、前記画像データが動画の場合と前記画像データが静止画の場合とで異なるアルゴリズムによるノイズ低減処理を行う
ことを特徴とする請求項1に記載の信号処理装置。 - 前記処理部は、前記画像データが動画の場合、周波数帯域フィルタによる前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記音データの周波数スペクトルを算出し、前記周波数スペクトルに対して低減する前記ノイズ低減処理を行う
ことを特徴とする請求項4に記載の信号処理装置。 - 前記処理部は、前記画像データが静止画の場合、前記音データの音量が大きくなるのに基づいて、前記音データが検出された期間に検出された周囲の環境音を前記音データから低減する前記低減強度を大きくして前記ノイズ低減処理を行う
ことを特徴とする請求項1から請求項5の何れか1項に記載の信号処理装置。 - 前記処理部は、前記画像データが動画の場合、前記音データの音量が大きくなるのに基づいて、前記音データに対する前記ノイズ低減処理の前記低減強度を小さくして処理を行う
ことを特徴とする請求項1から請求項6の何れか1項に記載の信号処理装置。 - 撮像装置により撮像された画像データに関連付けられている音データに対するノイズ低減処理を行い、前記画像データが動画の場合、周波数帯域フィルタによる前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記音データの周波数スペクトルを算出し、前記周波数スペクトルに対して低減する前記ノイズ低減処理を行う処理部を備える
ことを特徴とする信号処理装置。 - 前記処理部は、前記画像データが動画の場合、前記画像データが前記撮像装置によって撮像された期間に発生する前記撮像装置の機構音を第1ノイズとし、前記第1ノイズに基づいて前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記音データが検出された期間に検出された周囲の環境音を第2ノイズとし、前記第2ノイズに基づいて前記ノイズ低減処理をする
ことを特徴とする請求項1から請求項8の何れか1項に記載の信号処理装置。 - 前記処理部は、前記画像データが動画の場合、前記画像データが前記撮像装置によって撮像された期間に発生する前記撮像装置の機構音を第3ノイズとし、前記第3ノイズに基づいて前記ノイズ低減処理を行い、前記画像データが静止画の場合、前記音データが検出された期間に発生する前記撮像装置の機構音を第4ノイズとして、前記第4ノイズに基づいて前記ノイズ低減処理をする
ことを特徴とする請求項1から請求項8の何れか1項に記載の信号処理装置。 - 前記画像データが静止画の場合、前記音データは、前記画像データが撮像されるタイミングに対応して予め設定された期間において検出される音に基づく音データ、または前記画像データが撮像された後、予め設定された期間において検出される音に基づく音データである
ことを特徴とする請求項1から請求項10の何れか1項に記載の信号処理装置。 - 請求項1から請求項11の何れか1項に記載の信号処理装置、
を備えることを特徴とする撮像装置。 - 信号処理装置としてのコンピュータに、
撮像装置により撮像された画像データに関連付けられている音データからノイズを低減する処理を、前記画像データが動画の場合と前記画像データが静止画の場合とで異ならせ、前記画像データが静止画の場合、前記前記音データの音量が大きくなるのに基づいて、前記音データから前記ノイズを低減する強度を大きくして前記ノイズを低減する処理
を実行させるためのプログラム。 - 信号処理装置としてのコンピュータに、
撮像装置により撮像された画像データに関連付けられている音データからノイズを低減するノイズ低減処理として、前記画像データが動画の場合、周波数帯域フィルタにより前記ノイズを低減し、前記画像データが静止画の場合、前記音データの周波数スペクトルを算出し前記周波数スペクトルから前記ノイズを低減する処理
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011041567A JP5736839B2 (ja) | 2011-02-28 | 2011-02-28 | 信号処理装置、撮像装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011041567A JP5736839B2 (ja) | 2011-02-28 | 2011-02-28 | 信号処理装置、撮像装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012178785A JP2012178785A (ja) | 2012-09-13 |
JP5736839B2 true JP5736839B2 (ja) | 2015-06-17 |
Family
ID=46980325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011041567A Expired - Fee Related JP5736839B2 (ja) | 2011-02-28 | 2011-02-28 | 信号処理装置、撮像装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5736839B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3276938B1 (en) * | 2015-03-27 | 2019-10-23 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3277435B2 (ja) * | 1994-08-23 | 2002-04-22 | ソニー株式会社 | 音声信号処理装置 |
JP4910293B2 (ja) * | 2005-02-16 | 2012-04-04 | カシオ計算機株式会社 | 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム |
JP5162858B2 (ja) * | 2006-08-24 | 2013-03-13 | カシオ計算機株式会社 | 音声記録装置および音声記録方法と、プログラム |
JP5117280B2 (ja) * | 2008-05-22 | 2013-01-16 | 富士フイルム株式会社 | 撮像装置、撮像方法、再生装置および再生方法 |
-
2011
- 2011-02-28 JP JP2011041567A patent/JP5736839B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012178785A (ja) | 2012-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5529635B2 (ja) | 音声信号処理装置および音声信号処理方法 | |
WO2011018975A1 (ja) | 撮像装置および方法 | |
JP2006270591A (ja) | 電子カメラ、データ再生装置およびプログラム | |
US8698911B2 (en) | Sound recording device, imaging device, photographing device, optical device, and program | |
JP6137965B2 (ja) | 電子機器、電子機器の制御方法、及び電子機器の制御プログラム | |
JP2004080788A (ja) | カメラおよびカメラにおけるノイズを低減する方法 | |
JP4466384B2 (ja) | 電子カメラ、ノイズ低減装置及びノイズ低減方法 | |
JP5024470B2 (ja) | 撮影装置、信号処理装置及び記録媒体 | |
JP5299034B2 (ja) | 撮影装置 | |
JP4952769B2 (ja) | 撮像装置 | |
JP5361398B2 (ja) | 撮像装置 | |
US9734840B2 (en) | Signal processing device, imaging apparatus, and signal-processing program | |
KR101457392B1 (ko) | 촬상장치 및 음성 처리장치 | |
JP5963430B2 (ja) | 撮像装置、音声処理装置、及びそれらの制御方法 | |
JP5736839B2 (ja) | 信号処理装置、撮像装置、及びプログラム | |
JP5932399B2 (ja) | 撮像装置及び音声処理装置 | |
JP5158054B2 (ja) | 録音装置、撮像装置、および、プログラム | |
JP6902961B2 (ja) | 音声処理装置及びその制御方法 | |
JP2012185445A (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP2014022953A (ja) | 信号処理装置、撮像装置、ノイズ低減処理方法、およびプログラム | |
US20120060614A1 (en) | Image sensing device | |
JP2006179996A (ja) | 電子カメラ、ノイズ低減装置、ノイズ低減制御プログラム及びノイズ低減方法 | |
JP6912969B2 (ja) | 音声処理装置及びその制御方法 | |
JP2006211437A (ja) | 電子カメラ、ノイズ低減装置及びノイズ低減方法 | |
JP2013178456A (ja) | 信号処理装置、カメラおよび信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5736839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |