JP5741281B2 - 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 - Google Patents

音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP5741281B2
JP5741281B2 JP2011163045A JP2011163045A JP5741281B2 JP 5741281 B2 JP5741281 B2 JP 5741281B2 JP 2011163045 A JP2011163045 A JP 2011163045A JP 2011163045 A JP2011163045 A JP 2011163045A JP 5741281 B2 JP5741281 B2 JP 5741281B2
Authority
JP
Japan
Prior art keywords
audio signal
sound
pulse
feature amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011163045A
Other languages
English (en)
Other versions
JP2013025291A5 (ja
JP2013025291A (ja
Inventor
慶一 大迫
慶一 大迫
俊之 関矢
俊之 関矢
安部　素嗣
素嗣 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011163045A priority Critical patent/JP5741281B2/ja
Priority to US14/232,748 priority patent/US9495950B2/en
Priority to CN201280035699.4A priority patent/CN103688307A/zh
Priority to PCT/JP2012/063753 priority patent/WO2013015011A1/ja
Publication of JP2013025291A publication Critical patent/JP2013025291A/ja
Publication of JP2013025291A5 publication Critical patent/JP2013025291A5/ja
Application granted granted Critical
Publication of JP5741281B2 publication Critical patent/JP5741281B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02085—Periodic noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/09—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being zero crossing rates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Description

本開示は、音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体に関する。
外部音声を収音して記録する音声記録装置として、ビデオカメラや、動画撮像機能付きのデジタルカメラ、ＩＣレコーダ等が知られている。これら装置を動作させるときには、装置本体から発生するパルス状の作動音が、記録音声に混入してしまう場合がある。
例えば、動画撮像機能を備えた撮像装置は、動画撮像中にマイクロホンにより装置周辺の外部音声を収音し、当該音声を動画とともに記録する。かかる動画撮像時には、撮像装置に筐体内で、ズーム駆動音、絞り駆動音、オートフォーカス駆動音、操作ボタンの押下音などのパルス状の作動音が発生する。特に、撮像光学系を駆動させる駆動装置（ズームモータ、絞り機構、フォーカスモータ等）の動作開始時又は終了時には、例えば、モータとギアが噛み合うときの「カチッ」というパルス状の機械駆動音が発生する。
かかるパルス状の作動音は、ユーザが録音を所望する外部音声に雑音として混入・記録されてしまうと、非常に耳障りである。このため、音声記録装置では、記録時にパルス状の作動音を低減するための静音対策や雑音除去対策が必要となる。
パルス状の機械駆動音を低減する方法として、これまでもいくつかの方法が提案されている。例えば、特許文献１には、駆動装置から発生する機械駆動音を低減する際に、低減処理の負荷を低減するために、駆動装置を制御するための駆動信号の送信に応じて、低減処理を実行することが提案されている。また、特許文献２には、レンズ駆動部を制御するための駆動信号（制御信号）に基づいて、レンズ駆動部からの雑音が大きい期間に対応する入力音声データを、当該期間の前後の音声データで補間することが提案されている。
特開２０１１−２７２３号公報 特開平８−１２４２９９号公報
しかしながら、上記特許文献１、２の技術では、駆動装置を制御するための駆動信号の送信タイミングに依存して雑音低減処理を行っているので、パルス状の雑音の低減精度が低く、原音の音質が劣化してしまう。即ち、実際の撮像装置等では、制御装置が駆動信号を送信してから駆動装置は動作するまでの間に遅延が生じる場合がある。しかも、特許文献１の方法では、機械駆動音が発生してからマイクロホンに到達するまでの時間を考慮していない。従って、特許文献１のように駆動信号の送信に応じて低減処理を行うと、実際の雑音区間と雑音低減処理区間とがずれてしまう。このため、非雑音区間でも低減処理を行うことになるので、原音の忠実性の著しい低下や、音質劣化を招いてしまう。
また、特許文献２の技術では、駆動信号に対する発生雑音の遅延を予め考慮して、駆動信号の送信から一定の遅延時間の経過後に、雑音低減処理を実行している。しかし、設定される遅延時間は固定値であり、実際の遅延時間がばらつく場合は考慮されていないので、雑音区間を正確に特定できない。従って、雑音低減処理区間を実際の雑音区間に正確に合わせることができないので、高精度の雑音低減処理を実現できず、音質劣化の恐れがある。
さらに、特許文献２では、駆動信号から得られるタイミングで、入力音声データと補間音声データのレベル（音量）によって、雑音低減処理を行うか否かを判定している。これにより、装置周囲の外部音声が大きい場合には、雑音が相対的に目立たなくなるため、低減処理を行わず、逆に、装置周囲が静かであり、雑音が目立つ場合には、低減処理を行って当該雑音を除去することができる。しかしながら、雑音が人間の耳に知覚される要因は音量だけではない。従って、特許文献２のように音量のみで雑音区間を判定する方法では、雑音区間の判定精度が不安定であり、雑音が知覚されない区間に低減処理を実行したり、逆に、雑音が知覚される区間で低減処理を実行しなかったりする可能性がある。
そこで、上記事情に鑑みて、駆動装置の駆動制御情報を用いずに、収音された音声信号のみから、パルス状の作動音が含まれる雑音区間を高精度に検出して、雑音低減精度を向上することが可能な手法が求められていた。
本開示によれば、収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出する特徴量抽出部と、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する雑音判定部と、を備える、音声信号処理装置が提供される。
また、本開示によれば、外部音声を音声信号に変換する収音部と、前記収音部と同一の筐体に設けられ、パルス状の作動音を発生させる発音部と、前記収音部から出力された前記音声信号から、前記作動音を表す特徴量を抽出する特徴量抽出部と、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する雑音判定部と、前記雑音判定部により前記作動音が含まれると判定された場合に、前記音声信号に対して雑音低減処理を行う雑音低減部と、を備える、撮像装置が提供される。
また、本開示によれば、収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出することと、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、を含む、音声信号処理方法が提供される。
また、本開示によれば、収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出することと、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、をコンピュータに実行させるためのプログラムが提供される。
また、本開示によれば、収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出することと、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体が提供される。
上記構成により、収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量が抽出され、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かが判定される。これにより、音声信号から抽出される特徴量を用いて、パルス状の作動音の有無を高精度で判定できる。
以上説明したように本開示によれば、駆動装置の駆動制御情報を用いずに、収音された音声信号のみから、パルス状の作動音の雑音区間を高精度に検出して、雑音低減精度を向上することができる。
本開示の第１の実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成を示すブロック図である。 同実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係るパルス機械音を含む音声信号の波形図である。 同実施形態に係るパルス機械音の判定方法を示す説明図である。 同実施形態に係る音声信号処理方法を示すフローチャートである。 本開示の第２の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係るパルス機械音の判定方法を示す説明図である。 本開示の第３の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 本開示の第４の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 本開示の第５の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 同実施形態に係る音声信号処理方法を示すフローチャートである。 本開示の第６の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。 本開示の第６の実施形態の変更例に係る音声信号処理装置の機能構成を示すブロック図である。 本開示の第７の実施形態に係る音声信号処理装置の機能構成を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．機械音低減方法の概要
１．２．音声信号処理装置の構成
１．２．１．音声信号処理装置のハードウェア構成
１．２．２．音声信号処理装置の機能構成
１．３．パルス機械音の判定方法の具体例
１．３．１．統計的識別法を用いた判定方法
１．３．２．テーブル判定を用いた判定方法
１．４．音声信号処理方法
１．５．効果
２．第２の実施の形態
２．１．音声信号処理装置の機能構成
２．２．パルス機械音の判定方法の具体例
２．２．１．統計的識別法を用いた判定方法
２．２．２．テーブル判定を用いた判定方法
２．３．効果
３．第３の実施の形態
３．１．音声信号処理装置の機能構成
３．２．パルス機械音の判定方法の具体例
３．２．１．統計的識別法を用いた判定方法
３．２．２．テーブル判定を用いた判定方法
３．３．効果
４．第４の実施の形態
４．１．音声信号処理装置の機能構成
４．２．効果
５．第５の実施の形態
５．１．音声信号処理装置の機能構成
５．２．音声信号処理方法
５．３．効果
６．第６の実施の形態
６．１．雑音判定方法の概要
６．２．音声信号処理装置の機能構成
６．３．音声信号処理装置の変更例
６．４．効果
７．第７の実施の形態
７．１．音声信号処理装置の機能構成
７．２．効果
８．まとめ
＜１．第１の実施の形態＞
［１．１．機械音低減方法の概要］
まず、本開示の第１の実施形態に係る音声信号処理装置及び方法を用いた機械音低減方法の概要について説明する。
本実施形態に係る音声信号処理装置及び方法は、音声記録装置又は音声再生装置において、当該装置の筐体内に設置された発音部（例えば駆動装置）から発生するパルス状の作動音（雑音）を低減する技術に関する。特に、本実施形態では、動画撮像機能を有する撮像装置において、動画を撮像しながら周辺音声を録音するときに、撮像装置に内蔵された駆動装置の動作開始時或いは動作終了時に発生するパルス状の機械駆動音を低減対象とする。
ここで、駆動装置は、撮像光学系を用いた撮像動作を行うために撮像装置に内蔵された駆動装置であり、例えば、ズームレンズを移動させるズームモータや、フォーカスレンズを移動させるフォーカスモータ、絞り機構又はシャッターを制御する駆動機構などを含む。これら駆動装置は、撮像装置の収音部と同一の筐体内に設けられる。また、パルス状の機械駆動音（以下、「パルス機械音」という。）は、例えば、上記各種の駆動装置が動作開始又は動作終了するときに発生する瞬間的な雑音（例えば、ズームモータの駆動音、フォーカスモータの駆動音、絞り機構の駆動音、シャッター音、操作ボタンの押下音など）である。例えば、パルス機械音は、ズームモータ等の動作開始時又は動作終了時に、モータとギアが噛み合うことにより発生する「カチッ」又は「パチッ」という音などである。
以下では、音声信号処理装置が、動画撮像機能を有するデジタルカメラであり、除去対象雑音であるパルス機械音が、該デジタルカメラにおける光学ズーム動作開始時に発生するズーム開始音である例について説明する。しかし、本開示の音声信号処理装置や、パルス機械音は、かかる例に限定されない。
デジタルカメラによる撮像及び録音中に、ユーザがズーム操作を行うと、該カメラの内部でズームモータが駆動して、ズームレンズを駆動させるギアと係合して、瞬間的に大きいパルス機械音（ズーム開始音）が発生する。すると、デジタルカメラのマイクロホンは、ユーザが録音を所望するカメラ周囲の外部音声（例えば、環境音、人の話し声など、マイクロホンに収音される任意の音声を含む。以下「所望音」又は「背景音」という。）のみならず、カメラ内部で発生したパルス機械音も収音してしまう。このため、所望音にパルス機械音が雑音として混入した状態で録音されてしまうので、当該録音された音声を再生したときに、所望音に混入したパルス機械音がユーザにとって耳障りとなる。例えば、パルス機械音は２００Ｈｚ以下の筐体の振動を伴い、マイクロホン近傍で発生するため、所望音に比べて大きな音量で収音される。このようにパルス機械音と所望音で音量差があるため、所望音に機械音が混入していると、録音音声の再生時にパルス機械音が目立ってしまう。従って、動画及び音声の記録時又は再生時に、上記ズーム開始音等のパルス機械音を適切に除去した上で所望音のみを記録可能な技術が希求されていた。
従来の雑音低減技術では、上記特許文献１、２記載のように、駆動装置を制御するための駆動信号の送信タイミングによって、機械駆動音の発生区間（雑音区間）を推定し、当該雑音区間に対して雑音低減処理を施していた。しかし、駆動信号に対する実際に収録される雑音の遅延等が原因で、駆動信号の送信タイミングから雑音区間を正確に推定することは困難である。また、特許文献２記載のように音声信号のレベル（音量）のみから雑音の有無を判定する方法では、人間の耳が知覚する実際の雑音の発生区間を正確に検出することができなかった。
そこで、本実施形態では、撮像装置の収音部により収音された音声信号から、上記パルス機械音を表す特徴量を抽出し、駆動信号を用いずに当該特徴量のみを用いてパルス機械音の有無を判定して、パルス機械音が含まれる雑音区間を検出する。ここで、パルス機械音を表す特徴量は、（１）パルス機械音のパルス成分を表すパルス特徴量（第１の特徴量に相当する。）と、（２）パルス機械音の残響成分を表す残響特徴量（第２の特徴量に相当する。）を含むことが好ましい。このようにパルス機械音のパルス成分と残響成分を表す２種類の特徴量を用いることで、音声信号に含まれるパルス機械音を正確に検出することが可能となる。
さらに、上記（１）パルス特徴量は、（ａ）パルス機械音のパルス成分の振幅最大値Ａと、（ｂ）当該パルス成分のパルス幅Ｗを含むことが好ましく、（２）残響特徴量は、（ｃ）パルス機械音の残響成分を表す狭帯域信号のパワーＰを含むことが好ましい。かかる（ａ）振幅最大値Ａ及び（ｂ）パルス幅Ｗは、上記パルス特徴量の代表的なパラメータである。また、（ｃ）パルス機械音の残響成分を表す狭帯域信号のパワーＰ（以下、「残響成分パワーＰ」という。）は、上記残響特徴量の代表的なパラメータである。なお、狭帯域信号は、音声信号のうち、パルス機械音の残響成分に特有の低周波数帯域（例えば２００Ｈｚ以下）の信号であり、残響成分パワーＰは、例えば、当該信号の所定区間における振幅（信号レベル）の積算値である。
本実施形態に係る音声信号処理装置の特徴量抽出部は、上記（ａ）パルス機械音のパルス成分の振幅最大値Ａ、（ｂ）当該パルス成分のパルス幅Ｗ、及び（ｃ）残響成分パワーＰという３つの特徴量を、音声信号から抽出する。そして、音声信号処理装置の雑音判定部は、抽出された３つの特徴量のベクトルｘ（Ａ，Ｗ，Ｐ）と判定係数を用いて、音声信号にパルス機械音が含まれるか否かを総合的に判定する。なお、この判定に必要な判定係数は、予め事前学習又は事前設定によって得られている。このように、上記３つの特徴量（Ａ，Ｗ，Ｐ）を用いることで、音声信号に含まれるパルス機械音を、更に正確に検出することが可能となる。以下に、本実施形態に係るパルス機械音の低減方法について詳述する。
［１．２．音声信号処理装置の構成］
［１．２．１．音声信号処理装置のハードウェア構成］
まず、図１を参照して、本実施形態に係る音声信号処理装置が適用されたデジタルカメラのハードウェア構成例について説明する。図１は、本実施形態に係る音声信号処理装置が適用されたデジタルカメラ１のハードウェア構成を示すブロック図である。
本実施形態に係るデジタルカメラ１は、例えば、動画撮像中に動画と共に音声も記録可能な撮像装置である。このデジタルカメラ１は、被写体を撮像して、当該撮像により得られた撮像画像（静止画又は動画のいずれでもよい。）をデジタル方式の画像データに変換し、音声とともに記録媒体に記録する。
図１に示すように、本実施形態に係るデジタルカメラ１は、概略的には、撮像部１０と、画像信号処理部２０と、表示部３０と、記録媒体４０と、収音部５０と、音声信号処理部６０と、制御部７０と、操作部８０とを備える。
撮像部１０は、被写体を撮像して、撮像画像を表すアナログ画像信号を出力する。撮像部１０は、撮像光学系１１と、撮像素子１２と、タイミングジェネレータ１３と、駆動装置１４とを備える。
撮像光学系１１は、フォーカスレンズ、ズームレンズ、補正レンズ等の各種レンズや、不要な波長を除去する光学フィルタ、シャッター、絞り等の光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１における各光学部品を介して、撮像素子１２の露光面に結像される。撮像素子１２（イメージセンサ）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子で構成される。この撮像素子１２は、撮像光学系１１から導かれた光学像を光電変換し、撮像画像を表す電気信号（アナログ画像信号）を出力する。
撮像光学系１１には、該撮像光学系１１の光学部品を駆動するための駆動装置１４が機械的に接続されている。この駆動装置１４は、例えば、ズームモータ１５、フォーカスモータ１６、絞り機構（図示せず。）などを含む。駆動装置１４は、後述する制御部７０の指示に従って、撮像光学系１１の光学部品を駆動させ、ズームレンズ、フォーカスレンズを移動させたり、絞りを調整したりする。例えば、ズームモータ１５は、ズームレンズをテレ／ワイド方向に移動させることで、画角を調整するズーム動作を行う。また、フォーカスモータ１６は、フォーカスレンズを移動させることで、被写体に焦点を合わせるフォーカス動作を行う。
また、タイミングジェネレータ１３（以下、ＴＧ１３という。）は、制御部７０の指示に従って、撮像素子１２に必要な動作パルスを生成する。例えば、ＴＧ１３は、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成し、撮像素子１２に供給する。このＴＧ１３により撮像素子１２を駆動させることで、被写体像が撮像される。また、ＴＧ１３が、撮像素子１２のシャッタースピードを調整することで、撮像画像の露光量や露光期間が制御される（電子シャッター機能）。上記の撮像素子１２が出力した画像信号は画像信号処理部２０に入力される。
画像信号処理部２０は、マイクロコントローラなどの電子回路で構成され、撮像素子１２から出力される画像信号に対して所定の画像処理を施し、当該画像処理後の画像信号を表示部３０や制御部７０に出力する。画像信号処理部２０は、アナログ信号処理部２１、アナログ／デジタル（Ａ／Ｄ）変換部２２、デジタル信号処理部２３を備える。
アナログ信号処理部２１は、画像信号を前処理する所謂アナログフロントエンドである。該アナログ信号処理部２１は、例えば、撮像素子１２から出力される画像信号に対して、ＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理などを行う。Ａ／Ｄ変換部２２は、アナログ信号処理部２１から入力されたアナログ画像信号をデジタル画像信号に変換して、デジタル信号処理部２３に出力する。デジタル信号処理部２３は、入力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行って、表示部３０や制御部７０等に出力する。
表示部３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイなどの表示装置で構成される。表示部３０は、制御部７０による制御に従って、入力された各種の画像データを表示する。例えば、表示部３０は、撮像中に画像信号処理部２０からリアルタイムで入力される撮像画像（スルー画像）を表示する。これにより、ユーザは、デジタルカメラ１で撮像中のスルー画像を見ながら、デジタルカメラ１を操作することができる。また、記録媒体４０に記録されている撮像画像を再生したときに、表示部３０は、当該再生画像を表示する。これにより、ユーザは、記録媒体４０に記録されている撮像画像の内容を確認することができる。
記録媒体４０は、上記撮像画像のデータ、音声データ、それらのメタデータなどの各種のデータを記憶する。記録媒体４０は、例えば、メモリカード等の半導体メモリ、又は、光ディスク、ハードディスク等のディスク状記録媒体などを使用できる。なお、光ディスクは、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）又はＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）等を含む。なお、記録媒体４０は、デジタルカメラ１に内蔵されてもよいし、デジタルカメラ１に着脱可能なリムーバブルメディアであってもよい。
収音部５０は、デジタルカメラ１周辺の外部音声を収音する。本実施形態に係る収音部５０は、１つの外部音声収録用のマイクロホン５１からなるモノラルマイクロホンであるが、２つのマイクロホンからなるステレオマイクロホンで構成されてもよい。マイクロホン５１は、外部音声を収音して得られた音声信号をそれぞれ出力する。かかる収音部５０により、動画撮像中に外部音声を収音して、動画と共に記録できるようになる。かかるマイクロホン５１は、外部音声（所望音）を収音するためにデジタルカメラ１の筐体に設けられているが、当該筐体内に設けられた発音部（上記駆動装置１４）の機械駆動音も雑音として収音してしまう。
音声信号処理部６０は、マイクロコントローラなどの電子回路で構成され、音声信号に対して所定の音声処理を施して、記録用の音声信号を出力する。この音声処理は、例えば、ＡＤ変換処理、雑音低減処理などを含む。本実施形態は、この音声信号処理部６０による雑音低減処理を特徴としているが、その詳細説明は後述する。
制御部７０は、マイクロコントローラなどの電子回路で構成され、デジタルカメラ１の全体の動作を制御する。制御部７０は、例えば、ＣＰＵ７１、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４を備える。かかる制御部７０は、デジタルカメラ１内の各部を制御する。例えば、制御部７０は、マイクロホン５１により収音された音声信号から、駆動装置１４で発生した機械音を雑音として低減するに、音声信号処理部６０の動作を制御する。
制御部７０におけるＲＯＭ７３には、ＣＰＵ７１に各種の制御処理を実行させるためのプログラムが格納されている。ＣＰＵ７１は、該プログラムに基づいて動作して、ＲＡＭ７４を用いながら、上記各制御のための必要な演算・制御処理を実行する。該プログラムは、デジタルカメラ１に内蔵された記憶装置（例えば、ＥＥＰＲＯＭ７２、ＲＯＭ７３等）に予め格納しておくことができる。また、当該プログラムは、ディスク状記録媒体、メモリカードなどのリムーバブル記録媒体に格納されて、デジタルカメラ１に提供されてもよいし、ＬＡＮ、インターネット等のネットワークを介してデジタルカメラ１にダウンロードされてもよい。
ここで、制御部７０による制御の具体例について説明する。制御部７０は、上記撮像部１０のＴＧ１３や駆動装置１４を制御して、撮像部１０による撮像処理を制御する。例えば、制御部７０は、上記撮像光学系１１の絞りの調整、撮像素子１２の電子シャッタースピードの設定、アナログ信号処理部２１のＡＧＣのゲイン設定などにより、自動露光制御を行う（ＡＥ機能）。また、制御部７０は、上記撮像光学系１１のフォーカスレンズを移動させて、フォーカスポジションを変更することで、特定の被写体に対して撮像光学系１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、制御部７０は、上記撮像光学系１１のズームレンズを移動させて、ズームポジションを変更することで、撮像画像の画角を調整する。また、制御部７０は、記録媒体４０に対して撮像画像、メタデータなどの各種のデータを記録し、また、記録媒体４０に記録されているデータを読み出して再生する。さらに、制御部７０は、表示部３０に表示するための各種の表示画像を生成し、表示部３０を制御して該表示画像を表示させる。
操作部８０、表示部３０は、ユーザがデジタルカメラ１の動作を操作するためのユーザインターフェースとして機能する。操作部８０は、ボタン、レバー等の各種の操作キー、又はタッチパネル等で構成され、例えば、ズームボタン、シャッターボタン、電源ボタンなどを含む。操作部８０は、ユーザ操作に応じて、各種の撮像動作を指示するための指示情報を制御部７０に出力する。
［１．２．２．音声信号処理装置の機能構成］
次に、図２を参照して、本実施形態に係るデジタルカメラ１に適用された音声信号処理装置の機能構成例について説明する。図２は、本実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図２に示すように、音声信号処理装置１００は、信号入力部１１０と、ＡＤ変換部１２０と、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０と、信号記録部１７０とを備える。信号入力部１１０は、上記図１のマイクロホン５１を備える。また、ＡＤ変換部１２０、特徴量抽出部１３０、雑音判定部１４０、判定係数保持部１５０及び雑音低減部１６０は、上記図１の音声信号処理部６０を構成する。信号記録部１７０は、上記図１の制御部７０及び記録媒体４０で構成される。
これら音声信号処理装置１００の各部は、専用のハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ソフトウェアを用いる場合、音声信号処理装置１００のプロセッサが、以下に説明する各機能部の機能を実現するためのプログラムを実行すればよい。当該プログラムは、コンピュータ読み取り可能な記録媒体（例えば、光ディスク、ハードディスク、半導体メモリ等）を介して音声信号処理装置１００に提供されてもよいし、又は各種の通信手段を介して提供されてもよい。以下に、音声信号処理装置１００の各部について説明する。
信号入力部１１０は、デジタルカメラ１の筐体に設置されたマイクロホン５１で構成される。信号入力部１１０のマイクロホン５１は、デジタルカメラ１の周囲の所望音（録音対象の音声）を収音し、当該外部音声を音声信号に変換して出力する。この音声信号には、所望音のみならず、デジタルカメラ１の駆動装置１４で発生するパルス機械音やその他の機械駆動音などの雑音が混入する。
ＡＤ変換部１２０は、上記マイクロホン５１から出力されたアナログ音声信号を、デジタル音声信号に変換する。当該デジタル音声信号は、特徴量抽出部１３０及び雑音低減部１６０に入力される。
特徴量抽出部１３０は、上記マイクロホン５１から出力された音声信号から、上記パルス機械音を表す特徴量を抽出する。特徴量抽出部１３０は、上述した（１）パルス機械音のパルス成分を表すパルス特徴量を抽出するパルス特徴量抽出部、及び（２）パルス機械音の残響成分を表す残響特徴量を抽出する残響特徴量抽出部として機能する。具体的には、特徴量抽出部１３０は、パルス特徴量抽出部として、振幅最大値取得部１３１及びパルス幅計算部１３２を備え、残響特徴量抽出部として残響パワー計算部１３３を備える。
振幅最大値取得部１３１は、音声信号のパルス成分の振幅（信号レベル）の最大値を取得し、当該振幅最大値Ａをパルス特徴量として出力する。パルス幅計算部１３２は、音声信号のパルス成分のパルス幅Ｗを計算し、当該パルス幅Ｗをパルス特徴量として出力する。残響パワー計算部１３３は、音声信号の残響成分を表す狭帯域信号のパワーＰを計算し、当該残響パワーＰを残響特徴量として出力する。
ここで、図３を参照して、パルス機械音について説明する。図３は、本実施形態に係るパルス機械音を含む音声信号の波形図である。
図３Ａに示すように、デジタルカメラ１による録音中に駆動装置１４が動作開始すると、駆動装置１４からパルス機械音が発生し、外部音声（背景音）の音声信号にパルス機械音が雑音として混入する。パルス機械音は、振幅が瞬間的に立ち上がるパルス成分と、当該パルス成分に続く残響成分とを含む。
パルス機械音のパルス成分は、パルス機械音の発生当初に信号レベル（振幅）がパルス状に立ち上がる部分である。このパルス成分の信号レベル（振幅）の最大値が振幅最大値Ａである（図３Ｂ参照。）。また、パルス幅Ｗは、パルス成分の時間幅であり、例えば、信号レベル（振幅）が上記振幅最大値Ａから半分になるまでの時間幅である（図３Ｃ参照。）。
一方、パルス機械音の残響成分は、パルス成分に後続する特定の低周波数帯域の狭帯域信号からなる部分であり、パルス機械音の残響に応じた信号特性を有する。デジタルカメラ１の駆動装置１４等から発生する駆動雑音は、デジタルカメラ１の本体の共振成分を多く含み、駆動装置１４の動作開始時に上記パルス成分が発生した後に、当該パルス成分の共振成分等からなる残響成分が発生する。このようなパルス機械音の残響成分は、一般的な背景音とは異なる特定の周波数帯域、例えば２００Ｈｚ以下の低周波数帯域にパワーが集中する。この残響成分を表す狭帯域信号のパワーが残響成分パワーＰである。
このように、パルス機械音はパルス成分及び残響成分という特徴的な成分を含むため、これら２種類の成分を検出することができれば、パルス機械音の有無を正確に検出できる。そこで、特徴量抽出部１３０は、入力された音声信号から上記３つの特徴量（Ａ，Ｗ，Ｐ）を計算する。この際、デジタル音声信号の１サンプルデータごとに特徴量を計算することは困難であるので、特徴量抽出部１３０は、所定量（例えば１フレーム）の音声信号のデータをバッファ（図示せず。）に保存し、当該１フレームの音声信号のデータの特徴量を計算する。ここで、音声信号の１フレームは、例えば、５１２サンプル又は１０２４サンプルなどであってよいが、かかる例に限定されず、任意のデータ数であってよい。
振幅最大値取得部１３１は、音声信号の１フレーム中のデータの信号レベル（振幅）の絶対値を計算し、その中から最大値を抽出することで、振幅最大値Ａを求める。パルス機械音のパルス成分の音量が大きいほど、振幅最大値Ａも大きくなる。パルス幅計算部１３２は、音声信号の信号レベル（振幅）が上記振幅最大値Ａから例えば半分になるまでの時間幅を計算することで、パルス幅Ｗを求める。パルス機械音のパルス成分が急峻であるほど、パルス幅Ｗは小さくなる。
残響パワー計算部１３３は、特定の周波数帯域を通過させるバンドパスフィルタ（ＢＰＦ）を用いて、パルス機械音の残響成分を表す狭帯域信号のパワーの値（残響成分パワーＰ）を計算する。例えば、残響パワー計算部１３３は、音声信号から２００Ｈｚ以下の低周波数帯域の信号を取り出し、この信号の信号レベル値を積算することで、残響成分パワーＰの値を求める。なお、残響パワー計算部１３３は、雑音の特性に応じて、当該２００Ｈｚ以下の帯域とは異なる周波数帯域から残響成分パワーＰを計算してもよい。また、残響パワー計算部１３３は、複数の周波数帯域から残響成分パワーＰの値を計算してもよい。また、高速フーリエ変換（ＦＦＴ）アルゴリズムを用いて、音声信号のパワースペクトルを算出することで、残響成分パワーＰの値を計算してもよい。
上記のようにして、特徴量抽出部１３０により得られた３つの特徴量（振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰ）は、雑音判定部１４０に入力される。
図２に戻り、雑音判定部１４０は、上記パルス機械音を表す特徴量（振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰ）に基づいて、音声信号にパルス機械音が含まれるか否かを判定する。判定係数保持部１５０は、メモリ等の記憶装置で構成され、雑音判定部１４０によるパルス機械音の有無の判定に使用される判定係数を保持する。この判定係数は、デジタルカメラ１又は駆動装置１４の特性、マイクロホン５１と駆動装置１４の位置関係等に応じて異なるため、機器ごとに発生するパルス機械音を予め学習・設定された判定係数が、判定係数保持部１５０に記憶される。
雑音判定部１４０は、特徴量抽出部１３０により得られた３つの特徴量からなる特徴量ベクトルｘ（Ａ，Ｗ，Ｐ）と、判定係数保持部に保持された判定係数を用いて、音声信号におけるパルス機械音の有無を総合的に判定する。この雑音判定部１４０により、音声信号にパルス機械音が含まれているか否かが判定され、音声信号におけるパルス機械音が含まれている区間が特定される。この判定方法の詳細については後述する。
雑音低減部１６０は、上記雑音判定部１４０による判定結果に応じて、音声信号に対して雑音低減処理を行い、音声信号からパルス機械音等の雑音を除去する。具体的には、パルス機械音が含まれると判定された場合に、雑音低減部１６０は、当該パルス機械音が含まれる区間の音声信号に対して雑音低減処理を行う。一方、パルス機械音が含まれていないと判定された場合に、雑音低減部１６０は、雑音低減処理を行わない。このように、パルス機械音が含まれる場合にのみ、当該パルス機械音が含まれる区間（雑音区間）の音声信号に対して雑音低減処理を行うことで、雑音低減処理の処理効率を向上し、無駄な処理負荷を軽減できる。
この雑音低減部１６０による雑音低減処理方法としては、公知の任意の方法を用いることができるが、例えば次の処理方法がある。（１）雑音低減部１６０は、雑音区間の音量（信号レベル）を低減するゲインコントロールを行ってもよい。（２）また、雑音低減部１６０は、予め作成されたパルス機械音のモデル信号を、入力された実際の音声信号から減算してもよい。（３）また、雑音低減部１６０は、バンドストップフィルタにより、パルス機械音の周波数帯域（雑音帯域）を抑制してもよい。（４）また、雑音低減部１６０は、
パルス機械音が含まれる雑音区間の前後の音声信号から、当該雑音区間の背景音の信号波形を推定し、推定した信号を用いて、雑音区間の信号を補間してもよい。
信号記録部１７０は、上記雑音低減部１６０によりパルス機械音が低減されたデジタル音声信号を記録媒体（図示せず。）に記録する。記録媒体は、ハードディスク、磁気テープ等の磁気記録媒体、ＤＶＤ、ブルーレイディスク等の光記録媒体、フラッシュメモリ、ＵＳＢメモリ等の半導体メモリなど、任意の記録媒体であってよい。
［１．３．パルス機械音の判定方法の具体例］
次に、本実施形態に係る音声信号処理装置１００の雑音判定部１４０によるパルス機械音の判定方法の具体例について説明する。以下では、統計的識別法を用いた判定方法と、テーブル判定を用いた判定方法を例示する。
［１．３．１．統計的識別法を用いた判定方法］
雑音判定部１４０は、線形識別器又は人工ニューラルネットワークなどを用いた統計的識別法により、音声信号におけるパルス機械音の有無を判定することができる。例えば、線形識別器を用いた統計的識別法では、以下の式（１）を用いて、判定値ｙとして上記特徴量の加重平均を計算する。
Figure 0005741281
ここで、ｉは、次元を表すインデックスであり、Ｉは、荷重係数ベクトルｗｉの総次元数である。ｘｉは、特徴量ベクトルを表す（例えば、上記特徴量抽出部１３０により抽出された３つの特徴量ベクトルは、ｘ０＝Ａ、ｘ１＝Ｗ、ｘ２＝Ｐ、である。）。ｗｉは、予め設定される荷重（上記判定係数の一例）であり、ｗＩは判定の閾値を決める定数である。
雑音判定部１４０は、上記式（１）で求めた判定値ｙを用いて、音声信号の１フレーム中におけるパルス機械音の有無を判定する。例えば、雑音判定部１４０は、判定値ｙが所定の閾値ｙ０（例えば、ｙ０＝０）以上であるか否かを判定する。この結果、雑音判定部１４０は、ｙ≧ｙ０であれば、当該１フレーム中にパルス機械音が有ると判定し、ｙ＜ｙ０であれば、当該１フレーム中にパルス機械音が無いと判定する。
なお、荷重ｗｉや閾値ｙ０は、上記判定係数に相当し、判定係数保持部１５０に予め保持される。荷重ｗｉは、事前に収録された多数の学習用の雑音サンプルに基づいて作成される。例えば、当該多数の雑音サンプルに対して、雑音／非雑音の正解付与を行い、最急降下法又はニュートン法などの最適化法を用いることによって、雑音と非雑音の識別性能が最も高い荷重ｗｉを設定することができる。
［１．３．２．テーブル判定を用いた判定方法］
雑音判定部１４０は、予め設定された特徴量の閾値を表すテーブルを用いて、音声信号におけるパルス機械音の有無を判定することができる。雑音判定部１４０は、例えば図４に示すようなテーブル１４２を用いて、パルス機械音の有無を判定する。
図４に示すように、テーブル１４２には、各特徴量Ａ、Ｗ、Ｐ、・・・の閾値Ａ０、Ｗ０、Ｐ０、・・・と、判定基準に関する情報が保存されている。例えば、振幅最大値Ａの閾値Ａ０は２５０００であり、実際の振幅最大値ＡがＡ０超であれば、振幅最大値Ａに関する判定が正（Ｔｒｕｅ）となるように設定されている。雑音判定部１４０は、特徴量抽出部１３０により計算された実際の振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰと、テーブル１４２に保持された閾値Ａ０、Ｗ０、Ｐ０を比較し、各特徴量の項目について正否を判定する。図示の例では、振幅最大値Ａ及び残響成分パワーＰの項目が正（Ｔｒｕｅ）と判定され、パルス幅Ｗの項目が否（Ｆａｌｓｅ）と判定されている。
さらに、雑音判定部１４０は、正判定の項目数ｚと、その閾値ｚ０を比較する。この結果、雑音判定部１４０は、ｚ≧ｚ０であれば、音声信号の１フレーム中にパルス機械音が有ると判定し、ｚ＜ｚ０であれば、当該１フレーム中にパルス機械音が無いと判定する。例えばｚ０＝３である場合、図示の例では正と判定された項目数ｚが２であるので、音声信号の１フレーム中にパルス機械音が無いと判定される。
以上のような閾値Ａ０、Ｗ０、Ｐ０、・・・・や、正判定の項目数ｚの閾値ｚ０等は、上記判定係数に相当する。これらの判定係数や判定基準を含むテーブル１４２は、判定係数保持部１５０に予め保持される。テーブル１４２内の判定係数は、事前に収録された雑音サンプルに基づいて作成される。例えば、音声信号処理装置１００の設計者は、実際のパルス機械音の特性等に応じて、これらの判定係数を任意に設定することができる。
［１．４．音声信号処理方法］
次に、図５を参照して、上記の音声信号処理装置１００を用いた音声信号処理方法（機械音低減方法）について説明する。図５は、本実施形態に係る音声信号処理方法を示すフローチャートである。
図５に示すように、本実施形態に係る音声信号処理装置１００を具備するデジタルカメラ１による撮像及び録音中には、その周囲の外部音声がマイクロホン５１により収音され、音声信号が出力される。すると、音声信号処理装置１００のＡＤ変換部１２０は、マイクロホン５１から入力されたアナログ音声信号を、デジタル音声信号に変換する（Ｓ１０）。
次いで、特徴量抽出部１３０は、Ｓ１０でＡＤ変換された入力音声信号を読み込み、バッファに蓄積する（Ｓ１２）。そして、雑音判定処理の処理単位である１フレーム分の音声信号のデータがバッファに蓄積された後に（Ｓ１４）、特徴量抽出部１３０は、当該１フレーム分の音声信号のデータから、パルス機械音を表す特徴量を算出する（Ｓ１６）。具体的には、特徴量抽出部１３０は、パルス特徴量として、パルス機械音のパルス成分の振幅最大値Ａ及びパルス幅Ｗを算出し、残響特徴量として、パルス機械音の残響成分パワーＰを算出する。
さらに、雑音判定部１４０は、Ｓ１６で得られた特徴量Ａ、Ｗ、Ｐと、上記判定係数を用いて、入力音声信号の１フレーム中にパルス機械音が含まれるか否かを判定する（Ｓ１８）。この結果、パルス機械音が含まれると判定された場合、雑音低減部１６０は、入力音声信号の当該１フレームに対して雑音低減処理を実行して、パルス機械音を含む雑音を除去する（Ｓ２０）。その後、信号記録部１７０は、Ｓ２０で雑音低減された音声信号を記録媒体に記録する（Ｓ２２）。
一方、Ｓ１８でパルス機械音が含まれないと判定された場合、雑音低減部１６０により入力音声信号の１フレームに対して雑音低減処理を実行することなく、信号記録部１７０は、当該入力音声信号の１フレームを記録媒体に記録する（Ｓ２２）。
その後、デジタルカメラ１による撮像及び録音動作が終了（Ｓ２４）するまで、入力音声信号の次の１フレームに対して、上記Ｓ１０〜Ｓ２２の処理が繰り返される。
［１．５．効果］
以上、本開示の第１の実施形態に係る音声信号処理装置１００の構成と、これを用いた音声信号処理方法について説明した。本実施形態によれば、音声信号処理装置１００は、マイクロホン５１から入力された音声信号から、パルス機械音を表す３つの特徴量を抽出し、当該特徴量を用いてパルス機械音の有無を判定する。これにより、雑音発生源である駆動装置１４の駆動制御情報を用いることなく、実際に収音された入力音声信号のみを用いて、パルス機械音の有無やその区間を正確に検出することができる。
そして、音声信号処理装置１００は、音声信号のうち上記パルス機械音が検出された雑音区間のみに対して、雑音低減処理を施す。これにより、実際のパルス機械音が含まれる雑音区間に雑音低減処理区間を正確に合わせることができるので、非雑音区間で低減処理を行ったり、逆に、雑音区間で低減処理を行わなかったりすることがない。従って、音声信号の非雑音区間における音質劣化の恐れのない、高精度の雑音低減処理を実現でき、収音された外部音声（所望音）の忠実性を向上できる。
さらに、上記雑音判定処理では、音声信号の音量（信号レベル）に関する特徴量（振幅最大値Ａ）だけでなく、パルス機械音のパルス幅Ｗや、パルス機械音の残響成分パワーＰを用いることで、人間の耳に知覚されうるパルス機械音を高精度で検出できる。従って、雑音が人間の耳に知覚されない非雑音区間に対して雑音低減処理を実行したり、逆に、雑音が知覚される雑音区間に対して低減処理を実行しなかったりすることがない。よって、外部音声の所望音（背景音）の品質を劣化させることなく、耳障りなパルス機械音等の雑音のみを好適に除去することが可能となる。
加えて、雑音発生源である駆動装置１４の駆動制御情報を使用しないので、音声信号処理装置１００及びデジタルカメラ１のシステム構成を簡素化できる。また、当該駆動制御情報を使用せずに、記録された音声信号のデータのみから雑音（パルス機械音）を検出するので、音声信号記録装置による音声信号の記録時のみならず、音声信号再生装置による音声信号の再生時にも、雑音の有無の判定及び低減処理を実行できる。
＜２．第２の実施の形態＞
次に、本開示の第２の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第２の実施形態に係る音声信号処理装置は、残響特徴量（第２の特徴量）として、残響成分パワーＰの代わりに、残響成分を表す信号の零交差回数Ｎを用いることを特徴としている。なお、第２の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
［２．１．音声信号処理装置の機能構成］
まず、図６を参照して、第２の実施形態に係る音声信号処理装置１００の機能構成について説明する。図６は、第２の実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図６に示すように、音声信号処理装置１００は、第１の実施形態と同様、信号入力部１１０と、ＡＤ変換部１２０と、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０と、信号記録部１７０とを備える。そして、特徴量抽出部１３０は、パルス特徴量抽出部として、第１の実施形態と同様に振幅最大値取得部１３１及びパルス幅計算部１３２を備えるが、残響特徴量抽出部として零交差回数計算部１３４を備えることを特徴としている。
零交差回数計算部１３４は、パルス機械音の残響成分を表す狭帯域信号の零交差回数Ｎを計算する。ここで、零交差回数Ｎは、当該狭帯域信号の零交差点（ゼロクロスポイント）の数である。零交差点は、音声信号の時間波形において信号値が正の値から負の値に、又は負の値から正の値に変化する点を示す。零交差点では、音声信号の信号値はゼロとなる。この零交差点の数が多いほど、音声信号がより高い周波数成分を有することになり、零交差点の数が少ないほど、音声信号がより低い周波数成分を有することになる。このように、零交差点の数は、音声信号に含まれる低周波数成分を示すパラメータとなる。
上記のように、パルス機械音の残響成分を表す狭帯域信号は、特有の低周波数帯域（例えば２００Ｈｚ以下）の信号であり、通常の背景音とは周波数帯域が相違する。従って、所定区間における音声信号の零交差回数Ｎをカウントすれば、当該零交差回数Ｎにより、その区間にパルス機械音の残響成分が含まれるか否かを判定することができる。
そこで、零交差回数計算部１３４は、例えば、音声信号の所定区間（例えば１フレーム）から例えば２００Ｈｚ以下の低周波数帯域の信号を取り出し、この信号の零交差点の数をカウントすることで、零交差回数Ｎを求める。そして、零交差回数計算部１３４は、当該零交差回数Ｎを残響特徴量（第２の特徴量）として雑音判定部１４０に出力する。
なお、零交差回数計算部１３４は、雑音の特性に応じて、上記２００Ｈｚ以下の帯域とは異なる周波数帯域の信号の零交差回数Ｎを計算してもよい。また、零交差回数計算部１３４は、複数の周波数帯域の信号の零交差回数Ｎを計算してもよい。また、零交差回数計算部１３４は、上記零交差回数Ｎに代えて、零交差回数Ｎを音声信号の１フレーム中のサンプル数で除算した値を、残響特徴量として用いてもよい。
雑音判定部１４０は、上記パルス機械音を表す特徴量（振幅最大値Ａ、パルス幅Ｗ、零交差回数Ｎ）に基づいて、音声信号にパルス機械音が含まれるか否かを判定する。このとき、雑音判定部１４０は、上記零交差回数計算部１３４により得られた零交差回数Ｎと、予め設定された零交差回数Ｎの閾値Ｎ０とを比較し、Ｎ０＞Ｎであれば、その区間における音声信号にパルス機械音の残響成分が存在すると判定する。
［２．２．パルス機械音の判定方法の具体例］
次に、第２の実施形態に係る音声信号処理装置１００の雑音判定部１４０によるパルス機械音の判定方法の具体例について説明する。第２の実施形態でも、第１の実施形態と同様に、例えば、統計的識別法を用いた判定方法、又はテーブル判定を用いた判定方法等を用いることができる。
［２．２．１．統計的識別法を用いた判定方法］
雑音判定部１４０は、線形識別器又は人工ニューラルネットワークなどを用いた統計的識別法により、音声信号におけるパルス機械音の有無を判定することができる。例えば、線形識別器を用いた統計的識別法では、上述した式（１）を用いて、判定値ｙとして上記特徴量の加重平均を計算する。このとき、式（１）中のｘｉとしては、上記特徴量抽出部１３０により抽出された３つの特徴量のベクトルである｛ｘｉ＝（Ａ，Ｗ，Ｎ）｝を用いる。その他の点は、第１の実施形態と同様であるので、詳細説明を省略する。
［２．２．２．テーブル判定を用いた判定方法］
雑音判定部１４０は、予め設定された特徴量の閾値を表すテーブルを用いて、音声信号におけるパルス機械音の有無を判定することができる。雑音判定部１４０は、例えば図７に示すようなテーブル１４４を用いて、パルス機械音の有無を判定する。
図７に示すように、テーブル１４４には、各特徴量Ａ、Ｗ、Ｎ、・・・の閾値Ａ０、Ｗ０、Ｎ０、・・・と、判定基準に関する情報が保存されている。例えば、零交差回数Ｎの閾値Ｎ０は５０であり、実際の零交差回数ＮがＮ０未満であれば、零交差回数Ｎに関する判定が正（Ｔｒｕｅ）となるように設定されている。雑音判定部１４０は、特徴量抽出部１３０により計算された実際の振幅最大値Ａ、パルス幅Ｗ、零交差回数Ｎと、テーブル１４４に保持された閾値Ａ０、Ｗ０、Ｎ０を比較し、各特徴量の項目について正否を判定する。図示の例では、振幅最大値Ａ及び零交差回数Ｎの項目が正（Ｔｒｕｅ）と判定され、パルス幅Ｗの項目が否（Ｆａｌｓｅ）と判定されている。
さらに、第１の実施形態と同様に、雑音判定部１４０は、正判定の項目数ｚと、その閾値ｚ０を比較し、その比較結果に基づいて、音声信号の１フレーム中にパルス機械音が含まれるか否かを判定する。なお、閾値Ａ０、Ｗ０、Ｎ０、・・・・や、正判定の項目数ｚの閾値ｚ０等は、パルス機械音の有無を判定するための判定係数に相当する。
［２．３．効果］
以上、本開示の第２の実施形態に係る音声信号処理装置１００の構成と、これを用いた雑音判定方法について説明した。なお、音声信号処理装置１００を用いた音声信号処理方法の手順は第１の実施形態と同様である（図５参照。）。
第２の実施形態によれば、残響特徴量として零交差回数Ｎを用いることで、パルス機械音の残響成分の有無を適切に判定できるので、音声信号にパルス機械音が含まれるか否かを正確に検出できる。従って、第２の実施形態でも、上述した第１の実施形態の効果と同様の効果が得られる。
＜３．第３の実施の形態＞
次に、本開示の第３の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第３の実施形態に係る音声信号処理装置は、上記３つの特徴量Ａ、Ｗ、Ｐだけでなく、その他の追加特徴量（第３の特徴量）をも用いることを特徴としている。なお、第３の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
［３．１．音声信号処理装置の機能構成］
まず、図８を参照して、第３の実施形態に係る音声信号処理装置１００の機能構成について説明する。図８は、第３の実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図８に示すように、音声信号処理装置１００は、第１の実施形態と同様、信号入力部１１０と、ＡＤ変換部１２０と、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０と、信号記録部１７０とを備える。そして、特徴量抽出部１３０は、振幅最大値取得部１３１、パルス幅計算部１３２及び残響パワー計算部１３３に加えて、１又は２以上の追加特徴量計算部１３５−１〜Ｎ（Ｎは任意の自然数）を備えることを特徴としている。
追加特徴量計算部１３５−１〜Ｎ（以下、追加特徴量計算部１３５と総称する。）は、上記第１の実施形態で用いた基本特徴量（振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰ）以外にも、追加特徴量Ｂをそれぞれ計算する。
ここで、追加特徴量Ｂは、例えば、（ａ）音声信号の二乗平均平方根（ＲＭＳ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）、（ｂ）当該ＲＭＳの変化値、（ｃ）上記パルス機械音の残響成分を表す狭帯域信号の振幅変化値、（ｄ）当該狭帯域信号の零交差回数Ｎ、（ｅ）零交差回数Ｎの変化値などである。追加特徴量計算部１３５は、これら各種の追加特徴量の一部のみを計算してもよいし、全部を計算してもよい。
（ａ）音声信号のＲＭＳは、音声信号のある区間内の平均エネルギーを表し、パルス機械音のパルス成分を表すパルス特徴量に相当する。音声信号に雑音が含まれる場合には、ＲＭＳは、雑音やその近傍の音声信号のエネルギーを表すことになる。従って、音声信号にパルス機械音が含まれる場合には、そのパルス成分の区間のＲＭＳが大きくなり、その前後のＲＭＳが小さくなるので、当該ＲＳＭを用いて、パルス成分の有無を検出することができる。
（ｂ）音声信号のＲＭＳの変化値は、上記ＲＭＳの時間推移を表し、パルス機械音のパルス成分を表すパルス特徴量に相当する。このＲＭＳの変化値によって、パルス機械音が含まれる区間とその前後の区間との間で音声信号のエネルギー変化を比較して、パルス機械音の有無をより正確に検出したり、パルス機械音のパルス成分の信号波形などを細かく分析したりすることができる。
（ｃ）狭帯域信号の振幅変化値は、パルス機械音の残響成分の振幅の時間推移を表し、パルス機械音の残響成分を表す残響特徴量に相当する。この狭帯域信号の振幅変化値によって、パルス機械音の残響成分が含まれる区間とその前後の区間との間で音声信号の振幅変化を比較して、パルス機械音の有無をより正確に検出したり、パルス機械音の残響成分の信号波形などを細かく分析したりすることができる。
（ｄ）狭帯域信号の零交差回数Ｎは、パルス機械音の残響成分のエネルギーを表し、パルス機械音の残響成分を表す残響特徴量に相当する。第２の実施形態で説明したように、零交差回数Ｎによって、パルス機械音の残響成分の有無をより正確に検出可能となる。
（ｅ）零交差回数Ｎの変化値は、パルス機械音の残響成分を表す狭帯域信号の零交差回数Ｎの時間推移を表し、パルス機械音の残響成分を表す残響特徴量に相当する。この零交差回数Ｎの変化値によって、パルス機械音の残響成分が含まれる区間とその前後の区間との間で音声信号の零交差点の数を比較して、パルス機械音の有無をより正確に検出したり、パルス機械音の残響成分の信号波形などを細かく分析したりすることができる。
このように、追加特徴量計算部１３５は、各種の追加特徴量Ｂを算出し、算出した追加特徴量Ｂを雑音判定部１４０に出力する。雑音判定部１４０は、上記３つの基本特徴量（振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰ）及び少なくとも１つの追加特徴量Ｂ（第１、第２及び第３の特徴量に相当する。）を用いて、パルス機械音の有無を判定する。
［３．２．パルス機械音の判定方法の具体例］
次に、第３の実施形態に係る音声信号処理装置１００の雑音判定部１４０によるパルス機械音の判定方法の具体例について説明する。第３の実施形態でも、第１の実施形態と同様に、例えば、統計的識別法を用いた判定方法、又はテーブル判定を用いた判定方法等を用いることができる。
［３．２．１．統計的識別法を用いた判定方法］
統計的識別法を用いた判定方法では、上記式（１）中のｘｉとして、上記３つの基本特徴量Ａ、Ｗ、Ｐと、少なくとも１つの追加特徴量Ｂを含む４以上の特徴量のベクトルｘｉ＝（Ａ，Ｗ，Ｐ，Ｂ１，Ｂ２，・・・，ＢＮ ）を用いる。その他の点は、第１の実施形態と同様であるので、詳細説明を省略する。
なお、各々の特徴量の重要度や、パルス機械音の特性に応じて、式（１）における各特徴量の荷重ｗｉを変更してもよい。例えば、追加特徴量Ｂの荷重ｗｉよりも基本特徴量Ａ、Ｗ、Ｐの荷重ｗｉを大きくしてもよい。また、複数の追加特徴量Ｂ１、Ｂ２、・・・、ＢＮを用いる場合には、重要な追加特徴量Ｂ（例えば零交差回数Ｎ）ほど、荷重ｗｉを大きくしてもよい。これにより、パルス機械音の有無の判定精度を向上することができる。
［３．２．２．テーブル判定を用いた判定方法］
また、テーブル判定を用いた判定方法では、第１の実施形態と同様に、予め設定された特徴量の閾値を表すテーブル（図４参照。）を用いて、音声信号におけるパルス機械音の有無を判定する。このテーブルには、各特徴量Ａ、Ｗ、Ｐ、Ｂ１、Ｂ２、・・・、ＢＮの閾値Ａ０、Ｗ０、Ｐ ０ 、Ｂ１_0、Ｂ２_0、・・・、ＢＮ_0と、判定基準に関する情報が保存されている。雑音判定部１４０は、実際の特徴量Ａ、Ｗ、Ｐ、Ｂ１、Ｂ２、・・・、ＢＮと、テーブル１４２に保持された閾値Ａ０、Ｗ０、Ｐ ０ 、Ｂ１_0、Ｂ２_0、・・・、ＢＮ_0をそれぞれ比較し、各特徴量の項目について正否を判定する。さらに、雑音判定部１４０は、正判定の項目数ｚと、その閾値ｚ０を比較し、その比較結果に基づいて、音声信号の１フレーム中にパルス機械音が含まれるか否かを判定する。この判定方法は、第１の実施形態と同様であるので、詳細説明を省略する。
［３．３．効果］
以上、本開示の第３の実施形態に係る音声信号処理装置１００の構成と、これを用いた雑音判定方法について説明した。なお、音声信号処理装置１００を用いた音声信号処理方法の手順は第１の実施形態と同様である（図５参照。）。
第３の実施形態によれば、基本特徴量Ａ、Ｗ、Ｐに加えて、追加特徴量Ｂを用いて、パルス機械音の有無を判定する。従って、第３の実施形態では、上述した第１の実施形態の効果に加え、パルス機械音の有無をより高精度で検出でき、パルス機械音の信号波形等もより正確に検出できる効果がある。
なお、上記第３の実施形態では、基本特徴量として残響成分パワーＰを用い、追加特徴量として零交差回数Ｎを用いる例を説明したが、本技術はかかる例に限定されない。例えば、基本特徴量として、残響成分パワーＰに代えて零交差回数Ｎ又はその変化値等を用い、追加特徴量として残響成分パワーＰ又はその変化値等を用いてもよい。
＜４．第４の実施の形態＞
次に、本開示の第４の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第４の実施形態に係る音声信号処理装置は、音声信号の複数の区間から複数の特徴量を抽出し、当該複数の特徴量に基づいて、パルス機械音の有無を判定することを特徴としている。この際、上記複数の特徴量を演算し（例えば、加算和又は平均値を計算し）、この演算値を新たな特徴量として用いて、パルス機械音の有無を判定してもよい。なお、第４の実施形態のその他の機能構成は、上記第１又は第３の実施形態と実質的に同一であるので、その詳細説明は省略する。
［４．１．音声信号処理装置の機能構成］
まず、図９を参照して、第４の実施形態に係る音声信号処理装置１００の機能構成について説明する。図９は、第４の実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図９に示すように、音声信号処理装置１００は、第１の実施形態と同様、信号入力部１１０と、ＡＤ変換部１２０と、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０と、信号記録部１７０とを備える。さらに、音声信号処理装置１００は、特徴量抽出部１３０及び雑音判定部１４０に接続された特徴量保持部１５２を備えることを特徴としている。
第４の実施形態では、特徴量抽出部１３０は、特徴量を計算するための音声信号の区間（フレーム）を任意の位置に設定可能である。そして、特徴量抽出部１３０は、音声信号の任意の位置にある複数の区間（複数のフレーム）からそれぞれ特徴量を算出し、雑音判定部１４０に出力する。雑音判定部１４０は、当該複数の特徴量を特徴量保持部１５２に保存する。特徴量保持部１５２は、半導体メモリ等の記憶装置からなり、特徴量抽出部１３０により算出された特徴量を一時的に保持する。特徴量抽出部１３０が特徴量を保持する期間は任意であり、記憶データ量を抑制するために、古い特徴量のデータを順次削除してもよい。
なお、特徴量抽出部１３０は、上記各種の特徴量（例えば、振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰ及び追加特徴量Ｂ）の全てについて、音声信号の複数の区間から計算してもよい。或いは、特徴量抽出部１３０は、ある特徴量（例えば、振幅最大値Ａ及びパルス幅Ｗ）については、音声信号の複数の区間から計算し、他の特徴量（例えば、残響成分パワーＰ及び追加特徴量Ｂ）については、音声信号の１つの区間から計算してもよい。
このようにして、音声信号の複数の区間（フレーム）からそれぞれ算出した特徴量は、特徴量保持部１５２に保持される。雑音判定部１４０は、音声信号の複数の区間から算出した特徴量を特徴量保持部１５２から読み出し、当該複数の特徴量に基づいて、パルス機械音の有無を判定する。この際、雑音判定部１４０は、当該複数の特徴量の加算和又は平均値等を演算し、当該演算値に基づいて、パルス機械音の有無を判定してもよい。
なお、第４の実施形態でも、第１の実施形態と同様に、雑音判定部１４０によりパルス機械音の有無を判定するために、例えば、統計的識別法を用いた判定方法、又はテーブル判定を用いた判定方法等を用いればよい。これらの判定方法は、上記第１又は第３の実施形態と同様であるので、詳細説明を省略する。
［４．２．効果］
以上、本開示の第４の実施形態に係る音声信号処理装置１００の構成について説明した。なお、音声信号処理装置１００を用いた音声信号処理方法の手順は第１の実施形態と同様である（図５参照。）。
第４の実施形態によれば、音声信号の複数の区間から算出した複数の特徴量を用いて、パルス機械音の有無を判定する。特に、これら複数の特徴量の加算和又は平均値等を演算することで、当該演算値を新たな特徴量とし、当該特徴量に基づいてパルス機械音の有無を判定することが好ましい。
これにより、判定の安定性を高めて、判定精度を向上できる。例えば、音声信号にパルス機械音以外の他の雑音が含まれるときや、背景音が変化するときなどには、音声信号の１つの区間からのみでは、適正な特徴量を算出できない場合もありうる。これに対し、本実施形態のように複数の区間の音声信号から複数の特徴量を算出して演算することにより、音声信号の異常値や特異値の影響を抑制できる。従って、適正な特徴量を安定的に算出できるので、パルス機械音の有無の判定精度を向上できる。
なお、上記第４の実施形態では、特徴量抽出部１３０の後段に特徴量保持部１５２を設け、計算後の特徴量を保持する構成であったが、本技術はかかる例に限定されない。例えば、特徴量抽出部１３０の前段に、ＡＤ変換後の音声信号の一定区間のデータを保持する信号保持部を設け、特徴量抽出部１３０は、当該信号保持部から音声信号の任意の区間のデータを読み出すことで、音声信号の複数の区間の特徴量を算出してもよい。これによっても、雑音判定部１４０は、音声信号の複数の区間の特徴量に基づいて、パルス機械音の有無を判定することが可能となる。
＜５．第５の実施の形態＞
次に、本開示の第５の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第５の実施形態に係る音声信号処理装置は、パルス機械音の発生源である駆動装置１４の制御信号を取得し、駆動装置１４の駆動期間中にだけ、上記特徴量抽出処理と雑音判定処理を行うことを特徴としている。なお、第５の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
［５．１．音声信号処理装置の機能構成］
まず、図１０を参照して、第５の実施形態に係る音声信号処理装置１００の機能構成について説明する。図１０は、第５の実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図１０に示すように、音声信号処理装置１００は、第１の実施形態と同様、信号入力部１１０と、ＡＤ変換部１２０と、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０と、信号記録部１７０とを備える。さらに、音声信号処理装置１００は、特徴量抽出部１３０に接続された制御信号取得部１８０を備えることを特徴としている。
パルス機械音の発生源である駆動装置１４は、デジタルカメラ１の制御部７０（図１参照。）が生成する制御信号により制御される。この制御信号は、駆動装置１４の駆動を制御するための駆動制御情報に相当し、例えば、デジタルカメラ１のズームモータ１５又はフォーカスモータ１６等を駆動させるための制御信号である。この制御信号により、駆動装置１４の駆動の有無を判断し、当該駆動装置１４からパルス機械音が発生し得る期間を検出することができる。
駆動装置１４が動作していないとき（非駆動期間）には、パルス機械音が発生することがないので、上述した特徴量抽出処理や雑音判定処理を実行する必要がない。一方、駆動装置１４が動作しているとき（駆動期間）には、パルス機械音が発生するので、上述した特徴量抽出処理や雑音判定処理を実行する必要がある。そこで、制御信号を取得して駆動装置１４の駆動期間を検出できれば、その駆動期間にのみこれらの処理を実行することで、演算量を節減することが可能となる。
そこで、第５の実施形態に係る音声信号処理装置１００は、制御部７０等から上記制御信号を取得して、当該制御信号に基づいて、駆動装置１４の駆動期間にのみ前述した特徴量抽出処理及び雑音判定処理を実行する。詳細には、図１０に示すように、音声信号処理装置１００は、駆動装置１４を制御するための制御信号を取得する制御信号取得部１８０を備える。この制御信号取得部１８０は、上記制御部７０から送信された制御信号を受信して、特徴量抽出部１３０に出力する。
特徴量抽出部１３０は、不図示のバッファメモリ等の記憶部を具備しており、マイクロホン５１から入力される音声信号をバッファリングしている。また、特徴量抽出部１３０は、制御信号取得部１８０により制御信号を取得したか否かを監視している。そして、特徴量抽出部１３０は、駆動装置１４の駆動開始を表す制御信号が取得された場合に、バッファメモリに保存された音声信号を読み出して、上記各種の特徴量を算出する処理を実行開始し、その後、駆動装置１４の駆動終了を表す制御信号が取得された場合に、当該処理の実行を終了する。このように、特徴量抽出部１３０は、制御信号を用いて、駆動装置１４が駆動する期間を判断しており、当該駆動装置１４の駆動期間にのみ特徴量抽出処理を実行する。同様に、雑音判定部１４０も、制御信号により駆動装置１４の駆動期間を判断しており、当該駆動装置１４の駆動期間にのみ、上記特徴量抽出部１３０から得られる特徴量を用いて、上述した雑音判定処理を実行する。
［５．２．音声信号処理方法］
次に、図１１を参照して、第５の実施形態に係る音声信号処理装置１００を用いた音声信号処理方法（機械音低減方法）について説明する。図１１は、本実施形態に係る音声信号処理方法を示すフローチャートである。
図１１に示すように、第５の実施形態に係る音声信号処理装置１００は、まず、マイクロホン５１から入力された音声信号をＡＤ変換し（Ｓ１０）、バッファに蓄積する（Ｓ１２）。このＳ１０〜Ｓ１２の処理は第１の実施形態と同様である。
次いで、雑音判定処理の処理単位である１フレーム分の音声信号のデータがバッファに蓄積された後に（Ｓ１４）、特徴量抽出部１３０は、雑音発生源である駆動装置１４が動作中であるか否か、即ち、駆動期間であるか否かを判断する（Ｓ１５）。例えば、Ｓ１５にて、特徴量抽出部１３０は、デジタルカメラ１本体の制御部７０から、駆動装置１４の制御信号を受信しているか否かに基づいて、駆動期間であるか否かを判定する。制御信号を受信している期間は、駆動装置１４が動作しており、駆動期間であり、一方、制御信号を受信していない期間は、駆動装置１４が動作しておらず、駆動期間でないと判定する。
この結果、駆動装置１４の駆動期間であると判定された場合には、第１の実施形態と同様に、特徴量抽出部１３０は、上記入力音声信号の１フレーム分の音声信号のデータから、パルス機械音を表す特徴量を算出し（Ｓ１６）、雑音判定部１４０は、Ｓ１６で得られた特徴量Ａ、Ｗ、Ｐと、上記判定係数を用いて、当該１フレーム中にパルス機械音が含まれるか否かを判定する（Ｓ１８）。この結果、パルス機械音が含まれると判定された場合、雑音低減部１６０は、入力音声信号の当該１フレームに対して雑音低減処理を実行して、パルス機械音を含む雑音を除去する（Ｓ２０）。その後、信号記録部１７０は、Ｓ２０で雑音低減された音声信号を記録媒体に記録する（Ｓ２２）。
一方、Ｓ１５で駆動装置１４の駆動期間でないと判定された場合には、第１の実施形態とは異なり、雑音判定部１４０による特徴量の算出処理や、雑音判定部１４０によるパルス機械音の有無の判定処理を行わない。そして、信号記録部１７０は、入力音声信号をそのまま記録媒体に記録する（Ｓ２２）。
その後、デジタルカメラ１による撮像及び録音動作が終了（Ｓ２４）するまで、入力音声信号の次の１フレームに対して、上記Ｓ１０〜Ｓ２２の処理が繰り返される。
［５．３．効果］
以上、本開示の第５の実施形態に係る音声信号処理装置１００の構成と、それを用いた音声信号処理方法について説明した。
第５の実施形態によれば、駆動装置１４の制御情報を用いて、駆動装置１４の駆動の有無を判定し、駆動装置１４の動作期間にのみ、特徴量抽出処理及び雑音判定処理を実行する。これにより、駆動装置１４の非駆動期間中には、これらの演算処理を行わなくてすむので、その分の演算量を節減することができる。特に、デジタルカメラ１の撮像動作期間中に、ズームモータ１５等の駆動装置１４が頻繁に動作することは稀であり、撮像動作期間全体のうち、駆動装置１４の動作期間は僅かな時間に限られる。従って、上記の処理を駆動期間にのみ実施し、非駆動期間に実施しないことで、演算量を大幅に削減可能である。
また、駆動装置１４の非駆動期間に上記処理を行うことで、パルス機械音が存在しないのに存在すると判定してしまう雑音判定エラーが生じる恐れがある。しかし、第５の実施形態によれば、かかる雑音判定エラーも低減できるので、原音に忠実な高品質な音声信号を記録することができる。
＜６．第６の実施の形態＞
次に、本開示の第６の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。第６の実施形態に係る音声信号処理装置は、雑音発生源である駆動装置１４の特性に応じて上記判定係数を変更し、当該判定係数及び特徴量を用いて、当該駆動装置１４に特有のパルス機械音の有無を判定することを特徴としている。なお、第６の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
［６．１．雑音判定方法の概要］
上記パルス機械音の特性は、当該パルス機械音を発生させる発音部（駆動装置１４等）の特性に応じて変化する。例えば、一眼レフカメラ等では、カメラ本体に対して複数種類の交換式のレンズ装置（例えば、図１の撮像部１０に相当する。）を着脱可能である。この場合、装着されるレンズ装置の特性（例えば、レンズを駆動させる駆動装置１４の種類、配置等）に応じて、デジタルカメラ１で収音されるパルス機械音の特性が変化する。従って、デジタルカメラ１に実際に装着されたレンズ装置の特性に応じて、上述した雑音判定処理に用いる各種の係数、テーブル、特徴量の閾値等のパラメータ（以下「判定係数」という。）を設定することが好ましい。
そこで、第６の実施形態では、交換式のレンズ装置ごとに、当該各レンズ装置の特性に対応する判定係数を予め設定しておく。そして、実際の雑音判定処理では、デジタルカメラ１に装着されたレンズ装置に対応する判定係数を用いて、当該レンズ装置に特有の雑音（パルス機械音）が、入力音声信号に含まれるか否かを判定する。このように、雑音判定に用いる判定係数を変更可能とすることで、各レンズ装置に特有の雑音を高精度で検出可能となる。
ここで、判定係数は、パルス機械音の有無を判定するために用いられるパラメータである。例えば、判定係数は、上述した統計的識別法における数式（１）中の荷重ｗｉ、ｗＩ、閾値ｙ０や、テーブル判定方法におけるテーブル１４２（図４等参照。）中の各特徴量の閾値Ａ０、Ｗ０、Ｐ０・・・、判定の項目数ｚの閾値ｚ０などを含む。各種のレンズ装置の駆動装置１４から発生するパルス機械音を事前に分析し、この分析結果に応じて上記各種の判定係数を設定しておけば、レンズ装置ごとに適切な雑音低減処理を実現できる。
［６．２．音声信号処理装置の機能構成］
次に、図１２を参照して、第６の実施形態に係る音声信号処理装置１００の機能構成について説明する。図１２は、第６の実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図１２に示すように、音声信号処理装置１００は、第１の実施形態と同様、信号入力部１１０と、ＡＤ変換部１２０と、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０と、信号記録部１７０とを備える。さらに、音声信号処理装置１００は、複数の判定係数の中から、デジタルカメラ１に接続されたレンズ装置に対応する判定係数を選択する判定係数選択部１５４を備えることを特徴としている。
判定係数選択部１５４は、各種のレンズ装置ごとに予め設定された複数の判定係数を保持する。この判定係数選択部１５４に保持されている判定係数は、当該各レンズ装置の駆動装置１４の特性や、当該駆動装置１４が発生するパルス機械音の特性に応じて、予め設定されている。パルス機械音のパルス成分の振幅最大値やパルス幅、残響成分の周波数帯域、零交差回数等は、レンズ装置ごとに相異なる。そこで、各レンズ装置で発生するパルス機械音に特有のパルス成分や残響成分の特性に合わせて、判定係数の値が設定される。また、判定係数選択部１５４は、これらの各レンズ装置に対応する判定係数を、当該各レンズ装置の識別情報に関連づけて保持している。
また、判定係数選択部１５４は、実際にデジタルカメラ１に接続された１つのレンズ装置を表す情報（接続レンズ情報）を、当該レンズ装置又は制御部７０等から取得する。この接続レンズ情報は、レンズ装置の種類ごとに固有に付与される識別情報（例えば、レンズ装置の型番、名称等）である。判定係数選択部１５４は、当該接続レンズ情報に基づいて、デジタルカメラ１に接続されたレンズ装置を特定し、判定係数保持部１５０に保持されている複数の判定係数の中から、当該レンズ装置に対応する１つの判定係数を選択する。
そして、雑音判定部１４０は、判定係数選択部１５４により選択された判定係数と、特徴量抽出部１３０により得られた特徴量とを用いて、上記雑音判定処理を行い、当該レンズ装置に特有のパルス機械音の有無を判定する。この雑音判定処理では、上記第１の実施形態と同様に、例えば、統計的識別法を用いた判定方法、又はテーブル判定を用いた判定方法等を用いることができる。
このように図１２に示す構成例では、音声信号処理装置１００内の判定係数保持部１５０に、デジタルカメラ１に装着可能な複数種類の交換式レンズ装置にそれぞれ対応する複数の判定係数を予め保持しておく。そして、実際の雑音判定処理時には、判定係数保持部１５０内の複数の判定係数の中から、デジタルカメラ１に実際に装着された１つのレンズ装置に対応する判定係数を選択し、雑音判定処理に利用する。
［６．３．音声信号処理装置の変更例］
次に、図１３を参照して、第６の実施形態に係る音声信号処理装置１００の変更例について説明する。図１３は、第６の実施形態に係る音声信号処理装置１００の変更例を示すブロック図である。
図１３に示す例では、音声信号処理装置１００は、上記図１２の例のような判定係数保持部１５０及び判定係数選択部１５４を備えておらず、雑音判定に必要な判定係数は、音声信号処理装置１００内ではなく、各々の交換式レンズ装置１５６Ａ〜１５６Ｎ内に保持されている。この各レンズ装置１５６Ａ〜１５６Ｎに保持されている判定係数は、上記と同様に、当該各レンズ装置１５６Ａ〜１５６Ｎの特性や、そのパルス機械音の特性等に応じて予め設定されている。
そして、デジタルカメラ１にレンズ装置１５６Ａが接続されたときには、音声信号処理装置１００の雑音判定部１４０は、当該レンズ装置１５６Ａから、当該レンズ装置１５６Ａに対応する判定係数を取得する。例えば、デジタルカメラ１の制御部７０がレンズ装置１５６Ａの識別情報とともに判定係数を取得し、雑音判定部１４０は、当該制御部７０から送信された判定係数を受信する。さらに、雑音判定部１４０は、上記接続されたレンズ装置１５６Ａから取得した判定係数と、特徴量抽出部１３０により得られた特徴量を用いて、当該レンズ装置１５６Ａに特有のパルス機械音の有無を判定する。
このように、図１３の構成例では、雑音判定に必要な判定係数を各々のレンズ装置１５６内に保持しておく。そして、実際の雑音判定処理時には、デジタルカメラ１に実際に接続されたレンズ装置１５６Ａから判定係数を取得して、雑音判定処理に利用する。
［６．４．効果］
以上、本開示の第６の実施形態に係る音声信号処理装置１００の構成について説明した。なお、音声信号処理装置１００を用いた音声信号処理方法の手順は第１の実施形態と同様である（図５参照。）。
第６の実施形態によれば、デジタルカメラ１に接続される交換式のレンズ装置の特性に応じて、雑音判定処理に用いる判定係数を変更する。これにより、当該接続されたレンズ装置に特有のパルス機械音を高精度で判定及び検出できるので、雑音低減精度を大幅に向上できる。特に、一眼レフカメラなど、相異なる種類のレンズ装置を装着可能な機器では、レンズ装置ごとに異なるパルス機械音を適切に低減した上で、高品質の背景音を記録できる。
さらに、図１２の示した例では、音声信号処理装置１００自身の判定係数保持部１５０に、相異なる複数のレンズ装置に対応する判定係数を保持することで、これらレンズ装置の全てから発生するパルス機械音に柔軟に対応可能となる。また、判定係数保持部１５０に保持される判定係数を更新（追加、削除又は変更）することで、新たなタイプのレンズ装置にも対応可能なる。
さらに、図１３の示した例では、各レンズ装置に適切な判定係数を保持させ、デジタルカメラ１に接続されたレンズ装置から判定係数を取得する。これにより、新たなタイプのレンズ装置１５６に対しても，既存のデジタルカメラ１に搭載された音声信号処理装置１００の記憶部（ＲＯＭ等）に保持された判定係数を書き替えることなく、図１２と同様に、レンズ装置ごとに判定係数を変更することが可能にある。このように、図１３の例では、既存のデジタルカメラ１の内部情報を更新せずとも、交換式レンズ装置１５６の追加、削除又は変更等に柔軟に対応できるという利点がある。
なお、上記説明では、デジタルカメラ１に交換式のレンズ装置を着脱する場合に、判定係数を変更する例について説明したが、本技術はかかる例に限定されない。例えば、音声信号処理装置が搭載される機器に、相異なる特性のパルス機械音を発生させる複数の発音部（複数の駆動装置１４等）が存在する場合や、当該機器に当該複数の発音部を選択的に着脱する場合などにも、上記と同様にして判定係数を変更すればよい。
＜７．第７の実施の形態＞
次に、本開示の第７の実施形態に係る音声信号処理装置及び音声信号処理方法について説明する。上記では、音声信号処理装置１００をデジタルカメラ１等の記録装置に設け、音声信号の記録時に雑音低減する例について説明した。これに対し、第７の実施形態では、音声信号処理装置を再生装置に設け、記録された音声信号の再生時に雑音低減することを特徴としている。なお、第７の実施形態のその他の機能構成は、上記第１の実施形態と実質的に同一であるので、その詳細説明は省略する。
［７．１．音声信号処理装置の機能構成］
次に、図１４を参照して、第７の実施形態に係る音声信号処理装置１００の機能構成について説明する。図１４は、第７の実施形態に係る音声信号処理装置１００の機能構成を示すブロック図である。
図１４に示すように、音声信号処理装置１００は、信号記録部１９０及び信号再生部２００を備える再生装置に適用され、信号記録部１９０から読み出された再生対象の音声信号に対して、特徴量抽出、雑音判定、雑音低減等の各種処理を実行することを特徴としている。音声信号処理装置１００は、第１の実施形態と同様、特徴量抽出部１３０と、雑音判定部１４０と、判定係数保持部１５０と、雑音低減部１６０とを備える。さらに、音声信号処理装置１００は、信号記録部１９０から、再生対象の音声信号を取得する信号取得部１９２を備える。
信号記録部１９０は、ハードディスク、光ディスク、半導体メモリ、テープ等の記録媒体（図示せず。）を具備している。この記録媒体には、上記デジタルカメラ１等による撮像・録音時に、音声信号のデータが記録されている。なお、ズームモータ１５又はフォーカスモータ１６等の制御信号は、音声信号に関連付けて保存される必要はない。
そして、信号記録部１９０は、不図示の制御部からの指示に基づき、再生対象の音声信号を記録媒体から読み出す。信号取得部１９２は、信号記録部１９０から、再生対象の音声信号のデータを取得して、特徴量抽出部１３０及び雑音低減部１６０に出力する。このとき、信号取得部１９２は、例えば、５１２サンプル又は１０２４サンプル程度の区間のデータを、１フレームとして取得する
その後、上記第１の実施形態と同様にして、特徴量抽出部１３０による特徴量の算出処理、雑音判定部１４０による雑音判定処理が行われる。この際、雑音判定に用いる判定係数は、判定係数保持部１５０に保持されていてもよいし、信号記録部１９０の記録媒体中に音声信号に関連づけて記録されていてもよい。
上記の判定結果、再生対象の音声信号にパルス機械音が含まれていると判定された場合には、雑音低減部１６０により、音声信号からパルス機械音が低減される。かかるパルス機械音の低減後の音声信号は、信号再生部２００に出力される。信号再生部２００は、例えば、スピーカ、又はヘッドホンア等の音声再生装置で構成され、上記雑音が低減された音声信号を再生する。
［７．２．効果］
以上、本開示の第７の実施形態に係る音声信号処理装置１００の構成について説明した。なお、音声信号処理装置１００を用いた音声信号処理方法の手順は第１の実施形態と同様である（図５参照。）。ただし、第７の実施形態では、音声再生時に雑音低減を行うため、図５のＡＤ変換処理（Ｓ１０）は不要であり、Ｓ２２では音声信号を再生し、再生対象の全ての音声信号のデータの再生が終了するまで（Ｓ２４）、Ｓ１２〜Ｓ２２の処理を繰り返す。
第７の実施形態によれば、音声信号の記録時（撮像時、録音時等）だけでなく，記録された音声信号を再生するときにも、再生対象の音声信号に含まれるパルス機械音を適切に低減することができる。
＜８．まとめ＞
以上、本開示の好適な実施形態に係る音声信号処理装置及び音声信号処理方法について説明した。本実施形態によれば、駆動装置１４の動作開始又は終了時にパルス機械音が発生した場合であっても、マイクロホン５１により収音された音声信号から、当該パルス機械音とその区間（雑音区間）を高精度で検出することができる。そして、検出された雑音区間に雑音低減処理を施すことにより，非雑音区間における音質劣化の恐れのない、高品質な音声を提供することができる。
この際、駆動装置１４の制御信号を用いずとも、実際に入力された音声信号のみを用いてパルス機械音を検出できる。従って、実際にパルス機械音が含まれる雑音区間と、雑音低減処理区間とを正確に合わせて、雑音低減処理を実現できる。よって、上述した制御信号と雑音区間の間の遅延による雑音低減精度の低下、音質の劣化の問題を解消できる。
さらに、パルス機械音に特有の各種の特徴量（振幅最大値Ａ、パルス幅Ｗ、残響成分パワーＰ、零交差回数Ｎ等）を組み合わせて、総合的にパルス機械音の有無を判定することにより、人間の耳に知覚されるパルス機械音を正確に検出できる。従って、人間の耳に雑音が知覚されない非雑音区間において低減処理を行ったり，雑音が知覚される雑音区間において低減処理を行わないといった不具合を解消でき、高精度の雑音低減処理を実現できる。
また、駆動装置１４の駆動制御情報（制御信号）を使用せずに、音声信号のみからパルス機械音を判定できるので、音声信号処理装置１００が適用される機器のシステム構成を簡素化できる。また、音声信号の収音・記録時のみならず、記録媒体に記録された音声信号の再生時にも、雑音の有無の判定及び低減処理を実行できる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では主に、音声信号処理装置としてデジタルカメラ１を例示し、動画撮像と共に録音する時に機械音を低減する例について説明したが、本技術はかかる例に限定されない。本技術の音声信号処理装置は、各種の音声信号記録装置又は音声信号再生装置等の電子機器に適用できる。例えば、音声信号処理装置は、記録再生装置（例えば、ブルーレイディスク／ＤＶＤレコーダ）、テレビジョン受像器、システムステレオ装置、撮像装置（例えば、デジタルカメラ、デジタルビデオカメラ）、携帯端末（例えば、携帯型音楽／映像プレーヤ、携帯型ゲーム機、ＩＣレコーダ）、パーソナルコンピュータ、ゲーム機、カーナビゲーション装置、デジタルフォトフレーム、家庭電化製品、自動販売機、ＡＴＭ、キオスク端末など、任意の電子機器に適用できる。
なお、本技術は以下のような構成も取ることができる。
（１）収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する雑音判定部と、
を備える、音声信号処理装置。
（２）前記発音部は、前記収音部と同一の筐体に設けられた駆動装置であり、
前記作動音は、前記駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音である、前記（１）に記載の音声信号処理装置。
（３）前記特徴量抽出部は、前記特徴量として、前記作動音のパルス成分を表す第１の特徴量と、前記作動音の残響成分を表す第２の特徴量とを抽出し、
前記雑音判定部は、前記第１及び第２の特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記（１）又は（２）に記載の音声信号処理装置。
（４）前記第１の特徴量は、前記作動音のパルス成分の振幅最大値及びパルス幅を含み、
前記第２の特徴量は、前記作動音の残響成分を表す狭帯域信号のパワーを含む、前記（３）に記載の音声信号処理装置。
（５）前記第１の特徴量は、前記作動音のパルス成分の振幅最大値及びパルス幅を含み、
前記第２の特徴量は、前記作動音の残響成分を表す狭帯域信号の零交差回数を含む、前記（３）に記載の音声信号処理装置。
（６）前記特徴量抽出部は、前記特徴量として、前記音声信号のＲＭＳ、前記ＲＭＳの変化値、前記作動音の残響成分を表す狭帯域信号の振幅変化値、前記狭帯域信号の零交差回数、又は前記零交差回数の変化値のうち一部又は全部を含む第３の特徴量をさらに抽出し、
前記雑音判定部は、前記第１、第２及び第３の特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記（３）〜（５）のいずれか一項に記載の音声信号処理装置。
（７）前記特徴量抽出部は、前記音声信号の複数の区間から複数の前記特徴量を抽出し、
前記雑音判定部は、前記複数の区間から抽出された前記複数の特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記（１）〜（６）のいずれか一項に記載の音声信号処理装置。
（８）前記駆動装置を制御するための制御信号を取得する制御信号取得部をさらに含み、
前記制御信号に基づいて前記駆動装置の駆動期間を判断し、前記駆動装置の駆動期間中にのみ、前記特徴量抽出部による前記特徴量の抽出処理と、前記雑音判定部による判定処理を実行する、前記（２）に記載の音声信号処理装置。
（９）前記雑音判定部は、
前記発音部の特性に応じて設定された判定係数、及び前記特徴量を用いて、前記発音部に特有の前記作動音が前記音声信号に含まれるか否かを判定する、前記（１）〜（８）のいずれか一項に記載に記載の音声信号処理装置。
（１０）前記音声信号処理装置は、撮像装置に設けられ、
前記発音部は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
前記音声信号処理装置は、
前記レンズ装置ごとに設定された複数の判定係数を保持する判定係数保持部と、
前記撮像装置に接続された前記レンズ装置を表す情報に基づいて、前記複数の判定係数の中から当該レンズ装置に対応する判定係数を選択する判定係数選択部と、
を更に備え、
前記雑音判定部は、
前記判定係数選択部により選択された前記判定係数、及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記作動音が前記音声信号に含まれるか否かを判定する、前記（９）に記載に記載の音声信号処理装置。
（１１）前記音声信号処理装置は、撮像装置に設けられ、
前記発音部は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
前記レンズ装置は、当該レンズ装置の特性に応じて設定された判定係数を保持しており、
前記雑音判定部は、前記撮像装置に接続された前記レンズ装置から前記判定係数を取得し、前記取得した判定係数及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記作動音が前記音声信号に含まれるか否かを判定する、前記（９）に記載に記載の音声信号処理装置。
（１２）前記音声信号処理装置は、前記音声信号を再生する再生装置に設けられ、
前記特徴量抽出部は、前記音声信号の再生時に前記音声信号から前記特徴量を抽出し、
前記雑音判定部は、前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する、前記（１）〜（９）のいずれか一項に記載に記載の音声信号処理装置。
（１３）外部音声を音声信号に変換する収音部と、
前記収音部と同一の筐体に設けられ、パルス状の作動音を発生させる発音部と、
前記収音部から出力された前記音声信号から、前記作動音を表す特徴量を抽出する特徴量抽出部と、
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定する雑音判定部と、
前記雑音判定部により前記作動音が含まれると判定された場合に、前記音声信号に対して雑音低減処理を行う雑音低減部と、
を備える、撮像装置。
（１４）収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出することと、
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、
を含む、音声信号処理方法。
（１５）収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出することと、
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、
をコンピュータに実行させるためのプログラム。
（１６）収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた発音部から発生するパルス状の作動音を表す特徴量を抽出することと、
前記特徴量に基づいて、前記音声信号に前記作動音が含まれるか否かを判定することと、
をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
１ デジタルカメラ
２ 筐体
３ レンズ部
１０ 撮像部
１４ 駆動装置
１５ ズームモータ
１６ フォーカスモータ
５１ マイクロホン
６０ 音声信号処理部
７０ 制御部
１００ 音声信号処理装置
１１０ 信号入力部
１２０ ＡＤ変換部
１３０ 特徴量抽出部
１３１ 振幅最大値取得部
１３２ パルス幅計算部
１３３ 残響パワー計算部
１３４ 零交差回数計算部
１３５ 追加特徴量計算部
１４０ 雑音判定部
１４２、１４４ テーブル
１５０ 判定係数保持部
１５２ 特徴量保持部
１５４ 判定係数選択部
１５６ レンズ装置
１６０ 雑音低減部
１７０、１９０ 信号記録部
１８０ 制御信号取得部
１９２ 信号取得部
２００ 信号再生部

Claims (14)

  1. 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する雑音判定部と、
    を備え、
    前記特徴量抽出部は、前記特徴量として、前記パルス状の機械駆動音のパルス成分を表す第１の特徴量と、前記パルス状の機械駆動音の残響成分を表す第２の特徴量とを抽出し、
    前記雑音判定部は、前記第１及び第２の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、音声信号処理装置。
  2. 前記第１の特徴量は、前記パルス状の機械駆動音のパルス成分の振幅最大値及びパルス幅を含み、
    前記第２の特徴量は、前記パルス状の機械駆動音の残響成分を表す狭帯域信号のパワーを含む、請求項１に記載の音声信号処理装置。
  3. 前記第１の特徴量は、前記パルス状の機械駆動音のパルス成分の振幅最大値及びパルス幅を含み、
    前記第２の特徴量は、前記パルス状の機械駆動音の残響成分を表す狭帯域信号の零交差回数を含む、請求項１に記載の音声信号処理装置。
  4. 前記特徴量抽出部は、前記特徴量として、前記音声信号のＲＭＳ、前記ＲＭＳの変化値、前記パルス状の機械駆動音の残響成分を表す狭帯域信号の振幅変化値、又は前記狭帯域信号の零交差回数の変化値のうち一部又は全部を含む第３の特徴量をさらに抽出し、
    前記雑音判定部は、前記第１、第２及び第３の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、請求項１〜３のいずれか一項に記載の音声信号処理装置。
  5. 前記特徴量抽出部は、前記音声信号の複数の区間から複数の前記特徴量を抽出し、
    前記雑音判定部は、前記複数の区間から抽出された前記複数の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、請求項１〜４のいずれか一項に記載の音声信号処理装置。
  6. 前記駆動装置を制御するための制御信号を取得する制御信号取得部をさらに含み、
    前記制御信号に基づいて前記駆動装置の駆動期間を判断し、前記駆動装置の駆動期間中にのみ、前記特徴量抽出部による前記特徴量の抽出処理と、前記雑音判定部による判定処理を実行する、請求項１に記載の音声信号処理装置。
  7. 前記雑音判定部は、
    前記駆動装置の特性に応じて設定された判定係数、及び前記特徴量を用いて、前記駆動装置に特有の前記パルス状の機械駆動音が前記音声信号に含まれるか否かを判定する、請求項１〜６のいずれか一項に記載に記載の音声信号処理装置。
  8. 前記音声信号処理装置は、撮像装置に設けられ、
    前記駆動装置は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
    前記音声信号処理装置は、
    前記レンズ装置ごとに設定された複数の判定係数を保持する判定係数保持部と、
    前記撮像装置に接続された前記レンズ装置を表す情報に基づいて、前記複数の判定係数の中から当該レンズ装置に対応する判定係数を選択する判定係数選択部と、
    を更に備え、
    前記雑音判定部は、
    前記判定係数選択部により選択された前記判定係数、及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記パルス状の機械駆動音が前記音声信号に含まれるか否かを判定する、請求項７に記載に記載の音声信号処理装置。
  9. 前記音声信号処理装置は、撮像装置に設けられ、
    前記駆動装置は、前記撮像装置の本体に着脱可能な交換式のレンズ装置であり、
    前記レンズ装置は、当該レンズ装置の特性に応じて設定された判定係数を保持しており、
    前記雑音判定部は、前記撮像装置に接続された前記レンズ装置から前記判定係数を取得し、前記取得した判定係数及び前記特徴量を用いて、前記撮像装置に接続された前記レンズ装置に特有の前記パルス状の機械駆動音が前記音声信号に含まれるか否かを判定する、請求項７に記載に記載の音声信号処理装置。
  10. 前記音声信号処理装置は、前記音声信号を再生する再生装置に設けられ、
    前記特徴量抽出部は、前記音声信号の再生時に前記音声信号から前記特徴量を抽出し、
    前記雑音判定部は、前記特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、請求項１〜９のいずれか一項に記載の音声信号処理装置。
  11. 外部音声を音声信号に変換する収音部と、
    前記収音部と同一の筐体に設けられ、動作開始時又は動作終了時にパルス状の機械駆動音を発生させる駆動装置と、
    前記収音部から出力された前記音声信号から、前記パルス状の機械駆動音を表す特徴量を抽出する特徴量抽出部と、
    前記特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する雑音判定部と、
    前記雑音判定部により前記パルス状の機械駆動音が含まれると判定された場合に、前記音声信号に対して雑音低減処理を行う雑音低減部と、
    を備え、
    前記特徴量抽出部は、前記特徴量として、前記パルス状の機械駆動音のパルス成分を表す第１の特徴量と、前記パルス状の機械駆動音の残響成分を表す第２の特徴量とを抽出し、
    前記雑音判定部は、前記第１及び第２の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定する、撮像装置。
  12. 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量として、前記パルス状の機械駆動音のパルス成分を表す第１の特徴量と、前記パルス状の機械駆動音の残響成分を表す第２の特徴量とを抽出することと、
    前記第１及び第２の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定することと、
    を含む、音声信号処理方法。
  13. 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量として、前記パルス状の機械駆動音のパルス成分を表す第１の特徴量と、前記パルス状の機械駆動音の残響成分を表す第２の特徴量とを抽出することと、
    前記第１及び第２の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定することと、
    をコンピュータに実行させるためのプログラム。
  14. 収音部により得られる音声信号から、前記収音部と同一の筐体に設けられた駆動装置の動作開始時又は動作終了時に発生するパルス状の機械駆動音を表す特徴量として、前記パルス状の機械駆動音のパルス成分を表す第１の特徴量と、前記パルス状の機械駆動音の残響成分を表す第２の特徴量とを抽出することと、
    前記第１及び第２の特徴量に基づいて、前記音声信号に前記パルス状の機械駆動音が含まれるか否かを判定することと、
    をコンピュータに実行させるためのプログラムが記録された、コンピュータ読み取り可能な記録媒体。
JP2011163045A 2011-07-26 2011-07-26 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 Expired - Fee Related JP5741281B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011163045A JP5741281B2 (ja) 2011-07-26 2011-07-26 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
US14/232,748 US9495950B2 (en) 2011-07-26 2012-05-29 Audio signal processing device, imaging device, audio signal processing method, program, and recording medium
CN201280035699.4A CN103688307A (zh) 2011-07-26 2012-05-29 音频信号处理装置、成像装置、音频信号处理方法、程序和记录介质
PCT/JP2012/063753 WO2013015011A1 (ja) 2011-07-26 2012-05-29 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011163045A JP5741281B2 (ja) 2011-07-26 2011-07-26 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体

Publications (3)

Publication Number Publication Date
JP2013025291A JP2013025291A (ja) 2013-02-04
JP2013025291A5 JP2013025291A5 (ja) 2014-08-07
JP5741281B2 true JP5741281B2 (ja) 2015-07-01

Family

ID=47600871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011163045A Expired - Fee Related JP5741281B2 (ja) 2011-07-26 2011-07-26 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US9495950B2 (ja)
JP (1) JP5741281B2 (ja)
CN (1) CN103688307A (ja)
WO (1) WO2013015011A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477217B2 (en) * 2014-03-06 2016-10-25 Haier Us Appliance Solutions, Inc. Using visual cues to improve appliance audio recognition
US9294139B1 (en) * 2014-11-13 2016-03-22 Molecular Devices, Llc System and methods for constructing a noise replica
TWI569263B (zh) * 2015-04-30 2017-02-01 智原科技股份有限公司 聲頻訊號的訊號擷取方法與裝置
JP2016218766A (ja) * 2015-05-21 2016-12-22 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
EP3223279B1 (en) * 2016-03-21 2019-01-09 Nxp B.V. A speech signal processing circuit
JP6731772B2 (ja) * 2016-04-08 2020-07-29 キヤノン株式会社 電子機器及び制御方法
US10573136B2 (en) 2017-08-31 2020-02-25 Microsoft Technology Licensing, Llc Calibrating a vibrational output device
JP7129331B2 (ja) * 2018-12-25 2022-09-01 株式会社コーエーテクモゲームス 情報処理装置、情報処理方法、及びプログラム
CN113059480B (zh) * 2019-12-31 2022-07-29 清华大学 一种化学机械抛光装置及其控制方法
CN112235693B (zh) * 2020-11-04 2021-12-21 北京声智科技有限公司 麦克风信号处理方法、装置、设备及计算机可读存储介质
JP2022180927A (ja) * 2021-05-25 2022-12-07 キヤノン株式会社 音声処理装置、制御方法、およびプログラム
CN115426582B (zh) * 2022-11-06 2023-04-07 江苏米笛声学科技有限公司 一种耳机音频处理方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08124299A (ja) 1994-10-27 1996-05-17 Canon Inc 記録再生装置
JP2003317368A (ja) * 2002-04-25 2003-11-07 Digion Inc パルス性ノイズのデジタル信号処理による検出および除去方法
US7508948B2 (en) * 2004-10-05 2009-03-24 Audience, Inc. Reverberation removal
JP4356670B2 (ja) * 2005-09-12 2009-11-04 ソニー株式会社 雑音低減装置及び雑音低減方法並びに雑音低減プログラムとその電子機器用収音装置
JP4449987B2 (ja) * 2007-02-15 2010-04-14 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
EP2237271B1 (en) * 2009-03-31 2021-01-20 Cerence Operating Company Method for determining a signal component for reducing noise in an input signal
JP5279629B2 (ja) * 2009-06-19 2013-09-04 キヤノン株式会社 撮像装置
JP2011077604A (ja) * 2009-09-29 2011-04-14 Sony Corp ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法
US8698911B2 (en) * 2009-10-28 2014-04-15 Nikon Corporation Sound recording device, imaging device, photographing device, optical device, and program
JP5428762B2 (ja) * 2009-10-30 2014-02-26 株式会社ニコン 撮影装置、および、プログラム
JP2011128391A (ja) * 2009-12-18 2011-06-30 Toshiba Corp 音声処理装置、音声処理プログラム、音声処理方法
JP2012009978A (ja) * 2010-06-23 2012-01-12 Panasonic Corp 撮像装置
JP2012027186A (ja) * 2010-07-22 2012-02-09 Sony Corp 音声信号処理装置、音声信号処理方法及びプログラム
US8830353B2 (en) * 2010-10-22 2014-09-09 Panasonic Corporation Camera body, and camera system

Also Published As

Publication number Publication date
WO2013015011A1 (ja) 2013-01-31
US20140169581A1 (en) 2014-06-19
JP2013025291A (ja) 2013-02-04
CN103688307A (zh) 2014-03-26
US9495950B2 (en) 2016-11-15

Similar Documents

Publication Publication Date Title
JP5741281B2 (ja) 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP5594133B2 (ja) 音声信号処理装置、音声信号処理方法及びプログラム
JP4910293B2 (ja) 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2008263498A (ja) 風雑音低減装置、音響信号録音装置及び撮像装置
JP6610725B2 (ja) 音処理装置および音処理プログラム
US8687076B2 (en) Moving image photographing method and moving image photographing apparatus
JP5998483B2 (ja) 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
JP5645393B2 (ja) 音声信号処理装置
JP2014122978A (ja) 撮像装置、音声認識方法、及びプログラム
JP2013047710A (ja) 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP6902961B2 (ja) 音声処理装置及びその制御方法
JP5018860B2 (ja) 信号処理装置及び撮像装置
US11729548B2 (en) Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones
US20220383891A1 (en) Sound processing apparatus and control method
JP6912969B2 (ja) 音声処理装置及びその制御方法
CN103297687A (zh) 音频处理设备及其控制方法
JP5736839B2 (ja) 信号処理装置、撮像装置、及びプログラム
US12027176B2 (en) Apparatus and method for reducing noise corresponding to a noise source using noise data
US20220383890A1 (en) Apparatus and method
JP2022054317A (ja) 音声処理装置、制御方法、およびプログラム
JP6271851B2 (ja) 音声処理装置、撮像装置、及び、それらの制御方法、並びにプログラム
JP2012173353A (ja) 信号処理装置、撮像装置、及びプログラム
JP2022038610A (ja) 音声処理装置、制御方法、およびプログラム
JP5246134B2 (ja) 信号処理装置及び撮像装置
JP2019075630A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150413

R151 Written notification of patent or utility model registration

Ref document number: 5741281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees