JP5839795B2 - 撮像装置および情報処理システム - Google Patents

撮像装置および情報処理システム Download PDF

Info

Publication number
JP5839795B2
JP5839795B2 JP2010268746A JP2010268746A JP5839795B2 JP 5839795 B2 JP5839795 B2 JP 5839795B2 JP 2010268746 A JP2010268746 A JP 2010268746A JP 2010268746 A JP2010268746 A JP 2010268746A JP 5839795 B2 JP5839795 B2 JP 5839795B2
Authority
JP
Japan
Prior art keywords
period
image
sound
unit
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010268746A
Other languages
English (en)
Other versions
JP2012119996A (ja
Inventor
木村　正史
正史 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010268746A priority Critical patent/JP5839795B2/ja
Priority to US13/299,536 priority patent/US9013599B2/en
Publication of JP2012119996A publication Critical patent/JP2012119996A/ja
Application granted granted Critical
Publication of JP5839795B2 publication Critical patent/JP5839795B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L21/00—Vacuum gauges
    • G01L21/02—Vacuum gauges having a compression chamber in which gas, whose pressure is to be measured, is compressed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、撮像装置および情報処理システムに関し、特に、画像と共に音声を記録することができる撮像装置、または、その撮像装置と情報処理装置からなる情報処理システムに関する。
従来、撮像装置等には、内蔵マイクや外部マイクなどにより得られた音声信号を処理して、記録したり外部に送信したりする機能が搭載されてきている。これらの撮像装置は、音声データを動画データと共に記録媒体に記録していた。この様な撮像装置においては、撮像装置のズームレンズ、フォーカスレンズなどの移動、絞りの開閉、画像のブレを防止するためのレンズの移動を行うための駆動部の駆動に伴って、雑音（ノイズ）が発生してしまうことがあった。すなわち、装置の駆動により発生した駆動音がマイクにより集音されて記録されるので、音声信号が再生された際にこの駆動音が混入し、動画撮影時の周囲の音声の再生音が聞きづらい音声となってしまうことあった。
この様な問題に対し、例えば、特許文献１のように、光学ズーム機能と電子ズーム機能とを備えた撮像装置において、ユーザによりズーム操作が行われると、光学ズーム機能を低速で動作させると共に電子ズームを行うことで、見た目に高速なズーミングを行うと共に光学ズームに伴う雑音の発生を抑える技術が開示されている。ここで、光学ズーム機能とは、ズームレンズを移動させることで光学的に画像のズーミングを行う機能であり、電子ズーム機能とは、撮影画像の一部を切り出して記録／表示することで画像のズーミングを行う機能である。特許文献１では光学ズーム機能を低速で動作させることでズームレンズの移動を低速にして雑音（駆動音）を抑えていたが、その分画像のズーミングが遅くなるので、それを補うように電子ズーム機能を使用していた。
特開２００７−３２９６８９号公報
しかし、特許文献１では、光学ズーム機能を低速で動作させたとしても、光学ズームが低速で動作している音が記録されてしまい、十分に雑音（駆動音）を低減できないことがあった。
そこで、本発明は、画像の（拡大などの）変更をする指示に応じて、得られる画像信号がほぼ一定の割合で変更されるように、光学系の駆動と画像信号の処理とを行い、しかも、光学系の駆動による雑音をより効果的に低減することができる撮像装置または情報処理システムを提供することを目的とする。
本発明の撮像装置は、かかる目的を達成するために、被写体の光学像を撮像し画像信号を取得する撮像手段と、前記撮像に関するパラメータを光学系を駆動させることによって補正する光学補正手段と、前記撮像に関する前記パラメータを画像処理によって補正する電子補正手段と、周囲の音声を示す音声信号を取得する音声取得手段と、前記音声取得手段により得られた前記音声信号に含まれる前記光学系の駆動音を低減する手段であって、前記光学補正手段が前記光学系を駆動する期間である第１の所定期間と前記第１の所定期間に続く決められた期間とを含む所定の雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号を用いて、前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減する音声処理手段と、前記撮像手段により得られた画像信号と、前記音声処理手段により出力された音声信号とを記録媒体に記録する記録手段と、前記光学補正手段と、前記電子補正手段と、前記音声処理手段とを制御する制御手段とを有し、前記制御手段は、前記光学補正手段と前記電子補正手段とを制御して、前記撮像に関する前記パラメータを変化させ、前記制御手段は、光学的な補正を行う指示に応じて、前記パラメータを変化させるために、前記雑音発生区間よりも短い前記第１の所定期間、前記光学補正手段により前記光学系を駆動する制御と、前記決められた期間と前記雑音発生区間の駆動音を低減するために用いる音声信号を取得するための期間とを含む第２の所定期間、前記光学補正手段による前記光学系の駆動を停止させる制御とを繰り返すことにより、前記光学系を断続的に駆動するように前記光学補正手段を制御するとともに、前記電子補正手段を制御し、前記制御手段は、前記光学系を断続的に駆動するように前記光学補正手段を制御している場合に、前記第１の所定期間と前記決められた期間とを含む前記雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号に基づいて、前記音声取得手段により得られた前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減するように前記音声処理手段を制御する構成とした。
本発明によれば、撮像装置の撮像に関する駆動部の動作に伴い発生する雑音をより効果的に低減することができる。
撮像装置１００のブロック図である。 撮像部１１０及び音声処理部１２１の詳細を示すブロック図である。 雑音低減処理による音声信号の変化を示す図である。 記録動作中の拡大操作と拡大率、レンズ駆動期間、雑音発生期間を示す図である。 撮像装置の記録動作中の拡大操作に応じた処理の手順を示す図である。 撮像装置の拡大操作を終了した場合の処理の手順を示す図である。
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の実施例を示すものであり、発明の範囲を限定するものではない。
本実施例では、レンズ駆動部や絞り機構などの駆動部を有する撮像装置を例にとって説明する。
特に、本実施例では、一例として、光学ズームを断続的に行い、光学ズームが駆動されていない区間の音声信号を用いて、駆動に伴って発生する雑音を低減することができる撮像装置について説明する。本実施例では、断続的に光学ズームを動作させるとともに電子ズームの倍率を調整することによって映像がなめらかにズームしているように見えるようにしている。以下の説明では光学ズームと電子ズームを組み合わせた例について説明するが、光学的な変更と電子的な変更とを行うことができるような組み合わせで有ればどのようなものであっても良い。例えば、フォーカシング動作であっても、光学的に断続的なフォーカスを実行すると共に、映像がなめらかにフォーカス調整をしているように見えるようにするために、電子的に画像を処理すればよい。また、これ以外にも、光学防振と電子防振を組み合わせても良いし、絞りの開閉と電子的な明るさ補正やぼかし処理を組み合わせても良い。
図１は、実施例１の撮像装置１００の構成を示すブロック図である。
図１において、制御部１０１は、例えば、ＣＰＵ（ＭＰＵ）、メモリ（ＤＲＡＭ、ＳＲＡＭ）等からなり、各種処理（プログラム）を実行して撮像装置１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。制御部１０１は、ＣＰＵやメモリからなるマイクロコンピュータであってもよい。また、制御部１０１は、ユーザの操作を受け付ける操作部１０２からの操作信号に応じて、撮像装置１００の各ブロックを制御する。また、制御部１０１は、後述の画像処理部１１１によって得られた画像を解析し、その解析結果に応じて、撮像装置１００の各ブロックを制御する。
操作部１０２は、例えば、電源ボタン、記録開始ボタン、ズーム調整ボタン、オートフォーカスボタンなどの撮影に関連する各種操作を入力するスイッチ類からなる。また、メニュー表示ボタン、決定ボタン、その他カーソルキー、ポインティングデバイス、タッチパネル等からなり、ユーザによりこれらのキーやボタンが操作されると制御部１０１に操作信号を送信する。
また、バス１０３は、各種データ、制御信号、指示信号などを撮像装置１００の各ブロックに送るための汎用バスである。
撮像部１１０は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御した後、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により画像信号に変換し、アナログデジタル変換をして、画像処理部１１１に送信する。
画像処理部１１１は、画像の記録再生に必要な処理を実行するもので、下記の処理を実行するプログラムを搭載したマイクロコンピュータであっても、制御部１０１等の一部の機能として下記の機能を実行するものであってもよい。撮像部１１０から取得したデジタル画像信号に、設定値に基づいてホワイトバランスや色、明るさなどを調整する画質調整処理を行うチップセット等からなる。そして、画像処理部１１１で処理された画像信号は、制御部１０１により、メモリ１０４や後述の映像出力部１５０や表示制御部１３１に送信される。画像処理部１１１は、撮像部１１０から取得したデジタル画像信号から、非圧縮の静止画データ、非圧縮の動画データを生成する。また、１フレームの画像内で画像を圧縮符号化した静止画データ、動画データ、また、複数のフレームを用いてフレーム間符号化を施した動画データを生成することもできる。
本実施例においては、例えば、撮像部１１０は、「光学ズーム」機能、「光学防振」機能を有し、画像処理部１１１は、「電子ズーム」機能、「電子防振」機能を有している。ここで、「光学ズーム」機能、「電子ズーム」機能は、ユーザの操作に応じて、得られる画像を拡大する機能である。また、「光学防振」機能、「電子防振」機能は、撮像装置１００本体の振動による画像の揺れを防止する機能である。そして、これらの機能は、制御部１０１により同時に使用されたり交互に使用されたり、単独で使用されたりする。
ここで、「光学ズーム」機能とは、ユーザの操作部１０２のズームキーの操作に応じて、撮像部１１０のレンズを移動させ、取り込まれる被写体の光学像を拡大／縮小する機能である。すなわち、得られた画像信号のサイズのパラメータを光学的に補正する機能である。また、「電子ズーム」機能とは、ユーザの操作部１０２のズームキーの操作に応じて、画像処理部１１１により、撮像部１１０により生成された画像のうち一部を切り出した画像を拡大した画像信号を生成する処理である。すなわち、得られた画像信号のサイズのパラメータを電子的に補正する機能である。また、「光学防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、防振レンズの移動量を算出し、防振レンズを移動させることで、取得される画像の揺れを防止する機能である。また、「電子防振」機能とは、不図示の振動検出部からの加速度信号の値に基づいて、撮像部１１０により取得された画像信号の位置を調整することにより、画像の揺れを防止する機能である。これらの機能は公知の技術であるため、詳細な説明は省略する。また、本実施例の撮像装置１００は、前述したズーム機能、防振機能以外にもフォーカス機能を光学式、電子式の両方で実現可能である。ここで、光学処理に関しては、レンズや絞り等を駆動するため、雑音（駆動音）が発生する。すなわち、本実施例の撮像装置１００は、画像を拡大するという一つのパラメータを光学補正（光学系の駆動による補正）、電子補正（画像処理による補正）の両方の補正方法によって、変更することができる。
本実施例においては、物理的なレンズの移動を伴う「光学ズーム」機能が動作している最中にその駆動部、被駆動部等から雑音（ノイズ）が発生するが、この雑音（ノイズ）は後述する「雑音低減処理」で低減されるのである。
次に、音声入力部１２０は、例えば、内蔵された無指向性のマイクまたは音声入力端子を介して接続された外部マイク等により、撮像装置１００の周囲の音声を集音（収音）し、取得したアナログ音声信号をデジタル信号に変換して音声処理部１２１に送信する。
音声処理部１２１は、音声の記録再生に必要な処理を実行するもので、下記の処理を実行するプログラムを搭載したマイクロコンピュータであっても、制御部１０１等の一部の機能として下記の機能を実行するものであってもよい。
音声処理部１２１は、音声入力部から取得したデジタル音声信号のレベルの適正化処理、後述する「雑音低減処理」等の音声に関する処理を行う。そして、音声処理部１２１で処理された音声信号は、後述の制御部１０１により、メモリ１０４や後述の音声出力部１５１に送信される。音声処理部１２１は、音声入力部１２０から取得したデジタル音声信号を非圧縮の音声データとして、あるいは、周知のＡＡＣ方式、ＡＣ３方式等の公知の音声圧縮技術を用いた圧縮音声データとして出力することができる。
メモリ１０４は、画像処理部１１１、音声処理部１２１により得られた静止画データ、動画データ、音声データ等を一時的に記憶する。
そして、制御部１０１は、たとえば、メモリ１０４より静止画データを読み出して記録再生部１４０に転送し、記録再生部１４０は、転送された静止画データを記録媒体１４１に対して記録していく。また、撮影時のカメラ設定や、検出データ等を示す各種データを制御部１０１が生成し、静止画データ、動画データ、音声データとともに記録媒体１４１に記録させても良い。ここで、記録媒体１４１は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよく、撮像装置１００で生成した圧縮画像信号、圧縮音声信号、音声信号、各種データなどを記録することができればよい。例えば、記録媒体１４１は、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒ、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。また、記録再生部１４０は、静止画データを静止画ファイルとして、動画データと音声データとは一つの動画ファイルとして記録媒体１４１に記録させる。
また、記録再生部１４０は、記録媒体１４１に記録された静止画ファイルや動画ファイル、それとは別に記録された各種情報データ、プログラム等を読み出す（再生する）。そして、制御部１０１は、たとえば読み出した静止画ファイルに含まれる静止画データを画像処理部１１１に転送する。そして、画像処理部１１１は、静止画データの示す画像を再生する。その後、制御部１０１は、再生された画像を表示制御部１３１に転送する。表示制御部１３１は、転送された画像を表示部１３０に表示するように表示部１３０を制御する。また、たとえば、制御部１０１は、読み出した動画ファイルに含まれる動画データを順次画像処理部１１１に転送するとともに、音声データを音声処理部１２１に転送する。画像処理部１１１は、転送された動画データを示すフレーム画像を順次再生する。その後、制御部１０１は、静止画の再生処理同様に、フレーム画像を順次表示制御部１３１に転送し、表示部１３０に表示させる。一方、音声処理部１２１は転送された音声データを順次再生し音声信号を生成する、制御部１０１の制御のもと、音声出力部１５１に再生した音声信号を転送する。音声出力部１５１は、例えば音声出力端子からなり外部に音声信号をアナログ形式で出力したり、デジタル形式で出力したりするものであっても良く、接続されたイヤホンやスピーカなどから音声を出力させることができる。
また、画像処理部１１１により再生された画像は、映像出力部１５０を介して、外部の表示装置に出力されても良い。映像出力部１５０は、例えば映像出力端子からなり、接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。また、音声出力部１５１、映像出力部１５０は、統合された１つの端子、例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子のような端子であってもよい。
また、表示制御部１３１は、画像処理部１１１から送信された画像にかかる動画、静止画の画像や、撮像装置１００の操作をするための操作画面（メニュー画面）等を表示部１３０に表示させる。表示部１３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等の表示デバイスであれば何でもよい。
通信部１５２は、撮像装置１００と外部装置との間で通信を行うもので、例えば、静止画データ、動画データ、音声データおよび各種データを送信したり受信したりする。また、撮影開始や終了コマンド等の、撮影にかかる制御信号や、その他の情報を送信したり受信したりする。通信部１５２は、例えば、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、無線ＬＡＮ通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ等の無線通信モジュールである。
ここで、本実施例の撮像装置１００の通常の動作について説明する。
本実施例の撮像装置１００は、ユーザが操作部１０２の電源ボタンを操作すると、操作部１０２から制御部１０１に起動の指示が出される。この指示を受けて、制御部１０１は、不図示の電源供給部を制御して、撮像装置１００の各ブロックに対して電源を供給させる。
電源が供給されると、制御部１０１は、例えば、操作部１０２のモード切り換えスイッチが、例えば、動画撮影モード、静止画撮影モード、再生モード等のどのモードであるかを操作部１０２からの指示信号により確認する。
動画撮影モードでは、撮影待機状態でユーザが操作部１０２の記録開始ボタンを操作することで、撮影を開始し、その間、動画データと、音声データを生成し、順次記録媒体１４１に記録される。そしてユーザが操作部１０２の撮影終了ボタンを操作することで、撮影を終了し、再び撮影待機状態になる。静止画撮影モードでは、撮影待機状態でユーザが操作部１０２のシャッターボタンを操作することで、撮影を行い、生成された静止画データは、記録媒体１４１に記録される。再生モードでは、ユーザが選択したファイルに関する画像信号や音声信号を記録媒体１４１から再生して音声出力部１５１から音声信号を出力し、再生した画像信号にかかる映像を表示部１３０に表示させる。
まず、動画撮影モードについて説明する。操作部１０２により動画撮影モードが設定されると前述のようにまず、制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定させる。撮影待機状態で、ユーザが操作部１０２の記録開始ボタンを操作することにより撮影開始の指示信号が送信されると、制御部１０１は、撮影開始の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部１１０は、レンズにより取り込まれた被写体の光学像の光量を絞りにより制御し、撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、取得したデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理し、取得された複数のデジタル画像信号を用いて動画データを生成する。また、デジタル画像信号は制御部１０１により表示制御部１３１に送信され、生成された動画データは、メモリ１０４に送信される。表示制御部１３１は、受信した画像信号に関する映像を表示部１３０に表示させる。また、制御部１０１は、画像信号や操作部１０２からの指示に基づいて、撮像部１１０の不図示のレンズ群や絞りを操作するレンズ制御信号を撮像部１１０に送信する。
一方、音声入力部１０４は、マイクにより得られたアナログ音声信号をデジタル変換し、得られたデジタル音声信号音声処理部１２１に送信する。音声処理部１２１は、取得したデジタル音声信号のレベルの適正化処理、後述の「雑音低減処理」等を実行し、音声データを生成する。制御部１０１は、音声処理部１２１により処理されたデジタル音声信号を、音声出力部１５１に転送し、生成された音声データをメモリ１０４に送信する。
そして、制御部１０１は、メモリ１０４に一時的に記憶された動画データと音声データを順次、記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、動画データと音声データとからなる一つの動画ファイルを記録媒体１４１に書き込む。
以上の動作を撮影中は継続する。
また、撮影の間、ユーザにより操作部１０２が操作に応じてまたは、画像処理部１１１により生成された画像信号の解析結果に応じて、制御部１０１は、撮像部１１０や画像処理部１１１、音声処理部１２１などに各種制御信号を送信している。例えば、レンズの移動や絞り調整などをさせるための制御信号を撮像部１１０に送信するとともに、画像を調整するための制御信号を画像処理部１１１に送信し、「雑音低減処理」をさせるための制御信号を音声処理部１２１に送信する。
また、同様に撮影の間、ユーザにより操作部１０２のズームキーを操作することで、制御部１０１により、撮像部１１０の「光学ズーム」機能や、画像処理部１１１の「電子ズーム」機能を動作させることができる。また、不図示の振動検出部により検出された加速度信号に基づいて、制御部１０１により、撮像部１１０の「光学防振」機能や、画像処理部１１１の「電子防振」機能が動作している。この場合、「光学ズーム」機能や、「光学防振」機能などの雑音を発生させる機能が動作するタイミングで、制御部１０１は、音声処理部１２１に「雑音低減処理」をさせる制御信号を送信するのである。
そして、ユーザが操作部１１０の記録ボタンを操作することにより撮影終了の指示信号が制御部１０１に送信されると、制御部１０１は、撮影終了の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
画像処理部１１１、音声処理部１２１は、それぞれ取得された画像信号、音声信号から、動画データ、音声データを生成する動作を停止する。制御部１０１は、最後に生成した動画データ、音声データを送信すると、メモリ１０４へのデータ送信を停止する。そして、制御部１０１は、これらの最後の動画データ、音声データを記録再生部１４０に転送するまで、データ転送を続ける。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、これまで記録していた一つの動画ファイルを完成させて、記録動作を停止する。
制御部１０１は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。
また、撮影待機状態では、制御部１０１は、撮像装置１００の各ブロックを以下のような動作をさせるように制御する。
画像処理部１１１は、画像信号を表示制御部１３１に送信し表示部１３０に画像信号に関する映像を表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。
制御部１０１は、音声処理部１２１により得られた音声信号を音声出力部１５１に送信し、内蔵スピーカや接続されたスピーカまたはイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら操作部１０２の記録音量を決定するためのマニュアルボリュームの調整をすることもできる。
本実施例では、画像と共に音声を記録する場合について説明したが、画像を記録しなくても、前述したのと同様の動作によって音声のみを記録することもできる。
次に、静止画撮影モードについて説明する。操作部１０２により静止画撮影モードが設定されると前述のようにまず、制御部１０１は、撮像装置１００の各ブロックを撮影待機状態に設定させる。撮影待機状態で、ユーザが操作部１０２のシャッターボタンを操作することにより静止画記録の指示信号が送信されると、制御部１０１は、静止画撮影の制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせるように制御する。
撮像部１１０は、レンズにより取り込まれた被写体の光学像の光量を絞りにより制御し、撮像素子により画像信号に変換し、アナログデジタル変換し、画像処理部１１１に送信する。画像処理部１１１は、取得したデジタル画像信号の画質調整処理（ホワイトバランスや色、明るさなど）を設定値に基づいて処理し、取得されたデジタル画像信号を用いて静止画データを生成する。
そして、制御部１０１は、生成された静止画データを記録再生部１４０に出力する。記録再生部１４０は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、静止画データを静止画ファイルとして記録媒体１４１に書き込む。
以上の動作をシャッターボタンが操作されるたびに繰り返す。
静止画撮影モードにおける撮影待機状態では、動画撮影モードにおける撮影待機状態において、音声を取得していない以外は同様の動作であるため、説明を省略する。
次に、再生モードについて説明する。再生モードでは、制御部１０１は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。
記録再生部１４０は、記録媒体１４１に記録された動画ファイル、静止画ファイル等の各種ファイルを読出す。そして、制御部１０１は読出された動画ファイルに含まれる動画データ、音声データを分離し、それぞれ、画像処理部１１１、音声処理部１２１に転送する。静止画ファイルの場合には、静止画ファイルに含まれる静止画データを画像処理部１１１に転送する。そして、画像処理部１１１は、転送された動画データ、静止画データの画像を再生し、制御部１０１は、表示制御部１３１に再生された画像を送信する。表示制御部１３１は、表示部１３０に画像処理部１１１によって再生された画像を表示する。一方、音声処理部１２１は、転送された音声データを順次再生し、制御部１０１は、再生された音声信号を音声出力部１５１等に転送する。音声出力部１５１は、入力された音声信号にかかる音声を内蔵されたスピーカや、接続されたイヤホンやスピーカから出力する。
このようにして、記録媒体１４１に記録された動画ファイル、静止画ファイルは、再生される。
再生モードにおいて、複数の動画ファイルや静止画ファイルをあらかじめ読み出して、それらのファイルに係る縮小画像を画像処理部１１１に生成させて表示させるようにしても良い。この画面をサムネイル表示画面と言い、ユーザはこの画面を見ながら操作部１０２を操作して画像を指定し、再生するファイルを選択できるようにすることができる。
本実施例の撮像装置は以上のように、静止画ファイル、動画ファイル等の記録再生を行う。

ここで、音声処理部１２１において行われる、「雑音低減処理」について図２、図３を用いて説明する。図２は、本実施例の撮像部１１０、音声処理部１２１の詳細を示した図である。図３は、雑音低減処理による音声信号の変化を示す図である。本実施例では簡単のため、音声信号の圧縮を行わない例について説明するが、圧縮を行う場合には、音声処理部での雑音除去処理終了後に、圧縮処理を実行すればよい。
図２において、レンズ２０１は、被写体の光学像を取り込むレンズ群および絞りである。そして、撮像素子２０２は、レンズ２０１により取り込まれた被写体の光学像を電気信号に変換するもので、例えばＣＣＤセンサやＣＭＯＳセンサなどからなる。レンズ駆動部２０３は、レンズ２０１のレンズを駆動させるための駆動モータ、アクチュエータ、ギア（駆動部）、駆動部を制御するマイクロコンピュータ（制御部）などからなる。そして、レンズ駆動部２０３は、制御部１０９からのレンズ制御信号に応答して、レンズ２０１のレンズを移動させたり絞りを調整したりする。ここで、駆動部は、レンズの移動や絞りの調整をすることができるものであれば、モータ、アクチュエータ、ギアなどに限らずどのようなものであってもよい。本実施例ではこの駆動部から発生する音を雑音として、「雑音低減処理」を行うのである。
例えば、ユーザが操作部１０２のズームキーを画像を拡大する方向に操作した場合には、制御部１０１は、ユーザがズームキーを操作している間、被写体の光学像を拡大する方向にレンズを移動させるためのレンズ制御信号をレンズ駆動部２０３に送信する。そうすると、レンズ駆動部２０３のモータ制御部は、レンズ制御信号を受信している間、レンズ２０１を被写体の光学像を拡大する方向に移動させるように、駆動部を動作させる。このとき、制御部１０１は、レンズ制御信号に、断続的にレンズを移動させる指示や、レンズの移動速度の情報などを含めて送信することもできる。この場合には、レンズ駆動部２０３のモータ制御部は、レンズ２０１の駆動時間など制御するために、駆動部をＰＷＭ制御などにより制御する。
また、例えば、ユーザの手の震えなどによって、撮像した画像の揺れが生じるのを防止するいわゆる防振機能が有効な場合には、以下のような手順で動作する。制御部１０１は不図示の振動検出部からの振動を示す信号に応じて、画像の揺れを防止するためのレンズ２０１の移動量、移動方向を示すレンズ制御信号をレンズ駆動部２０３に逐次送信する。そうすると、レンズ駆動部２０３のモータ制御部は、レンズ制御信号の示す移動量、移動方向に、レンズ２０１を移動させるように、駆動部の駆動方向、駆動時間等をＰＷＭ制御などにより制御する。
また、例えば、オートフォーカスなどを行う場合には、制御部１０１は入力された画像信号を解析し、画像信号のピントが合うようにレンズを移動させるために、フォーカスレンズの移動量を示すレンズ制御信号をレンズ駆動部２０３に送信する。そうすると、レンズ駆動部２０３のモータ制御部は、レンズ制御信号の示す移動量だけレンズ２０１を移動させるように、駆動部の駆動方向、駆動時間等をＰＷＭ制御などにより制御する。または、レンズ駆動部２０３は、制御部１０１からフォーカスレンズを前または後方向に移動する制御信号を受信している間フォーカスレンズを移動させるようにしても良い。同様に、被写体の輝度（光量）を調整する場合にも、制御部１０１は、絞り量を示すレンズ制御信号をレンズ駆動部２０３に送信する。そうすると、レンズ駆動部２０３は、レンズ制御信号の示す絞り量だけレンズ２０１の絞りを開閉させるようにＰＷＭ制御などにより制御する。
また、図２において、ＡＤ変換部２０４は、入力されたアナログ音声信号をデジタル音声信号に変換する。ＡＬＣ２０５は、入力されたデジタル音声信号のレベルを調整するためのオートレベルコントローラである。ＡＬＣ２０５は、入力された音声信号のレベルを監視し、レベルが過大であった場合などに、音声信号のレベルを適正なレベルに下げる。雑音低減部２０６は、本実施例の後述する「雑音低減処理」を行うブロックである。バッファメモリ２０７は、ＡＬＣ２０５から入力されたデジタル音声信号を順次、一定時間分（たとえば、２．０秒程度）記憶するものである。通常、バッファメモリ２０７に順次書き込まれた音声信号は、制御部１０１により、先に書き込まれた音声信号から順に所定のサンプル数（例えば５１２サンプル）ずつ順次読出され、メモリ１０４や音声出力部１５１に送信される。制御部１０１は、バッファメモリ２０７に書き込まれた音声信号を、例えば、１．５秒分のデータが蓄積されたときに、読出しを開始するようにしている。その後も１．５秒程度の音声信号がバッファリングされている状態を維持するように制御部１０１は、定期的に一定量の音声信号を読出すようにしている。
本実施例の「雑音低減処理」は、前述したようにレンズ２０１のレンズを移動させたり、絞りを開閉させたりするために、レンズ駆動部２０３の駆動部等が駆動することより発生する雑音を低減させる処理である。この処理により変化する音声信号の波形を示したものが図３である。図３において、縦軸は音声信号の振幅レベル、横軸は時間を示している。図３（ａ）は、バッファメモリ２０７に入力された音声信号を示す図である。図３（ｂ）は、雑音発生区間の音声信号を破棄した音声信号を示す図である。図３（ｃ）は、雑音発生区間の前及び／または後の音声信号に基づいて求められた「予測音声信号」を、雑音発生区間の音声信号として置き換えた信号を示す図である。本実施例ではこのように、レンズ駆動部２０３の駆動部が駆動して発生した雑音が含まれる雑音発生区間３０１の音声信号を、その前及び／またはその後の音声信号に基づいて生成された「予測音声信号」と置き換えることにより雑音低減処理を行っている。
ここで、雑音発生区間３０１は、撮像装置の駆動部が動作中の期間を示し、前学習期間３０２、後学習期間３０３は、雑音発生区間３０１に隣接する例えば、０．２秒、０．１秒、０．０５秒、０．０２秒等の期間である。また、雑音発生区間は０．１秒、０．０７秒、０．０５秒などの期間である。本実施例では、例えば最大でも０．１秒程度になるように制御するようにする。
「雑音低減処理」は、制御部１０１が、レンズ制御信号をレンズ駆動部２０３に送信すると共に、雑音低減部２０６に雑音低減処理を実行するように指示を出すことで実行される。雑音低減部２０６は、この指示を受けると、バッファメモリ２０７から、その区間の前（前学習期間３０２）及び／またはその区間の後（後学習期間３０３）の音声信号を読出す。このとき、同時に雑音発生区間３０１の音声信号を読出してもよい。そして、バッファメモリ２０７に記録された音声信号における雑音発生区間３０１の音声信号を置き換えるための「予測音声信号」を前学習期間３０２及び／または後学習期間３０３の音声信号から生成する。次に、バッファメモリ２０７の雑音発生区間３０１に対応するアドレスに再び書き込む。この動作を、バッファメモリ２０７に音声信号が書き込まれてから、読出されるまでの間に行う。この「予測音声信号」は、雑音発生区間３０１の音声信号を、その区間の前（前学習期間３０２）及び／またはその区間の後（後学習期間３０３）の音声信号に基づいて生成した音声信号である、生成方法は後述する。この様にして図３（ａ）のような雑音が混入した音声信号から図３（ｃ）のような雑音発生区間の音声信号を生成した音声信号で置き換えた音声信号を生成することができるのである。
雑音低減部２０６は、雑音発生区間３０１に置き換える音声信号（「予測音声信号」）を、雑音発生区間３０１の前後区間（前学習期間３０２、後学習期間３０３）の音声信号に基づいて求める。ここで、時系列について再度説明すると、前学習期間３０２とは、雑音発生区間３０１より以前に取得された音声信号に対応する期間であり、後学習期間３０３とは、雑音発生区間３０１より以後に取得された音声信号に対応する期間である。
また、「雑音低減処理」の開始は、制御部１０１から雑音低減処理を実行する指示を受けてすぐに行われてもよいし、雑音発生区間３０１に対応する音声信号を取得してから開始してもよいし、後学習期間３０３の音声信号を取得してから開始してもよい。例えば、制御部１０１から雑音低減処理を実行する指示を受けてすぐに行われる場合は、雑音低減部２０６は指示を受けるとすぐに前学習期間３０２の音声信号を読出す。そして、前学習期間３０２の一部または全部の音声信号に基づいて、雑音発生区間３０１を補間するための音声信号を生成する。その後、雑音発生区間３０１が経過していれば雑音発生区間３０１の音声信号を補間するために、バッファメモリ２０７の雑音発生区間３０１に対応するアドレスに生成した音声信号を書き込む。また、雑音発生区間３０１が経過していなければ経過後に、バッファメモリ２０７の雑音発生区間３０１に対応するアドレスに生成した音声信号を書き込む。また、例えば、後学習期間３０３の音声を取得してから開始する場合は、雑音低減部２０６は、指示を受けてから、雑音発生区間３０１に対応する期間及び、後学習期間３０３に対応する期間が経過してから「雑音低減処理」を開始する。そのため、制御部１０１から送信された雑音発生区間を示す情報に基づいて、雑音発生区間３０１に対応する期間を特定し、それにさらに後学習期間３０３の期間を加えた時間だけ処理の開始を遅延させるようにすればよい。
ここで、雑音発生区間３０１の音声信号として置き換える音声信号（「予測音声信号」）の生成方法について説明する。以下に説明するのは、前学習期間３０２の音声信号の値を使用して、それより後ろの音声信号を算出する演算手法である。この演算手法を順次繰り返すことにより、前学習期間の音声信号の値を使用した前予測音声信号を生成することができる。
本実施例では、線形予測係数の導出し、その線形予測係数を用いて雑音発生区間３０１の音声信号を算出する。線形予測を用いるにあたっては、現在の信号とこれに隣接する有限個（ここではｐ個とおく）の標本値との間に次のような線形１次結合関係を仮定している。すなわち、サンプリングレートが４８ｋＨｚであれば、学習期間が０．０５秒の場合、過去、２４００サンプルが前述のｐ個にあたる。しかし、学習期間は、０．０５秒に限定されるものではない。また、この２４００サンプル全てを計算に使用する必要もない。
Figure 0005839795
本実施例においては、音声信号を扱うため、数１において、εｔは、平均値が０で、分散σ２の互いに無相関な確率変数である。ここで、ｘｔが、それより過去の値（すなわち、ｘｔ−１，ｘｔ−２，ｘｔ−３・・・値）から算出されるものとして、数式を変換すると、以下のような数式となる。
Figure 0005839795
数２によると、εｔが十分に小さければ、近傍ｐ個の線形和によって現在の値が表現される。ｘｔを上記の予測によって求めた後、さらにその近似が十分によければｘｔ＋１も同じく近傍ｐ個の線形和によって求められる。このようにεｔを十分に小さくすることが出来れば順次値を予測して信号を求めることが出来る。そこでεｔを最小にするようなαｉ（線形予測係数）の求め方を考える。本発明ではεｔを最小にするようなαｉを求める動作を学習動作と呼ぶ。そうすると、前述した学習区間において
Figure 0005839795
が最小となればよい。学習の開始時間をｔ０、終了時間をｔ１とすると、数式１から、
Figure 0005839795
は、以下のような式で表される。
Figure 0005839795
ただしα０＝１である。ここで式を簡単にするために
Figure 0005839795
とおくと。数３を最小化するようにαｉを決めるためには、数３のαｊ（ｊ＝１，２，・・・ｐ）に関する偏微分を０として解けばよい。すなわち、以下のような数式となる。
Figure 0005839795
ここで、数４はｐ個の線形連立１次方程式を解けばαｉを決定できることを示している。数４のうちｃｉｊはｘｔ−ｉ（ｉ＝１，２，・・・ｐ）から求めることができる。
すなわち数４からαｉ（線形予測係数）を求めることが出来る。
数４に従ってαｉを決定した場合、
Figure 0005839795
は最小化されている。このとき数２より、ｘｔの値は
Figure 0005839795
でよい近似を与えることが出来る。この近似が十分によいものであれば、ｘｔの代わりに
Figure 0005839795
を予測信号として用いることが出来る。
さらにｘｔ＋１についても、近傍のｐ−１個と予測によって求めたｘｔとから同様の演算により、近似値を得ることが出来る。また、この演算を順次繰り返すことで予測区間の信号ｘｔ，ｘｔ＋１，ｘｔ＋２，・・・を生成することができる。本実施例では、制御部１１４により出力された雑音発生区間３０１の長さに対応するサンプル数のデータを予測演算するまでこれを繰り返す。この様にして、「前予測音声信号」を生成することが出来る。
本実施例では、雑音発生区間３０１の直前から０．０５秒分の音声信号に基づいて「前予測音声信号」を生成することについて説明したが、直前でなくとも、雑音発生区間３０１より以前の音声信号に基づいて生成されてもよい。また、雑音発生区間３０１の前の、０．０５秒分の音声信号でなくとも、０．１秒分、０．２秒分の音声信号に基づいて「前予測音声信号」を生成してもよい。
この、「前予測音声信号」を生成する動作を、後学習期間３０３の音声信号の時系列の新しい方から逆に演算に使用することによって、同様に「後予測音声信号」を生成することができる。
本実施例では、この様にして演算により求められた「前予測音声信号」と、「後予測音声信号」とを例えば、クロスフェード合成したり、前半を「前予測音声信号」を使用し、後方を「後予測音声信号」を使用したりして、予測音声信号を生成する。また、「前予測音声信号」のみを予測音声信号としても、「後予測音声信号」を予測音声信号としてもよい。
クロスフェード合成では、前学習期間３０２に近い位置の予測音声信号は、前学習期間３０２から算出した「前予測音声信号」の割合が高く、後学習期間３０３から算出した「後予測音声信号」の割合が低い割合で合成して、予測音声信号を生成する。そして、雑音発生区間の中央付近では「前予測音声信号」と「後予測音声信号」をほぼ同じ割合で合成する。また、後学習期間３０３に近い位置の予測音声信号は、前学習期間３０２から算出した「前予測音声信号」の割合が低く、後学習期間３０３から算出した「後予測音声信号」の割合が高い割合で合成して、予測音声信号を生成する。
このようにして生成された「予測音声信号」を、図３（ｃ）に示すように、雑音発生区間３０１の音声信号として置き換えることにより、雑音低減処理を行うのである。すなわち、雑音低減部２０６では、バッファメモリ２０７の雑音発生区間３０１に対応するアドレスに、生成された「予測音声信号」の値を上書きしていくのである。
この様に、本実施例では、雑音低減部２０６は、雑音発生区間３０１の雑音を、雑音の混入していない前学習期間３０２の音声信号や後学習期間３０３とから演算により求められた予測音声信号により上書きすることで雑音低減処理を行うのである。
本実施例では、「雑音低減処理」として、線形予測を用いた方法を説明したが、これ以外の方法でも良く、雑音発生区間３０１の少なくとも前または後のどちらか一方の音声に基づいて、雑音発生区間の音声信号を算出する方法であればよい。例えば、前学習期間３０２の音声信号の繰り返し性の高い波形を波形の相関を検出し、その繰り返し波形を予測音声信号としてもよい。同様に後学習期間３０３の音声信号から算出してもよい。すなわち、雑音発生区間の前及び／または後の音声信号に基づいて予測音声信号を生成し、雑音発生区間の音声信号として置き換える方法であればよい。
また、本実施例では、図３（ｂ）のように、雑音発生区間の音声信号を破棄した後に、予測音声信号を上書きする例について説明した。しかし、雑音発生区間の音声信号を破棄せずに、単に、バッファメモリ２０７の雑音発生区間のアドレスに、予測音声信号を上書きするようにしてもよい。
続いて、本実施例の撮像装置１００の記録動作（動画記録）中に、ユーザがズームキーを操作することで撮影中の画像を拡大する場合について、図４、図５、図６を用いて一例を説明する。図４は、本実施例の撮像装置１００の記録動作（動画記録）中に、ユーザがズームキーを操作することで撮影中の画像を拡大する場合の動作を説明するための図である。また、図５は、この動作を行う場合の制御部１０１で実行される動作を説明するためのフロー図であり、図６は、特に画像拡大の指示を終了した後の制御部１０１で実行される動作を説明するためのフロー図である。なお、図５、図６の動作は、制御部１０１の制御により実行される動作である。また、本実施例では、拡大動作を行う例について説明するが、同様の思想を縮小動作に転用することも可能である。
ここでは、まず図５、図６を用いて、本実施例の撮像装置１００の動画撮影中にズームキーが操作された場合の動作フローについて説明した後に、図４を用いて撮像装置１００のズーム操作時の具体的な動作の例について説明する。
＜動作フロー＞（図５、図６）
まず、制御部１０１は、操作部１０２から動画撮影開始の指示が入力されると、撮影を開始するように撮像装置１００の各ブロックに指示をだし、撮影して得られた動画データを記録媒体に順次記録させる（Ｓ５００）。
次に、制御部１０１は、操作部１０２からズームの指示が入力されたかを監視し（Ｓ５１０）、ズームの指示が入力された場合には（Ｓ５１０でＹｅｓ）、まず、一定時間「電子ズーム」を拡大動作させる。すなわち、制御部１０１は、画像処理部１１１に画像を電子的に一定の割合で拡大し続けるように制御する（Ｓ５１１）。そして、制御部１０１は、撮影が継続されているか否かを監視し（Ｓ５１２）、さらに、ズーム指示が継続されているか否かを監視しながら（Ｓ５１３）、一定時間が経過するまで「電子ズーム」による一定の割合での拡大を継続するように制御する（Ｓ５１４）。この間、「光学ズーム」は動いていないため、ズームレンズが駆動することはなく雑音は発生していない。ここで、一定時間「電子ズーム」により画像を拡大させたのは、「前学習期間」３０２に集音される音声信号に、ズームレンズの駆動による雑音が混入しないようにすることが目的である。たとえば、「前学習期間」３０２が０．０５秒必要であれば、少なくともその時間は、「電子ズーム」により画像を拡大させ、「光学ズーム」を動作させないようにする。すなわち、０．０５秒よりも間隔をあけて「光学ズーム」を動作させる。
また、Ｓ５１２で、制御部１０１は、操作部１０２から撮影終了の指示信号が入力されたと判別すると（Ｓ５１２でＮｏ）、撮影を終了するように撮像装置１００の各ブロックに指示を出し、撮影を終了させる（Ｓ５９９）。また、Ｓ５１３で、制御部１０１は、操作部１０２からズームの指示が入力されなくなったことを判別すると（Ｓ５１３でＮｏ）、図６の画像拡大の指示を終了した後の処理Ａに移行する。図６については、図５のフロー図の説明後に説明する。
次に、一定時間「電子ズーム」を動作させると（Ｓ５１４でＹｅｓ）、制御部１０１は、まず、撮像部１１０のレンズ駆動部２０３に「光学ズーム」で一定の割合で拡大をさせる。そのために、制御部１０１は、ズームレンズを拡大方向に一定の速度で移動させるレンズ制御信号をレンズ駆動部２０３に送信する（Ｓ５２１）。そして、同時に、制御部１０１は、画像の見た目のズーム率（後述する「総合ズーム率」）が一定の割合で拡大されるように、画像処理部１１１の「電子ズーム」を一定の割合で縮小するように制御する。つまり、本実施の撮像装置１００は、この時点で、「光学ズーム」のズーム率を一定の割合で増加させ、「電子ズーム」のズーム率を一定の割合で減少させ、これらのズーム率を合わせた変化は、Ｓ５１１の時点でのズーム率の拡大割合と同じように見えるようにしている。
このように本実施例では、「電子ズーム」と「光学ズーム」とを合わせて動作させながらも、見た目のズーム率（後述する「総合ズーム率」）の増加の割合を一定に保つように画像を拡大していく。当然ではあるが、「光学ズーム」を一定の割合で倍率を増加させなくても良く、その場合には、画像の見た目のズーム率を一定にするために「電子ズーム」を一定の割合で減少させない場合もある。具体的なズーム率については、図４を用いて後述する。
そして、制御部１０１は、撮影が継続されているか否かを監視し（Ｓ５２２）、さらに、ズーム操作が継続されているか否かを監視しながら（Ｓ５２３）、「光学ズーム」が動作を開始してから第１の所定時間が経過するまで、この動作を継続する（Ｓ５２５）。もしくは、「光学ズーム」が動作を開始してから第１の所定時間が経過する前に、「電子ズーム」の倍率が所定の値ａまで下がるまでこの動作を継続する（Ｓ５２４）。倍率ａとは、「電子ズーム」させていない、すなわち１倍の倍率である。しかし、たとえば１．２倍や０．８倍などのあらかじめ決められた倍率であってもよい。
ここで、第１の所定時間とは、０．１秒からレンズ駆動に伴う駆動音の残響音成分が発生している期間（後述の図４の残響雑音４３２の発生期間α）を除いたものである。残響雑音４３２は、ズームレンズの移動に伴って、駆動ノイズである雑音（後述の図４の雑音４３１）が発生すると共に、ズームレンズの移動終了後αの期間発生する雑音である。この発生期間αは、実験的に求めることができる。本実施例においては、ズームレンズの移動に伴って発生する雑音と、その雑音の残響雑音が発生する時間が最大でも、０．１秒になるように、光学ズームの動作を制限しているのである。つまり、光学ズームは、０．１秒以内の連続動作である。これは、前述した「雑音除去処理」における「雑音発生区間」が０．１秒としているためである。この区間をより長く設定することができれば、第１の所定時間は、（０．１−α）秒に限らず、それ以上の期間であっても良い。
また、Ｓ５２２で、操作部１０２から撮影終了の指示信号が入力されると、制御部１０１は、撮影を終了するように撮像装置１００の各ブロックに指示を出し、撮影を終了させる（Ｓ５９９）。また、Ｓ５２３で、操作部１０２からズームの指示が入力されなくなった場合（Ｓ５２３でＮｏ）、制御部１０１は、図６の画像拡大の指示を終了した後の処理Ｂに移行する。図６については、図５のフロー図の説明後に説明する。
次に、「電子ズーム」が所定の倍率ａまで減少するか（Ｓ５２４でＹｅｓ）、「光学ズーム」の動作時間が第１の所定時間（０．１秒−α）になると（Ｓ５２５でＹｅｓ）、制御部１０１は、「光学ズーム」を停止させるように、レンズ駆動部２０３を制御する（Ｓ５３１）。
ここで、前述したように、制御部１０１は、レンズ駆動部２０３の「光学ズーム」、画像処理部１１１の「電子ズーム」を制御することで、画像の見た目のズーム率（総合ズーム率）が一定の割合で増加するように調整している。そのため、制御部１０１は、「光学ズーム」を停止させるように、レンズ駆動部２０３を制御すると（Ｓ５３１）、「電子ズーム」のズーム率を一定の割合で減少している状態から一定の割合で増加するように、画像処理部１１１を制御する。
そして、撮影が継続されているか否かを監視し（Ｓ５３２）、さらに、ズーム操作が継続されているか否かを監視しながら（Ｓ５３３）、第２の所定時間が経過するまで「電子ズーム」を継続する（Ｓ５３４）。
ここで、第２の所定時間とは、０．０５秒に対し、残響雑音４３２の発生期間αを加えた期間である。すなわち、前回「光学ズーム」を停止させてから（０．０５秒＋α）が経過するまでこの動作を継続する。ここで、第２の所定時間の間、「光学ズーム」を停止させたのは、少なくとも０．０５秒の「前学習期間３０２」及び／または「後学習期間３０３」に「光学ズーム」の駆動雑音や残響雑音が混入しないようにするためである。ここで、αは、前述した残響雑音４３２の発生期間αである。
音声信号処理部１２１の雑音低減部２０６は、この間、「光学ズーム」により発生した雑音が含まれる雑音発生区間３０１に対応する音声信号を、その前後の隣接する音声信号にから生成した「予測音声信号」で上書きすることで、雑音を低減している。本実施例において、前述したように、雑音発生区間３０１が最大０．１秒、前学習期間３０２及び／または後学習期間３０３の長さが最低でも０．０５秒としたので、これらの数字を使用している。
一方、Ｓ５３４で、第２の所定時間が経過すると、制御部１０１は、撮影動作、ズーム操作が継続される限り、Ｓ５２１に戻りＳ５３４までの処理を継続する。なお、第２の所定時間が経過するとすぐにＳ５２１に戻って「光学ズーム」を動作させなくても、任意のタイミングで「光学ズーム」を動作させてもよい。すなわち、少なくとも第２の所定時間経過するまで「光学ズーム」を動作させないようにしていれば良い。以後、Ｓ５２１からＳ５３４の処理を繰り返し行うことになる。
また、Ｓ５３２で、操作部１０２から撮影終了の指示信号が入力されたと判定すると（Ｓ５３２でＮｏ）、制御部１０１は、撮影を終了するように撮像装置１００の各ブロックに指示を出し、撮影を終了させる（Ｓ５９９）。また、Ｓ５３３で、操作部１０２からズームの指示が入力されなくなったと判定すると（Ｓ５３３でＮｏ）、制御部１０１は、図６の画像拡大の指示を終了した後の処理Ａに移行する。
ここで、図６を用いて、ユーザが操作部１０１のズームキーを離し、操作部１０２からズームの指示が入力されなくなった場合の、処理（処理Ａ）を説明する。
たとえば、Ｓ５１３、Ｓ５３３で、操作部１０２からのズーム指示信号が送られてこなくなると（Ｓ５１３、Ｓ５３３でＮｏ）、制御部１０１は、ズーム操作を停止したものと判定し、電子ズームを停止させる（Ｓ６１１）。これは、ズーム操作が停止したことで、これ以上画像の見た目のズーム率を変化させないようにするためである。
そして、制御部１０１は、撮影が継続されているか否かを監視する（Ｓ６１２）。撮影が継続していれば、制御部１０１は、Ｓ５１１の「電子ズーム」動作の開始から一定時間が経過したか、または、Ｓ５３１の「光学ズーム」動作の停止から第２の所定時間が経過したか否かを判定する（Ｓ６１３）。第２の所定時間は、前述した時間と同様に、前学習期間３０２及び／または後学習期間３０３を確保するための、たとえば（０．０５＋α）秒である。
次に、制御部１０１は、「電子ズーム」動作の開始から一定時間が経過したか、または、「光学ズーム」動作の停止から第２の所定時間が経過していた場合（Ｓ６１３でＹｅｓ）、Ｓ６２１の処理に移行する。なお、Ｓ５２３で、操作部１０２からのズーム指示信号が送られてこなくなっても（Ｓ５２３でＮｏ）、Ｓ６２１の処理に移行する。
Ｓ６２１では、制御部１０１は、「光学ズーム」で一定の割合で拡大するために、ズームレンズを拡大方向に一定の速度で移動させるように、レンズ駆動部２０３を制御する。今回はズーム操作が終了しているため、見た目のズーム率が増加も減少もしないように、一定に保つ必要がある。そのため、制御部１０１は、「電子ズーム」のズーム率を減少させるように画像処理部１１１を制御する（Ｓ６２１）。「光学ズーム」と「電子ズーム」を合わせて、一定の割合でズーム率を増加させていたＳ５２１とは異なり、ズーム率を変化させないようにするＳ６２１では、さらに急激にズーム率を減少させるようにしている。これは、後述する図４のグラフを見ても明らかである。Ｓ６２１の処理によれば、画像の拡大をする「電子ズーム」の割合を減少させ、「光学ズーム」の割合を増加させることができるので、動画像の画像の品位を良好にすることができる。
そして、制御部１０１は、撮影が継続されているか否かを監視する（Ｓ６２２）。そして、「光学ズーム」が動作を開始してから前述と同様に第１の所定時間が経過するまで、この動作を継続する（Ｓ６２４）。もしくは、「光学ズーム」が動作を開始してから第１の所定時間が経過する前に、「電子ズーム」の倍率が前述の所定の倍率ａまで下がるまでこの動作を継続する（Ｓ５２３）。ここで、第１の所定時間、「電子ズーム」の倍率ａは、図５の説明で用いたのと同様である。
Ｓ６２３で、「電子ズーム」の倍率が前述の所定の倍率ａまで下がったことを検出した場合（Ｓ６２３でＮｏ）制御部１０１は、「電子ズーム」および「光学ズーム」の動作を停止させ（Ｓ６２５）、図５のＳ５１０に処理を移行させる。そのために、制御部１０１は、ズームレンズの駆動を停止するようレンズ駆動部２０３を制御し、同時に、電子ズームによる拡大も縮小も行わないように画像処理部１１１を制御する。すなわち、この状態においては、ほとんど「光学ズーム」によって、画像の見た目のズームが実施されていることになり、電子的な拡大処理による画像の劣化がない。
一方、Ｓ６２４で、「光学ズーム」が動作を開始してから前述と同様に第１の所定時間が経過すると（Ｓ６２４でＹｅｓ）、制御部１０１は、「電子ズーム」および「光学ズーム」の動作を停止させる（Ｓ６３１）。そのために、制御部１０１は、ズームレンズの駆動を停止するようレンズ駆動部２０３を制御し、同時に、電子ズームによる拡大も縮小も行わないように画像処理部１１１を制御する。
そして、制御部１０１は、撮影が継続されているか否かを監視し（Ｓ６３２）、さらに、第２の所定時間が経過するまで、「光学ズーム」を停止させるためにズームレンズを駆動させないよう、レンズ駆動部２０３を制御する（Ｓ６３３）。ここで、第２の所定時間は、Ｓ５３４と同様の時間であり、第２の所定時間の間、「光学ズーム」を停止させたのは、少なくとも０．０５秒の前学習期間３０２及び／または後学習期間３０３に「光学ズーム」の雑音が混入しないようにするためである。
Ｓ６３３で、第２の所定時間が経過すると、制御部１０１は、Ｓ６２１に戻り「電子ズーム」の倍率がＡに到達するまで、Ｓ６２１からＳ６３３までの処理を継続する。ここで、第２の所定時間が経過するとすぐにＳ５２１に戻って「光学ズーム」を動作させなくても、任意のタイミングで「光学ズーム」を動作させてもよい。すなわち、少なくとも第２の所定時間経過するまで「光学ズーム」を動作させないようにしていれば良い。
音声信号処理部１２１の雑音低減部２０６は、この間、「光学ズーム」により発生した雑音が含まれる雑音発生区間３０１に対応する音声信号を、その前後の隣接する音声信号にから生成した「予測音声信号」で上書きすることで、雑音を低減している。本実施例において、前述したように、雑音発生区間３０１が最大０．１秒、前学習期間３０２及び／または後学習期間３０３の長さが最低でも０．０５秒としたので、これらの数字を使用している。
なお、Ｓ６１２，Ｓ６２２、Ｓ６３２で、制御部１０１は、操作部１０２から撮影終了の指示を受信すると、撮像装置１００の各ブロックに、撮影終了の指示を出して、撮影を終了させる（Ｓ６９９）。
仮に、ユーザが操作部１０２を操作して、再度ズーム操作を行った場合には、制御部１０１は、操作部１０２からのズーム指示信号を受信して、処理をＳ５１０に戻し、再び、図５のフロー図に従って、撮像装置１００の各ブロックを制御する。
＜具体的な動作＞（図４）
ここで、図４を用いて、ユーザのズーム操作によって、「電子ズーム」によるズーム倍率（「電子ズーム率」）、「光学ズーム」によるズーム倍率（「光学ズーム率」）、「電子ズーム率」と「光学ズーム率」を合わせた「総合ズーム率」がどのように変化するか説明する。また、その間、いずれのタイミングでレンズが駆動し、雑音が発生するのか、そして、レンズの駆動タイミングと、本実施例の「雑音低減処理」における、「学習期間」「雑音発生期間」がいずれの期間であるかを説明する。図４は、記録動作（動画記録）中に、ユーザがズームキーを操作することで撮影中の画像を拡大する場合の、本実施例の撮像装置１００の動作を示している図である。
図４において、横軸は時間を示している。ズーム操作期間４１０は、操作部１０２のズームキーがユーザによりＯＮにされていた期間を示すものである。本実施例では、タイミングＴ４１１でズームキーがＯＮにされ、タイミングＴ４１２でズームキーがＯＦＦにされたことを示している。レンズ駆動期間４２０は、レンズ２０１のズームレンズが駆動される期間を示すものである。本実施例では、ズームレンズは、タイミングＴ４２１で駆動が開始され、タイミングＴ４２２で駆動が終了され、また、タイミングＴ４２３で駆動が開始され、タイミングＴ４２４で駆動が終了されている。雑音発生区間４３０は、ズームレンズが駆動されることによって生じる雑音の発生区間を示すものである。雑音４３１は、ズームレンズを移動するための駆動部の駆動により生じた雑音であり、残響雑音４３２は、駆動部の駆動後に撮像装置内で反響したりして残った雑音である。すなわち、ズームレンズが動作した期間であるＴ４２１からＴ４２２の期間に、雑音４３１が発生し、その残響が残響雑音４３２としてＴ４２２以降にも発生しているのである。また、音声信号期間４４０は、ズームレンズの移動されたタイミングで取得された音声信号のいずれのタイミングの音声信号が「雑音低減処理」における、どの期間の音声であるかを示すものである。すなわち、「前学習期間」、「雑音発生期間」、「後学習期間」がどの期間であるかを示している。
さらに、図４において、ズーム倍率４５０は、縦軸に、表示部１３０に表示されたり、記録媒体１４１に記録されたりする画像の倍率を示したグラフである。ここで、光学ズーム率４５１は、前述した「光学ズーム」機能で、レンズ２０１により得られる被写体の光学像を拡大した倍率を示している。また、電子ズーム率４５２は、前述した「電子ズーム」機能で、撮像部１１０により得られた画像の一部を画像処理部１１１で切出して拡大した倍率を示している。また、総合ズーム率４５３は、「光学ズーム」および「電子ズーム」を組み合わせて、結果的に表示部１３０に表示されたり記録媒体１４１に記録されたりする画像（動画）の拡大倍率を示している。本実施例においては、ユーザがズームキーを操作している間、総合ズーム率４５３が一定の割合で倍率を増加させて行くように、光学ズーム率４５１、電子ズーム率４５２を調整しているのである。そのために、制御部１０１は、「光学ズーム」を動作させるタイミングでレンズ駆動部２０３にレンズ制御信号を送信し制御を行う。また、総合ズーム率４５３が一定の割合で倍率を増加させて行くように「電子ズーム」の倍率を調整するための制御信号を画像処理部１１１に送信することで制御を行う。
また、省略区間４６０は、図４における所定の時間の記載を省略したことを示すものであり、その間、ズーム操作は継続され、光学ズーム率４５１は一定の倍率であり、電子ズーム率４５２は、その省略区間４６０前後で一定の割合で増加している。
また、処理ブロック４７０は、音声処理部１２１のバッファメモリ２０７から、雑音低減部２０６やメモリ１０４に読出される音声信号の所定期間内のサンプルをひとまとめにしたブロックの長さを示す。基本的には、音声処理部１２１は、この処理ブロックの単位で音声データをバッファメモリ２０７から読み出したり、書き込んだりする。
なお、説明の際、図５、図６の動作フローの対応するステップを付記する。
まず、操作部１０２から撮影開始の指示信号が入力されると、制御部１０１は撮影開始の指示を撮像装置１００の各ブロックに送信する（Ｓ５００）。
（Ｔ４１１からＴ４２１の期間）
次に、図４のＴ４１１のタイミングで、ユーザが操作部１０２のボタンを操作してズーム指示を入力すると、制御部１０１は、ズーム操作が入力されたと判定する（Ｓ５１０）。次に、制御部１０１は、Ｔ４１１からＴ４２１の一定期間、「電子ズーム」を一定の割合で拡大し続けるように、画像処理部１１１を制御する。一方で、制御部１０１は、この間、「光学ズーム」を動作させないように、レンズ駆動部２０３を制御する。（Ｓ５１１からＳ５１４）。拡大率については、図４に示すように、電子ズーム率４５２は、Ｔ４１１からＴ４２１の一定期間、一定の割合で増加しているが、光学ズーム率４５１は、変化していない。そして、総合ズーム率４５３は、電子ズーム率４５２と同じ割合で増加している。この期間においては、ズームレンズが駆動しないため、雑音の発生はない。音声処理部１２１は、この期間の音声信号を前学習期間３０２としている。
（Ｔ４２１からＴ４２２の期間）
次に、制御部１０１は、Ｔ４２１からＴ４２２の一定期間画経過したことを検出すると（Ｓ５１４でＹｅｓ）、「光学ズーム」のズーム率を一定の割合で増加させるように、レンズ駆動部２０３を制御する。一方で、このとき、制御部１０１は、「電子ズーム」のズーム率を一定の割合で減少させるように画像処理部１１１を制御する（Ｓ５２１）。そして、第１の所定期間経過するまで、この動作を継続する（Ｓ５２１からＳ５２５）。
拡大率については、図４に示すように、光学ズーム率４５１は、Ｔ４２１からＴ４２２の期間、拡大しているが、電子ズーム率４５２は、縮小している、そして、総合ズーム率４５３は、Ｔ４２１からＴ４２２とほぼ同じ程度の拡大割合で拡大している。すなわち、総合ズーム率に対する、光学ズーム率の割合を増加させているのである。
一方、Ｔ４２１からＴ４２２の間、レンズ駆動部２０３は、制御部１０１からのレンズ駆動信号に基づいて、レンズを駆動させている。そのため、雑音発生４３０に示すようにＴ４２１からＴ４２２の間、レンズ駆動による雑音４３１が発生し、さらにＴ４２２からαの期間、残響雑音４３２が発生する。音声信号処理部１２１では、この区間に残響音の発生期間αを加えた期間を雑音発生区間３０１としている。
図５のＳ５２５で用いた第１の所定期間は、Ｔ４２１からＴ４２２の期間に対応する。
（Ｔ４２２からＴ４２３の期間）
次に、制御部１０１は、第１の所定期間が経過すると、「光学ズーム」の動作を停止させるようにレンズ駆動部２０３を制御する（Ｓ５３１）。そして、制御部１０１は、Ｔ４２２から、（０．０５＋α）の期間（図５の第２の所定期間）の間、「光学ズーム」を動作させないようにする。そして、その期間の間、総合ズーム率が一定の割合で拡大するように、画像処理部１１１に「電子ズーム」を拡大動作するように制御する（Ｓ５３１からＳ５３４）。拡大率については、図４に示すように、電子ズーム率４５２は、Ｔ４２１からＴ４２２の期間、拡大しているが、光学ズーム率４５１は、拡大していない、そして、総合ズーム率４５３は、Ｔ４２２からＴ４２３とほぼ同じ程度の拡大割合で拡大している。ここでは、電子ズーム率４５２により、総合ズーム率４５３が増加していることになる。
ここで、本実施例の雑音低減部２０６においては、Ｔ４１１からＴ４２１までの区間を「前学習期間３０２」とし、Ｔ４２１から最大で０．１秒の期間を「雑音発生期間３０１」としている。そして、「雑音発生期間３０１」の後の約０．０５秒の期間を「後学習期間３０３」としている。そして、前述した「雑音低減処理」の任意の処理で「雑音発生期間３０１」の音声に含まれる雑音を低減する。
（Ｔ４２３からＴ４１２の期間）
次に、制御部１０１は、「光学ズーム」の動作を停止させてから、少なくとも０．０５秒＋残響雑音４３２の発生期間α（図５の第２の所定期間）が経過したことを検出すると、再び、「光学ズーム」を用いて画像を拡大する（Ｓ５２１）。ここでは、制御部１０１は、「光学ズーム」のズーム率を一定の割合で増加させるように、レンズ駆動部２０３を制御する。一方で、制御部１０１は、「電子ズーム」のズーム率を一定の割合で減少させるように画像処理部１１１を制御する（Ｓ５２１）。そして、第１の所定期間経過するまで、この動作を継続する（Ｓ５２１からＳ５２５）。
拡大率については、図４に示すように、光学ズーム率４５１は、Ｔ４２３からＴ４１２の期間、拡大しているが、電子ズーム率４５２は、縮小している、そして、総合ズーム率４５３は、一定の割合で増加している。ここでは、Ｔ４２１からＴ４２２における、光学ズーム率４３１、電子ズーム率４３２と同じ割合で変化している。
（Ｔ４１２からＴ４２４の期間）
本実施例では、Ｔ４１２のタイミングで、ユーザがズーム操作を終了させている。すなわち、「光学ズーム」の動作開始から第１の所定期間が経過する前に、ズーム操作が終了されたことになる。この場合、制御部１０１は、図５のＳ５２３でＮｏに進み、図６のＢ以降の処理を実行することになる。
制御部１０１は、Ｔ４２４までの間、Ｔ４２３からＴ４１２の期間と変わらず、「光学ズーム」のズーム率を一定の割合で増加させるように、レンズ駆動部２０３を制御する。一方、このとき、制御部１０１は、「電子ズーム」のズーム率を一定の割合で減少させるように画像処理部１１１を制御する（Ｓ６２４からＳ６２１）。しかし、ここでは、ズーム操作が終了しているため、画像の見た目のズーム率（総合ズーム率４５３）は変化しないようにする必要がある。そのため、制御部１０１は、「電子ズーム」をＴ４２３からＴ４１２の期間よりも、ズーム率をより多い割合で減少させるように画像処理部１１１を制御する。拡大率については、図４に示すように、光学ズーム率４５１は、Ｔ４１２からＴ４２４の期間、拡大しているが、電子ズーム率４５２は、Ｔ４２３からＴ４１２の期間よりも、急に縮小している。そして、総合ズーム率４５３は、拡大していない。
（Ｔ４２４以降の期間）
次に、制御部１０１は、「光学ズーム」を動作させてから最大で、０．１秒−残響雑音４３２の発生期間α（図６の第１の所定期間）が経過したことを検出すると、「光学ズーム」の動作を停止するように、レンズ駆動部２０３を制御する。このとき、ズーム操作が終了しているため、画像の見た目のズーム率（総合ズーム率４５３）は変化しないようにする必要がある。そのため、制御部１０１は、さらに、「電子ズーム」の縮小動作も停止させる（Ｓ６３１）。拡大率については、図４に示すように、光学ズーム率４５１、電子ズーム率４５２、総合ズーム率４５３のいずれにも変化がない。
そして、制御部１０１は、「光学ズーム」を停止させてから、残響雑音４３２の発生期間αにさらに０．０５秒を加えた期間（図６の第２の所定期間）の間、「光学ズーム」を動作させないようにする（Ｓ６３１からＳ６３３）。
そして、「光学ズーム」が停止してから、残響雑音４３２の発生期間αにさらに０．０５秒を加えた期間（図６の第２の所定期間）が経過したことを検出すると、Ｓ６２１に戻り、再び光学ズーム率を拡大させ、電子ズーム率を縮小させ、総合ズーム率を一定に保つ。
図４の例ではこのまま、ズーム操作がされない場合には、いずれ電子ズーム率がＡ（等倍）になり、光学ズーム率によって、総合ズーム率が表現されるようになる。すなわち、撮影中の動画データに関わる画像のズームが光学ズームのみで行われることになる。
この様な本実施例の撮像装置１００によれば、撮像装置の撮像に関する駆動部の動作に伴い発生する雑音をより効果的に低減した音声を取得することができる。
また、本実施例の撮像装置１００は、撮像に関する駆動部の動作に伴い発生する雑音をより効果的に低減した音声を取得すると共に、違和感の少ない映像を取得することができる。
なお、本実施例では、総合ズーム率４５３を常に一定の割合で増加させるようにしていたが、ユーザのズーム操作によって、多段階にズーム率の増加速度を調整できるようにしても良い。同様に、光学ズーム率４５１、電子ズーム率４５２についても、一定の割合で増加、減少を行わなくても良い。本実施例によれば、電子ズーム機能と、光学ズーム機能を用いて、総合的なズームを行うことができる撮像装置であればよい。そして、光学ズームを実行している間に発生する雑音を、光学ズームの駆動している前または後の所定時間の音声信号に基づいて算出された予測音声信号によって、雑音の発生した区間の音声信号を上書きする方式の雑音低減処理を行うものであればよい。
本実施例において、「光学ズーム」機能が動作している最中は、レンズにより得られる被写体の光学像は一定の割合で拡大される場合について説明したが、一定の割合で拡大されなくともよい。すなわち、「光学ズーム」の割合を「電子ズーム」の割合よりも素早く高める必要が有れば可能限り速い速度で拡大してもよい。この場合も「光学ズーム」の割合と「電子ズーム」の割合とをあわせた総合ズームの変化が「光学ズーム」の速度によって急に拡大されることの無いように「電子ズーム」の割合を素早く下げていくことになる。
また、本実施例では拡大する場合について説明したが、縮小する場合であっても同様に「光学ズーム」と「電子ズーム」とをあわせて画像を縮小するようにし、「光学ズーム」が動作する期間に「雑音低減処理」を実行するようにしてもよい。
また、本実施例では、ズーム機能を使用する場合について説明したが、前述した「光学防振」と「電子防振」とを組み合わせて使用する場合であっても同様とすることができる。すなわち、画像の揺れを防止するために、「光学防振」による雑音発生期間が０．１秒以下になるように動作させ、「光学防振」を使用していない期間は、「電子防振」により画像の揺れを防止する。そして、このように、「光学防振」と「電子防振」とを交互に動作させると共に、「光学防振」が使用される期間に「雑音低減処理」を実行するようにしてもよい。
すなわち、光学的に画像を拡大させたり、揺れを防止したりする、光学的に画像変更をする機能と、電子的に画像を拡大させたり、揺れを防止したりする、電子的（画像処理的）に画像変更をする機能とを有する撮像装置であればよい。そして、この様な撮像装置において、光学的な画像変更をしている間の音声信号を、その音声信号に隣接する前及び／または後の音声信号を用いて生成した「予測音声信号」を用いて置換し、雑音を低減する処理を実行する。さらに、光学的な画像変更を停止させると共に、電子的な画像変更を実行し、見かけ上画像変更を継続しつつ、「予測音声信号」を生成するための期間にレンズ等の光学素子の移動を禁止して、雑音の混入を抑えるようにした撮像装置１００であればよい。
この様な撮像装置によれば、画像のズームや防振などの画像変更を継続しつつも、光学素子の移動に伴う雑音を効果的に低減させることができる。
本実施例では、「雑音低減処理」については、撮像装置１００の音声処理部１２１で行われる例について説明したが、撮像装置１００自体に「雑音低減処理」をする機能が無くてもよい。その場合は、音声信号と、レンズ制御信号を出力したタイミングと、雑音発生区間（レンズの駆動期間）を示す駆動情報とを関連づけて、記録媒体１４１に記録させる。そして、「雑音低減処理」を実行することができるアプリケーションをインストールしたコンピュータにより、記録媒体１４１から再生された音声信号について「雑音低減処理」が実行される。つまり、コンピュータでは、記録媒体１４１から音声信号と、雑音発生区間を示す情報とを読出し、音声信号の雑音発生区間の前及び／または後の音声信号から予測音声信号を生成して、雑音発生区間の音声信号と置き換える処理をするのである。この様に、撮像装置１００を音声取得装置とし、コンピュータを音声信号処理装置とした音声信号処理システムで本実施例の「雑音低減処理」を実行しても本発明の目的は達成される。ここでは、雑音発生区間を示す情報として、撮影開始から２５．１秒から２５．４秒までなどの情報を生成して（情報生成）記録媒体１４１に記録してもよい。また、レンズ制御信号を出力したタイミングが撮影開始から２５．１秒であり、雑音発生区間は０．３秒であることを示す情報を記録媒体１４１に記録してもよい。また、レンズの種類と、駆動部、駆動量（レンズの移動量、絞りの調整量等）と、レンズ制御信号を出力したタイミングとを示す情報を記録してもよい。
また、記録媒体１４１を介さずとも、撮像装置１００の通信部１５２と、コンピュータの通信部と無線または有線にてデータ転送可能に接続した状態で、同様に「雑音低減処理」をコンピュータに実行させてもよい。この場合は、制御部１０１は、バッファメモリ２０７に記憶された音声信号を所定のサンプル数ずつ、通信部１５２に送り、コンピュータの通信部に送信する。また、制御部１０１は、通信部１５２にレンズ制御信号を出力したタイミングと、雑音発生区間を示す情報とを送り、同様にコンピュータの通信部に送信する。コンピュータは、コンピュータ上で起動した、本実施例の雑音低減部２０６と同様の機能を有する特定のアプリケーションの処理によって、本実施例と同様に、雑音発生区間の前または後の音声を使用して「雑音低減処理」を行う。このように本実施例の「雑音低減処理」を実行することができるコンピュータと接続したシステムを前提として、本実施例のように、特定の期間、駆動部の駆動を制限したり、記録停止を制限しても、本発明の課題を解決することができる。
また、本発明においては、音声信号処理装置の一例として、撮像装置を例にとって説明したが、これ以外の装置でも、音声信号を処理することができる装置であれば適用可能である。例えば、ビデオカメラやＩＣレコーダ、携帯電話、テレビ、自動車等にも適用するとができる。
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
このような、本実施例の撮像装置１００は、撮像に関する駆動部の動作に伴い発生する雑音をより効果的に低減した音声を取得すると共に、違和感の少ない映像を取得することができる。

Claims (7)

  1. 被写体の光学像を撮像し画像信号を取得する撮像手段と、
    前記撮像に関するパラメータを光学系を駆動させることによって補正する光学補正手段と、
    前記撮像に関する前記パラメータを画像処理によって補正する電子補正手段と、
    周囲の音声を示す音声信号を取得する音声取得手段と、
    前記音声取得手段により得られた前記音声信号に含まれる前記光学系の駆動音を低減する手段であって、前記光学補正手段が前記光学系を駆動する期間である第１の所定期間と前記第１の所定期間に続く決められた期間とを含む所定の雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号を用いて、前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減する音声処理手段と、
    前記撮像手段により得られた画像信号と、前記音声処理手段により出力された音声信号とを記録媒体に記録する記録手段と、
    前記光学補正手段と、前記電子補正手段と、前記音声処理手段とを制御する制御手段とを有し、
    前記制御手段は、前記光学補正手段と前記電子補正手段とを制御して、前記撮像に関する前記パラメータを変化させ、
    前記制御手段は、光学的な補正を行う指示に応じて、前記パラメータを変化させるために、前記雑音発生区間よりも短い前記第１の所定期間、前記光学補正手段により前記光学系を駆動する制御と、前記決められた期間と前記雑音発生区間の駆動音を低減するために用いる音声信号を取得するための期間とを含む第２の所定期間、前記光学補正手段による前記光学系の駆動を停止させる制御とを繰り返すことにより、前記光学系を断続的に駆動するように前記光学補正手段を制御するとともに、前記電子補正手段を制御し、
    前記制御手段は、前記光学系を断続的に駆動するように前記光学補正手段を制御している場合に、前記第１の所定期間と前記決められた期間とを含む前記雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号に基づいて、前記音声取得手段により得られた前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減するように前記音声処理手段を制御することを特徴とする撮像装置。
  2. 前記光学系は、ズームレンズまたはフォーカスレンズまたは防振レンズまたは絞りであることを特徴とする請求項１に記載の撮像装置。
  3. 前記決められた期間は、前記第１の所定期間に前記光学補正手段により駆動された前記光学系の駆動音の残響音が発生する期間であることを特徴とする請求項１または２に記載の撮像装置。
  4. 被写体の光学像を撮像し画像信号を取得する撮像手段と、
    前記撮像に関するパラメータを光学系を駆動させることによって補正する光学補正手段と、
    前記撮像に関する前記パラメータを画像処理によって補正する電子補正手段と、
    周囲の音声を示す音声信号を取得する音声取得手段と、
    前記音声取得手段により得られた前記音声信号に含まれる前記光学系の駆動音を低減する手段であって、前記光学補正手段が前記光学系を駆動する期間である第１の所定期間と前記第１の所定期間に続く決められた期間とを含む所定の雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号を用いて、前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減する音声処理手段と、
    前記撮像手段により得られた画像信号と、前記音声処理手段により出力された音声信号とを記録媒体に記録する記録手段とを有する撮像装置の制御方法において、
    光学的な補正を行う指示に応じて、前記パラメータを変化させるために、前記雑音発生区間よりも短い前記第１の所定期間、前記光学補正手段により前記光学系を駆動する制御と、前記決められた期間と前記雑音発生区間の駆動音を低減するために用いる音声信号を取得するための期間とを含む第２の所定期間、前記光学補正手段による前記光学系の駆動を停止させる制御とを繰り返すことにより、前記光学系を断続的に駆動するように前記光学補正手段を制御するとともに、前記電子補正手段を制御し、
    前記光学系を断続的に駆動するように前記光学補正手段を制御している場合に、前記第１の所定期間と前記決められた期間とを含む前記雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号に基づいて、前記音声取得手段により得られた前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減するように前記音声処理手段を制御することを特徴とする撮像装置の制御方法。
  5. 撮像装置と、音声信号処理装置とからなるシステムであって、
    前記撮像装置は、
    被写体の光学像を撮像し画像信号を取得する撮像手段と、
    前記撮像に関するパラメータを光学系を駆動させることによって補正する光学補正手段と、
    前記撮像に関する前記パラメータを画像処理によって補正する電子補正手段と、
    周囲の音声を示す音声信号を取得する音声取得手段と、
    前記撮像手段により得られた画像信号と、前記音声取得手段により出力された音声信号とを記録媒体に記録する記録手段と、
    前記光学補正手段と、前記電子補正手段と、前記記録手段とを制御する手段であって、前記光学補正手段による前記光学系の駆動期間を示す駆動情報と前記音声取得手段により得られた前記音声信号とを関連づけて前記記録媒体に記録するように前記記録手段を制御する制御手段とを有し、
    前記音声信号処理装置は、
    前記記録媒体から、前記音声信号と、前記駆動情報とを再生する再生手段と、
    前記再生手段により再生された前記音声信号に含まれる前記光学系の駆動音を低減する手段であって、前記光学補正手段が前記光学系を駆動する期間である第１の所定期間と前記第１の所定期間に続く決められた期間とを含む所定の雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号を用いて、前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減する音声処理手段とを有し、
    前記制御手段は、光学的な補正を行う指示に応じて、前記パラメータを変化させるために、前記雑音発生区間よりも短い前記第１の所定期間、前記光学補正手段により前記光学系を駆動する制御と、前記決められた期間と前記雑音発生区間の駆動音を低減するために用いる音声信号を取得するための期間とを含む第２の所定期間、前記光学補正手段による前記光学系の駆動を停止させる制御とを繰り返すことにより、前記光学系を断続的に駆動するように前記光学補正手段を制御するとともに、前記電子補正手段を制御し、
    前記音声処理手段は、前記再生手段により再生された前記駆動情報に基づいて、前記光学補正手段の駆動期間である前記第１の所定期間を判定し、前記第１の所定期間と前記決められた期間とを含む前記雑音発生区間の前または後の少なくとも一方の期間における音声信号に基づいて、前記雑音発生区間の音声信号に含まれる前記光学系の駆動音を低減することを特徴とするシステム。
  6. 被写体の光学像を撮像し画像信号を取得する撮像手段と、
    前記被写体の光学像を光学的に拡大するためにズームレンズを駆動させる駆動手段と、
    前記撮像手段により得られた前記画像信号の一部を切出して拡大する画像処理手段と、
    周囲の音声を示す音声信号を取得する音声取得手段と、
    前記音声取得手段により得られた前記音声信号に含まれる前記ズームレンズの駆動音を低減する手段であって、前記駆動手段が前記ズームレンズを駆動する期間である第１の所定期間と前記第１の所定期間に続く決められた期間とを含む所定の雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号を用いて、前記雑音発生区間の音声信号に含まれる前記ズームレンズの駆動音を低減する音声処理手段と、
    前記画像処理手段により得られた画像信号と、前記音声処理手段により得られた音声信号とを記録媒体に記録する記録手段と、
    前記駆動手段と、前記画像処理手段と、前記音声処理手段を制御する制御手段とを有し、
    前記制御手段は、前記駆動手段と前記画像処理手段とを制御して、前記画像信号の示す画像を拡大させ、
    前記制御手段は、画像の拡大指示に応じて、前記撮像手段により取得される画像を拡大するために、前記雑音発生区間よりも短い前記第１の所定期間、前記駆動手段により前記ズームレンズを駆動する制御と、前記決められた期間と前記雑音発生区間の駆動音を低減するために用いる音声信号を取得するための期間とを含む第２の所定期間、前記駆動手段による前記ズームレンズの駆動を停止させる制御とを繰り返すことにより、前記ズームレンズを断続的に駆動するように前記駆動手段を制御するとともに、前記画像処理手段を制御し、
    前記制御手段は、前記ズームレンズを断続的に駆動するように前記駆動手段を制御している場合に、前記第１の所定期間と前記決められた期間とを含む前記雑音発生区間の前または後の少なくとも一方の期間において前記音声取得手段により得られた音声信号に基づいて、前記音声取得手段により得られた前記雑音発生区間の音声信号に含まれる前記ズームレンズの駆動音を低減するように前記音声処理手段を制御することを特徴とする撮像装置。
  7. 前記制御手段は、前記拡大指示に応じて前記ズームレンズを断続的に駆動するように前記駆動手段を制御している場合に、前記第２の所定期間において前記撮像手段により得られた前記画像信号の一部を切出して拡大するよう前記画像処理手段を制御し、前記第１の所定期間において前記撮像手段により得られた前記画像信号の一部を切出して拡大する拡大割合を下げるよう前記画像処理手段を制御することを特徴とする請求項６に記載の撮像装置。
JP2010268746A 2010-12-01 2010-12-01 撮像装置および情報処理システム Expired - Fee Related JP5839795B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010268746A JP5839795B2 (ja) 2010-12-01 2010-12-01 撮像装置および情報処理システム
US13/299,536 US9013599B2 (en) 2010-12-01 2011-11-18 Image pick-up and audio signal processing apparatus and method for controlling an image pick-up and audio signal processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010268746A JP5839795B2 (ja) 2010-12-01 2010-12-01 撮像装置および情報処理システム

Publications (2)

Publication Number Publication Date
JP2012119996A JP2012119996A (ja) 2012-06-21
JP5839795B2 true JP5839795B2 (ja) 2016-01-06

Family

ID=46161906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010268746A Expired - Fee Related JP5839795B2 (ja) 2010-12-01 2010-12-01 撮像装置および情報処理システム

Country Status (2)

Country Link
US (1) US9013599B2 (ja)
JP (1) JP5839795B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203040A (ja) * 2011-03-23 2012-10-22 Canon Inc 音声信号処理装置、及びその制御方法
JP6144945B2 (ja) * 2013-03-29 2017-06-07 キヤノン株式会社 信号処理装置及び方法
CN110136735B (zh) * 2019-05-13 2021-09-28 腾讯音乐娱乐科技（深圳）有限公司 一种音频修复方法、设备及可读存储介质
JP7405660B2 (ja) 2020-03-19 2023-12-26 Ｌｉｎｅヤフー株式会社 出力装置、出力方法及び出力プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4112312B2 (ja) * 2002-08-22 2008-07-02 富士フイルム株式会社 ズーム機能付きデジタルカメラ
JP4910293B2 (ja) * 2005-02-16 2012-04-04 カシオ計算機株式会社 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2006270591A (ja) * 2005-03-24 2006-10-05 Nikon Corp 電子カメラ、データ再生装置およびプログラム
US7596231B2 (en) * 2005-05-23 2009-09-29 Hewlett-Packard Development Company, L.P. Reducing noise in an audio signal
JP4822430B2 (ja) * 2006-06-08 2011-11-24 オリンパスイメージング株式会社 撮像装置および撮影方法
JP4821561B2 (ja) * 2006-10-30 2011-11-24 カシオ計算機株式会社 ズーム装置、及びズーム制御方法、ズーム制御プログラム
JP5207955B2 (ja) * 2008-12-24 2013-06-12 三洋電機株式会社 電子カメラ
US8698911B2 (en) * 2009-10-28 2014-04-15 Nikon Corporation Sound recording device, imaging device, photographing device, optical device, and program
JP2012054751A (ja) * 2010-09-01 2012-03-15 Rohm Co Ltd 音声処理装置ならびにそれを含む集積回路、音声記録装置および撮像装置

Also Published As

Publication number Publication date
US9013599B2 (en) 2015-04-21
US20120140103A1 (en) 2012-06-07
JP2012119996A (ja) 2012-06-21

Similar Documents

Publication Publication Date Title
JP5414357B2 (ja) 撮像装置および再生装置
US8571378B2 (en) Image capturing apparatus and recording method
JP4639907B2 (ja) 撮像装置、音声記録方法及びプログラム
JP5538918B2 (ja) 音声信号処理装置、音声信号処理システム
JP5351644B2 (ja) 音声記録装置及び方法、ならびに撮像装置
JP2015122734A (ja) 撮像装置及び撮像方法
JP5253725B2 (ja) 動画撮影機能付き移動通信端末機及びその動作方法
JP5839795B2 (ja) 撮像装置および情報処理システム
JP5529638B2 (ja) 音声処理装置及び音声処理方法、撮像装置
JP4901673B2 (ja) 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム
JP6061476B2 (ja) 音声処理装置
JP2005176015A (ja) 撮像装置及び方法
JP5932399B2 (ja) 撮像装置及び音声処理装置
JP2012165219A (ja) 撮像装置
JP4915978B2 (ja) 動画再生装置及びそのプログラム
JP2015122731A (ja) 動画再生装置及び動画再生方法
JP5495753B2 (ja) 撮像装置
JP6071188B2 (ja) 音声信号処理装置
JP5948927B2 (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置
JP2006217111A (ja) 動画撮影装置、及び動画撮影方法
JP6877246B2 (ja) 音声処理装置及びその制御方法
JP6931296B2 (ja) 音声処理装置及びその制御方法
JP6886352B2 (ja) 音声処理装置及びその制御方法
JP2013172175A (ja) 音声信号処理装置、方法及びプログラム
JP5506471B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151013

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151110

LAPS Cancellation because of no payment of annual fees