JP5106335B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を用いた撮像装置における、撮像素子の前方に配置された光学ローパスフィルター等の表面に付着した異物による画質劣化を抑制する技術に関し、特に動画撮影時の異物による画質劣化を抑制する技術に関する。また特に、カメラの揺れ情報に基づき、撮像した撮像画を電気的に切り出して揺れ補正を行う、いわゆる電子防振システムを備える撮像装置に関する。

レンズ交換式のデジタルカメラでは、レンズをカメラ本体から取り外した際にカメラ本体の内部に空気中に浮遊する埃などが侵入する可能性がある。またカメラ内部には、例えばシャッタ機構等の機械的に動作する各種の機構部が配設されており、これらの機構部が動作することにより、カメラ本体内で金属片などのゴミ等が発生する場合もある。

このようなゴミや埃などの異物がデジタルカメラの撮像部を構成する光学素子である撮像素子の前方に配置された光学ローパスフィルタの表面等に付着すると、その異物は撮影された画像に影となって写り込んでしまい、撮影画像の品位を低下させてしまう。

銀塩フィルムを使用したカメラでは、画像を撮影する度にフィルムが送られるため、同じ異物が連続して画像の同じ位置に写り込むことは極めて稀である。しかしデジタルカメラでは、撮影毎にフィルムのコマを送るような動きが発生しないため、撮影画像の同じ位置に連続して同じ異物が写り込んでしまうという問題がある。

このような問題点を解決するため、異物が写り込んだ画素をその画素の周囲の画素の信号を利用するなどして補正する方法が考えられる。そのような画素を補正する技術として、例えば特許文献１（特開平６−１０５２４１号公報）には、撮像素子の画素欠陥を補正するための画像欠陥補正方法が提案されている。また特許文献２（特開２００４−２４２１５８号公報）には、画素欠陥の位置情報の設定を簡略化するために、ゴミ取得モードで撮影した画像ファイルの拡張子などを通常画像と異ならせることが提案されている。このようにすることで、ＰＣ（パーソナルコンピュータ）側でゴミ情報画像を自動判別し、その情報を用いて補正対象画像を補正する。

また、従来より、デジタルビデオカメラなどにおける手ブレを補正する技術としてさまざまな方式が提案されている。手ブレ補正とは、デジタルビデオカメラ等の撮像機器の、撮影者による手ブレ情報（揺れ量や揺れの方向等）を、外部センサや画像処理を用いて検出し、その検出結果に基づいて、揺れを打ち消すように光学系の一部を動かしたり、画像の一部を切り出したりして揺れを補正する技術である。

手ブレ量を検出する一つの方式としては、外部センサ検出方式があり、この方式では、振動ジャイロに代表される角速度センサにより、撮像機器の手ブレを直接測定する（特許文献３参照）。また、手ブレ量を検出する別の方式として画像処理による方式があり、この方式では、撮影した複数の画像から画面の動きベクトルを検出して手ブレを検出する（特許文献４参照）。

また、手ブレを補正する方式としては、撮影レンズ系の一部を光軸と垂直に動かすことで撮像素子に結像される像を移動させて補正する方法が知られている。また、可変頂角プリズムを撮影レンズ系の前面に置いて、この可変頂角プリズムの頂角を動かすことで撮像素子に結像される像を移動させて補正する方法なども知られている（特許文献１参照）。これらの光学手ブレ補正方式は、補正のダイナミックレンジを広くとれるなどの特徴があるが、アクチュエータや光学素子などのメカ部材を必要とするために、コスト的に不利になるという欠点がある。

一方、動画撮影等では、実際に必要とする画像サイズよりも大きめの撮像素子を用意して、手ブレ量に応じて撮像素子から得られる画像から手ブレを補正するように画像の一部を切り出す画像切り出し方法による手ブレ補正（以下、電子防振）も用いられている。この方式は、メカ部材を必要としないことからコスト的にも有利であり、広く普及している（特許文献４参照）。
特開平６−１０５２４１号公報 特開２００４−２４２１５８号公報 特開平０６―９８２４６号公報 特開平０５―７３２７号公報

このような状況の中で、近年では、コンパクトタイプのデジタルカメラのみならず、レンズ交換式のデジタルカメラにおいても、より高画素、高精細な動画像を記録したいニーズも高まっている。しかし、すでに述べたように、レンズ交換式のデジタルカメラではさまざまな要因で撮像素子の表面にゴミが付着するため、そのまま動画記録を行うと、動画再生中、常にゴミが写ってしまう可能性があった。

レンズ交換式のデジタルカメラにおける従来のゴミ除去方法では、ゴミ除去に必要な情報（例えばゴミの位置及び大きさの情報）と画像データとを記録しておき、後にパソコンなどに画像を取り込んで画像処理によりゴミを除去していた。すなわち、記録される画像データにはゴミが写り込んでいることになる。

また、動画撮影を行う際には、手ブレによる画像振れが発生する可能性が高く、これを電子防振システムによって補正することが考えられる。しかし、電子防振システムによる補正を行うと、画像の切り出し位置がフレームごとに異なるため、ゴミ除去に必要な情報と実際に画像に写りこんでいるゴミ位置との相対関係が変化してしまい、うまくゴミ補正処理を行うことができないという問題がある。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、電子防振システムを用いて撮影を行った動画像ファイルに対しても、ゴミ除去処理を行うことを可能とすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて動画像データを生成する撮像手段と、前記撮像素子の前方に配置された光学素子に付着した異物の、少なくとも位置と大きさに関する情報を含む異物情報を記憶する記憶手段と、前記撮像素子の揺れ量を検出する検出手段と、前記検出手段により検出された前記撮像素子の前記揺れ量に応じて、前記撮像素子の画面全体からの画像の切り出し位置を制御する制御手段と、前記異物情報と前記切り出し位置の情報とを前記動画像データと関連付けて記録する記録手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置の制御方法は、被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて動画像データを生成する撮像手段を有する撮像装置を制御する方法であって、前記撮像素子の前方に配置された光学素子に付着した異物の、少なくとも位置と大きさに関する情報を含む異物情報を記憶する記憶工程と、前記撮像素子の揺れ量を検出する検出工程と、前記検出工程において検出された前記撮像素子の前記揺れ量に応じて、前記撮像素子の画面全体からの画像の切り出し位置を制御する制御工程と、前記異物情報と前記切り出し位置の情報とを前記動画像データと関連付けて記録する記録工程と、を備えることを特徴とする。

本発明によれば、動画撮影時に電子防振システムにより手ブレを抑制した動画像ファイルに対しても、ゴミ除去処理を行うことが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。本実施形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルスチルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本発明を適用することが可能である。

図１に示すように、本実施形態の撮像装置は、主にカメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えて構成されている。

レンズユニット３００において、３１０は複数のレンズから成る撮像レンズ、３１２は絞り、３０６はレンズユニット３００をカメラ本体１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインターフェース、３２２はレンズユニット３００をカメラ本体１００と電気的に接続するコネクタである。

コネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信などを用いて通信を行う構成としてもよい。

３４０は、測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する絞り制御部である。３４２は撮像レンズ３１０のフォーカシングを制御するフォーカス制御部、３４４は撮像レンズ３１０のズーミングを制御するズーム制御部である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラムなどを記憶するメモリを備えている。更に、レンズユニット３００固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値、焦点距離などの機能情報、現在や過去の各設定値などを保持する不揮発性メモリも備えている。

次に、カメラ本体１００の構成について説明する。

１０６はカメラ本体１００とレンズユニット３００を機械的に結合するレンズマウント、１３０，１３２はミラーで、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。１２はフォーカルプレーン式のシャッター、１４はＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子１４ａが配置されており、この光学素子１４ａの表面に付着したゴミ等の異物が撮像素子１４で生成される画像に写りこみ、画質を劣化させる。本実施形態は、この画質劣化を抑制する技術に関するものである。

撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。

１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

なお、本実施形態における図１に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ方式のＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像データを逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像あるいは動画像を格納するためのメモリであり、所定枚数の静止画像あるいは所定量の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、動画撮影時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１は後述する不揮発性メモリ５６に格納されているゴミ情報と、レンズユニット３００から得られる光学情報を用いて、画像データに含まれるゴミを画像処理により除去するためのゴミ除去回路である。

３２は公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長回路である。圧縮・伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、動画像データを所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。

３３は音声信号処理回路であり、マイク（不図示）より入力された音声信号を所定の符号フォーマットに符号化し、又は所定の符号化データから音声信号を復号する機能を有する。なお、本実施形態のデジタルカメラは、スピーカ（不図示）を介して、音声信号処理回路３３により復号された音声データを出力する機能を有する。

４０はシャッター制御部であり、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。４２はＡＦ（オートフォーカス）処理を行うための焦点調節部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。

４６はＡＥ（自動露出）処理を行うための測光制御部である。レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の露出状態を測定する。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。

また、焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。さらに、測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像データを画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。

５０はカメラ本体１００全体を制御するシステム制御回路であり、周知のＣＰＵなどを内蔵する。５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５３はカメラの手ブレを検出するための揺れ検出部であり、例えば振動ジャイロなどの角速度センサから構成されている。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどの画像表示部２８に表示するものとしては以下のものがある。まず、単写／連写撮影表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。

また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、例えば、以下のものがある。合焦表示、撮影準備完了表示、手ブレ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。

５６は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

５８は光学情報格納メモリであり、レンズユニット３００からコネクタ１２２を介して得られる、後述する各種レンズ情報を記憶する。

６０，６２，６４，６６，６８，７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード等の各機能撮影モードを切り替え設定することができる。他に、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モードなどの各機能撮影モードを切り替え設定することもできる。

６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像データを読み出し、圧縮・伸張回路３２で圧縮を行い、記録媒体２００あるいはＰＣ２１０に書き込む、または送信する。

６６は再生スイッチであり、撮影モード状態で撮影した画像をメモリ３０あるいは記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。

６８は単写／連写スイッチで、シャッタースイッチＳＷ２（６４）を押した場合に、１コマの撮影を行って待機状態とする単写モードと、シャッタースイッチＳＷ２（６４）を押している間、連続して撮影を行い続ける連写モードとを設定することができる。

７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、ライブビュー開始／停止ボタン、動画記録開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタンなども含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、あるいは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチなどがある。ワンショットＡＦモードでは、シャッタースイッチＳＷ１（６２）を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチＳＷ１（６２）を押している間、連続してオートフォーカス動作を続ける。更に、後述するようにゴミ検出用画像を撮影してゴミ情報を取得する、ゴミ情報取得モードを設定することができる設定スイッチを含む。

７２は電源スイッチであり、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２，８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ‐ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体やＰＣとのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いはＰＣ２１０が装着されているか否かを検知する記録媒体着脱検知回路である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インターフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０４は光学ファインダであり、撮像レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導き、光学像として結像させて表示することができる。これにより、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手ブレ警告、フラッシュ充電、シャッター速度、絞り値、露出補正などが表示される。

１１２は、アクセサリシュー１１０を介して装着される、外部フラッシュ装置である。

１２０はレンズマウント１０６内でカメラ本体１００をレンズユニット３００と接続するためのインターフェースである。

１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。

コネクタ１２２を介して通信される、レンズユニット３００の各種光学情報（絞り、ズーム位置、瞳位置、焦点距離など）は、カメラ本体１００の光学情報格納メモリ５８に記憶される。通信の要求はカメラ側から行う場合もあれば、レンズ側から情報更新のたびに通信される場合もある。

また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインターフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。

記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

２１０はＰＣであり、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインターフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インターフェース９４はＵＳＢやＩＥＥＥ１３９４などが挙げられるが、特に限定はない。

次に、上記構成を有する撮像装置における撮像素子の前方に配置されたローパスフィルタやカバーガラス等の光学素子上のゴミの影響を画像処理により除去する処理について説明する。

本実施形態では、まず、ゴミ（異物）の付着している位置及び大きさ等の情報であるゴミ情報（異物情報）を得るためのゴミ検出用画像を撮影し、ゴミデータを抽出し、ゴミデータを生成しておく。ここでゴミ検出用画像は、できるだけ均一な輝度面を撮影した画像が望ましいが、身近な場所で容易に撮影できることが望ましいため、厳密な均一性を要求するものではない。例えば、青空や白い壁面を撮影することを想定している。

図２は、本実施形態におけるゴミ情報を取得する際の撮像装置（本実施形態ではデジタルカメラ）における処理を示すフローチャートである。

まずステップＳ２０１において、操作部７０によりゴミ情報取得モードが選択されたか否かを判定する。ゴミ情報取得モードが選択されるまでステップＳ２０１の判定を繰り返し、ゴミ情報取得モードが選択されるとステップＳ２０２へ進み、シャッタースイッチＳＷ１（６２）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０１に戻って上記処理を繰り返す。

一方、ＯＮであれば、ステップＳ２０３において、絞り、ＩＳＯ値、シャッタースピード、その他撮影関連のパラメータを設定する。ここで設定されるパラメータを図３に示す。絞りはＦ２２など、絞りを絞り込んだ設定とする。レンズマウント１０６に接続されるレンズユニット３００において設定可能な範囲内で最も絞り込んだ状態で撮影するものとしてもよい。このように絞りを絞るのは、ゴミは通常撮像素子１４の表面ではなく、撮像素子１４を保護する保護用ガラスや、撮像素子より被写体側に配置される光学フィルター（光学素子１４ａ）上に付着しているため、レンズユニット３００の絞り値によって結像状態が異なるためである。そのため、絞りが開放値に近いとゴミの像がぼやけてしまい、適切なゴミ検出用の画像が取得できないので、できるだけ絞り込んだ状態で撮影するのが好ましい。

図２のフローチャートの説明に戻ると、この時までに撮影者はできるだけ白い壁などの均一輝度面に撮像装置を向け、シャッタースイッチＳＷ２（６４）を操作することとなる。

ステップＳ２０４ではシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。ＯＦＦであればステップＳ２０２に戻りシャッタースイッチＳＷ１（６２）の判定を行う。ＯＮであればステップＳ２０５へ進む。ステップＳ２０５ではゴミ検出用画像の撮影（均一輝度面の撮影）を行って、メモリ３０内に画像データを取り込む。次にステップＳ２０６ではメモリ３０内に記憶した画像データからゴミ情報を取得する。

ここで、ゴミ情報の取得について説明する。具体的には、撮影したゴミ検出用画像からゴミ領域の位置（座標）と大きさを求めるものである。まず、撮影したゴミ検出用画像の領域を複数のブロックに分割し、ブロック内の最大輝度Ｌmax、平均輝度Ｌave を算出し、次式を用いてブロック内のスレッショルド値Ｔ１を算出する。

Ｔ１＝Ｌave×０.６＋Ｌmax×０.４
次に、ゴミが付着している画素はその輝度が周囲の画素の輝度よりも低下するため、スレッショルド値Ｔ１を超えない画素をゴミ画素とし、ゴミ画素によって構成される孤立領域を各々一つのゴミ領域ｄｉ（ｉ＝０，１，…，ｎ）とする。

図４は、ゴミ領域サイズ算出の概要を示す図である。図４に示すように、ゴミ領域毎に、ゴミ領域を構成する画素の水平方向の座標の最大値Ｘmax および最小値Ｘmin、垂直方向の座標の最大値Ｙmax および最小値Ｙmin を求め、ゴミ領域ｄｉのサイズを表す半径ｒｉを次式によって算出する。

ｒｉ＝［√｛（Ｘmax−Ｘmin）²＋（Ｙmax−Ｙmin）²｝］／２
また、このときの中心座標（Ｘｄｉ，Ｙｄｉ）は、近似的に、
Ｘｄｉ＝（Ｘmax＋Ｘmin）／２
Ｙｄｉ＝（Ｙmax＋Ｙmin）／２
で求めるものとする。このように求められた位置（座標）と半径を、ゴミ情報プロファイルとして記録する。

不揮発性メモリ５６のサイズによる制限などにより、ゴミ補正データ（ゴミ情報プロファイル）のデータサイズが制限されている場合がある。このような場合に対応するために、ゴミ位置情報を、大きさやゴミ領域の平均輝度値によってソートする。本実施形態では、ｒｉの大きい順にソートする。ｒｉが等しい場合、平均輝度値の低い順にソートする。 このようにすることで、目立つゴミを優先してゴミ補正データに登録することが出来る。なお、ソート済みのゴミ領域をＤｉ、ゴミ領域Ｄｉの半径をＲｉとする。

なお、予め定められたサイズより大きいゴミ領域がある場合、ソートの対象から外し、ソート済みゴミ領域リストの末尾に配置してもよい。大きいゴミ領域については、後に補間処理をするとかえって画質を低下させる場合があり、補正対象の優先順位としては最下位として扱うことが望ましいからである。

このゴミ情報プロファイルは、図５に示すような構造をとる。図５に示す通り、ゴミ情報プロファイルには、ゴミ検出用画像撮影時の、レンズ情報とゴミの位置、大きさの情報が格納される。更に具体的には、ゴミ検出用画像撮影時のレンズ情報として、ゴミ検出用画像撮影時における実際の絞り値（Ｆ値）と、そのときのレンズ瞳位置を格納する。続いて記憶領域に検出したゴミ領域の数（整数値）を格納し、これに続き、個々の具体的なゴミ領域のパラメータを、ゴミ領域の数だけ繰返して格納する。ゴミ領域のパラメータは、ゴミの半径（例えば２バイト）、有効画像領域における中心のｘ座標（例えば２バイト）、おなじく中心のｙ座標（例えば２バイト）の３つの数値のセットである。

取得したゴミ情報はステップＳ２０７で不揮発性メモリ５６に記憶され、ゴミ情報取得のための処理を終了する。

なお、ゴミ情報取得モードにおける撮影動作は、ゴミ情報を取得することを目的とするため、本実施形態では撮影した画像そのものに対して、圧縮及び記録媒体２００への記録処理は行わない。これは撮影者にとって不要な画像データで記録媒体２００内の容量を無駄に消費することがないようにするためであるが、通常画像と同様に、圧縮後、記録媒体２００へ保存しても良く、また、その際に拡張子を変更するなど何らかの手を加えても構わない。

ここで、本実施形態は、動画を撮影する場合にゴミによる画質劣化を画像処理で補正する方法に関するものであるが、動画の処理について説明する前に、静止画の場合の処理について以下説明する。

静止画の場合には、ゴミ検出用画像の撮影ではない通常の撮影を行った場合、通常撮影時のカメラ設定値等と共に図５に示したゴミ補正データ（ゴミ情報プロファイル）を画像データに関連付けて記録媒体２００に記録する。

具体的には、例えば、撮影時のカメラ設定値等が記録される画像ファイルのヘッダ領域であるＥｘｉｆ領域にゴミ補正データを追記することで、関連付けを実現することができる。または、ゴミ補正データをファイルとして独立して記録し、画像データにはそのゴミ補正データファイルへのリンク情報のみを記録することで関連付けを実現することも可能である。ただし、画像ファイルとゴミ補正データファイルを別々に記録すると、画像ファイルの移動時に、リンク関係が消失する場合があるので、ゴミ補正データは画像データと一体的に保持することが望ましい。

このように、ゴミ補正データを画像データに関連付けて記録するのは、このゴミ補正データが付属されて記録された画像データを外部の画像処理装置に移し、この外部の画像処理装置でゴミ除去処理を行う場合も想定しているからである。

次に、上述したようにして不揮発性メモリ５６に記憶されたゴミ情報を使用した通常撮影時のゴミ除去処理について、図６及び図７のフローチャートを用いて説明する。なお、ここでの説明もまずは静止画におけるゴミ除去処理に関するものであるが、動画においても、静止画と同様のゴミ除去処理を１フレーム毎の画像に施すことにより、同様にごみ除去処理を行うことができる。

図６は本実施形態における通常撮影時の静止画像の撮影処理を示している。

ステップＳ５０１ではシャッタースイッチＳＷ１（６２）がＯＮされるまで、待機する。シャッタースイッチＳＷ１（６２）がＯＮされるとステップＳ５０２へ進んで測光及び焦点調節処理を行い、続いてステップＳ５０３でシャッタースイッチＳＷ２（６４）がＯＮされたかどうかを判断する。シャッタースイッチＳＷ２（６４）がＯＦＦであればステップＳ５０１に戻って上記処理を繰り返し、ＯＮされたことを検出するとステップＳ５０４へ進んで撮影を行う。撮影が終了するとステップＳ５０５へ進み、有効なゴミ情報が不揮発性メモリ５６内に存在するか否かを判定する。ゴミ情報が存在する場合はステップＳ５０６へ進み、存在しない場合はステップＳ５０７へ進んで撮影した画像データを記録媒体２００に格納する。

なお、本実施形態では不揮発性メモリ５６内にゴミ情報が存在するか否かを判定しているが、本来、上述したゴミ情報取得モードでの撮影が行われているかどうかが必要な条件であり、その判定方法に関しては特に限定するものではない。例えば、ゴミ情報取得モードでの撮影時に何らかのフラグをセットしておき、そのフラグを評価する方法でも構わない。

ステップＳ５０６では撮影した画像データに対し、取得済みのゴミ情報を、Ｅｘｉｆ領域などのヘッダ領域に埋め込み、ステップＳ５０７において記録媒体２００にゴミ情報を埋め込んだ画像データを格納する。

続いて、図７を参照してゴミ除去処理の動作について説明する。

ステップＳ６０１では、選択された画像にゴミ情報が埋め込まれているかどうか判定する。埋め込まれている場合はステップＳ６０２へ進み、ゴミ情報を取り込む。ステップＳ６０３では取り込んだゴミ情報から画像データにおけるゴミの影響を除去するべく、ゴミの周辺画素による画素補間処理等による補正処理を行う。

抽出したゴミ補正データから座標列Ｄｉ（ｉ＝１，２，…ｎ）、半径列Ｒｉ（ｉ＝１，２，…，ｎ）、絞り値ｆ１とレンズ瞳位置Ｌ１を得る。ここでＲｉは、先にゴミ補正データソート時に求めた座標Ｄｉのゴミの大きさである。また、ｆ１は、ゴミ検出用画像の撮影時のレンズの絞り値、Ｌ１は、同じくゴミ検出用画像の撮影時のレンズの瞳位置である。通常撮影された画像の撮影時の絞り値ｆ２とレンズ瞳位置Ｌ２を取得し、Ｄｉを次式で変換する。ここで、ｄは画像中心から座標Ｄｉまでの距離、Ｈは撮像素子１４の表面とゴミとの距離であるとする。変換後の座標Ｄｉ’と変換後の半径Ｒｉ’は例えば次式で定義する。

Ｄｉ’（ｘ，ｙ）＝（Ｌ２×（Ｌ１−Ｈ）×ｄ／（（Ｌ２−Ｈ）×Ｌ１））×Ｄｉ（ｘ，ｙ）
Ｒｉ’＝（Ｒｉ×ｆ１／ｆ２＋３） （１）
ここでの単位はピクセルであり、Ｒｉ’についての「＋３」はマージン量である。

座標Ｄｉ’、半径Ｒｉ’で示される領域内のゴミを検出し、必要に応じて補間処理を適用する。補間処理の詳細については後述する。全ての座標についてゴミ除去処理を適用し、全ての座標について処理が終わっていれば、ステップＳ６０４に進む。

ステップＳ６０４では、撮影した画像からゴミの影響を除去した補正処理後の画像を新たに記録する。

以上でゴミ除去処理を終了する。

なお、本実施形態では、カメラ本体１００ではゴミ情報を、撮影した画像データに埋め込む形で記録し、後からゴミの影響を除去する補正処理を行う構成を示した。これに対し、カメラ本体１００で画像を撮影して記録する時に、ゴミ情報を埋め込まずにゴミの影響を除去する補正処理を行い、補正処理後の画像を記録媒体２００へ記録するよう構成してもよい。

（補間ルーチン）
次に、ゴミ領域の補間処理の詳細について説明する。

図８は、補間ルーチンの流れを示すフローチャートである。

まずステップＳ７０１で、ゴミ領域判定を行う。ゴミ領域とは、次の条件全てを満たす領域とする。
（１）中心座標Ｄｉ’、半径Ｒｉ’（式（１）で求められたＤｉ’，Ｒｉ’）に含まれる画素の平均輝度Ｙave と最高輝度Ｙmax を用いて次式で求められるスレッショルド値Ｔ２より暗い領域。

Ｔ２＝Ｙave×０.６＋Ｙmax×０.４
（２）上記の中心座標Ｄｉ’、半径Ｒｉ’の円と接しない領域。
（３）（１）で選択された輝度の低い画素によって構成される孤立領域に対し、上述の方法で算出した半径値がＸ１画素以上、Ｘ２画素未満である領域。
（４）円の中心座標Ｄｉを含む領域。

本実施形態では、Ｘ１は３画素、Ｘ２は３０画素とする。このようにすることで、孤立した小領域だけをゴミ領域として扱うことが可能になる。また、レンズ瞳位置が正確に取得できない場合には、（４）の条件は幅を持たせても良い。

例えば、着目領域が座標ＤｉからＸ方向、Ｙ方向に夫々±３画素の範囲の座標を含めば、ゴミ領域と判定するなどという条件が考えられる。

ステップＳ７０２で、画像信号中にこのような領域（部分）があればステップＳ７０３へ進みゴミ領域補間を行い、存在しない場合は処理を終了する。ステップＳ７０３で実行するゴミ領域補間処理は、公知の欠損領域補間法で行う。公知の欠損領域補間法には例えば、特開２００１−２２３８９４号公報に開示されているパターン置換がある。特開２００１−２２３８９４号公報では赤外光を用いて欠損領域を特定しているが、本実施形態ではステップＳ７０１で検出したゴミ領域を欠損領域として扱い、パターン置換によりゴミ領域を周囲の正常画素で補間する。パターン置換で埋められない画素については、パターン補間後の画像データに対し、補間対象画素に最も近い順に正常画素をｐ個選択し、その平均色を用いて補間する。

静止画のゴミ除去処理では、このように画像にゴミ補正データを添付することで、ゴミ補正用画像データと撮影画像データの対応を意識する必要が無くなるという利点がある。また、ゴミ補正データが位置、大きさ、変換用データ（絞り値、レンズの瞳位置の距離情報）で構成されるコンパクトなデータであるので、撮影画像データサイズが極端に大きくなることもない。また、ゴミ補正データで指定された画素を含む領域だけを補間処理することにより、誤検出の確率を大幅に低減することが可能になる。
次に、カメラの揺れを検出し、手ブレ量に応じて撮像素子から得られる画像から手ブレを補正するように画像の一部を切り出す電子防振の処理について説明する。

まず、カメラの揺れを検出する方法について説明する。

カメラの揺れを検出する手段としては、カメラ本体１００に取り付けられ、カメラに印加される振動を物理的に角速度として検出して角速度信号を出力するジャイロ（角速度センサ）を用いることができる。

ＤＣカット用ハイパスフィルタが角速度センサより出力された角速度信号から直流成分を除去し、振動成分のみを通過させる。さらに、ハイパスフィルタを通過した振動成分を積分器が積分して振動成分の平均値を演算し、角変移信号として出力する。この信号がカメラの揺れを表す評価値となる。

振れ補正手段の概要を図９を用いて説明する。

図９（ａ）において、２６０で示す領域は撮像素子１４の全撮像領域を示す。２６１で示した波線内の領域は撮像素子の全撮像領域のうち実際に映像信号として標準ビデオ信号へ変換して出力する切り出し枠である。２６９は撮影者が撮影している主被写体である。

この場合の標準ビデオ信号を映し出すとすると図９（ｃ）で示される映像となる。図９（ｃ）において、２６５はビデオ信号を再現するモニタの映像領域を示し、２６９’はモニタ２６５上に再現された主被写体である。後に説明する撮像画の切り出し処理により撮像素子１４の全撮像領域からその周辺を除いた一部分を標準ビデオ信号として出力することによりモニタ上の映像領域２６５が再現できる。

次に図９（ｂ）について説明する。図９（ｂ）は被写体２６９を撮影する撮影者が矢印２６２、２６２’、２６２”で示す左下方向にカメラを振ってしまった時の画像の変化を示したもので、撮像素子１４の全撮影領域２６０面上で被写体２６９は２６４で示す右上方向に移動してしまう。

この状態で図９（ａ）の説明のように切り出し枠２６１と同位置の２６１’で示す切り出し枠を用いて画像を切り出した場合、矢印２６４で示すベクトル量だけ被写体が移動したビデオ信号を発生させてしまう。

ここで、撮像装置の揺れ量より求めた画像の変位量２６３、すなわち揺れ補正目標値を用いて切り出し枠を２６１’より２６１”で示す波線枠位置に移動して切り出せば図９（ｃ）で示される映像を得ることが可能である。この原理を用いて画像の揺れ補正を実現する。

次に図１０において、撮像領域の切り出しについて説明する。

３６０は撮像素子全体を示す。３６１は撮像素子全体３６０を構成する画素単位であり一つの光電変換素子である。不図示のタイミングジェネレータより発せられる電気的な駆動パルスに基づき、画素単位で蓄積及び読み出しの制御がなされる。

３６２、３６３で示される領域は、図９の２６１などで示したのと同様の切り出し枠であり、例えば図１０の３６２で示す切り出し枠でビデオ信号を切り出す場合について説明する。

まず初めに「Ｓ」で示す画素より矢印３６５で示す方向に順番に光電変換された電荷量の読み出しが行われていく。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、この同期期間終了前に「Ａ」で示される画素の１画素手前まで、通常の読み出し速度より早い転送レートで読み出しを終了する。

同期期間の終了後の実映像期間に、「Ａ」で示す画素より「Ｆ」の画素までの電荷を、通常の読み出し速度によりビデオ信号の１ライン分の画像情報として、読み出す。

さらに次の１ラインまでの水平同期期間中に「Ｆ」から「Ｇ」の手前までの画素を通常の読み出し速度より速い転送レートで読み出し、次の映像期間の読み出しに備える。

上記の「Ａ」から「Ｆ」までの読み出しと同様に、「Ｇ」からの読み出しを開始する。

以上のように読み出しタイミングを制御することにより、撮像素子の全撮像領域から例えば撮像素子の中央部分を選択的に抜き出してビデオ信号とすることが可能となる。

さらに図１０で、図９を用いて説明したように、撮像装置の移動による撮像画の移動が生じた場合における切り出し位置の移動について説明する。矢印３６４で示すシフト量分だけ撮像素子面上での被写体の移動（＝撮像装置の揺れ）が生じたことを検出した場合、切り出し枠を３６２で示したものから、３６３で示す切り出し枠に変更すれば、被写体の移動が伴わない切り出し後の映像が得られる。

切り出し位置を変更するために先の読み出し開始位置を「Ａ」から「Ｂ」に移動することにより、上記の「Ａ」からの読み出しと同様に撮像素子の全撮像領域３６０から画像の一部を選択的に抜き出してビデオ信号とすることができる。

具体的には先の切り出し枠３６２を読み出すときと同様に「Ｓ」で示す画素から矢印３６５で示す方向に順番に光電変換された電荷量の読み出しをおこなう。この読み出しを出力ビデオ信号の同期期間内に合わせてスタートし、この同期期間終了前に「Ｂ」で示される画素の１画素手前まで、通常の読み出し速度より早い転送レートで読み出しを終了しておく。そして、映像期間に「Ｂ」から上記と同様に通常の転送レートでの読み出しを開始すればよい。

このように撮像素子の周辺の一部の撮像領域を実映像期間に現れない同期信号期間中に揺れ補正情報に応じた量だけあらかじめ読み出し、撮像素子の一部をカメラの揺れ情報を基に選択的に読み出すことによりカメラの揺れに伴う画像の揺れを取り除いたビデオ信号を得ることができる。

次に、近年デジタルカメラやデジタルビデオカメラ等で、動画像データの記録に用いられている動画ファイルフォーマットである、ＭＰ４について説明する。

ＭＰ４ファイル形式（ＩＳＯ／ＩＥＣ １４４９６−１４；“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ――Ｐａｒｔ １４：ＭＰ４ ｆｉｌｅ ｆｏｒｍａｔ”；ＩＳＯ／ＩＥＣ；２００３−１１−２４を参照）とは、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｎｓｏｒｔｉｕｍ）によって規格化された、ＭＰＥＧなどの動画・音声のコンテンツデータをファイルに記録するために「ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ」（ＩＳＯ／ＩＥＣ １４４９６−１２；“Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ――Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ――Ｐａｒｔ １２：ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ”；ＩＳＯ／ＩＥＣ；２００４−０１−２３を参照）という汎用のファイル形式を元に拡張されたファイル形式である。なお、本発明はＭＰ４に限らず類似のファイル形式を用いるケースに対しても適用できる。例えば、ＩＳＯではＭＰ４と同様の基本構造を持つファイル形式規格として、「Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式」（ＩＳＯ／ＩＥＣ １５４４４−３）や、「ＡＶＣファイル形式」（ＩＳＯ／ＩＥＣ １４４９６−１５）といった標準規格が制定されている。

図１１は、ＭＰ４ファイル形式におけるデータ構造を説明するための概念図である。

ＭＰ４ファイル１００１は、映像・音声データの物理的位置、時間的位置や特性情報を示すメタデータ（ヘッダ情報）１００２と、符号化された映像・音声データの実態を示すメディアデータ１００３から構成される。ＭＰ４形式では、コンテンツ全体のプレゼンテーションを「ムービー」、コンテンツを構成するメディアストリームのプレゼンテーションを「トラック」と呼んでいるが、メタデータ１００２には、典型的には、動画像のデータ全体を論理的に取り扱うビデオトラック１００４と音声のデータ全体を論理的に取り扱うオーディオトラック１００５が含まれており、ビデオトラック１００４とオーディオトラック１００５の基本的な構成内容は、ほとんど同等のものとなっている。すなわち、それぞれのトラックは、実際のメディアデータの様々なメタデータ情報を記録しており、その内容がメディアデータの特性に応じて多少異なっているだけである。

ビデオトラック１００４に含まれるデータは、例えば、符号化データを復号化するための所謂デコーダの構成情報や動画像の矩形サイズなどの情報が含まれる。加えて、メディアデータが実際に記録されているファイル上の位置を示すオフセット１００６や、メディアデータのそれぞれのフレームデータ（ピクチャと呼ばれることもある）のサイズを示すサンプルサイズ１００７、それぞれのフレームデータのデコード時間を示すタイムスタンプ１００８などが記録されている。

一方、メディアデータ１００３には、符号化データの基本単位を示す「サンプル」が連続して１つ以上記録されている「チャンク」と呼ばれるデータ構造により、動画像のデータと音声のデータの実体が記録されている。このチャンクは、メタデータ１００２のトラックに従って、動画像のメディアデータを含むビデオチャンク１００９と音声のメディアデータを含むオーディオチャンク１０１０とにより構成されている。

図１１に示す構成は、ビデオチャンク１００９とオーディオチャンク１０１０が交互に記録されているように示しているが、その記録位置や順序は必ずしもこのようになっている必要はない。この例は、一般的に記録される形式の一例に過ぎない。しかしながら、このような交互の配置（インターリーブ）は、ほぼ同時刻に再生されるべき動画と音声のデータを近い位置に配置することにより、ファイルに記録されたデータのアクセス性を高めるといった効果があり、極めて一般的に見られる方法である。

チャンクには、個々のメディアデータのサンプルがひとつ以上含まれている。例えば、図１１に示すように、ビデオチャンク１００９には、ビデオサンプル（フレーム）１０１１が連続して記録される。一般的には、このビデオサンプル（フレーム）１０１１は、ビデオのひとつのフレームデータ（ピクチャ）に相当する。それぞれのトラックとチャンクは次のように関連付けられている。

例えば動画像のデータの場合、ビデオトラック１００４に含まれる情報は、メディアデータ１００３に含まれるそれぞれのビデオチャンク１００９に関する情報を含んでいる。オフセット１００６は、ビデオチャンク１００９のそれぞれのファイル上の相対位置を示す情報のテーブルから構成されており、テーブルの個々のエントリを参照することにより、どの位置に実際のビデオチャンクが記録されていてもその位置を知ることができるようになっている。サンプルサイズ１００７は、複数のチャンク内に含まれる複数のサンプル、すなわちビデオのフレームのそれぞれのサイズをテーブルとして記載している。より正確には、個々のチャンクの中に含まれるサンプルの数を記載した情報もビデオトラック１００４の中に記載されており、これらの情報から、個々のビデオチャンク１００９の中に含まれるサンプルを正確に取得することが可能となっている。タイムスタンプ１００８は、個々のサンプルのデコード時間をサンプル間の差分としてテーブルに記録するようになっている。このテーブルを参照することにより、それぞれのサンプルの所謂タイムスタンプを積算時間を計算することにより取得することが可能となる。このような、トラックとチャンクの関係は、オーディオトラック１００５とオーディオチャンク１０１０についても同様に成立するよう定義されている。これによって、ＭＰ４ファイルおよびＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔにおいては、メタデータ１００２とメディアデータ１００３により、符号化データを必要な単位で任意の位置からタイムスタンプなどの付加情報を持って取得することが出来るようになっている。なお、説明を簡単にするために、ここには規格化されているすべての記録情報については記載していないことに注意しなければならない。規格化されている定義内容の詳細は、ＩＳＯ／ＩＥＣ １４４９６の該当部分を参照することで知ることができる。

ＭＰ４ファイル形式では、ファイルに記録されるデータは「ＢＯＸ」と呼ばれるデータ構造の内部に記述され、ＢＯＸを単位としてファイルに記録される。ＢＯＸは、次のようなフィールドから構成される。

Ｓｉｚｅ：ｓｉｚｅフィールド自体を含む、ＢＯＸ全体のサイズ。

Ｔｙｐｅ：ＢＯＸの種類を表す４バイトのタイプ識別子。通常は４文字の英数字で表される。

その他のフィールドはＢＯＸによってはオプションであるため、ここでは説明を省略する。

ファイル中に記録されるデータは、その種類によって異なるタイプのＢＯＸに保持される。例えば、メディアデータ１００３は符号化データを格納するＭｅｄｉａ Ｄａｔａ ＢＯＸ（ｔｙｐｅフィールドの内容は‘ｍｄａｔ’。以降の説明でＢＯＸのタイプを示す識別子が用いられる場合は、そのタイプで示されるＢＯＸを表現しているものとする）として、メタデータ１００２はコンテンツ全体のメタデータ情報を格納するＭｏｖｉｅ ＢＯＸ（‘ｍｏｏｖ’）として記録される。前述のチャンクおよびサンプルに関する情報についても、同様に固有の識別子をもつＢＯＸとして、ｍｏｏｖの内部にトラック毎に記録される。

また、ＭＰ４ファイル形式では、ｍｏｏｖにすべてのメタデータを記録する形だけではなく、メタデータを時系列順に複数の領域に分割して記録するような形式も許可している。この形式は「フラグメントムービー」（Ｆｒａｇｍｅｎｔｅｄ Ｍｏｖｉｅ）と呼ばれている。

図１２に、フラグメントムービー形式のファイルの構造を示す。フラグメントムービー形式では、コンテンツのメディアデータおよびメタデータは任意の時間単位で分割することができ、分割された「フラグメント」はファイルの先頭から時系列順に記録される。例えば、図１２では、ｍｏｏｖ１１０１は最初のフラグメントのメタデータを示しており、ｍｄａｔ１１０２に含まれるデータに関する情報を保持する。次に出現するｍｏｏｆ１１０３は２番目のフラグメントのメタデータであり、ｍｄａｔ１１０４の情報を保持する、というように以下同様にして記録される。なお、フラグメントムービー形式を取る場合、ｍｏｏｖ１１０１にフラグメントが存在することを示すＭｏｖｉｅ Ｅｘｔｅｎｄｓ Ｂｏｘ（‘ｍｖｅｘ’）１１０４を追加する必要がある。ｍｖｅｘ１１０４に含まれる情報としては、全フラグメントを含むコンテンツ全体のｄｕｒａｔｉｏｎ（時間長）などである。このように、ＭＰ４ファイル形式のファイルでは、メディアデータに関する各種属性をメタデータ領域としてメディアデータと分離して保持することによって、メディアデータが物理的にどのように格納されているかに関わらず、所望のサンプルデータに容易にアクセスすることが可能になる。

以降では、本実施形態における動画像および音声データの記録に用いる動画ファイルフォーマットをＭＰ４形式の図１２に示すようなフラグメントムービー形式とし、動画記録時の、前述のゴミ補正データとビデオサンプル（フレーム）１０１１とを関連付ける方法に関して説明する。

なお、前述の「Ｍｏｔｉｏｎ ＪＰＥＧ ２０００ファイル形式」（ＩＳＯ／ＩＥＣ １５４４４−３）や、「ＡＶＣファイル形式」（ＩＳＯ／ＩＥＣ １４４９６−１５）といった標準規格や、第三世代携帯電話を中心とする無線端末上での利用を前提に制約が課させられた動画ファイル規格である３ＧＰＰファイル形式（Ｔｈｒｉｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）（３ＧＰＰ ＴＳ ２６．２４４ “Ｔｅｃｈｎｉｃａｌ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｇｒｏｕｐ Ｓｅｒｖｉｃｅｓ ａｎｄ Ｓｙｓｔｅｍ Ａｓｐｅｃｔｓ Ｔｒａｎｓｐａｒｅｎｔ ｅｎｄ−ｔｏ−ｅｎｄ ｐａｃｋｅｔ ｓｗｉｔｃｈｅｄ ｓｔｒｅａｍｉｎｇ ｓｅｒｖｉｃｅ （ＰＳＳ）；３ＧＰＰ ｆｉｌｅ ｆｏｒｍａｔ （３ＧＰ）（Ｒｅｌｅａｓｅ ６）” ３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ；２００３−０２−２８を参照）など、ＭＰ４で規定されているものと類似のファイル形式およびアーキテクチャが採用されている規格に対しても、本発明は適用することが可能である。

次に、本実施形態における画像処理機能を有する撮像装置での、動画撮影時のファイル記録動作およびゴミ除去処理ついて説明する。

図１３は、動画撮影時の動作を説明するためのフローチャートである。

まずステップＳ１４０１において、操作部７０によりライブビュー開始が選択されたか否かを判定する。ライブビュー開始が選択されるまでステップＳ１４０１の判定を繰り返す。ライブビュー開始が選択されると、ミラー１３０がミラーアップされ、シャッター１２が開かれ、撮像素子１４に光学像が結像する。

所定のフレームレートで撮像素子１４から出力されるアナログ信号は、Ａ／Ｄ変換器１６でデジタル信号に変換され、画像処理回路２０で所定の画素補間処理や色変換処理を行い、メモリ３０内のフレームメモリバッファへ格納される。

このとき、フレームレートに合わせて、カメラ本体１００からレンズユニット３００に対して各種光学情報（絞り、ズーム位置、瞳位置、焦点距離など）を要求する。レンズユニット３００からコネクタ１２２を介して送られてきた各種光学情報はフレームメモリバッファの各画像データに対応づけられて、光学情報格納メモリ５８に記憶される。

フレームメモリバッファへ格納された画像データは、再度読み出され、画像処理回路２０において表示用の画像データに変換されて画像表示メモリ２４へ格納される。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。これにより、画像表示部２８は、ライブビュー表示の状態（電子ビューファインダ動作）となる。

ステップＳ１４０２では、操作部７０により動画記録開始が選択されたか否かを判断する。選択されていなければステップＳ１４０１に戻って上記処理を繰り返す。一方、動画記録開始が選択されていれば、Ｓ１４０３へ進み、動画記録を開始する。

また、動画記録が開始されると、音声信号処理回路３３ではマイク（不図示）から入力された音声データを符号化し、符号化された音声データは、メモリ３０内の音声符号化データバッファへ一時保存される。一時保存された動画符号化データと、音声符号化データは時間経過とともに増加するので、所定のファイルフォーマットに成形され、随時インターフェース９０を介して記録媒体２００へ書き込まれる。

ステップＳ１４０４では、操作部７０により動画記録停止が選択されたか否かを判断する。動画記録停止が選択されなければ、ステップＳ１４０３に戻り、動画記録を継続する。また、動画記録停止が選択されれば、ステップＳ１４０５に進み、ライブビュー動作の停止が選択されたか否かを判断する。ライブビュー動作の停止が選択されなければ、ステップＳ１４０２に戻り、次の動画記録に備えて待機する。ライブビュー動作の停止が選択されれば、動画撮影のルーチンを終了する。

次に、動画ファイルの生成についての説明を行う。

動画撮影モード時に動画記録ボタンがＯＮされたことで、動画撮影が開始されると、まず新規ファイルを生成し、最初のフラグメントのメタデータのＢＯＸであるｍｏｏｖおよびメディアデータのＢＯＸであるｍｄａｔを作成する。

次に、ゴミ位置補正データを作成する。ゴミ位置補正データには、動画像撮影に使われるレンズのレンズ情報である絞り値、レンズの瞳位置情報、および図５に示したゴミ補正データが格納されている。なお、作成されたゴミ位置補正データは、メモリ５２に格納される。メモリ５２に格納されたゴミ位置補正データを読み込み、現在のフラグメントのメタデータｍｏｏｖ内に書きこむ。

（動画記録ルーチン）
図１４は、本実施形態における動画撮影時の１フレーム毎に行われる記録処理のフローチャートである。当該処理はシステム制御回路５０がメモリ５２に記憶された動画撮像処理プログラムを実行することにより実施される。

まず、ステップＳ１５０１で電子防振機能をＯＮとした状態で撮影されたかどうかの判断を行う。

ステップＳ１５０１の判断で、ＯＮとした状態で撮影されたと判断された場合には、ステップＳ１５０２へ進み、振動ジャイロなどの角速度センサの出力結果より揺れ量を検出する。

ステップＳ１５０１の判断で、ＯＦＦの状態で撮影されたと判断された場合には、ステップＳ１５０５へ進む。画像の切り出し位置は固定であるため、切り出し位置の動画データファイルへの記録は行わない。

ステップ１５０３では、揺れ量を打ち消すように切り出し位置補正量を演算し、撮像素子１４から画像信号を読み出す際に切り出し位置を補正する。

ステップＳ１５０４では、補正後の画像切り出し位置情報を動画データファイルへ記録する。切り出し位置情報は、図１６に示すように、撮像素子１４の画面全体における切り出し位置のＸ座標、Ｙ座標を記録する。或いは、図１７に示すように、ある基準とするフレームを設定し、その基準フレームの切り出し位置からのズレ量（差分量）を記録してもよい。ファイルへの記録は、画像切り出し位置情報を現在のフラグメントのメタデータｍｏｏｆ内に記録することによって行われる。

また、１つのフラグメントには複数のフレームの画像データが記録されるので、１つのフラグメントのメタデータｍｏｏｆ内に複数の切り出し位置情報が追加する形式で書き込まれていくことになる。そのため、切り出し位置情報とフレームを対応付けることができるように書き込む必要がある。

ステップＳ１５０５では、画像の符号化処理を行い、画像データを小さいデータ量に圧縮し、ステップＳ１５０６では、その圧縮した画像データをファイルへ記録する。

ステップＳ１５０１〜Ｓ１５０６の一連の処理は１フレーム分の画像記録を行う処理であるので、動画記録中は、一連の処理を繰り返し行う。

また図１４では、１フレームごとにステップＳ１５０１で電子防振のＯＮ／ＯＦＦを判断するようにしたが、これを動画撮影開始時に一度判断し、その時の結果を基に分岐を行ってもよい。

（ゴミ除去処理ルーチン）
続いて、電子防振システムを用いて撮影された動画像データからゴミの影響を取り除く画像処理について説明する。

このゴミ除去処理は、画像データに関連付けて記録媒体２００に記録されたゴミ補正データ（ゴミ情報）を用いてフレーム単位で行われること意外は、静止画の場合と同様に行われる。ゴミ補正データは、動画ファイルのｍｏｏｖに格納されている。しかし、ゴミ情報は１つしかないため、フレームごとにそれぞれ適応するゴミ情報に変換する必要がある。

図１５は、本実施形態における１フレーム分のゴミ除去処理の流れを示すフローチャートである。

ゴミ除去処理は、カメラ内で行ってもよいし、別途用意された画像処理装置を利用して行ってもよい。

本実施形態では、まずステップＳ１６０１で、ゴミ除去処理を行うフレームが電子防振ＯＮの状態で撮影された画像であるかどうかの判断を行う。

ステップＳ１６０１で、電子防振ＯＮの状態で撮影された画像であると判断された場合は、ステップＳ１６０２に進み、メタデータｍｏｏｆ内に記録されている、フレームの切り出し位置情報を取得する。

ステップＳ１６０１で、電子防振ＯＦＦの状態で撮影された画像であると判断された場合は、そのままゴミ補正処理を行う。

ステップＳ１６０３では、図１８に示すように、ステップＳ１６０２で取得した切り出し位置情報を基に切り出し位置の変化量を打ち消すようにゴミ位置座標の変換を行う。

そして、変換後のゴミ位置座標を用いてステップＳ１６０４でゴミ補正処理を行う。ここで行うゴミ補正処理とは、図８に示した一連の処理である。

このように本実施形態では、動画撮影時に電子防振がＯＮであった場合に、フレーム毎に画像の切り出し位置を動画ファイルへ記録していく。また、ゴミ除去処理を実施する際には、フレーム毎に記録された切り出し位置を用いてゴミ位置情報を変換してからゴミ除去処理を行う。

これにより、動画記録時に電子防振により手ブレを抑制した動画像に対しても、ゴミ除去処理を行うことが可能となる。

（第２の実施形態）
第２の実施形態に係るデジタルカメラの構成は、第１の実施形態と同様であるので説明を省略し、第１の実施形態と異なる動作のみについて説明する。

第２の実施形態では、画像切り出し位置情報をファイルへ記録する際に、切り出し位置の変化量がある閾値より大きい場合にのみ記録を行うという点で第１の実施形態と異なる。その閾値をＴＨとする。

図１９は、本実施形態における動画撮影時の１フレーム毎に行われる記録処理のフローチャートである。

図８に示した補間ルーチンの説明で既に述べたように、ゴミ領域判定には、円の中心座標Ｄｉを含む領域に幅を持たせることができるため、画像の切り出し位置の変化量が小さい場合には、記録をしておかなくてもゴミ除去処理を行うことができる。

そのため、ステップＳ１６０４で画像の切り出し位置の変化量が閾値ＴＨよりも大きい場合には、ステップＳ１６０５に進み画像の切り出し位置情報を動画ファイルへ記録する。

画像の切り出し位置の変化量が閾値ＴＨ以下（一定値以下）の場合には、画像の切り出し位置情報を動画ファイルへ記録しない。

しかし、全てのフレームの切り出し位置情報を記録しない場合には、フレームと切り出し位置情報の対応付けが必要となる。そのため、ステップＳ１６０５で切り出し位置情報の記録を行う際に、対応フレームを示す情報（例えば、そのトラックにおける先頭からの順番）を記録する必要がある。

本実施形態は、特に手ブレ量が小さいときに、データ量を少なくできるという利点と、ゴミ除去処理時にゴミ位置座標の変換処理が軽減されるという利点がある。

（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態における画像処理機能を有する撮像装置の構成を示すブロック図である。 ゴミ情報を取得する際の撮像装置（本実施形態ではデジタルカメラ）における処理を示すフローチャートである。 ゴミ情報取得時の設定パラメータ一覧を示す図である。 ゴミ領域サイズ算出の概要を示す図である。 ゴミ情報プロファイルの構造を示す図である。 本発明の一実施形態における通常撮影時の静止画像の撮影処理を示すフローチャートである。 ゴミ除去処理の動作を示すフローチャートである。 補間ルーチンの流れを示すフローチャートである。 揺れ補正手段の概要を説明するための図である。 揺れ補正手段による蓄積画像の切り出しについて説明するための図である。 ＭＰ４或いは類似のファイル形式におけるメタデータ、メディアデータの概念を説明する図である。 フラグメントムービーの概念を説明する図である。 動画撮影時の動作を説明するためのフローチャートである。 第１の実施形態における記録ルーチンの流れを説明する図である。 ゴミ除去処理ルーチンの流れを説明する図である。 撮像素子の画面全体における画像切り出し位置の記録について説明するための図である。 基準フレームとの差分量を用いた画像切り出し位置の記録について説明するための図である。 ゴミ位置座標の変換について説明するための図である。 第２の実施形態における記録ルーチンの流れを説明する図である。

Claims (7)

1. 被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて動画像データを生成する撮像手段と、
   前記撮像素子の前方に配置された光学素子に付着した異物の、少なくとも位置と大きさに関する情報を含む異物情報を記憶する記憶手段と、
   前記撮像素子の揺れ量を検出する検出手段と、
   前記検出手段により検出された前記撮像素子の前記揺れ量に応じて、前記撮像素子の画面全体からの画像の切り出し位置を制御する制御手段と、
   前記異物情報と前記切り出し位置の情報とを前記動画像データと関連付けて記録する記録手段と、
   を備えることを特徴とする撮像装置。
2. 前記切り出し位置の情報とは、撮像素子の画面全体におけるＸ座標とＹ座標であることを特徴とする請求項１に記載の撮像装置。
3. 前記切り出し位置の情報とは、ある基準となるフレームの画像の切り出し位置との差分量であることを特徴とする請求項１に記載の撮像装置。
4. 前記記録手段は、前記切り出し位置の差分量が一定値以下の場合には、前記切り出し位置の情報の記録を行わないことを特徴とする請求項３に記載の撮像装置。
5. 前記動画像データに関連付けて記録されている前記異物情報と前記切り出し位置の情報とを取得する取得手段と、前記異物情報を前記切り出し位置の情報に基づいて変換し、該変換された異物情報を用いて、前記動画像データにおける異物に対応する画素を補間処理する補間手段とをさらに備えることを特徴とする請求項１に記載の撮像装置。
6. 被写体像を光電変換する撮像素子を備え、該撮像素子からの出力信号に基づいて動画像データを生成する撮像手段を有する撮像装置を制御する方法であって、
   前記撮像素子の前方に配置された光学素子に付着した異物の、少なくとも位置と大きさに関する情報を含む異物情報を記憶する記憶工程と、
   前記撮像素子の揺れ量を検出する検出工程と、
   前記検出工程において検出された前記撮像素子の前記揺れ量に応じて、前記撮像素子の画面全体からの画像の切り出し位置を制御する制御工程と、
   前記異物情報と前記切り出し位置の情報とを前記動画像データと関連付けて記録する記録工程と、
   を備えることを特徴とする撮像装置の制御方法。
7. 請求項６に記載の制御方法をコンピュータに実行させるためのプログラム。

Images