JP5008380B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は画像処理装置及び画像処理方法に関し、特に、画像処理装置において画像を合成する技術に関する。

標準画質（ＳＤフォーマット）の動画に加えて、高画質（ＨＤフォーマット）の動画を撮像可能なビデオカメラが普及している。一般的に、ＳＤフォーマットの動画の表示アスペクト比は４：３であり、ＨＤフォーマットの動画の表示アスペクト比は１６：９であるが、近年、表示アスペクト比が１６：９のＳＤフォーマットの動画を撮像可能なビデオカメラも登場している。

このようなビデオカメラが撮像したＳＤフォーマットの動画を液晶ディスプレイなどの表示装置に表示する場合を考える。この場合、ビデオカメラは、図３及び図４に示す画像処理により、入力画像信号（撮像素子から出力される画像信号）を表示装置に対する出力用のビデオ信号に変換してビデオメモリに格納する。そして、表示装置へ出力する。尚、ビデオ信号の規格にはＮＴＳＣ規格やＰＡＬ規格などの複数の規格が存在するが、ここではＮＴＳＣ規格として説明する。

また、近年、動画に加えて静止画を撮像可能なビデオカメラも登場している。このようなビデオカメラが撮像した静止画を表示装置に表示する場合を考える。この場合、ビデオカメラは、入力画像としてメモリカードなどの記憶媒体から静止画を取得し、図５及び図６に示す画像処理により、入力画像信号を表示装置に対する出力用のビデオ信号に変換してビデオメモリに格納する。そして、表示装置へ出力する。

図３は、表示アスペクト比が１６：９の動画のための画像処理を示す図である。入力画像３０１の画素数は、撮像素子の設計に依存するが、例えばフルハイビジョン用の撮像素子は横１９２０画素×縦１０８０画素である。ＮＴＳＣ規格のビデオ信号の画像３０２は、横７２０画素×縦４８０画素であるので、ビデオカメラは、入力画像信号の画素数をこの画素数にリサイズ（変倍）してビデオメモリに格納し、表示装置へ出力する。表示装置のアスペクト比を４：３とする（説明を簡単にするため、７２０：５２０として図示する）と、表示装置は、ビデオ信号に基づいて生成した７２０：４０５（１６：９）の表示画像３０３を表示する。このとき、表示装置のアスペクト比が表示画像３０３のアスペクト比と異なるため、表示画像３０３の上下にはレターボックスと呼ばれる黒帯が表示される。ここで、横７２０画素×縦４８０画素のビデオ信号がレターボックスを含めて７２０：５２０という表示アスペクト比に変換されるのは、ＮＴＳＣ規格の性質によるものである。

図４は、表示アスペクト比が４：３の動画のための画像処理を示す図である。基本的な処理は図３の場合と同様であるが、表示装置のアスペクト比と表示画像４０３のアスペクト比が一致しているため、レターボックスは表示されない。

図５は、表示アスペクト比が１６：９の静止画のための画像処理を示す図である。動画の場合（図３参照）と異なり、ビデオカメラは入力画像５０１の画素数を横７２０画素×縦３６０画素にリサイズし、上下にレターボックスを付加して横７２０画素×縦４８０画素としたビデオ信号をビデオメモリに格納する。

図６は、表示アスペクト比が４：３の静止画のための画像処理を示す図である。基本的な処理は図５の場合と同様であるが、表示装置のアスペクト比と表示画像６０３のアスペクト比が一致しているため、ビデオ信号６０２にはレターボックスは付加されない。

上述のように、同じアスペクト比の入力画像であっても、動画と静止画とでは異なる形式でビデオ信号に変換される理由は、次のとおりである。ビデオカメラは、表示アスペクト比の情報を付加した動画のビデオ信号を出力することができる。そのため、表示装置は、横７２０画素×縦４８０画素のビデオ信号を、付加された表示アスペクト比の表示画像に変換し、必要に応じて表示画像にレターボックスを付加することができる。一方、ビデオカメラは、静止画のビデオ信号には表示アスペクト比の情報を付加しない。そのため、表示装置は、入力されたビデオ信号をそのまま（厳密には、ＮＴＳＣ規格に従うサイズ変換のみを行って）表示するしかない。そこで、ビデオカメラは、静止画をビデオメモリに格納する際に、正しいアスペクト比で表示装置が画像を表示できるように、必要に応じてリサイズしたビデオ信号を生成する。

ところで、現在、キーイング（例えばクロマキーやルミキー）などにより、内蔵メモリやメモリカードに記録された静止画と撮像中の動画とを合成して出力する機能を有するビデオカメラも知られている（例えば、特許文献１参照）。図７は、キーイングによる画像合成処理の一例を示す図である。
特開２００３−１１６０９３号公報

図７に示したように、入力される動画及び静止画それぞれの表示アスペクト比、及び表示装置のアスペクト比が等しい場合は、従来の技術により画像合成処理を行っても特段の問題は生じなかった。

しかしながら、入力される動画及び静止画それぞれの表示アスペクト比、及び表示装置のアスペクト比の関係によっては、表示画像における静止画の部分の表示アスペクト比が入力される静止画の元の表示アスペクト比から変化してしまう場合があった。

図８は、従来の画像合成処理において発生し得る問題を示す図である。静止画である入力画像５０１は、図５を参照して説明したように、表示装置での表示を考慮したサイズ変換がなされてビデオメモリに格納される。ビデオカメラは、ビデオ信号の画像３０２とビデオ信号５０２とを合成してビデオ信号８０１を生成し、表示アスペクト比が１６：９であるという情報を付加して表示装置へ出力する。表示画像は、表示アスペクト比の情報に基づいてビデオ信号から表示画像を生成するため、図５に示す場合と異なり、静止画の部分も改めてリサイズする。その結果、表示画像８０２において、入力画像５０１に対応する部分のアスペクト比が元の１６：９よりも更に横長になり、画像が歪む。

本発明はこのような状況に鑑みてなされたものである。即ち、合成対象の動画データ及び静止画データそれぞれの表示アスペクト比、及び表示装置のアスペクト比の関係がいかなるものであっても、合成画像を表示する際に合成対象の静止画に相当する部分が歪まないようにする技術を提供することを目的とする。

上記課題を解決するために、本発明は、静止画像信号と動画像信号を合成する画像処理装置であって、前記動画像信号に係る画像の画素数の情報、及び当該動画像信号に係る画像を表示する際の表示サイズの情報を取得する動画像情報取得手段と、前記動画像情報取得手段により取得された前記動画像信号の画素数の情報及び表示サイズの情報に基づいて、前記動画像信号に係る画像を表示する際の水平方向の表示サイズと垂直方向の表示サイズとの比率である表示アスペクト比と、前記動画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である動画アスペクト比との比率である変形率を取得する変形率取得手段と、前記静止画像信号に係る画像を変倍する変倍手段であって、変倍前の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第１静止画アスペクト比と、変倍後の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第２静止画アスペクト比との比率が前記変形率と一致するように、前記静止画像信号に係る画像を変倍する変倍手段と、前記動画像信号を前記変倍後の静止画像信号と合成し、前記表示アスペクト比の情報と共に出力する合成手段と、を備えることを特徴とする画像処理装置を提供する。

また、他の本発明は、静止画像信号と動画像信号を合成する画像処理方法であって、前記動画像信号に係る画像の画素数の情報、及び当該動画像信号に係る画像を表示する際の表示サイズの情報を取得する動画像情報取得工程と、前記動画像情報取得工程において取得された前記動画像信号の画素数の情報及び表示サイズの情報に基づいて、前記動画像信号に係る画像を表示する際の水平方向の表示サイズと垂直方向の表示サイズとの比率である表示アスペクト比と、前記動画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である動画アスペクト比との比率である変形率を取得する変形率取得工程と、前記静止画像信号に係る画像を変倍する変倍工程であって、変倍前の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第１静止画アスペクト比と、変倍後の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第２静止画アスペクト比との比率が前記変形率と一致するように、前記静止画像信号に係る画像を変倍する変倍工程と、前記動画像信号を前記変倍後の静止画像信号と合成し、前記表示アスペクト比の情報と共に出力する合成工程と、を備えることを特徴とする画像処理方法を提供する。

尚、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、次の効果が得られる。即ち、合成対象の動画データ及び静止画データそれぞれの表示アスペクト比、及び表示装置のアスペクト比の関係がいかなるものであっても、合成画像を表示する際に合成対象の静止画に相当する部分が歪まないようにすることが可能となる。

以下、添付図面を参照して、本発明の実施形態を説明する。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。

尚、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

また、以下の各実施形態では、ビデオカメラを本発明の画像処理装置として説明するが、撮像機能を持たない他の画像処理装置（例えばＰＣ（パーソナルコンピュータ）など）にも本発明を適用可能である。

［第１の実施形態］
＜ビデオカメラ１００の構成＞
図１は、第１の実施形態に係るビデオカメラの構成を示すブロック図である。

ビデオカメラ１００のＣＰＵ１０２は、バス１０１を介してＲＡＭ１０３、ＲＯＭ１０４、操作部１０５、カメラ信号処理部１１１、レコーダ信号処理部１２１と接続されている。ＣＰＵ１０２は、ＲＯＭ１０４に格納されている制御プログラムを実行し、実行時の一時的な情報の格納場所としてＲＡＭ１０３を用いる。

ビデオカメラ１００は、図示しないモードダイヤルやシャッタボタン、十字キーといった操作キーも備える。ユーザによるキー操作の状態は、操作部１０５で保持され、ＣＰＵ１０２の制御プログラムはキー操作の状態を定期的に操作部１０５から取得する。ユーザは、キー操作によって、出力するビデオ信号のフォーマットの選択や、動画撮像時に合成する静止画の選択、動画と静止画の合成の指示などを行うことができる。ビデオ信号のフォーマットには、ＳＤフォーマットやＨＤフォーマットなどがあり、ＳＤフォーマットについては、表示アスペクト比が１６：９のフォーマットや４：３のフォーマットなどがある。

ＣＰＵ１０２の制御プログラムは、取得したキー操作の状態に基づき、カメラ信号処理部１１１と、レコーダ信号処理部１２１とを制御して、後述する画像合成処理を実行する。

図１において、１４１〜１４６はビデオカメラ１００の撮像部の構成要素である。フォーカスレンズ１４１を通過した光は、撮像素子１４２の撮像面上に結像する。撮像素子１４２には、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）が使用される。撮像素子１４２は、撮像面の光学像を電気信号に変換する。ドライバ１４５は、ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１４６の発生する基準クロックに従い、撮像素子１４２を駆動する。ドライバ１４５に駆動された撮像素子１４２は、画像信号を読み出す。ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）／ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路１４３は、撮像素子１４２からの画像信号をサンプル・ホールドし、制御プログラムの制御に従って最適な利得に増幅する。Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器１４４は、ＣＤＳ／ＡＧＣ回路１４３のアナログ信号を基準クロックに同期したデジタル信号に変換する。

カメラ信号処理部１１１は、制御プログラムの制御に基づき動作するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）である。カメラ信号処理部１１１は、信号処理の対象である画像信号やメモリカード１１３に読み書きするデータなどの一時的な格納場所として、ＲＡＭ１１２を用いる。カメラ信号処理部１１１は、動画又は静止画の撮像時には、シリアルＩ／Ｆで接続されたＴＧ１４６、ＣＤＳ／ＡＧＣ回路１４３に対して動作設定を行う。更に、Ａ／Ｄ変換器１４４から入力される画像信号に対して、ユーザが選択したビデオ信号のフォーマットに従った信号処理を行って、得られたビデオ信号をレコーダ信号処理部１２１に出力する。また、静止画の撮像時には、カメラ信号処理部１１１は、入力画像信号に対して信号処理とＪＰＥＧ符号化とを行い、得られたＪＰＥＧファイルをメモリカード１１３に記録する。

また、動画の再生時には、カメラ信号処理部１１１は、レコーダ信号処理部１２１よりビデオ信号を受け取り、そのフォーマットに従った信号処理を行ってレコーダ制御部１２１にビデオ信号を返す。また、静止画の再生時には、カメラ信号処理部１１１は、メモリカード１１３よりＪＰＥＧファイルを読み出し、復号化と、ユーザが選択したビデオ信号のフォーマットに従った信号処理を行って、得られたビデオ信号をレコーダ信号処理部１２１に出力する。

レコーダ信号処理部１２１は、制御プログラムの制御に基づき動作するＡＳＩＣである。レコーダ信号処理部１２１は、信号処理における一時的な画像信号の格納場所としてＲＡＭ１２２を用いる。レコーダ信号処理部１２１は、動画又は静止画の撮像時、及び静止画の再生時に、カメラ信号処理部１１１よりビデオ信号を受け取る。そして、ユーザが選択したビデオ信号のフォーマットに従った信号処理を行い、ビデオカメラ１００の表示装置であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１２４に出力する。また、ビデオ出力部１２５にビデオ信号を出力し、ビデオ出力部１２５に接続された外部の表示装置に画像を表示することもできる。

また、レコーダ信号処理部１２１は、動画の撮像時に、カメラ信号処理部１１１から受け取ったビデオ信号に対して、ユーザが選択したフォーマットに従った符号化を行い、得られた符号化データをテープ１２３に記録することもできる。また、レコーダ信号処理部１２１は、動画の再生時に、テープ１２３より符号化データを読み出し、記録時のフォーマットに従った復号化を行い、得られたビデオ信号をカメラ信号処理部１１１に出力する。そして、カメラ信号処理部１１１より返されたビデオ信号を受け取り、信号処理を行ってＬＣＤ１２４と、ビデオ出力部１２５とに出力する。

＜画像合成処理の概要＞
図２は、カメラ信号処理部１１１の詳細な構成を示すブロック図である。以下、図２の各ブロックの機能を説明すると共に、本実施形態に係る画像合成処理の概要を説明する。

まず、ユーザが操作キー（不図示）を操作して、合成対象の静止画をメモリカード１１３に記録されている画像ファイル（例えばＪＰＥＧファイル）から選択する。すると、メモリカードコントローラ２０６は、選択された画像ファイル（ここでは、ＪＰＥＧファイル２１４とする）をメモリカード１１３から読み出し、メモリコントローラ２０１を介してＲＡＭ１１２に記憶する。

ここで、カメラ信号処理部１１１の各ブロック２０２〜２０６は、ＲＡＭ１１２にアクセスする場合、メモリコントローラ２０１を介してアクセスを行う。

ＪＰＥＧコーデック部２０５は、ＲＡＭ１１２に記憶されたＪＰＥＧファイル２１４のうち、静止画データ（静止画像信号）をＲＡＭ１１２より読み出して復号化し、復号した静止画データ２１３をＲＡＭ１１２に書き戻す。

次に、リサイズ部２０３は、静止画データ２１３をＲＡＭ１１２より読み出し、ユーザが選択したビデオ信号のフォーマットに基づいて決定される解像度にリサイズして静止画データ２１２を生成し、ＲＡＭ１１２に書き戻す。このとき、ＲＡＭ１１２は、ビデオメモリとして使用されている。静止画データ２１２の解像度をビデオ信号のフォーマットに基づいて決定することは、本願のポイントであり、詳細は図９及び図１０を参照して後述する。

リサイズされた静止画データ２１２が合成対象の静止画データとしてＲＡＭ１１２に展開された後、カメラ信号処理部１１１は、次のように動作する。即ち、カメラ信号処理部１１１は、Ａ／Ｄ変換器１４４より入力される動画データ（動画像信号）と、静止画データ２１２とを合成してレコーダ信号処理部１２１へ出力する。即ち、カメラ信号処理部１１１の画像処理部２０２は、Ａ／Ｄ変換器１４４からフレーム（もしくはフィールド）毎に入力される画像信号に対して、ホワイトバランス補正やγ補正といった周知の信号処理を行う。そして、動画データ２１０をフレーム（もしくはフィールド）毎にＲＡＭ１１２に書き出す。

次に、リサイズ部２０３は、ＲＡＭ１１２より動画データ２１０のフレーム（もしくはフィールド）を読み出し、ユーザが選択したビデオ信号のフォーマットに基づいて決定される解像度にリサイズして動画データ２１１を生成し、ＲＡＭ１１２に書き戻す。このとき、ＲＡＭ１１２は、ビデオメモリとして使用されている。また、動画データ２１１は、１枚のフレーム（もしくはフィールド）であるので、静止画データと同一視して扱うことが可能である。

次に、合成部２０４は、ＲＡＭ１１２より動画データ２１１と静止画データ２１２とを読み出し、キーイング（クロマキーやルミキーなど）などの画像合成処理を行う。そして、得られた合成画像のビデオ信号をフレーム（もしくはフィールド）毎にレコーダ信号処理部１２１に出力する。

レコーダ信号処理部１２１は、入力されたビデオ信号を、ユーザが選択したビデオ信号のフォーマットに基づいて決定される表示アスペクト比の情報と共に、ＬＣＤ１２４に出力する。その結果、ユーザは合成画像をＬＣＤ１２４上で確認できる。また、表示アスペクト比の情報とビデオ信号は、ビデオ出力部１２５に出力され、外部の表示装置が接続されている場合にはその画面上にも、合成画像が表示される。

＜画像合成処理の詳細＞
図９は、動画データの記録フォーマット毎の、入力画像の画素数、ビデオ信号の解像度（画素数）、表示アスペクト比、及び変形率を示す図である。ここで、表示アスペクト比は、「１６：９」のような形式ではなく、（水平方向の表示サイズ／垂直方向の表示サイズ）によって得られる値として表現されている。

まず、変形率について、表示アスペクト比が１６／９でＮＴＳＣ規格のＳＤフォーマットの動画を例に、図３を併せて参照して説明する。

図３に示すように、表示画像３０３の表示サイズは７２０×４０５（１６：９）であり、ビデオ信号の画像３０２の解像度は７２０×４８０（３：２）である。従って、仮にビデオ信号の１画素の表示サイズを１×１とすると、動画データの表示アスペクト比（１６／９）から変形したアスペクト比（３／２）でビデオ信号がビデオメモリ（ＲＡＭ１１２）に格納されていることになる。この変形の度合いを、本実施形態では変形率と呼び、（１６／９）／（３／２）＝３２／２７となる。これは、ビデオ信号における３２画素×３２画素の領域を、３２×２７の表示サイズで表示すれば、正しい表示アスペクト比（１６／９）になることを意味する。即ち、変形率は、（動画の水平方向の表示サイズを垂直方向の表示サイズで除算した値である表示アスペクト比）を（ビデオ信号の水平方向の画素数を垂直方向の画素数で除算した値である動画アスペクト比）で除算することにより求まる。

ここで、ビデオ信号は、撮像素子１４２により取得された画像信号から生成されたものであってもよいし、テープ１２３から取得されたものであってもよい。前述のように、静止画データと合成する動画データは、記録フォーマットに基づいてリサイズされた動画データであるため、入力画像ではなくビデオ信号の画像が合成対象の動画である。図９において、入力画像信号の画素数は撮像素子１４２の設計に依存するが、記録フォーマットさえ決まれば、ビデオ信号の解像度が定まり、変形率も計算可能である。

動画像信号を記録媒体に記録する際の代表的な記録フォーマットは、図９に示す通り、ＮＴＳＣ規格のＨＤフォーマット、ＰＡＬ規格のＨＤフォーマット、又はＮＴＳＣ規格で表示アスペクト比が１６／９のＳＤフォーマットである。或いは、ＮＴＳＣ規格で表示アスペクト比が４／３のＳＤフォーマット、ＰＡＬ規格で表示アスペクト比が１６／９のＳＤフォーマット、又はＰＡＬ規格で表示アスペクト比が４／３のＳＤフォーマットである。しかし、記録フォーマットは、図９に示したものに限られる必要は無く、１６／９や４／３以外の表示アスペクト比や、図９に示したビデオ信号の解像度以外の解像度の記録フォーマットが使用されても構わない。

ただし、現在普及しているビデオカメラの多くは、ＮＴＳＣ規格又はＰＡＬ規格に準拠しており、この規格は、ビデオカメラの設計時に決定されるものであり、ユーザが選択することはできない。また、ユーザは、記録フォーマットとしてＨＤフォーマット又はＳＤフォーマットを選択可能であり、ＳＤフォーマットでは表示アスペクト比として１６／９又は４／３のいずれかを選択可能である。

図１０は、第１の実施形態に係る画像合成処理の流れを示すフローチャートである。

ステップＳ１００１で、カメラ信号処理部１１１は、合成対象の静止画データをメモリカード１１３から取得して復号化し、静止画データ２１３としてＲＡＭ１１２に格納する。ここで、取得した静止画データに係る画像の画素数を（ｘ，ｙ）とする。また、静止画データの変形率は１である（すなわち、静止画データの表示アスペクト比と（ｘ／ｙ）とは一致する）ものとする。

ステップＳ１００２で、カメラ信号処理部１１１は、合成対象の動画データの記録フォーマットを取得する。画素数は、例えば記録フォーマットから取得される。合成対象の動画データが、撮像素子１４２などによりこれから撮像する動画データであれば、記録フォーマットは、ビデオカメラ１００の操作キー（不図示）などにより設定されるので、カメラ信号処理部１１１は操作キーから記録フォーマットを取得できる。一方、合成対象の動画データがテープ１２３から取得される場合は、カメラ信号処理部１１１は、記録されている動画データのヘッダ情報などから記録フォーマットを取得できる。

ステップＳ１００３で、カメラ信号処理部１１１は、記録フォーマットに基づいて決定されるビデオ信号の解像度（Ｘ，Ｙ）を取得する（図９参照）。

尚、カメラ信号処理部１１１は、記録フォーマットを使用せずに、ビデオ信号を直接解析するなどして解像度（Ｘ，Ｙ）を取得してもよい。

ステップＳ１００４で、カメラ信号処理部１１１は、記録フォーマットに基づいて決定される、動画データの変形率（ａ）を取得する（図９参照）。変形率（ａ）は、図９のようなテーブルから直接取得されてもよいし、（表示アスペクト比）／（Ｘ／Ｙ）により算出されてもよい。表示アスペクト比は、例えば記録フォーマットから得られるが、記録フォーマット以外の動画データに関する情報から取得されてもよい。

ステップＳ１００３及びステップＳ１００４において記録フォーマットが使用されない場合は、ステップＳ１００２では、カメラ信号処理部１１１は、記録フォーマットの代わりに使用される動画データに関する情報を取得する。即ち、ステップＳ１００２においては、動画像情報取得（動画データの画素数や表示サイズなどの情報の取得）が行われる。

ステップＳ１００５で、カメラ信号処理部１１１は、（ｘ／ｙ）＞ａ（Ｘ／Ｙ）であるか否かを判定する。この判定は、静止画が動画よりも横長であるか否かを判定するものである。（ｘ／ｙ）＞ａ（Ｘ／Ｙ）であればステップＳ１００６に進み、そうでなければステップＳ１００７に進む。

ステップＳ１００６で、カメラ信号処理部１１１は、静止画データ２１３をリサイズして静止画データ２１２を生成するための倍率を算出する。ここでは、静止画が動画よりも横長であるので、静止画の水平方向の解像度が動画の水平方向の解像度と一致するように倍率を求める。具体的には、水平方向の倍率ｐを（Ｘ／ｘ）とし、垂直方向の倍率ｑをａｐとする。

一方、ステップＳ１００７では、静止画が動画よりも縦長であるので、静止画の垂直方向の解像度が動画の垂直方向の解像度と一致するように倍率を求める。具体的には、垂直方向の倍率ｑをＹ／ｙとし、水平方向の倍率ｐをｑ／ａとする。

このように、ステップＳ１００６及びＳ１００７いずれの場合でも、垂直方向の倍率は、水平方向の倍率に変形率（ａ）を乗じた値である。また、ここでの処理は、前述の「静止画データ２１２の解像度をビデオ信号のフォーマットに基づいて決定すること」に相当する。

ステップＳ１００８で、カメラ信号処理部１１１は、ステップＳ１００６又はＳ１００７で求めた倍率で静止画データ２１３をリサイズ（変倍）し、静止画データ２１２を生成する。

ステップＳ１００９で、カメラ信号処理部１１１は、静止画データ２１２と動画データ２１１とを合成し、表示アスペクト比の情報と共に、レコーダ信号処理部１２１を介してＬＣＤ１２４及びビデオ出力部１２５へ出力する。ここで、動画データ２１１は、現在で撮像中の動画データから生成されたものでもよいし、テープ１２３から取得されたのもでもよい。また、カメラ信号処理部１１１は、合成した画像を表示アスペクト比の情報と共に、レコーダ信号処理部１２１を介してテープ１２３へ出力（記録）してもよい。

図１１乃至図１４は、第１の実施形態に係る画像合成処理の実行例を示す図である。もちろん、入力される動画データは、ここに例示する記録フォーマットを含む、あらゆる記録フォーマットで構わない。また、入力される静止画データは、水平方向と垂直方向の画素数がそれぞれいかなる値でも構わない。また、動画データがテープ１２３から取得される場合は、入力画像３０１などは存在せず、ビデオ信号１１０１などが直接、合成対象の動画データとして取得される。いずれの例でも、動画データはＮＴＳＣ規格のＳＤフォーマットとし、各パラメータは、以下の通りである。ただし、合成画像の表示サイズは、（水平方向，垂直方向）の比率を示すのみであり、実際のサイズは表示装置の構成に依存する。ここでは、最大の表示サイズを（７２０，５４０）としているが、例えば、（６４０，４８０）でも構わない。

図１１：（Ｘ，Ｙ）＝（ ７２０， ４８０）
（ｘ，ｙ）＝（１９２０，１０８０）
ａ＝３２／２７、ｐ＝３／８、ｑ＝４／９
（リサイズ後の静止画の画素数）＝（７２０，４８０）
（合成画像の表示サイズ）＝（７２０，４０５）
（合成画像における静止画領域の表示サイズ）＝（７２０，４０５）
図１２：（Ｘ，Ｙ）＝（ ７２０， ４８０）
（ｘ，ｙ）＝（１４４０，１０８０）
ａ＝８／９、ｐ＝１／２、ｑ＝４／９
（リサイズ後の静止画の画素数）＝（７２０，４８０）
（合成画像の表示サイズ）＝（７２０，５４０）
（合成画像における静止画領域の表示サイズ）＝（７２０，５４０）
図１３：（Ｘ，Ｙ）＝（ ７２０， ４８０）
（ｘ，ｙ）＝（１４４０，１０８０）
ａ＝３２／２７、ｐ＝３／８、ｑ＝４／９
（リサイズ後の静止画の画素数）＝（５４０，４８０）
（合成画像の表示サイズ）＝（７２０，４０５）
（合成画像における静止画領域の表示サイズ）＝（５４０，４０５）
図１４：（Ｘ，Ｙ）＝（ ７２０， ４８０）
（ｘ，ｙ）＝（１９２０，１０８０）
ａ＝８／９、ｐ＝３／８、ｑ＝１／３
（リサイズ後の静止画の画素数）＝（７２０，３６０）
（合成画像の表示サイズ）＝（７２０，５４０）
（合成画像における静止画領域の表示サイズ）＝（７２０，４０５）

このように、いかなる場合であっても、入力される静止画データの表示アスペクト比と、表示される合成画像における静止画に対応する領域のアスペクト比とが一致するため、表示される合成画像において静止画が歪むことがない。

図１５は、図１０の変形例を示すフローチャートである。図１０との違いは、ステップＳ１５０５において、静止画が動画よりも縦長である場合にステップＳ１００６に進み、そうでない場合にステップＳ１００７に進むことである。図１０に従う画像合成処理では、入力された静止画データがビデオメモリの解像度（ＮＴＳＣ規格のＳＤフォーマットでは、７２０×４８０）からはみ出さないようにリサイズされた。しかし、ステップＳ１５０５により、図１５に従う画像合成処理では、入力された静止画データがビデオメモリ全体に広がり、レターボックスが発生しないようにリサイズされる。

図１０及び図１５の画像合成処理では、いずれの場合も、静止画データの水平方向又は垂直方向をビデオメモリの解像度に一致させるように、入力された静止画データがリサイズされる。しかし、ステップＳ１００８のリサイズにおいて、垂直方向の倍率が、水平方向の倍率に変形率（ａ）を乗じた値であれば、いかなる倍率を用いても、表示される合成画像において静止画が歪むことが防止される。

図１６及び図１７は、図１５の画像合成処理の実行例を示す図である。図１０の場合と同様に、各パラメータを示す。
図１６：（Ｘ，Ｙ）＝（ ７２０， ４８０）
（ｘ，ｙ）＝（１４４０，１０８０）
ａ＝３２／２７、ｐ＝１／２、ｑ＝１６／２７
（リサイズ後の静止画の画素数）＝（７２０，６４０） ただし、垂直方向はビデオメモリからはみ出すため、実際には（７２０，４８０）
（合成画像の表示サイズ）＝（７２０，４０５）
（合成画像における静止画領域の表示サイズ）＝（７２０，５４０） ただし、垂直方向はビデオメモリに格納される際に一部が失われているため、実際には（７２０，４０５）
図１７：（Ｘ，Ｙ）＝（ ７２０， ４８０）
（ｘ，ｙ）＝（１９２０，１０８０）
ａ＝８／９、ｐ＝１／２、ｑ＝４／９
（リサイズ後の静止画の画素数）＝（９６０，４８０） ただし、水平方向はビデオメモリからはみ出すため、実際には（７２０，４８０）
（合成画像の表示サイズ）＝（７２０，５４０）
（合成画像における静止画領域の表示サイズ）＝（９６０，５４０） ただし、垂直方向はビデオメモリに格納される際に一部が失われているため、実際には（７２０，５４０）

このように、いかなる場合であっても、入力される静止画データの表示アスペクト比と、表示される合成画像における静止画に対応する領域のアスペクト比とが一致するため、表示される合成画像において静止画が歪むことがない。ただし、図１０に従う画像合成処理とは異なり、合成画像において、静止画に対応する領域の一部が切れている。

また、前述の通り、いかなるアスペクト比の表示装置に合成画像を表示しても、本実施形態の画像合成処理によれば、表示される合成画像における静止画に対応する領域のアスペクト比とが一致するため、表示される合成画像において静止画が歪むことがない。図１８及び図１９を参照して、表示装置のアスペクト比が１６：９である場合の画像合成処理の実行例を示す。

図１８及び図１９から明らかなように、合成画像をどのように表示するかは、ビデオ信号に付加された表示アスペクト比の情報に基づいて表示装置が決定することであるため、画像合成処理自体は、それぞれ図１１及び図１２と同じである。

このように、表示装置のアスペクト比に関わらず、入力される静止画データの表示アスペクト比と、表示される合成画像における静止画に対応する領域のアスペクト比とが一致するため、表示される合成画像において静止画が歪むことがない。

以上説明したように、本実施形態によれば、ビデオカメラ１００は静止画データと動画データを合成して、表示アスペクト比の情報と共に出力する。ビデオカメラ１００は、静止画データをビデオメモリ（ＲＡＭ１１２）に格納する際に、動画データの変形率に基づいて決定した倍率で静止画データに係る画像をリサイズする。

これにより、表示装置に表示される合成画像における、合成対象の静止画に相当する部分は、合成対象の静止画のアスペクト比と一致し、歪むことがなくなる。

尚、本実施形態では、（変形率）＝（動画の表示アスペクト比）／（動画（ビデオ信号）の動画アスペクト比）と定義したが、これに限られるものではない。例えば、分子と分母を逆転させ、（変形率）＝（動画（ビデオ信号）の動画アスペクト比）／（動画の表示アスペクト比）と定義してもよい。この場合、図１０及び図１５のステップＳ１００６及びステップＳ１００７では、変形率ａの逆数（１／ａ）が用いられる。換言すれば、変形率とは、動画の表示アスペクト比と動画アスペクト比との不一致の度合いを示す比率である。そして、図１０及び図１５のステップＳ１００６及びステップＳ１００７において、変倍後の静止画のアスペクト比と変倍前の静止画のアスペクト比との不一致の度合いが、動画の変形率と一致するように、静止画が変倍される。

［その他の実施形態］
上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供してもよい。そして、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

第１の実施形態に係るビデオカメラの構成を示すブロック図である。 カメラ信号処理部１１１の詳細な構成を示すブロック図である。 表示アスペクト比が１６：９の動画データのための画像処理を示す図である。 表示アスペクト比が４：３の動画データのための画像処理を示す図である。 表示アスペクト比が１６：９の静止画データのための画像処理を示す図である。 表示アスペクト比が４：３の静止画データのための画像処理を示す図である。 キーイングによる画像合成処理の一例を示す図である。 従来の画像合成処理において発生し得る問題を示す図である。 動画データの記録フォーマット毎の、入力画像の画素数、ビデオ信号の解像度（画素数）、表示アスペクト比、及び変形率を示す図である。 第１の実施形態に係る画像合成処理の流れを示すフローチャートである。 第１の実施形態に係る画像合成処理の実行例を示す図である。 第１の実施形態に係る画像合成処理の実行例を示す図である。 第１の実施形態に係る画像合成処理の実行例を示す図である。 第１の実施形態に係る画像合成処理の実行例を示す図である。 図１０の変形例を示すフローチャートである。 図１５の画像合成処理の実行例を示す図である。 図１５の画像合成処理の実行例を示す図である。 表示装置のアスペクト比が１６：９である場合の、第１の実施形態に係る画像合成処理の実行例を示す図である。 表示装置のアスペクト比が１６：９である場合の、第１の実施形態に係る画像合成処理の実行例を示す図である。

Claims (10)

1. 静止画像信号と動画像信号を合成する画像処理装置であって、
   前記動画像信号に係る画像の画素数の情報、及び当該動画像信号に係る画像を表示する際の表示サイズの情報を取得する動画像情報取得手段と、
   前記動画像情報取得手段により取得された前記動画像信号の画素数の情報及び表示サイズの情報に基づいて、前記動画像信号に係る画像を表示する際の水平方向の表示サイズと垂直方向の表示サイズとの比率である表示アスペクト比と、前記動画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である動画アスペクト比との比率である変形率を取得する変形率取得手段と、
   前記静止画像信号に係る画像を変倍する変倍手段であって、変倍前の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第１静止画アスペクト比と、変倍後の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第２静止画アスペクト比との比率が前記変形率と一致するように、前記静止画像信号に係る画像を変倍する変倍手段と、
   前記動画像信号を前記変倍後の静止画像信号と合成し、前記表示アスペクト比の情報と共に出力する合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記変形率は、前記動画像信号に係る画像の水平方向の表示サイズを垂直方向の表示サイズで除算した値である表示アスペクト比を、前記動画像信号に係る画像の水平方向の画素数を垂直方向の画素数で除算した値である動画アスペクト比で除算した値であり、
   前記変倍手段は、前記静止画像信号に係る画像の画素数に関して、水平方向の倍率を第１倍率とし、垂直方向の倍率を、前記第１倍率に前記変形率を乗じた値として、前記静止画像信号に係る画像を変倍する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記変倍手段は、前記静止画像信号に係る画像の水平方向の画素数が、前記動画像信号に係る画像の水平方向の画素数と一致するか、或いは前記静止画像信号に係る画像の垂直方向の画素数が、前記動画像信号に係る画像の垂直方向の画素数と一致するように前記静止画像信号に係る画像を変倍することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記合成手段は、キーイングにより前記合成を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、合成した画像を記憶装置及び表示装置のうちの少なくとも一方に出力することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 記録媒体から再生された前記動画像信号を取得する動画像信号取得手段を更に備え、前記動画像情報取得手段は、前記記録媒体に対する前記動画像信号の記録フォーマットを示す記録フォーマット情報を用いて前記動画像信号に係る画像の画素数の情報を取得することを特徴とする請求項１に記載の画像処理装置。
7. 前記記録フォーマットの情報は、前記動画像信号のフォーマットが、
   ＮＴＳＣ規格のＨＤフォーマット、
   ＰＡＬ規格のＨＤフォーマット、
   ＮＴＳＣ規格で表示アスペクト比が１６／９のＳＤフォーマット、
   ＮＴＳＣ規格で表示アスペクト比が４／３のＳＤフォーマット、
   ＰＡＬ規格で表示アスペクト比が１６／９のＳＤフォーマット、及び
   ＰＡＬ規格で表示アスペクト比が４／３のＳＤフォーマット
   のうちのいずれであるかを示すことを特徴とする請求項６に記載の画像処理装置。
8. 静止画像信号と動画像信号を合成する画像処理方法であって、
   前記動画像信号に係る画像の画素数の情報、及び当該動画像信号に係る画像を表示する際の表示サイズの情報を取得する動画像情報取得工程と、
   前記動画像情報取得工程において取得された前記動画像信号の画素数の情報及び表示サイズの情報に基づいて、前記動画像信号に係る画像を表示する際の水平方向の表示サイズと垂直方向の表示サイズとの比率である表示アスペクト比と、前記動画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である動画アスペクト比との比率である変形率を取得する変形率取得工程と、
   前記静止画像信号に係る画像を変倍する変倍工程であって、変倍前の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第１静止画アスペクト比と、変倍後の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第２静止画アスペクト比との比率が前記変形率と一致するように、前記静止画像信号に係る画像を変倍する変倍工程と、
   前記動画像信号を前記変倍後の静止画像信号と合成し、前記表示アスペクト比の情報と共に出力する合成工程と、
   を備えることを特徴とする画像処理方法。
9. 静止画像信号と動画像信号を合成するコンピュータを、
   前記動画像信号に係る画像の画素数の情報、及び当該動画像信号に係る画像を表示する際の表示サイズの情報を取得する動画像情報取得手段、
   前記動画像情報取得手段により取得された前記動画像信号の画素数の情報及び表示サイズの情報に基づいて、前記動画像信号に係る画像を表示する際の水平方向の表示サイズと垂直方向の表示サイズとの比率である表示アスペクト比と、前記動画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である動画アスペクト比との比率である変形率を取得する変形率取得手段、
   前記静止画像信号に係る画像を変倍する変倍手段であって、変倍前の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第１静止画アスペクト比と、変倍後の前記静止画像信号に係る画像の水平方向の画素数と垂直方向の画素数との比率である第２静止画アスペクト比との比率が前記変形率と一致するように、前記静止画像信号に係る画像を変倍する変倍手段、
   前記動画像信号を前記変倍後の静止画像信号と合成し、前記表示アスペクト比の情報と共に出力する合成手段、
   として機能させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images