JP4756892B2 - 画像処理装置 - Google Patents

Description

本発明は主に、ＯＳＤ（On Screen Display）を画像に重畳するための画像処理技術に関する。

従来、テレビ放送の世界では、縦横比「４：３」（横４、縦３）の表示画面による放送が主流であったが、現在ではワイド放送である「１６：９」の放送も一般的になってきている。一般家庭のテレビモニタも「４：３」表示画面の機種と「１６：９」のワイド表示画面の機種が混在している。

また、デジタルビデオカメラなどでは、「４：３」の画角による撮影だけでなく、“ワイド撮影モード”などと称する機能を設け、「１６：９」の横長（ワイド）の画角による撮影機能を搭載しているものも多い。一般的なワイド撮影モードでは、主に２つの記録／表示形態がある。

一つには、「４：３」の画角の中に「１６：９」の画角の映像を構成するために、有効映像ライン数を少なくして表示／出力／記録するものである。これを、「４：３」の画角の表示先に表示した場合、「４：３」画面の中に「１６：９」の横長の画角で上下部分を黒帯とした表示、即ちレターボックス（Letter Box）表示（以下、ＬＢ表示）される。この場合、「４：３」の全面表示の場合と比べて、有効映像の垂直解像度が３／４となってしまい（ＮＴＳＣの場合、４８０ライン→３６０ライン）、映像品位としては悪化してしまう。

これとは別に、「１６：９」ワイド映像の縦方向の有効映像ライン数を減らさずに、「４：３」の画角の中に表示／出力／記録するものもある。これを、「４：３」の画角の表示先に表示した場合、「４：３」画面に映像が縦長となった表示（左右が詰まって縦に伸びた様な表示）、即ちスクイーズ（Squeeze）表示される。この場合は、有効ライン数は「４：３」記録の場合と同じになるので映像品位の劣化はない。しかしながら、「４：３」画角の表示先にそのまま表示した場合は、映像のアスペクト比が正しくない縦長表示となってしまう。そこで、一般的には、ワイド表示可能な「１６：９」の表示画面を備えるテレビや、ＬＢ表示が可能な「４：３」の表示画面を備えるテレビで表示することで、正しいアスペクト比の「１６：９」の映像を表示している。

一方、デジタルビデオカメラでは、カメラ本体の表示機能としてＥＶＦ（Electrical View Finder）や開閉／回動可能な液晶表示パネルを備え、外部ＴＶモニタへの映像出力としては、コンポジット映像出力やＳ端子出力などを有している。一部のＨＤ解像度（High Definition：水平ライン数が１０８０ｉ、７２０ｐなどで、ｉはインターレス表示の略、ｐはプログレッシブ表示の略）の撮影が可能なデジタルビデオカメラにおいては「１６：９」のワイドＥＶＦやワイド液晶表示パネルが採用されているが、まだ民生品で一般的なものは、ＳＤ解像度（Standard Definition：水平ライン数がＮＴＳＣで４８０ｉ、ＰＡＬで５７６ｉ、ｉはインターレス表示の略）のデジタルビデオカメラであり、ＥＶＦや液晶表示パネルは「４：３」の画角のものである。

ここで、これら「４：３」のＥＶＦや液晶表示パネルのみを備えたデジタルビデオカメラにおいては、“ワイド撮影”、即ち「１６：９」の画角での撮影モードの時は、これら「４：３」のＥＶＦや液晶表示パネルによる表示画面の中に、上下が黒帯となったＬＢ表示を行うことで、ワイド撮影映像を正しいアスペクト比でモニタすることが可能となっている。但し、市場に流通している製品によっては、「４：３」のＥＶＦや液晶表示パネルによる表示画面の中にスクイーズ表示をするものも存在し、そうしたものでは正しいアスペクト比では撮影映像を確認することができない。

また、映像フォーマットの環境を見ると、従来のＮＴＳＣやＰＡＬ方式だけでなく、より解像度の高いハイビジョン画像（ＨＤＴＶ方式）に対応した製品が登場している。対応する各種デジタルフォーマットについては、ＩＴＵ（International Telecommunication Union：国際電気通信連合）やＳＭＰＴＥ（Society of Motion Picture and Television Engineers）などの団体により規定されている。

昨今では、民生用のデジタルビデオカメラにおいても、ＳＤ画像とＨＤ画像のどちらでも記録再生できるものが製品化されている。表示においては、例えば、ＨＤ画像の再生時には、ＨＤ画像を受けて表示できる表示装置にＨＤＴＶ方式で出力する一方、機器内でＨＤ画像からＳＤ画像に映像の解像度をダウンコンバートしたものを、ＳＤ画像を受けて表示する表示装置にＳＤ仕様で出力できるものも存在する（例えば、特許文献１参照）。
特開２００２−１２５１９３号公報

こうした背景のもとで、例えばデジタルビデオカメラによるワイド撮影時の映像表示の取り扱いにおいて、映像とＯＳＤ（On Screen Display）表示を合わせて垂直解像度を変換し、デジタルビデオカメラのＥＶＦや液晶表示パネルの「４：３」表示画面等にＬＢ表示した場合、垂直有効ライン数が３／４となるために、テキスト情報の細かい文字などが潰れたり欠けたりすることがある。特に、ＬＢ化するときに４ライン毎に１ライン間引くなどの単純間引き処理を行うと、図８（ａ）のような正常な表示に対して、図８（ｂ）、（ｃ）に示すようにＯＳＤの表示品位は著しく劣化し、ＯＳＤ表示が見辛くなってしまう弊害が生じていた。デジタルラインフィルタなどによるフィルタリングを用いてのライン解像度変換処理を行った場合でも、細かい文字等の視認性の劣化は避けられない。

これに対して、映像のみをＬＢ化する仕様では、ＯＳＤの劣化は避けられるが、映像と映像内のＯＳＤ表示位置がずれて表示されるために、映像に対するＯＳＤ表示位置が意味を持つ場合、例えばオートフォーカスのフォーカスが合焦した場所を示すＡＦ枠表示やサムネイル画像の周りを囲むような選択枠表示などでは、映像とＯＳＤ表示との表示ズレの問題が生じる場合があった。

また、これらの問題も、表示先や出力先が単一であれば、ＯＳＤ表示位置を各種モードにより調整することは比較的容易であるが、複数の表示／出力先に対して、一方はスクイーズ出力で他方はＬＢ出力とするなど、出力モードが異なる場合には、共通のＯＳＤ情報で対応することが困難であった。

したがって、本発明は上述した課題に鑑みてなされたものであり、その目的は、映像とＯＳＤ表示を合わせてＬＢ表示する場合のＯＳＤ表示の品質劣化や位置ずれを防止することである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、第１の画像に、当該第１の画像との位置関係に依存する所定の枠情報及び当該第１の画像との位置関係に依存しない所定の文字情報からなる第２の画像を重畳する機能を有する画像処理装置において、少なくとも前記第１の画像の縦横比を変換する変換手段と、前記第２の画像のうちの前記所定の枠情報を前記変換手段により縦横比を変換する前の前記第１の画像に対して重畳する第１の重畳手段と、前記第２の画像のうちの前記所定の文字情報を前記変換手段により縦横比を変換した後の前記第１の画像に対して重畳する第２の重畳手段と、を具備することを特徴とする。

また、本発明に係わる画像処理装置は、第１の画像に、当該第１の画像との位置関係に依存する所定の枠情報及び当該第１の画像との位置関係に依存しない所定の文字情報からなる第２の画像を重畳する機能を有する画像処理装置において、前記第１の画像の縦横比を変換する変換手段と、前記第１の画像に前記第２の画像を重畳する重畳手段とを具備し、前記第２の画像のうちの前記所定の枠情報は、前記重畳手段により、前記変換手段により縦横比が変換される前の前記第１の画像に重畳され、前記第１の画像と共に前記変換手段により縦横比が変換され、前記第２の画像のうちの前記所定の文字情報は、前記重畳手段により、前記変換手段により縦横比が変換された後の前記第１の画像に重畳されることを特徴とする。

本発明によれば、映像とＯＳＤ表示を合わせてＬＢ表示する場合のＯＳＤ表示の品質劣化や位置ずれを防止することが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係わるＯＳＤ（On Screen Display）重畳機能を有する画像処理装置としてのデジタルビデオカメラの概略ブロック構成を示す図である。図２は本実施形態のデジタルビデオカメラの外見斜視図である。図３はＯＳＤ重畳回路のブロック構成を示す図である。

図１において、２０１はビデオカメラのレンズ部で、不図示の被写体を撮像するためのズーム機能、フォーカス調整機能付きレンズ群およびレンズ機構である。

２０２はＣＣＤ（Charge Coupled Device）などからなり、レンズ部２０１で構成される光学系より入ってくる光学像を撮像する撮像素子である。

２０３は撮像素子駆動部で、カメラ信号処理部２０６からのタイミングに従って撮像素子２０２を駆動する。

２０４はＣＤＳ（Correlated Double Sampling）、ＡＧＣ（Auto Gain Controller）部で、撮像素子２０２からのアナログ信号をサンプリングすると共に、システム制御部２０９からの制御により、信号レベルのゲインコントロールを行う。

２０５はＡ／Ｄ（Analog to Digital）変換器で、前段からのアナログ信号をデジタル信号に変換する。

２０６はカメラ信号処理部で、タイミング信号の生成や、ＡＥ（Auto Exposure）制御、ＡＦ（Auto Focus）制御など、システム制御部２０９と連携して、カメラ撮像系の制御を担う。

２０７はレンズ駆動部で、レンズ部２０１を駆動して、ズーム倍率の調整やピント調整を行う。オートフォーカス時には、フォーカス調整情報をカメラ信号処理部２０６で検出して、検出した情報に基づきシステム制御部２０９からの制御信号により、レンズ駆動部２０７が駆動され、レンズ部２０１を制御してピント調整を行う。マニュアルフォーカス時には、入力操作部２１４に属する、一般的にはレンズの外周に設けられた図２に示すフォーカスリング３０７をユーザが調整し、電子的な機構ではフォーカスリング３０７の回転方向と回転量をシステム制御部２０９が検出し、検出情報によってレンズ駆動部２０７を駆動して、レンズ部２０１を制御してピント調整を行う。機械的な機構では、フォーカスリング３０７が機械的にレンズ部２０１と繋がっており、フォーカスリング３０７をユーザが回すことで、機械的にレンズ部２０１が動かされピント調整が行われる。

２０８はマイクで、撮像系を経て入ってきた映像と合わせて周囲の音を記録するために集音する。

２０９は本実施形態における各制御手順を実行するためのシステム制御部で、デジタルビデオカメラの制御に係る各種制御手順を実行する。

２１０はメモリ制御部で汎用記憶部２１１へのアクセスを制御する。

２１１は汎用記憶部で、映像信号処理のバッファであると共に、本実施形態における各種制御を実現するためのプログラムおよびデータ等を納め、制御実行のために必要に応じて作業領域としても使用されるＲＯＭやＲＡＭを総称している。

２１２は外部記録媒体接続インタフェースで、ここでは、メモリカードのスロットとする。

２１３は外部記憶媒体で、ここではメモリカードとする。通常、このメモリカードに対して、静止画撮影時にはjpegファイルを保存する。

２１４は入力操作部で、撮影スタート・ストップボタン、選択ボタン、決定ボタン、静止画撮影用のシャッターボタン、マニュアルフォーカスリングなどを備えている。

２１５は計時部で、リアルタイムクロック（ＲＴＣ）とバックアップ電池を備え、日時をカウントしており、システム制御部２０９からの要求に応じて、日時情報を返信する。

２１６はビデオ制御部で、本実施形態における図３の例に示したような水平フィルタ機能部を含み、第１表示部２１８、第２表示部２１９、ライン出力部２２０への出力制御および、テープ記録／再生部２１７の制御を行う。

２１７はテープ記録／再生部で、ビデオ制御部２１６により従来のＳＤ映像の記録モードではＤＶ方式で、ＨＤ映像の記録モードではＨＤＶ方式で等のテープ記録フォーマットにエンコードされた映像信号をテープに記録またはテープから再生する。

２１８は第１表示部で、ＥＶＦ（Electrical View Finder）であり、テープ記録／再生部２１７で記録する際には撮像系からの入力映像を表示し、再生する際には、テープに記録されている映像を表示する。また、入力操作部２１４からのユーザによる入力操作情報や、外部記録媒体２１３内の任意の画像情報などを表示する。

２１９は第２表示部で、液晶表示パネルであり、テープ記録／再生部２１７で記録する際には撮像系からの入力映像を表示し、再生する際には、テープに記録されている映像を表示する。また、入力操作部２１４からのユーザによる入力操作情報や、外部記録媒体２１３内の任意の画像情報などを表示する。

２２０はライン出力部で、アナログコンポーネント映像出力や、Ｓ端子出力、コンポジット映像出力などのインタフェースであり、外部ＴＶモニタ等に接続して、本実施形態のデジタルビデオカメラからの映像出力をＴＶ画面に表示する。

図２は本実施形態のデジタルビデオカメラの外見斜視図である。

図２において、３０１は本体で、レンズ２０１や、記録再生用のテープカセットを装脱着可能とした不図示の映像記録／再生部や、ＥＶＦ（Electrical View Finder）からなる第１表示部２１８、入力操作部２１４を構成する各種機能スイッチとしての視度調整スライダ３０３、スタート／ストップボタン３０４、ズームスイッチ３０５、シャッターボタン３１０、操作ボタン３１１などを備え、液晶表示パネルからなる第２表示部２１９が回動ヒンジ３０９により本体３０１に取り付けられている。電源としてのバッテリーは、本体に内蔵しているものとする。

２１８はＥＶＦ（Electrical View Finder）からなる第１表示部で、液晶表示パネルからなる第２表示部２１９を使用しないときに、液晶表示パネルを用いた場合と同様の内容を表示する。

３０３は視度調整スライダで、第１表示部２１８を覗いた時にユーザが見易いように接眼レンズを前後して、ＥＶＦの焦点距離を調整するためのものである。

３０４はスタート／ストップボタンで、ボタンの外周はモードダイヤルとなっており、回転させることで、ＯＦＦ、カメラ撮影モード、テープ再生モードなど、カメラの動作モードを切り替えられる。通常の使用では、モードダイヤルを回転させてカメラモードにした後に、スタート／ストップボタンを１度押すと撮影（記録）開始、再び押すと撮影スタンバイ、また押せば、再び撮影（記録）開始といったように、トグル動作する。

３０５はズームスイッチで、前後に押すことで、画角を望遠側に調整したりワイド側に調整したりすることが可能である。

２０１はレンズ光学系で、ズーム調整やピント調整を行い、被写体からの光を本体３０１内部の撮像素子２０２に結像させる。

３０７はマニュアルフォーカスリングで、不図示の切り替えスイッチによりマニュアルフォーカスモードに切り替えると、本リングを円周方向に回すことで、ピント調整をユーザがマニュアルで行なうことができる。

２１９は液晶表示パネルからなる第２表示部で、レンズ光学系２０１より入力される映像を表示したり、不図示のテープへの映像記録／再生部から再生される映像などを表示したり、３０４、３０５、３１０、３１１などの各種機能スイッチによる制御に関する表示を行う。また、ヒンジ３０９により、本体３０１に対して多方向に回動可能な構造となっている。

３０９はヒンジで、液晶表示パネルからなる第２表示部２１９と本体３０１とをつなぎ、図２中のＸ軸および直交するＹ軸をそれぞれ回転軸として、第２表示部２１９は回動することが可能である。例えば撮影者が高い位置に持ち上げての撮影では、表示画面を下方向に、低い位置に保持しての撮影では表示画面を上向きにするなどして、撮影者（不図示）が見やすい角度に液晶表示パネルを調整可能である。また、機能的には回動ヒンジ３０９により液晶表示パネルを動かしても、本体３０１内部と液晶表示パネルを接続する電気信号配線（不図示）は、絡んだり引っ張られたりすることのない構造となっている。

３１０はシャッターボタンで、撮影スタンバイ状態で押すと静止画をテープ上に数秒間、動画と同じ扱いで記録する場合や、動画撮影中には外部記録媒体２１３であるメモリカード（不図示）などにjpegファイルとして記録する場合が多い。

３１１は操作ボタンで、各種モード設定や、テープ再生モードのときの再生ボタンなどに使われることが多い。

３１２はＩＥＥＥ１３９４インタフェースで、デジタルビデオカメラ同士や、外部コンピュータなどの編集機器とケーブル接続し、映像情報や各種制御情報をやり取りすることのできるデジタルインタフェースである。

次に、図１及び図２に示すデジタルビデオカメラにおいて、「１６：９」画角のワイド撮影を行う時のＥＶＦや液晶表示パネル、ライン出力先のテレビモニタ等への表示方法に関して説明する。

まずは従来からの構成例を図７に示し、従来例での問題点を示す。次いで、本実施形態の特徴であるＯＳＤ重畳回路のブロック構成を示す図３を参照して、本実施形態について説明する。

図７において、ＯＳＤ重畳部および解像度変換部などはビデオ制御部２１６内に構成されているものとする。

７０１はＯＳＤ重畳部で、解像度変換部７０３を通過する前の映像にＯＳＤを重畳する事が可能である。ここでの入力映像信号は、「１６：９」画角のワイド撮影モードにおいて撮影された映像が、「４：３」画角のスクイーズ映像としてビデオ制御部２１６に入力されてきていることを想定している。

具体的な表示画面を示す図４において（ａ）は、人物を映した「４：３」スクイーズ映像４−１−２の上に、メニュー表示の文字情報を「４：３」ＯＳＤ表示４−１−１として重畳した様子を示している。

７０２はセレクタで、スクイーズ映像信号に対してＯＳＤ重畳部７０１においてＯＳＤを重畳するか／重畳しないかの選択を可能とする。セレクタ７０２による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、デジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

７０３は解像度変換部で、ここではスクイーズ映像からレターボックス映像（ＬＢ表示）にするために垂直方向のライン数の変換を行う。ＮＴＳＣの場合には、有効表示ラインで考えて、フィールドあたり２４０本から３／４の１８０本へ、フレームあたりで考えると４８０本から３／４の３６０本へ変換する。解像度変換するには、ラインフィルタを用いたものから単純間引きまでいくつかの方法・方式が考えられるが、ここでは、回路規模と第１表示部２１８のＥＶＦや第２表示部２１９の液晶表示パネルの表示解像度がＴＶモニタほどには精細でない場合を想定して、従来から用いられることが多かった単純間引き回路で考えるものとする。

ＯＳＤ重畳部７０１で「４：３」スクイーズ映像４−１−２の上に「４：３」ＯＳＤ表示４−１−１が重畳された図４（ａ）の映像に対して、解像度変換部７０３で垂直解像度変換され、かつ上下に黒帯４−２−３が付いたＬＢ表示に変換された場合のイメージが、図４（ｂ）である。図４（ａ）における、「４：３」スクイーズ映像４−１−２および、その上に重畳された「４：３」ＯＳＤ表示４−１−１が、図４（ｂ）では、共にＬＢ変換されて、「１６：９」レターボックス映像４−２−２および、「１６：９」ＯＳＤ表示４−２−１となり、画面上下に黒帯４−２−３が付いている様子がわかる。

図面上では、図４（ｂ）のＬＢ後のＯＳＤ表示４−２−１の文字はそれほど劣化しているようには見えないが、実際には、図８に示すように、単純間引きにより垂直方向の解像度変換を行うと、ＯＳＤによる文字表示の表示品位に対して著しい劣化を及ぼす場合があった。

次に単純間引きによるＯＳＤ文字の品位劣化の様子を示す。

図８において、（ａ）がＯＳＤ重畳部７０１で重畳されたときの文字情報のイメージで、（ｂ）が単純間引きにより、垂直方向を４ライン毎に１本ずつ間引いた様子（垂直解像度を３／４にしたことになる）を示し、その間引いたところを垂直方向に詰めて実際に表示されるイメージを示したのが（ｃ）である。この様に、漢字などで小さい文字を表示したときに表示品位に大きな影響を与えることがあった。単純間引きではなくとも、垂直ラインフィルタを用いた解像度変換によっても、細い線などの情報は失われ易いので、やはり表示品位は低下してしまう。ここでは説明の簡略化のために、フレームでの表示に対してＬＢ処理を行ったかのように説明しているが、ＮＴＳＣのインターレース表示においては、フィールドに対する処理を行うことになる。単純間引きなどの処理によるＯＳＤ文字表示の表示品位の低下に関しての理屈は変わらないので、あえて詳細には説明していない。

もう一度図７に戻って、７０４はセレクタで、映像信号に対して解像度変換部７０３において映像の解像度変換、ここでは、レターボックス表示とするために垂直方向の解像度変換をするか、しないかの選択を可能とする。セレクタ７０４による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、デジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

７０５はセレクタで、第１表示部２１８や第２表示部２１９と同じ映像をライン出力部２２０に出力するのか、セレクタ７０２を通ってきた映像信号をライン出力部に出力するのかの選択を可能とする。セレクタ７０５による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、デジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

上記の従来例に対し、本実施形態のＯＳＤ重畳機能を有する画像処理装置であるデジタルビデオカメラ内のＯＳＤ重畳回路のブロック構成を示す図３を参照して、説明を続ける。ＯＳＤ重畳部および解像度変換部などはビデオ制御部２１６内に構成されているものとする。

１０１は第１のＯＳＤ重畳部で、解像度変換部１０３を通過する前の映像にＯＳＤを重畳する事が可能である。ここでの入力映像信号は、「１６：９」画角のワイド撮影モードにおいて撮影された映像が、「４：３」画角のスクイーズ映像としてビデオ制御部２１６に入力されてきていることを想定している。

１０２はセレクタで、スクイーズ映像信号に対して第１のＯＳＤ重畳部１０１においてＯＳＤを重畳するか／重畳しないかの選択を可能とする。セレクタ１０２による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、本実施形態のデジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

ここで、図７の場合と異なるのは、図８の（ｃ）のようなＯＳＤ表示品位劣化による問題を回避するために、第１のＯＳＤ重畳部１０１においては、文字情報のようなＯＳＤ情報を重畳せずに、後に説明する目的のために、映像との位置関係に依存するＯＳＤを重畳する点である。よって、ここではひとまず、「４：３」スクイーズ映像に「４：３」ＯＳＤ表示は重畳しないものとする。すなわち、セレクタ１０２が「４：３」スクイーズ映像の入力側を選択しているものとする。

１０３は解像度変換部で、ここではスクイーズ映像からレターボックス映像にするために垂直方向のライン数の変換を行う。ＮＴＳＣの場合には、有効表示ラインで考えて、フィールドあたり２４０本から３／４の１８０本、フレームあたりで考えると４８０本から３／４の３６０本へ変換する。解像度変換するには、ラインフィルタを用いたものから単純間引きまでいくつかの方法・方式が考えられるが、ここでは、回路規模と第１表示部２１８のＥＶＦや第２表示部２１９の液晶表示パネルの表示解像度がＴＶモニタほどには精細でない場合を想定して、従来から用いられることが多かった単純間引き回路で考えるものとする。

ここで、「４：３」スクイーズ映像のみがレターボックス変換される。

１０４はセレクタで、映像信号に対して解像度変換部１０３において映像の解像度変換、ここでは、レターボックス表示とするために垂直方向の解像度変換をするか、しないかの選択を可能とする。セレクタ１０４による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、本実施形態のデジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

１０５は第２のＯＳＤ重畳部で、セレクタ１０２を通過した映像信号または、解像度変換部１０３を通過した後の映像にＯＳＤを重畳する事が可能で、映像との位置関係に依存しないＯＳＤを重畳する。

図４における（ｃ）が重畳後のイメージを示しており、解像度変換部１０３でレターボックスに変換された「１６：９」レターボックス映像４−３−２の上に、第２のＯＳＤ重畳部１０５において重畳されたＯＳＤが表示されており、これが「４：３」ＯＳＤ表示４−３−１である。ここでは、図４（ｂ）の場合と異なり、ＯＳＤ表示は解像度変換されていないので、表示品位の劣化は起こらない。

但し、ここで次のような問題が考えられる。

図５に示すように、例えばサムネイル一覧表示のような図５（ａ）の「４：３」スクイーズ映像に対して、「４：３」ＯＳＤ表示により任意のサムネイル画像の周りを囲むような選択枠を重ねて表示する場合、予め第１のＯＳＤ重畳部１０１で重畳を行い、解像度変換部１０３でレターボックス表示変換を行えば、映像とＯＳＤ表示による枠はずれることなく、図５の（ｂ）の様に「１６：９」レターボックス映像として表示できる。しかしながら、同じ「４：３」ＯＳＤ表示５−１−１を第２のＯＳＤ重畳部１０５で重畳すると、図５の（ｃ）の様に、「１６：９」レターボックス映像と、「４：３」ＯＳＤ表示５−３−１による選択枠に、ズレが生じてしまう場合があった。また、サムネイル画像の選択枠に付随するその画像の属性情報も、画像と位置ずれが起こらないようにする必要がある。

この問題を回避、防止するために、解像度変換部１０３の前の第１のＯＳＤ重畳部１０１で、映像との位置関係に依存するＯＳＤ表示を予め重畳してから、解像度変換部１０３によりレターボックス表示変換を行なう。一方、レターボックス変換による表示品位の低下が懸念される文字情報などのＯＳＤ表示に関しては、解像度変換部１０３でレターボックス表示変換された後の映像に対して、第２のＯＳＤ重畳部１０５において、ＯＳＤ表示の重畳を行うようにする。

再び図３に戻って、１０６はセレクタで、映像信号に対して第２のＯＳＤ重畳部１０５においてＯＳＤを重畳するか重畳しないかの選択を可能とする。セレクタ１０６による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、本実施形態のデジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

１０７は第３のＯＳＤ重畳部で、基本的な動作は第２のＯＳＤ重畳部１０５と共通である。外部テレビモニタに映像出力するためのライン出力部２２０への系に、ＯＳＤ表示を重畳するためのものである。

１０８はセレクタで、セレクタ１０２からの出力映像信号に対して第３のＯＳＤ重畳部１０７においてＯＳＤを重畳するか重畳しないかの選択を可能とする。セレクタ１０８による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、本実施形態のデジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

１０９はセレクタで、第１表示部２１８や第２表示部２１９と同じ映像をライン出力部２２０に出力するのか、セレクタ１０８を通ってきた映像信号をライン出力部に出力するのかの選択を可能とする。セレクタ１０９による選択は、ユーザにより入力操作部２１４を介して指示され、システム制御部２０９により制御される場合や、本実施形態のデジタルビデオカメラの動作モードに連動してシステム制御部２０９により制御される場合が考えられる。

以上説明したように、本実施形態のデジタルビデオカメラによれば、ＥＶＦや液晶表示パネル、テレビモニタなどに対する表示／出力として、ＬＢ表示やスクイーズ出力が混在する環境などにおいても、ＬＢ変換の前後に備えた複数のＯＳＤ重畳機能の内、ＬＢ表示変換後に、文字情報を含むＯＳＤなどの解像度変換により表示品位が損なわれる情報を重畳し、ＬＢ表示変換前に、ＬＢ表示変換されても大きく表示品位が損なわれることの無いような表示枠等で、映像との位置関係に依存するＯＳＤ表示を予め重畳する。

これらの構成により、映像とＯＳＤ表示を合わせてレターボックス表示変換（垂直解像度変換または単純間引きなど）した際にＯＳＤの特に文字情報の表示品位が劣化されることなく、かつ、映像位置に依存したＯＳＤ表示に対しても位置ズレなどの問題の発生を回避して、ＯＳＤ表示可能となる。

また、この実施形態とは異なる手法として、第１のＯＳＤ重畳部１０１で、映像との位置関係に依存するＯＳＤ表示を予め重畳するのではなく、あたかも解像度変換部１０３の前の映像にＯＳＤを重畳した場合と同様の位置関係となるように、解像度変換部１０３の後の映像に第２のＯＳＤ重畳部１０５においてＯＳＤを重畳することも可能である。

映像との位置関係に依存するＯＳＤとして考えられるのは、サムネイルの表示枠や、オートフォーカスの焦点が合った位置を示すオートフォーカス枠（ＡＦ枠）表示などが考えられるが、文字のような細かい表現が視認性に大きな影響を与えるものでなければ、解像度変換部１０３において解像度変換を行なっても、実使用上問題とならない。

（第２の実施形態）
以下に、ＯＳＤ重畳機能を有する画像処理装置の第２の実施形態について図面を参照しながら説明する。第２の実施形態で第１の実施形態と異なる点は、第２のＯＳＤ重畳部１０５におけるＯＳＤ重畳手法に関する部分である。

図６において、図４と異なるのは、（ｃ）に示すような表示手法である。図４の（ｃ）ではＬＢ表示変換後の「１６：９」レターボックス映像４−３−２に対して、第２のＯＳＤ重畳部１０５において「４：３」ＯＳＤ表示４−３−１を「４：３」の画面画角の範囲内で制限無く重畳していた。これに対して本実施形態においては、図６の（ｃ）に示すように、「１６：９」レターボックス映像の有効映像内に「４：３」ＯＳＤ表示の表示範囲を限定している。これにより、上下黒帯４−３−３の部分に「４：３」ＯＳＤ表示４−３−１がかかっている状態ではなく、上下黒帯部分にかからない、図６（ｃ）に示すような表示を実現できる。

また、これとは別に、上下黒帯４−３−３の部分を、黒ではなく、任意の色に変化させることによっても、「４：３」ＯＳＤ表示４−３−１の視認性を改善することが可能である。任意の色にするのは、第２のＯＳＤ重畳部１０５の機能を利用して、ＯＳＤとして上下黒帯４−３−３の上に色の付いた帯を表示することでも簡便に実現可能である。

以上説明したように、第２の実施形態のデジタルビデオカメラによれば、解像度変換によるＯＳＤ表示の表示品位の低下を防止するだけでなく、レターボックス表示の有効映像範囲内にＯＳＤ表示を重畳して視認性および、スクイーズ映像に重畳されたＯＳＤ表示との見かけ上の差を少なくして、複数の出力先に表示／出力された映像およびＯＳＤ表示の統一感を出すことが可能となる。また、レターボックス表示の上下の黒帯部分にかかるＯＳＤ表示を行った場合でも、黒帯部分の色を、任意の色に変える機能を持たせることでＯＳＤ表示の視認性を改善するなどの効果が期待できる。

本発明は、各種映像装置に応用が可能であり、特に、カメラ付きの映像記録再生装置であるデジタルビデオカメラなど、複数の表示先または出力先または記録先、例えば、ＥＶＦや液晶表示パネル、テレビモニタ、テープ記録などに対して、「１６：９」のワイド映像を表示／出力／記録する際、任意の表示／出力先に応じて、ＬＢ表示／出力またはスクイーズ表示／出力を選択可能にすると共に、映像との位置関係に依存するＯＳＤと、映像の位置関係にはあまり依存しない文字等の情報を表示するＯＳＤを独立して重畳可能にすることで、ＯＳＤ表示の品位、及び、主映像との位置関係を損なわないＯＳＤ表示機能を実現することができる。

なお、本発明はその主旨を逸脱しない範囲で、上記実施形態を変形又は修正したものに適用可能である。

（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係わるＯＳＤ（On Screen Display）重畳機能を有する画像処理装置としてのデジタルビデオカメラの概略ブロック構成を示す図である。 第１の実施形態のデジタルビデオカメラの外見斜視図である。 ＯＳＤ重畳回路のブロック構成を示す図である。 第１の実施形態における、映像にＯＳＤ表示を重畳して表示した状態を説明する図である。 第１の実施形態における、映像にＯＳＤ表示を重畳して表示した状態を説明する図である。 第２の実施形態における、映像にＯＳＤ表示を重畳して表示した状態を説明する図である。 従来のＯＳＤ重畳回路のブロック構成を示す図である。 従来の解像度変換によるＯＳＤ表示の劣化状態を示す図である。

符号の説明

１０１ 第１のＯＳＤ重畳部
１０２ セレクタ
１０３ 解像度変換部
１０４ セレクタ
１０５ 第２のＯＳＤ重畳部
１０６ セレクタ
１０７ 第３のＯＳＤ重畳部
１０８ セレクタ
１０９ セレクタ

Claims (10)

1. 第１の画像に、当該第１の画像との位置関係に依存する所定の枠情報及び当該第１の画像との位置関係に依存しない所定の文字情報からなる第２の画像を重畳する機能を有する画像処理装置において、
   少なくとも前記第１の画像の縦横比を変換する変換手段と、
   前記第２の画像のうちの前記所定の枠情報を前記変換手段により縦横比を変換する前の前記第１の画像に対して重畳する第１の重畳手段と、
   前記第２の画像のうちの前記所定の文字情報を前記変換手段により縦横比を変換した後の前記第１の画像に対して重畳する第２の重畳手段と、
   を具備することを特徴とする画像処理装置。
2. 前記変換手段により縦横比を変換した後の前記第１の画像、又は、前記変換手段により縦横比を変換する前の前記第１の画像を外部モニタに出力可能な出力手段と、
   前記変換手段により縦横比を変換する前の前記第１の画像に対して前記所定の文字情報を重畳する第３の重畳手段と、
   前記出力手段から、前記変換手段により縦横比を変換した後の前記第１の画像を出力する場合は、前記第２の重畳手段により前記所定の文字情報が重畳された前記第１の画像を出力するように選択し、前記変換手段により縦横比を変換する前の前記第１の画像を出力する場合は、前記第３の重畳手段により前記所定の文字情報が重畳された前記第１の画像を出力するように選択する選択手段をさらに具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の枠情報とは、前記第１の画像でフォーカスが合ったところを示すオートフォーカス枠であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定の枠情報とは、前記第１の画像の所定の領域を選択していることを示す選択枠であることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記所定の枠情報とは、前記第１の画像が複数のサムネイル画像である場合に、特定のサムネイル画像に対する表示枠であることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記所定の文字情報とは、メニュー表示における文字情報であることを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記変換手段は、スクイーズ画像をレターボックス画像に変換することを特徴とする請求項１に記載の画像処理装置。
8. 前記変換手段により変換する前の前記第１の画像の縦横比に対応する縦横比の画面を有する表示手段と、
   前記変換手段により縦横比を変換した後の前記第１の画像を前記表示手段により表示する場合に、前記表示手段の画面に表示される前記第１の画像の有効映像範囲外の領域の色を任意に設定する設定手段とをさらに具備することを特徴とする請求項１に記載の画像処理装置。
9. 前記変換手段により変換する前の前記第１の画像の縦横比に対応する縦横比の画面を有する表示手段をさらに具備し、
   前記変換手段により縦横比を変換した後の前記第１の画像を前記表示手段により表示する場合に、前記第２の重畳手段は、前記表示手段の画面に表示される前記第１の画像の有効映像範囲内に前記所定の文字情報が全て表示されるように、前記第１の画像に前記所定の文字情報を重畳することを特徴とする請求項１に記載の画像処理装置。
10. 第１の画像に、当該第１の画像との位置関係に依存する所定の枠情報及び当該第１の画像との位置関係に依存しない所定の文字情報からなる第２の画像を重畳する機能を有する画像処理装置において、
    前記第１の画像の縦横比を変換する変換手段と、
    前記第１の画像に前記第２の画像を重畳する重畳手段とを具備し、
    前記第２の画像のうちの前記所定の枠情報は、前記重畳手段により、前記変換手段により縦横比が変換される前の前記第１の画像に重畳され、前記第１の画像と共に前記変換手段により縦横比が変換され、前記第２の画像のうちの前記所定の文字情報は、前記重畳手段により、前記変換手段により縦横比が変換された後の前記第１の画像に重畳されることを特徴とする画像処理装置。

Images