JP4687725B2 - 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、カメラなどの撮像デバイスでキャプチャされ、記録又は伝送された主画像などからなるビデオ・レイヤ上に、装置状態や動作条件などの情報を表示する人工画像からなるＯＳＤレイヤを合成して表示する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、映像信号用のメモリ領域の他にＯＳＤ専用のメモリ領域を備え、ＯＳＤの表示に際し、ＯＳＤレイヤを用意して映像信号と合成することで画面中に各種情報を表示する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、出力画像の解像度や映像信号の出力フォーマットなどの相違に伴う複数の画像サイズに応じてＯＳＤ表示を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、基準サイズとなるＯＳＤレイヤを１つだけ用意しておき、出力する映像信号の画像サイズに応じてＯＳＤレイヤの画像を拡大処理してＯＳＤ表示を実現する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

現在、ビデオカメラやデジタルカメラなどが広範に普及しているが、この種の映像機器は一般に、カメラなどの撮像デバイスでキャプチャされ、記録又は伝送された主画像を表示するモニタ・ディスプレイを備えているが、このモニタ・ディスプレイ上には各種設定などを行なう情報なども表示される。前者の主画像はカメラで撮影された映像信号からなる自然画像である。これに対し、後者の各種情報はコンピュータなどで生成されたグラフィックや文字テキストなどの人工画像である。ここで言う各種情報として、例えば記録再生時間や記録再生モード、バッテリ残量などが挙げられるが、これらは主画像上にいわゆる「オンスクリーンディスプレイ（ＯＳＤ）」の形式で重畳表示されることも多い。

ＯＳＤは、主画像を表示出力している最中に装置状態や動作条件を表示したり装置の操作方法をユーザに案内したりする非常に重要な機能であり、現在製造・販売されているほとんどの映像機器にはＯＳＤ機能が搭載されている。

例えば、画像情報のメディアとしてデジタルカメラが広範に普及しているが、メモリカードに格納された画像データを再生表示するモードと、スルーで撮影画像を表示するモードの動作を可能とし、表示装置であるＬＣＤパネルの画面上で画像データと、カウンタ、日付、撮影条件等を示すキャラクタ・データを合成して、オンスクリーン表示させることが知られている（例えば、特許文献１を参照のこと）。

また、オンスクリーン画像はモニタ上で比較的見易いと思われるサイズ及び位置で表示されるべきであるという観点から、キャラクタあるいはパターンを、任意のサイズに拡大又は縮小する手段と任意の位置に表示させ、操作部に上記キャラクタあるいはパターンを任意のサイズに拡大縮小するキーと任意の位置に移動させるキーを設け、該キーの操作により上記キャラクタあるいはパターンを任意のサイズ及び任意の位置に表示するようにしたオンスクリーン制御装置について提案がなされている（例えば、特許文献２を参照のこと）。

また、ユーザ設定に係わるアイコンの表示サイズを拡大することで、オンスクリーン画像の視認性を向上させることができる。例えば、装置の状態変化又は動作条件の設定変更を判定し、変化が判定された装置の状態又は動作条件を示すアイコンを指定して、前のアイコンと異なった形態でＯＳＤ表示を行なうディスプレイ付き電子装置について提案がなされている（例えば、特許文献３を参照のこと）。

初期のＯＳＤは、単色で単純な文字・図形のみを表示するだけであり、ディスプレイ中の指定された垂直及び水平アドレスで映像信号とＯＳＤ信号をスイッチングするだけで実行が可能であった。しかしながら、最近では、機器の多機能化に伴って、記録並びに再生時における情報表示が重要となってきたことから、ＯＳＤに対してより高画質、高機能、多色化が要求されるようになってきている。また、製品の差別化のために、ＯＳＤのデザイン性も重要視されており、高解像度で多値階調の自然画像と同様に品質よくＯＳＤを表示する必要がある。

このため、現在では、画像を一旦保存しておく大規模メモリの一部にＯＳＤ領域を用意し（若しくは、映像信号用のメモリ領域の他にＯＳＤ専用のメモリ領域を備え）、各領域から読み出されたＯＳＤレイヤと画像レイヤをある一定比で合成することでより高品質なＯＳＤを実現する方法が広く採用されている。

ビデオカメラやデジタルカメラなどの映像機器はライン出力を持つものが多い。ライン出力の映像信号は、アナログＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）（ＳＤ）やハイビジョンといったフォーマットの違いの他に、同じデジタル・フォーマットであってもＤ１、Ｄ２、Ｄ３、Ｄ４といったさまざまな画像サイズの規格が派生している。これに対し、各フォーマットに対応するＯＳＤをすべて用意しておき、フォーマットが切替えられる度にＯＳＤレイヤを作成し直すのは、ファームウェアやプログラムＲＯＭに多大な負荷を与えることとなる。

また、ビデオカメラやデジタルカメラには、パネル表示とライン出力を同時に行なうことを可能としている機種がある。通常、パネルはＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃ Ａｒｒａｙ）（横６４０画素×縦４８０ライン）やＳＶＧＡ（Ｓｕｐｅｒ ＶＧＡ）（横８００画素×縦６００ライン）などの画像サイズ（解像度）があり、ＯＳＤレイヤもその画像サイズに合わせて作成して主画像と合成すれば、品質のよいＯＳＤ表示を実現できると考えられる。これに対し、ライン出力は例えばＤ１（横７２０画素×縦４８０ライン）やＤ３（横１９２０画素×縦１０８０ライン）のようにパネルとは全く違う画像サイズとなるため、パネル出力用とは別に画像サイズが違うライン出力用のＯＳＤレイヤを用意する必要がある。しかしながら、各々の出力フォーマットに適った画像サイズのＯＳＤレイヤを同時に出力するためには、大規模ＲＡＭ上のＯＳＤ領域に画像サイズ毎のＯＳＤレイヤを作成しなければならず、大規模ＲＡＭ上のかなりの容量をＯＳＤレイヤが消費してしまう。

一般に、このように複数の画像サイズの規格に応じてＯＳＤ表示を行なうために、基準サイズとなるＯＳＤレイヤを１つだけ用意しておき、出力する映像信号の画像サイズのモードが切り換わると、そのときの画像サイズに応じてＯＳＤレイヤを適宜拡大して出力するという方法が採られている。ここで言うＯＳＤレイヤの基準サイズは、具体的には、通常必要とされる最も小さいサイズであり、出力先の画像サイズに合わせて適宜拡大して用いることができる。

基準サイズのＯＳＤレイヤを拡大する方法として、例えば、フィルタを用いて拡大する方法と、一定の周期で画素やラインを２度読みすることで拡大する方法の２通りが挙げられる。

前者の拡大処理方法では、自然画像に関しては、双線形補間やＣｕｂｉｃ補間などサンプリング定理を根拠とした補間フィルタによって画像を拡大あるいは縮小処理する手法が知られており、多値階調を持ち、原理上、ノイズが含まれる自然画像については品質の高い拡大画像を得ることができる。しかしながら、人工画像に対し上述した補間フィルタを用いて拡大処理すると、文字などのエッジがなまってしまうため、品質の高い拡大画像を得ることができない。特に、文字テキストなどの２値画像では、エッジのなまりに起因するボケを回避するために、最近傍補間による拡大処理を行なうことが多い。ところが、最近傍補間による拡大処理では、ジャギー（画像の輪郭に観察されるギザギザ）が視覚上の問題となる。

そこで、以下では、一定の周期で画素やラインを２度読みすることでＯＳＤを拡大する後者の方法について考察してみる。

例えば、縦方向にｎ倍の拡大処理を行なう場合にはＯＳＤ表示のｎラインの間だけビットマップの同一ラインを繰り返して記憶手段からデータを読み出してＯＳＤ表示を縦方向にｎ倍拡大し、縦方向に１／ｎ倍の縮小処理を行なう場合にはビットマップのラインをｎラインおきに読み出して、ＯＳＤ表示を縦方向に１／ｎ倍に縮小する手段を備え、ＯＳＤ機能を実現するためのメモリを減少させたオンスクリーンディスプレイ回路について提案がなされている（例えば、特許文献４を参照のこと）。

また、外部グラフィック発生装置から供給される第１のグラフィック画像を、有効ライン数が異なる第２のグラフィック画像に変換する際に、同期信号発生回路で外部同期用の水平同期信号を新たに発生させ、これを外部グラフィックス発生装置の外部同期入力に与えることにより、当該外部グラフィックス発生装置から出力される第１のグラフィック画像のライン表示速度が、第２のグラフィック画像を表示させる表示装置（又は表示部）の有効画像領域の垂直サイズに適合したものとする画像表示装置について提案がなされている（例えば、特許文献５を参照のこと）。

ＯＳＤレイヤの画像サイズを２倍、３倍といったように整数倍で拡大するのであれば、常時同じ画素を縦横それぞれ２度読み、３度読みを順次行なうだけなので、文字やグラフィックスは自然な拡大となる。しかしながら、元のＯＳＤレイヤの画像サイズと出力レイヤの画像サイズの比が整数倍でないときには、ＯＳＤレイヤの縦横の画像サイズを実数倍で拡大する必要がある。画像の２度読みにより画像サイズを実数倍で拡大を行なう方法では、数画素に１回だけ同一の画素を２度読みすることとなる。このような場合、１画素分で書かれた垂直又は水平線がたまたま２度読みする位置に到来したときに当該垂直又は水平線の太さが倍になってしまい、その他の部位との整合を失う。また、数画素に１回だけ同じ画素を２度読みすると、斜め線を拡大したときに、図１０に示すように拡大後の斜め線がガタガタした線となり、文字やグラフィックスのデザイン性が損なわれるおそれがある。

続いて、パネル表示用に作成されたＯＳＤレイヤをライン出力など関連性のない画像サイズ・フォーマットで出力する場合について述べる。

例えば映像機器本体付属のパネルがＶＧＡサイズ（横６４０画素×縦４８０ライン）の場合にはＯＳＤレイヤは同サイズ（横６４０画素×縦４８０ライン）で作成されることが多いが、これをアナログＮＴＳＣライン出力で出力する場合、ＮＴＳＣの水平方向画素数は７２０画素なので６４０画素から７２０画素への拡大処理が必要となる。６４０画素から７２０画素への拡大は、基本的に８画素を９画素に拡大する処理を繰り返し実行して行なわれることから、図１１に示すように８画素に１回だけ同一の画素を繰り返すこととなる。

また、同様に、ＶＧＡサイズで作成されたＯＳＤレイヤのライン出力としてアナログＰＡＬフォーマットが選択されたときには、ＰＡＬフォーマットは、垂直方向ライン数が５７６ラインとなり、且つインターレース方式であるから、１フィールドで２８８ラインを出力する必要がある。そこで、図１２に示すように、元のＯＳＤレイヤを１ライン飛ばしに読み出すとともに、６ライン中に２回だけ直後のラインを読み出すことで、拡大処理を行なうことができる。

また、同様に、ＶＧＡサイズで作成されたＯＳＤレイヤのライン出力としてアナログＤ３フォーマット（水平方向１４４０画素×垂直方向１０８０画素）が選択されたときには、水平方向は６４０画素を１４４０画素に拡大する必要がある。そこで、図１３に示すように、同一画素を２度読みするとともに、４画素に１回だけ同一画素を３回繰り返すという変換が必要となる。また、通常はインターレース・スキャンが行なわれることから１フィールドで５４０ラインの出力が必要であり、垂直方向に関しては４８０ラインを５４０ラインに拡大する必要がある。この場合、８ラインを９ラインに拡大する処理を繰り返し実行することで実現でき、８ライン置きに同一のラインを２度読みする必要がある。

パネルやＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）の画像サイズ・フォーマットとライン出力の画像サイズ・フォーマットは関連性がない。このため、パネルやＥＶＦの画像サイズに合わせて作成されたＯＳＤレイヤをライン出力の画像サイズに合わせる際に、数画素毎に１回の割合で２度読みを行なうという上記の処理が必要とされる。このような画像サイズの変換処理は、イレギュラーな変換モードでその場合だけ文字やグラフィックスの崩れを許すというほど低頻度の（無視し得る）ものというよりも、むしろ、普通に使用するモードでかなり高い頻度で発生する（無視し難い）ものである。

特開平１１−１４６２３４号公報 特開平７−１６２７５０号公報 特開２００５−３０１９９２号公報 特開平１１−３３８４５４号公報 特開２００５−９９５１６号公報

本発明の目的は、出力画像の解像度や映像信号の出力フォーマットなどの相違に伴う複数の画像サイズに応じて好適なＯＳＤ表示を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、基準サイズとなるＯＳＤレイヤを１つだけ用意しておき、出力する映像信号の画像サイズに応じてＯＳＤレイヤの画像を拡大処理して、自然で鮮明なＯＳＤ表示を実現することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、あらかじめ作成されたＯＳＤレイヤを出力レイヤの画像サイズに応じて数倍に拡大する際や、パネル表示用に作成されたＯＳＤレイヤをライン出力など関連性のない画像フォーマットで出力する際などにおいて、画像品質が崩れ、文字やグラフィックスのデザイン性の劣化を抑制しながら、拡大処理を施して自然で鮮明なＯＳＤ表示を実現することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像を所定の画像サイズの表示画面上に表示するための処理を実行する画像処理装置であって、
主画像レイヤの画像情報を保存する第１のメモリ領域と、
文字情報又はグラフィックス・データからなる表示情報を含み、所定の基準サイズからなるＯＳＤレイヤの画像情報を保存する第２のメモリ領域と、
前記第１のメモリ領域から主画像レイヤの画像情報を前記表示画面の画像サイズに応じて拡大又は縮小処理する画像拡大・縮小手段と、
前記第２のメモリ領域からＯＳＤレイヤの画像情報を読み出して、前記表示画面の画像サイズに適合するように拡大処理するＯＳＤ拡大手段と、
前記の拡大又は縮小処理した主画像レイヤの画像情報上に、前記の拡大処理したＯＳＤレイヤの画像情報を合成する合成手段と、
を具備し、
前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報のない領域を実数倍で拡大する第１のＯＳＤ部分拡大手段と、前記ＯＳＤレイヤのうち前記表示情報のある領域をＮ倍で拡大する（但し、Ｎは１以上の整数）する第２のＯＳＤ部分拡大手段を備え、
前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報のない領域を前記第１のＯＳＤ部分拡大手段によって実数倍で拡大し、前記ＯＳＤレイヤのうち前記表示情報のある領域を前記第２のＯＳＤ部分拡大手段によってＮ倍で拡大することで、前記ＯＳＤレイヤの画像情報を前記表示画面に適合する画像サイズとする
ことを特徴とする画像処理装置である。

ビデオカメラやデジタルカメラなどの映像機器では一般に、パネル、ＥＶＦ、ライン出力は各出力サイズやフォーマットに応じて縦横のサイズを適時拡大又は縮小して表示される。近年では高画質化のために、記録時間やバッテリ容量、撮影モードなどを示す表示情報は、主画像の画像レイヤと同様にＯＳＤレイヤとしてメモリ上に作成されており、出力画像サイズに適宜合わせて拡大した上で画像との合成がされる。

上述したように、あらかじめ作成されたＯＳＤレイヤを映像信号の画像フォーマットに応じて数倍に拡大する際や、パネル表示用に作成されたＯＳＤレイヤをライン出力など関連性のない画像フォーマットで出力する際などにおいて、数画素に１回だけ２度読みを行なって変換処理を行なうと、元のＯＳＤレイヤの画像品質が崩れ、文字やグラフィックスのデザイン性が損なわれる。

このような技術的課題は、ＯＳＤレイヤを構成するグラフィック全体にわたって不連続な読み出し方で表示させることに原因があると考えられる。そこで、本発明者らは、ビデオカメラやデジタルカメラなどの一般的な映像機器におけるＯＳＤ表示の特性に着目し、当該技術的課題を解決すべく、本発明を提案する。

通常のＯＳＤは、記録時間や記録モードやバッテリ残量などの各種情報などの表示に用いられる。そして、撮影及び再生画像と同時に表示されるＯＳＤなどでは、主画像である撮影画像又は再生画像の邪魔にならないように、画面上の４隅に表示情報が配置されることが一般的である。本発明に係る画像処理装置は、このようなＯＳＤ表示の特性を利用して、ＯＳＤレイヤを拡大する際に、文字やグラフィックス・データの置かれているエリアは拡大せず又は整数倍の拡大を行なうようにし、画像を確認するために通常は何も文字やグラフィックスが表示されない中央領域のみを実数倍で拡大する。すなわち、図１に示すように、ＯＳＤレイヤのうち表示情報が配置されている画面４隅の領域では数画素毎に画像の２度読みするなど間欠的な２度読みなどの画素の不連続読み出しを行なわないようにする一方、表示情報が配置されていない領域では数画素毎に画像の２度読みするなど間欠的な２度読み動作で実数倍の拡大処理を行なうことで、ＯＳＤレイヤ全体としては出力する主画像と同じ画像サイズに拡大するようにしている。

したがって、ＯＳＤレイヤとは関連性のない数値の画像サイズに合わせる場合において、ＯＳＤレイヤ全体としては実数倍の拡大を行なうことになるが、文字やグラフィックス・データが置かれていることが想定される４隅のエリアでは整数倍（等倍を含む）の拡大処理が行なわれるので、文字やグラフィックス・データの画像品質の崩れを回避し、そのデザイン性を維持することができる。

本発明に係る画像処理装置では、前記第１のＯＳＤ部分拡大手段は、ＯＳＤレイヤのうち前記表示情報のない領域を実数倍で拡大し、前記第２のＯＳＤ部分拡大手段は、ＯＳＤレイヤのうち前記表示情報のある領域をＮ倍で拡大する。但し、Ｎは１以上の整数であり、表示情報を構成するグラフィック・データは整数倍（等倍を含む）でのみ拡大処理される。

前記第１のＯＳＤ部分拡大手段は、通常は１画素ずつ逐次読み出していきながら特定の周期で同一画素の２度読みを行ない、又は、通常は同じ画素を所定回ずつ連続して読み出していきながら特定の周期で同一画素の読み出し回数を増やすといういずれかの画素読み出し動作によって、ＯＳＤレイヤのうち表示情報のない領域を実数倍で拡大することができる。

一方、前記第２のＯＳＤ部分拡大手段は、前記ＯＳＤレイヤのうち前記表示情報が存在する領域において、拡大処理を行なわない。あるいは、ＯＳＤレイヤの拡大率が極めて大きいときには、前記表示情報が存在する領域を整数倍で拡大処理を行なうようにする。具体的には、同じ画素を所定回ずつ連続して読み出していき、整数倍の拡大処理を行なうことにより、文字やグラフィックス・データからなる表示情報は自然な拡大となる。

このような拡大処理は、具体的には、第２のメモリ領域上のＯＳＤレイヤの読み出し開始位置のアドレスからなる初期値を整数部と小数部で構成するとともに、拡大処理の方法で決まる加算値を初期値に累積加算して、その加算結果に応じて読み出しアドレスのカウントアップ動作を制御することで実現できる。前者の、通常は１画素ずつ逐次読み出していきながら特定の周期で同一画素の２度読みを行なうという拡大方法では、整数部の桁上がりが生じたときに、読み出しアドレスのカウンタを停止すればよい。また、後者の、通常は同じ画素を所定回ずつ連続して読み出していきながら特定の周期で同一画素の読み出し回数を増やすという拡大方法では、整数部の桁上がりが生じたときに、読み出しアドレスのカウントアップ動作を行なうようにすればよい。したがって、ＯＳＤ拡大手段として初期値と加算値による桁上がり時２度読み回路を使用し、加算値を切り換えることで、ＯＳＤレイヤの領域毎の拡大率の切り替えを容易に実現することができる。すなわち、第１のＯＳＤ拡大手段と第２のＯＳＤ拡大手段を用いたＯＳＤの部分拡大を、簡単で且つ極小規模な回路の追加で実現することができる。

なお、上記では、画面の４隅に表示情報が存在し、画面の中央付近には表示情報がないＯＳＤレイヤを想定して説明したが、本発明の要旨は特定のＯＳＤ構成に限定されるものではない。ある程度複雑なＯＳＤレイヤであっても、空白のある行若しくは列を特定して拡大率を細かく変えることで、文字やグラフィックス・データの品質を保つという同様の効果を奏することができる。

また、本発明の第２の側面は、画像を所定の画像サイズの表示画面上に表示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
主画像レイヤの画像情報を保存する第１のメモリ領域と、
文字情報又はグラフィックス・データからなる表示情報を含み、所定の基準サイズからなるＯＳＤレイヤの画像情報を保存する第２のメモリ領域と、
前記第１のメモリ領域から主画像レイヤの画像情報を前記表示画面の画像サイズに応じて拡大又は縮小処理する画像拡大・縮小手段と、
前記第２のメモリ領域からＯＳＤレイヤの画像情報を読み出して、前記表示画面の画像サイズに適合するように拡大処理するＯＳＤ拡大手段と、
前記の拡大又は縮小処理した主画像レイヤの画像情報上に、前記の拡大処理したＯＳＤレイヤの画像情報を合成する合成手段と、
として機能させ、
前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報が存在しない領域を実数倍で拡大する第１のＯＳＤ部分拡大手段と、前記ＯＳＤレイヤのうち前記表示情報が存在する領域をＮ倍で拡大する（但し、Ｎは１以上の整数）する第２のＯＳＤ部分拡大手段を備え、
前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報のない領域を前記第１のＯＳＤ部分拡大手段によって実数倍で拡大し、前記ＯＳＤレイヤのうち前記表示情報のある領域を前記第２のＯＳＤ部分拡大手段によってＮ倍で拡大することで、前記ＯＳＤレイヤの画像情報を前記表示画面に適合する画像サイズとする、
ことを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。

本発明によれば、出力画像の解像度や映像信号の出力フォーマットなどの相違に伴う複数の画像サイズに応じて好適なＯＳＤ表示を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、基準サイズとなるＯＳＤレイヤを１つだけ用意しておき、出力する映像信号の画像サイズに応じた回数だけ画素やラインを読み出すことによりＯＳＤレイヤの画像を拡大処理して、自然で鮮明なＯＳＤ表示を実現することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、あらかじめ作成されたＯＳＤレイヤを出力レイヤの画像サイズに応じて数倍に拡大する際や、パネル表示用に作成されたＯＳＤレイヤをライン出力など関連性のない画像フォーマットで出力する際などにおいて、画像品質が崩れ、文字やグラフィックスのデザイン性の劣化を抑制しながら、拡大処理を施して自然で鮮明なＯＳＤ表示を実現することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像処理装置では、数画素毎に１回だけ同一画像を２度読みするという動作を用いてＯＳＤレイヤを実数倍で拡大処理する場合において、ＯＳＤレイヤ上で文字情報やグラフィックスが配置されている領域では画像の２度読みを行なわれないようにすることによって、鮮明で且つ自然なＯＳＤ表示を実現することができる。このようなＯＳＤレイヤの部分拡大処理は、６４０画素から７２０画素への変換といった低倍率の拡大処理時だけでなく、６４０画素から１４４０画素への変換といった大きな拡大処理時においても、同様に文字やグラフィックス・データの画像品質の崩れ回避、デザイン性の維持という効果を奏することができる。

例えば、ビデオカメラやデジタルカメラなどの映像機器では、撮影時や再生時に画面の上下左右端付近に記録再生時間や記録再生モード、バッテリ残量などの各種情報がＯＳＤ表示されるが、勿論、タイトルや警告文などの画面中央に文字やグラフィックスがＯＳＤ表示される場合であっても、当該表示領域では拡大処理を行なわないかもしくは整数倍の拡大処理を施すというＯＳＤ部分拡大処理を適用することによって、同様の効果を奏することができる。すなわち、画面中のさまざまな場所に文字やグラフィックス・データが存在するＯＳＤレイヤに関して、文字やグラフィックスの存在しない行や列において実数倍の拡大処理を適用して、ＯＳＤレイヤ全体として所定の倍率に拡大するようにすることで、文字やグラフィックス・データの画像品質の崩れ回避、デザイン性の維持という効果を担保することができる。

本発明において、文字やグラフィックスが存在する領域では整数倍の拡大を行ない、それ以外の領域で実数倍の拡大を行なうというＯＳＤ拡大処理を行なうために、ハードウェアとして追加が必要となる回路コンポーネントは少なくて済み、非常に少ないゲート数の回路追加で本発明を実現することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図２には、本発明を適用することが可能な静止画表示システムの構成を模式的に示している。図示のシステムは、ビデオカメラやデジタルカメラをはじめとして、各種の映像機器に搭載することができる。

この静止画表示システム１０は、撮影画像や再生画像などの画像レイヤ（主画像）の画像フレーム並びにこの画像レイヤ上に重畳するＯＳＤレイヤの画像フレームなどを一時的に保持する大規模ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１と、データ・バス１２を介して大規模ＲＡＭ１１にアクセスして画像レイヤ並びにＯＳＤレイヤをそれぞれ読み出す画像読み出し回路１３並びにＯＳＤ読み出し回路１４と、出力ブロック（図示しない）における画像サイズに応じて読み出された画像レイヤ並びにＯＳＤレイヤをそれぞれ拡大又は縮小処理する画像拡大・縮小回路１５並びにＯＳＤ拡大回路１６と、拡大又は縮小処理した後の画像レイヤ上にＯＳＤレイヤを合成するＯＳＤミックス回路１７を備えている。

ＯＳＤ拡大回路１６は、ＯＳＤレイヤ上の文字やグラフィックス・データが存在する領域では整数倍（等倍を含む）の拡大を行なうとともに、文字やグラフィックス・データが存在しない領域で実数倍の拡大を行なうことで、ＯＳＤレイヤ全体として所定の倍率に拡大するようにしているが（図１を参照のこと）、このようなＯＳＤ拡大処理の詳細については後述に譲る。

当該静止画表示システム１０がビデオカメラやデジタルカメラに適用された場合、撮影（若しくは再生）画像は、一旦大規模ＲＡＭ１１に保存された後、データ・バス１２を通して読み込まれ、パネルやライン出力の画像サイズにサイズ変換されて出力ブロックに供給される。また、映像機器の動作を統括的にコントロールするＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）（図示しない）により得られた各種情報（記録再生時間や記録再生モード、バッテリ残量など）を基にＯＳＤレイヤが基準サイズで作成されると、大規模ＲＡＭ１１上の画像レイヤとは別の領域に保存され、画像レイヤと同様にデータ・バス１２を通して読み込まれ、サイズ変換を施された後で画像レイヤと合成されて出力ブロックに供給される。ここで言うＯＳＤレイヤの基準サイズは、具体的には、通常必要とされる最も小さいサイズである。

静止画表示システム１０は、パネルやライン出力など画像フォーマット毎に、画像及びＯＳＤ読み出し回路、拡大・縮小回路、及びＯＳＤミックス回路からなる表示画像処理系を備えているものとする。

なお、以下の説明では、デジタルカメラの静止画表示システムを例にして本発明の一実施形態について説明する。但し、大規模ＲＡＭ１１に置かれる画像がフィールド毎に変化する動画であっても、デジタルカメラの動画撮影モード若しくはデジタルビデオ撮影時の動作を示すこととなることから、基本的に両者の動作に違いはない、という点を十分に理解されたい。

また、大規模ＲＡＭ１１に書き込む画像が撮像素子からの画像であれば、ＯＳＤレイヤの合成処理は録画時の動作となるが、テープやメモリカード、ディスク、ハード・ディスクといった記録装置から読み出した画像であれば、ＯＳＤレイヤの合成処理は再生時の動作となる。録画又は再生のどちらの動作モードであっても、後述するＯＳＤレイヤの拡大並びに拡大したＯＳＤレイヤの合成処理は共通の動作となる。

また、テレビ受像器やビデオデッキなど、静止画表示システム１０は画像レイヤとＯＳＤレイヤの合成処理を行なう機能があるさまざまな映像機器にも、本発明に係るＯＳＤ拡大表示機能を搭載することが可能である。

ＯＳＤレイヤの拡大処理回路については、本出願時に至るまでにさまざまなものが既に考案されているが、回路構成として設定した初期値に対して１以下の実数の加算値を足していき整数部の桁上がりが生じたときに画素の２度読みを実行する回路が広く知られている。このように画素の２度読みを間欠的に実行する回路システムは当業界では周知であるが、本発明によれば小規模の回路で実現することができるので非常に有効である。以下、本発明に関する詳細な動作について説明する。

図３には、ＯＳＤレイヤの拡大処理を行なう際に画素の２度読みを行なうアドレスを生成するＯＳＤ拡大アドレス発生回路の詳細な構成を示している。以下では、水平方向の拡大処理する動作例について説明するが、垂直方向に関しても全く同じ回路で拡大処理を実現できることを理解されたい。

制御値保存レジスタ２１、初期値保存レジスタ２２、加算値保存レジスタ２３には、ＣＰＵによって制御値、初期値、並びに加算値がそれぞれ書き込まれる。初期値保存レジスタ２２に保存される初期値は、整数部と小数部からなる。また、加算値保存レジスタ２３に保存される加算値は１以下の実数で設定される。セレクタ２４は、初期値保存レジスタ２２と加算器２８の出力の２入力を持ち、いずれかを選択的に出力し、その出力は後段のラッチ２６に保持される。加算器２８は、ラッチ２６に保存されている値と加算値保存レジスタ２３に保存されている加算値とを加算する。

ＯＳＤレイヤの拡大処理を開始する際、セレクタ２４は、まず初期値保存レジスタ２２に切り替えられる。そして、１ラインの先頭で、初期値保存レジスタ２２に保存されている初期値がセレクタ２４によってロードされ、次段のラッチ２６に保存される。

その後、セレクタ２４は、加算器２８の出力側に切り替わる。以後、有効画像領域内では、１クロック毎に加算値保存レジスタ２３に保存されている加算値が加算器２８により逐次加えられていく。加算器２８の加算結果は、セレクタ２４から出力され、その小数部のみが次段のラッチ２６に保存される。このような処理動作により、加算結果の小数部がクロック毎に累積加算されていく。

また、セレクタ２４から出力された加算結果のうち、整数部の桁上がりのみが検出され、反転回路２５に入力される。制御値保存レジスタ２１で保存された制御値に応じて、加算結果の桁上がりが生じたときに、次段のカウンタ回路２７を停止するか、若しくは加算結果の桁上がりが生じたときのみ次段のカウンタ回路２７をカウントアップするかが、反転回路２５における桁上がりビット反転のオン／オフ設定に応じて選択される（反転回路２５の桁上がりビット反転がオンのときは、桁上がりが生じないときに同一画素を繰り返し、桁上がりが生じたときにカウンタをカウントアップさせる）。カウンタ回路２７の出力は、大規模ＲＡＭ１１からＯＳＤレイヤを読み出す読み出しアドレスとなる。

例えば、図１１に示したように通常はリード・アドレスを画素毎にカウントアップしていき特定の画素で同一画素の２度読みを行なう場合には、桁上がりが生じたときのみカウンタを停止するように動作する。また、図１３に示したように同じ画素を何回か連続して読むのが通常動作の場合には、桁上がりが生じたときのみカウントアップ動作を行なうように動作する。すなわち、図１１又は図１３のいずれかのＯＳＤ拡大方法を採るかに応じた制御値が制御値保存レジスタ２１に書き込まれる。

例えば、初期値保存レジスタ２２において小数部を１５ビットに設定すると、整数部０と１の間は２の１５乗（３２７６８）の階調を持った区域に設定される。すなわち、累積値に加算値を足した結果、８０００（１６進数）を超えたときに整数部の桁上がりが生じたこととなり、最上位のビットは整数部を表すこととなる。このため、それ以下の１５ビットの小数部を累積値として、次の加算処理に使用する。数値的には、加算結果が８０００（１６進数）以上になったときに桁上がりが生じたこととなり、桁上がり動作を実行すると同時に８０００（１６進数）が整数部である。このため、加算器２８の加算結果から８０００（１６進数）を減算した結果がラッチ２０に保存され、次の累積加算に使用される。

図１１に示したように、通常はリード・アドレスを画素毎にカウントアップしていき特定の画素で同一画素の２次読みを行なうという拡大パターンでＯＳＤレイヤの拡大処理を行なう場合、変換後の繰り返しサイクル数をＡ（１画素目からＡ−１画素目までは順に次の画素を読み出していき、Ａ画素目はＡ−１画素と同じものを繰り返す）とし、加算値の桁数をＮとする。この場合、０から１は２のＮ乗の解像度で分割される。この加算値がＡ回目で１となるように、加算値保存レジスタ２３に保存される加算値を設定すれば良い。したがって、加算値は、下式（１）で表される。

また、図１３に示したように通常同じ画素を数回ずつ繰り返し整数部の桁上がりが生じた時のみ次の画素を読み出すという拡大パターンでＯＳＤレイヤの拡大処理を行なう場合、元画像のＣ画素分をＤ画素分に変換するとする（６４０画素と１４４０画素に変換する場合、４画素から９画素の変換の繰り返しであるためＣは４に、Ｄは９に設定される）。基本的にはＤ画素で桁上がりが生じるようにすれば良いので加算値は（２のＮ乗）÷Ｃとなるが、９画素サイクル中に元画素である４画素分の桁上がりが生じなければならない。このため、実際の加算値は下式（２）で表される。

垂直方向にＯＳＤレイヤの拡大処理を行なう場合に関しても、同様の動作を行なう。１フィールドの最初で初期値がロードされ、以後１ライン毎に加算値を足していき、整数部分の桁上がりが生じたラインを再度繰り返し表示することで同様に垂直方向の拡大処理を実行する。

上述したように、図３に示したＯＳＤ拡大アドレス発生回路は、設定値として、初期値と加算値と桁上がり結果を反転するかしないかの３つがパラメータとなり、それぞれＣＰＵバスを介して初期値保存レジスタ２２、加算値保存レジスタ２３、制御値保存レジスタ２１に書き込まれる。さらに、上記の計算式から分かるように、加算値が拡大倍率を表し、初期値が繰り返す画素の位置を表すことが分かる。したがって、水平方向１ライン若しくは垂直方向１フィールド中の途中の一部の拡大率を変えるためには、加算値を変えるだけで良い。このことから、文字やグラフィックス・データの表示領域において画像の間欠的な２度読みを行なわなくするＯＳＤ部分拡大処理を実現する回路として、図４に示すものが考えられる。

図３に示したＯＳＤ拡大回路の具体的な構成は、上述した各設定値の保存用レジスタ２１〜２３と、セレクタ２４と、ラッチ２６と、加算器２８と、桁上がり結果反転回路２５と、読み出しアドレス発生用のカウンタ回路２７からなる。これに対して、図４に示すＯＳＤ部分拡大回路は、複数のアドレス保存レジスタ３１Ａ、３１Ｂと、アドレス発生回路３２、アドレス・デコーダ３３、加算値選択セレクタ３４を付け加えることで、ＯＳＤレイヤの部分拡大を実現することができる。なお、アドレス発生回路３２は通常各処理で必要となることが多いことから、既に回路に組み込まれているものがあればそのデータを繋ぐのみで実現できる。また、これらの追加回路はゲート数としては非常に小さなものである。すなわち、ＯＳＤレイヤの拡大処理回路として初期値と加算値による桁上がり時２度読み回路を使用し、加算値を切り換えることで簡単に拡大率を切り換えることができるので、画像の一部の拡大率を変更するという処理の割には、極小ゲートの回路追加で実現することが可能である。

加算値を設定する方法について説明しておく。まず、ＯＳＤレイヤの元画像を、実際に表示するデータ（文字情報及びグラフィックス情報）の存在する領域と、何も表示するものがない領域を区分けする。表示データの存在する領域を１倍の拡大率で表示すると、残された表示情報の存在しない領域を何画素から何画素に拡大すれば良いかを計算することができる。この値を基にして、前述の計算式（１）又は（２）から、表示データの存在しない領域での加算値が計算される。

水平、垂直方向どちらも動作としては同様なので、以下では水平方向について、図４に示したＯＳＤ部分拡大回路の動作について説明する。

水平方向左端（水平方向カウンタ０点）から表示情報のある位置までの画素数をアドレス保存レジスタ３１Ａに設定し、右側の表示情報が始まるアドレスをアドレス保存レジスタ３１Ｂに設定する。

デコーダ３３は、アドレス保存レジスタ３１Ａ、３１Ｂの設定値を基に、水平方向アドレス発生器３２からの水平方向アドレスを解釈する。そして、セレクタ３４は、デコード３３の解釈結果を基に、水平方向アドレスがアドレス保存レジスタ３１Ａ、３１Ｂの間にあるときは加算値２を選択し、それ以外のときは加算値１を選択する。

水平方向の画像データ読み出しが開始されると、初期値保存レジスタ２２に設定されている適当な初期値を開始点として、加算器２８は画素毎に加算値を累積加算していく。

ＯＳＤレイヤのうち文字やグラフィックス・データなどの表示情報がある領域では、拡大倍率が１倍である。そこで、加算値保存レジスタ２３Ａからセレクタ３４にロードして加算値を実数１．０に設定するとともに、反転回路２５の桁上がりビット反転をオンにする。この設定により毎回桁上がりは生じるが、反転回路がオンになっているためアドレス発生用のカウンタ回路２７は常に１ずつアドレスをカウントアップしていく（反転回路２５の桁上がりビット反転がオンのときは、桁上がりが生じないときに同一画素を繰り返し、桁上がりが生じたときにカウンタをカウントアップさせる）。

また、ＯＳＤレイヤのうち表示情報の存在しない領域に達すると、デコーダ３３による水平アドレスの解釈結果に基づいてセレクタ３４が切り替わり、指定した拡大率に応じた１未満の値からなる加算値が加算値保存レジスタ２３Ｂからセレクタ３４にロードされる。また、これと同時に、反転回路２５の桁上がりビット反転もオフする。これ以後は、加算器２８は累積加算値に加算値保存レジスタ２３Ｂからの加算値を加算していく。そして、累積加算値の整数部の桁上がりが発生したときに画素の２度読みを行なうことで、元画像サイズから拡大画像サイズへの拡大処理を実行する。

さらに、水平アドレスが右側の表示情報のある領域に達すると、再びセレクタ３４が切り替わり、加算値保存レジスタ２３Ａに設定された加算値１．０がセレクタ３４に再ロードされるとともに、反転回路２５の桁上がりビット反転をオンすることで、元画像を１倍の拡大率で出力することとなる（同上）。

上述したように、ＯＳＤレイヤのうち文字やグラフィックス・データなどの表示情報のない領域の拡大率は、任意の指定画素数から任意の指定画素数への実数倍率で拡大することとなる。前述の式（１）又は（２）に当てはめれば、どの画素数からどの画素数への変換も可能であることから、ＯＳＤレイヤのうち表示情報のある領域のサイズは特に制限を受けない。したがって、ＯＳＤレイヤに含まれる表示情報が少ない場合には中央の（実数倍で拡大する）拡大領域を大きく取るが、ＯＳＤレイヤに含まれる表示領域が多い場合は中央の（実数倍で拡大する）拡大領域を小さく取ることで、表示情報の量に柔軟に対応することができる。勿論、表示情報の長短に関係なく表示情報領域と表示情報のない領域を固定して表示情報領域内に文字情報やグラフィック情報を納めることも可能である。

続いて、具体的な数値を当てはめて、ＯＳＤレイヤの部分拡大を行なうための実際の動作について説明する。

ここでは、一例として、水平方向６４０画素のＯＳＤレイヤを７２０画素に拡大する場合について考える。左右それぞれ１００画素分に文字やグラフィックス・データなどの表示情報が存在すると仮定すると、７２０画素のうち左右の１００画素が１．０倍でそのままＯＳＤレイヤに表示されるようにする。したがって、図５に示すように、中央部は４４０画素（＝６４０−１００−１００）を５２０画素（＝７２０−１００−１００）に実数倍で拡大すれば良いことになる。これは１１画素を１３画素に拡大する処理の繰り返しに置き換えられる。初期値保存レジスタ２２に設定される初期値の小数部を１５ビットとすると、加算値は上式（２）より、以下のように算出される。

上記の値は１６進数では６Ｃ４Ｆとなる。パターンとしてはＣ画素をＤ画素に変換することになるので、桁上がり値は反転させて桁上がりが生じないときのみ画素の２度読みを行なうようにすればよい。したがって、図４に示したＯＳＤ部分拡大回路において、各レジスタに以下のようなパラメータを設定することで、所望の部分拡大処理を実現することができる。なお、初期値は８０００（１６進数）に設定してある。

最初の（左側の）１００画素では、加算器２８では毎回加算値１．０（８０００）が加算される。１６ビット目が整数部なので、整数部の桁上がりが毎回発生しアドレスは毎回更新され、結果として×１．０倍の処理が実行される。小数部は常に０なので、累積の加算値は常に０となる。

１０１画素目以降になると、セレクタ２４で加算値が切り替わり、加算器２８では加算値２（６Ｃ４Ｆ）が加算される。最初の１０１画素目では整数部の桁上がりが発生しないので、読み出しアドレス発生用のカウンタ回路２７は、カウントアップをせずに前の画素が繰り返される。続く１０２画素目では、加算器２８で小数部の累積結果（６Ｃ４Ｆ）に加算値（６Ｃ４Ｆ）が加算され、加算値がＤ８９Ｅ（１６進数）となって整数部の桁上がりが発生するので、読み出しアドレスはカウントアップされる。この加算値のうち８０００（１６進数）が整数部なので、小数部は８０００（１６進数）を引いた値（５８９Ｅ）となる。以後同様の計算を行なって、図６に示すように６４０画素から７２０画素への部分拡大が実行される。

次に、ＯＳＤレイヤの部分拡大を行なう他の例として、水平６４０画素をＤ３フォーマットＤ端子出力（水平方向画素数１４４０画素）へ拡大する場合（すなわち、ＯＳＤレイヤの拡大率が非常に大きい場合）について説明する。ＯＳＤレイヤに含まれる文字やグラフィックス・データなどの表示情報を１倍で表示すると、出力画面に対して表示情報が小さ過ぎてしまう。そこで、拡大率が非常に大きいときには表示情報領域を整数倍に固定して（すなわち、画素毎の繰り返し読み出し回数を均一にして）出力し、表示情報のない領域は実数の拡大率で拡大することとする。図７には、２．０倍で表示情報領域を拡大している様子を示している。文字やグラフィックスを拡大する場合、整数倍で拡大すれば全画素が同じ回数繰り返されるので、斜め線でイレギュラーなコブを発生することなく比較的きれいな文字やグラフィック画像を出力することができる。すなわち、部分拡大処理により、ＯＳＤレイヤの文字やグラフィックス・データの画像品質の崩れを回避し、そのデザイン性を維持することができる。

この場合も元画像の左右１００画素領域に文字やグラフィック情報が存在すると仮定すると、左右１００画素は２．０倍に拡大し、残りの中央４４０画素を１０４０画素（１４４０−２００×２）に変換すればよいことになる。これは、１１画素を２６画素に拡大するサイクルの繰り返しとなるので、小数部を１５ビットとすると、加算値は上式（２）より、以下のように算出される。

上記の値は１６進数で３６２７となる。したがって、各レジスタに以下のようなパラメータを設定することで、所望の部分拡大処理を実現することができる。なお、初期値は４０００（１６進数）に設定してある。

最初の２００画素区間では加算器２８が４０００（１６進数）を加算していくので、２回に１回８０００（１６進数）に達して、累積加算値の整数部の桁上がりが発生する。累積加算値が８０００（１６進数）に達すると、整数部８０００（１６進数）が捨てられるので、累積加算値は００００に戻る。桁上がりが発生しないときは前画素と同一の画素を繰り返し表示し、桁上がりが発生したときはカウンタ回路２７が読み出しアドレスを１つだけカウントアップするので、この領域では２．０倍の拡大が実行される。

一方、２００画素目以降では、加算器２８が加算値３６２７（１６画素）を加算していく。そして、累積加算値の整数部の桁上がりが生じないときは同一の画素を繰り返し読み出し、整数部の桁上がりが生じたときは次の画素を読み出す。これにより１１画素を２６画素に変換する処理が実行され、これを繰り返すことで、図８に示すように４４０画素が１０４０画素に拡大される。

１２４０画素目以降になると、再び加算値が４０００（１６進数）に切り替わるので、２回に１回の割合で画素が繰り返され２．０倍の処理が実行される。

ここで、元画像に対して出力画像の倍率と表示情報の倍率の差が大き過ぎると、ディスプレイで見たときに文字やグラフィックス・データなどの表示情報が画面に対して極端に大き過ぎたり小さ過ぎたりするといった問題が発生する。この問題に関しては、表示情報の拡大倍率をグラフィックの拡大倍率に近い倍率で拡大することである程度対応することができる。

例えば、水平方向６４０画素のＯＳＤレイヤを用意したとき、ライン出力でＮＴＳＣ（水平方向７２０画素）を選択すると、一律にＯＳＤレイヤを拡大した場合は１．１２５倍となる。これに対して上述した部分拡大方式を用いると、図４に示したように、文字やグラフィックスなどの表示情報は１．０倍の拡大がされるが、一律に拡大したときの拡大率にあまり差がないので、文字やグラフィックス情報が画面に対してあまり大き過ぎたり小さ過ぎたりすることはない。

また、Ｄ３フォーマットＤ端子出力に画像出力するときには、水平１４４０画素なのでＯＳＤレイヤを一律に拡大すると２．２５倍の拡大となる。これに対して上述した部分拡大方式を用いると、図７に示したように文字やグラフィックスは２．０倍に拡大されることになる。すなわち、両者の拡大率にそれほど違いがないので、文字やグラフィックスが画面全体に対して大き過ぎたり小さ過ぎたりすることは防ぐことができる。

ＯＳＤレイヤに含まれる表示情報としては、撮影時又は再生時の各種情報表示以外に、電源ＯＮ時のタイトル表示やバッテリ残量不足や、テープ残量（若しくは記録メディアの空き容量）不足のように、中央に文字やグラフィックを表示する場合もある。このような場合には、上記の各領域の拡大率を逆にして、中央の表示情報のある領域を整数倍に拡大し上下左右端の表示情報のない領域を実数倍に拡大することで、同様の効果を得ることができる。

また、場合によっては、ディスプレイの上下左右端に撮影時又は再生時の各種情報表示を、中央に警告表示を同時に表示することもある。この場合も、同様にＯＳＤ画面内を表示情報のある領域と表示情報のない領域に細かく分けて各領域で拡大率を変えることで対応することができる。図９には、ＯＳＤレイヤを複数の領域に細分して、表示情報が存在するか否かに応じて各領域の拡大率を決定した様子を示している。この際、追加で必要となるのは、分割した領域をそれぞれ検出するデコード回路と、各領域での拡大率に対応した加算値記憶レジスタ、及びセレクタの入力端子を、加算値の設定レジスタ分だけ、図４に示したＯＳＤ部分拡大処理回路に増設するだけで対応可能となる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、静止画表示システムに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。画像がフィールド毎に変化する動画であっても、デジタルカメラの動画撮影モード若しくはデジタルビデオ撮影時の動作を示すこととなることから、動画表示システム日本発明を適用した場合であっても基本的に動作に違いはない。

本発明は、ビデオカメラやデジタルカメラ以外にも、テレビ受像器やビデオデッキなど、主画像となる映像信号からなるビデオ・レイヤ上にＯＳＤレイヤを合成して表示出力するさまざまな映像機器に対して同様に適用することができる。

本明細書では、主に画面の４隅に表示情報が存在し、画面の中央付近には表示情報がないＯＳＤレイヤを想定して説明したが、本発明の要旨は特定のＯＳＤ構成に限定されるものではない。ある程度複雑なＯＳＤレイヤであっても、空白のある行若しくは列を特定して拡大率を細かく変えることで、文字やグラフィックス・データの品質を保つという同様の効果を奏することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、ＯＳＤレイヤのうち表示情報が配置されている画面４隅の領域では画素の不連続読み出しを行なわないようにする一方、表示情報が配置されていない領域では実数倍の拡大処理を行なう様子を示した図である。 図２は、本発明を適用することが可能な静止画表示システムの構成を模式的に示した図である。 図３は、ＯＳＤレイヤの拡大処理を行なう際に画素の２度読みを行なうアドレスを生成するＯＳＤ拡大アドレス発生回路の詳細な構成を示した図である。 図４は、ＯＳＤ部分拡大処理を実現する回路の構成例を示した図である。 図５は、水平方向６４０画素のＯＳＤレイヤを７２０画素に拡大する部分拡大処理を説明するための図である。 図６は、水平方向６４０画素のＯＳＤレイヤを７２０画素に拡大する部分拡大処理を説明するための図である。 図７は、水平６４０画素をＤ３フォーマットＤ端子出力（水平方向画素数１４４０画素）へ拡大する部分拡大処理を説明するための図である。 図８は、水平６４０画素をＤ３フォーマットＤ端子出力（水平方向画素数１４４０画素）へ拡大する部分拡大処理を説明するための図である。 図９は、ＯＳＤレイヤを複数の領域に細分して、表示情報が存在するか否かに応じて各領域の拡大率を決定した様子を示した図である。 図１０は、ＯＳＤレイヤの縦横の画像サイズを実数倍で拡大する様子を示した図であり、具体的には、数画素に１回だけ同じ画素を２度読みして斜め線を拡大した様子を示した図である。 図１１は、ＶＧＡサイズのＯＳＤレイヤをアナログＮＴＳＣフォーマットでライン出力する際に行なう拡大処理方法を説明するための図であり、具体的には、８画素に１回だけ同一の画素を繰り返すことで水平方向に６４０画素から７２０画素へ拡大処理する様子を示した図である。 図１２は、ＶＧＡサイズのＯＳＤレイヤをアナログＰＡＬフォーマットで出力する際に行なう拡大処理方法を説明するための図であり、具体的には、元のＯＳＤレイヤを１ライン飛ばしに読み出すとともに、６ライン中に２回だけ直後のラインを読み出す様子を示した図である。 図１３は、ＶＧＡサイズのＯＳＤレイヤをアナログ３Ｄフォーマットでライン出力する際に行なう拡大処理方法を説明するための図であり、具体的には、同一画素を２度読みするとともに、４画素に１回だけ同一画素を３回繰り返すことで水平方向に６４０画素を１４４０画素に拡大する様子を示した図である。

符号の説明

１０…静止画表示システム
１１…大規模ＲＡＭ
１２…データ・バス
１３…画像読み出し回路
１４…ＯＳＤ読み出し回路
１５…画像拡大・縮小回路
１６…ＯＳＤ拡大回路
１７…ＯＳＤミックス回路
２１…制御値保存レジスタ
２２…初期値保存レジスタ
２３…加算値保存レジスタ
２４…セレクタ
２５…反転回路
２６…ラッチ
２７…カウンタ回路
２８…加算器
３１Ａ、３１Ｂ…アドレス保存レジスタ
３２…アドレス発生回路
３３…アドレス・デコーダ
３４…加算値選択セレクタ

Claims (11)

1. 画像を所定の画像サイズの表示画面上に表示するための処理を実行する画像処理装置であって、
   主画像レイヤの画像情報を保存する第１のメモリ領域と、
   文字情報又はグラフィックス・データからなる表示情報を含み、所定の基準サイズからなるＯＳＤレイヤの画像情報を保存する第２のメモリ領域と、
   前記第１のメモリ領域から主画像レイヤの画像情報を前記表示画面の画像サイズに応じて拡大又は縮小処理する画像拡大・縮小手段と、
   前記第２のメモリ領域からＯＳＤレイヤの画像情報を読み出して、前記表示画面の画像サイズに適合するように拡大処理するＯＳＤ拡大手段と、
   前記の拡大又は縮小処理した主画像レイヤの画像情報上に、前記の拡大処理したＯＳＤレイヤの画像情報を合成する合成手段と、
   を具備し、
   前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報のない領域を実数倍で拡大する第１のＯＳＤ部分拡大手段と、前記ＯＳＤレイヤのうち前記表示情報のある領域をＮ倍で拡大する（但し、Ｎは１以上の整数）する第２のＯＳＤ部分拡大手段を備え、
   前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報のない領域を前記第１のＯＳＤ部分拡大手段によって実数倍で拡大し、前記ＯＳＤレイヤのうち前記表示情報のある領域を前記第２のＯＳＤ部分拡大手段によってＮ倍で拡大することで、前記ＯＳＤレイヤの画像情報を前記表示画面に適合する画像サイズとする、
   ことを特徴とする画像処理装置。
2. 前記第１のＯＳＤ部分拡大手段は、通常は１画素ずつ逐次読み出していき、特定の周期で同一画素の２度読みを行ない、又は、通常は同じ画素を所定回ずつ連続して読み出していき、特定の周期で同一画素の読み出し回数を増やすという動作によって、ＯＳＤレイヤのうち前記表示情報のない領域を実数倍で拡大する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２のＯＳＤ部分拡大手段は、前記ＯＳＤレイヤのうち前記表示情報が存在する領域において、拡大処理を行なわない、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第２のＯＳＤ部分拡大手段は、前記ＯＳＤレイヤのうち前記表示情報が存在する領域において、同じ画素を所定回ずつ連続して読み出していき、整数倍の拡大処理を行なう、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第２のＯＳＤ部分拡大手段は、拡大率が所定値以下となるときは前記ＯＳＤレイヤのうち前記表示情報が存在する領域の拡大処理を行なわないが、拡大率が所定値を超えるときは当該領域を整数倍で拡大処理を行なう、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 主画像レイヤの画像情報と文字情報又はグラフィックス・データを含んだＯＳＤレイヤの画像情報とを合成して所定の画像サイズの表示画面上に表示する画像処理方法であって、
   前記主画像レイヤの画像情報を前記表示画面の画像サイズに応じて拡大又は縮小処理す る画像拡大・縮小手段ステップと、
   所定の基準サイズからなる前記のＯＳＤレイヤの画像情報を前記表示画面の画像サイズに適合するように拡大処理するＯＳＤ拡大ステップと、
   前記の拡大又は縮小処理した主画像レイヤの画像情報上に、前記の拡大処理したＯＳＤレイヤの画像情報を合成する合成ステップと、
   を具備し、
   前記ＯＳＤ拡大ステップでは、前記ＯＳＤレイヤのうち文字又はグラフィックス・データが存在しない領域を実数倍で拡大する第１のＯＳＤ部分拡大ステップと、前記ＯＳＤレイヤのうち文字又はグラフィックス・データが存在する領域をＮ倍で拡大する（但し、Ｎは１以上の整数）する第２のＯＳＤ部分拡大ステップをそれぞれ実行して、前記ＯＳＤレイヤの画像情報を前記表示画面に適合する画像サイズとする、
   ことを特徴とする画像処理方法。
7. 前記第１のＯＳＤ部分拡大ステップでは、通常は１画素ずつ逐次読み出していき、特定の周期で同一画素の２度読みを行ない、又は、通常は同じ画素を所定回ずつ連続して読み出していき、特定の周期で同一画素の読み出し回数を増やすという動作によって、ＯＳＤレイヤのうち前記表示情報のない領域を実数倍で拡大する、
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記第２のＯＳＤ部分拡大ステップでは、前記ＯＳＤレイヤのうち前記表示情報が存在する領域において、拡大処理を行なわない、
   ことを特徴とする請求項６に記載の画像処理方法。
9. 前記第２のＯＳＤ部分拡大ステップでは、前記ＯＳＤレイヤのうち前記表示情報が存在する領域において、同じ画素を所定回ずつ連続して読み出していき、整数倍の拡大処理を行なう、
   ことを特徴とする請求項６に記載の画像処理方法。
10. 前記第２のＯＳＤ部分拡大ステップでは、拡大率が所定値以下となるときは前記ＯＳＤレイヤのうち前記表示情報が存在する領域の拡大処理を行なわないが、拡大率が所定値を超えるときは当該領域を整数倍で拡大処理を行なう、
    ことを特徴とする請求項６に記載の画像処理方法。
11. 画像を所定の画像サイズの表示画面上に表示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
    主画像レイヤの画像情報を保存する第１のメモリ領域と、
    文字情報又はグラフィックス・データからなる表示情報を含み、所定の基準サイズからなるＯＳＤレイヤの画像情報を保存する第２のメモリ領域と、
    前記第１のメモリ領域から主画像レイヤの画像情報を前記表示画面の画像サイズに応じて拡大又は縮小処理する画像拡大・縮小手段と、
    前記第２のメモリ領域からＯＳＤレイヤの画像情報を読み出して、前記表示画面の画像サイズに適合するように拡大処理するＯＳＤ拡大手段と、
    前記の拡大又は縮小処理した主画像レイヤの画像情報上に、前記の拡大処理したＯＳＤレイヤの画像情報を合成する合成手段と、
    として機能させ、
    前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報が存在しない領域を実数倍で拡大する第１のＯＳＤ部分拡大手段と、前記ＯＳＤレイヤのうち前記表示情報が存在する領域をＮ倍で拡大する（但し、Ｎは１以上の整数）する第２のＯＳＤ部分拡大手段を備え
    前記ＯＳＤ拡大手段は、前記ＯＳＤレイヤのうち前記表示情報のない領域を前記第１のＯＳＤ部分拡大手段によって実数倍で拡大し、前記ＯＳＤレイヤのうち前記表示情報のある領域を前記第２のＯＳＤ部分拡大手段によってＮ倍で拡大することで、前記ＯＳＤレイヤの画像情報を前記表示画面に適合する画像サイズとする、
    ことを特徴とするコンピュータ・プログラム。