JP4686989B2 - 映像処理装置および撮像システム - Google Patents

Description

この発明は、撮影中の被写体のピントを容易に合わせることができる映像処理装置および撮像システムに関する。

近年、ディジタルカメラなどと称される撮像装置や、デジタルカムコーダ（以下，適宜、カムコーダ（comcoder：camera and recorderを略した用語）と称する）などの携帯撮像装置が広く普及し、業務用、民生用問わずハンディタイプのカメラを使用する場面が多くなってきている。ドラマやドキュメンタリー系の番組の中には、小型のカムコーダにより撮影、製作した作品であることが宣伝される番組もある。

このようなカムコーダの性能は近年著しく向上し、その結果、解像度も高くなり、カムコーダに備えられるビューファインダー（ＥＶＦ（Electric View Finder））や、液晶モニタ（ＬＣＤ(Liquid Crystal Display)）もより小型化されるようになってきた。

しかしながら、液晶モニタの小型化に伴い、手動で正確にピントを合わせることができない場合がでてきた。特にカムコーダに備えられるＥＶＦでは、ピントを合わし切れないことも多い。下記の特許文献１には、電子カメラにおいてピーキング処理された画像を表示する発明が記載されている。

特開２００１−１３６４２９号公報

カムコーダには電子カメラ等の撮像装置と同様に、自動的にピント位置を合わせる所謂オートフォーカス機能も搭載されるが、業務用の使い方などではピント位置が勝手に動くことを嫌うため、オートフォーカス機能を用いない場合も多い。また、撮影時の演出の効果として、手動でピントを送る手段も常用される。

図６は、従来の屋外の収録現場の一例である。カムコーダ５１とモニタテレビ５３が、インターフェース５２を介して接続されている。従来は、カムコーダ５１により撮影する映像をモニタテレビ５３に入力し、モニタテレビ５３の表示部５４に表示される映像を確認しながら撮影を行っていた。

モニタテレビ５３で映像を確認することについては、以下のような問題があった。カムコーダ５１により撮影される映像を確認するためのモニタテレビ５３の大きさが、例えば９インチ以上になると、ＡＣ電源を必要になる場合がある。そのため、商用電源５５が確保できない場所では、例えば発電機５６を携行する必要があり、小型、軽量というカムコーダのメリットを生かすことができなかった。

さらに、モニタテレビ５３は専ら映像の確認のために用いられるため、例えば撮影対象の映像のピントが合っているかなどをリアルタイムに確認することができなかった。

従って、この発明の目的は、例えば屋外での撮影においても、撮影対象の映像のピントが合っているか否かをリアルタイムに確認することができる映像処理装置および撮像システムを提供することである。

上述した課題を解決するために、請求項１に係る発明は、外部の手動でピント合わせを行う撮像装置が有線または無線のインタフェースを介して接続され、撮像装置からインタフェースを介して撮像映像信号が供給されるノート型コンピュータで構成される映像処理装置において、
ＧＵＩ画面によって、輪郭強調処理の程度の設定操作がなされる輪郭強調手段によって、撮像映像信号に対して輪郭強調処理を行うことによって第１の映像信号を得、
第１の映像信号に対してカラーエッジ処理を行うことによって、輪郭であると検出された画素が特定の色に置き換えられた第２の映像信号を得、
表示手段に、ＧＵＩ画面と選択操作によって第１の映像信号の代わりに選択された第２の映像信号とを表示し、
ＧＵＩ画面によって、特定の色の選択操作を行うことを特徴とする映像処理装置である。

請求項２に係る発明は、被写体を撮影し、手動でピント合わせを行う撮像装置と、
撮像装置と有線または無線のインタフェースを介して接続され、撮像装置からインタフェースを介して撮像映像信号が供給されるノート型コンピュータで構成される映像処理装置とからなり、
映像処理装置は、
ＧＵＩ画面によって、輪郭強調処理の程度の設定操作がなされる輪郭強調手段によって、撮像映像信号に対して輪郭強調処理を行うことによって第１の映像信号を得、
第１の映像信号に対してカラーエッジ処理を行うことによって、輪郭であると検出された画素が特定の色に置き換えられた第２の映像信号を得、
表示手段に、ＧＵＩ画面と選択操作によって第１の映像信号の代わりに選択された第２の映像信号とを表示し、
ＧＵＩ画面によって、特定の色の選択操作を行うことを特徴とする撮像システムである。

この発明によれば、小型、軽量な映像処理装置だけで映像処理を行うことができるので、特に屋外での撮影時に必要とされる機材の量を軽減することができる。

この発明によれば、不明確な輪郭をもつ被写体に対してもリアルタイムにピント合わせを行うことができるため、より鮮明な映像を撮影や記録することができる。さらに、この発明では、輪郭強調の程度を所望のものに設定できるので、ピント合わせに適した輪郭強調を行うことができる。

以下、図面を参照しながらこの発明の一実施形態について説明する。この一実施形態では、映像処理装置をノート型パーソナルコンピュータ（以下、適宜、ノート型パソコンと称する）として説明するが、例えば９インチ以上のようなある程度の大きさの表示部を有する可搬型の映像処理装置であれば、ノート型パソコン以外の装置を用いることもできる。

ノート型パソコンを用いるメリットとしては、小型、軽量であり、表示部の液晶ディスプレイの大きさもモニタテレビの表示部と同様またはそれ以上である点があげられる。また、ノート型パソコンの液晶ディスプレイには、高性能なデバイスが採用されるようになり、色や明るさの再現性、応答性についても改良が進んでいる。更には、バッテリーでの動作時間も年々伸びてきており、商用電源が確保できない場所での長時間使用も可能である点があげられる。

図１は、この発明の基本的な構成を示す。この一実施形態では、撮像装置をカムコーダとして説明する。カムコーダ１とノート型パソコン３が、参照符号２で示すＩＥＥＥ（The Institute of Electrical and Electronics Engineers Inc.）１３９４ケーブルを介して接続されており、カムコーダ１の撮影映像がノート型パソコン３に入力される。カムコーダ１とノート型パソコン３を接続するインタフェースは、ＩＥＥＥ１３９４以外に例えば、アナログインターフェイス、ＵＳＢ（Universal Serial Bus）、ＳＤＩ（Single Document Interface）などを用いることもできる。

ノート型パソコン３の表示部４に映像処理画面が表示され、映像処理画面中にカムコーダ１により撮影される映像が表示される。尚、映像処理画面の詳細については後述する。この発明の一実施形態におけるノート型パソコン３では、カムコーダ１から入力される映像を映像処理画面に表示するだけではなく、ピーキングおよびカラーエッジの処理を行った映像を表示することができる。

図２は、この一実施形態におけるピーキングのアルゴリズムを示す。一実施形態では、ピーキングの処理はカムコーダ１から入力される映像を構成する各画素に対して施されるが、例えば２画素単位など複数の画素単位でピーキングの処理を施すことも可能である。

図２Ａは、映像処理画面に表示される映像信号中の画素の一部である。画素１０を中心として左側に画素１１が配され、右側に画素１２が配されている。画素１０の明るさ（明度）をＭとし、画素１１の明るさをＬとし、画素１２の明るさをＲとする。

ピーキングの処理は、映像を構成する各画素に対して以下の式（１）による演算処理を行う。
−Ｌ×ｐ＋（２×ｐ＋１）×Ｍ−Ｒ×ｐ （１）

式（１）におけるｐは、ピーキングをかける強度を決定する係数である。係数ｐの値は、可変可能とされる。この一実施形態では、ｐの値を０から１０までの１１段階に可変可能とする。

図２Ｂの上図は、ノート型パソコン３に入力されたカムコーダ１の撮影映像の映像信号中の画素の一部を示す。水平方向に参照符号２１〜２７で示す７つの画素が並んでいる。例えば、画素２１、２２、２６、２７の明るさを５０とし、画素２３、２４、２５の明るさを１００とする。

図２Ｂの下図は、参照符号２２〜２６で示す５画素に対して式（１）による演算処理を施した結果を示す。演算処理の係数ｐの値は１とする。例えば、画素２３に対するピーキングの演算処理は、式（１）に対して、Ｌ＝５０、Ｍ＝１００、Ｒ＝１００、ｐ＝１をそれぞれ代入して計算する。計算の結果は１５０となる。即ち、演算処理後の画素２３の明るさは１５０とされる。同様のピーキングの演算処理を画素２２〜画素２６に対して行う。

演算処理が行われると、図２Ｂの上図における明るさが５０から１００に変化する地点および１００から５０に変化する地点が、図２Ｂの下図に示すように０から１５０および１５０から０となり、明るさの差がより大きくなる映像信号が得られ、輪郭（エッジ）をより視認しやすくなる。ピーキングの処理では、演算処理により得られた第１の映像信号を、そのままノート型パソコン３の映像処理画面に表示する。映像処理画面には、輪郭がよりはっきりした映像が表示されるため、映像処理画面を確認しながらピント合せを行うことができる。

カムコーダ１の被写体の輪郭が比較的明瞭なときは上述したピーキングにより輪郭が強調されピント合せが容易となるが、被写体によってはピーキングの処理を施しても人間の目により輪郭を視認することが困難な場合がある。このような被写体は、ほとんどの部分が単色の被写体であり、例えば無地の布、砂地（砂丘、砂漠）、煙、水面などが挙げられる。

この発明では、ピーキングの処理が行われても輪郭の視認が困難な被写体を含む映像に対してカラーエッジの処理を行うこともできる。カラーエッジとは、式（１）による演算処理を行った結果の値が所定の閾値以上の画素を、ユーザの指定する特定の色に置き換えた第２の映像信号を映像処理画面に表示する機能である。

図３は、ピーキングおよびカラーエッジの処理を示すフローチャートである。ステップＳ１では、カムコーダ１から入力される映像がノート型パソコン３に供給され、映像データがノート型パソコン３のメモリに読み込まれる。

次に、動作はステップＳ２に進み、ユーザにより選択されたピーキングの強度を決定する係数ｐの値が読み取られる。詳細は後述するが、係数ｐの値は、例えばスクロールバーの位置を調節することにより決定される。ステップＳ３では、映像データの各画素の明るさが検出され、ステップＳ４以降の処理がなされる。

ステップＳ４で、各画素に対して式（１）による演算処理が施され第１の映像信号が形成される。尚、式（１）により計算された各画素の明るさの値はピーキングおよびカラーエッジの処理で用いられる。

ユーザによりピーキングの処理が選択されている場合は、動作はステップＳ５に進む。ステップＳ５では、第１の映像信号が、ノート型パソコン３の映像処理画面に表示される。但し、演算処理の結果が明るさの値がビデオフォーマットで規定されている範囲を超えた場合は、黒、または白にデータを張り付ける。

カラーエッジの処理が選択されている場合は、動作はステップＳ６に進む。ステップＳ６では、ステップＳ４で計算された値が、フォーマットで規定されている明るさの最大値を超えていて、かつ元の明るさが所定の閾値以下の場合に、該当する画素の色を指定された色に置き換えて、ノート型パソコン３の映像処理画面に表示する。フォーマットで規定されている明るさの最大値を超えない画素や、元の明るさが所定の閾値以上の画素については、元の明るさおよび色を使用して映像処理画面に表示する。

ステップＳ７では、ピーキングの処理若しくはカラーエッジの処理が全ての画素に対して施されたかどうかが確認される。

図４は、ピーキングの処理を行う場合に、ノート型パソコン３の表示部４に表示される映像処理画面（ＧＵＩ（Graphical User Interface））の一例を示す。映像処理画面の映像表示部３１にカムコーダ１から供給される映像がリアルタイムに表示される。参照符号３２は、ピーキングまたはカラーエッジの処理を行うＯＮボタンである。所定の条件を入力し、ＯＮボタン３２を押す（クリック）すると、入力された映像に対しピーキングまたはカラーエッジの処理が施される。ピーキングまたはカラーエッジの処理は、参照符号３３および参照符号３５で示すチェックボックスを選択的にチェックすることにより選択される。

参照符号３４は、ピーキングの強度を決定する係数ｐの大きさを選択するスクロールバーである。スクロールバー３４を左端に設定すると強度が０でありピーキング処理は行われない。スクロールバー３４を右に動かすことにより、係数ｐの値を大きくすることができる。

参照符号３６は、各画素に行われる演算処理の結果に対して設定される閾値を決めるスクロールバーである。係数ｐを決定するスクロールバー３４と同様に、スクロールバー３６を右に動かすことにより閾値を高くすることができる。

参照符号３７は、カラーエッジの処理のときに所定の画素に着色する色を決定するチェックボックスである。この一実施形態では、着色ボックスを赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三箇所とした。各色のチェックボックスをチェックした色により所定の画素が着色され、映像表示部３１に表示される。また、複数のチェックボックスを組み合わせて選択することにより赤、緑、青以外の着色をすることもできる。例えば、赤，緑、青のチェックボックス全てをチェックすると、白色が着色され、表示される。赤、青、緑の三種類のチェックボックスを設けた構成は一例であり、その他の色のチェックボックスを設けてもよい。

参照符号３８は、例えばカムコーダ１から入力される映像を再生している旨の表示がなされる。その他に、例えばカムコーダ１により撮影される映像を記録媒体に記録している旨を表示してもよい。

図４Ｂは、ピーキングの処理が施された映像を表示する映像処理画面の一例である。ピーキングのチェックボックス３３をチェックし、ＯＮボタン３２を押すとピーキングの処理が施される。図４Ｂに示すピーキングの処理では、係数ｐのスクロールバー３４を強度１に設定し演算処理がなされる。演算処理により画素同士の明るさのレベル差が強調され、映像表示部３１に被写体の輪郭が強調された映像が表示される。輪郭が強調された映像を確認し、カムコーダ１を操作することによりピント合せを行うことができる。

図４Ｃは、係数ｐのスクロールバー３４をさらに右に動かし、強度を３に設定して演算処理を施した映像を示す。係数ｐの値を大きくした結果、図４Ｂに示す映像よりも輪郭が強調されるが、映像全体にザラつきがでる。ピーキングの強度を決定する係数ｐの値は、被写体の性質に合わせて設定される。この発明では係数ｐの値をユーザの自由に設定でき、更には表示される映像を確認しながら設定を行うこともできる。

図５は、カラーエッジの処理が選択された場合の映像処理画面の一例を示す。カラーエッジの処理は、単色の被写体の輪郭強調を行う場合に好適である。この一実施形態では、単色の被写体として、白色のティッシュペーパを用いて説明する。

図５Ａでは、カラーエッジが施されていないティッシュペーパの映像４１が映像表示部３１に表示されている。ティッシュペーパの映像４１には、２つの折り目ａおよびｂが入れられている。ティッシュペーパの映像４１は単色（白色）のためピーキングの処理を施しても画素同士の明るさの差が大きくならず、係数ｐの値を大きくしても折り目ａおよびｂを人間の目により視認することは困難である。

図５Ｂはカラーエッジの処理が行われた映像処理画面を示す。カラーエッジの処理を行うチェックボックス３５を選択し、着色する色のチェックボックスを選択する。カラーエッジの処理においても各画素に対する演算処理は行われるため、係数ｐの値をスクロールバー３４で決定する。図５を用いて説明する一実施形態では、ティッシュペーパ４１は白色なので、着色する色を対照的な赤色とし、ピーキングの係数ｐの値を２とする。

演算処理がされた各画素の明るさに対する閾値を、スクロールバー３６により決定する。例えば、閾値を１４０に設定すると、演算処理の結果が１４０より大きい値の画素が着色される。尚、閾値はスクロールバー３６の操作で変えることが可能なため、映像を確認しながら適当な閾値を設定することができる。

ＯＮスイッチ３２を押すと、映像に対してカラーエッジが施される。演算処理により計算された各画素の明るさの値と閾値を比較し、閾値を超えた画素が赤く着色され、画面に赤い点として表示される。閾値を超えない画素については元のデータの明るさおよび色のため、ピーキングの場合のように画面がザラつくことはない。カラーエッジ処理の結果、図５Ｂに示すようにティッシュペーパの折り目ａおよびｂが線状に着色されて映像表示部３１に表示されるため、ユーザは折り目ａおよび折り目ｂを視認することができる。尚、図５Ｂでは、黒色の点は赤色に着色された画素を表している。

カラーエッジ処理は、ティッシュペーパのような単色の被写体に好適であるが、図４を用いて説明した普通の被写体に対してもカラーエッジを施すことができる。例えば、赤、緑、青のチェックボックスをすべて選択し、カラーエッジを施すと、映像中の対象物の輪郭が白く表示され、強調される。カラーエッジは、ピーキングと異なり、輪郭部分の着色された画素以外の画素は、元の映像データのため、被写体の種類によってはカラーエッジの処理を施した映像の方がピントを合わせやすい場合もある。ユーザによりピーキングおよびカラーエッジのどちらの処理を選択できるようにされているのもこの発明の特徴である。

この発明は、この発明の要旨を逸脱しない範囲内でさまざまな変形や応用が可能であり、上述した一実施形態に限定されることはない。例えば上述したピーキング処理およびカラーエッジ処理以外に、ベクトルスコープの機能、ウエーブフォームモニタの機能、オーディオレベルメータの表示機能、ブルーオンリーの機能、カラーバーの発生機能を追加できる。

また、白黒表示機能、安全表示領域枠機能、特定の部分を拡大表示してさらにピント合せを容易にする機能、１６：９の原画像に対する４：３や１３：９や１５：９領域表示機能、複数のＩＥＥＥ１３９４端子を持つＰＣでの複数カメラ画像の同時表示や切替表示機能を追加できる。

更には、パーソナルコンピュータのハードディスクに映像や音声をキャプチャリングする機能、ＩＥＥＥ１３９４ハブを介して複数のパーソナルコンピュータへ同時に映像・音声を配信する機能、転送されてきた映像・音声をネットワークに配信する機能を追加することができる。

上述した一実施形態では、輝度信号に着目して処理を施したが、色信号を使って輪郭強調を行ってもよい。カムコーダの撮影する被写体によっては、輝度成分が同じレベルで色が異なるものも存在する。このような場合に、色の差を強調したり、色の差を輝度の差に変換し表示することにより輪郭が強調され、ピント合せを容易に行うこともできる。また、カムコーダ１とノート型パソコン３は無線により映像データをやりとりする構成としてもよい。

尚、本発明におけるシステムとは複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない。

この発明の基本的な構成を示す略線図である。 この発明の一実施形態におけるピーキングのアルゴリズムを示す略線図である。 この発明の一実施形態におけるピーキング処理およびカラーエッジ処理の流れを示すフローチャートである。 この発明の一実施形態におけるピーキング処理を行った映像を示す写真である。 この発明の一実施形態におけるカラーエッジ処理を行った映像を示す写真である。 従来の撮影現場の設備の一例を示す略線図である。

符号の説明

１ カムコーダ
３ ノート型パーソナルコンピュータ
４ 表示部
３１ 映像表示部
３２ ＯＮスイッチ

Claims (2)

1. 外部の手動でピント合わせを行う撮像装置が有線または無線のインタフェースを介して接続され、上記撮像装置から上記インタフェースを介して撮像映像信号が供給されるノート型コンピュータで構成される映像処理装置において、
   ＧＵＩ画面によって、輪郭強調処理の程度の設定操作がなされる輪郭強調手段によって、上記撮像映像信号に対して輪郭強調処理を行うことによって第１の映像信号を得、
   上記第１の映像信号に対してカラーエッジ処理を行うことによって、輪郭であると検出された画素が特定の色に置き換えられた第２の映像信号を得、
   表示手段に、上記ＧＵＩ画面と選択操作によって上記第１の映像信号の代わりに選択された上記第２の映像信号とを表示し、
   上記ＧＵＩ画面によって、上記特定の色の選択操作を行うことを特徴とする映像処理装置。
2. 被写体を撮影し、手動でピント合わせを行う撮像装置と、
   上記撮像装置と有線または無線のインタフェースを介して接続され、上記撮像装置から上記インタフェースを介して撮像映像信号が供給されるノート型コンピュータで構成される映像処理装置とからなり、
   上記映像処理装置は、
   ＧＵＩ画面によって、輪郭強調処理の程度の設定操作がなされる輪郭強調手段によって、上記撮像映像信号に対して輪郭強調処理を行うことによって第１の映像信号を得、
   上記第１の映像信号に対してカラーエッジ処理を行うことによって、輪郭であると検出された画素が特定の色に置き換えられた第２の映像信号を得、
   表示手段に、上記ＧＵＩ画面と選択操作によって上記第１の映像信号の代わりに選択された上記第２の映像信号とを表示し、
   上記ＧＵＩ画面によって、上記特定の色の選択操作を行うことを特徴とする撮像システム。