JP6133547B2 - 試験測定装置 - Google Patents

Description

本発明は、映像信号の試験測定装置に関し、特に、３次元（３Ｄ）画像の視差を測定するための試験測定装置に関する。

本願は、２０１１年４月８日出願の米国仮出願番号第６１／４７３,３９６号「半自動３Ｄ立体視差カーソル」の利益を主張するものである。

従来の立体３Ｄ測定方法では、以下で説明する方法を１以上用いて、左（Ｌ）画像及び右（Ｒ）画像の対応する画像セグメント（部分）間の水平シフト（視差又は画素シフトとも呼ばれる）を測定する。なお、左右画像間で視差（Disparity）あると、左右画像の対応するオブジェクトの像に差分があることから、像差とも呼ばれる。

１）左及び右画像の両方において、対応する画像要素を見つけ、その画像の一端からの水平位置で画素を単位として差分を測定する。得られる差分は、画素視差である。

２）水平方向に調整可能な第１垂直ラインを用いて、一方（左又は右）の画像上の画像要素にマークを付け、次に水平方向に調整可能な第２垂直ラインを用いて、他方の画像上の対応する画像要素にマークを付ける。各垂直ラインの水平オフセットの差分を視差として読み出す。

これら方法の利用は、左右画像を単一画像に合成する以下の方法を１つ以上用いることで更に拡大でき、これによって、１つの画像のみを用いながら、視差を上述のような方法で測定できるようになる。

１）２つの画像を引き算し（Ｌ−Ｒ又はＲ−Ｌ）、差分画像を生成する。このとき、視差とエッジ輝度は、ゼロでない差分を生成するので、視差測定のための画像セグメントをもっと簡単に特定できるようになる。

２）（そのままか、エッジ強調又はエッジ検出を施して）２つの画像を加算して２重画像を生成することで、視差測定のための画像セグメントをもっと簡単に特定できるようにする。

３）アナグリフ３Ｄのように左右画像を着色して左右が重なった画像を生成すると、色の縁によって、視差による画像セグメントのオフセット（差分）を、より簡単に特定できる。

特開２００４−１０４４２５号公報

被試験画像が視差値の異なる多数のオブジェクトを含んでいる場合には、被試験画像の特定部分だけの視差を測定したいというニーズがある。また、視差測定が必要ないか又は曖昧な領域を被試験画像が含む場合には、意味のある結果を生じる部分だけの視差を測定できた方が良い。更に、こうした結果が、視覚的に容易にわかるように、ユーザに提供できることが望ましい。

本発明の実施形態は、被試験３Ｄ画像の選択した領域内における視差を簡単に測定するための「視差カーソル」を提供する。操作においては、ユーザが、マウス、キーボードなどのユーザ・インタフェース装置を用いて、被試験３Ｄ画像の選択領域に対して視差カーソルを定義するウィンドウを配置する。すると、ウィンドウ内に含まれる複数の画像セグメントの平均視差値が自動的に計算されて、ユーザに報告（レポート）される。

本発明の第１概念は、試験測定装置であって、
被試験３次元画像のある領域を選択するための視差カーソルを表示する手段と、
選択された上記領域の平均視差値をユーザにレポートする手段とを具えている。

本発明の第２概念は、第１概念の試験測定装置であって、平均視差値をレポートする手段が数値を提示することを特徴としている。

本発明の第３概念は、第１概念の試験測定装置であって、平均視差値をレポートする手段が、上記視差カーソルが見え方を変化させる手段を有している。

本発明の第４概念は、第１概念の試験測定装置であって、上記視差カーソルが見え方を変化させ、上記平均視差値の推定値の品質を視覚的に示す手段を更に具えている。

本発明の第５概念は、第１概念の試験測定装置であって、上記視差カーソルが、左画像と右画像を合成した単一画像上に重ねられることを特徴としている。

本発明の第６概念は、第１概念の試験測定装置であって、上記視差カーソルが、２つの視差カーソルを有し、一方は左画像に重ねられ、他方が右画像に重ねられることを特徴としている。

本発明の第７概念は、第１概念の試験測定装置であって、上記視差カーソルの大きさと形状がユーザによって指定されることを特徴としている。

本発明の第８概念は、第１概念の試験測定装置であって、ユーザに応じて、上記視差カーソルの大きさと形状を上記試験測定装置が決定することを特徴としている。

本発明の第９概念は、第１概念の試験測定装置であって、上記視差カーソルで定まる範囲の左画像と右画像を、これら２つの画像の差分が最小になるまで互いに対してシフトすることによって上記平均視差値を決定することを特徴としている。

本発明の第１０概念は、第９概念の試験測定装置であって、上記左画像及び上記右画像のエッジをフィルタ処理し、上記平均視差値のより正確な推定値を得るようにすることを特徴としている。

本発明の目的、効果及び他の新規な点は、以下の詳細な説明を添付の特許請求の範囲及び図面とともに読むことによって明らかとなろう。

図１は、本発明の実施形態による映像試験測定装置の表示装置の視差カーソルを有する第１表示例を示した図である。 図２は、本発明の実施形態による映像試験測定装置の表示装置の視差カーソルを有する第２表示例を示した図である。 図３は、本発明の実施形態による映像試験測定装置の表示装置の視差カーソルを有する第３表示例を示した図である。 図４は、本発明の実施形態による視差カーソルを有する左画像の例を示した図である。 図５は、本発明の実施形態による視差カーソルを有する右画像の例を示した図である。 図６は、各シフト手順について、シフト量（視差）の関数としての累積値をプロットした図である。 図７は、最良のオフセット（Ｄｘ＝−１１）を用いて、左画像−右画像の絶対値を差分ウィンドウと共に示した表示例である。 図８は、本発明による映像試験測定装置の実施形態の一例のブロック図である。

本発明の実施形態は、被試験３Ｄ画像の選択された領域内の視差を簡単に測定するための「視差カーソル」を提供する。視差（disparity）とは、３Ｄ画像における左右画像の対応するオブジェクト間に生じる像の差で、像差とも呼ばれる。動作においては、マウス、キーボードなどのインタフェース・デバイスを用いて視差カーソルの範囲を定めるウィンドウを、被試験３Ｄ画像の選択する領域に配置する。すると、ウィンドウ内に含まれる画像部分に関する平均視差値が自動的に計算されて、ユーザにレポート（報告）される。平均視差値は、例えば、数値の形で表示したり、視差カーソル（詳細は後述）の表示を変化させるなど、種々の方法でレポートされる。平均視差は、画素を単位として又はその他を単位としてレポートとしても良い。これにより、ユーザが被測定立体画像対の画像部分（画像要素）を視覚的に選択することによって、部分的な視差の半自動的な測定が実現される。

ある実施形態では、視差カーソルの見え方が、ウィンドウ内の平均視差を視覚的に示すように変化する。例えば、ウィンドウを平均視差値を示す色で満たすようにしても良い。

ある実施形態では、視差カーソルの見え方が、平均視差値の推定値の品質を視覚的に示すように変化する。例えば、ウィンドウをシフト左画像と右画像の差分の絶対値を表す画像で満たし、これによって、最適なシフト量の推定値の優秀性を示すようにしても良い（詳細は後述）。

ある実施形態では、視差カーソルを左右画像を合成した単一画像に重ね合わせる。このとき、この単一画像は、例えば、上述したいくつかの方法の１つを用いて生成される。別の実施形態では、２つの同一の視差カーソルを用い、１つを左画像上に、もう１つを右画像上に置いて、視差を測定する所望画像部分を同じ位置に配置する。

平均視差は、種々の方法で計算される。ある実施形態では、平均視差値は、視差カーソルで範囲が限定された左画像と右画像について、これら２つの画像の差分が最小になるまで互いに相対的にシフトすることによって測定される。このようなサーチ・アルゴリズムの例は、次のようなものである。

ステップ１：画素の２つの配列（１つは左画像輝度（Ｌｙ）から、もう１つは右画像輝度（Ｒｙ）からのもの）を、ウィンドウ内に含まれる画素から生成する。これら２つの配列は、必要であれば、輝度（Ｙ）又は赤（Ｒ）、緑（Ｇ）若しくは青（Ｂ）コンポーネント（信号成分）から抽出しても良い。ウィンドウが動く度に、２つの配列Ｌｙ及びＲｙはアップデート（更新）される。

ステップ２：２つの配列の一方を水平方向（これに代えて、垂直像差についてなら垂直方向）にシフトしながら、所与のシフト量における各画素間の差分の絶対値を計算し、続いてウィンドウ内の全画素の差分を累算し、そのシフト量に対応する１つの値を求める。これは、ＬｙをＲｙに対してシフトすることで実行できるし、その逆でも良く、更に両方をシフトしても良い。これに代えて、シフト量の最適な推定値を求めるのに、画素差分の絶対値を累算するのでなく、画素差分の２乗を累算又は平均するなど、その他の方法で行っても良い。これは、視差をサーチ（search：調査、検索）する範囲内の全ての水平シフト量において行われる。

ステップ３：差分の絶対値の累算を最小にするオフセットが利用され、これがウィンドウ内に含まれる画素の視差に最も合致する値を示す。

量が同じで方向が逆の２つのシフトを行う（つまり、Ｒｙに対してＬｙをシフトし、次にＬｙに対してＲｙをシフトする）ことが好ましく、これによって、ステップ２でのようにして得られる差分絶対値の累算値の積の最小値を求める。使われるシフト量は、積が最小となるもので、これは、ステップ３でのように、視差を示すものとなる。

また、最小累算値で示されるシフト量について、上述のステップ２から得られた画素差分についての画像をウィンドウ内に重ねるのも好ましい。このようにして、ステップ３で示された値がどの程度であるかについて、ユーザがフィードバックを得られることは有益である。

後述の補足説明では、Ｍａｔｈｃａｄ（マスキャド：登録商標）プログラミング言語を用いた上述の方法の実施について言及している。

図１は、本発明の実施形態による映像試験測定装置の視差カーソルを有する表示例を示している。この表示では４つの表示区画に分割され、左上表示区画は被試験３Ｄ画像の左画像１０５を描写し、左下表示区画は被試験３Ｄ画像の右画像１１０を描写し、右下表示区画は被試験３Ｄ画像のアナグリフ１１５を描写し、右上表示区画は被試験３Ｄ画像の輝度差１２０を描写している。また、右上表示区画は、木の左端に位置する視差カーソル１２５と、数値（Disparity：視差）表示欄１３０も描写している。

図１では、視差カーソル１２５で範囲が区切られたウィンドウは、木の幹の左端を跨いでいる。数値表示欄（Readout）１３０は、ウィンドウ内のコンテンツの差分の絶対値を最小にするには、左画像が右画像に対して−１７画素のシフトが必要であることを示している。視差カーソル１２５内の領域は黒色であり、これは、シフトされた左右画像の差分の絶対値がほぼゼロである、言い換えると、良い最小値が見つかったことを示している。

図２では、視差カーソル１２５が、木の幹の右端に動かされている。再び、数値表示１３０は、−１７画素視差を示し、視差カーソル１２５内の領域は黒色であって、これは最適なシフト量の良い推定値が得られたことを示している。

図３では、視差カーソル１２５が木の枝に動かされ、ここは木の幹に比較して、視聴者から奥行きがもっと遠くの位置になる。すると、数値表示１３０は、−１０画素視差の値を示す。再び、視差カーソル１２５内の領域は黒色であって、これは最適なシフト量の良い推定値が得られたことを示している。

数値表示は、表示中の任意の位置に配置しても良い。ある実施形態では、数値表示は、視差カーソルの近くか、視差カーソル内に配置され、視差カーソルの動きに数値表示の位置が追従するようにしても良い。

視差カーソルは、どのような形状でも良い。その形状は、四角形（図で示しめしている）、円形、変則的な形状などでも良い。

ある実施形態では、ユーザが、視差カーソルの大きさや形状を、例えば、そのウィンドウの端を「ドラッグする（マウス・ボタンを押したままマウスを動かす）」ことによって調整できる。

また別の実施形態では、ユーザに正確な視差測定を提供できるように、視差カーソルの大きさや形状を自動で決定するようにしても良い。例えば、視差サーチ・アルゴリズムが、より明確に最小値を得られるように、そのウィンドウの大きさを調整しても良い。

ある実施形態では、Ｌｙ及びＲｙウィンドウを抽出する前に、２つ（左右）輝度画像のエッジをフィルタ処理することで、視差サーチ・アルゴリズムが、より明確に最小値を見つけやすくするようにしている。エッジ・フィルタは、ソーベル・フィルタ（Sobel filter：輪郭を検出するフィルタ）、ロバーツ・フィルタ（Roberts filter：対角方向の階調変化を検出するエッジ検出フィルタ）などのような任意のエッジ・フィルタや勾配フィルタとしても良い。

視差カーソルには、次のようないくつかの利点がある。

１）被試験画像が視差値の異なる多数のオブジェクトを含んでいる場合に、ウィンドウの形状や大きさを、測定したい画像部分だけに絞るよう調整できる。

２）ユーザが被試験画像の特定部分内だけの平均視差に関心がある場合、ユーザはウィンドウをその画像部分に動かすことができる。

３）被試験画像が視差測定が必要ないか又は曖昧な領域を含む場合に、ユーザは、視差測定が意味のある結果を生じる被試験画像の部分にウィンドウを移動させることができる。

４）ユーザは、ウィンドウの内側を見ることで、示されたシフト量について画視差分がどの程度得られたかがわかる。例えば、ウィンドウの内側が完全に黒色領域であれば、示されたシフト量がＬｙとＲｙコンポーネントの完全な差分にほぼ近い結果となったことを示している。

本願で説明した視差カーソルは、例えば、米国テクトロニクス社製ＶＱＳ１０００型ビデオ・クオリティ解析ソフトウェアのようなコンピュータ上で動作するアプリケーション・ソフトウェアなどのような、どのような視差測定アプリケーションでも有用である。ＶＱＳ１０００型ビデオ・クオリティ解析ソフトウェアは、ユーザの感じるサービス品質（ＱｏＥ：quality of experience）のモニタ、ネットワーク・パフォーマンスの最適化、映像配信における問題の遠隔診断サービスなどのために、有用なツールである。

補足説明として、Ｍａｔｈｃａｄ（マスキャド：登録商標）プログラミング言語を用いた具体的な実施例を以下に記載する。図４は、左画像の例であり、頭像の下の箱の中央よりも左側に長方形の視差カーソルが示されている。図５は、右画像の例であり、頭像の下の箱の中央よりも左側に長方形の視差カーソルが示されている。ここで、視差カーソルの大きさＭ×ＮをＭ：＝２０、Ｎ：＝５０とし、更にｍ：＝０・・・Ｍ−１、ｎ：＝０・・・Ｎ−１となるｍ及びｎを定義する。また、視差カーソルの位置をX≡２６０、Ｙ≡８０とする。

ステップ１：エッジをシャープにするために、２つの画像にフィルタ処理を行う。これは、次の数１で示される。

ステップ２：フィルタ処理した画像のそれぞれにウィンドウを作る。これは、次の式で示される。
ＷｉｎＬ_ｍ，ｎ：＝Ｉ_ｌｅｆｔｅ_{Ｘ＋ｍ，Ｙ＋ｎ}
ＷｉｎＲ_ｍ，ｎ：＝Ｉ_ｒｉｇｈｔｅ_{Ｘ＋ｍ，Ｙ＋ｎ}

ステップ３：範囲Ｒを利用して、左画像（Ｌ）を右画像（Ｒ）に対してシフトすると共に、右画像（Ｒ）を左画像（Ｌ）に対してシフトし、各ウィンドウで差分の絶対値を累算する。まず、可変シフト量：Ｒ＝２５として、ｒ：＝０・・・Ｒ−１、ｒｒ：＝１・・・Ｒを定義する。また、０とＮ−１間の画像クリップ（clip）を次の通りとする。
ｃｌｐｎ（ｘ）：＝ｉｆ（ｘ＜０，０，ｘ）
ｃｌｐ（ｘ，Ｎ）：＝ｉｆ（ｘ＞Ｎ−１，Ｎ−１，ｃｌｐｎ（ｘ））

右画像に対して左画像をシフトする処理は、次の数式で示される。

左画像に対して右画像をシフトする処理は、次の数式で示される。

ポジティブ視差及びネガティブ視差を組み合わせて、次の２つのベクトルを生成する。
ＤＬＲ：＝ｓｔａｃｋ（ＤＬＲｎ，ＤＬＲｐ）
ＤＲＬ：＝ｓｔａｃｋ（ＤＲＬｎ，ＤＲＬｐ）

ステップ４：これら２つのベクトルをプロットし（図６参照）、その最小値についてシフト量（視差）を決定する。このとき、Ｄ：＝ｌｅｎｇｔｈ（ＤＬＲ） Ｄ＝５０ ｄ：＝０・・・Ｄ−１とする。

最良の最小値のインデックス（添え字）を見つけるためのサーチ・アルゴリズムは、次の式で示される。

サーチ・アルゴリズムは、各シフト・ベクトルを確認して最小であるものを調べ、その最小値のインデックスを利用する。また、最小値に対する最大値の比を調べ、不明確でレポートすべき視差値を避けるためのしきい値を超えているかを確認する。最小値に対する最大値の比が、このしきい値を下回っている場合、９９のフラグ値がレポートされる。

次の式に示すように、積から最も良い推定視差が得られる。

ステップ５：推定視差（Ｄｘ）を用いて差分の絶対値のウィンドウを作り、画像の上に重ねる。重ねたときの見え方を良くするために、画像をネガティブ画像にして生成する（図７参照）。

図７は、最良のオフセット（Ｄｘ＝−１１）を用いて、左画像−右画像の絶対値を差分ウィンドウと共に示した表示例である。白色の矩形のカーソルが、差分画像の上に配置される。

図８は、本発明による映像試験測定装置１０の一例のブロック図である。被試験３Ｄ映像信号は、左右画像を例えば時分割でフレーム毎に交互に含んでいる。映像信号プロセッサ１２は、被試験３Ｄ映像信号を受けて、例えば、左右画像を上述の如く合成する処理等を行い、例えば、図１〜図３に示した表示に対応するラスタ・スキャン・データを表示メモリ１４に展開する。表示装置１６は、液晶表示装置（ＬＣＤ）などであり、表示メモリ１４からのラスタ・スキャン・データを表示する。ユーザ・インタフェース（ＵＩ）１８は、マウス（ポインティング・デバイス）、キーボードなどから構成され、ユーザの操作に応じて、上述の視差カーソル設定のためのウィンドウを表示装置１６の画面上に表示可能にする。視差計算ブロック２０は、上述の如く、視差カーソル内の視差を計算し、計算結果を映像信号プロセッサ１２に返す。

図８に示した映像試験測定装置１０は、各機能を１つのブロックで示しているが、必ずしも各ブロックが１つのハードウェアに対応するとは限らず、ソフトウェア又はハードウェアのどちらかで実現したり、これらの組合せで実現しても良い。更に、現在では、３Ｄ映像対応パソコンが市販されているので、これに本発明の技術的思想を適用することによって、本発明を実現しても良い。

上述の説明から、本発明が映像試験測定装置に分野において、大きな進歩を与えるものであることが理解されよう。本発明の具体的な実施形態を実例で説明し、実例を説明する目的で記述してきたが、本発明の要旨と範囲から逸脱することなく、多様な変形が可能なことは明らかであろう。

１０ 映像試験測定装置
１２ ３Ｄ映像信号プロセッサ
１４ 表示メモリ
１６ 表示装置
１８ ユーザ・インタフェース装置
２０ 視差計算ブロック
１００ 第１表示例
１０５ 被試験３Ｄ画像の左画像
１１０ 被試験３Ｄ画像の右画像
１１５ 被試験３Ｄ画像のアナグリフ
１２０ 被試験３Ｄ画像の輝度差
１２５ 視差カーソル
１３０ 数値表示欄
２００ 第２表示例
３００ 第３表示例

Claims (2)

1. 被試験３次元画像のある領域を選択するための視差カーソルを表示する表示装置を有するユーザ・インタフェースと、
   選択された上記領域に関する複数のシフト値の中から２つ以上の上記シフト値に関連する複数の差分測定値を計算し、上記差分測定値の中の最小値を求めるプロセッサと
   を具え、
   上記ユーザ・インタフェースは、求めた上記最小値に関連する上記シフト値についての視差値を、選択された上記領域の視差値として上記表示装置上でユーザにレポートすると共に、上記視差カーソルの見え方を上記最小値に応じて変化させる試験測定装置。
2. 上記プロセッサが、更に、複数の上記差分測定値の中の最大値を求め、上記最小値と上記最大値の比率が所定のしきい値を超えているか否かのレポートを上記表示装置上に表示させる請求項１記載の試験測定装置。