JP5100859B2

JP5100859B2 - 映像処理装置及び映像処理方法

Info

Publication number: JP5100859B2
Application number: JP2011097473A
Authority: JP
Inventors: 守小林; 慎宮原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-04-25
Filing date: 2011-04-25
Publication date: 2012-12-19
Anticipated expiration: 2031-04-25
Also published as: JP2012231253A; US20120268560A1; US8537202B2

Description

本発明の実施形態は、立体視映像の Side by Side と Top and bottom の各方式を自動検出する映像処理装置及び映像処理方法に関する。

近年、放送による立体視映像コンテンツが登場し、TVセットおいてもSide By Side方式、Top And Bottom方式、Frame Packing方式などで送信された立体視映像の対応テレビも販売されている。しかし、現在3Dフラグの無い立体視映像の信号は一部の方式（例えば、Field alternative、特許文献１を参照）を除いて映像信号の判定を行うことが出来ないため、ユーザにより2D/3D画面の選択が必要である。

即ち、立体視映像の各方式または2D/3Dの区別を自動検出することへの要望がある。

特開平１１−６９３８４号公報

本発明の実施の形態は、立体視映像の各方式または2D/3Dの区別を自動検出することができる映像処理装置及び映像処理方法を提供することを目的とする。

上記課題を解決するために、実施形態によれば映像処理装置は、映像が表示される画面上のエリアを縦方向に４分割し、分割した４つのエリアの画素の輝度レベルに基づいて各エリア毎の輝度ヒストグラムを生成し、前記エリアを横方向に４分割し、分割した４つのエリアの画素の輝度レベルに基づいて各エリア毎の輝度ヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成された前記エリア毎の輝度ヒストグラムを分割方向毎に比較し、分割方向毎の比較結果に応じて、前記映像が立体視映像か否か、また前記映像が立体視映像である場合には前記映像の立体視映像方式を判定する判定手段とを具備する。

本発明の一実施形態である映像処理装置の構成を示すブロック図。同実施形態のSide By Side判定用輝度ヒストグラムウィンドウを説明するための図。同実施形態のTop And Bottom判定用輝度ヒストグラムウィンドウを説明するための図。同実施形態のSBS、TAB判定フローチャート。

以下、一実施形態を図１乃至図４を参照して説明する。
まず、図１を参照して、一実施形態である映像処理装置の一例としてのデジタルテレビジョン受信機１１を説明する。
デジタルテレビジョン受信機１１は、映像表示部１４、スピーカ１５、操作部１６、受光部１８、放送信号入力端子４８，５３、アナログ信号入力端子６０、出力端子６３，６４、チューナ４９，５４，５６、ＰＳＫ復調器５０、ＯＦＤＭ復調器５５、アナログ復調器５７、信号処理部５１、音声処理部５９、グラフィック処理部５８、映像処理部６２、ＯＳＤ信号生成部６１、制御部６５等を備える。

また、放送信号入力端子４８及び放送信号入力端子５３には、それぞれＢＳ／ＣＳデジタル放送受信用アンテナ４７及び地上波放送受信用アンテナ５２が接続される。受光部１８は、リモートコントローラ１７から出力される信号を受信する。このリモートコントローラ１７には、図示せぬ後述の自動フォーマット判定ボタンが備えられていて2D/3D判定が必要なときにユーザが用いる。

制御部６５は、デジタルテレビジョン受信機１１内の各部の動作を制御する。制御部６５は、ＣＰＵ６９、ＲＯＭ６６、ＲＡＭ６７、及び不揮発性メモリ６８を備える。ＲＯＭ６６は、ＣＰＵ６９によって実行される制御プログラムを格納する。不揮発性メモリ６８は、各種の設定情報及び制御情報を格納する。ＣＰＵ６９は、処理に必要な命令群及びデータをＲＡＭ６７にロードし、処理を実行する。

制御部６５には、操作部１６による操作情報、もしくは受光部１８で受信されるリモートコントローラ１７による操作情報が入力される。制御部６５は、この操作内容を反映した各部の制御を行う。

ＢＳ／ＣＳデジタル放送受信用アンテナ４７は、衛星デジタルテレビジョン放送信号を受信する。ＢＳ／ＣＳデジタル放送受信用アンテナ４７は、受信した衛星デジタルテレビジョン放送信号を、入力端子４８を介して衛星デジタル放送用のチューナ４９に出力する。チューナ４９は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ４９は、選局した放送信号をＰＳＫ復調器５０に出力する。ＰＳＫ（Phase Shift Keying）復調器５０は、チューナ４９により選局された放送信号をデジタルの映像信号及び音声信号に復調する。ＰＳＫ復調器５０は、復調したデジタルの映像信号及び音声信号を信号処理部５１に出力する。

地上波放送受信用アンテナ５２は、地上デジタルテレビジョン放送信号及び地上アナログテレビジョン放送信号を受信する。地上波放送受信用アンテナ５２は、地上デジタルテレビジョン放送信号を、入力端子５３を介してチューナ５４に出力する。チューナ５４は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ５４は、選局した放送信号をＯＦＤＭ復調器５５に出力する。ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）復調器５５は、チューナ５４により選局された放送信号をデジタルの映像信号及び音声信号に復調する。ＯＦＤＭ復調器５５は復調したデジタルの映像信号及び音声信号を信号処理部５１に出力する。

また、地上波放送受信用アンテナ５２は、地上アナログテレビジョン放送信号を、入力端子５３を介して地上アナログ放送用のチューナ５６に出力する。チューナ５６は、この放送信号からユーザが選択しているチャンネルの放送信号を選局する。チューナ５６は選局した放送信号をアナログ復調器５７に出力する。アナログ復調器５７は、チューナ５６により選局された放送信号をアナログの映像信号及び音声信号に復調する。アナログ復調器５７は、復調したアナログの映像信号及び音声信号を信号処理部５１に出力する。

また、信号処理部５１には、入力端子６０が接続される。この入力端子６０は、デジタルテレビジョン受信機１１に対して、外部からアナログの映像信号及び音声信号を入力するための端子である。信号処理部５１は、アナログ復調器５７又は入力端子６０を介して入力されたアナログの映像信号及び音声信号を、それぞれデジタルの映像信号及び音声信号に変換する。

信号処理部５１は、変換されたデジタルの映像信号及び音声信号、並びにＰＳＫ復調器５０又はＯＦＤＭ復調器５５から入力されたデジタルの映像信号及び音声信号に対して所定のデジタル信号処理を施す。信号処理部５１は、所定のデジタル信号処理を施した映像信号及び音声信号を、グラフィック処理部５８及び音声処理部５９に出力する。

グラフィック処理部５８は、信号処理部５１から出力されるデジタル映像信号に、ＯＳＤ（On Screen Display）信号生成部６１で生成されるメニュー等のＯＳＤ信号を重畳する。グラフィック処理部５８は、ＯＳＤ信号が重畳された映像信号を映像処理部６２に出力する。また、グラフィック処理部５８は、信号処理部５１の出力である映像信号と、ＯＳＤ信号生成部６１の出力であるＯＳＤ信号とを選択的に出力してもよい。

映像処理部６２は、入力されたデジタル映像信号を、映像表示部１４で表示可能なアナログ映像信号に変換する。映像処理部６２は、このアナログ映像信号を映像表示部１４に出力する。映像表示部１４は、入力されたアナログ映像信号に基づいて映像を表示する。映像処理部６２はさらに、出力端子６３を介してアナログ映像信号を外部に導出してもよい。

音声処理部５９は、入力されたデジタル音声信号を、スピーカ１５で再生可能なアナログ音声信号に変換する。音声処理部５９は、このアナログ音声信号をスピーカ１５に出力する。スピーカ１５は、入力されたアナログ音声信号に基づいて音声を再生する。音声処理部５９はさらに、出力端子６４を介してアナログ音声信号を外部に導出してもよい。

信号処理部５１は、ヒストグラム検出部１０４を備える。後述の図示せぬキャプチャーバッファはこのヒストグラム検出部１０４に在るかまたは外部に在ってヒストグラム検出部１０４へ静止画とされた入力画像を供給する。

また、映像処理部６２は、2D/3D処理部１０８を備える。信号処理部５１では、処理対象の映像信号１０１のうち、例えば輝度信号（Ｙ）１０１ａがヒストグラム検出部１０４に入力される。ヒストグラム検出部１０４は、輝度信号（Ｙ）１０１ａからヒストグラムを生成し、生成したヒストグラム（と図４で説明する各判定結果）に基づいて、2D/3D処理部１０８による表示に用いるパラメータを生成する。映像処理部６２では、映像信号１０１が2D/3D処理部１０８に入力される。2D/3D処理部１０８は、ヒストグラム検出部１０４により生成されたパラメータに基づいて、映像信号１０１を表示する。

図２は、ヒストグラム検出部１０４の機能に関するSide By Side（以下SBS）判定用輝度ヒストグラムウィンドウを説明するための図である。
図２（ａ）のように縦方向に領域をHA、HB、HC、HDと4エリアにウィンドウ分割した輝度ヒストグラムを取得する。図２（ｂ）のように輝度レベルが０から２５５まであるピクセル数を、後述のようにこの各エリアにおいて集計する。

図３は、ヒストグラム検出部１０４の機能に関するTop And Bottom（以下TAB）判定用輝度ヒストグラムウィンドウを説明するための図である。
図３（ａ）のように横方向に領域をVA、VB、VC、VDと4エリアにウィンドウ分割した輝度ヒストグラムを取得する。図３（ｂ）のように輝度レベルが０から２５５まであるピクセル数を、後述のようにこの各エリアにおいて集計する。

図４は、実施形態のSBS、TAB判定フローチャートである。前述の自動フォーマット判定ボタンをユーザが押すことにより、制御部６５を通じて信号処理部５１にトリガーがかけられて開始する。

まず、判定に使用する任意の設定値X１、X２、X３、X４、Y１、Y２、Y３、Y４、Z１、Z２を設定する（ステップＳ４１）。この際、SBS検出カウンタとTAB検出カウンタをリセットする（ステップＳ４３）。そして、信号処理部５１への入力画像を静止画とし、キャプチャーバッファに蓄える（ステップＳ４４）。蓄えた静止画像より、まずは確率の高いSBSの判定を行うため、縦方向に領域をHA、HB、HC、HDと4エリアに分割した輝度ヒストグラムを取得する（ステップＳ４５）。

このヒストグラムウィンドウを図２に示している。計算方法はHAとHB、HCとHD、HAとHC、HBとHDの各々輝度値０から２５５までの輝度差を総加算し、絶対値を算出する（ステップＳ４６）。この算出結果を用いて、判定１：(SBS1＞X1) AND (SBS２＞X２) AND (SBS３<X３) AND (SBS４<X４)が成立する場合は（ステップＳ４７のＹｅｓ）「Side By Side(以下、SBSと記載)画像と判定」することが出来（ステップＳ４７Ａ）処理を終了する。この判定１が不成立の場合は（ステップＳ４７のＮｏ）、判定２：(SBS3≧X３）OR （SBS≧X４）の判定を行い、成立していれば（ステップＳ４８のＹｅｓ）「Side By Side画像でないと判定」することが出来る（ステップＳ４９）。そして、次のTop And Bottom(以下、TABと記載)の判定へと移行する（ステップＳ５０）。上記判定２が不成立の場合は（ステップＳ４８のＮｏ）SBS検出カウンタ値を１増やし（ステップＳ４８Ａ）、判定３：SBS検出カウンタ<Z１の成立判定を行う（ステップＳ４８Ｂ）。ここで、判定３が成立する場合は（ステップＳ４８ＢのＹｅｓ）次のTABの判定（ステップＳ５０から）へと移行する。判定３が成立しない場合は（ステップＳ４８ＢのＮｏ）「SBSと判定出来ず」という結果となり（ステップＳ４８Ｃ）処理を終了する。

次に判定２成立と判定３成立の次の工程となるTABの判定を行う。横方向に領域をVA、VB、VC、VDと4エリアに分割した輝度ヒストグラムを取得する（ステップＳ５０）。このヒストグラムウィンドウを図３に示している。計算方法はVAとVB、VCとVD、VAとVC、VBとVDの各々輝度値０から２５５までの輝度差を総加算し、絶対値を算出する（ステップＳ５１）。この算出結果を用いて、判定４：(TAB1＞Y1) AND (TAB２＞Y２) AND (TAB３<Y３) AND (TAB４<Y４)が成立する場合は（ステップＳ５２のＹｅｓ）「TAB画像と判定」することが出来（ステップＳ５２Ａ）処理を終了する。この判定４が不成立の場合は（ステップＳ５２のＮｏ）、判定５：(TAB３≧Y３）OR （TAB４≧Y４）の判定を行い、成立していれば（ステップＳ５３のＹｅｓ）「TAB画像でないと判定」することが出来る（ステップＳ５４）。そして、判定７へ移行する（ステップＳ５５）。上記判定５が不成立の場合は（ステップＳ５３のＮｏ）不成立の場合はTAB検出カウンタ値を１増やし（ステップＳ５３Ａ）、判定６：TAB検出カウンタ<Z２の成立判定を行う（ステップＳ５３Ｂ）。ここで、判定６が成立する場合は（ステップＳ５３ＢのＹｅｓ）SBS１〜SBS４の計算へ戻り、再判定を行う（ステップＳ４６から）。判定６が成立しない場合は「TABと判定出来ず」という結果となり（ステップＳ５３Ｃ）処理を終了する。

最後に判定５成立の次の工程となる判定７：「SBS画像でないと判定」かつ「TAB画像でないと判定」より（ステップＳ５５）、成立していれば（ステップＳ５５のＹｅｓ）「通常の２D映像と判定」とし（ステップＳ５６）終了する。不成立の場合は（ステップＳ５５のＮｏ）入力画像を静止画にし、キャプチャーバッファへ蓄積する工程へと戻る（ステップＳ４４）。

以上は輝度値のヒストグラムを利用したが、色合いのヒストグラムを用いてもよい。
以上の実施形態により、3Dフラグの無い入力信号でもSBS画像、TAB画像と通常の２D画像を判定することが可能となる。
簡単な操作にて精度が高いSBS画像、TAB画像、通常の2D画像を判定することが可能となる。また、この判定を使用することにより立体視映像における特有の設定を行うことが可能となる。例えば、2D映像よりシャープネス感を強くすると適正な映像となることがある。

本実施形態により得られる効果を下記に示す。
（１）3Dフラグの無い入力信号をヒストグラムにより、Side By Side方式とTop And Bottom方式を判定することが可能となる。
（２）立体視映像の場合は、自動で3D画面へ切替ることが可能となる。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

１０１…映像信号、１０１ａ…輝度信号（Ｙ）、１０４…ヒストグラム検出部、１０５…周波数状態判定部、１０６…フィルタ制御パラメータ、１０７…鮮鋭化効果制御パラメータ、１０８…2D/3D処理部。

Claims

映像が表示される画面上のエリアを縦方向に４分割し、分割した４つのエリアの画素の輝度レベルに基づいて各エリア毎の輝度ヒストグラムを生成し、前記エリアを横方向に４分割し、分割した４つのエリアの画素の輝度レベルに基づいて各エリア毎の輝度ヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成された前記エリア毎の輝度ヒストグラムを分割方向毎に比較し、分割方向毎の比較結果に応じて、前記映像が立体視映像か否か、また前記映像が立体視映像である場合には前記映像の立体視映像方式を判定する判定手段と
を具備する映像処理装置。
前記判定手段は、
前記縦方向に４分割したエリアの輝度ヒストグラムの比較結果から立体視映像方式がSide By Side方式か否かを判定し、前記横方向に４分割したエリアの輝度ヒストグラムの比較結果から立体視映像方式がTop And Bottom方式であるか否かを判定する請求項１に記載の映像処理装置。
更に表示手段を備え、この表示手段は前記立体視映像を表示する請求項１に記載の映像処理装置。
映像が表示される画面上のエリアを縦方向に４分割し、分割した４つのエリアの画素の輝度レベルに基づいて各エリア毎の輝度ヒストグラムを生成し、前記エリアを横方向に４分割し、分割した４つのエリアの画素の輝度レベルに基づいて各エリア毎の輝度ヒストグラムを生成し、
生成された前記エリア毎の輝度ヒストグラムを分割方向毎に比較し、分割方向毎の比較結果に応じて、前記映像が立体視映像か否か、また前記映像が立体視映像である場合には前記映像の立体視映像方式を判定する映像処理方法。