WO2011099166A1

WO2011099166A1 - 立体映像処理装置

Info

Publication number: WO2011099166A1
Application number: PCT/JP2010/052228
Authority: WO
Inventors: 今井豊
Original assignee: スカパーＪｓａｔ株式会社
Priority date: 2010-02-15
Filing date: 2010-02-15
Publication date: 2011-08-18

Abstract

　立体映像処理装置が、立体映像コンテンツの映像信号を入力するための入力部と、前記入力部から入力される映像信号の各フレームについて、立体映像の品質に影響を与えるパラメータである立体視パラメータの値を抽出する抽出部と、前記抽出部で抽出された各フレームの立体視パラメータの値を、前記映像信号に含まれている各フレームのタイムコードとともに、データとして出力する出力部と、を有する。これにより、問題のある可能性が高いフレーム箇所を迅速かつ正確にサーチするのに役立つデータを自動で生成する。

Description

立体映像処理装置

　本発明は、立体映像コンテンツの検査、分析、編集、修正等の処理を簡易化するための技術に関する。

　立体映像（３Ｄ映像又はステレオ映像ともいう）の視聴が可能な家庭用のテレビジョン装置（３Ｄテレビ）が市場に投入される時期にあわせ、衛星放送、地上波放送、有線放送などの放送各社も立体映像番組の放送サービスの開始を予定している。また、３Ｄテレビの普及に伴い、通信回線を利用した動画配信サービスや動画共有サービスにおいても、立体映像の動画コンテンツが多く登場するようになるものと予想される。

　立体映像の基本原理は、視差をつけた右画像と左画像を表示し、右画像のみを視聴者の右眼に、左画像のみを視聴者の左眼にそれぞれ到達させることで、視聴者の脳内において立体像を構築させるというものである。右画像と左画像の差異が視聴者の左右の眼の間隔に対応した水平方向の視差のみである、というのが理想的な立体映像であり、この場合は立体視を容易に行うことができる。しかし、一般に右画像と左画像は異なる撮像系で撮影されるため、右画像と左画像の間には、水平視差だけでなく、垂直方向の位置ずれや色・輝度の差などの様々な差異が含まれるのが実際である。これらの差異が大きくなると、立体視を行うのが困難となり、立体映像として見えなかったり、眼精疲労や頭痛などの不快感を引き起こす原因ともなる。

　放送や動画配信などのサービスは不特定多数の視聴者に利用されるため、そのサービス提供者（放送事業者、プラットフォーム事業者、動画配信サイトの運営者など）には、上記のような問題を含む立体映像を放送又は提供することがないよう、十分な注意を図ることが望まれる。また、視聴者から立体映像の問題が報告された場合には、その箇所を特定するとともに問題の原因を分析し、必要に応じて映像を編集又は修正することが必要となる。

　しかしながら、現時点では、立体映像に問題がないかを検査するための有効な方法が無い。例えば、目視による映像全編の検査は膨大な時間がかかるとともに、問題箇所を見落とす可能性がある。また仮に映像を見ながら問題箇所を発見できたとしても、その問題箇所が映像中のどのフレームやどの箇所、範囲に該当するのか不明なため、映像の編集・修正作業をする段階で絵柄の見た目を頼りに問題のフレームを探さなければならない。視聴者から報告を受けた問題箇所の場合は、絵柄の見た目も不明であるため、問題のフレームや箇所、範囲を特定することは一層困難になる。

　放送コンテンツをリアルタイムに監視する場合は、問題箇所を検出した時刻（実時間）を記録しておくという方法も考えられる。しかし、放送コンテンツのタイムコードでは通常ドロップフレームが使用されるため、長時間の監視では実時間とタイムコードの間にずれがでる。そのため、実時間における検出時刻が分かっても、映像中のフレーム位置を直接的に特定することにはならず、結局、問題のフレームを探す手間が生じる。また、映像送出に使用するビデオ映像には放送された時間ではなく自己の映像の累進時間もしくはタイムコードが使われているため、放送時間から問題の箇所を特定するには手間がかかったり、ＣＭ時間の勘案などによる狂いも考えられる。

　本発明は上記実情に鑑みてなされたものであって、その目的とするところは、立体映像コンテンツの検査、分析、編集、修正等の処理を簡易化するための技術を提供することにある。

　本発明に係る立体映像処理装置は、立体映像コンテンツの映像信号を入力するための入力部と、前記入力部から入力される映像信号の各フレームについて、立体映像の品質に影響を与えるパラメータである立体視パラメータの値を抽出する抽出部と、前記抽出部で抽出された各フレームの立体視パラメータの値を、前記映像信号に含まれている各フレームのタイムコードとともに、データとして出力する出力部と、を有する。

　ここで、「立体映像コンテンツ」は、少なくとも一部に立体映像を含む映像コンテンツを意味し、衛星放送・地上波放送・有線放送などで放送するための放送番組や、インターネットなどの電気通信回線を通じて提供するための動画などを含む概念である。

　「立体映像の品質」とは、解像度・階調性といった画像そのものの品質や、被写体・ストーリーといった内容に関する品質を指すのではなく、立体視のしやすさや、視聴者の眼に与える負担や違和感の小ささのことを意味する。具体的には、「立体映像の品質に影響を与えるパラメータ（立体視パラメータ）」としては、左画像と右画像の間における、水平方向の視差、垂直方向の位置ずれ、回転ずれ、ズーム比率の差、色の差、ホワイトバランスの差、輝度の差、シャープネスの差などがある。これら全てのパラメータを抽出する必要はなく、装置の設計や用途に応じて抽出対象とするパラメータの種類を決定すればよい。

　本発明によれば、各フレームのタイムコードと立体視パラメータの値を対応づけたデータを自動で生成することができる。このデータを参照すれば、問題のある可能性が高いフレーム（例えば立体視パラメータの値が許容値から外れているフレーム）を立体映像コンテンツの中から迅速かつ正確にサーチすることができるので、立体映像コンテンツの検査、分析、編集、修正等の処理の簡易化及び効率化を図ることができる。

　本発明において、前記抽出部は、前記映像信号の各フレームの左画像と右画像を解析することによって、立体視パラメータの値を算出することが好ましい。また、前記出力部から出力されたデータを読み込み、フレーム毎の立体視パラメータの値をタイムコードに沿って時系列に表示する表示部をさらに有することが好ましい。また、前記映像信号にタイムコードが含まれていない場合に、前記出力部は、タイムコードの代わりに前記立体映像コンテンツの先頭からの時間情報を立体視パラメータに付加することが好ましい。また、前記立体視パラメータの値が所定の許容値から外れている場合に、警告を出力する警告部をさらに有することが好ましい。また、前記立体視パラメータの値が所定の許容値から外れている場合に、前記立体視パラメータの値が前記許容値に収まるように当該フレームの画像を補正する画像補正部をさらに有することが好ましい。

　なお、本発明は上記構成の少なくとも一部を備える「立体映像処理装置」（又は「立体映像処理システム」）として捉えることもできるし、上記処理の少なくとも一部を備える「立体映像処理方法」として捉えることもできる。更には、本発明は、上記処理の少なくとも一部をコンピュータに実行させるためのプログラムや、そのプログラムを記録したコンピュータ読み取り可能な記録媒体として捉えることもできる。

　本発明によれば、問題のある可能性が高いフレームや箇所、範囲を迅速かつ正確にサーチするのに役立つデータを自動で生成でき、立体映像コンテンツの検査、分析、編集、修正等の処理の簡易化及び効率化を図ることができる。

図１は立体映像処理装置の構成を示すブロック図。図２はデータ出力部から出力されるデータの一例を示す図。図３はデータ解析表示部の表示画面の一例を示す図。図４は放送中の映像をモニタリングする立体映像監視システムの構成を示す図。図５は放送原版受け入れ時の検査を行うための検査システムの構成を示す図。図６は問題のあるフレームや範囲の画像を自動で修正するための映像補正システムの構成を示す図。

　以下に図面を参照して、本発明の実施形態に係る立体映像処理装置について詳しく説明する。

　図１は、立体映像処理装置の構成を示すブロック図である。立体映像処理装置１は基本機能として映像入力部１０、パラメータ抽出部１１、及び、データ出力部１２を有している。データ解析表示部１３、警告部１４、及び、画像補正部１５は追加的機能であり、立体映像処理装置１の用途などに応じて適宜設けることができる。この立体映像処理装置１は例えばイメージプロセッサを備えるコンピュータにより構成可能であり、上記各機能はイメージプロセッサ若しくはコンピュータのＣＰＵがプログラムを実行することにより実現されるものである。

　映像入力部１０は、立体映像コンテンツの映像信号を入力するための機能である。映像入力部１０は、ＨＤ－ＳＤＩ、ＨＤＭＩなどの入力端子から入力された立体映像信号に対して必要な処理を行い、各フレームの右画像及び左画像を抽出するとともに、当該フレームや範囲のタイムコードを抽出する。抽出した画像はパラメータ抽出部１１に引き渡され、タイムコードはデータ出力部１２に引き渡される。入力される立体映像信号としては、例えばSide-by-Side形式又はLine-By-Line形式の１０８０ｐ信号が考えられる。ただし入力信号の形式はこれに限られず、デュアルストリームなど任意の形式の映像信号を用いることができる。

　パラメータ抽出部１１は、映像入力部１０から受け取った右画像及び左画像を解析することにより、立体映像の品質に影響を与えるパラメータ（立体視パラメータ）の値を抽出する機能である。ここで抽出された立体視パラメータの値はデータ出力部１２に引き渡される。

　立体視パラメータの典型は、水平方向の視差（水平視差）である。水平視差は立体像の結像位置（奥行）を決定する重要なパラメータであり、これが適切に設定されていない場合には立体像に違和感を覚える。また水平視差が視聴者の左右の眼の間隔よりも大きい場合は、立体視をすることができないか極めて困難で、身体的に不快な映像となる。左画像と右画像の水平視差を求める手法としては、ブロックマッチング、Graph Cut、Belief Propagationなどを利用することができる。通常、画像の中には複数の物体が含まれており、それぞれの物体はその奥行距離に応じて異なる水平視差をもつ。立体視パラメータとして画像中の全物体の水平視差を抽出してもよいが、本実施形態ではデータ量削減のために水平視差の最小値・最大値・平均値を主なものとして抽出する。

　また立体視パラメータとしては、垂直方向の位置ずれ（垂直ずれ）、回転ずれ（傾き）、ズーム比率の差、色の差、ホワイトバランスの差、輝度の差、シャープネスの差などもある。これらの差異が大きくなると、立体視を行うのが困難となり、立体映像として見えなかったり、眼精疲労や頭痛などの不快感を引き起こす原因ともなる。垂直ずれ及び回転ずれは、左右の撮像系のアライメントミスに起因する。垂直ずれ及び回転ずれも水平視差と同じ手法で求めることができる。あるいはずれ量を少しずつ変えながら左画像と右画像の差分値を評価し、差分値が最小となるずれ量を求めてもよい。ズーム比率の差とは右画像と左画像の間での被写体サイズの差である。これは左右の撮像系のズーム比率の不一致や光軸方向のアライメントミスが原因で生じるものである。ズーム比率の差については、水平視差を求めたときに左画像と右画像の対応点が分かっているので、例えば左画像中の２点間の距離と右画像中の対応する２点間の距離とを比較することで算出することができる。色の差、ホワイトバランスの差、輝度の差、シャープネスの差は、撮像系の個体差や内部カメラパラメータのミスマッチなどに起因するものである。色の差、ホワイトバランスの差、及び輝度の差は例えばヒストグラムや適当な評価式を用いることで評価することができる。またシャープネス（若しくはボケ量）は例えばバンドパスフィルタなどを利用することで評価することができる。

　データ出力部１２は、映像入力部１０から受け取ったタイムコードと、パラメータ抽出部１１から受け取った立体視パラメータの値とを対応づけて、データとして出力する機能である。図２は、データ出力部１２から出力されるデータの一例を示している。図２における１つの行は１つのフレームのデータを示しており、コンテンツの先頭フレームから順に全てのフレームのデータが記録されている。各フレームのデータは、タイムコード、実時間、水平視差（最小値、最大値、平均値）、垂直ずれ、回転ずれ、ズーム比率の差、色の差、ホワイトバランスの差、輝度の差、シャープネスの差から構成されている。このデータは立体映像処理装置１の内部若しくは外部の記憶媒体にファイル出力されるか、ＲＳ－２３２Ｃ、ＵＳＢ、ＬＡＮなどを介して外部装置に転送される。出力されるデータについては、不快感を引き起こす可能性のある値のみ表示し全体のデータ量削減を行なうこともできる。

　データ解析表示部１３は、データ出力部１２から出力されたデータを読み込み、フレーム毎の立体視パラメータの値をタイムコードに沿って時系列に表示する機能である。また、データ解析表示部１３は、予め設定された基準データに基づいて、各パラメータの値が許容値に収まっているか否かを判断し、許容値から外れるパラメータを含むフレーム（つまり問題のある可能性が高いフレーム）を自動的に検出し表示する機能も有する。基準データとは各立体視パラメータの許容値（立体映像としての品質を保証できる範囲）を規定するデータである。許容値については本装置のユーザが自由に設定できることが望ましい。視聴者の年齢、映像の種類や解像度などによって許容値が変わり得るからである。例えば、子供は大人に比べて左右の眼の間隔が小さいため、子供用のコンテンツでは水平視差の許容値を大人用のコンテンツに比べて小さい値に設定するとよい。

　図３は、データ解析表示部１３の表示画面の一例を示している。画面下段のグラフは、水平視差の最大値の時系列データと色の差の時系列データを示している。横軸はタイムコードである。破線は許容値を示している。また画面上段には、グラフ上で選択されたフレームの左画像及び右画像が表示されている。画面左から順に、正常なフレーム、水平視差（最大値）が許容値を超えているフレーム、色の差が許容値を超えているフレーム、水平視差（最大値）が許容値を超えているフレームを示している。このような画面によれば、立体視パラメータの値が許容値を超えているフレームを直ぐに判別し、映像を確認することができる。しかもそれらのフレームのタイムコードが分かるため、当該映像コンテンツを編集システムで編集・修正する際に、該当フレームを簡単かつ正確に特定することができる。なお図３の例では左画像と右画像を画面の別領域に表示しているが、立体映像表示、オーバーレイ表示、差分画像表示などを行うことも好ましい。

　警告部１４は、立体視パラメータの値が許容値から外れているフレームを検出した場合に警告を出力する機能である。警告の出力の仕方としては、警告メッセージを画面出力する方法、警告音を報知する方法、警告信号を外部装置へ出力する方法などが想定され、そのいずれでも構わない。

　画像補正部１５は、立体視パラメータの値が許容値から外れている場合に、その立体視パラメータの値が許容値に収まるように当該フレームの画像を補正する機能である。具体的には、画像補正部１５は、許容値から外れているパラメータを検出した場合に、パラメータの値と許容値とを比較し画像補正により解決可能か否かを判断する。そして、解決可能と判断した場合には、左画像と右画像のうち少なくとも一方の画像を補正する。例えば水平視差、垂直ずれ、回転ずれなどは左画像と右画像を相対的に移動又は回転させることで補正することができる。ズーム比率の差は一方の画像を拡大又は縮小することで補正できる。また色の差、ホワイトバランスの差、輝度の差などはガンマ変換やマトリクス変換などを行うことで補正することができる。シャープネスの差については一方の画像に対してぼかしフィルタ又はシャープネスフィルタをかけることで補正が可能である。

　上記構成の立体映像処理装置１によれば、各フレームのタイムコードと立体視パラメータの値を対応づけたデータを自動で生成することができる。このデータを参照すれば、問題のある可能性が高いフレーム（例えば立体視パラメータの値が許容値から外れているフレーム）を立体映像コンテンツの中から迅速かつ正確にサーチすることができるので、立体映像コンテンツの検査、分析、編集、修正等の処理の簡易化及び効率化を図ることができる。

　次に、本装置の具体的な適用例について説明する。

　（１）放送中の映像のモニタリング
　図４に、放送中の立体映像をリアルタイムにモニタリングする立体映像監視システムの構成を示す。映像サーバ４０には立体映像番組のデータが蓄積されており、番組の放送スケジュールにあわせて衛星へと伝送される。そして、立体映像番組の放送と同期して、その番組の映像信号が監視装置４１と立体映像処理装置１に入力される。監視装置４１では映像信号が再生され、監視者による映像のチェックが行われる。一方、立体映像処理装置１は、前述のとおり、入力映像信号に基づいてタイムコードと立体視パラメータが対応づけられたデータを生成する。また、立体視パラメータの値が許容値を外れるフレームが検出された場合には、立体映像処理装置１の警告部１４から監視装置４１へと警告信号が送信される。警告信号には問題が検出されたフレームのタイムコードと問題の内容とが含まれており、それらの情報が監視装置４１のモニタ上に表示される。これによりリアルタイムの監視及び問題箇所の発見が容易となる。そして、全てのフレームの情報がデータとして蓄積されるため、問題箇所の確認や分析を後から行うのが容易となる。例えば立体映像番組を見ていた視聴者から問題箇所の報告を受けた場合も、その映像が現れた大まかな時刻さえ分かれば、その時刻の前後のフレームから立体視パラメータの値が適切でない箇所を探せばよいので、問題のあるフレームや箇所、範囲を迅速かつ正確に特定することができる。

　（２）放送原版受け入れ時の検査
　図５に、放送原版受け入れ時の検査を行うための検査システムの構成を示す。このシステムは、編集済みの完全パッケージメディア（完全プログラムともいう）の形式で納品される立体映像コンテンツに対し、自動で立体映像の検査を行うためのものである。立体映像コンテンツは、ビデオテープ５０などの記録媒体に記録された形で納品されるか、通信回線５１を通じてデータ納品される。ビデオテープ５０の場合はビデオデッキ５２にて映像が再生され、入力ＩＦ５３を介して映像サーバ５４にデジタルデータとして蓄積される。データ納品の場合には、その映像データが入力ＩＦ５３を介して映像サーバ５４に蓄積される。

　立体映像処理装置１には、入力ＩＦ５３又は映像サーバ５４から検査対象となるコンテンツの映像信号が入力される。立体映像処理装置１では、前述のとおり、入力映像信号に基づいてタイムコードと立体視パラメータが対応づけられたデータを生成する。立体視パラメータの値が許容値を外れるフレームが検出された場合には、警告部１４から映像サーバ５４や監視装置５５へ警告信号を送信し、該当するフレームや箇所の目視による再確認を促すことができる。また必要に応じて、画像補正部１５で補正の可否を判断し、画像補正の方法とその推奨値を出力することも好ましい。これにより、問題のあるフレームのタイムコードと補正方法が分かるので、映像の編集・修正作業が容易になる。なお、図５では、立体映像処理装置１による自動検査と並行して監視装置５５による目視検査も実施するシステムを例示しているが、目視検査が不要な場合には監視装置５５を無くし立体映像処理装置１による自動検査だけでもよい。

　（３）映像補正システム
　図６に、問題のあるフレームの画像を自動で修正するための映像補正システムの構成を示す。映像信号出力元（映像サーバなど）６０から放送番組の映像信号が立体映像処理装置１に入力される。立体映像処理装置１では、入力映像信号に基づいてタイムコードと立体視パラメータが対応づけられたデータを生成する。そして、立体視パラメータの値が許容値を外れるフレームが検出された場合は、画像補正部１５で補正の可否を判断し、補正可能であれば当該フレームの画像を自動で補正する。補正された画像はＩ／Ｆ６１に送出される。一方、Ｉ／Ｆ６１には映像信号出力元６０からオリジナルの映像信号も入力される（ただし、立体映像処理装置１での処理時間を確保するため、立体映像処理装置１に入力される映像信号に対して所定のディレイタイムが設けられている）。Ｉ／Ｆ６１は、原則、映像信号出力元６０から入力される映像信号をスルーし衛星へ伝送するが、立体映像処理装置１から補正画像を受け取った場合は該当するフレームの画像を補正画像に差し替える。その結果は監視装置６２及び立体映像処理装置１にフィードバックされる。このようなシステムによれば、放送中の立体映像をリアルタイムに監視しつつ、問題のありそうなフレームを自動で修正でき、高品位な立体映像の放送が可能となる。

　上記（１）～（３）以外にも立体映像処理装置１の適用例として次のものが想定される。
　・編集システムのスイッチャー、ビデオデッキ、カラーコレクターへの実装
　・放送送出側の基準信号発生モジュールへの実装
　・静止画表示機器（立体静止画のスライドショー表示）への実装、立体静止画プリンターへの実装
　・カムコーダー、ＤＳＣへの搭載による簡易計測器としての利用

　以上、具体的な実施形態を例示して本発明について詳しく説明したが、本発明の範囲は上記実施形態のものに限られることはなく、その技術思想の範囲内で種々の変形が可能である。例えば、上記実施形態では立体視パラメータを左右の画像を解析することにより算出したが、入力映像信号に立体視パラメータが重畳されている場合には、その映像信号から抽出した立体視パラメータを用いることもできる。また立体視パラメータの種類は上記実施形態で挙げたものに限られず、例えば左右の撮像系の光軸間距離や角度などのカメラパラメータ（撮像系に関する情報）を用いることも好適である。また上記実施形態で挙げた全てのパラメータを抽出する必要はなく、装置の設計や用途に応じて抽出対象とするパラメータの種類を適宜決定すればよい。

Claims

　立体映像コンテンツの映像信号を入力するための入力部と、
　前記入力部から入力される映像信号の各フレームについて、立体映像の品質に影響を与えるパラメータである立体視パラメータの値を抽出する抽出部と、
　前記抽出部で抽出された各フレームの立体視パラメータの値を、前記映像信号に含まれている各フレームのタイムコードとともに、データとして出力する出力部と、
を有することを特徴とする立体映像処理装置。
　前記抽出部は、前記映像信号の各フレームの左画像と右画像を解析することによって、立体視パラメータの値を算出することを特徴とする請求項１に記載の立体映像処理装置。
　前記立体視パラメータは、左画像と右画像の間における、水平方向の視差、垂直方向の位置ずれ、回転ずれ、ズーム比率の差、色の差、ホワイトバランスの差、輝度の差、及び、シャープネスの差のうち少なくともいずれかを含むことを特徴とする請求項１又は２に記載の立体映像処理装置。
　前記出力部から出力されたデータを読み込み、フレーム毎の立体視パラメータの値をタイムコードに沿って時系列に表示する表示部をさらに有することを特徴とする請求項１～３のうちいずれかに記載の立体映像処理装置。
　前記映像信号にタイムコードが含まれていない場合に、前記出力部は、タイムコードの代わりに前記立体映像コンテンツの先頭からの時間情報を立体視パラメータに付加することを特徴とする請求項１～４のうちいずれかに記載の立体映像処理装置。
　前記立体視パラメータの値が所定の許容値から外れている場合に、警告を出力する警告部をさらに有することを特徴とする請求項１～５のうちいずれかに記載の立体映像処理装置。
　前記立体視パラメータの値が所定の許容値から外れている場合に、前記立体視パラメータの値が前記許容値に収まるように当該フレームの画像を補正する画像補正部をさらに有することを特徴とする請求項１～６のいずれか１項に記載の立体映像処理装置。