WO2004056133A1 - 立体映像生成装置及び立体映像配信方法 - Google Patents

Abstract

立体感の強度が最も低いことを示す"０"が立体感タグとして与えられている場合、そのまま立体映像を表示させる。その一方、"１，２，３"が立体感タグとして与えられている場合、立体感タグの値に応じて縮小率を決定する（１／２，１／３等）。この縮小率に基づいて立体映像を表示すると共に「警告」の文字を表示する。ユーザは、作成者側の意図そのままの立体映像を希望するのか、縮小立体映像を維持するのかを選択する。作成者側の意図そのままの立体映像の表示を求める操作がなされると、オリジナルの立体映像が表示される。

Description

明 細 書 立体映像生成装置及び立体映像配信方法 技術分野

この発明は、 立体映像生成装置及び立体映像配信方法に関する。 背景技術

2次元映像信号から抽出された奥行き情報と 2次元映像信号とに基づ いて立体映像を生成する立体映像受信装置及び立体映像システムが提案 されている （特開 2 0 0 0 - 7 8 6 1 1号参照） 。

上記従来技術によれば、 実写の 2次元映像から視差情報を持たせた立 体視用映像を生成することができる。 ところで、 いきなり強い立体感の 立体映像を見せられると、 観者が不快に感じてしまうことが考えられる ₍ その一方、 立体映像作品の作成者側では、 その作品としての性質上、 強 い立体感で立体映像を視聴させたいという要求もある。 発明の開示

この発明は、 上記の事情に鑑み、 観者が立体映像作品に対して不快に ならず且つ作成者が見せたいとする立体映像作品の視聴も可能にする立 体映像生成装置及び立体映像配信方法を提供することを目的とする。

この発明の立体映像生成装置は、 上記の課題を解決するために、 表示 しょうとする立体映像に付加されているその立体感強度を示す情報を検 出する手段と、 前記立体映像の立体感強度を示す情報に基づいてその本 来の大きさよりも縮小して表示すると共に本来の大きさの立体映像とす ることを許容するか否かを示す入力を求める手段と、 ユーザ側から許容 することを示す情報を受け取った場合に本来の大きさの立体映像表示を 実行する手段と、 を備えたことを特徴とする。

上記の構成であれば、 立体映像は当初はその本来の大きさよりも縮小 されて表示されるので、 たとえ立体感が強い立体映像作品でもその立体 感は弱められることになリ、 観者が不快になるのを回避できる。 観者が 許容を示す操作を行なうことにより、 本来の大きさの立体映像が表示さ れるので、 作成者が見せたいとする立体映像作品の視聴も可能になる。 また、 この発明の立体映像生成装置は、 表示しょうとする立体映像に 付加されているその立体感強度を示す情報を検出する手段と、 前記立体 映像の立体感強度を示す情報に基づいてその本来の立体感よリも立体感 を小さく して表示すると共に本来の立体感の立体映像とすることを許容 するか否かを示す入力を求める手段と、 ユーザ側から許容することを示 す情報を受け取った場合に本来の立体感の立体映像表示を実行する手段 と、 を備えたことを特徴とする。

上記の構成であれば、 立体映像は当初はその本来の立体感よりも立体 感を小さくされて表示されるので、 たとえ立体感が強い立体映像作品で もその立体感は弱められることになリ、 観者が不快になるのを回避でき る。 観者が許容を示す操作を行なうことにより、 本来の立体感の立体映 像が表示されるので、 作成者が見せたいとする立体映像作品の視聴も可 能になる。

また、 この発明の立体映像生成装置は、 表示しょうとする立体映像の 立体感強度を判定する手段と、 前記判定した立体感強度に基づいてその 本来の大きさよりも縮小して表示すると共に本来の大きさの立体映像と することを許容するか否かを示す入力を求める手段と、 ユーザ側から許 容することを示す情報を受け取った場合に本来の大きさの立体映像表示 を実行する手段と、 を備えたことを特徴とする。 また、 この発明の立体映像生成装置は、 表示しょうとする立体映像の 立体感強度を判定する手段と、 前記判定した立体感強度に基づいてその 本来の立体感よリも立体感を小さく して表示すると共に本来の立体感の 立体映像とすることを許容するか否かを示す入力を求める手段と、 ユー ザ側から許容することを示す情報を受け取った場合に本来の立体感の立 体映像表示を実行する手段と、 を備えたことを特徴とする。

これらの構成であれば、 立体映像に立体感強度を示す情報が無くても 上述したのと同様の作用を発揮することができる。

また、 この発明の立体映像生成装置は、 表示しょうとする立体映像を その本来の大きさよりも縮小して表示すると共に本来の大きさの立体映 像とすることを許容するか否かを示す入力を求める手段と、 ユーザ側か ら許容することを示す情報を受け取った場合に本来の大きさの立体映像 表示を実行する手段と、 を備えたことを特徴とする。

また、 この発明の立体映像生成装置は、 表示しょうとする立体映像を その本来の立体感よリも立体感を小さく して表示すると共に本来の立体 感の立体映像とすることを許容するか否かを示す入力を求める手段と、 ユーザ側から許容することを示す情報を受け取った場合に本来の立体感 の立体映像表示を実行する手段と、 を備えたことを特徴とする。

これらの構成であれば、 立体映像に立体感強度を示す情報が無く、 し かも判定手段がない場合でも、 上述したのと同様の作用を発揮すること ができる。

また、 上述したいずれかの立体映像生成装置において、 縮小表示状態 又は立体感を弱めた表示状態で画面に警告を示す表示を行なうのがよい また、 この発明の立体映像配信方法は、 立体映像をその本来の大きさ よリも縮小して送信すると共に本来の大きさの立体映像とすることを許 容するか否かを示す入力を求め、 ユーザ側から許容することを示す情報 を受け取った場合に本来の大きさの立体映像を送信することを特徴とす る。

また、 この発明の立体映像配信方法は、 立体映像をその本来の立体感 よリも立体感を小さく して送信すると共に本来の立体感の立体映像とす ることを許容するか否かを示す入力を求め、 ユーザ側から許容すること を示す情報を受け取った場合に本来の立体感の立体映像を送信すること を特徴とする。

これらの構成であれば、 例えば、 インターネッ ト閲覧で H T M Lファ ィルの画像として立体画像が存在する場合に、 当初はその本来の大きさ よリも小さくされた画像、 或いは、 本来の立体感よリも立体感を小さく された画像として表示されるので、 たとえ立体感が強い立体映像作品で もその立体感は弱められることになリ、 観者が不快になるのを回避でき る。 観者が許容を示す操作を行なうことにより、 本来の立体感の立体映 像が表示されるので、 作成者が見せたいとする立体映像作品の視聴も可 能になる。 また、 インターネッ ト閲覧を実行するコンピュータゃ携帯電 話などの受信側装置においては、 立体感強度を示す情報を検出する手段 や判定手段は不要であり、 また、 立体画像の縮小処理や立体感変更処理 を行なうことも不要となる。 図面の簡単な説明

図 1 ( a ) ( b ) ( c ) はこの発明の実施形態の立体映像の配信及び 受信側装置の構成を示した説明図である。 図 2は受信側装置の処理内容 を説明する説明図である。 図 3は受信側装置の処理内容を説明する説明 図である。 図 4は受信側装置の処理内容を説明する説明図である。 図 5 は受信側装置の処理内容を説明する説明図である。 発明を実施するための最良の形態

以下、 この発明の立体映像再生装置を図 1乃至図 5に基づいて説明す る。

図 1 に基づいて 2次元映像とデプスマップ （奥行き情報） とによる立 体映像の生成について説明していく。 なお、 この図においては、 放送局 やインターネッ 卜上のサーバなどとして構成される送信側装置 1 と、 放 送受信装置ゃネッ 卜接続環境を備えたパーソナルコンピュータゃ携帯電 話などの受信側装置 2とからなるシステムとして説明する。

同図 （a ) は実写の 2次元映像 1 0 0を示している。 送信側装置 1 で は、 2次元映像 1 0 0に対して画像分析を行い、 同図 （ b ) に示すよう に、 背景映像 1 0 1、 ビルの映像 1 0 2、 自動車の映像 1 0 3を抽出す る。 これら抽出された映像がオブジェク ト （例えば、 エッジ情報） とし て扱われる。 また、 画素単位で奥行き値を与え、 デプスマップを生成す る。 なお、 オブジェク ト単位で奥行き値を与えることもできる。 奥行き 値は自動的 （推定的） に与えるようにしてもよいし、 手作業的に与える こととしてもよい。

このように、 送信側装置 1では、 映像を提供 （送信， 放送） する際に, デプスマップを前記映像の付属情報として送信する。 更に、 この実施形 態では、 立体感タグも前記映像の付属情報として送信する。 立体感タグ は、 立体感の強度を示すものであり、 例えば、 0， 1 , 2 , 3， …とい つた数値によって表される。 ディジタル放送の場合、 映像データと各種 の付属情報を一つのトランスポートス卜リームに多重して放送すること ができる。 コンピュータネッ トワークを用いた配信においても、 映像デ ータと各種の付属情報を一つの卜ランスポートス トリームに多重して放 送することができる。

図 1 ( c ) に示すように、 受信側装置 2は、 背景映像 1 0 1、 ビルの 映像 1 02、 自動車の映像 1 03の各データ、 デプスマップ、 立体感タ グを受信する。 これらデータがマルチプレクスされているのであればデ マルチプレクス （D EMU X) 処理を行なう。 映像データに対するデコ 一ド処理は、 基本的には例えば M P EGに基づいた処理などが採用され る。 そして、 受信側装置 2では、 背景映像 1 0 1、 ビルの映像 1 02、 自動車の映像 1 03の各映像データとデプスマップとに基づいて視差を 与えた右眼映像 1 04 R及び左眼映像 1 04 Lを生成する。 従って、 受 信側装置 2には、 データを受信するための受信部 2 1 (モデム、 チュー ナ等） 、 デマルチプレクサ 22 (D EMU X) 、 デコード部 23、 2次 元映像のデータとデプスマップとに基づいて視差視映像を生成する映像 生成部 24、 モニタ 25などが備えられる。 勿論、 これらを制御する C P U 26やユーザが操作を行なうための操作部 27 (放送受信機であれ ばリモコン送信機、 パーソナルコンピュータであれば、 マウスやキーポ ード等） が設けられる。 なお、 視差映像の生成では、 奥行き値が小さい オブジェク 卜ほど水平移動量 （移動画素数） を大きくする処理を行なう _c 受信側装置 2は、 例えばモニタ手前位置に液晶バリアを備えることに よリ、 平面視映像の表示及び立体視映像の表示の両方が行なえるように なっている。 立体視映像が、 例えば、 右眼映像と左眼映像とを交互に縦 ストライプ状に配置したものであれば、 C P U 26の制御により、 液晶 バリアにおいて、 縦ストライプ状の遮光領域が形成される。 また、 画面 上の一部領域 （ファイル再生のウィンドウ部分、 或いは、 H TM Lファ ィルのなかの一部映像部分） において立体視映像を表示することとなる のであれば、 C P U 26により、 前記ウィンドウや一部映像部分の表示 座標及び大きさに基づいて前記縦ス卜ライプ状の遮光領域の大きさ及び 形成位置が制御される。 なお、 右眼映像と左眼映像とを交互に縦ス トラ イブ状に配置した立体視映像に限らず、 例えば、 右眼映像と左眼映像と を斜め配置配置した立体視映像としてもよく （特許第 3 0 9 6 6 1 3号 公報参照） 、 この場合には、 液晶バリアにおいて斜めバリアを形成する ( 受信側装置 2の C P U 2 6は、 表示しょうとする立体映像に付加され ている立体感タグをデマルチプレクサ 2 2から受け取り、 この立体感タ グに基づいた映像表示制御処理を実行する。 以下、 この映像表示制御処 理について説明する。

図 2に示すように、 立体感の強度が最も低いことを示す" 0 " が立体 感タグとして与えられている場合、 そのまま立体映像を表示させる。 そ の一方、 " 1， 2， 3 " が立体感タグとして与えられている場合、 C P U 2 6は立体感タグの値に応じて縮小率を決定する （ 1 2 , 1 / 3 等） 。 なお、 或る固定の縮小率を設定することとしてもよい。 そして、 この縮小率を映像生成部 2 4に与える。 映像生成部 2 4は表示映像の大 きさを制御するスケーラ機能を備えており、 この機能によって縮小画像 を表示する。 また、 C P U 2 6によって図示しない O S D (オンスクリ ーンディスプレイ） 回路には 「警告」 の文字を生成するように指令が出 され、 O S D回路によって生成された 「警告」 の文字をなすビッ トマッ プデータが映像生成部 2 4によって映像データに合成される。 これによ リ、 図 2に示しているように、 モニタ 2 5上には縮小立体映像と Γ警 告 J の文字が表示される。 ユーザは、 作成者側の意図そのままの立体映 像を希望するのか、 縮小立体映像を維持するのかを選択する。 この選択 は、 例えば、 画面に 「オリジナル選択 （O K ) は" 1 " 、 縮小維持選択 ( N G ) は" 2 " を操作」 といった説明の O S D表示がなされているの であれば、 この説明に従って操作部 2 7を操作する。 なお、 かかる処理 は右眼映像と左眼映像とからなる立体映像にも適用できる。

また、 図 3に示すように、 立体感の強度が最も低いことを示す" 0 " が立体感タグとして与えられている場合、 そのまま立体映像を表示させ る。 その一方、 " 1， 2， 3 " が立体感タグとして与えられている場合, C P U 2 6は立体感タグの値に応じてデプスマツプデータを変更 （圧 縮） する （1 2， 1 / 3等） 。 そして、 この弱立体化デプスマップデ —タを映像生成部 2 4に与える。 映像生成部 2 4は弱立体化デプスマツ プデータに基づいて視差映像を生成する。 また、 O S D回路によって画 面には 「警告」 の文字が表示される。 これにより、 図 3に示しているよ うに、 モニタ 2 5上には弱立体感映像と 「警告」 の文字が表示される。 ユーザは、 作成者側の意図そのままの立体映像を希望するのか、 弱立体 感映像を維持するのかを選択する。 この選択は、 例えば、 画面に 「オリ ジナル選択 （O K ) は" 1 " 、 弱立体感維持選択 （N G ) は" 2 " を操 作」 といった説明の O S D表示がなされているのであれば、 この説明に 従って操作部 2 7を操作する。

また、 図 4に示すように、 立体感タグが無く、 デプスマップのみ受 け取った場合には、 このデプスマップに基づいて立体感を判定する。 映 像を構成する各画素やオブジェク 卜について与えられているデプスマツ プ値の最大値と最小値の差に基づくなどして立体感を判定することがで きる。 予め設定してある閾値よりも前記差がが大であるとき、 立体感は 強であると判断し、 閾値よりも前記差が小であるとき、 立体感は弱であ ると判断する。 立体感は弱であると判断したとき、 そのまま立体映像を 表示させる。 その一方、 立体感は強であると判断したとき、 その程度 (デブスマップ値） に応じてデプスマップデータを変更 （圧縮） する ( 1 / 2 , 1 3等） 。 そして、 この弱立体化デプスマップデータを映 像生成部 2 4に与える。 映像生成部 2 4は、 弱立体化デプスマップデー タに基づいて視差映像を生成する。 また、 O S D回路によって画面には 「警告」 の文字が表示される。 これにより、 図 4に示しているように、 モニタ 2 5上には弱立体感映像と 「警告」 の文字が表示される。 ユーザ は、 作成者側の意図そのままの立体映像を希望するのか、 弱立体感映像 を維持するのかを選択する。 この選択は、 例えば、 画面に 「オリジナル 選択 （O K) は" 1 " 、 弱立体感維持選択 （N G) は" 2" を操作」 と いった説明の O S D表示がなされているのであれば、 この説明に従って 操作部 27を操作する。

また、 図 5に示すように、 静止画については、 パターンマッチングに よって立体感強度を判定する。 例えば、 右眼映像と左眼映像を受け取つ たとき、 これら映像の対応する画素ゃォブジェク 卜のずれ量 （シフ ト 量） を検出し、 このずれ量に基づいて立体感強度を判定する。 C P U 2 6は判定した立体感強度に応じて縮小率を決定する （ 1 /2， 1 /3 等） 。 なお、 或る固定の縮小率を設定することとしてもよい。 そして、 この縮小率を映像生成部 24に与える。 映像生成部 24は縮小画像を表 示する。 また、 O S D回路によって画面には 「警告」 の文字が表示され る。 これにより、 図 5に示しているように、 モニタ 2 5上には縮小立体 映像と 「警告」 の文字が表示される。 ユーザは、 作成者側の意図そのま まの立体映像を希望するのか、 縮小立体映像を維持するのかを選択する ₍ この選択は、 例えば、 画面に 「オリジナル選択 （O K) は" 1 " 、 縮小 維持選択 （N G) は" 2" を操作 J といった説明の O S D表示がなされ ているのであれば、 この説明に従って操作部 27を操作する。

以上の説明において、 モニタ 25上に表示される画像の大きさは、 画 像の画素数とモニタ 25のディスプレイ解像度 （ピクセル 'パー ' イン チ、 ドッ ト 'パ一■インチ） とディスプレイ解像度の設定値 （画面モー ド、 表示画素数） により決定され、 このような決定による大きさの表示 画像は本来の大きさの表示画像である。 更には、 画像が画面サイズより も大きい場合に縮小を行って画面の大きさに合わせる処理が画面設定に 基づいて自動で行われるのであれば、 当該処理がなされた画像は本来の 大きさの表示画像である。 また、 同様に、 テレビジョンセッ トにおいて, 例えばオートワイ ドが設定されていて、 その設定に従って拡大表示され た画像も本来の大きさの表示画像といえる。 本願発明は、 上記のごとく 拡大縮小表示がなされることは本来の大きさでの表示の範疇とし、 この ような拡大縮小表示とは別のものとして画像の縮小表示処理を行う。 更 に述べると、 ディスプレイ解像度の設定値等に基づく縮小表示は、 立体 映像表示と平面映像表示の区別無く実行されるのに対し、 本願発明で言 う画像の縮小表示処理は、 立体映像表示においてなされる。 また、 前記 ディスプレイ解像度の設定値等によって立体感は変化するが、 このよう に変化した表示画像も本来の立体感の映像となる。 本願発明は、 上記の ごとく立体感が変動することは本来の立体感での表示の範疇とし、 この ような立体感変動とは別のものとして画像の弱立体感表示を行う。

なお、 以上の説明では、 受信側装置 2の処理による縮小表示や弱立体 感表示を行なうこととしたが、 送信側の処理で行なうことも可能である < 例えば、 インターネッ ト上のサーバとして存在する送信側装置 1 は、 H T M Lファイル上の映像として立体映像をその本来の大きさよりも縮小 して送信すると共に本来の大きさの立体映像とすることを許容するか否 かを示す入力をユーザに対して要求する。 このとき、 受信側装置 2のモ ニタ 2 5には、 縮小立体映像が表示されると共に、 例えば、 画面に 「ォ リジナル選択 （O K ) と縮小維持選択 （N G ) のどちらかをクリックし て下さい」 といった表示がなされる。 この説明に従って （O K ) をユー ザが選択すると、 送信側装置 1からオリジナルの立体映像が送信される ₍ また、 例えば、 インターネッ ト上のサーバとして存在する送信側装置 1 は、 H T M Lファイル上の映像として立体映像をその本来の立体感よ リも立体感を小さく して送信すると共に本来の立体感の立体映像とする ことを許容するか否かを示す入力をユーザに対して要求する。 このとき. 受信側装置 2のモニタ 2 5には、 弱立体感映像が表示されると共に、 例 えば、 画面に 「オリジナル選択 （O K ) と弱立体感維持選択 （N G ) の どちらかをクリックして下さい」 といった表示がなされる。 この説明に 従って （O K ) をユーザが選択すると、 その情報が送信側装置 1 に伝送 され、 送信側装置 1 はオリジナル立体映像の送信が許可された （要求さ れた） と判断し、 オリジナル立体映像を受信側装置 1 に宛てて送信する _c これらの構成であれば、 インターネッ ト閲覧で H T M Lファイルの画 像として立体画像が存在する場合に、 当初はその本来の大きさよりも小 さくされた画像、 或いは、 本来の立体感よりも立体感を小さくされた画 像として表示されるので、 たとえ立体感が強い立体映像作品でもその立 体感は弱められることになリ、 観者が不快になるのを回避できる。 観者 が許容を示す操作を行なうことにより、 本来の立体感の立体映像が表示 されるので、 作成者が見せたいとする立体映像作品の視聴も可能になる _c また、 インターネッ 卜閲覧を実行するコンピュータや携帯電話などの受 信側装置 1 においては、 立体感タグを検出する手段や立体感判定手段は 不要であり、 また、 立体画像の縮小処理や立体感変更処理を行なうこと も不要となる。

以上説明したように、 この発明によれば、 観者が立体映像作品に対し て不快にならず且つ作成者が見せたいとする立体映像作品の視聴も可能 になる。

Claims

請 求 の 範 囲

1 . 表示しょうとする立体映像に付加されているその立体感強度を示 す情報を検出する手段と、 前記立体映像の立体感強度を示す情報に基づ いてその本来の大きさよりも縮小して表示すると共に本来の大きさの立 体映像とすることを許容するか否かを示す入力を求める手段と、 ユーザ 側から許容することを示す情報を受け取った場合に本来の大きさの立体 映像表示を実行する手段と、 を備えたことを特徴とする立体映像生成装

2 . 表示しょうとする立体映像に付加されているその立体感強度を示 す情報を検出する手段と、 前記立体映像の立体感強度を示す情報に基づ いてその本来の立体感よリも立体感を小さく して表示すると共に本来の 立体感の立体映像とすることを許容するか否かを示す入力を求める手段 と、 ユーザ側から許容することを示す情報を受け取った場合に本来の立 体感の立体映像表示を実行する手段と、 を備えたことを特徴とする立体 映像生成装置。

3 . 表示しょうとする立体映像の立体感強度を判定する手段と、 前記 判定した立体感強度に基づいてその本来の大きさよりも縮小して表示す ると共に本来の大きさの立体映像とすることを許容するか否かを示す入 力を求める手段と、 ユーザ側から許容することを示す情報を受け取った 場合に本来の大きさの立体映像表示を実行する手段と、 を備えたことを 特徴とする立体映像生成装置。

4 . 表示しょうとする立体映像の立体感強度を判定する手段と、 前記 判定した立体感強度に基づいてその本来の立体感よリも立体感を小さく して表示すると共に本来の立体感の立体映像とすることを許容するか否 かを示す入力を求める手段と、 ユーザ側から許容することを示す情報を 受け取った場合に本来の立体感の立体映像表示を実行する手段と、 を備 えたことを特徴とする立体映像生成装置。

5 . 表示しょうとする立体映像をその本来の大きさよりも縮小して表 示すると共に本来の大きさの立体映像とすることを許容するか否かを示 す入力を求める手段と、 ユーザ側から許容することを示す情報を受け取 つた場合に本来の大きさの立体映像表示を実行する手段と、 を備えたこ とを特徴とする立体映像生成装置。

6 . 表示しょうとする立体映像をその本来の立体感よリも立体感を小 さく して表示すると共に本来の立体感の立体映像とすることを許容する か否かを示す入力を求める手段と、 ユーザ側から許容することを示す情 報を受け取った場合に本来の立体感の立体映像表示を実行する手段と、 を備えたことを特徴とする立体映像生成装置。

7 . 請求項 1乃至請求項 6のいずれかに記載の立体映像生成装置にお いて、 縮小表示状態又は立体感を弱めた表示状態で画面に警告を示す表 示を行なうことを特徴とする立体映像生成装置。

8 . 立体映像をその本来の大きさよりも縮小して送信すると共に本来 の大きさの立体映像とすることを許容するか否かを示す入力を求め、 ュ 一ザ側から許容することを示す情報を受け取った場合に本来の大きさの 立体映像を送信することを特徴とする立体映像配信方法。

9 . 立体映像をその本来の立体感よリも立体感を小さく して送信する と共に本来の立体感の立体映像とすることを許容するか否かを示す入力 を求め、 ユーザ側から許容することを示す情報を受け取った場合に本来 の立体感の立体映像を送信することを特徴とする立体映像配信方法。