JP5083488B2 - 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法 - Google Patents

最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法 Download PDF

Info

Publication number
JP5083488B2
JP5083488B2 JP2005316389A JP2005316389A JP5083488B2 JP 5083488 B2 JP5083488 B2 JP 5083488B2 JP 2005316389 A JP2005316389 A JP 2005316389A JP 2005316389 A JP2005316389 A JP 2005316389A JP 5083488 B2 JP5083488 B2 JP 5083488B2
Authority
JP
Japan
Prior art keywords
video
information
optimized
reproduction
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005316389A
Other languages
English (en)
Other versions
JP2007121864A (ja
Inventor
久史 小黒
素梅 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Inc filed Critical Toppan Inc
Priority to JP2005316389A priority Critical patent/JP5083488B2/ja
Publication of JP2007121864A publication Critical patent/JP2007121864A/ja
Application granted granted Critical
Publication of JP5083488B2 publication Critical patent/JP5083488B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像コンテンツに基づいて映像を最適化して再生し、配信するシステム及び装置であって、特にユニバーサルコンテンツ(登録商標)に対応するように、その映像コンテンツデータから、映像の鑑賞環境、鑑賞年齢や知覚能力等の鑑賞者の特性など鑑賞条件を想定して、映像鑑賞者に最適な映像として最適化して制作し、再生し、表示し、配信するための最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法に関する。
大型ディスプレイ装置や、テレビジョン、或いは、携帯端末などの映像情報表示デバイス(装置)により映像コンテンツを鑑賞する際に、同一の映像コンテンツであっても、鑑賞条件(例えば表示デバイス、鑑賞環境、鑑賞者の特性の組み合せなど)の違いにより、鑑賞者に異なった印象を与える場合がある。
例えば、異なった映像表示デバイスを用いて表示した場合、色再現域、輝度再現域、画素数、表示画面の大きさ、などの表示デバイスの特性の違いによって、同一映像コンテンツが異なる印象を与える場合がある。また、周囲環境の色や明るさ、鑑賞する距離などの鑑賞環境の違いによっても、映像コンテンツの印象は変化する。
また、鑑賞者の知覚能力や身体的状態などの特性によっても、好ましい表現が異なることもある。鑑賞条件によっては、期待される(映像コンテンツ制作者が意図した)印象が得られない場合もある。
一般に、映像コンテンツから映像を最適化して制作する場合には、鑑賞条件を考慮しながら、想定された条件下で最良の効果が得られるように画像の調整を行うことになる。例えば、映像シアターのような映像鑑賞に好適な環境で、色再現域や輝度再現域が広い高性能プロジェクタを用いる場合には、豊かな色彩を用い、画像の明部と暗部の明るさに差をつけたダイナミックな表現を演出することができる。
また、大画面では動きの刺激効果が強まる傾向があるため、カメラの動きは控えめにすることになる。逆に、テレビ画面を明るい室内で見る場合など、再現できる色や輝度域が制限されている場合には、微妙な色使いが再現され難い、画像の明部と暗部の明るさに差を付け過ぎると、階調全体が再現できずに映像が見え難くなるなどの問題が生じるため、色を強調する、明るさの差を抑えるなどの調整が必要になる。また、小画面では、動きの刺激が弱まる、映像の細部が見え難くなるなどの傾向があるため、カメラワークもこれらの特性を考慮したものとなる。
近年、高性能デジタルプロジェクタ、携帯型映像端末、電子POP広告、屋外型超大型ディスプレイなど、映像表示デバイスの多様化や、車内や屋外など鑑賞環境の多様化が進むことにより、同一の映像コンテンツが様々な異なる環境で鑑賞されるケースが増えてきた。
しかし、例えば、映画館の大型スクリーンを想定して制作した映像コンテンツを、屋外の携帯型端末の小型画面で鑑賞するといった様に、制作時の想定と大きく異なる環境で鑑賞した場合には、前項のような原因から映像制作者の意図が鑑賞者に適切に伝わらず、映像鑑賞の質が大きく損なわれる結果になる。
その対策として、従来は、映画館のスクリーン、家庭のテレビなど、鑑賞に用いられる表示デバイスや環境、年齢や知覚能力などの鑑賞者の特性などを想定して、コンテンツ制作を行うことが普通であった。また、画像の明るさや色の分布、幾何学的な特徴などの映像コンテンツの物理的特徴を利用して、色調や階調などの画像の調整を自動的に行う方式も実用化されている。
しかしながら、多くの異なる条件に対して、それぞれに最適なコンテンツを制作しようとすると、制作者の負荷が多大なものとなる。また、映像コンテンツの物理的特徴に基づいた自動調整では、その調整結果が、映像制作者の意図を反映したものになるとは限らない。
映像コンテンツが映像鑑賞者に与える「スピード感」「迫力感」「鮮やかさ」「立体感」などの印象を決定する要素である、色彩、輝度、質感、動きなどの映像コンテンツの印象成分に着目すると、様々な種類や強度の印象成分、或いは、その組み合わせが、映像鑑賞者に与える印象の種類や強度は、映像コンテンツ制作に係る経験則から予測される他、実験用映像を用いた感性評価実験などによって、より正確かつ定量的に求めることができる。
映像コンテンツが映像鑑賞者に与える印象の内容や強度は、鑑賞条件に影響されるが、これは、鑑賞条件によって映像コンテンツが持つ様々な印象成分の伝達能力に差異が生じるために、各々の印象の強度が異なって感じられるためと考えることができる。
伝達能力が劣った鑑賞条件では、印象成分が弱まって伝達され、優れた鑑賞条件では印象成分が強く伝達されることとなるが、伝達能力が劣った鑑賞条件では印象成分を強調することによって、映像コンテンツ制作者が意図した印象を再現することができる。ただし過度の強度は表現意図を正しく伝えないだけではなく、不快感などの好ましくない印象も強調されるため、適切な強度で印象成分を強調する必要がある。
広視野没入型ディスプレイのような映像刺激が強調されやすいデバイスを用いる場合、映像刺激に対して過敏な反応を示す可能性の高い鑑賞者の場合、などにおいては、印象成分を弱め、刺激強度を減ずることも求められる。
また、映像表示デバイスの表示能力を超えた表示を要求した場合には、輝度や色の飽和などが生じることによって鑑賞品質が低下するため、制作者が意図する表現よりも印象の強度を弱めた表示を行うことも必要となる場合がある。
映像コンテンツが与える各種の印象の調整には、その印象に影響を与える印象成分を操作したり、新たに印象成分を付加するなどの調整を行えばよい。例えば、「鮮鋭度」が低下して感じられる傾向がある鑑賞条件において「鮮鋭度」を強調したい場合には、関連する印象成分の操作として、映像のコントラストを向上させる、空間周波数の高周波成分を強調するなどの画像処理が考えられる。
以下に、本発明に関連する公知の特許文献を記載する。
特開2004−86604 特開2004−219731 特開2004−252372
しかしながら、伝達能力の優劣に応じて、映像コンテンツの全般に亘って、或いは、画像全面に亘って、一律に印象の強度を調整することが、必ずしも制作者の意図に沿った表現効果をもたらすものであるとは限らない。また、全ての印象成分について、数学的処理手法による抽出や操作が可能であるとは限らない。例えば、「不安感」や「幸福感」などの高次元の心理量を扱う場合においては、映像制作者などの高度なノウハウや判断に基づいた人為的な印象成分の操作が不可欠である。
本発明の課題は、制作者の制作表現意図が反映された印象成分の操作を行うために必要な情報を用いて、それを映像コンテンツの原映像情報に付加する付加情報として、その映像コンテンツに付加して流通させ、鑑賞者側の機器にて鑑賞条件に合わせ処理を行う、また、制作後処理(ポストプロダクション)過程で、各種鑑賞条件に適した映像コンテンツを生成して、パッケージ・ネットワーク・放送など各種メディアを用いて流通させる、また、コンテンツ配信時に、サーバー側の機能によって処理を行い、鑑賞条件に合わせた映像コンテンツとして配信するなどの形態で、多様な鑑賞条件それぞれに対して制作者の意図を適切に再現した映像の再生、表示を実現するための最適化映像再生システム及び映像最適化装置及び映像コンテンツデータ記憶媒体及び最適化映像再生方法を提供することにある。
本発明の請求項1に係る発明は、
原映像情報Gと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報gとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部Mと、
映像コンテンツデータを読み出す読出部Bと、
映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報gに対して映像観賞条件を反映させるための調整パラメータrを生成する調整パラメータ生成部1と、前記付加情報gと調整パラメータrとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部2とを備えた映像最適化手段Cと、
得られた最適化映像を再生する映像再生手段Dと、
を備え、
前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする最適化映像再生システムである。
本発明の請求項に係る発明は、
上記請求項に係る最適化映像再生システムにおいて、前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生システムである。
本発明の請求項に係る発明は、
上記請求項に係る最適化映像再生システムにおいて、前記画像表示デバイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生システムである。
本発明の請求項に係る発明は、
上記請求項に係る最適化映像再生システムにおいて、前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生システムである。
本発明の請求項に係る発明は、
上記請求項に係る最適化映像再生システムにおいて、前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生システムである。
本発明の請求項に係る発明は、
上記請求項1乃至のいずれか1項に係る最適化映像再生システムにおいて、前記映像再生手段Dにより再生された映像を出力表示する画像表示デバイスEを備えることを特徴とする最適化映像再生システムである。
本発明の請求項に係る発明は、
上記請求項に係る最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Bと映像最適化手段Cと映像再生手段Dとを制御動作させる制御部Aを備え、前記記憶部M、制御部A、読出部B、映像最適化手段C、映像再生手段Dが、最適化映像を提供するプロバイダのデータサーバ側にあり、前記画像表示デバイスEが最適化映像を利用するユーザ側にあり、前記制御部Aと画像表示デバイスEとは、ネットワークによる配信手段IIIを介して接続可能であることを特徴とする最適化映像配信システムである。
本発明の請求項に係る発明は、
上記請求項に係る最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Bと映像最適化手段Cと映像再生手段Dとを制御動作させる制御部Aを備え、前記映像コンテンツデータ記憶部Mが最適化映像のための映像コンテンツデータを提供するプロバイダのデータサーバ側にあり、前記制御部A、読出部B、映像最適化手段C、映像再生手段D、画像表示デバイスEが、最適化映像を利用するユーザ側にあり、前記制御部Aと画像表示デバイスEとは、ネットワークによる配信手段IIIを介して接続可能であることを特徴とする最適化映像配信システムである。
本発明の請求項9に係る発明は、
上記請求項7又は8に係る最適化映像配信システムにおいて、前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする最適化映像配信システムである。
本発明の請求項10に係る発明は、
映像情報Gと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報gとを映像コンテンツデータ記憶部Mから映像コンテンツデータとして読み出す読出部Bと、
映像観賞条件に合わせた印象成分の操作を行うために、前記付加情報gに対して映像観賞条件を反映させるための調整パラメータrを生成する調整パラメータ生成部1と、前記付加情報gと調整パラメータrとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部2とを備えた映像最適化手段Cと、
を備え、
前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする映像最適化装置である。
本発明の請求項11に係る発明は、
上記請求項10に係る映像最適化装置において、前記映像観賞条件は、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも1つ或いは全てを含むことを特徴とする映像最適化装置である。
本発明の請求項12に係る発明は、
上記請求項11に係る映像最適化装置において、前記画像表示デバイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも1つ或いは全てを含むことを特徴とする映像最適化装置である。
本発明の請求項13に係る発明は、
上記請求項11に係る映像最適化装置において、前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも1つ或いは全てを含むことを特徴とする映像最適化装置である。
本発明の請求項14に係る発明は、
上記請求項11に係る映像最適化装置において、前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも1つ或いは全てを含むことを特徴とする映像最適化装置である。
本発明の請求項15に係る発明は、
原映像情報Gと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報gとを映像コンテンツデータとして映像コンテンツデータ記憶部又は記憶媒体に記憶保持する映像コンテンツデータ記憶過程と、
映像コンテンツデータ記憶部又は記憶媒体から映像コンテンツデータを読み出す読み出し過程と、
映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報gに対して映像観賞条件を反映させるための調整パラメータrを生成する調整パラメータ生成過程と、
前記付加情報gと調整パラメータrとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化過程と、
得られた最適化映像を再生する映像再生過程と、
によって、原映像情報を最適化して再生することを特徴とし、
前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする最適化映像再生方法である。
本発明の請求項16に係る発明は、
上記請求項15に係る最適化映像再生方法において、前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生方法である。
本発明の請求項17に係る発明は、
上記請求項16に係る最適化映像再生方法において、前記画像表示デバイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生方法である。
本発明の請求項18に係る発明は、
上記請求項16に係る最適化映像再生方法において、前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生方法である。
本発明の請求項19に係る発明は、
上記請求項16に係る最適化映像再生方法において、前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも1つ或いは全てを含むことを特徴とする最適化映像再生方法である。
本発明によれば、映像コンテンツに含まれる本発明における付加情報が、独立に処理可能な複数の要素から構成されるので、各種の表示デバイスの特性、環境の特性、鑑賞者の特性といった鑑賞条件に影響を与える複数の因子の独立した変化に対応した印象成分の操作が可能になる。
また、本発明によれば、コンテンツ鑑賞時には、この付加情報に基づいて映像コンテンツの印象成分を、鑑賞条件から決定される適切な強度に調整した映像を再生することができ、様々な異なる鑑賞条件において、映像の印象を制作者が意図したものに近づけると同時に鑑賞条件に適した映像コンテンツ鑑賞が可能となる。
例えば、ある鑑賞条件を想定して作成された映像コンテンツ中の原映像情報に対して、視認性の悪い小型鑑賞環境において、主要対象物の色彩を引き立たせるための強調画像と原映像情報の差、例えばR、G、Bの各輝度の差分を持った差分画像を付加情報として付与して流通、配信させることができる。
差分画像の生成処理においては、映像の特徴に基づいた自動処理ができるだけでなく、映像コンテンツ制作者の表現意図を反映した人為的な調整操作を行うことによって、映像コンテンツ制作者の表現意図に沿った印象の強調が可能な差分画像データを生成することができる。例えば、夕焼けの赤を特に強調したい場合であれば、他の部分に較べて夕焼け部分を特に鮮やかに見せるような調整を人為的に行うことが可能になる。
特に、鑑賞条件が映像コンテンツ制作時に想定よりも劣る場合には、原映像情報に適切な調整パラメータを乗じた差分データを加算することによって、映像観賞条件に合わせて、例えば、明るさ、色彩、陰影等の映像の印象成分を強調した映像に最適化して再生し、表示することができる。
強調の程度を決める調整パラメータは、実際に表示された映像を見ながら、最適と思われる値に調整してもよいし、主観評価実験や経験的な、或いは理論的な予測に基づいて、それぞれの鑑賞条件固有の調整パラメータを導出することができる。
このように、鑑賞者が受ける印象を支配する映像コンテンツの印象成分である、色、明るさ、動き、陰影、質感などについて、制作者の意図に基づいた調整を行うための情報を付加情報として、映像コンテンツに付加して流通させることにより、各種の異なる鑑賞条件において、制作者の意図を反映させた観賞者に最適な映像を生成し鑑賞することができる。
本発明の最適化映像再生システム及び最適化映像配信システム及び最適化映像再生方法について、その実施の形態に基づいて以下に詳細に説明する。
図1は、原映像情報Gと付加情報gの映像コンテンツデータを模式的に表す説明図であり、その映像を構成する各画像フレーム1、2、3、・・・nと、その各画像フレームの再生時刻1、2、3、・・・n、その各画像フレームの再生視野1、2、3、・・・n、その各画像フレームの再生サイズ(拡大・縮小再生サイズ)1、2、3、・・・nとの関係を表す説明図である。
図1の例では、通常の動画(例えばR、G、B画像)である原映像情報Gの動画シーケンスに加え、映像の印象に影響を与える印象成分である、質感画像、明るさ画像、強調色調画像、陰影画像などのシーケンスを動画同様のビットマップ形式の付加情報gとして映像コンテンツデータに含めている。
また、カメラワークなどの動きに係る印象成分を制御するための再生時刻1、2、3、・・・n、再生視野1、2、3、・・・n、再生サイズ1、2、3、・・・nなどの各情報を、数値データとして各画像フレーム1、2、3、・・・nに付加している。
質感画像は、対象物表面のザラツキ感や光沢感などの質感を支配する情報で、物の表面の質感成分のみを持った差分画像である。CGデータからのレンダリング処理、原映像情報からの高域通過フィルタ(画像周波数における高波長通過フィルタ)による抽出、手作業での描画、などの方法によって生成することができる。
差分画像生成時の処理パラメータ(レンダリング条件、フィルタの周波数特性など)の調整、重要部分の値の強調、不要部分の削除などの人為的な処理を加えることによって、制作者の表現意図をより適切に反映した付加情報が生成される。
この質感画像に負の値も含む適切な調整パラメータを乗じて原映像情報に加算すること
で、小型表示デバイスや低解像度表示デバイスなどの劣悪な鑑賞環境においても、制作者が意図した質感表現を維持することが可能となる。
例えば、原映像情報から高域通過フィルタによって質感成分を抽出する場合を例に採ると、フィルタの特性を変化させることで抽出される質感成分の特徴が変化し、制作者の意図に近づけた質感画像を生成することができる。さらに、背景や前景などの画像の領域ごとの独立した調整、上映時間経過に沿って変化する動的な調整などを行うことによって、特定の対象物を引き立たせるなど、映像制作者の意図をより強く反映させた質感成分の生成が可能となる。
<画像の明るさ強調>
明るさ画像(明度差調整用画像)は、空などのハイライト領域、木陰や屋内のシャドウ領域など、領域毎の明るさの印象を支配する付加情報で、画素の値はその領域の明るさの基準値を示す。CGデータからのレンダリング処理、撮影時の照明操作、手作業での描画などの方法で生成することができる。
この明るさ画像(付加情報としての画像)に負の値も含む適切な調整パラメータ(例えば、−1〜+1の範囲内の任意なパラメータ(係数))を乗じて原映像情報に加算することで、例えば、輝度再現域の狭い表示デバイスの場合には、ハイライト領域とシャドウ領域の明るさの差を狭めて、フラットな階調表現の映像として再生し、又は表示し、輝度再現域の広い表示デバイスの場合には、ハイライト領域とシャドウ領域の明るさの差を拡げてダイナミックな階調表現の映像として再生し、表示することができる。
図2(a)〜(c)は画像の明るさを強調処理する際に使用する各画像の例を表し、(a)は画像を明るく強調するための明度差調整用画像(明暗コントラスト大の画像)、(b)は原映像情報、(c)は原映像情報(b)を明度差調整用画像(a)及び調整パラメータrに基づいて最適化した明度強調画像である。
<画像の色調強調>
次に、色調整用画像は、対象物の色の印象を強く訴求するための付加情報で、原映像情報に加算することで、例えば、人物の肌色を強調する、青空の青さを強調するなど、単に彩度が高められるだけではなく、「肌色らしい色」、「青空らしい色」などの色相も含めた色情報を演出的な意図に従って操作して、対象物の持つ色彩の印象を強調したユニバーサルコンテンツ(登録商標)としての色強調画像となる。
画像の物理的な特性に基づいた色調強調処理を行うだけではなく、特定の画像領域や特定の色域を選択的に操作するなど、人為的な処理を加えることによって、制作者の表現意図をより適切に反映した付加情報が生成される。
この色調整用画像の画素値と、原映像情報の画素値との混合比を適切に変化させて混合処理を行うことで、例えば、映画館などの良好な環境では原映像情報に近い色再現で、外光のある屋外や色が混じりやすい小型表示デバイスでは色表現を強調したユニバーサルコンテンツ(登録商標)としての映像として再生し、表示することができる。この色調整用画像(付加情報としての画像)に負の値も含む適切な調整パラメータ(例えば、−1〜+1の範囲内の任意なパラメータ)を乗じて原映像情報に加算することで、適切に変化させて混合処理(混色)を行うことができる。
図3(a)〜(c)は、画像の色調を強調処理する際に使用する各画像の例を表し、(a)は原映像情報(ユニバーサルコンテンツ(登録商標)が考慮されていない最初に製作された画像)、(b)は色調整用画像(色調が強調されている画像)、(c)は原映像情
報(a)と付加情報である色調整用画像(b)を調整パラメータに基づいて重ね合わせて制作した混合色画像(色強調画像)である。
<画像の陰影強調>
陰影調整用画像は、奥行き感や立体感、境界の鮮明さなどの印象を支配する付加情報であり、シーン中の陰影成分だけを持った差分画像である。CGデータのレンダリング処理、撮影時の照明操作、手作業での描画などの方法で生成することができる。
この陰影調整用画像に負の値も含む適切な調整パラメータ(例えば−1〜+1の範囲内の任意なパラメータ)を乗じて原映像情報に加算することにより、陰影の強さを変化させ、小型表示デバイスや低解像度表示デバイスなどの貧弱な鑑賞環境においても、奥行き感や立体感、対象物の境界などを明瞭に示すことができる。
図4は(a)〜(c)は、画像の陰影を強調処理する際に使用する各画像の例を表し、(a)は原映像情報(ユニバーサルコンテンツ(登録商標)が考慮されていない最初に製作された画像)、(b)は陰影調整用画像(陰影成分画像、陰影が強調されている画像)、(c)は原映像情報(a)と陰影調整用画像(b)を、調整パラメータに基づいて重ね合わせて製作された陰影強調画像である。
本発明の実施の形態においては、映像コンテンツデータの原映像情報、付加情報ともにビットマップによって構成した場合について記述したが、この限りではなく、例えば、映像コンテンツデータが、実写や、CG映像の静止画又は動画等であってもよい。また、その他三次元CGモデルから構成された、バーチャルリアリティコンテンツやゲームコンテンツ等についても同様に適用することができる。
また、原映像情報がビットマップ画像である場合においても、付加情報の記述形式はビットマップに限られるものではない。例えば、画像中の領域の指定方法として、二値のマスク画像を用いる、輪郭を座標値で示す、輝度範囲で示す、色範囲で示すなどの方法がある。また、質感の記述方法として、空間周波数分布などをによる数学的な記述、反射係数や拡散係数などの光学的パラメータの記述などの方法がある。また、「砂」「石」「木」などの具体的素材名の付加情報により、それぞれ対応付けされた画像処理の組み合わせで、原映像情報から質感調整画像情報を生成する方法がある。
明るさの記述についても、「シャドウ」や「ハイライト」などの記号的記述、輝度値の数値的記述などの方法がある。強調色の記述についても、強調後の色座標値による記述、変換式による記述、ルックアップテーブルによる記述、色名による記述などの方法がある。また、「青空」「夕焼け」などの各固有の色を持つ付加情報により、それぞれ対応付けされた色変換の組み合わせで原映像情報から色調整画像情報を生成する方法がある。
<画像の再生時間調整による「迫力感」「重量感」強調>
図5は、付加情報として、カメラワークなどの動きに係る印象成分を制御するための再生時間の情報を各画像フレームに数値データとして付加した場合の説明図である。図5(a)は原映像情報である画像フレーム1〜nと各画像フレーム1〜nの各々基準再生時間to との関係を表す図、(b)は再生時間を付加情報として付加した画像フレーム1〜nと各画像フレーム1〜nの各々基準時間to に時間の付加情報として順にα1 、α2 、α3 、・・・αn を付加した再生時間to +α1 、to +α2 、to +α3 、・・・to +αn との関係を表す図である。
図5(b)において、再生時間to +α1 、to +α2 、to +α3 、・・・to +αn は、映像コンテンツデータの各画像フレーム1〜nに対応して再生表示が行われるべき
各時間を示す。
図5(a)の画像フレーム1〜nの原映像情報は、臨場感の強い大型没入型表示デバイスに合わせて調整されたものであり、例えば、水平スクリーンサイズ12m、視野角120度の大型没入型環境で鑑賞した場合に最適な動きを与えるものであるとする。基準時間to は、例えば1/30秒であり、各画像フレーム1〜nは等間隔である。
この映像を、より小型の表示デバイス、例えば、20インチの家庭用テレビの画面にて2mの距離で鑑賞した場合には、「迫力感」「重量感」などの印象が大きく損なわれる場合がある。例えば、この映像コンテンツが巨大な対象物に徐々に接近していくときの「迫力感」を訴求したものであるとすると、この種の迫力感は、鑑賞対象物やカメラの動き始めのフレームの呈示時間を延ばすことで強調できることが知られている。例えば、映像の初期再生速度を遅くして、さらに再生速度に加速度を与えることにより,この効果が得られる。観察される動きも同様に、初期速度は遅く、加速度を持ったものになる。
再生時間to +α1 、to +α2 、to +α3 、・・・to +αn は、前述の家庭用テレビを利用した場合において、没入型環境を用いて鑑賞した場合の印象に近づけるための補正された再生時間であるとすると、基準時間to と再生時間to +α1 、to +α2 、to +α3 、・・・to +αn の関係は図5(a)、(b)に示すような関係になる。
即ち、図5(a)に示すように、等間隔時間の各基準時間to における各画像フレーム1〜6・・・nと、図5(b)に示すような長い時間から短い時間に順に変化する各再生時間to +α1 、to +α2 、to +α3 、・・・to +αn における各画像フレーム1〜6・・・nとの関係になり、図5(a)に示す総呈示時間(総再生時間、to ×n)に対して、図5(b)に示す総呈示時間(総再生時間、(to +α1 )+(to +α2 )+(to +α3 )+・・・(to +αn ))は長くなる。
さらに、総呈示時間を一定に保つことにより、映像コンテンツの総再生時間を変えることなく、観賞者に与える印象を制御することが可能となる。即ち、図5(c)に示す各基準時間to1、to2、to3、・・・tonにおける各画像フレーム1〜6・・・nと、図5(d)に示す各再生時間to1+α1 、to2+α2 、to3+α3 、・・・ton+αn における各画像フレーム1〜6・・・nとの関係になる。
即ち、図5(c)に示す各画像フレーム1〜6・・・nの各々基準時間to1、to2、to3、・・・tonは、初期の画像フレーム1と最後の画像フレームnの再生時間の差は少なく、緩やかに徐々に短く変化していくのに対して、図5(d)に示す各画像フレーム1〜6・・・nの再生時間to1+α1 、to2+α2 、to3+α3 、・・・ton+αn は、初期の画像フレーム1と最後の画像フレームnの再生時間は長い時間から短い時間に、その差が大きく変化する。
前述以外の鑑賞環境においては、この強調用時間(付加情報としての時間)に負の値も含む適切な調整パラメータ(例えば、−1〜+1の範囲内の任意なパラメータ)を乗じて原映像情報の基準時間to 又は各基準時間to1、to2、to3、・・・tonに加算することで、適切に変化させて、「迫力感」「重量感」の調整を行うことができる。
また、例えば、調整パラメータ=0を、基準時間to 又はto1、to2、to3、・・・tonとして、調整パラメータ=1を、再生時間to +α1 、to +α2 、to +α3 、・・・to +αn 、又はto1+α1 、to2+α2 、to3+α3 、・・・ton+αn として、0〜1の範囲の任意の調整パラメータを用いた内挿、或いは外挿により補正値を算出することができる。ただし、実際には、1/30秒程度以上に呈示間隔を延ばすと、動きの滑ら
かさを損なうため、呈示間隔を延長する可能性がある部分については、基準時間の間隔を、例えば1/120などと細かくしておき、必要以上の更新速度になるフレームは間引くことにしてもよい。
また、上図は映像に画像フレーム(フレーム画像)の観念のある動画コンテンツを例にしているが、バーチャルリアリティ(VR)コンテンツやゲームコンテンツのように、画像内での動き量の制御が可能なコンテンツの場合には、呈示間隔を調整する代わりに、動き量を制御することによって同等の効果をもたらしてもよい。
<画像の再生視野調整による「緊張感」強調>
次に、主として鑑賞視野角が変化した場合の印象を調整するための画像の再生視野である表示画像のトリミング範囲について説明する。
例えば、大型没入型表示デバイスに合わせて調整された原映像情報を家庭用テレビに再生し、表示すると、例えばカメラの揺れから得られる「緊張感」の印象が大きく弱まる。ここで、この映像コンテンツが「緊張感」を訴求したものであるとすると、原映像情報のカメラの揺れに合わせて、画像のトリミング範囲を移動させることで、「緊張感」を強調することができる。
トリミング座標は、映像撮影時のカメラの動きやCGデータレンダリング時の仮想カメラの動きからの導出、算術関数による生成、専用ツールを用いての座標入力などの方法で生成することができる。
図6(a)〜(d)は、各座標位置にある各々原映像情報Gの画像フレーム1〜4、・・・nと、その各々原映像情報Gの画像フレームを所定のトリミング座標にてトリミングした各々再生視野1〜4との関係を表す説明図である。再生視野1〜4、・・・nが、前述の家庭用テレビを利用した場合において、没入型環境を用いて鑑賞した場合の印象に近づけるための補正された再生視野であるとすると、再生視野1〜4、・・・nと、原映像情報Gの画像フレーム1〜4、・・・nの関係は図6(a)〜(d)のようになる。
前述以外の鑑賞環境においては、例えば、調整パラメータ=0を、矩形の原映像情報Gの画像フレーム座標(0,0)(1,1)、調整パラメータ=1を、矩形の再生視野座標(x11,y11) (x12,y12) 、又は(x21,y21) (x22,y22) 、又は(x31,y31) (x32,y32) 、又は(x41,y41) (x42,y42) として、0〜1の範囲内の任意の調整パラメータを用いた内挿、或いは外挿によって補正値を算出することができる。
<画像の再生サイズ(拡大・縮小再生サイズ)調整による映像細部強調>
次に、主として画面サイズや解像度によって映像細部の視認性が変化した場合の見易さを調整するための表示画像のトリミング範囲について説明する。
例えば、大型高精細表示デバイスに合わせて調整された原映像情報を携帯端末の小型画面に再生し、表示すると、再生表示の大きさや解像度の低下によって映像の細部が見え難くなる。制作意図上、映像細部を見せることが必要である場合には、トリミングによって画像サイズを拡大することにより映像細部の視認性を高めることができる。トリミング座標は、映像撮影時のカメラの動きやCGデータレンダリング時の仮想カメラの動きからの導出、専用ツールを用いての座標入力などの方法で生成することができる。
図7(a)〜(d)は、各座標位置にある各々原映像情報Gの画像フレーム1〜4、・・・nと、その各々原映像情報Gの画像フレームを所定のトリミング座標にてトリミングした各々再生サイズ1〜4、・・・nとの関係を表す説明図である。
再生サイズ1〜4、・・・nは、前述の携帯端末を利用した場合において、大型高精細表示デバイスを用いて鑑賞した場合の視認性に近づけるための補正された視野であるとすると、各再生サイズ1〜4、・・・nと、各原映像情報Gの画像フレーム1〜4、・・・nの関係は、図7(a)〜(d)のようになる。ここでは、画面内の注目対象が画面左側から画面右側へと移動していることを想定している。
前述以外の鑑賞環境においては、例えば、調整パラメータ=0を、矩形状の原映像情報Gの画像フレーム座標(0,0)(1,1)、調整パラメータ=1を、矩形状再生サイズ座標(x11,y11) (x12,y12) 、又は(x21,y21) (x22,y22) 、又は(x31,y31) (x32,y32) 、又は(x41,y41) (x42,y42) として、0〜1の範囲内の任意の調整パラメータを用いた内挿、或いは外挿によって補正値を算出することができる。
<マスクの付け加えによる特定映像領域に対する映像強調>
次に、マスクの付け加えによる特定映像領域に対する映像強調について説明する。これは、主として映像/シーン毎に付加した制作者の意図情報に従い、観賞者と表示デバイス毎にコンテンツを最適化するものである。例えば、原映像情報G(オブジェクト)に対して1乃至複数のマスクを付加情報gとして付け加え、観賞環境に対応して、その映像の1乃至複数の特定領域に対して、各々異なる映像強調、補正処理を施すものである。
各映像領域に違う処理を施すためには、画面内での強調すべき対象の位置や、強調すべき色調などの制作者の演出意図を示す付加情報が必要となる。これらの付加情報を画像・映像コンテンツデータに付加しておくことによって、映像コンテンツの観賞時に、観賞環境に合わせた最適な画像処理を行うものである。
図8(a)は、映像の原映像情報Gの1画像フレームであり、図8(b)〜(f)は、図8(a)の原映像情報から特定領域を抜き出したマスクであり、例えば、図8(a)の原映像情報は、空と空に浮かぶ雲を背景とした建物(一例として教会)であり、図8(b)は、建物本体部分のみを抜き出したマスク1、図8(c)は、空に浮かぶ雲の部分のみを抜き出したマスク2、図8(d)は、青い空の部分のみを抜き出したマスク3、図8(e)は、建物に続く道の部分のみを抜き出したマスク4、図8(f)は、建物が建つ地面(建物に続く道は除く)のみを抜き出したマスク5である。これらのマスクを使い分けてマスキング映像処理することにより映像の特定領域を強調、補正処理するものである。
なお、本発明においては、映像コンテンツ制作時に想定された鑑賞条件と同等の鑑賞条件で、映像鑑賞を行う場合には、映像コンテンツ中の原映像情報を、付加情報を付与することなくそのまま再生し、表示するものであるが、鑑賞条件が映像コンテンツ制作時に想定よりも劣る場合には、原映像情報に適切な調整パラメータを乗じた差分データを加算することによって、映像観賞条件に合わせて、明るさ、色彩、陰影、再生時間、再生視野、再生サイズ等の映像の印象成分を強調した映像に最適化して再生し、表示するものである。
次に、本発明の最適化映像再生システムを、図9(a)のシステムブロック図に基づいて以下に説明する。
本発明の最適化映像再生システムは、図9(a)に示すように、映像最適化手段Iを備え、該映像最適化手段Iは、映像を最適化するためにデータを演算処理制御する制御部A(CPU)と、原映像情報Gと、該原映像情報に付加させて制作者の制作表現意図が反映された鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行うための付加情報gとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部M(又は映像コンテ
ンツデータ記憶部Mと、そのサーバ)を備える。
前記付加情報gには、例えば、質感調整用画像情報、明度差調整用画像情報、色調整用画像情報、陰影調整用画像情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のいずれか又は全てを含むものである。
また、映像最適化手段Iは、原映像情報Gと付加情報gの映像コンテンツデータを映像コンテンツデータ記憶部Mから読み出す読出部Bと、映像最適化処理部Cと、映像再生処理部Dとを備える。制御部Aは、読出部B、映像最適化処理部C、映像再生処理部Dを制御動作させるものである。なお、読出部Bには、読み出した映像コンテンツデータを一時的に記憶させるメモリ(図示せず)を搭載していてもよい。
本発明における前記読出部Bは、制御部Aによる制御にて読み出し制御信号の入出力を行い、映像コンテンツデータ記憶部M(又は該記憶部Mのデータサーバ)から必要なデータを読み出すデコーダ等のハードウエア系の読出部であってもよい。また、本発明における前記読出部Bは、制御部A又は読出部Bのプログラムメモリに記憶収納されたアプリケーションプログラム(例えばブラウザ)による制御にて読み出し制御信号の入出力を行い、映像コンテンツデータ記憶部M(又は該記憶部Mのデータサーバ)から必要な原映像情報Gや付加情報g等のデータ(HTMLなどにて記述されたハイパーテキスト、ハイパーリンク等のテキストファイルデータ)を読み出すための(又はユーザ側端末7にダウンロードするための)ブラウザ等のソフトウエア系による読出部であってもよい。
映像最適化処理部Cは、前記読出部Bから読み出された映像コンテンツデータにより再生された映像の印象に基づき、鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行うための付加情報gに対して、調整パラメータを設定するための調整パラメータ生成部1と、映像最適化演算部2とを備える。
前記映像最適化処理部Cの調整パラメータ生成部1では、前記映像コンテンツデータ記憶部Mから読出部Bにて、制作者の制作意図が反映された原映像情報Gと付加情報gを読み出し、映像観賞条件(画像表示デバイス特性、視聴環境特性、観賞者特性のうち、1つ又は複数又は全部(少なくとも1つ又は全部)を含む)に合わせて、該調整パラメータ生成部1により、付加情報gに対する映像の調整パラメータrを生成する。
そして、映像最適化処理部Cの映像最適化演算部2では、調整パラメータ生成部1にて生成された調整パラメータrに基づいて付加情報gを調整し、調整付加情報grを演算生成する。そして、原映像情報Gに調整付加情報grを付加することにより、原映像情報Gに対して鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行い、鑑賞者側の映像鑑賞条件に対応する最適化された映像データを制作する。
映像再生処理部Dは、最適化された映像データを再生する映像再生部3と、必要に応じて映像データメモリ部4を備え、該映像再生部3により、映像最適化演算部2にて最適化された映像データが再生される。なお、本発明においては、映像再生処理部Dには、必要に応じて画像表示デバイスEを接続することができ、例えば、映像再生部3に、直接、画像表示デバイスE(パソコン、モニターディスプレイ等)を接続して、最適化した映像を出力表示することができる。
次に、本発明の最適化映像配信システムについて、図9(a)、図9(b)のシステムブロック図に基づいて以下に説明する。
本発明の最適化映像配信システムは、上記の最適化映像再生システムを使用したシステ
ムであって、図9(a)に示すように、映像最適化手段Iの映像コンテンツデータ記憶部M、制御部A、読出部B、映像最適化処理部C、映像再生処理部Dが、映像コンテンツ及び最適化映像を提供する制作者やプロバイダ等のデータサーバ側にあり、映像表示手段IIの画像表示デバイスE(例えば、パソコン等の端末機)が、映像コンテンツ及び最適化映像を利用する観察者であるユーザ側にある。そしてデータサーバ側の映像最適化手段Iとユーザ側の映像表示手段IIとは、インターネット(イントラネット)等のネットワークによる配信手段IIIを介して互いに接続可能となっている。
また、本発明の最適化映像配信システムの他の例としては、図9(b)に示すように、映像最適化手段Iが、制御部A、読出部B、映像最適化処理部C、映像再生処理部Dにより構成されている。映像コンテンツデータ記憶部Mは、映像最適化手段Iと分離していて、該記憶部Mと映像最適化手段Iとは互いに配信手段IIIを介して接続可能となっている。映像最適化手段Iは、観察者であるユーザ側の映像表示手段II側にあり、例えば、制御部A、読出部B、映像最適化処理部C、映像再生処理部Dは、画像表示デバイスEと一体化されているものである。
映像コンテンツデータ記憶部Mには、最適化映像再生システムと同様に、原映像情報Gと付加情報gが記憶されていて、前記付加情報gには、質感調整用画像情報、明度差調整用画像情報、色調整用画像情報、陰影調整用画像情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むものである。
図9(a)において、例えば、観賞者側の映像表示手段IIは、それぞれ観察環境に設置されている各観察者のパソコン等の映像表示端末部である画像表示デバイスE1 、E2 、E3 、・・・En であり、画像表示デバイスE1 、E2 、E3 、・・・En から、制作者側の映像最適化手段Iに対して、ネットワーク等の配信手段IIIを介してアクセス操作して、前記映像最適化手段Iの映像コンテンツデータ記憶部Mから読出部Bにて読み出す。読み出された制作者の制作表現意図が反映された原映像情報Gを基に、映像最適化処理部Cにより、付加情報gに対する画像の調整パラメータrを生成し、前記原映像情報Gに調整付加情報grを付加することにより、鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行って、鑑賞者側の映像鑑賞条件に対応する最適化された映像データを製作する。
製作された最適化された映像データは、映像再生処理部Dにて映像データとして再生されて、ネットワーク等の配信手段IIIを介して、観賞者(ユーザ)側の映像表示手段IIの画像表示デバイスEに配信されて表示される。
この場合における前記付加情報gには、例えば、質感調整用画像情報、明度差調整用画像情報、色調整用画像情報、陰影調整用画像情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうちのいずれか、又はそれらの全てを含む。
次に、本発明の最適化映像再生システムの動作について、その一例を、図10のシステムフローチャート図に基づいて以下に説明する。
<S1>
まず、画像フレーム1〜nのうちのいずれかの画像フレームkの原映像情報Gと付加情報gとを、映像コンテンツデータ記憶部Mから読出部Bにより読み出し再生し、原映像情報Gに付加情報gを付加した再生画像をモニター画面(読出部Bのモニター、或いは映像再生処理部Dの映像再生部3のモニター)にて目視する。
<S2>
続いて、再生画像を目視、確認して、映像最適化処理部Cの調整パラメータ生成部1にて、再生視野調整パラメータ、再生サイズ調整パラメータ、質感調整パラメータ、明度調整パラメータ、色調調整パラメータ、陰影調整パラメータ等の調整パラメータrの設定を行う。なお、S1とS2とは、いずれが先であってもよい。
<S3>
続いて、映像最適化処理部Cの映像最適化演算部2にて、付加情報gを調整パラメータrにて調整した調整付加情報grに基づいて画像演算処理を行い、再生視野のトリミング処理、再生サイズのトリミング処理、質感の調整処理、明度の調整処理、色調の調整処理、陰影の調整処理を行い、最適化された映像データを得る。
<S4>
続いて、最適化された映像データを映像再生処理部Dの映像再生部3にて再生し、再生画像をモニター画面に再生、表示する。
<S5>
上記S1〜S4までの操作を、第1フレーム1から最終画像フレームnまで行い、画像フレーム1〜nまでの原映像情報Gに調整付加情報grを付加した再生画像(G+gr)データを映像再生処理部Dのメモリ4に記憶させる。そして、画像フレーム1〜nまでを使用して再生画像(再生映像、G+gr)をモニター画面に再生、表示する。再生映像が観賞者の観賞条件に対応していれば、映像の最適化処理を終了する。一方、画像フレーム1〜nまでを使用して再生した映像に、さらに再生調整時間を付加情報gとして付加する必要があると判断された場合には、S6に進む。
<S6>
映像再生処理部Dのメモリ4に記憶させた調整付加情報grを付加した各画像フレーム1〜nのうち、再生調整時間を付加情報gとして付加する必要がある画像フレームk、k+1、k+2、k+3、・・・k+mの連続する複数フレームの原映像情報Gと調整付加情報grとをモニター画面に表示するとともに、映像最適化処理部Cに取り込む。
<S7>
次に、映像最適化処理部Cの調整パラメータ生成部1にて、原映像情報の基準時間to 又はto1、to2、to3、・・・tonに対して調整する再生時間である基準時間to に時間の付加情報として順に、α1 、α2 、α3 、・・・αn を付加した再生時間to +α1 、to +α2 、to +α3 、・・・to +αn 、又はto1+α1 、to2、+α2 、to3+α3 、・・・ton+αn を再生時間の付加情報gとして取得する。
<S8>
続いて、映像最適化処理部Cの調整パラメータ生成部1にて、再生時間の調整パラメータrを生成する。
<S9>
続いて、映像最適化処理部Cの映像最適化演算部2にて、S7にて取得した再生時間の付加情報gと、S8にて生成した調整パラメータrとに基づいて画像演算処理により、S5にて得られた前記再生画像(G+gr)に対して、再生時間の調整パラメータrを再生時間の付加情報gに乗じた再生時間の調整付加情報grを付加して、再生時間を補正処理し、最適化映像データを得る。
<S10>
映像最適化処理部Cにて得られた再生時間を補正処理した再生画像(G+gr+gr)
の最適化映像データを映像再生処理部Dの映像再生部3にて再生し、再生画像を映像としてモニター画面に再生、表示する。また、その再生画像(G+gr+gr)データを映像再生処理部Dのメモリ4に記憶させる。
<S11>
再生時間の補正処理を行った映像が、観賞者の観賞条件に対応していれば、映像ユニバーサルコンテンツの制作を終了する。一方、再生時間の補正処理を行った映像に、さらに再生調整時間を付加情報gとして付加する必要があると判断された場合には、S6又はS7又はS8に進む。
本発明における原映像情報の画像フレームと付加情報の画像フレームを表す説明図。 (a)〜(c)は本発明における画像の明度強調法を説明する画像フレームの画像。 (a)〜(c)は本発明における画像の色調強調法を説明する画像フレームの画像。 (a)〜(c)は本発明における画像の陰影強調法を説明する画像フレームの画像。 (a)〜(d)は本発明における画像の再生時間調整法を説明する画像フレーム。 (a)〜(d)は本発明における画像の再生視野調整法を説明する画像フレーム。 (a)〜(d)は本発明における画像の再生サイズ調整法を説明する画像フレーム。 (a)〜(f)は本発明における原映像情報と映像強調補正処理に使用するマスクの平面図。 (a)〜(b)は本発明の最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法を説明するシステムブロック図。 本発明の最適化映像再生システム及び最適化映像再生方法の一例を説明するシステムフローチャート図。
符号の説明
I…映像最適化手段
II…再生表示手段
III…配信手段
A…映像コンテンツデータ記憶部
B…読出部
C…映像最適化処理部
D…映像再生処理部
E1 、E2 、E3 、・・・En …映像表示デバイス

Claims (19)

  1. 原映像情報Gと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報gとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部Mと、
    映像コンテンツデータを読み出す読出部Bと、
    映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報gに対して映像観賞条件を反映させるための調整パラメータrを生成する調整パラメータ生成部1と、前記付加情報gと調整パラメータrとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部2とを備えた映像最適化手段Cと、
    得られた最適化映像を再生する映像再生手段Dと、
    を備え、
    前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする最適化映像再生システム。
  2. 前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項1記載の最適化映像再生システム。
  3. 前記画像表示デバイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項2記載の最適化映像再生システム。
  4. 前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項2記載の最適化映像再生システム。
  5. 前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項2記載の最適化映像再生システム。
  6. 請求項1乃至5のいずれか1項記載の最適化映像再生システムにおいて、前記映像再生手段Dにより再生された映像を出力表示する画像表示デバイスEを備えることを特徴とする最適化映像再生システム。
  7. 請求項6記載の最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Bと映像最適化手段Cと映像再生手段Dとを制御動作させる制御部Aを備え、前記記憶部M、制御部A、読出部B、映像最適化手段C、映像再生手段Dが、最適化映像を提供するプロバイダのデータサーバ側にあり、前記画像表示デバイスEが最適化映像を利用するユーザ側にあり、前記制御部Aと画像表示デバイスEとは、ネットワークによる配信手段IIIを介して接続可能であることを特徴とする最適化映像配信システム。
  8. 請求項6記載の最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Bと映像最適化手段Cと映像再生手段Dとを制御動作させる制御部Aを備え、前記映像コンテンツデータ記憶部Mが最適化映像のための映像コンテンツデータを提供するプロバイダのデータサーバ側にあり、前記制御部A、読出部B、映像最適化手段C、映像再生手段D、画像表示デバイスEが、最適化映像を利用するユーザ側にあり、前記制御部Aと画像表示デバイスEとは、ネットワークによる配信手段IIIを介して接続可能であることを特徴とする最適化映像配信システム。
  9. 請求項7又は8記載の最適化映像配信システムにおいて、前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする最適化映像配信システム。
  10. 映像情報Gと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報gとを映像コンテンツデータ記憶部Mから映像コンテンツデータとして読み出す読出部Bと、
    映像観賞条件に合わせた印象成分の操作を行うために、前記付加情報gに対して映像観賞条件を反映させるための調整パラメータrを生成する調整パラメータ生成部1と、前記付加情報gと調整パラメータrとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部2とを備えた映像最適化手段Cと、を備え、
    前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする映像最適化装置。
  11. 前記映像観賞条件は、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項10記載の映像最適化装置。
  12. 前記画像表示デバイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項11記載の映像最適化装置。
  13. 前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項11記載の映像最適化装置。
  14. 前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項11記載の映像最適化装置。
  15. 原映像情報Gと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報gとを映像コンテンツデータとして映像コンテンツデータ記憶部又は記憶媒体に記憶保持する映像コンテンツデータ記憶過程と、
    映像コンテンツデータ記憶部又は記憶媒体から映像コンテンツデータを読み出す読み出し過程と、
    映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報gに対して映像観賞条件を反映させるための調整パラメータrを生成する調整パラメータ生成過程と、
    前記付加情報gと調整パラメータrとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化過程と、
    得られた最適化映像を再生する映像再生過程と、
    によって、原映像情報を最適化して再生することを特徴とし、
    前記付加情報gが、質感調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか1つを含むことを特徴とする最適化映像再生方法。
  16. 前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項15記載の最適化映像再生方法。
  17. 前記画像表示デバイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項16記載の最適化映像再生方法。
  18. 前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項16記載の最適化映像再生方法。
  19. 前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも1つ或いは全てを含むことを特徴とする請求項16記載の最適化映像再生方法。
JP2005316389A 2005-10-31 2005-10-31 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法 Expired - Fee Related JP5083488B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005316389A JP5083488B2 (ja) 2005-10-31 2005-10-31 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005316389A JP5083488B2 (ja) 2005-10-31 2005-10-31 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法

Publications (2)

Publication Number Publication Date
JP2007121864A JP2007121864A (ja) 2007-05-17
JP5083488B2 true JP5083488B2 (ja) 2012-11-28

Family

ID=38145755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005316389A Expired - Fee Related JP5083488B2 (ja) 2005-10-31 2005-10-31 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法

Country Status (1)

Country Link
JP (1) JP5083488B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5186988B2 (ja) * 2008-04-17 2013-04-24 凸版印刷株式会社 映像調整装置
JP5562005B2 (ja) * 2009-11-02 2014-07-30 キヤノン株式会社 画像処理装置及び画像処理方法
US10447961B2 (en) * 2015-11-18 2019-10-15 Interdigital Vc Holdings, Inc. Luminance management for high dynamic range displays
JP6695826B2 (ja) * 2017-05-19 2020-05-20 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP7351140B2 (ja) * 2019-08-26 2023-09-27 富士通株式会社 配信装置、配信システムおよび配信プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002341843A (ja) * 2001-05-11 2002-11-29 Nanao Corp ディスプレイ装置及び画像表示システム
JP3920184B2 (ja) * 2002-09-26 2007-05-30 富士フイルム株式会社 画像補正処理装置及びプログラム
JP2004157302A (ja) * 2002-11-06 2004-06-03 Fujitsu Ltd 画像表示システム
JP2004282599A (ja) * 2003-03-18 2004-10-07 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法、プログラム、および記録媒体
JP2005018229A (ja) * 2003-06-24 2005-01-20 Seiko Epson Corp 文書閲覧端末、文書表示制御方法及び文書表示制御プログラム

Also Published As

Publication number Publication date
JP2007121864A (ja) 2007-05-17

Similar Documents

Publication Publication Date Title
CN109219844B (zh) 在视频优先级与图形优先级之间转换
JP6276794B2 (ja) カラーレジームを定義する装置及び方法
JP5139293B2 (ja) 撮像カメラ処理装置及び撮像カメラ処理方法
US7558420B2 (en) Method and apparatus for generating a stereographic image
JP4847184B2 (ja) 画像処理装置及びその制御方法、プログラム
US7227544B2 (en) Image data processing using depth image data for realistic scene representation
KR20070026701A (ko) 비디오 콘텐츠로부터 유도된 주변 광을 만들기 위해 지각규칙을 사용하는 지배적인 컬러 추출
KR20170065926A (ko) 디스플레이 장치 및 그 제어방법
JP2007292804A (ja) 画像処理装置及び画像処理方法
JP5083488B2 (ja) 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法
US10645359B2 (en) Method for processing a digital image, device, terminal equipment and associated computer program
JP6723969B2 (ja) 画像処理装置、表示装置、および画像処理方法
CN107743637B (zh) 用于处理外围图像的方法和设备
JP2004096730A (ja) ビデオ処理方法及びビデオ処理装置
US20080136818A1 (en) Information processing apparatus and information processing method
JP2007522732A (ja) スクリーンに表示される画像のアスペクト比の変更
JP2004362222A (ja) 壁紙表示の方法
US20140176799A1 (en) Content processing apparatus, content processing method, and storage medium
KR20180094949A (ko) 디지털 이미지를 프로세싱하기 위한 방법, 디바이스, 단말 장비 및 연관된 컴퓨터 프로그램
JP6806040B2 (ja) 画像生成装置、表示システム、及びプログラム
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
JP3798561B2 (ja) 画像表示制御装置
JP2001297323A (ja) レンズカラーセレクション方法及び装置
JP2006215146A (ja) 画像表示装置及び画像表示方法
JP7083319B2 (ja) 画像生成装置および画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120516

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120808

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R150 Certificate of patent or registration of utility model

Ref document number: 5083488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees