JP5238849B2 - 電子機器、電子機器の制御方法及び電子機器の制御プログラム - Google Patents

電子機器、電子機器の制御方法及び電子機器の制御プログラム Download PDF

Info

Publication number
JP5238849B2
JP5238849B2 JP2011109910A JP2011109910A JP5238849B2 JP 5238849 B2 JP5238849 B2 JP 5238849B2 JP 2011109910 A JP2011109910 A JP 2011109910A JP 2011109910 A JP2011109910 A JP 2011109910A JP 5238849 B2 JP5238849 B2 JP 5238849B2
Authority
JP
Japan
Prior art keywords
video
playback
depth estimation
speed
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011109910A
Other languages
English (en)
Other versions
JP2012244258A (ja
Inventor
正康 芹澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011109910A priority Critical patent/JP5238849B2/ja
Priority to US13/415,551 priority patent/US8873939B2/en
Publication of JP2012244258A publication Critical patent/JP2012244258A/ja
Application granted granted Critical
Publication of JP5238849B2 publication Critical patent/JP5238849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/264Image signal generators with monoscopic-to-stereoscopic image conversion using the relative movement of objects in two video frames or fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs

Description

本発明の実施形態は、電子機器、電子機器の制御方法及び電子機器の制御プログラムに関する。
近年、3D(スリーディー)映像を出力可能な3D映像出力装置(電子機器)が普及しつつある。
ここで、3Dとは、「three-dimensional」あるいは「three dimensions」の略語である。ここでは、3Dは、「3次元の」、あるいは「3次元」を意味する。例えば、映像の立体視等の用語等に用いられる。
また、近年、2D(ツーディー)映像のコンテンツを3D映像に変換して再生出力する、いわゆる、2D−3D変換機能を備えた映像出力装置(電子機器)も普及しつつある。この2D−3D変換された映像も3Dで出力可能である。
なお、2Dとは、「two-dimensional」あるいは「two dimensions」の略語である。2
2Dは、「2次元の」、あるいは「2次元」を意味する。
上記2D−3D変換処理においては、例えば、2D映像における複数の要素から3D映像の奥行きを推定する「3D奥行き推定」処理が行なわれる。
また、これらの映像出力装置(電子機器)においては、映像(コンテンツ)の再生を通常の再生速度(例えば1倍)で再生する通常再生に加え、例えばユーザ操作によって、映像(コンテンツ)の再生速度を、適宜、変更可能にする機能を備えるものがある。
これらの映像出力装置(電子機器)においては、例えば、映像(コンテンツ)を早送りで再生する早送り再生や、映像(コンテンツ)をゆっくり再生するスロー再生を行うことが可能である。
そして、例えば、ユーザが、映像コンテンツのある場面をじっくりみたい、スロー再生のような比較的遅い再生を行う際に、3D再生映像の見栄え(例えば、画質等)が気になり、これが問題になる場合がある。
このため、映像コンテンツの再生を行う場合に、3D再生映像の見栄えを向上させることが可能な、3D映像出力装置(電子機器)を提供することが課題になっていた。
特開2006−186510号公報 特開2001−359119号公報
映像コンテンツの再生を行う場合に、3D再生映像の見栄えを向上させることが可能な、3D映像出力装置(電子機器)を提供することが課題になっていた。
実施形態の電子機器は、映像の再生速度に係る情報を取得する再生速度情報取得部を備える。
また、前記映像の再生速度に係る情報に対応して、前記映像の複数の3D奥行き推定処理のオン/オフの組み合わせを設定する設定部を備える。
また、前記取得された映像の再生速度に係る情報に応じて前記設定されたオン/オフの組み合わせの前記3D奥行き推定処理を前記映像に行い、前記3D奥行き推定処理された映像信号を出力する映像信号出力部を備える。
実施形態に係わる映像表示装置の外観を示す外観図。 実施形態に係わる映像表示装置の構成の一例を示すブロック図。 実施形態に係わる映像表示装置の機能を説明する機能説明図。 実施形態に係わる映像表示装置に設定された、再生速度に応じた映像の3D奥行き推定処理の一例を示す図。 実施形態に係わる映像表示装置の動作を説明するフローチャート。 実施形態に係わる映像表示装置の動作を詳細に説明するフローチャート。 実施形態に係わる映像表示装置において、再生速度に応じた映像の3D奥行き推定処理がユーザによって設定あるいは変更可能にする設定画面の一例を示す図。
以下、図面を参照し、実施の形態を説明する。
図1は、実施形態に係わる映像表示装置の外観を示す外観図である。
ここでは、電子機器は、例えばノートブックタイプのパーソナルコンピュータ(ノートPC、またはPC)10として実現されている。
なお、この実施の形態はパーソナルコンピュータに限られず、TVや携帯電話、携帯型の電子機器等に適用することも可能である。
図1に示すように、本電子機器(ノートPC)10は、コンピュータ(ノートPC)本体11と、映像表示部(ディスプレイユニット)12とから構成されている。映像表示部(ディスプレイユニット)12には、例えば、LCD(liquid crystal display)17が組み込まれている。
映像表示部(ディスプレイユニット)12は、コンピュータ(ノートPC)本体11の上面が露出される開放位置とコンピュータ(ノートPC)本体11の上面を覆う閉塞位置との間を回動自在にコンピュータ(ノートPC)本体11に取り付けられている。
コンピュータ(ノートPC)本体11は、薄い箱形の筐体を有しており、その上面には、キーボード13、本電子機器(ノートPC)10を電源オン/電源オフするためのパワーボタン14、タッチパッド16、スピーカ18A,18Bなどが配置されている。
また、コンピュータ(ノートPC)本体11の、例えば、右側面には、USB(universal serial bus)2.0規格のUSBケーブルやUSBデバイスを接続するためのUSBコネクタ19が設けられている。
さらに、コンピュータ(ノートPC)本体11の背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている(図示せず)。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。
図2は、実施形態に係わる電子機器(ノートPC)の構成を示すブロック図である。
本電子機器(ノートPC)10は、図2に示すように、CPU(central processing unit)101、ノースブリッジ102、主メモリ103、サウスブリッジ104、GPU(Graphics Processing Unit)105、VRAM(ビデオRAM:random access memory)105A、サウンドコントローラ106、BIOS−ROM(basic input/output system-read only memory)107、LAN(local area network)コントローラ108、ハードディスクドライブ(HDD(記憶装置))109、光ディスクドライブ(ODD)110、USBコントローラ111A、カードコントローラ111B、カードスロット111C、無線LANコントローラ112、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)113、EEPROM(electrically erasable programmable ROM)114等を備える。
CPU101は、本電子機器(ノートPC)10内の各部の動作を制御するプロセッサである。
CPU101は、BIOS−ROM107に格納されたBIOSを実行する。BIOSは、ハードウェア制御のためのプログラムである。
ノースブリッジ102は、CPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、例えば、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
GPU105は、本電子機器(ノートPC)10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。
このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ1にデジタル映像信号を送出することもできる。
HDMI端子2は、前述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを1本のケーブルでテレビのような外部ディスプレイ1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ1にデジタル映像信号を、HDMI端子2を介して送出するためのインタフェースである。
サウスブリッジ104は、PCI(Peripheral Component Interconnect)バス上の各デバイス及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ104は、HDD109及びODD110を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。
さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。LANコントローラ108は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線LANコントローラ112は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。USBコントローラ111Aは、例えばUSB 2.0規格に対応した外部機器との通信を実行する。
例えば、USBコントローラ111Aは、デジタルカメラに格納されている画像データファイルを受信するために使用される。また、カードコントローラ111Bは、コンピュータ(ノートPC)本体11に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。
EC/KBC113は、電力管理のためのエンベデッドコントローラと、キーボード13及びタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC113は、ユーザによるパワーボタン14の操作に応じて本電子機器(ノートPC)10を電源オン/電源オフする機能を有している。
この実施の形態における表示制御は、例えば、CPU101が主メモリ103やHDD109等に記録されたプログラムを実行させることにより行われる。
また、後述するように、この実施の形態においては、例えば、キーボート13やタッチパッド16がユーザに操作され、映像表示装置10に、映像の再生速度に係る情報が入力される。映像表示装置10は、この入力された映像の再生速度に係る情報を取得し、CPU101に送信する。
CPU101は、この取得された映像の再生速度に係る情報を受信し、映像の再生速度に係る情報に応じて映像の3D奥行き推定処理を行う。
また、CPU101は、この3D奥行き推定処理された映像信号を映像表示部12のLCD17に向けて出力する。
映像表示部12のLCD17は、CPU101から出力された映像信号を受信し、映像を表示する。
図3は、実施形態に係わる映像表示装置の機能を説明する機能説明図である。
ここでは、図3に示すように、例えば、映像表示装置10の映像表示部12(LCD17)に、映像の再生速度に係るボタン表示が表示される。
ここでは、停止ボタン17a、通常再生ボタン17b、早送り再生ボタン17c、スロー再生ボタン17dが表示される。
そして、上記のように、例えば、ユーザによって、キーボート13やタッチパッド16が操作され、映像表示装置10に、映像の再生速度に係る情報が入力される。
この実施の形態においては、ハードディスクドライブ(HDD(記憶装置))109や光ディスクドライブ(ODD)110、カードスロット111Cに装着されるメモリカード等の記憶媒体に映像(コンテンツ)が記憶されている。
そして、例えば、通常再生ボタン17bが操作されると、これらの記憶媒体に記憶されている映像(コンテンツ)の通常再生が行われる。この通常再生は、再生速度が通常の速度、すなわち、1倍(×1.0)の速度で再生が行なわれる。
また、例えば、早送り再生ボタン17cが1回操作されると、これらの記憶媒体に記憶されている映像(コンテンツ)の第1の早送り再生(例えば、音声を聞きながら早見再生を行う早見早聞)が行われる。この第1の早送り再生(早見早聞)は、再生速度が早見早聞の早送りの速度、すなわち、上記通常の速度の1.5倍(×1.5)の速度で再生が行なわれる。
また、例えば、早送り再生ボタン17cが2回連続して操作されると、これらの記憶媒体に記憶されている映像(コンテンツ)の第2の早送り再生が行われる。この第2の早送り再生は、上記第1の早送り再生(早見早聞)よりも速い早送りの再生速度、すなわち、上記通常の速度の2.0倍(×2.0)の速度で再生が行なわれる。この第2の早送り再生は、音声を出力しても良いが、出力しなくとも良い。
また、例えば、スロー再生ボタン17dが操作されると、これらの記憶媒体に記憶されている映像(コンテンツ)のスロー再生が行われる。このスロー再生は、再生速度が上記通常の速度より遅い速度、すなわち、上記通常の速度の0.5倍(×0.5)の速度で再生が行なわれる。
そして、上記ユーザに入力された映像の再生速度に係る情報は、例えば、再生速度情報取得部31で取得され、CPU101に送信される。
また、CPU101は、上記取得された映像の再生速度に係る情報を受信し、上記映像の再生速度に係る情報に応じて映像の3D奥行き推定処理を行う。
上記記憶媒体に記憶されている映像(コンテンツ)は、例えば、ファイル形式32で保存され、CPU101の指示でデコーダ33に送信される。CPU101に指示されるデコーダ33は、この映像(コンテンツ)を受信し、デコード処理を施して、例えば、3D奥行き推定モジュール34に向けて送信する。
3D奥行き推定モジュール34は、CPU101に指示され、上記のように取得された映像の再生速度に係る情報に応じ、それぞれ映像の3D奥行き推定処理を行い、3D奥行き推定処理が行われた映像信号を映像表示部(表示デバイス、例えばLCD17)12に向けて出力する。このとき、この映像信号には、映像の再生速度に係る情報に応じた3D映像の奥行き情報が付与される。
映像表示部12は、CPU101に指示され、出力された映像信号を受信し、映像を表示する。
ここで、この実施形態に係わる3D奥行き推定処理の一例を説明する。
なお、この実施の形態においては、3D奥行き推定処理は、ここで説明するものに限られない。
2D映像から3D映像を生成する技術の一例として、「2D−3D変換」がある。
この「2D−3D変換」は、2D映像における複数の要素から奥行きを推定し、立体感のある3D映像を生成する。この技術は、例えば、高性能CPUを採用し、上記複数の奥行き生成処理を同時に実行することにより実現される。
また、上記複数の要素には、例えば、「動き検出」や「顔検出」等の技術が用いられる。そして、例えば、テレビ放送におけるシーンが、「動きを伴う部分」、「人物が登場する部分」、「典型的な構図の風景」の3つに分類されることに着目し、それぞれに最適な奥行き推定要素を適用し、これらを組み合わせることで、3D奥行き推定処理を行い、立体感のある3D映像を生成する。
例えば、「動きを伴う部分」は、手前にある物体ほど見かけの動きが早く、2Dの画面上で物体が動いた距離が大きい物体ほど手前に存在するという原理を用い、物体の前後関係を推定する。
また、「人物が登場する部分」は、2D映像における人物から顔の位置を検出し、顔と肩など体の相対的な位置を統計的にデータ化したテンプレートに割り当て、人物の奥行きを推定する。
また、「典型的な構図の風景」は、自然の風景における空、海、陸地など表示映像の色分布の対比を利用することにより、構図を推定して割り当てる。
なお、この他にも、映像内の被写体のボケ具合から、3D奥行き推定処理を行うこと等も適用可能である。
図4は、実施形態に係わる映像表示装置に設定された、再生速度に応じた映像の3D奥行き推定処理の一例を示す図である。
これらの処理の設定は、例えば、予め、図2に示す主メモリ103に記憶される。
なお、図7を用いて後述するように、これらの処理の設定は、例えばユーザ操作によって、変更することも可能である。
40は、主メモリ103に記憶される再生速度に応じた映像の3D奥行き推定処理の一例を示す処理テーブルである。
ここでは、例えば、予め、ユーザ等から入力される「再生速度」、この「再生速度」に応じた「処理レベル」、この「再生速度」に応じた「対象ピクチャ」、この「再生速度」に応じた「処理数」、この「再生速度」に応じた具体的な「3D奥行き推定処理」が設定されている。
例えば、ユーザによって、上記「スロー再生(×0.5)」41が操作されると、この主メモリ103に記憶設定された3D奥行き推定処理が実行される。
すなわち、ここでは、「処理レベル」は「1(詳細)」、「対象ピクチャ」は「ほぼ全ピクチャまたは全ピクチャ」、「処理数」は「3」、具体的な「3D奥行き推定処理」は「全ピクチャの構図認識、顔検出処理、動き検出処理を行う」という3D奥行き推定処理が実行される。
また、同様に、上記「通常再生(×1.0)」42が操作されると、この主メモリ103に記憶設定された3D奥行き推定処理が実行される。
ここでは、「処理レベル」は「2(通常)」、「対象ピクチャ」は「ほぼ半数のピクチャ」、「処理数」は「3」、具体的な「3D奥行き推定処理」は「半数のピクチャの構図認識、顔検出処理、動き検出処理を行う」という3D奥行き推定処理が実行される。
また、同様に、上記「第1の早送り再生(早見早聞)(×1.5)」43が操作されると、この主メモリ103に記憶設定された3D奥行き推定処理が実行される。
ここでは、「処理レベル」は「3(簡易)」、「対象ピクチャ」は「半数のピクチャの縮小画像」、「処理数」は「2」、具体的な「3D奥行き推定処理」は「半数のピクチャの縮小画像から構図認識、動き検出処理を行う」という3D奥行き推定処理が実行される。
また、同様に、上記「第2の早送り再生(×2.0)」44が操作されると、この主メモリ103に記憶設定された3D奥行き推定処理が実行される。
ここでは、「処理レベル」は「4(さらに簡易)」、「対象ピクチャ」は「Iピクチャの縮小画像」、「処理数」は「1」、具体的な「3D奥行き推定処理」は「Iピクチャの縮小画像から構図認識のみで推定する」という3D奥行き推定処理が実行される。
すなわち、この実施の形態においては、上記のように取得された映像の再生速度が通常再生(例えば1倍)より遅い場合に、通常再生に行なうよりも詳細な3D奥行き推定処理を行うように構成している。
あるいは、取得された映像の再生速度が通常再生(例えば1倍)より遅い場合に、通常再生に行なうよりも処理量の多い処理を行うように構成している。
また、この実施の形態においては、上記のように取得された映像の再生速度が通常再生より速い場合に、通常再生に行なうよりも簡易な3D奥行き推定処理を行うように構成している。
あるいは、取得された映像の再生速度が通常再生(例えば1倍)より遅い場合に、通常再生に行なうよりも処理量の少ない処理を行うように構成している。
この実施の形態においては、これらの処理は、例えば、CPU101によって制御される。
図5は、実施形態に係わる映像表示装置の動作を説明するフローチャートである。
S100は、ここでの開始ステップである。続いて、ステップS101に進む。
ステップS101は、映像コンテンツの再生速度は通常(1倍速)であるかを判別するステップである。映像コンテンツの再生速度は通常(1倍速)であると判別される場合は、ステップS102に進む(Yes)。映像コンテンツの再生速度は通常(1倍速)ではないと判別される場合は、ステップS103に進む(No)。
ステップS102は、ユーザ操作された通常再生(1倍速)の再生速度に応じ、上記図4に示した処理レベル(間引きフレーム数、解析解像度等)を指定するステップである。続いて、ステップS104に進む。
ステップS103は、CPU101が、受信した再生速度に応じ、上記図4に示した処理レベル(間引きフレーム数、解析解像度等)を指定するステップである。続いて、ステップS104に進む。
ステップS104は、上記指定された処理レベルの3D奥行き推定処理を実行し、映像コンテンツを再生出力するステップである。続いて、ステップS105に進む。
ステップS105は、全ての処理は完了したかを判別するステップである。全ての処理が完了したと判別される場合は、ステップS106に進む(Yes)。全ての処理が完了したと判別されない場合は、ステップS101に進み、上記処理を繰り返す(No)。
ステップS106は、終了ステップであり、ここでの処理は終了する。
図6は、実施形態に係わる映像表示装置の動作を詳細に説明するフローチャートである。
S200は、ここでの開始ステップである。続いて、ステップS201に進む。
ステップS201は、映像コンテンツの再生処理が指示されたかを判別するステップである。映像コンテンツの再生処理が指示されたと判別される場合は、ステップS202に進む(Yes)。映像コンテンツの再生処理が指示されないと判別される場合は、ここでの処理が繰り返される(No)。
ステップS202は、上記再生処理が指示された映像コンテンツの再生速度情報を、例えば、上記のように取得するステップである。続いて、ステップS203に進む。
ステップS203は、上記取得された映像コンテンツの再生が通常再生であるかを判別するステップである。なお、ここでは、通常再生の再生速度を1倍速としたが、例えば、0.9倍速乃至1.1倍速の間の速度等、1倍速に近い速度にすることも可能である。上記取得された映像コンテンツの再生が通常再生であると判別される場合は、ステップS204に進む(Yes)。上記取得された映像コンテンツの再生が通常再生ではないと判別される場合は、ステップS205に進む(No)。
ステップS204は、例えば、上記映像コンテンツの、再生に用いられる全数(第1の数)のピクチャの半数(第2の数)程度の数のピクチャについて、例えば、図4に示す第2レベル(通常)の3D奥行き推定処理を行うステップである。続いて、ステップS211に進む。
ステップS205は、上記取得された映像コンテンツの再生はスロー再生(例えば、0.5倍速等、上記通常再生より遅い速度の再生)であるかを判別するステップである。上記取得された映像コンテンツの再生はスロー再生であると判別される場合は、ステップS206に進む(Yes)。上記取得された映像コンテンツの再生はスロー再生ではないと判別される場合は、ステップS207に進む(No)。
ステップS206は、例えば、上記映像コンテンツの、再生に用いられる全数(第1の数)のピクチャについて、第2レベル(通常)より詳細な、第1レベル(詳細)の3D奥行き推定処理を行うステップである。このとき、例えば、図4に示すように、第1レベル(詳細)の3D奥行き推定処理は、第2レベル(通常)の3D奥行き推定処理よりも処理量が大きい。続いて、ステップS211に進む。
ステップS207は、上記取得された映像コンテンツの再生は、第1の早送り再生(例えば、1.5倍速、上記通常再生より速い速度の再生)であるかを判別するステップである。上記取得された映像コンテンツの再生は、第1の早送り再生であると判別される場合は、ステップS208に進む(Yes)。上記取得された映像コンテンツの再生は、第1の早送り再生ではないと判別される場合は、ステップS209に進む(No)。
ステップS208は、例えば、上記映像コンテンツの、再生に用いられる全数(第1の数)のほぼ半数の数のピクチャの縮小画像(第3の数)のピクチャについて、第2レベル(通常)より簡易な、第3レベル(簡易)の3D奥行き推定を行なうステップである。続いて、ステップS211に進む。
ステップS209は、上記取得された映像コンテンツの再生は、第2の早送り再生(例えば、2倍速、上記第1の早送り再生より速い速度の再生)であるかを判別するステップである。上記取得された映像コンテンツの再生は、第2の早送り再生であると判別される場合は、ステップS210に進む(Yes)。上記取得された映像コンテンツの再生は、第2の早送り再生ではないと判別される場合は、ステップS201に進み、上記処理を繰り返す(No)。
ステップS210は、例えば、上記取得された映像コンテンツのIピクチャの縮小画像(第4の数)のピクチャについて、第3レベル(簡易)よりさらに簡易な、第4レベル(さらに簡易)の3D奥行き推定を行なうステップである。このとき、例えば、図4に示すように、第4レベル(さらに簡易)の3D奥行き推定処理は、第3レベル(簡易)の3D奥行き推定処理よりも処理量が小さい。続いて、ステップS211に進む。
なお、ここでは、上記映像コンテンツは、例えば、MPEG(Moving Picture Experts Group)によって決められた標準規格が採用され、GOP(Group Of Pictures)を構成している。このGOPを構成するピクチャは、Iピクチャ、PピクチャおよびBピクチャの3種類が含まれ得るが、GOPには少なくとも1枚のIピクチャが含まれている。
ステップS211は、上記推定された3D奥行き処理を実行し、映像コンテンツを再生出力するステップである。続いて、ステップS212に進む。
ステップS212は、上記映像コンテンツの再生に係る全ての処理は完了したかを判別するステップである。上記映像コンテンツの再生に係る全ての処理は完了したと判別される場合は、ステップS213に進む(Yes)。上記映像コンテンツの再生に係る全ての処理は完了しないと判別される場合は、ステップS201に進み、上記処理を繰り返す(No)。
ステップS213は、終了ステップであり、ここでの処理は終了する。
図7は、実施形態に係わる映像表示装置において、再生速度に応じた映像の3D奥行き推定処理がユーザによって設定あるいは変更可能にする設定画面の一例を示す図である。
ここでは、この3D奥行き推定処理設定画面は、映像表示部17に表示される。
ここでは、上記のように、初期値が設定されており、例えば、上記映像の3D奥行き推定処理と同様に、予め、図2に示す主メモリ103に記憶されている。
ここでは、予め設定された初期値は、上記と同様に、スロー再生(×0.5倍)は「レベル1(詳細)」(71)、通常再生(×1.0倍)は「レベル2(通常)」(72)、第1の早送り再生(早見早聞)(×1.5倍)は「レベル3(簡易)」(73)、第2の早送り再生(×2.0倍)は「レベル4(さらに簡易)」(74)である。
また、ユーザが設定の変更を行なった場合も、変更されたデータは、主メモリ103に記憶される。
ユーザが、この3D奥行き推定処理設定画面を見ながら、キーボード13やタッチパッド16等を操作することにより、一例として、通常再生(×1.0倍)を「レベル1(詳細)」に変更設定する。あるいは、第2の早送り再生(×2.0倍)を「レベル3(簡易)」に変更設定する。
このように、ユーザ操作によって、上記再生の種類に応じた3D奥行き推定処理の処理レベルが設定されたり、変更されたりし、主メモリ103に記憶される。
なお、上記説明は、「2D−3D変換」によって3Dに変換される3D映像を一例として用いたが、この実施の形態はこれに限られることはなく、記憶媒体に記憶された3D映像等の再生に適用することも可能である。
すなわち、この実施の形態においては、上記のように構成することにより、例えば、スロー再生でユーザが映像コンテンツのある場面をじっくりみたい場合に、この遅い再生速度に応じて、3D奥行き推定処理の重さ(処理量)に影響する処理を行う。
例えば、スロー再生においては、3D奥行き推定処理フレームを増やしたり、推定解像度を高いまま処理したりするようにする。
これにより、例えば、映像コンテンツのシーンチェンジの追従性にも優れ、構図解析などの奥行き推定処理における誤りを低減し、見栄えの良い、高品質な3D映像表示装置を提供することが可能になる。
また、この実施形態においては、例えば、ユーザから早送りや音声付き早見再生が指示された場合に、上記スロー再生に比べて画質のこだわりが少ないと判別し、例えば、3D奥行き推定処理の処理フレーム数を減らしたり、複数ある3D推定処理の一部を間引いたりして処理する。
これにより、例えば、映像表示装置(PC)10で使用する他アプリケーションのレスポンスを向上させたり、省電力を向上させたりすることが可能になる。
上記のように構成することによって、この発明の実施の形態においては、映像コンテンツの再生を行う場合に、3D再生映像の見栄えを向上させることが可能な、3D映像出力装置(電子機器)を提供することが可能になる。
なお、上記実施形態の制御処理の手順は全てソフトウェアによって実行することが可能である。このため、制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、上記実施形態と同様の効果を容易に実現することができる。 なお、上記実施形態は、記述そのものに限定されるものではなく、実施段階では、その趣旨を逸脱しない範囲で、構成要素を種々変形して具体化することが可能である。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
10…電子機器(PC)、12…映像表示部、41…スロー再生、42…通常再生、43…第1の早送り再生(早見早聞)、44…第2の早送り再生。

Claims (16)

  1. 映像の再生速度に係る情報を取得する再生速度情報取得部と、
    前記映像の再生速度に係る情報に対応して、前記映像の複数の3D奥行き推定処理のオン/オフの組み合わせを設定する設定部と、
    前記取得された映像の再生速度に係る情報に応じて前記設定されたオン/オフの組み合わせの前記3D奥行き推定処理を前記映像に行い、前記3D奥行き推定処理された映像信号を出力する映像信号出力部と、
    を備える電子機器。
  2. 前記取得された映像を縮小した縮小画像で前記3D奥行き推定処理を行えるように設定画面を提供する画面提供部
    をさらに備え、前記映像信号出力部は、前記3D奥行き推定処理を前記縮小画像に行い、前記3D奥行き推定処理された映像信号を出力する請求項1に記載の電子機器。
  3. 前記取得された映像の再生速度が通常再生より遅い場合に、前記通常再生に行なうよりも詳細な3D奥行き推定処理を前記映像に行う請求項1に記載の電子機器。
  4. 前記取得された映像の再生速度が通常再生より速い場合に、前記通常再生に行なうよりも簡易な3D奥行き推定処理を前記映像に行う請求項1に記載の電子機器。
  5. 前記映像の再生速度は、通常速度の再生を行う第1の速度、前記第1の速度より遅い速度の再生を行う第2の速度、前記第1の速度より速い速度の再生を行う第3の速度を備える請求項1に記載の電子機器。
  6. 前記映像は、2D−3D変換処理される請求項1に記載の電子機器。
  7. 前記映像は映像記憶部に記憶され、映像記憶部に記憶された映像の再生が行われる請求項1に記載の電子機器。
  8. 前記取得された映像の再生速度が通常再生より遅い場合に、前記通常再生に行なうよりも処理量の多い処理を前記映像に行う請求項1に記載の電子機器。
  9. 前記取得された映像の再生速度が通常再生より速い場合に、前記通常再生に行なうよりも処理量の少ない処理を前記映像に行う請求項1に記載の電子機器。
  10. 前記映像の3D奥行き推定処理は、予め、記憶部に設定されている請求項1に記載の電子機器。
  11. 前記出力された映像信号を受信し、映像を表示する映像表示部を備える請求項1に記載の電子機器。
  12. 前記映像の3D奥行き推定処理が設定可能な表示画面が表示される請求項11に記載の電子機器。
  13. 映像の再生速度に係る情報を取得するステップと、
    前記映像の再生速度に係る情報に対応して、前記映像の複数の3D奥行き推定処理のオン/オフの組み合わせを設定するステップと、
    前記取得された映像の再生速度に係る情報に応じて前記設定されたオン/オフの組み合わせの前記3D奥行き推定処理を前記映像に行い、前記3D奥行き推定処理された映像信号を出力するステップと、
    を備える電子機器の制御方法。
  14. 前記取得された映像を縮小した縮小画像で前記3D奥行き推定処理を行えるように設定画面を提供するステップ
    をさらに備え、前記3D奥行き推定処理を前記縮小画像に行い、前記3D奥行き推定処理された映像信号を出力する請求項13に記載の電子機器の制御方法。
  15. 映像の再生速度に係る情報を取得するステップと、
    前記映像の再生速度に係る情報に対応して、前記映像の複数の3D奥行き推定処理のオン/オフの組み合わせを設定するステップと、
    前記取得された映像の再生速度に係る情報に応じて前記設定されたオン/オフの組み合わせの前記3D奥行き推定処理を前記映像に行い、前記3D奥行き推定処理された映像信号を出力するステップと、
    を備える電子機器の制御プログラム。
  16. 前記取得された映像を縮小した縮小画像で前記3D奥行き推定処理を行えるように設定画面を提供するステップ
    をさらに備え、前記映像の3D奥行き推定処理を前記縮小画像に行い、前記3D奥行き推定処理された映像信号を出力する請求項15に記載の電子機器の制御プログラム。
JP2011109910A 2011-05-16 2011-05-16 電子機器、電子機器の制御方法及び電子機器の制御プログラム Active JP5238849B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011109910A JP5238849B2 (ja) 2011-05-16 2011-05-16 電子機器、電子機器の制御方法及び電子機器の制御プログラム
US13/415,551 US8873939B2 (en) 2011-05-16 2012-03-08 Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011109910A JP5238849B2 (ja) 2011-05-16 2011-05-16 電子機器、電子機器の制御方法及び電子機器の制御プログラム

Publications (2)

Publication Number Publication Date
JP2012244258A JP2012244258A (ja) 2012-12-10
JP5238849B2 true JP5238849B2 (ja) 2013-07-17

Family

ID=47174984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011109910A Active JP5238849B2 (ja) 2011-05-16 2011-05-16 電子機器、電子機器の制御方法及び電子機器の制御プログラム

Country Status (2)

Country Link
US (1) US8873939B2 (ja)
JP (1) JP5238849B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409563B2 (ja) 2021-06-16 2024-01-09 株式会社村田製作所 多層基板及び多層基板の製造方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200345A (zh) * 2018-01-24 2018-06-22 华东师范大学 高速实时多路视频采集处理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP2001359119A (ja) 2000-06-15 2001-12-26 Toshiba Corp 立体映像生成方法
JP4214528B2 (ja) 2004-12-27 2009-01-28 日本ビクター株式会社 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
JP4302163B2 (ja) * 2007-10-29 2009-07-22 株式会社東芝 映像再生装置及び映像再生方法
JP5096883B2 (ja) * 2007-11-16 2012-12-12 株式会社日立製作所 画像処理装置および画像録画再生装置
KR101497503B1 (ko) * 2008-09-25 2015-03-04 삼성전자주식회사 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
KR20110095128A (ko) * 2008-11-18 2011-08-24 파나소닉 주식회사 특수재생을 고려한 재생장치, 집적회로, 재생방법
JP2011097451A (ja) * 2009-10-30 2011-05-12 Fujifilm Corp 3次元画像表示装置及び方法
JP4823349B2 (ja) * 2009-11-11 2011-11-24 パナソニック株式会社 三次元映像復号装置及び三次元映像復号方法
JP2011244175A (ja) * 2010-05-18 2011-12-01 Sony Corp 電子機器、映像処理方法及びプログラム
JP5238767B2 (ja) * 2010-07-26 2013-07-17 株式会社東芝 視差画像生成方法及び装置
JP5178876B2 (ja) * 2011-04-27 2013-04-10 株式会社東芝 立体映像表示装置及び立体映像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7409563B2 (ja) 2021-06-16 2024-01-09 株式会社村田製作所 多層基板及び多層基板の製造方法

Also Published As

Publication number Publication date
JP2012244258A (ja) 2012-12-10
US8873939B2 (en) 2014-10-28
US20120294593A1 (en) 2012-11-22

Similar Documents

Publication Publication Date Title
JP7139515B2 (ja) 動画撮像方法、動画撮像装置、電子機器、およびコンピューター読取可能な記憶媒体
JP5389139B2 (ja) 電子機器及び表示制御方法
WO2015196937A1 (zh) 一种录制视频的方法和装置
EP2751988A1 (en) Method and system for providing an improved audio experience for viewers of video
US8941719B2 (en) Electronic apparatus and display control method
WO2013104142A1 (zh) 一种视频播放器、移动终端及移动终端播放视频的方法
US8619123B2 (en) Video processing apparatus and method for scaling three-dimensional video
JP2011244160A (ja) 再生装置および再生方法
JP5238849B2 (ja) 電子機器、電子機器の制御方法及び電子機器の制御プログラム
US20120224035A1 (en) Electronic apparatus and image processing method
JP6803463B2 (ja) ディスプレイ装置及びその制御方法
JP4738522B2 (ja) 映像表示装置及び映像表示方法
JP5025768B2 (ja) 電子機器及び画像処理方法
US20090080802A1 (en) Information processing apparatus and method for generating composite image
JP5058316B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP5161999B2 (ja) 電子機器、表示制御方法及び表示制御プログラム
JP5159911B2 (ja) 再生装置、再生方法、およびプログラム
JP5492269B2 (ja) 電子機器、表示制御方法及び表示制御プログラム
JP2011090110A (ja) 再生装置および再生装置の制御方法
JP5362082B2 (ja) 電子機器、画像処理方法、及び画像処理プログラム
JP5550603B2 (ja) 映像処理装置及び映像処理方法並びにプログラム
JP2012055015A (ja) 再生装置および再生方法
JP2013118642A (ja) 電子機器、表示制御方法及び表示制御プログラム
JP2011193498A (ja) 映像表示装置及び映像表示方法並びにプログラム
JP2012022554A (ja) 映像処理装置及び映像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R151 Written notification of patent or utility model registration

Ref document number: 5238849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350