JP6978497B2 - 電子装置及びその制御方法 - Google Patents

電子装置及びその制御方法 Download PDF

Info

Publication number
JP6978497B2
JP6978497B2 JP2019517228A JP2019517228A JP6978497B2 JP 6978497 B2 JP6978497 B2 JP 6978497B2 JP 2019517228 A JP2019517228 A JP 2019517228A JP 2019517228 A JP2019517228 A JP 2019517228A JP 6978497 B2 JP6978497 B2 JP 6978497B2
Authority
JP
Japan
Prior art keywords
viewpoint
display device
region
electronic device
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019517228A
Other languages
English (en)
Other versions
JP2020500349A (ja
Inventor
イ，サン−ヨン
ジョン，ヒ−ソク
チョ，キュ−ヒョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020500349A publication Critical patent/JP2020500349A/ja
Application granted granted Critical
Publication of JP6978497B2 publication Critical patent/JP6978497B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/121—Frame memory handling using a cache memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は電子装置及びその制御方法に関し、特に、特定視点に関する映像をディスプレイ装置に伝送する電子装置及びその制御方法に関する。
最近のディスプレイ装置は様々な映像を提供することができる。３６０度／ＶＲ映像がその１つである。複数台のカメラ、或いは複数のレンズを装着したカメラを用いて、３６０度／ＶＲ映像のように所定範囲の方位に対する映像を撮影し、これを仮想空間にマッピングしてユーザに見せると、ユーザは視点を変えながら映像を鑑賞することができる。その効果として、ユーザは実際の空間にいるかのように感じることになる。
上記のような所定範囲の方位に対する映像はデータ容量が大きく、それを処理するに時間がかかる。特に、３６０度／ＶＲ映像は上下左右の全画面（３６０゜ｘ１８０゜）に対するデータを有するので、映像の大きさが非常に大きい。しかし、ディスプレイ装置に表示されてユーザが特定時刻に実際に鑑賞する部分は、ユーザの視覚範囲の限界から、上記の映像の一部にすぎない。それにもかかわらず、ディスプレイ装置ごとに映像全体を受信して処理することは非効率的である。
かかる問題点は、３６０度／ＶＲ映像を複数の個別ディスプレイ装置で鑑賞するＮ−スクリーンサービスにおいてさらに目立つ。ユーザが鑑賞していない可能性のある個別ディスプレイ装置の数だけ帯域幅の浪費が倍加するからである。
そこで、各ディスプレイ装置に映像を効率的に伝送しながらも、映像を受信する各ディスプレイ装置にとって、映像全体を受信した時と同様に、ユーザの視点が変更されても途切れなく映像を再生できるようにする電子装置が要求される。
１つ以上の実施例は、所定範囲の方位に対して生成された映像を、これを表示するディスプレイ装置に効率的に伝送する電子装置を提供する。
１つ以上の実施例はまた、映像伝送の効率性を向上させながらも、ディスプレイ装置のユーザが視聴視点を変更しても映像が途切れなく表示され得るようにディスプレイ装置に映像を伝送する電子装置を提供する。
本発明の１実施例に係る電子装置は、視点の移動が可能な範囲の方位に対応する入力映像を受信する映像受信部と、第１ディスプレイ装置と通信する通信部と、前記第１ディスプレイ装置から第１視点の情報を受信するように前記通信部を制御し、前記入力映像のうち、前記第１視点に対応して前記第１ディスプレイ装置の画面に表示される第１領域の映像、及び該第１領域に隣接し前記第１視点の移動特性に対応する幅を有する第２領域の映像を、前記第１ディスプレイ装置に伝送するように前記通信部を制御する少なくとも１つのプロセッサとを備える。
前記プロセッサは、前記第１ディスプレイ装置から前記第１ディスプレイ装置の画面サイズ情報を受信するように前記通信部を制御でき、前記第１領域は前記第１ディスプレイ装置の前記画面サイズに対応し得る。
前記第１視点の前記移動特性は、前記第１視点の移動速度又は前記入力映像内の特定領域に対する前記第１視点の移動頻度を含み得る。
前記プロセッサは、第１視点の移動速度と第１視点の移動頻度のうち少なくとも１つの増加に対応して第２領域の１つ以上の幅を増加できる。
前記プロセッサは、前記第１ディスプレイ装置のユーザの視点履歴に基づいて第１視点の移動特性を決定できる。
前記ユーザの視点履歴は、前記第１視点の平均移動速度、前記第１視点の移動頻度及び前記入力映像の１つ以上の内容のうち少なくとも１つを含み得る。
前記プロセッサは、前記入力映像の１つ以上の内容に基づいて前記第２領域の１つ以上の幅をさらに決定できる。
前記プロセッサは、前記入力映像のうち第２視点に対応する映像を表示する第２ディスプレイ装置から前記第２視点の情報を受信し、前記第２視点の情報を前記第１ディスプレイ装置に伝送するように前記通信部を制御できる。
前記プロセッサは、前記第２視点に基づいて前記第１視点の移動特性を決定できる。
前記プロセッサは、前記電子装置と前記第１ディスプレイ装置間のネットワーク状態に基づいて前記第２領域の１つ以上の幅を決定できる。
前記プロセッサは、前記入力映像のうち第２視点に対応する映像を表示する第２ディスプレイ装置から前記第２視点の情報を受信するように前記通信部を制御し、前記第１視点の移動速度と前記第２視点の移動速度との比較に対応するように１つ以上の前記第２領域の幅を決定できる。
前記プロセッサは、前記電子装置と、前記第１及び第２ディスプレイ装置との通信帯域幅の範囲内で前記第２領域の１つ以上の幅をさらに決定できる。
前記プロセッサは、所定時間後に第１ディスプレイ装置から第３視点の情報を受信し、前記入力映像のうち、第３視点に対応し、前記第１ディスプレイ装置の画面にディスプレイされる第３領域及び前記第３視点の移動特性に対応する１つ以上の幅を有し、前記第３領域に隣接する第４領域を含む映像を、前記第１ディスプレイ装置に伝送するように前記通信部を制御できる。
前記プロセッサは、前記第３視点の移動速度、前記第３視点の移動頻度及び前記第１ディスプレイ装置のユーザの視点履歴のうち少なくとも１つに基づいて、前記第２領域の１つ以上の幅をさらに決定できる。
本発明の他の実施例に係る電子装置の制御方法は、視点の移動が可能な範囲の方位に対応する入力映像を受信する段階と、第１ディスプレイ装置から第１視点の情報を受信する段階と、前記入力映像のうち、前記第１視点に対応して前記第１ディスプレイ装置の画面に表示される第１領域の映像、及び該第１領域に隣接し前記第１視点の移動特性に対応する１つ以上の幅を有する第２領域の映像を、前記第１ディスプレイ装置に伝送する段階とを含む。
前記制御方法は、前記第１ディスプレイ装置から前記第１ディスプレイ装置の画面サイズ情報を受信する段階をさらに含み、前記第１領域は前記第１ディスプレイ装置の前記画面サイズに対応し得る。
前記第１視点の移動特性は、前記第１視点の移動速度又は前記入力映像内の特定領域に対する前記第１視点の移動頻度を含み得る。
前記制御方法は、前記第１ディスプレイ装置のユーザの視点履歴に基づいて前記第１視点の移動特性を決定する段階をさらに含み、前記ユーザの視点履歴は、前記第１視点の平均移動速度、前記第１視点の移動頻度、及び前記入力映像の１つ以上の内容のうち少なくとも１つを含み得る。
前記制御方法は、前記入力映像の１つ以上の内容に基づいて前記第２領域の前記１つ以上の幅を決定する段階をさらに含み得る。
前記制御方法は、前記入力映像のうち第２視点の映像を表示する第２ディスプレイ装置から前記第２視点の情報を受信する段階と、前記第２視点の情報を前記第１ディスプレイ装置に伝送する段階とをさらに含み得る。
前記制御方法は、前記第２視点に基づいて前記第１視点の移動特性を決定する段階をさらに含み得る。
前記制御方法は、前記電子装置と前記第１ディスプレイ装置間のネットワーク状態に基づいて前記第２領域の１つ以上の幅を決定する段階をさらに含み得る。
本発明の他の実施例に係るコンピュータプログラム製品は、コンピュータ装置によって実行されると、請求項９の制御方法を前記コンピュータ装置に実行させるコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体を含む。
コンピュータ読み取り可能なプログラムは、サーバ内においてコンピュータ読み取り可能な記憶媒体に格納されるか、及び／又は、コンピュータ読み取り可能なプログラムはネットワークを通じてコンピュータ装置にダウンロードされ得る。
本発明によれば、第１視点に対応してディスプレイ装置の画面に表示される第１領域の映像、及び該第１領域に隣接し前記第１視点の移動特性に対応する１つ以上の幅を有する第２領域の映像を、ディスプレイ装置に伝送するので、映像をディスプレイ装置に効率的に伝送し、ディスプレイ装置がユーザの視聴視点の変更に関係なく映像を途切れず、又は途切れを最小限にして表示できる。
本発明の１実施例に係る電子装置の作動概要を示す図である。 本発明の１実施例に係る入力映像、第１領域、第２領域、第１ディスプレイ装置画面を示す図である。 本発明の１実施例に係る電子装置と第１ディスプレイ装置との通信及び第１ディスプレイ装置の画面表示過程を示す図である。 本発明の１実施例に係る視点移動速度と第２領域との関係を示す図である。 本発明の１実施例に係る視点移動頻度と第２領域との関係を示す図である。 本発明の１実施例に係るユーザ視点履歴の１例を示す図である。 本発明の１実施例に係る電子装置において、ディスプレイ装置が複数である場合を示す図である。 本発明の１実施例によって入力映像の内容に基づいて視点の移動特性を決定する１例を示す図である。 本発明の１実施例によって入力映像の内容に基づいて視点の移動特性を決定する他の例を示す図である。 本発明の１実施例に係る電子装置において、同一映像に対する他のユーザの現在視点情報を活用する例を示す図である。 本発明の１実施例に係る電子装置において、同一映像に対する複数の他のユーザの視点履歴に基づいて、視点移動特性及び第２領域の幅を決定する例を示す図である。 本発明の１実施例に係る電子装置の構成を示す図である。 本発明の１実施例に係る電子装置の制御方法を示す図である。
以下、添付の図面を参照して本発明に係る実施例について詳しく説明する。以下の実施例の説明では添付の図面に記載された事項を参照するが、その際、各図に提示された同一の参照番号又は符号は実質的に同一の機能を行う構成要素を表す。
使用される用語は実施例を説明するためのみに使用され得、本発明の開示を限定する意図はない。用いられる単数表現（「ａ」、「ａｎ」、又は「ｔｈｅ」）は、別段の言及がない限り、複数表現を含むと意図される。「含む」、「備える」（「ｉｎｃｌｕｄｅ」、「ｈａｖｅ」）などの用語は、該当の特徴、数字、動作、部品、コンポーネント、又はそれらを組み合わせた物が存在することを意味するもので、１つ以上の他の特徴、数字、動作、部品、コンポーネント又はそれらを組み合わせた物の存在又は追加を排除しない。
図１は、本発明の１実施例に係る電子装置１００の作動概要を示す図である。本発明の１実施例に係る電子装置１００は例えばＴＶであり得るが、本発明の他の実施例に係る電子装置１００は、スマートフォン、タブレット、モバイルフォン、コンピュータ、マルチメディア再生機、電子額縁、デジタル広告板、ＬＦＤ（Ｌａｒｇｅ Ｆｏｒｍａｔ Ｄｉｓｐｌａｙ、大画面表示）、サイネージ、セットトップボックス、スマートウォッチ、ヘッドマウント型ディスプレイ（ｈｅａｄ−ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ；以下、‘ＨＭＤ’ともいう。）などのウェアラブルデバイス、冷蔵庫などのスマート家電を含む、受信した映像の処理、伝送が可能な装置であり得るが、本発明はこれらに限定されない。
本実施例において電子装置１００は入力映像１０１を受信し得る。本実施例における入力映像１０１は、視点の移動が可能な所定範囲の方位角（ａｚｉｍｕｔｈ）に対して生成された映像である。入力映像１０１の形状としては、球形映像、エクイレクタンギュラ（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ）映像、キューブ形映像、ピラミッド形映像などの様々な形状が可能である。入力映像１０１は、視点の移動が可能なように、少なくとも１つのレンズを装着したカメラが個別の方位に対して取得した複数の映像から生成され得、場合によって少なくとも１つのレンズは広角レンズであり得る。しかし、入力映像１０１を生成するための手段はこれに限定されず、入力映像は複数のカメラから生成された映像であり得る。入力映像は静止画、又は動画であり得る。
電子装置１００は少なくとも１つのカメラから入力映像１０１を受信し得るか、又は、サーバ、ＵＳＢ記憶装置、コンピュータなどの外部装置から入力映像１０１を受信できる。他の実施例として、電子装置１００は少なくとも１つのカメラを備え得る。本実施例における電子装置１００は、入力映像１０１全体に相当するデータを一度に受信し得るか、又は、入力映像１０１の一部に該当するデータだけを受信した後、残り部分のデータは必要によってさらに受信し得る。入力映像１０１の一部のデータは入力映像１０１を分割した各領域に該当するデータであり得る。
本実施例において電子装置１００は、第１ディスプレイ装置１１０又は第２ディスプレイ装置１１１の内の少なくとも１つ（以下、「第１及び／又は第２ディスプレイ装置１１０、１１１」と略する）から視点集合（ｖｉｅｗｐｏｉｎｔ＿ｓｅｔ）に関する情報を受信し得る。例えば、第１及び／又は第２ディスプレイ装置１１０，１１１は、電子装置１００により受信された入力映像１０１のうち、ユーザが見ようとする視点に対応する映像を電子装置１００から受信し得、それをユーザに表示し得る。即ち、第１及び／又は第２ディスプレイ装置１１０，１１１は、電子装置１００にユーザが見ようとする視点集合に関する情報を送信し得、電子装置１００から伝送された映像を受信してユーザに表示し得る。
本実施例において第１及び／又は第２ディスプレイ装置１１０，１１１の各々は、スマートフォン、タブレット、モバイルフォン、マルチメディア再生機、電子額縁、スマートウォッチ、ＨＭＤなどのウェアラブルデバイスであり得るが、これに限定されない。第１及び／又は第２ディスプレイ装置１１０，１１１の各々は、ユーザから入力されるか、又は自ら感知したユーザの視点情報を電子装置１００に伝送し、電子装置１００から受信した映像をユーザに表示するように構成された装置であれば何れも可能である。
本実施例において電子装置１００は、入力映像１０１を受信し、第１及び／又は第２ディスプレイ装置１１０，１１１から視点情報を受信した後、入力映像１０１のうち、上記の視点に対応して第１及び／又は第２ディスプレイ装置１１０，１１１の画面に表示されるべき第１領域１０３、及び第１領域に隣接し、上記の視点の移動特性に対応する幅を有する第２領域１０４の映像を、前記ディスプレイ装置１１０，１１１に伝送し得る。
第１領域１０３は、入力映像１０１のうち、第１及び／又は第２ディスプレイ装置１１０，１１１のユーザが見ようとする視点集合、即ち、第１及び／又は第２ディスプレイ装置１１０，１１１から受信した視点に対応する領域であり、第１及び／又は第２ディスプレイ装置１１０，１１１に伝送されると直ちに第１及び／又は第２ディスプレイ装置１１０，１１１の画面に表示される映像の領域である。第１領域１０３の形状は一般にディスプレイ装置１１０，１１１の形状に対応され得、長方形のものが普通であるが、これに限定されない。
第２領域１０４は、第１及び／又は第２ディスプレイ装置１１０，１１１に伝送されても直ちに第１及び／又は第２ディスプレイ装置１１０，１１１の画面に表示されるとは限らないが、第１領域１０３の映像を視聴している第１及び／又は第２ディスプレイ装置１１０，１１１のユーザが視点を変更する場合、第１及び／又は第２ディスプレイ装置１１０，１１１の画面に表示される可能性が高い領域である。
第２領域１０４は第１領域１０３に隣接している領域であり得、第１領域１０３の周縁から一定の幅を有し得る。例えば、第１領域１０３の形状が長方形の場合、第１領域１０３の各辺から一定の幅を有する領域であり得る。ここで、第１領域１０３の各辺からの幅が全ての辺に亘って一様である必要はない。即ち、第２領域１０４は第１領域１０３に隣接する領域であれば、如何なる形状も可能である。
電子装置１００は、入力映像１０１から上記のような第１領域１０３と第２領域１０４に該当する映像を選択して第１及び／又は第２ディスプレイ装置１１０，１１１に伝送するために、入力映像１０１を変換するように構成され得る。例えば、入力映像が３６０゜ｘ１８０゜のエクイレクタンギュラ（ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ）映像の場合、電子装置１００はそれをレクティリニア（ｒｅｃｔｉｌｉｎｅａｒ）映像に変換した後、第１領域１０３及び第２領域１０４に該当する映像を第１及び／又は第２ディスプレイ装置１１０，１１１に伝送できる。
本実施例において電子装置１００は、第１及び／又は第２ディスプレイ装置１１０，１１１の各々から第１及び／又は第２ディスプレイ装置１１０，１１１の画面サイズ情報をさらに受信できる。受信した第１及び／又は第２ディスプレイ装置１１０，１１１の画面サイズ情報は、第１領域１０３を決定する上で活用できる。例えば、第１領域１０３を第１及び／又は第２ディスプレイ装置１１０，１１１の画面サイズに対応するサイズに決定できる。
以下、本発明の１実施例に係る入力映像１０１、第１領域１０３、第２領域１０４、第１及び／又は第２ディスプレイ装置１１０，１１１の表示画面間の関係を、図２を参照して説明する。
図２は、入力映像１０１が球形映像２０１である場合を示す。本発明の１実施例に係る電子装置１００は例えば第１ディスプレイ装置１１０から、第１ディスプレイ装置１１０のユーザが見ようとする視点集合に関する情報を受信し得る。図２では、入力映像である球形映像２０１において、第１ディスプレイ装置１１０のユーザが見ようとする視点集合に該当する領域は２０２である。電子装置１００は入力映像である球形映像２０１を平面映像２０３に変換できる。球形映像２０１の領域２０２は平面映像２０３の領域２０４に等価であり得る。この２０４領域が第１ディスプレイ装置１１０の画面に表示される第１領域となり得る。そして、第１領域である２０４領域に隣接して所定の幅を有する第２領域は２０５となり得る。
電子装置１００は、図２において第１領域２０４と第２領域２０５に該当する映像を例えば第１ディスプレイ装置１１０に伝送し得る。第１、第２領域２０４、２０５に該当する映像を受信し得た第１ディスプレイ装置１１０は、第１領域２０４に該当する映像２０６を画面に表示し得る。即ち、電子装置１００から映像を受信した直後に第１ディスプレイ装置１１０は第１領域である２０４領域に該当する映像２０６を表示する。第２領域である２０５領域に該当する映像は第１ディスプレイ装置１１０に伝送され得るが、直ちには表示されるとは限られない。これは、後で第１ディスプレイ装置１１０のユーザが視点を変更する場合に備えて予め伝送され得る。
第２領域の映像を電子装置１００が第１ディスプレイ装置１１０に伝送する理由を、図３を参照して詳しく説明する。図３は、本発明の１実施例に係る電子装置１００と第１ディスプレイ装置１１０との通信、及び第１ディスプレイ装置１１０の画面表示過程を示す図である。
図３の例において、第１ディスプレイ装置１１０は時刻ｔ１に電子装置１００に対して映像提供を要請し得る。映像提供の要請を受けた電子装置１００は、最初の要請に該当する第１領域１０３及び第２領域１０４として１ａ領域及び２ａ領域の映像を、第１ディスプレイ装置１１０に伝送し得る。前述したように、２ａ領域は１ａ領域に隣接した領域であり得、１ａ領域の周縁から一定の幅を有し得る。
電子装置１００から伝送された１ａ領域及び２ａ領域の映像が第１ディスプレイ装置１１０に受信されるまでは時間がかかり得るので、時刻ｔ１から一定時間が経過した時刻ｔ２に第１ディスプレイ装置１１０に受信され得る。電子装置１００から１ａ領域及び２ａ領域の映像を受信した第１ディスプレイ装置１１０は、１ａ領域に該当する映像を画面に表示し得る。２ａ領域に該当する映像は、第１ディスプレイ装置１１０のユーザが後で視点を変更する場合に備えた映像であり、第１ディスプレイ装置１１０に伝送され得るが、未だ表示されない。即ち、第１ディスプレイ装置１１０の画面には、１ａ領域に対応する３０１映像が表示される。２ａ領域まで含む映像に対応する３１１映像は第１ディスプレイ装置１１０に表示されるとは限らない。
その後、時刻ｔ３から、第１ディスプレイ装置のユーザの視点移動が始まる。視点移動が始まった初期には、電子装置１００に追加映像の提供を要請しなくても、既に受信した１ａ領域及び２ａ領域に対応する映像を用いて、移動した視点に該当する映像３０２を第１ディスプレイ装置１１０に表示できる。しかし、視点移動が一定時間又は一定量以上進むと、次の視点の映像データを受信する必要があり得る。
図３では、時刻ｔ４に、第１ディスプレイ装置１１０は電子装置１００にｂ視点の映像を要請し得る。この要請に応じたデータ、即ち、ｂ視点に対応する第１領域である１ｂ領域、及び１ｂ領域に隣接する第２領域である２ｂ領域の映像データは時刻ｔ５に第１ディスプレイ装置１１０に伝送され得る。第１ディスプレイ装置１１０は、時刻ｔ２から時刻ｔ５までは、既に受信した１ａ領域及び２ａ領域の映像を用いて第１ディスプレイ装置１１０に映像を表示できる。
例えば、３０２映像の場合、最初に第１ディスプレイ装置１１０に表示された映像である３０１映像から視点が移動し得るが、最初に伝送された２ａ領域の映像である３１１内に存在し得るので、新しく要請したｂ視点に対応する映像が伝送されるまでは第１ディスプレイ装置１１０の画面に表示可能である。新しく要請したｂ視点に対応する映像が伝送された時刻ｔ５からは、新しく伝送された１ｂ領域及び２ｂ領域の映像を用いて映像を表示し得る（例えば、映像３０３，３０４）。このように、第２領域は、次の映像を受信するまでユーザの視点移動に対応する映像を表示するためのバッファとしての役割を担い得る。
以上、図２及び図３を参照して説明したように、本発明に係る電子装置１００は、入力映像全体を第１及び／又は第２ディスプレイ装置１１０，１１１に伝送するのではなく、第１、又は第２ディスプレイ装置１１０，１１１に表示される第１領域及びこれに隣接した第２領域の映像だけを伝送することによって、第１及び／又は第２ディスプレイ装置１１０，１１１に入力映像を効率的に伝送でき、且つ第１及び／又は第２ディスプレイ装置１１０，１１１のユーザが視聴視点を変更しても第１及び／又は第２ディスプレイ装置１１０，１１１で映像が途切れず、或いはあっても僅かな途切れだけで表示され得る。
一方、第１及び／又は第２ディスプレイ装置１１０、１１１のユーザが視点移動をしても第１及び／又は第２ディスプレイ装置１１０，１１１に映像を途切れなく表示させるために第１及び／又は第２ディスプレイ装置１１０，１１１に予め伝送される第２領域の映像は、視点の移動特性に対応してその幅が可変であり得る。ここで、視点の移動特性は、第２領域の幅を決定する因子であり得、第１及び／又は第２ディスプレイ装置１１０、１１１を使うユーザの将来の視点移動を予測する際に活用可能な各種の要素、要因、因子、資料、根拠などを含み得る。
視点の移動特性の例として、視点の移動速度、入力映像内の特定領域に対する視点の移動頻度、第１及び／又は第２ディスプレイ装置１１０，１１１のユーザの視点履歴、入力映像の内容及び客体情報、他のユーザの視点情報などを挙げ得る。また、第２領域の幅は、電子装置１００と第１及び／又は第２ディスプレイ装置１１０，１１１との通信速度によって変わり得る。通信速度が十分であれば、第２領域の幅を増大できる。一方、通信速度が十分でなければ、第２領域の幅を小さくし、第１及び／又は第２ディスプレイ装置１１０，１１１に直ちに表示されないデータ伝送を減少でき、第１及び／又は第２ディスプレイ装置１１０，１１１のユーザにとって第１領域の映像を鑑賞する上で不便を感じなくて済む。
以下、視点の移動特性と第２領域との関係について図４〜図１１を参照して説明する。
図４は、本発明の１実施例に係る視点移動速度と第２領域との関係を示す図である。視点の移動速度が速いほど第２領域の幅は増大する必要がある。何故なら、第１及び／又は第２ディスプレイ装置１１０，１１１に次の映像が伝送されるまで第１及び／又は第２ディスプレイ装置１１０，１１１に表示すべき映像の範囲が広い必要があり得る。
例えば、視点の移動速度が１０゜／ｍｓの場合、第２領域４０１の幅は第１映像４１０に示す程度で十分であろう。しかし、移動速度が２０゜／ｍｓの場合、第２領域４０２の幅は第２映像４２０に示すように、第１映像４１０よりは大きくなるべきである。さらに、移動速度が３０゜／ｍｓの場合、第２領域４０３の幅は第２映像４２０よりも大きい第３映像４３０の程度にし得る。以上では視点の移動速度をユーザの観点で“゜／ｍｓ”と表記したが、他の方式の単位で表記することも可能であり、例えば、映像の観点から“ｍｍ／ｓ”と表記することも可能である。
図５は、本発明の一実施例に係る視点移動頻度と第２領域との関係を示す図である。入力映像における特定領域に対する視点の移動頻度が大きいほど、第２領域の幅は広くなる必要がある。その特定領域へ第１及び／又は第２ディスプレイ装置１１０，１１１のユーザが視点を移動する確率が高く、これを予測してその特定領域の方向に第２領域の幅を広く設定した映像を予め伝送する方が、全方向に対して同一幅を設定した第２領域の映像を伝送する場合に比べて浪費される伝送量が少ないという点でより効率的であり得る。
例えば、第１映像５１０の場合、Ｐ、Ｑ、Ｒの各々に対する移動頻度はＰ＞Ｑ＞Ｒの順であり、第２領域の幅の大きさはＰ方向の幅が最大であり、Ｑ、Ｒ方向の順に小さくなる。第２映像５２０では、Ｒ＞Ｑ＞Ｐ、第３映像５３０ではＱ＞Ｐ＞Ｒの順となる。
視点の移動速度と特定領域に対する視点の移動頻度は、ユーザの視点履歴に基づいて決定できる。図６は、本発明の１実施例に係るユーザ視点履歴の１例を示す図である。図６に示すように、特定映像Ｘに対してユーザ別に視点移動の平均速度と特定領域別平均移動頻度を履歴に基づいて導出し、これをＸ映像に対する第２領域を決定する上で活用できる。視点移動平均速度の場合、図６では特定映像Ｘに対する平均速度を表しているが、視点移動平均速度が特定映像に拘束される必要はない。
図６に示すように、ユーザ別特定領域に対する平均滞留時間又は選好コンテンツ類型情報に基づいて第２領域の幅を決定することも可能である。例えば、特定領域に対する平均滞留時間が長いと、その領域で比較的長時間、視点を移動しない可能性が高いので、その特定領域に該当する映像情報を要請すれば、第２領域の幅を相対的に狭くして伝送できる。選好コンテンツ類型の場合、要請した映像の周囲に当該ユーザが好むコンテンツがあると、その方向に対する第２領域の幅を広くして伝送できる。
第２領域の幅はディスプレイ装置の数によって変わり得る。本発明の１実施例では、複数の（例えば、第１、第２）ディスプレイ装置１１０，１１１が１つの電子装置１００から映像を受信することも可能である。図７がそれに当たる。
図７で、第１ディスプレイ装置１１０が第１視点情報を電子装置１００に伝送し、第２ディスプレイ装置１１１は第２視点情報を電子装置１００に伝送し得る。例えば、第１視点情報と第２視点情報が、各ディスプレイ装置のユーザが見ようとする入力映像の該当の視点に関する情報の他にも各ディスプレイ装置のユーザの視線移動平均速度を含んでいる場合、又は電子装置１００が各ディスプレイ装置からユーザの視線移動平均速度を受信した場合、電子装置１００は、第１視点の移動速度と第２視点の移送速度とを比較した比較結果に対応する幅を有するように第２領域２ａと第２領域２ａを調整し、２ａ領域の映像７０４と２ｂ領域の映像７０６を各々第１ディスプレイ装置１１０と第２ディスプレイ装置１１１に伝送できる。これによれば、複数のユーザの視点移動速度を反映して映像を伝送することが可能になり、各ディスプレイ装置１１０，１１１に途切れなく映像が表示される信頼度を同時に向上できる。
しかも、電子装置１００と各ディスプレイ装置１１０，１１１間の通信帯域幅の範囲内で第２領域の幅を決定できる。これによれば、通信帯域幅を超えない範囲で映像を伝送できる。
また、第２領域の幅は、電子装置１００と第１及び第２ディスプレイ装置１１０，１１１との間のネットワーク状況によって変わり得る。１例として、電子装置１００と第１及び第２ディスプレイ装置１１０，１１１と間のネットワーク速度が十分でなければ、ユーザに現在見えない第２領域の幅を減らすことによって、ユーザが映像を鑑賞する上で不便を感じないようにしながらも、伝送されるべきデータを減少できる。一方、ネットワーク速度が十分であれば、第２領域の幅を大きく与え、ユーザが急速に視点移動をしても正常に映像を提供できる。
視点の移動特性及びそれに対応する第２領域の幅は入力映像の内容によって決定されてもよい。図８がそれに当たる。本発明の１実施例に係る電子装置１００に入力される入力映像の内容には制限がない。例えば、入力映像中には、自然風景のような静的なイメージを内容とする映像８０１があり得、飛行機や自動車の動きのような動的なイメージを内容とする映像８０２があり得る。この場合、静的なイメージを内容とする映像８０１よりは動的なイメージを内容とする映像８０２に対する第２領域の幅を広くする必要がある。即ち、８０１映像に対する第２領域８０４の幅よりも、８０２映像に対する第２領域８０６の幅をより大きくしてディスプレイ装置に伝送することが好適であろう。
入力映像の内容は、入力映像内の客体の種類の他にも、入力映像内の客体に関する情報、例えば、移動する客体を追跡して得られた客体の速度も含み得る。そして、視点の移動特性及びこれに対応する第２領域の幅は、そのような客体の速度によって決定され得る。図９にその例を示す。図９で入力映像９００は、空を飛んでいる飛行機の動画である。
図９のグラフのように、入力映像９００中の飛行機の速度が、動画の再生開始時からｔ１時刻までは３０゜／ｍｓ、ｔ１からｔ２までは１０゜／ｍｓ、ｔ２以降は２０゜／ｍｓの場合、電子装置１００は該当の時刻に対応する飛行機の速度によって第２領域の幅を決定できる。即ち、第２領域の上下左右の各方向別幅をα１、α２、α３、α４とする場合、第１映像９１０では、α１〜α４を３０゜／ｍｓに、第２映像９２０ではα１〜α４を１０゜／ｍｓに、第３映像９３０ではα１〜α４を２０゜／ｍｓに設定し、それに対応する第２領域９０２、９０４、９０６に対応する映像を、第１領域９０１、９０３、９０５に対応する映像と共に第１又は第２ディスプレイ装置１１０，１１１に伝送できる。各幅は９１０＞９３０＞９２０の順であり得る。
視点の移動特性と第２領域の幅は他のユーザの視点情報に基づいて決定され得る。図１０は、本発明の１実施例に係る電子装置１００において、同一映像に対する他のユーザの現在視点情報を活用する例を示す。第１ディスプレイ装置１１０のユーザと第２ディスプレイ装置１１１のユーザは同時に同じ入力映像を視聴している。しかし、入力映像において各ユーザが見ている視点は異なり得る。
例えば、第１ディスプレイ装置１１０のユーザは第１視点情報を電子装置１００に伝送し得て、電子装置１００から第１視点に対応する第１ａ領域の映像１００１を受信して視聴し得ており、第２ディスプレイ装置１１１のユーザは第２視点情報を電子装置１００に伝送し得て、電子装置１００から第２視点に対応する第２ａ領域の映像１００３を受信して視聴し得ている。このとき、一方のユーザが見る画面に他方のユーザの視点情報が表示され得る。
例えば、第１ディスプレイ装置１１０のユーザが視聴している第１ａ領域の映像１００１に、第２ディスプレイ装置１１１のユーザが現在視聴している視点の位置をアイコン１００７で表示できる。この場合、第１ディスプレイ装置１１０のユーザは、第２ディスプレイ装置１１１のユーザが現在見ている視点が分かり得る。この場合、一方のユーザが他方のユーザの視点方向に視点を移動しようとすることが予測できる。従って、電子装置１００から第１ディスプレイ装置１１０に映像を伝送するに当たって、特に第２領域の映像を伝送するに当たって、このようなユーザの予想移動を反映する必要がある。即ち、第２領域を決定するに当たって、１００６のように、他方のユーザの視点に該当する方向の幅をより広く決定して第１ディスプレイ装置１１０に伝送できる。
他のユーザの視点情報に基づいて第２領域を決定する他の例によれば、該決定は同一映像に対する複数の他のユーザの視点履歴に基づき得る。即ち、複数ユーザの選好地点情報に基づいて現在ユーザの視点移動が予測される。図１１がそれに当たり、本発明の１実施例に係る電子装置１００において同一映像に対する複数の他のユーザの視点履歴に基づいて視点移動特性及び第２領域の幅を決定する例を示している。
電子装置１００は入力映像１１００に対する複数ユーザの視聴履歴、特に視点移動履歴を収集し得て、それを第１及び／又は第２ディスプレイ装置１１０，１１１のユーザに表示できる。例えば、図１１で、電子装置１００は入力映像１１００に対する複数ユーザの視点移動履歴を収集できた後、それを分析できて、複数ユーザが共通に一定時間以上視点を止めた選好地点１１１０〜１１１９を把握できる。この時、第１ディスプレイ装置１１０のユーザが１１０１領域に該当する視点情報を送って、１１０１領域の映像を伝送するように要請した場合、電子装置１００は、第１領域を１１０１領域として決定してそれに関する映像１１０２を伝送する一方で、第２領域の幅は上記把握された選好地点に基づいて決定され得る。図１１では、１１０１領域の右側方向には選好地点が５個存在し（１１１３〜１１１７）、１１０１領域の下側方向には選好地点が２個存在する（１１１１，１１１２）が、１１０１領域の左側と上側方向には選好地点が１個ずつしか存在（１１１０，１１１７）しないので、これを反映して、第２領域の右側及び下側方向の幅を比較的広く、左側及び上側方向の幅を比較的狭く設定できる（１１０３）。
図１２は、本発明の１実施例に係る電子装置１００の構成を示す図である。図１を合わせ参照すると、本発明の１実施例に係る電子装置１００は、映像受信部１２０１、通信部１２０２、プロセッサ１２０３を備える。電子装置１００はインタフェース部１２０４とディスプレイ部１２０５をさらに備え得る。本発明の１実施例に係る電子装置１００は、図１２に示す構成と異なる構成によって具現され得る。即ち、図１２に示す構成要素以外の構成要素を付加するか、或いは図１２に示す構成要素の何れか１つを排除できる。本発明の実施例において、図１２の構成要素は、少なくとも１つの機能や動作を実行でき、ハードウェア又はソフトウェアによって具現されるか、或いはハードウェアとソフトウェアとの結合によって具現され得、少なくとも１つのプロセッサを含む回路又はチップの形で具現され得る。
映像受信部１２０１は、入力映像１０１を含む映像信号を受信する。映像受信部１２０１は映像信号を受信するためのチューナ（ｔｕｎｅｒ）を備え得る。チューナは複数のチャネルのうち、ユーザによって選択された何れか１つのチャネルの放送信号をチューニングして受信できる。映像受信部１２０１は、セットトップボックス、ＤＶＤプレーヤー、ＰＣなどの映像処理機器、スマートフォンのようなモバイル機器又はインターネットを介してサーバから映像信号を受信できる。
通信部１２０２は第１ディスプレイ装置１１０及び／又は第２ディスプレイ装置１１１と通信する。通信部１２０２は第１ディスプレイ装置１１０及び／又は第２ディスプレイ装置１１１から視点情報を受信し、第１ディスプレイ装置１１０及び／又は第２ディスプレイ装置１１１に第１領域及び第２領域の映像を伝送できる。
通信部１２０２はディスプレイ装置又は電子装置１００の具現方式などによって異なる様々な方式で具現され得る。例えば、通信部１２０２は有線通信のための接続部を含み、接続部はＨＤＭＩ（登録商標）（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ−ＣＥＣ（ｃｏｎｓｕｍｅｒ ｅｌｅｃｔｒｏｎｉｃｓ ｃｏｎｔｒｏｌ）、ＵＳＢ、ＰＣＩ（ペリフェラルコンポーネントインタフェース（Ｐｅｒｉｐｈｅｒａｌ＿ｃｏｍｐｏｎｅｎｔ＿ｉｎｔｅｒｆａｃｅ））などの規格に基づく信号／データを送／受信でき、これらの各規格に対応する少なくとも１つのコネクタ又は端子を備える。通信部１２０２は、有線ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を通じて複数のサーバと有線通信を実行できる。
通信部１２０２は有線接続のためのコネクタ又は端子を備える接続部の他にも様々な通信方式によって具現され得る。例えば、通信部１２０２は外部装置と無線通信を行うためにＲＦ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）信号を送受信するＲＦ回路を有し得、Ｗｉ−Ｆｉ、ブルトゥース、ジグビー（Ｚｉｇｂｅｅ）、ＵＷＭ（Ｕｌｔｒａ−Ｗｉｄｅ Ｂａｎｄ）、Ｗｉｒｅｌｅｓｓ ＵＳＢ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の何れか１つ以上の規格に基づく通信を行い得る。
プロセッサ１２０３は電子装置１００の構成要素の動作を制御するように構成され、入力映像１０１に対する信号処理を含む各種処理を遂行できる。制御を行う要素部分は、プロセッサ１２０３の内部に存在するか、又は、プロセッサ１２０３とは別個に提供され得る。プロセッサ１２０３は、制御及び処理動作を実行可能にするプログラム、プログラムが設置（インストール、ｉｎｓｔａｌｌ）される不揮発性のメモリ、設置されたプログラムの少なくとも一部がロードされる揮発性のメモリ、及びロードされたプログラムを実行する少なくとも１つのマイクロプロセッサ或いはＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を備え得る。プログラムは、ＢＩＯＳ、デバイスドライバ、ＯＳ、ファームウェア、プラットホーム及び応用プログラム（アプリケーション）のうち少なくとも１つの形態で具現されるプログラムを含み得る。
１つの実施例によれば、応用プログラムは、電子装置１００の製造に当たって、電子装置１００に予め設置又は格納されるか、或いは、使用時に、外部から応用プログラムのデータを受信し、受信したデータに基づいて電子装置１００に設置され得る。応用プログラムのデータは、例えば、アプリケーションマーケットのような外部サーバから電子装置１００にダウンロードされ得る。前記のプログラムの全部又は一部は、プロセッサを具備するコンピュータが読み取り可能な媒体に格納され得る。媒体はコンピュータ読み取り可能な如何なる形態の記録媒体をも含む。一方、図１３を参照して後述する、本発明の１つの実施例による方法は、コンピュータプログラムにより達成され得る。
プロセッサ１２０３は、１つの実施例によれば、入力映像１０１を受信するように映像受信部１２０１を制御するように構成され得る。また、プロセッサ１２０３は、第１ディスプレイ装置１１０及び／又は第２ディスプレイ装置１１１から第１視点の情報を受信するように通信部１２０２を制御し得る。次にプロセッサ１２０３は、第１視点に対応して第１ディスプレイ装置１１０の画面に表示されるべき第１領域の映像、及び第１領域に隣接して第１視点の移動特性に対応する幅を有する第２領域の映像を、第１ディスプレイ装置１１０及び／又は第２ディスプレイ装置１１１に伝送するように通信部１２０２を制御し得る。
インタフェース部１２０４はユーザ入力を受信してプロセッサ１２０３に伝達する。インタフェース部１２０４はユーザ入力の方式によって様々な形態を取り得る。例えば、電子装置１００の外側に設置されたメニューボタン、リモートコントローラ（ｒｅｍｏｔｅ ｃｏｎｔｒｏｌｌｅｒ；以下、‘リモコン’という。）から入力されるユーザ入力のリモコン信号を受信するリモコン信号受信部、電子装置１００に設けられてユーザのタッチ入力を受信するタッチスクリーン（ｔｏｕｃｈ−ｓｃｒｅｅｎ）、ユーザのジェスチャ入力を感知するカメラ、ユーザの音声入力を認識するマイク、ユーザの動きを感知するセンサなどを含み得る。
ディスプレイ部１２０５は入力映像１０１を出力できる。ディスプレイ部１２０５の具現方式は限定されず、例えば、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）、プラズマ（ｐｌａｓｍａ）、発光ダイオード（ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、面伝導電子銃（ｓｕｒｆａｃｅ−ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ−ｅｍｉｔｔｅｒ）、炭素ナノチューブ（ｃａｒｂｏｎ ｎａｎｏ−ｔｕｂｅ）、ナノクリスタル（ｎａｎｏ−ｃｒｙｓｔａｌ）などの様々なディスプレイ方式によって具現できる。ディスプレイ部１２０５は、液晶方式の場合、液晶ディスプレイパネルと、液晶ディスプレイパネルに光を供給するバックライトユニットと、液晶ディスプレイパネルを駆動させるパネル駆動基板などを備える。ディスプレイ部１２０５は、バックライトユニット無しで、自発光素子であるＯＬＥＤパネルによっても具現できる。
図１３は、本発明の１実施例に係る電子装置１００の制御方法を示す図である。電子装置１００は、視点の移動が可能である所定範囲の方位に対して生成された入力映像を受信する（Ｓ１３０１）。そして、第１ディスプレイ装置から第１視点の情報を受信する（Ｓ１３０２）。その後、入力映像の内部において、受信した第１視点に対応して第１ディスプレイ装置の画面に表示されるべき第１領域と、第１領域に隣接し、第１視点の移動特性に対応する幅を有する第２領域とを決定する（Ｓ１３０３）。
電子装置１００は、入力映像の一部のデータだけを優先的に受信し、入力映像の残りのデータは必要によって受信できるが、現在受信した入力映像のデータに第１ディスプレイ装置に伝送するべき第１領域及び第２領域の映像のデータが含まれていない場合がある。このため、電子装置１００は第１領域と第２領域に対応する入力映像のデータを受信したか否か判断できる（Ｓ１３０４）。まだ受信していない場合、入力映像受信段階（Ｓ１３０１）に戻って、必要な入力映像のデータをさらに受信する。
この場合、入力映像受信段階（Ｓ１３０１）以降の段階である第１視点情報受信段階（Ｓ１３０２）乃至第１領域及び第２領域決定段階（Ｓ１３０３）は既に実行されたので、省略し、既存の処理結果に基づいて迅速に進行できる。第１領域及び第２領域に対応する入力映像のデータを既に受信した場合、電子装置１００は第１領域及び第２領域に該当する映像を第１ディスプレイ装置に伝送する（Ｓ１３０５）。その後、映像再生が終了したか否かを判断し（Ｓ１３０６）、終了していない場合、第１ディスプレイ装置から第１視点に関する情報を受信し得る段階（Ｓ１３０２）に戻って以降の過程を再び遂行できる。
本発明の１実施例によれば、所定範囲の方位に対して生成された映像を、これを表示するディスプレイ装置に効率的に伝送ができる。
また、本発明の１実施例によれば、映像伝送の効率性を向上でき、斯くして、ディスプレイ装置のユーザが視聴視点を変更しても映像が全く又は殆ど途切れることなくディスプレイ装置上に表示され得る。
上述した実施例は例示に過ぎず、それに限定されない。 本発明の技術分野における通常の知識を有する者には、請求項に開示された本発明の範囲から逸脱しないで様々な形態に変更して実施可能であろう。
１００ 電子装置
１０１ 入力映像
１０２
１０３、１ａ 第１領域
１０４、１ｂ 第２領域
１１０、１１１ 第１、第２ディスプレイ装置
２０１ 球形映像
２０２ 視点集合に該当する領域
２０３ （平面化された）映像
２０４ 第１領域、視点集合に該当する領域に対応する平面領域
２０５ 第２領域
２０６ 第１領域に該当する映像
３０１，３０２、３０３ 第１領域
３１１、３１２ 第２領域
４００ 第１領域
４０１、４０２、４０３ 第２領域
４１０，４２０、４３０ 第１、第２、第３映像
５００ 第１領域
５０１、５０２、５０３ 第２領域
５１０，５２０、５３０ 第１、第２、第３映像
７０３，７０５ 第１領域
７０４、２ａ 第２領域
７０６、２ｂ 第２領域
８０１、８０２ 静的、動的映像
８０３、８０５ 第１領域
８０４、８０６ 第２領域
９０１、９０３、９０５ 第１領域
９０２、９０４、９０６ 第２領域
１００１、１００３、１００５ 第１ａ、第１ｂ、第１ｃ領域の映像
１００２、１００４、１００７ 第１ｂ、第２ｂ、第３ｂ領域の映像
１００７ 視点位置表示アイコン
１１００ 入力映像
１１０１ 第１領域
１１０２ 第１領域の映像
１１１０〜１１１８ 選好地点
１２０１ 映像受信部
１２０２ 通信部
１２０３ プロセッサ
１２０４ インタフェース部
１２０５ ディスプレイ部

Claims (13)

  1. 電子装置であって、
    視点の移動が可能な範囲の方位に対応する入力映像を受信する映像受信部と、
    第１ディスプレイ装置と通信する通信部と、
    前記第１ディスプレイ装置から第１視点の情報を受信するように前記通信部を制御し、前記入力映像のうち、前記第１視点に対応して前記第１ディスプレイ装置の画面に表示される第１領域の映像、及び該第１領域に隣接し前記第１視点の移動特性に対応する１つ以上の幅を有する第２領域の映像を、前記第１ディスプレイ装置に伝送するように前記通信部を制御する少なくとも１つのプロセッサと、
    を備え、
    前記第１視点の移動特性は、前記第１視点の移動速度又は前記入力映像内の特定領域に対する前記第１視点の移動頻度を含む、ことを特徴とする電子装置。
  2. 前記プロセッサは、前記第１ディスプレイ装置から前記第１ディスプレイ装置の画面サイズ情報を受信するように前記通信部を制御し、
    前記第１領域は前記第１ディスプレイ装置の画面サイズに対応する、ことを特徴とする請求項１に記載の電子装置。
  3. 前記プロセッサは、前記第１ディスプレイ装置のユーザの視点履歴に基づいて前記第１視点の移動特性を決定する、ことを特徴とする請求項１に記載の電子装置。
  4. 前記プロセッサは、前記入力映像の１つ以上の内容に基づいて前記第２領域の前記１つ以上の幅を決定する、ことを特徴とする請求項１に記載の電子装置。
  5. 前記プロセッサは、前記入力映像のうち第２視点に対応する映像を表示する第２ディスプレイ装置から前記第２視点の情報を受信し、前記第２視点の情報を前記第１ディスプレイ装置に伝送するように、前記通信部を制御する、ことを特徴とする請求項１に記載の電子装置。
  6. 前記プロセッサは、前記入力映像のうち第２視点に対応する映像を表示する第２ディスプレイ装置から前記第２視点の情報を受信するように前記通信部を制御し、前記第１視点の移動速度と前記第２視点の移動速度との比較に対応するように１つ以上の前記第２領域の幅を決定する、ことを特徴とする請求項２に記載の電子装置。
  7. 前記プロセッサは、前記電子装置と、前記第１ディスプレイ装置及び前記第２ディスプレイ装置との通信帯域幅の範囲内で前記第２領域の前記１つ以上の幅を決定する、ことを特徴とする請求項６に記載の電子装置。
  8. 電子装置の制御方法であって、
    視点の移動が可能な範囲の方位に対応する入力映像を受信する段階と、
    第１ディスプレイ装置から第１視点の情報を受信する段階と、
    前記入力映像のうち、前記第１視点に対応して前記第１ディスプレイ装置の画面に表示される第１領域の映像、及び該第１領域に隣接し前記第１視点の移動特性に対応する１つ以上の幅を有する第２領域の映像を、前記第１ディスプレイ装置に伝送する段階と、を含み、
    前記第１視点の移動特性は、前記第１視点の移動速度又は前記入力映像内の特定領域に対する前記第１視点の移動頻度を含む、ことを特徴とする電子装置の制御方法。
  9. 前記第１ディスプレイ装置から前記第１ディスプレイ装置の画面サイズ情報を受信する段階をさらに含み、
    前記第１領域は前記第１ディスプレイ装置の画面サイズに対応する、ことを特徴とする請求項８に記載の電子装置の制御方法。
  10. 前記第１ディスプレイ装置のユーザの視点履歴に基づいて前記第１視点の移動特性を決定する段階をさらに含み、
    前記ユーザの視点履歴は、前記第１視点の平均移動速度、前記第１視点の移動頻度、及び前記入力映像の１つ以上の内容のうち少なくとも１つを含む、ことを特徴とする請求項８に記載の電子装置の制御方法。
  11. 前記入力映像の１つ以上の内容に基づいて前記第２領域の前記１つ以上の幅を決定する段階をさらに含む、ことを特徴とする請求項８に記載の電子装置の制御方法。
  12. 前記入力映像のうち第２視点に対応する映像を表示する第２ディスプレイ装置から前記第２視点の情報を受信する段階と、
    前記第２視点の情報を前記第１ディスプレイ装置に伝送する段階と
    をさらに含む、ことを特徴とする請求項８に記載の電子装置の制御方法。
  13. コンピュータ装置によって実行されると、請求項８の制御方法を前記コンピュータ装置に実行させるコンピュータプログラムが格納されている、コンピュータ読み取り可能な記憶媒体を含む、ことを特徴とするコンピュータプログラム製品。
JP2019517228A 2016-10-25 2017-09-28 電子装置及びその制御方法 Active JP6978497B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160139367A KR102561860B1 (ko) 2016-10-25 2016-10-25 전자장치 및 그 제어방법
KR10-2016-0139367 2016-10-25
PCT/KR2017/010868 WO2018080042A1 (en) 2016-10-25 2017-09-28 Electronic apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2020500349A JP2020500349A (ja) 2020-01-09
JP6978497B2 true JP6978497B2 (ja) 2021-12-08

Family

ID=60244833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517228A Active JP6978497B2 (ja) 2016-10-25 2017-09-28 電子装置及びその制御方法

Country Status (7)

Country Link
US (1) US10552990B2 (ja)
EP (1) EP3316119B1 (ja)
JP (1) JP6978497B2 (ja)
KR (1) KR102561860B1 (ja)
CN (1) CN107979773B (ja)
ES (1) ES2886942T3 (ja)
WO (1) WO2018080042A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019120575A1 (en) * 2017-12-22 2019-06-27 Huawei Technologies Co., Ltd. Vr 360 video for remote end users
US11721307B1 (en) * 2018-11-02 2023-08-08 Meta Platforms Technologies, Llc Beam-racing pixel generation in a display engine

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1039739B (it) * 1975-07-08 1979-12-10 Snam Progetti Procedimento per l addizione di alcoli a composti acetilenici contenuti in correnti idrocarburiche organiche od inorganiche
US6167567A (en) * 1998-05-05 2000-12-26 3Com Corporation Technique for automatically updating software stored on a client computer in a networked client-server environment
CN1290330C (zh) * 1999-06-18 2006-12-13 英特尔公司 把交互式视频数据流用于增强的视觉呈现的系统和方法
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
JP3906685B2 (ja) * 2001-12-25 2007-04-18 日本電気株式会社 ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム
EP2044543A4 (en) * 2006-04-13 2012-07-04 Yosef Mizrachi METHOD AND DEVICE FOR PROVIDING GAME SERVICES AND MOVING WITH VIDEO CONTENT
EP2385705A4 (en) * 2008-12-30 2011-12-21 Huawei Device Co Ltd METHOD AND DEVICE FOR GENERATING STEREOSCOPIC PANORAMIC VIDEO FLOW AND METHOD AND DEVICE FOR VISIOCONFERENCE
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
KR101818024B1 (ko) * 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
WO2012138974A1 (en) * 2011-04-08 2012-10-11 Navteq B.V. Trend based predictive traffic
KR101399746B1 (ko) 2012-02-29 2014-05-27 고려대학교 산학협력단 Ｎ―스크린 영상 서비스 제공 방법 및 장치
US9564102B2 (en) * 2013-03-14 2017-02-07 Microsoft Technology Licensing, Llc Client side processing of player movement in a remote gaming environment
CN105229719B (zh) * 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム
US9542718B2 (en) * 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
JP6002286B1 (ja) 2015-07-14 2016-10-05 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム

Also Published As

Publication number Publication date
WO2018080042A1 (en) 2018-05-03
US20180114342A1 (en) 2018-04-26
EP3316119B1 (en) 2021-07-28
CN107979773B (zh) 2021-12-28
KR20180045359A (ko) 2018-05-04
ES2886942T3 (es) 2021-12-21
EP3316119A1 (en) 2018-05-02
KR102561860B1 (ko) 2023-08-02
US10552990B2 (en) 2020-02-04
CN107979773A (zh) 2018-05-01
JP2020500349A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6744492B2 (ja) ディスプレイ装置及びその制御方法
US10200738B2 (en) Remote controller and image display apparatus having the same
US20180375987A1 (en) Method, apparatus and mobile terminal for device control based on a mobile terminal
US9164672B2 (en) Image display device and method of managing contents using the same
US8918737B2 (en) Zoom display navigation
US10671265B2 (en) Display apparatus and display method
US11094105B2 (en) Display apparatus and control method thereof
US20160170597A1 (en) Display apparatus and display method
US20160050449A1 (en) User terminal apparatus, display apparatus, system and control method thereof
KR102511363B1 (ko) 디스플레이 장치 및 디스플레이 방법
US9661375B2 (en) Display apparatus and method of controlling content output of display apparatus
JP6978497B2 (ja) 電子装置及びその制御方法
KR102508148B1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
CN111078926A (zh) 一种人像缩略图像的确定方法及显示设备
EP3032392B1 (en) Display apparatus and display method
US20230209147A1 (en) Server and system comprising same
US20230232064A1 (en) Image display device and operation method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211111

R150 Certificate of patent or registration of utility model

Ref document number: 6978497

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150