JP2023550764A - 大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体 - Google Patents

大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体 Download PDF

Info

Publication number
JP2023550764A
JP2023550764A JP2023530651A JP2023530651A JP2023550764A JP 2023550764 A JP2023550764 A JP 2023550764A JP 2023530651 A JP2023530651 A JP 2023530651A JP 2023530651 A JP2023530651 A JP 2023530651A JP 2023550764 A JP2023550764 A JP 2023550764A
Authority
JP
Japan
Prior art keywords
resolution
image
large display
floating window
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023530651A
Other languages
English (en)
Inventor
天▲ユ▼ ▲趙▼
云▲華▼ 王
Original Assignee
シェンツェン・ティシーエル・ニュー・テクノロジー・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シェンツェン・ティシーエル・ニュー・テクノロジー・カンパニー・リミテッド filed Critical シェンツェン・ティシーエル・ニュー・テクノロジー・カンパニー・リミテッド
Publication of JP2023550764A publication Critical patent/JP2023550764A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/62—Semi-transparency

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本願は、大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を開示し、前記方法は、画像解像度と画面解像度との解像度の差分を計算すること（Ｓ１０）と、解像度の差分に基づいて画面解像度とマッチングした大型ディスプレイの画像を得ること（Ｓ２０）と、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成すること（Ｓ３０）と、を含む。上記の方法は、フローティングウィンドウレイヤーの異なるレイヤー透明度、平行移動拡張領域アルゴリズムと感興直視アルゴリズムおよびシームレススプライシング技術によって、スマート大型ディスプレイも３６０°パノラマ画像の提供を可能にすることを目指している。

Description

本願は、２０２０年１１月１８日に中国特許庁に出願された出願番号第２０２０１１２９１４８７．５号、発明の名称が「大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体」である中国特許出願の優先権を主張し、その内容全体は本願に援用する。
本発明はスマート大型ディスプレイ技術の技術分野に属し、具体的には大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体に関する。
ＶＲ技術に代表される新興の映像技術は、ユーザに未曾有の映像体験をもたらした。スマート大型ディスプレイは家庭のスマート機器の表示センターとして、ユーザの表示効果に対する要求の高まりにどのように対応するかが、解決すべき課題となっている。従来、ほとんどのスマート大型ディスプレイには３６０°パノラマ画像を作成する機能がなく、ＶＲ技術と組み合わせて３Ｄパノラマ画像またはサラウンパノラマドビュー画像とも呼ばれる３６０°パノラマ画像を作成することができない。３６０°パノラマ技術とは、デジタルカメラで既存のシーンを多角的に撮影した後、コンピュータを使ってステッチし、且つ再生プログラムの読み込みによって完成する３Ｄ仮想表示技術である。
従って、従来の技術の改良と発展が必要とする。
従来のスマート大型ディスプレイが３６０°パノラマ画像を提供できないという技術的課題に対し、大型ディスプレイとＶＲ技術を組み合わせてユーザに３６０°パノラマ画像を表示するために、大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を提供する必要がある。
第１方面では、本願は大型ディスプレイに基づいてパノラマ画像を作成する方法を提供し、前記方法は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することと、
画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得ることと、
大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられ、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられることと、
平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することと、
異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得ることと、を含む。
第２方面では、本願は大型ディスプレイに基づいてパノラマ画像を作成する装置を提供し、前記装置は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域をフローティングウィンドウレイヤーに配置して充填し、且つ平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む。
第３方面では、本願はスマート端末をさらに提供し、前記スマート端末は、大型ディスプレイの表示パネル、記憶装置、処理装置および記憶装置に記憶され処理装置で実行可能な大型ディスプレイに基づいてパノラマ画像を作成するプログラムを含み、処理装置は大型ディスプレイに基づいてパノラマ画像を作成するプログラムを実行する時に、大型ディスプレイに基づいてパノラマ画像を作成する方法を実施する。
第４方面では、本願はコンピュータの記憶媒体をさらに提供し、コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが処理装置によって実行される時に、大型ディスプレイに基づいてパノラマ画像を作成する方法が実施される。
先行技術と比較すると、本願は、大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を提供し、解像度の差分を用いて目標画像を画面解像度とマッチングした大型ディスプレイの画像（即ち平面パノラマ画像）に作成し、そしてフローティングウィンドウレイヤーの異なるレイヤー透明度、平行移動拡張領域アルゴリズムと感興直視アルゴリズムおよびシームレススプライシング技術によって、該大型ディスプレイの画像を３Ｄパノラマ画像に変換させることで、スマート大型ディスプレイとＶＲを組み合わせられ、スマート大型ディスプレイでも３６０°パノラマ画像を提供する可能になり、ユーザの視覚体験を改善し、宣伝が拡大され、ユーザに便利をもたらすことができる。
本願に係る大型ディスプレイに基づいてパノラマ画像を作成する方法を示すフロー図である。 本願に係る大型ディスプレイに基づいてパノラマ画像を作成する装置を示す構造ブロック図である。 本願に係るスマート端末を示す構造ブロック図である。
大型ディスプレイに基づいてパノラマ画像を作成する方法であって、前記方法は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得することと、
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることと、
前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられ、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられることと、
前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することと、
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることと、を含む。
そのうち、目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数＊垂直ピクセル数として表されることと、
前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数＊垂直ピクセル数として表されることと、を含む。
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算することは、
画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算することと、画像解像度における垂直ピクセル数と画面解像度における垂直ピクセル数との解像度の差分を計算することと、を含む。
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
前記水平解像度の差分の絶対値が０に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、を含む。
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記水平解像度の差分の絶対値が０に等しくない場合、前記水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とすることを含む。
そのうち、前記水平解像度の差分の絶対値が０に等しくない場合、前記水平解像度の差分の絶対値を前記目標画像の水平方向の充填される予定のピクセル数とすることは、
充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像とマッチングした大型ディスプレイの画像を得ることを含む。
そのうち、充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得することは、
前記目標画像に充填する各色の色彩値および充填する各色に対応するピクセル数を取得し、充填する各色の色彩値はいずれもＲ値、Ｇ値およびＢ値を含むことと、
充填する各色の第１色彩値および充填する各色に対応するピクセル数に基づいてＲ値、Ｇ値およびＢ値の平均値をそれぞれ計算して、Ｒの平均値、Ｇの平均値およびＢの平均値を得ることと、
前記Ｒの平均値、前記Ｇの平均値および前記Ｂの平均値に対応する色を決定し、前記色は充填される予定の色とされ、前記充填される予定の色の色彩値は前記Ｒの平均値、前記Ｇの平均値および前記Ｂの平均値であることと、を含む。
そのうち、前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第１平行移動拡張領域を配置することと、
水平方向に前記目標画像の第１水平比率の第１水平ピクセルを切り取ることと、
前記第１水平ピクセルを前記第１平行移動拡張領域に充填することと、
前記第１平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第１感興直視領域を取得し、そのうち、前記第１平行移動拡張領域は第１感興直視領域を含むことと、
前記目標画像において垂直方向に第１垂直比率の第１垂直ピクセルを切り取ることと、
前記第１垂直ピクセルを前記第１感興直視領域に充填することと、を含む。
そのうち、前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
前記第１平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
前記第１感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
そのうち、異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の高解像度のパノラマ画像を得ることを含む。
そのうち、前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
所定の平行移動拡張領域アルゴリズムによって前記フローティングウィンドウレイヤーに第２平行移動拡張領域を配置することと、
水平方向に前記高解像度画像の第２水平比率の第２水平ピクセルを切り取ることと、
前記第２水平ピクセルを前記第２平行移動拡張領域に充填することと、
前記第２平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第２感興直視領域を取得し、そのうち、前記第２平行移動拡張領域は前記第２感興直視領域を含むことと、
前記高解像度画像において垂直方向に第２垂直比率の第２垂直ピクセルを取得することと、
前記第２垂直ピクセルを前記第２感興直視領域に充填することと、を含む。
そのうち、前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
前記第２平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
前記第２感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
そのうち、異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の超高解像度のパノラマ画像を得ることを含む。
大型ディスプレイに基づいてパノラマ画像を作成する装置であって、前記装置は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域を前記フローティングウィンドウレイヤーに配置して充填し、且つ前記平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
前記平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ前記感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む。
そのうち、前記目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数＊垂直ピクセル数として表されることと、
前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数＊垂直ピクセル数として表されることと、を含む。
そのうち、前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
前記水平解像度の差分の絶対値が０に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、
前記水平解像度の差分の絶対値が０に等しくない場合、前記水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とし、充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像とマッチングした大型ディスプレイの画像を得ることと、を含む。
そのうち、前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第１平行移動拡張領域を配置することと、
水平方向に前記目標画像の第１水平比率の第１水平ピクセルを切り取ることと、
前記第１水平ピクセルを前記第１平行移動拡張領域に充填することと、
前記第１平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第１感興直視領域を取得し、そのうち、前記第１平行移動拡張領域は第１感興直視領域を含むことと、
前記目標画像において垂直方向に第１垂直比率の第１垂直ピクセルを切り取ることと、
前記第１垂直ピクセルを前記第１感興直視領域に充填することと、を含む。
そのうち、前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第２平行移動拡張領域を配置することと、
水平方向に前記高解像度画像の第２水平比率の第２水平ピクセルを切り取ることと、
前記第２水平ピクセルを前記第２平行移動拡張領域に充填することと、
前記第２平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第２感興直視領域を取得し、そのうち、前記第２平行移動拡張領域は前記第２感興直視領域を含むことと、
前記高解像度画像において垂直方向に第２垂直比率の第２垂直ピクセルを切り取ることと、
前記第２垂直ピクセルを前記第２感興直視領域に充填することと、を含む。
スマート端末であって、前記スマート端末は、大型ディスプレイの表示パネル、記憶装置、処理装置および記憶装置に記憶され処理装置で実行可能な大型ディスプレイに基づいてパノラマ画像を作成するプログラムを含み、前記処理装置は大型ディスプレイに基づいてパノラマ画像を作成するプログラムを実行する時に、上記の大型ディスプレイに基づいてパノラマ画像を作成する方法のいずれかが実施される。
コンピュータが読み取り可能な記憶媒体であって、前記コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムが処理装置によって実行される時に、上記の大型ディスプレイに基づいてパノラマ画像を作成する方法のいずれかが実施される。
本願は大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体を提供し、本願の目的、技術方案及び効果をより明瞭、明確にするために、以下に図面を参照して実施例を挙げて本願についてさらに詳細に説明する。本明細書に記載された具体的な実施例は、本願を説明することのみに使用され、本願を限定するものではないと理解するべきである。
当業者であれば、特に説明しない限り、本願明細書で使用される単数形「１」、「１つ」、および「該」は、複数形も含むことができることを理解することができる。さらに理解されるべきことは、本願明細書で使用される「含む」という用語は、特徴、整数、過程、処理、要素および／または部品の存在を意味するが、１つ以上の他の特徴、整数、過程、処理、要素、部品、および／またはそれらの組み合わせの存在または追加を排除するものではない。要素が別の要素に「接続」または「結合」されていると説明される場合、それは他の要素に直接に接続または結合することができ、あるいは中間要素が存在することも可能であると理解するべきである。さらに、本願明細書で使用される「接続」または「結合」は、無線接続または無線結合を含むことができる。ここで使用される「および／または」という用語は、１つまたは複数の関連する例のすべてまたは任意の部分とすべての組み合わせを含む。
当業者であれば、特に定義しない限り、本願明細書で使用されるすべての用語（技術用語および科学用語を含む）は、本願が属する分野における一般的な技術者の理解と同じ意味を持つと理解するべきである。また、汎用辞書などに定義されているような用語は、従来技術の文脈における意味と一致する意味を持つと理解され、ここで決定に定義されない限り、理想化されている、または正式すぎる意味で解釈されないことも理解されるべいである。
以下、本願の技術方案について図面および具体的な実施例を用いて説明する。
図１を参照し、図１は大型ディスプレイに基づいてパノラマ画像を作成する方法を示すフロー図である。なお、本発明の実施形態に係る大型ディスプレイに基づいてパノラマ画像を作成する方法は、図１に示されるフロー図におけるステップおよび手順に限定されるものではなく、必要に応じてフロー図におけるステップを追加、削除または手順を変更してもよい。図１に示されるように、大型ディスプレイに基づいてパノラマ画像を作成する方法は下記のことを含む。
Ｓ１０：システムは目標画像の画像解像度と大型ディスプレイの画面解像度を取得すること。
具体的には、目標画像とは、パノラマ画像と合成する必要のある対象である。本実施例において該目標画像は標準画質画像であり、即ち目標画像の画像解像度は標準画質解像度であり、通常は、該標準画質解像度は４８０ｐ（７２０×４８０ピクセル解像度など）または５７６ｐであり、標準解像度ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）で標準画質解像度を表す。
なお、例えば４８０ｐの４８０とは、垂直解像度であり、垂直方向に４８０本の水平線の走査線がある。
目標画像は、インターネットや撮影から取得することができる。従って、合成パノラマ画像の品質を向上させるために、目標画像を事前処理してもよい。該事前処理とは、目標画像を輝度強調する処理または目標画像を切り抜きする処理などの、ユーザの要求に応じて設定される処理規則である。該処理規則は限定されるものではなく、異なるシーンに応じて自由に設定されてもよい。
大型ディスプレイとは、画面の対角線のサイズが４０フィートを超える表示パネルを指す。例えば：直接視覚式カラーテレビまたは背面映写式テレビにおける大型ディスプレイである。従って、大型ディスプレイの画面解像度は高解像度ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ），７２０ｐ（１２８０×７２０ピクセル解像度）や、完全高解像度ＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ），１０８０ｐ（１０８０×７２０ピクセル解像度）や、超高解像度ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ），４ｋ （４０９６×２１６０ピクセル解像度）や、完全超高解像度ＦＵＨＤ（Ｆｕｌｌ Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ），８ｋ（７６８０×４３２０ピクセル解像度，１６：９）であってもよい。
具体的には、システムは目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
Ｓ１１：スマート端末の目標画像を送信するコマンドを検出すると、システムは目標画像を受信して目標画像の画像解像度を取得し、画像解像度は目標画像の水平ピクセル数＊垂直ピクセル数として表されることと、
Ｓ１２：システムは大型ディスプレイの画面解像度を取得し、画面解像度は大型ディスプレイの水平ピクセル数＊垂直ピクセル数として表されることと、を含む。
本実施例において、大型ディスプレイの画面解像度は１０８０ｐ（１９２０＊１０８０）である場合、１９２０は水平ピクセル数、１０８０は垂直ピクセル数、目標画像の画像解像度は７２０＊６４０であり、そのうち、７２０は水平ピクセル数、６４０は垂直ピクセル数として表される。
Ｓ２０：システムは画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得ること。
具体的には、画像解像度および画面解像度はいずれも水平ピクセル数および垂直ピクセル数を含むため、従って、画像解像度と画面解像度との解像度の差分を計算することは、画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算すること、および画像解像度における垂直ピクセル数と画面解像度における垂直ピクセル数との解像度の差分を計算することとを含む。本実施例において、画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算することで解像度比率を調整する。
さらに、画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との差分を計算して水平解像度の差分を得る。画面解像度は画像解像度以上であるため、水平解像度の差分の絶対値を取得できる。
水平解像度の差分の絶対値が０に等しい場合、目標画像を画面解像度とマッチングした大型ディスプレイの画像とする。つまり、目標画像の画像解像度と大型ディスプレイの画面解像度は同じであり、目標画像を充填する処理をする必要はない。
水平解像度の差分の絶対値が０に等しくない場合、水平解像度の差分の絶対値を目標画像の水平方向に充填される予定のピクセル数とする。
例えば：
目標画像Ｐｉｃ＿Ｘ（ｘ１）＝６４０／／水平方向６４０水平ピクセル、
大型ディスプレイ＿ＸＤｉｓｐｌａｙ（ｘ１）＝１０８０／／大型ディスプレイ物理の表示解像度、
水平解像度の差分Ｄｉｓ＿ＣｈａＲｕ（ｘ１）＝｜大型ディスプレイ＿ＸＤｉｓｐｌａｙ（ｘ１）－Ｐｉｃ＿Ｘ（ｘ１）｜＝１０８０－６４０＝４４０、即ち４４０は水平解像度の差分であり、４４０を目標画像の水平方向に充填される予定のピクセル数とする。
充填の過程において、充填される予定の色を事前に決定する必要があり、充填される予定の色の色彩値を取得した後、該色彩値を用いて目標画像を充填することにより、目標画像を充填した後に得た大型ディスプレイの画像の画像解像度は大型ディスプレイの画面解像度と同じになり、マッチする。
具体的には、システムが充填される予定の色を決定し、且つ充填される予定の色に対応する色彩値を取得する流れは、
Ｓ２１１：目標画像に充填する各色の色彩値および充填する各色に対応するピクセル数を取得し、充填する各色の色彩値はいずれもＲ値、Ｇ値およびＢ値を含むことと、
Ｓ２１２：充填する各色の第１色彩値および充填する各色に対応するピクセル数に基づいてＲ値、Ｇ値およびＢ値の平均値をそれぞれ計算して、Ｒの平均値、Ｇの平均値およびＢの平均値を得ることと、
Ｓ２１３：Ｒの平均値、Ｇの平均値およびＢの平均値に対応する色を決定し、該色は充填される予定の色とされ、充填される予定の色の色彩値はＲの平均値、Ｇの平均値およびＢの平均値であることと、を含む。
詳しくは、目標画像に充填する色の色彩値はいずれもＲＧＢ値を含み、従って、平均値ピクセルを用いて目標画像から赤、緑、青のうち最も多くの色を選択し、該色を充填される予定の色とし、その色彩値は各ＲＧＢ平均値である。
例えば：
Ａｖｅ＿ＰｉｘｅＲＧＢ（ｒ１，ｇ１，ｂ１）＝｛“０”， “１２８”， “２５５”｝／／平均値は青で充填されるピクセルである。
充填する色を決定した後、充填数は充填される予定のピクセル数が例えば４４０になるまで目標画像を充填し、充填終了時に対応する大型ディスプレイの画像を取得する。よって、充填して得た大型ディスプレイの画像解像度は、画面解像度と同じになる。
Ｓ３０：システムは大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられ、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる。
Ｓ４０：システムは平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定する。
本実施例において、画面解像度は高解像度と超高解像度の２種類に分類される。従って、この２種類のそれぞれに対して、対応する平行移動拡張領域および感興直視領域を作成する。そのうち、該平行移動拡張領域は、目標画像を大型ディスプレイに投影するシームレス接続と見られる。該感興直視領域は、目標画像を投影した後に形成された視差と見られる。
（一）：画面解像度が属するカテゴリは高解像度である場合、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填することは、
Ｓ３１１：画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、フローティングウィンドウレイヤーのサイズを大型ディスプレイとマッチングさせることと、
Ｓ３１２：フローティングウィンドウレイヤーを大型ディスプレイの画像の上方に置くことと、
Ｓ３１３：所定の平行移動拡張領域アルゴリズムによって目標画像に基づいてフローティングウィンドウレイヤーに第１平行移動拡張領域を配置することと、
Ｓ３１４：水平方向に目標画像の第１水平比率（例えば３／４）の第１水平ピクセルを切り取ることと、
Ｓ３１５：第１水平ピクセルを第１平行移動拡張領域に充填することと、
Ｓ３１６：第１平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第１感興直視領域を取得し、そのうち、第１平行移動拡張領域は第１感興直視領域を含むことと、
Ｓ３１７：目標画像において垂直方向に第１垂直比率（例えば１／２）の第１垂直ピクセルを切り取ることと、
Ｓ３１８：第１垂直ピクセルを第１感興直視領域に充填することと、を含む。
システムは平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
Ｓ４１１：第１平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
Ｓ４１２：第１感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
具体的には、以下の表１に示されるように、画面解像度は１０８０ｐである場合、目標画像の画像解像度は例えば７２０＊６４０となり、例えば３／４の第１水平比率を選択して目標画像の水平方向ピクセルを切り取り、３＊７２０／４＝５４０が得られ、その時、各水平線上の５４０個のピクセルを切り取り、各水平線上に切り取られたピクセルの長さを取得して第１平行移動拡張領域ＦＯＶ ｒｅｓｏｌｕｔｉｏｎを配置して、具体的には、第１平行移動拡張領域の長さが５４０となる。平行移動拡張アルゴリズムによって目標画像上の各水平線上の５４０ピクセルを切り取り、第１平行移動拡張領域に充填し、且つ該第１平行移動拡張領域に対応するフローティングウィンドウレイヤーの左から右までのレイヤー透明度は半透明であり、即ち５０％であるように配置される。
なお、第１感興直視領域はフローティングウィンドウレイヤーの第１平行移動拡張領域に基づいて配置される。従って、第１平行移動拡張領域の充填及び配置が完了した後、最終の第１平行移動拡張領域に対して左から右まで感興直視アルゴリズムを追加して、第１感興直視領域を得る。例えば１／２の第１垂直比率を選択して目標画像の垂直方向ピクセルを切り取り、１＊６４０／２＝３２０が得られ、その時、目標画像上の各垂直線上の３２０ピクセルを切り取り第１感興直視領域ＲＯＩ ｒｅｓｏｌｕｔｉｏｎに充填し、且つ第１感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であり、即ち１００％であるように配置される。
（二）：画面解像度が属するカテゴリは超高解像度である場合、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域をフローティングウィンドウレイヤーに配置して充填することは、
Ｓ３２１：画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、フローティングウィンドウレイヤーのサイズを大型ディスプレイとマッチングさせることと、
Ｓ３２２：フローティングウィンドウレイヤーを大型ディスプレイの画像の上方に置くことと、
Ｓ３２３：目標画像の高解像度に対応する高解像度画像を計算し、そのうち、高解像度画像の画像解像度は目標画像の画像解像度より高いことと、
Ｓ３２４：所定の平行移動拡張領域アルゴリズムによって目標画像に基づいてフローティングウィンドウレイヤーに第２平行移動拡張領域を配置することと、
Ｓ３２５：水平方向に高解像度画像の第２水平比率の第２水平ピクセルを切り取ることと、
Ｓ３２６：第２水平ピクセルを第２平行移動拡張領域に充填することと、
Ｓ３２７：第２平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第２感興直視領域を取得し、そのうち、第２平行移動拡張領域は第２感興直視領域を含むことと、
Ｓ３２８：高解像度画像において垂直方向に第２垂直比率の第２垂直ピクセルを切り取ることと、
Ｓ３２９：第２垂直ピクセルを第２感興直視領域に充填することと、を含む。
平行移動拡張領域および感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
Ｓ４２１：第２平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
Ｓ４２２：第２感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む。
具体的には、以下の表１に示されるように、画面解像度は３８４０ｐである場合、目標画像の画像解像度は例えば７２０＊６４０であり、目標画像を高解像度画像に変換し、そして高解像度画像を超高解像度画像（即ち、大型ディスプレイの画像）に変換する必要がある。具体的には、目標画像の高清解像度に対応する高解像度画像を計算し、高解像度画像の画像解像度は目標画像の画像解像度よりも高い。即ち、該高解像度画像は上記の（一）にける大型ディスプレイの画像であってもよい。
例えば４／３の第２水平比率を選択して高解像度画像の水平方向ピクセルを切り取り、４＊１０８０／３＝１４４０が得られ、その時、各水平線上の１４４０個のピクセルを切り取り、各水平線上に切り取られたピクセルの長さを取得して第２平行移動拡張領域ＦＯＶ ｒｅｓｏｌｕｔｉｏｎを配置し、具体的には、第２平行移動拡張領域の長さが１４４０となる。平行移動拡張アルゴリズムによって高解像度画像上の各水平線上の１４４０ピクセルを切り取り、第２平行移動拡張領域に充填し、且つ該第２平行移動拡張領域に対応するフローティングウィンドウレイヤーの左から右までのレイヤー透明度は半透明であり、即ち５０％であるように配置される。
なお、第２感興直視領域はフローティングウィンドウレイヤーの第２平行移動拡張領域に基づいて配置される。従って、第２平行移動拡張領域の充填及び配置が完了した後、最終の第２平行移動拡張領域に対して左から右まで感興直視アルゴリズムを追加して、第２感興直視領域を得る。例えば３／４の第２垂直比率を選択して高解像度画像の垂直方向ピクセルを切り取り、３＊７２０／４＝５４０が得られ、その時、高解像度画像上の各垂直線上の５４０ピクセルを切り取り、第２感興直視領域ＲＯＩ ｒｅｓｏｌｕｔｉｏｎに充填し、且つ第２感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であり、即ち１００％であるように配置される。
Ｓ５０：システムは異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成して目標画像のパノラマ画像を得る。
具体的には、ステップＳ３０、Ｓ４０にける異なる画面解像度に対し、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させることにより、目標画像の異なる解像度のパノラマ画像を得る。具体的には、画面解像度が属するカテゴリは高解像度である場合、シームレススプライシング技術を用いて、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像の高解像度のパノラマ画像を取得する。画面解像度が属するカテゴリは超高解像度である場合、シームレススプライシング技術を用いて、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイ合成と合成させ、目標画像の超高解像度のパノラマを取得する。
よって、ステップＳ１０～Ｓ５０に基づいて、本願は解像度の差分を用いて目標画像の画面解像度とマッチングングする大型ディスプレイの画像（即ち平面パノラマ画像）を作成し、そして、フローティングウィンドウレイヤーの異なるレイヤー透明度、平行移動拡張領域アルゴリズムと感興直視アルゴリズムおよびシームレススプライシング技術によって、該大型ディスプレイの画像を３Ｄパノラマ画像に変換させてスマート大型ディスプレイとＶＲを組み合わせることで、スマート大型ディスプレイでも３６０°パノラマ画像の提供が可能になり、ユーザの視覚体験を改善し、宣伝が拡大され、ユーザに便利をもたらすことができる。
上記の大型ディスプレイに基づいてパノラマ画像を作成する方法に基づいて、本願は大型ディスプレイに基づいてパノラマ画像を作成する装置をさらに提供する。図２を参照し、図２に本願の大型ディスプレイに基づいてパノラマ画像を作成する装置の構造ブロック図を示す。該装置は取得モジュール１００、解像度調整モジュール２００、平行移動拡張領域モジュール３００、感興直視モジュール４００およびパノラマ合成モジュール５００を含んでもよく、図２に装置の一部の部品のみを示しており、しかしながら、示された全ての構成要素を実施する必要はなく、より多くの構成要素またはより少ない構成要素を代わりに実施することができることを理解されたい。該装置は、携帯電話、ｉｐａｄ、デスクトップコンピュータなどのいずれかがインターネットに接続可能な機器であってもよい。
取得モジュール１００は、目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる。
解像度調整モジュール２００は、画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる。
平行移動拡張領域モジュール３００は、大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域をフローティングウィンドウレイヤーに配置して充填し、且つ平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられる。
感興直視モジュール４００は、平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる。
パノラマ合成モジュール５００は、異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得るために用いられる。
本願はスマート端末をさらに提供し、図３に示されるように、該スマート端末１は携帯電話、ｉｐａｄ、デスクトップコンピュータなどのいずれかがインターネットに接続可能な機器であってもよい。スマート端末１は、処理装置２０および処理装置２０に接続される記憶装置２２を含み、図３に装置の一部の部品のみを示しており、しかしながら、示された全ての構成要素を実施する必要はなく、より多くの構成要素またはより少ない構成要素を代わりに実施することができると理解するべきである。
記憶装置２２は、一部の実施例においてスマート端末１の内部記憶部であってもよく、例えばスマート端末１のメモリである。記憶装置２２は他の一部の実施例においてスマート端末１の外部記憶機器であってもよく、例えばスマート端末１に配置されたプラグイン式ＵＳＢ、スマートメディアカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ，ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ，ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）である。さらに、記憶装置２２はスマート端末１の内部記憶部および外部記憶機器を両方とも含んでもよい。記憶装置２２は、スマート端末１にインストールされたアプリケーションソフトウェアや各種データ、例えば、Ｗｅｂページの表示プログラムコードを記憶するために用いられる。記憶装置２２は、さらに、出力されたデータや出力される予定のデータを一時的に記憶するために用いられてもよい。
一部の実施例において、記憶装置２２にＷｅｂページの表示プログラムが記憶されており、該Ｗｅｂページの表示プログラムが処理装置２０によって上記のように実行され、該処理装置２０は、
目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
画像解像度と画面解像度との解像度の差分を計算し、解像度の差分に基づいて目標画像を調整し、画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域をフローティングウィンドウレイヤーに配置して充填し、且つ平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、平行移動拡張領域は、目標画像を平行移動処理および拡張処理によって大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、感興直視領域は、大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
異なるレイヤー透明度を有するフローティングウィンドウレイヤーを大型ディスプレイと合成させ、目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む。
処理装置２０は一部の実施例において中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，ＣＰＵ）、マイクロプロセッサ、携帯電話のベースバンド処理装置または他のデータ処理チップであってもよく、記憶装置２２に記憶されたプログラムコードを実行するために用いられ、またはデータを処理するために用いられ、例えば、大型ディスプレイに基づいてパノラマ画像を作成する方法を実行する。
本願はコンピュータが読み取り可能な記憶媒体をさらに提供し、コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、コンピュータプログラムが処理装置２０によって実行されると、具体的には上記の方法のように、大型ディスプレイに基づいてパノラマ画像を作成する方法のいずれかが実施される。
もちろん、上記の実施例の方法における流れの全部または一部を、関連するハードウェア（例えば処理装置、コントローラ）を指示するコンピュータプログラムによって実現でき、プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、該プログラムが実行される時、上記の方法に関する実施例の流れを含んでもよいことは、当業者にとって理解し得るものである。そのうち、記憶媒体は記憶装置、ディスク、ＣＤ－ＲＯＭなどであってもよい。
本願の応用は、上記の実施例に限定されるものではなく、当業者にとって上記の説明に従って改良または変形することができ、そのような改良および変形はすべて本願に添付された請求項の保護範囲に入るものと理解するべきである。
１ スマート端末
２０ 処理装置
２２ 記憶装置
１００ 取得モジュール
２００ 解像度調整モジュール
３００ 平行移動拡張領域モジュール
４００ 感興直視モジュール
５００ パノラマ合成モジュール
６４０ 水平方向

Claims (20)

  1. 大型ディスプレイに基づいてパノラマ画像を作成する方法であって、
    目標画像の画像解像度と大型ディスプレイの画面解像度を取得することと、
    前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることと、
    前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視感興直視領域を前記フローティングウィンドウレイヤーに配置して充填し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられ、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられることと、
    前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することと、
    異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることと、を含む、
    方法。
  2. 目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
    スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数＊垂直ピクセル数として表されることと、
    前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数＊垂直ピクセル数として表されることと、を含む、
    請求項１に記載の方法。
  3. 前記画像解像度と前記画面解像度との解像度の差分を計算することは、
    画像解像度における水平ピクセル数と画面解像度における水平ピクセル数との解像度の差分を計算することと、画像解像度における垂直ピクセル数と画面解像度における垂直ピクセル数との解像度の差分を計算することと、を含む、
    請求項２に記載の方法。
  4. 前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
    前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
    前記水平解像度の差分の絶対値が０に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、を含む、
    請求項３に記載の方法。
  5. 前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
    水平解像度の差分の絶対値が０に等しくない場合、水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とすることを含む、
    請求項４に記載の方法。
  6. 前記水平解像度の差分の絶対値が０に等しくない場合、前記水平解像度の差分の絶対値を前記目標画像の水平方向の充填される予定のピクセル数とすることは、
    充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像度とマッチングした大型ディスプレイの画像を得ることを含む、
    請求項５に記載の方法。
  7. 充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得することは、
    前記目標画像に充填する各色の色彩値および充填する各色に対応するピクセル数を取得し、充填する各色の色彩値はいずれもＲ値、Ｇ値およびＢ値を含むことと、
    充填する各色の第１色彩値および充填する各色に対応するピクセル数に基づいてＲ値、Ｇ値およびＢ値の平均値をそれぞれ計算して、Ｒの平均値、Ｇの平均値およびＢの平均値を得ることと、
    前記Ｒの平均値、前記Ｇの平均値および前記Ｂの平均値に対応する色を決定し、前記色は充填される予定の色とされ、前記充填される予定の色の色彩値は前記Ｒの平均値、前記Ｇの平均値および前記Ｂの平均値であることと、を含む、
    請求項６に記載の方法。
  8. 前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
    前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
    前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
    所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第１平行移動拡張領域を配置することと、
    水平方向に前記目標画像の第１水平比率の第１水平ピクセルを切り取ることと、
    前記第１水平ピクセルを前記第１平行移動拡張領域に充填することと、
    前記第１平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第１感興直視領域を取得し、そのうち、前記第１平行移動拡張領域は第１感興直視領域を含むことと、
    前記目標画像において垂直方向に第１垂直比率の第１垂直ピクセルを切り取ることと、
    前記第１垂直ピクセルを前記第１感興直視領域に充填することと、を含む、
    請求項１に記載の方法。
  9. 前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
    前記第１平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
    前記第１感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む、
    請求項８に記載の方法。
  10. 異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
    シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の高解像度のパノラマ画像を得ることを含む、
    請求項９に記載の方法。
  11. 前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
    前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
    前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
    前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
    所定の平行移動拡張領域アルゴリズムによって前記フローティングウィンドウレイヤーに第２平行移動拡張領域を配置することと、
    水平方向に前記高解像度画像の第２水平比率の第２水平ピクセルを切り取ることと、
    前記第２水平ピクセルを前記第２平行移動拡張領域に充填することと、
    前記第２平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第２感興直視領域を取得し、そのうち、前記第２平行移動拡張領域は前記第２感興直視領域を含むことと、
    前記高解像度画像において垂直方向に第２垂直比率の第２垂直ピクセルを取得することと、
    前記第２垂直ピクセルを前記第２感興直視領域に充填することと、を含む、
    請求項１に記載の方法。
  12. 前記平行移動拡張領域および前記感興直視領域に対応する前記フローティングウィンドウレイヤーのレイヤー透明度をそれぞれ設定することは、
    前記第２平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は半透明であるように配置することと、
    前記第２感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度は全透明であるように配置することと、を含む、
    請求項１１に記載の方法。
  13. 異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得ることは、
    シームレススプライシング技術を用いて異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像の超高解像度のパノラマ画像を得ることを含む、
    請求項１２に記載の方法。
  14. 目標画像の画像解像度と大型ディスプレイの画面解像度を取得するために用いられる取得モジュールと、
    前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得るために用いられる解像度調整モジュールと、
    前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、画面解像度が属するカテゴリに対応する平行移動拡張領域を前記フローティングウィンドウレイヤーに配置して充填し、且つ前記平行移動拡張領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記平行移動拡張領域は、前記目標画像を平行移動処理および拡張処理によって前記大型ディスプレイの画像に変換するために用いられる平行移動拡張領域モジュールと、
    前記平行移動拡張領域モジュールに基づいて感興直視アルゴリズムによって感興直視領域を配置して充填し、且つ前記感興直視領域に対応するフローティングウィンドウレイヤーのレイヤー透明度を設定し、そのうち、前記感興直視領域は、前記大型ディスプレイの画像を視差によってパノラマ画像に変換するために用いられる感興直視モジュールと、
    異なるレイヤー透明度を有する前記フローティングウィンドウレイヤーを前記大型ディスプレイと合成させ、前記目標画像のパノラマ画像を得るために用いられるパノラマ合成モジュールと、を含む、
    大型ディスプレイに基づいてパノラマ画像を作成する装置。
  15. 目標画像の画像解像度と大型ディスプレイの画面解像度を取得することは、
    スマート端末の目標画像を送信するコマンドを検出すると、前記目標画像を受信して前記目標画像の画像解像度を取得し、前記画像解像度は、前記目標画像の水平ピクセル数＊垂直ピクセル数として表されることと、
    前記大型ディスプレイの画面解像度を取得し、前記画面解像度は、前記大型ディスプレイの水平ピクセル数＊垂直ピクセル数として表されることと、を含む、
    請求項１４に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
  16. 前記画像解像度と前記画面解像度との解像度の差分を計算し、前記解像度の差分に基づいて前記目標画像を調整し、前記画面解像度とマッチングした大型ディスプレイの画像を得ることは、
    前記画像解像度における水平ピクセル数と前記画面解像度における水平ピクセル数との差分を計算し、水平解像度の差分を得ることと、
    前記水平解像度の差分の絶対値が０に等しい場合、前記目標画像を前記画面解像度とマッチングした大型ディスプレイの画像とすることと、
    前記水平解像度の差分の絶対値が０に等しくない場合、前記水平解像度の差分の絶対値を目標画像の水平方向の充填される予定のピクセル数とし、充填される予定の色を決定し、且つ前記充填される予定の色に対応する色彩値を取得し、前記目標画像を前記色彩値で充填することによって、前記画面解像度とマッチングした大型ディスプレイの画像を得ることと、を含む、
    請求項１５に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
  17. 前記画面解像度が属するカテゴリは高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
    前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
    前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
    所定の平行移動拡張領域アルゴリズムによって前記目標画像に基づいて前記フローティングウィンドウレイヤーに第１平行移動拡張領域を配置することと、
    水平方向に前記目標画像の第１水平比率の第１水平ピクセルを切り取ることと、
    前記第１水平ピクセルを前記第１平行移動拡張領域に充填することと、
    前記第１平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第１感興直視領域を取得し、そのうち、前記第１平行移動拡張領域は第１感興直視領域を含むことと、
    前記目標画像において垂直方向に第１垂直比率の第１垂直ピクセルを切り取ることと、
    前記第１垂直ピクセルを前記第１感興直視領域に充填することと、を含む、
    請求項１４に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
  18. 前記画面解像度が属するカテゴリは超高解像度である場合、前記大型ディスプレイの画像に位置するフローティングウィンドウレイヤーを作成し、且つ所定のアルゴリズムによって、前記画面解像度が属するカテゴリに対応する平行移動拡張領域および感興直視領域を前記フローティングウィンドウレイヤーに配置して充填することは、
    前記画面解像度に基づいてフローティングウィンドウレイヤーを作成することにより、前記フローティングウィンドウレイヤーのサイズを前記大型ディスプレイとマッチングさせることと、
    前記フローティングウィンドウレイヤーを前記大型ディスプレイの画像の上方に置くことと、
    前記目標画像の高解像度に対応する高解像度画像を計算し、そのうち、前記高解像度画像の画像解像度は前記目標画像の画像解像度より高いことと、
    所定の平行移動拡張領域アルゴリズムによって前記高解像度画像に基づいて前記フローティングウィンドウレイヤーに第２平行移動拡張領域を配置することと、
    水平方向に前記高解像度画像の第２水平比率の第２水平ピクセルを切り取ることと、
    前記第２水平ピクセルを前記第２平行移動拡張領域に充填することと、
    前記第２平行移動拡張領域に充填した後、所定の感興直視アルゴリズムを追加して、第２感興直視領域を取得し、そのうち、前記第２平行移動拡張領域は前記第２感興直視領域を含むことと、
    前記高解像度画像において垂直方向に第２垂直比率の第２垂直ピクセルを切り取ることと、
    前記第２垂直ピクセルを前記第２感興直視領域に充填することと、を含む、
    請求項１４に記載の大型ディスプレイに基づいてパノラマ画像を作成する装置。
  19. スマート端末であって、前記スマート端末は、大型ディスプレイの表示パネル、記憶装置、処理装置および記憶装置に記憶され処理装置で実行可能な大型ディスプレイに基づいてパノラマ画像を作成するプログラムを含み、前記処理装置は大型ディスプレイに基づいてパノラマ画像を作成するプログラムを実行する時に、請求項１～１３のいずれかに記載の大型ディスプレイに基づいてパノラマ画像を作成する方法が実施される、
    スマート端末。
  20. コンピュータが読み取り可能な記憶媒体であって、前記コンピュータが読み取り可能な記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムが処理装置によって実行される時に、請求項１～１３のいずれかに記載の大型ディスプレイに基づいてパノラマ画像を作成する方法が実施される、
    コンピュータが読み取り可能な記憶媒体。
JP2023530651A 2020-11-18 2021-11-01 大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体 Pending JP2023550764A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011291487.5 2020-11-18
CN202011291487.5A CN114518860B (zh) 2020-11-18 2020-11-18 基于大屏创建全景图片的方法、装置、智能终端及介质
PCT/CN2021/127958 WO2022105584A1 (zh) 2020-11-18 2021-11-01 基于大屏创建全景图片的方法、装置、智能终端及介质

Publications (1)

Publication Number Publication Date
JP2023550764A true JP2023550764A (ja) 2023-12-05

Family

ID=81594727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023530651A Pending JP2023550764A (ja) 2020-11-18 2021-11-01 大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体

Country Status (4)

Country Link
JP (1) JP2023550764A (ja)
CN (1) CN114518860B (ja)
GB (1) GB2616188A (ja)
WO (1) WO2022105584A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114995701B (zh) * 2022-07-19 2024-04-02 荣耀终端有限公司 悬浮窗控制方法及相关装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334843A (ja) * 2003-04-15 2004-11-25 Seiko Epson Corp 複数の画像から画像を合成する方法
KR100800660B1 (ko) * 2006-09-21 2008-02-01 삼성전자주식회사 파노라마 영상 촬영 장치 및 방법
KR100790890B1 (ko) * 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
CN104181884B (zh) * 2014-08-11 2017-06-27 厦门立林科技有限公司 一种基于全景视图的智能家居控制装置及方法
CN105516311B (zh) * 2015-12-09 2019-03-05 中国农业银行股份有限公司 一种电子地图全景图获取方法及系统
US9811946B1 (en) * 2016-05-30 2017-11-07 Hong Kong Applied Science and Technology Research Institute Company, Limited High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
CN108307219B (zh) * 2017-11-07 2020-12-01 深圳市佳创视讯技术股份有限公司 一种高清电视全景视频智能展示方法
CN109062531B (zh) * 2018-08-15 2021-08-27 京东方科技集团股份有限公司 拼接屏以及拼接屏的显示方法和显示控制装置
CN110377257B (zh) * 2019-07-17 2022-04-19 Oppo广东移动通信有限公司 图层合成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114518860B (zh) 2023-08-01
GB2616188A (en) 2023-08-30
WO2022105584A1 (zh) 2022-05-27
CN114518860A (zh) 2022-05-20
GB202308579D0 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
US9591237B2 (en) Automated generation of panning shots
CN101431617B (zh) 用于合并视频以实时显示的方法和系统
KR101445653B1 (ko) 합성 이미지 구성 방법
KR101003277B1 (ko) 이음매 없는 합성 이미지를 생성하는 컴퓨터 구현 방법 및 멀티-이미저 시스템
CN112565589B (zh) 一种拍照预览方法、装置、存储介质和电子设备
CN111741274B (zh) 一种支持画面局部放大和漫游的超高清视频监看方法
US20080253685A1 (en) Image and video stitching and viewing method and system
JP6727989B2 (ja) 画像処理装置およびその制御方法
US20100225785A1 (en) Image processor and recording medium
WO2015161561A1 (zh) 一种终端基于多摄像头实现合照的方法及装置
CN105144681B (zh) 用频率提高来创建图像中的细节
CA3030258C (en) Panoramic video compression method and device
KR20190082080A (ko) 피처 매칭을 이용하는 멀티-카메라 프로세서
JPH1127703A (ja) 表示装置及びその制御方法
CN105210374B (zh) 利用图像特征对频率提高超分辨率的控制
CN108665415B (zh) 基于深度学习的图像质量提升方法及其装置
US11069026B2 (en) Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding
US11783445B2 (en) Image processing method, device and apparatus, image fitting method and device, display method and apparatus, and computer readable medium
CN114630053B (zh) 一种hdr图像显示方法及显示设备
TW201445977A (zh) 影像處理方法及影像處理系統
TW201447814A (zh) 即時影像處理方法及其裝置
JP2023550764A (ja) 大型ディスプレイに基づいてパノラマ画像を作成する方法、装置、スマート端末及び媒体
JP2004056359A (ja) 画像合成装置及び画像合成プログラム
WO2023143220A1 (zh) 图像显示处理方法及图像显示处理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240617