JP6770100B2 - 多角度画像制御方法および関連装置 - Google Patents

多角度画像制御方法および関連装置 Download PDF

Info

Publication number
JP6770100B2
JP6770100B2 JP2018565327A JP2018565327A JP6770100B2 JP 6770100 B2 JP6770100 B2 JP 6770100B2 JP 2018565327 A JP2018565327 A JP 2018565327A JP 2018565327 A JP2018565327 A JP 2018565327A JP 6770100 B2 JP6770100 B2 JP 6770100B2
Authority
JP
Japan
Prior art keywords
control operation
display
terminal
angle display
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018565327A
Other languages
English (en)
Other versions
JP2019527847A (ja
Inventor
明裕 ▲陳▼
明裕 ▲陳▼
▲増▼▲才▼ ▲孫▼
▲増▼▲才▼ ▲孫▼
永 ▲陳▼
永 ▲陳▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2019527847A publication Critical patent/JP2019527847A/ja
Application granted granted Critical
Publication of JP6770100B2 publication Critical patent/JP6770100B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像制御技術分野に関し、特に、多角度画像制御方法および関連装置に関する。
現在、プレゼンテーションの必要性から、多角度表示装置が市場に出ている。多角度表示装置は、レンズやリフレクタ等の光学機器を用いて、端末の表示画面に表示される平面画像を多角度画像に変換する。多角度画像は、異なる位置の視聴者に異なる画像を提示することができるため、多角度表示装置を用いて平面画像を3次元で提示することができる。加えて、多角度表示装置は持ち運びが容易であり、提示要件を容易に満たすことができる。例えば、複数の角度は、正面角度、背面角度、左角度および右角度の4つの角度であり、端末によって提供される平面画像は、図1−aに示されている。多角度表示装置で変換された後、多角度画像は、正面、背面、左、右の4つの角度からそれぞれ視聴され、提示された表示効果が図1−bに示されている。このようにして、異なる位置の視聴者に異なる画像が提示される。
しかしながら、現在、多角度表示装置は、端末上の平面表示画像を多角度画像に変換し、ユーザとの知的対話を行うのではなく、多角度画像をユーザに提示することだけ可能である。これにより、ユーザ体験が低下する。
本発明の実施形態は、ユーザとの知的対話を実現し、それによってユーザ経験を改善するように、多角度画像制御方法および関連装置を開示する。
第1の態様では、本発明の実施形態は、多角度画像制御方法であって、端末との接続を確立した後、多角度表示装置によって、端末の表示画面上の表示ピクチャが分割されるn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定するステップであって、nは正の整数である、ステップと、多角度表示装置によって、n個の表示領域にn個の角度表示画像をそれぞれ表示するステップと、多角度表示装置が、n個の表示領域に対応するn個の検出領域における制御操作信号を検出した後、多角度表示装置によって、制御操作信号を端末に送信するステップとを含む、方法を開示する。
多角度表示装置は、端末との接続を確立することができ、端末による分割によって取得されたn個の角度表示画像に基づいてn個の表示領域を決定することができ、その結果、n個の表示領域にn個の角度表示画像を表示して、複数の角度の角度表示画像を形成することが分かる。多角度表示装置は、n個の表示領域に対応するn個の検出領域における制御操作信号をさらに検出し、制御操作信号を端末に送信することにより、端末は、制御操作信号基づいて角度表示画像上で制御操作を行うことができ、それによりユーザとの知的対話を実現し、ユーザ体験を向上させることができる。
第1の態様の実現可能ないくつかの実施形態では、多角度表示装置によって、端末の表示画面上の表示ピクチャが分割されるn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定するステップは、多角度表示装置によって、端末の第1分割情報を受信するステップであって、第1分割情報が端末による分割によって取得された角度表示画像の数nと、n個の角度表示画像にそれぞれ対応する表示角度とを含む、ステップと、受信した第1分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を多角度表示装置により決定するステップ、または、多角度表示装置によって、端末によって送信された第2分割情報を受信するステップであって、第2分割情報が端末による分割により取得された角度表示画像の数nを含む、ステップと、受信した第2分割情報に基づいて、多角度表示装置によって、n個の角度表示画像に対応するn個の表示領域を決定するステップとを含む。
第1の態様の実現可能ないくつかの実施形態では、多角度表示装置が、n個の表示領域に対応するn個の検出領域で制御操作信号を検出した後、方法は、多角度表示装置によって、制御操作信号に対応する制御操作対象および制御操作命令を決定するステップであって、制御操作対象が表示ピクチャまたは角度表示画像である、ステップをさらに含み、多角度表示装置によって、制御操作信号を端末に送信するステップは、多角度表示装置が、制御操作信号に対応する制御操作対象が表示ピクチャであると決定した後に、多角度表示装置によって、第1制御情報を端末に送信するステップであって、第1制御情報が制御操作対象、すなわち制御操作信号に対応する表示ピクチャと、制御操作信号に対応する制御操作命令とを含む、ステップと、多角度表示装置が、制御操作信号に対応する制御操作対象は角度表示画像であると決定した後、多角度表示装置によって、第2制御情報を端末に送信するステップであって、第2制御情報が制御操作対象、すなわち制御操作信号に対応する角度表示画像、および制御操作信号に対応する制御操作命令を含む、ステップとを含む。
第1の態様の実現可能ないくつかの実施形態では、多角度表示装置が、制御操作信号に対応する制御操作対象が角度表示画像であると決定した後に、方法は、角度表示画像が画像要素を含む場合、多角度表示装置によって、制御操作信号に対応する制御操作対象が、画像要素であるか否かを決定するステップであって、画像要素がアプリケーションアイコンおよびアプリケーションウィジェットのうち少なくとも1つを含む、ステップと、多角度表示装置によって、制御操作信号を端末に送信するステップは、多角度表示装置が、制御操作信号に対応する制御操作対象が、画像要素であると決定した後、多角度表示装置によって、第3制御情報を端末に送信するステップであって、第3制御情報が制御操作対象、すなわち、制御操作信号に対応する画像要素、および制御操作信号に対応する制御操作命令を含む、ステップを含むことと、をさらに含む。
第1の態様の実現可能ないくつかの実施形態では、制御操作信号は、ジェスチャ操作信号と音声操作信号のうちの少なくとも1つを含む。
第2の態様によれば、本発明の一実施形態は、多角度表示装置への接続を確立した後に、端末によって、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割するステップと、多角度表示装置によって送信された制御操作信号を、端末によって、受信するステップと、制御操作信号に基づいて、表示ピクチャに対して制御操作を実行するステップとを含む多角度画像制御方法を開示する。
多角度表示装置への接続を確立した後、端末は、多角度表示装置を使用することによって、ユーザと知的対話を実施でき、それによりユーザ体験を改善することができることが分かる。
第2の態様のいくつかの実現可能な実施形態では、端末によって、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割するステップは、多角度表示装置によってサポートされるn個の表示領域に基づいて端末によって、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することを決定するステップと、多角度表示装置によって現在有効にされているn個の表示領域に基づいて端末によって、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することを決定するステップ、または端末の表示画面上の表示ピクチャによって提示される画像のn個の表示角度に基づいて端末によって、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することを決定するステップとを含む。
第2の態様の実現可能ないくつかの実施形態では、端末が多角度表示装置への接続を確立した後で、かつ端末によって、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割するステップの前に、方法は、多角度画像表示モードを、端末によって、有効にするステップをさらに含む。
第2の態様の実現可能ないくつかの実施形態では、端末によって、制御操作信号に基づいて表示ピクチャに対する制御操作を実行するステップは、制御操作信号に基づいて端末によって、制御操作信号に対応する制御操作対象を決定するステップであって、制御操作対象が表示ピクチャ、n個の角度表示画像のうちの少なくとも1つ、または角度表示画像内の画像要素を含み、画像要素は、アプリケーションアイコンおよびアプリケーションウィジェットのうちの少なくとも1つを含む、ステップと、端末によって、制御操作信号に対応する制御操作命令を解析するステップと、端末によって、制御操作命令に基づいて、制御操作対象に対する制御操作を実行するステップとを含む。
第3の態様によれば、本発明の一実施形態は多角度表示装置を開示し、多角度表示装置は、第1の態様における方法を実行するように構成されたユニットを含む。
第4の態様によれば、本発明の一実施形態は端末を開示し、端末は、第2の態様における方法を実行するように構成されたユニットを含む。
第5の態様によれば、本発明の一実施形態は、多角度表示装置を開示する。多角度表示装置はプロセッサを含んでもよく、プロセッサは、第1の態様において提供される方法において、対応する機能を実行するように多角度表示装置をサポートするように構成される。多角度表示装置はさらにメモリを含んでもよく、メモリはプロセッサに結合するように構成され、通信機器の必要なプログラム命令およびデータを格納する。多角度表示装置は、多角度表示装置と端末または通信ネットワークとの間の通信のために構成された通信インタフェースをさらに含むことができる。
第6の態様によれば、本発明の一実施形態は端末を開示する。端末はプロセッサを含んでもよく、プロセッサは第2の態様で提供される方法において、対応する機能を実行するために端末をサポートするように構成される。端末はさらにメモリを含んでもよく、メモリはプロセッサに結合するように構成され、端末の必要なプログラム命令およびデータを格納する。端末は、端末と多角度表示装置または通信ネットワークとの間の通信のために構成された通信インタフェースをさらに含むことができる。
第7の態様によれば、本発明の一実施形態は、第5の態様において提供される多角度表示装置によって使用されるコンピュータソフトウェア命令を格納するように構成されるコンピュータ記憶媒体を開示し、コンピュータソフトウェア命令は、第1の態様における方法を実行するように設計されたプログラムを含む。
第8の態様によれば、本発明の一実施形態は、第6の態様において提供される端末によって使用されるコンピュータソフトウェア命令を格納するように構成されるコンピュータ記憶媒体を開示し、コンピュータソフトウェア命令は、第2の態様における方法を実行するように設計されたプログラムを含む。
本発明のこれらの態様または他の態様は、以下の実施形態の説明においてより明白になり得る。
本発明の実施形態の技術的解決策をより明確に説明するために、実施形態を説明するために必要な添付図面を以下に簡単に説明する。明らかに、以下の説明における添付の図面は、本発明のいくつかの実施形態を示すに過ぎず、当業者は創造的な努力なしにこれらの添付図面から他の図面を得てもよい。
従来技術による多角度表示装置を用いて表示された端末表示ピクチャの画像化効果を示す概略図である。 本発明の一実施形態による多角度表示装置の3次元構造の概略図である。 本発明の一実施形態による多角度画像制御方法の概略フローチャートである。 本発明の一実施形態による別の多角度画像制御方法の概略フローチャートである。 本発明の一実施形態によるさらに別の多角度画像制御方法の概略フローチャートである。 本発明の一実施形態による多角度表示装置の表示領域と検出領域との間の位置マッピング関係を示す上面概略図である。 本発明の一実施形態による多角度表示装置のユニット構成を示す概略図である。 本発明の一実施形態による端末のユニット構成の概略図である。 本発明の一実施形態による多角度表示装置の概略構成図である。 本発明の一実施形態による端末の概略構成図である。
当業者が本発明の技術的解決策をより良く理解するために、本発明の実施形態における技術的解決策を、以下に、本発明の実施形態における添付図面を参照して明確に説明する。明らかに、記載された実施形態は、本発明の実施形態の全てではなく一部である。創造努力なしに本発明の実施形態に基づいて当業者によって得られる他の全ての実施形態は、本発明の保護範囲内に入るものとする。
本発明の明細書、特許請求の範囲および添付の図面において、「第1」、「第2」、「第3」、「第4」などの用語は、異なる対象を区別することを意図しているが、特定の順序を示すものではない。さらに、用語「含む(including)」、「備える(comprising)」、およびその任意の他の変形は、非排他的な包含をカバーすることが意図される。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、または機器は、リストされたステップまたはユニットに限定されず、所望により、リストされていないステップまたはユニットをさらに含むか、所望により、プロセス、方法、製品、または装置の別の固有のステップまたはユニットをさらに含む。
本明細書で言及される「実施形態」は、実施形態に関連する特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれ得ることを示す。本明細書の異なる場所で発生する段階は、必ずしも同じ実施形態、または別の実施形態を排除する独立したまたは代替の実施形態を指すとは限らない。当業者であれば、明示的かつ暗示的な方法で、本出願に記載された実施形態を別の実施形態と組み合わせることができることを理解する。
以下、本発明の実施形態における技術的解決策を、本発明の実施形態における添付図面を参照しながら説明する。
本発明の実施形態は、ユーザとの知的対話を実現し、それによってユーザ体験を改善するように、多角度画像制御方法および関連装置を開示する。本発明の実施形態の理解を容易にするために、まず、本発明の実施形態における適用シナリオについて以下説明する。
図2を参照すると、図2は本発明の一実施形態による多角度表示装置の3次元構造の概略図である。図2に示すように、多角度表示装置は、基部、支柱および屋根を含むことができる。端末は多角度表示装置の屋根上に設置されてもよく、端末の表示画面は基部に面し、その結果、多角度表示装置が多角度方法で、端末の表示画面上に表示ピクチャを表示する。本発明の本実施形態では、多角度表示装置が4つの角度を表示できる例を用いて説明する。図2に示すように、多角度表示装置は、4つの角度、すなわち正面、背面、左および右に対応する4つの表示領域を有する。各表示領域は、端末の表示画面上に表示ピクチャの一部を対応して表示することができる。端末の表示ピクチャが、正面、背面、左および右からの同じ画像の4つの角度画像を含む場合には(図1−aに示すように)、同様の3次元画像が多角度表示装置を使用して表示されてもよく、ユーザは異なる角度から多角度画像を見る場合(図1−bに示すように)、異なる角度に対応する角度表示画像を見ることができる。端末の表示画面上の表示ピクチャが別の形態の角度表示画像である場合、多角度表示装置は、対応する表示ピクチャを異なる表示領域に表示してもよい。多角度表示装置が4つの表示領域に対応可能な場合には、多角度表示装置は、特定の条件に基づいて1〜3個の表示領域のみに画像表示を行ってもよいし、4つの表示領域全てに表示を行ってもよいことに留意されたい。これは、本発明の本実施形態においては限定されない。無論、本発明の本実施形態では、4つの表示領域をサポートできる多角度表示装置が一例として使用されるだけである。本発明の本実施形態における多角度表示装置は、多角度表示のためのn個の表示領域をサポートすることができ、4つの角度に対応する表示領域のみをサポートすることに限定されない。
従来技術では、多角度表示装置は、端末の表示画面上の表示ピクチャを、屈折および反射などの光学原理に基づいて多角度画像に変換することしかできない。ユーザが多角度画像を調整する必要がある場合や、多角度画像の画像要素を制御する必要がある場合には、端末に対してタッチ操作を行うなどして実施することができる。ユーザの満足度は、複数の調整の後で前述のように達成することができ、これは、低いユーザ体験をもたらす。しかしながら、本発明の本実施形態では、多角度画像を表示した後、多角度表示装置は、多角度画像に対するユーザによる制御操作を直接検出し、多角度画像に対するさらなる制御および調整のために端末に制御操作を送信し、ユーザとの知的対話を実現し、ユーザ体験を向上させる。
無論、本発明の実施形態は、他の構造の多角度表示装置をさらに含むことができ、図2に示す多角度表示装置の3次元構造に限定されない。
上述した適用シナリオを参照して、以下に本発明の実施形態における方法の実施形態を詳細に説明する。例えば、本発明の実施形態の端末は、携帯電話、タブレットコンピュータ、ノートパソコン、UMPC(ウルトラモバイルPC、ultra−mobile PC)、netbook(ネットブック)、PDA(personal digital assistant、携帯情報端末)、POS(point of sales、販売時点情報管理)であってもよいが、これに限定されない。端末の表示画面は、容量方式タッチスクリーン、抵抗方式タッチスクリーン、または別のタイプの表示画面であってもよい。
図3を参照すると、図3は、本発明の一実施形態による多角度画像制御方法の概略フローチャートである。図3に示すように、方法は、以下のステップを含むことができる。
ステップS301:多角度表示装置は、端末との接続を確立する。
実現可能ないくつかの実施形態では、多角度表示装置は、最初に端末への接続を確立することができる。接続方法は、有線接続または無線接続を含むことができる。多角度表示装置が端末と有線接続を確立する場合、コネクタ、例えばUSBインタフェースまたは他の汎用若しくは共同で構成された接続インタフェースで構成されたコネクタを用いて接続することができる。多角度表示装置が端末との無線接続を確立する場合、構成されたアンテナを用いて磁界結合を行ってもよいし、無線プロトコル技術を用いて無線接続を行ってもよい。無線プロトコル技術は、Wi−Fi(Wireless Fidelity、ワイヤレス・フィディリティー)技術、Zigbee(ジグビー)技術、ブルートゥース(登録商標)(Bluetooth(登録商標))技術、またはNFC(Near Field Communication、近距離通信)技術などの全般的な無線プロトコル技術であってもよい。あるいは、無線プロトコル技術は、多角度表示装置と端末との間のプライベートプロトコル技術であってもよく、プライベートプロトコル技術は、多角度表示装置および端末によって共同で形成される。
ステップS302:端末は、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割する。
実現可能ないくつかの実施形態では、端末が多角度表示装置への接続を確立した後、端末は、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することができ、nは正の整数である。
具体的には、端末が多角度表示装置への接続を確立した後、有線または無線の情報対話が実行されてもよい。例えば、端末は、多角度表示装置に制御命令を送り、多角度表示装置を制御して制御命令を実行させる。別の例として、端末は多角度表示装置を制御して、端末が要求する情報を送信させるか、または端末が取得要求を多角度表示装置に送信し、多角度表示装置の現在の状態情報などを要求する。同様に、多角度表示装置は、前述のように、端末をさらに制御して、操作命令を実行させるか、端末の現在の状態情報を要求させるなどしてもよい。端末は、情報対話によって、多角度表示装置がサポートできる表示領域、または多角度表示装置によって現在有効にされている領域を取得することができる。例えば、多角度表示装置でサポートされている表示領域の数や多角度表示装置によって現在有効にされている表示領域の数をnとすると、端末は、表示ピクチャを分割する必要がある角度表示画像の分割数はnであると決定してもよい。端末が分割数を決定した後、端末に配置された処理ユニットまたは画像処理ユニット(Graphic Process Unit、GPU)を使用して、表示画面上の表示ピクチャに対して画像認識を行うことができる。例えば、処理ユニットまたは画像処理ユニットは、端末に予め格納された画像認識モデルを呼び出して表示ピクチャを画像認識し、現在の表示ピクチャに含まれる画像および表示ピクチャにおける画像の位置を認識してもよい。認識された画像は、アプリケーションアイコンおよびアプリケーションウィジェットなどの画像要素を含むことができるか、または複数の角度画像を含む。次に、端末は、表示ピクチャ内の認識された画像と認識された画像の位置に基づいて、表示ピクチャをn個の角度表示画像に分割することができる。各角度表示画像は、少なくとも1つの認識された画像を含むことができる。
あるいは、端末は、端末の表示画面上の表示ピクチャによって表示される画像のn個の表示角度に基づいて、表示ピクチャを分割する必要がある角度表示画像の分割数をnと決定してもよい。例えば、端末は、多角度表示装置への接続を確立した後、またはユーザが端末上で行った操作に基づいて、多角度表示モードを有効にすることができる。多角度表示モードでは、表示ピクチャは同一画像の複数の表示角度を表示する。あるいは、端末は、多角度表示装置への接続を確立した後、またはユーザが端末上で行った操作に基づいて、端末に予め格納された多角度ファイルを呼び出す。多角度ファイルは、多角度画像ファイルまたは多角度ビデオファイルを含んでもよく、すなわち、端末が多角度画像の1フレームを表示ピクチャ上に表示すると、表示ピクチャは、複数の表示角度の画像を表示する。端末が多角度画像を表示する場合、端末は、端末に配置された処理ユニットまたは画像処理ユニット(Graphic Process Unit、GPU)を用いて、表示画面上の表示ピクチャに対して画像認識を行うことができる。例えば、処理ユニットまたは画像処理ユニットは、端末に予め格納された画像認識モデルを呼び出して表示ピクチャを画像認識し、現在の表示ピクチャに含まれるn個の角度画像および表示ピクチャにおけるn個の角度画像の位置を認識してもよい。次に、端末は、表示ピクチャをn個の角度表示画像に分割してもよく、各角度表示画像は1つの角度画像を含む。
所望により、端末が多角度表示装置への接続を確立した後、端末は現在の画面表示状態を検出することができる。端末の表示画面が現在画面オフ状態である場合には、端末が多角度表示装置への接続を確立した後、端末の表示画面は画面オン状態に切り替わる。
ステップS303:多角度表示装置は、端末の表示画面上の表示ピクチャが分割されたn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定する。
実現可能ないくつかの実施形態では、端末が表示画面上の表示ピクチャをn個の角度表示画像に分割した後、多角度表示装置は、端末による分割によって取得されたn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定してもよい。すなわち、多角度表示装置は、表示領域に配置された光学機器をさらに制御して、表示領域に対応する角度表示画像を表示させるために、端末による分割によって取得されたn個の角度表示画像に基づいて、角度表示画像ごとに1つの表示領域を決定する必要がある。具体的には、多角度表示装置は、端末による分割によって取得されたn個の角度表示画像を取得した後、対応してn個の表示領域を決定してもよい。所望により、分割によってn個の角度表示画像を取得した後、端末は、分割によって取得された角度表示画像の数nを情報対話を通して多角度表示装置に送信することができる。例えば、端末と多角度表示装置との間で有線接続が行われる場合には、端末は、分割によって取得された角度表示画像の数nを、接続バスなどを用いて、多角度表示装置に分送信してもよい。別の例として、端末と多角度表示装置との間で無線接続が行われる場合には、端末は、無線接続プロトコルにおいて指定された伝送チャネルを用いて、無線接続プロトコルにおいて指定された情報形式で、数nを運ぶ情報を多角度表示装置に送信する。また、端末は、例えば、角度表示画像のサイズや、角度表示画像に対応する角度など、角度表示画像に含まれる画像要素などの、多角度表示装置に角度表示画像に関する情報を送信してもよい。多角度表示装置によって現在有効にされている表示領域の数または多角度表示装置によってサポートされる表示領域の数がnである場合、すなわち1つの表示領域は1つの角度表示画像に対応する。例えば、多角度表示装置により現在有効にされている表示領域や、多角度表示装置によってサポートされている表示領域がそれぞれ表示領域x1〜xnである場合、端末による分割によって取得されたn個の角度表示画像はそれぞれ角度表示画像y1〜ynであると知り、表示領域x1〜xnと角度表示画像y1〜ynとの間のマッピング関係は、予め定められた規則または別の方法に基づいて決定されてもよい。例えば、多角度表示装置は、表示領域xiが角度表示画像yjにマップされていると決定してもよい。多角度表示装置は、表示領域xi内の光学機器をさらに制御して、表示領域xiに対応する角度表示画像yjを表示させることができる。多角度表示装置によって現在有効にされている表示領域または多角度表示装置によってサポートされる表示領域の数がnより大きい場合、n個の表示領域が選択されてもよく、n個の表示領域とn個の角度表示画像との間のマッピング関係が決定される。所望により、多角度表示装置は、n個の表示領域とn個の角度表示画像とのマッピング関係を決定するために、カメラを用いて視聴者の現在位置を検出してもよく、例えば配置された赤外線センサや超音波センサなどを用いて視聴者の現在位置を検出してもよい。例えば、多角度表示装置が、視聴者が表示領域Aにおいて視聴するのを検出する場合や、表示領域Aの視聴者数が比較的多く、n個の角度表示画像が正面角度の角度表示画像を含むことを検出する場合、多角度表示装置は、正面角度の角度表示画像が表示領域Aに表示されていると決定してもよい。所望により、端末は、角度表示画像と表示領域との間のマッピング関係をさらに決定してもよい。多角度表示装置によって現在有効またはサポートされている表示領域を取得した後、端末は、各表示領域に対応する角度表示画像を決定し、そのマッピング関係を多角度表示装置に命令または情報の方法で送信する。
ステップS304:多角度表示装置は、n個の表示領域にn個の角度表示画像をそれぞれ表示する。
実現可能ないくつかの実施形態では、n個の角度表示画像に対応するn個の表示領域を決定した後、多角度表示装置は、n個の表示領域にn個の角度表示画像をそれぞれ表示することができる。具体的には、多角度表示装置は、多角度表示装置における表示領域の位置と、端末における表示領域に対応する決定された角度表示画像の位置とに基づいて、表示領域に配置された光学機器を調整して、表示領域に対応する角度表示画像を表示領域に表示してもよい。所望により、n個の表示領域のサイズなどに基づいて、n個の角度表示画像を対応して調整して、より良い表示効果を得ることができる。
ステップS305:n個の表示領域に対応するn個の検出領域で制御操作信号を多角度表示装置が検出した後、多角度表示装置は、端末に制御操作信号を送信する。
実現可能ないくつかの実施形態では、n個の表示領域にn個の角度表示画像を表示した後、多角度表示装置は、n個の表示領域に対応するn個の検出領域における制御操作信号を検出してもよい。制御操作信号を検出した後、多角度表示装置は、制御操作信号を端末に送信して、端末は制御操作信号に対する角度表示画像に基づいて制御操作を行ってもよい。具体的には、多角度表示装置は、1つ以上の表示領域における制御操作信号を検出する場合、制御操作信号が位置する表示領域を決定することにより、制御操作信号に対する角度表示画像を決定してもよい。例えば、表示領域Aにおいて制御操作信号を検出する場合、多角度表示装置は、制御操作信号に対する角度表示画像が表示領域Aに対応する角度表示画像であると決定してもよい。次に多角度表示装置は、制御操作信号と制御操作信号に対する角度表示画像の画像情報とを端末に送信して、制御操作信号に基づいて制御操作信号に対する角度表示画像に対する制御操作を行うことができる。あるいは、制御操作信号は、制御操作信号に対する角度表示画像に関する情報を含む。例えば、制御操作信号がジェスチャ操作信号である場合、ジェスチャ操作信号のジェスチャ形状やジェスチャ操作軌跡等に基づいてジェスチャ操作信号に対する角度表示画像を決定してもよい。例えば、ジェスチャ操作信号を生成するためのジェスチャ形状が「X」であると決定された場合、ジェスチャ操作信号に対する角度表示画像は角度表示画像Aであると決定されるか、またはジェスチャ操作信号を生成するためのジェスチャ形状が「V」であると決定された場合、ジェスチャ操作信号に対する角度表示画像が角度表示画像Bであると決定される。それにより、端末は、制御操作信号を受信した後、制御操作信号に対する角度表示画像を決定することができる。
実現可能ないくつかの実施形態では、多角度表示装置の各表示領域は、1つの検出領域に対応することができる。図6を参照すると、図6は、多角度表示装置の表示領域と検出領域との間の位置マッピング関係の上面概略図である。図6に示すマッピング関係を説明するために、4つの表示領域が例として使用される。図6に示すように、各表示領域は1つの検出領域に対応する。所望により、多角度表示装置の3次元構造が図1に示されるものである場合、制御操作信号を検出するために、検出センサを多角度表示装置の基部上に設置することができる。基部上に設置され、表示領域に対応する検出センサは、同じであっても異なっていてもよい。異なる表示領域については、対応する検出領域のサイズと検出領域内で検出される制御操作信号の両方は、同じであっても異なっていてもよい。例えば、制御操作信号は、ジェスチャ操作信号と音声操作信号のうちの少なくとも1つを含むことができる。ユーザジェスチャ操作は、表示領域Aに対応する検出領域Aにおいて検出されてもよいし、ユーザ音声操作は、表示領域Bに対応する検出領域Bにおいて検出されてもよいなどである。多角度表示装置は、基部に配置された超音波センサ、赤外線センサ、カメラ等を用いてジェスチャ操作信号を検出することができ、また、基部に配置されたマイクロフォン、音声センサ等を用いて音声操作信号を検出してもよい。無論、多角度表示装置上で、制御操作信号を正確に検出するためには、基部上の各表示領域に対応する平面上に少なくとも1つの検出センサを配置してもよい。これは、本発明の本実施形態においては限定されない。所望により、多角度表示装置において、異なる検出センサは、表示領域に対応する異なる基部面上に配置されてもよく、例えば表示領域Aに対応する基部面に少なくとも1つの超音波センサを配置し、表示領域Bに対応する基部面に少なくとも1つのマイクロフォンを配置する。あるいは、多角度表示装置上に、表示領域に対応する異なる基部平面上に同じ検出センサを配置することができ、すなわち、各平面図において、対応する検出領域におけるジェスチャ制御操作および音声制御操作を配置する。各検出領域の検出機能は、多角度表示装置によって決定されてもよい。例えば、多角度表示装置は、表示領域Aに対応する検出領域Aがジェスチャ制御操作を検出するために使用されることを決定し、表示領域Bに対応する検出領域Bが音声制御操作を検出するために使用されることを決定するなどである。
ステップS306:端末は、多角度表示装置から送信された制御操作信号を受信し、制御操作信号に基づいて表示ピクチャに制御操作を行う。
実現可能ないくつかの実施形態では、端末は、多角度表示装置から送信された制御操作信号を受信した後、制御操作信号に基づいて、端末の表示画面上の表示ピクチャに制御操作を行ってもよい。具体的には、端末は、制御操作信号に基づいて表示ピクチャ全体に対して制御操作を実行してもよい。端末は、制御操作信号を受信した後、制御操作信号を解析して制御操作信号の操作命令を得ることができる。例えば、制御操作信号がジェスチャ操作信号である場合には、軌跡によって形成されたパターンおよび軌跡方向などのジェスチャ操作信号の操作軌跡を解析してもよく、操作軌跡と操作命令との間の予め設定されたマッピング関係に基づく操作軌跡に対応する操作命令を決定してもよい。例えば、操作軌跡が円である場合、対応する操作命令は、表示ピクチャの形式を調整することである。他の例として、制御操作信号が音声操作信号である場合、端末は、音声操作信号からキーワードを解析し、キーワードに基づいて操作命令を形成することができる。例えば、端末が構文解析により、音声操作信号中のキーワードが形式および表示ピクチャの調整を含むことを知る場合には、表示ピクチャの形式を調整する操作命令を作成してもよい。これは、本発明の本実施形態においては限定されない。表示ピクチャの色調整、表示ピクチャの表示形式の切り替え、あるいは表示ピクチャのズームイン、ズームアウトまたは回転等の制御操作は、上述したようにして実施することができる。あるいは、例えば、少なくとも1つの角度表示画像の色調整、少なくとも1つの角度表示画像の表示形式の切り替え、あるいは少なくとも1つの角度表示画像のズームイン、ズームアウトまたは回転など、制御操作信号に基づいて、表示ピクチャにおける分割により取得されたn個の角度表示画像のうち少なくとも1つに対して制御操作を行ってもよい。あるいは、制御操作信号に基づいて、分割により取得されたn個の角度表示画像のうち少なくとも1つに含まれる画像要素に対して、制御操作を行ってもよい。角度表示画像に含まれる画像要素には、アプリケーションアイコン、アプリケーションウィジェット(Widget)などが含まれていてもよい。多角度表示装置は、制御操作信号に基づいて、アプリケーションアイコンまたはアプリケーションウィジェットに対応するアプリケーションプログラムを有効にするか、またはアプリケーションウィジェット内のアプリケーション要素に対して制御操作を行うことができる。
所望により、多角度表示装置は、異なる検出領域において異なる制御操作信号を同時に受信することができる。したがって、多角度表示装置は、異なる制御操作信号を端末に送信することができるため、端末は、異なる制御操作信号に基づいて、各制御操作信号に対応する表示ピクチャまたはいくつかの表示ピクチャに対して独立した制御操作を実行する。多角度表示装置は、複数の検出領域を用いて1つの制御操作信号を受信してもよい。したがって、多角度表示装置は、複数の検出領域で受信した共通の制御操作信号を端末に送信することができるため、端末は、制御操作信号に基づいて、制御操作信号に対応する表示ピクチャまたはいくつかの表示ピクチャに対して制御操作を実行する。例えば、多角度表示装置は、検出領域Aと検出領域Bの制御操作信号を連続して検出する。例えば、制御操作信号がジェスチャ操作信号である場合には、多角度表示装置は、検出領域Aと検出領域Bにおけるジェスチャ操作信号の操作軌跡を連続して検出するか、または制御操作信号が音声操作信号である場合には、検出領域Aと検出領域Bにおける音声操作信号の音声を連続的に検出し、端末は、制御操作信号に基づいて、表示ピクチャ全体に対して回転操作を行うか、または、表示領域Aに対応する角度表示画像および表示領域Bに対応する角度表示画像に対して、対応する制御操作を行う。
本発明の本実施形態では、端末が多角度表示装置への接続を確立した後、端末は、表示画面上の表示ピクチャをn個の角度表示画像に分割することが分かる。多角度表示装置は、分割により取得されたn個の角度表示画像に基づいて、n個の角度表示画像に対応する表示領域を決定し、これに対応してn個の表示領域にn個の角度表示画像を表示することができ、知的方法でユーザのための多角度画像を提供することができる。また、多角度表示装置は、制御操作信号を検出することができ、制御操作信号を端末に送信することができるため、端末は、制御操作信号に基づいて表示画面上の表示ピクチャに対して制御操作を行うことができ、それにより、ユーザとの知的対話を実現し、ユーザ体験を向上させることができる。
図4を参照すると、図4は、本発明の一実施形態による他の多角度画像制御方法の概略フローチャートである。図4に示すように、この方法は、以下のステップを含むことができる。
ステップS401:端末は、多角度表示装置との接続を確立する。
ステップS402:端末は、多角度画像表示モードを有効にする。
実現可能ないくつかの実施形態では、端末が多角度表示装置への接続を確立した後、端末は多角度画像表示モードを有効にすることができる。具体的には、多角度表示装置への接続が確立したことを端末が検出した後、多角度画像表示モードを有効にするために端末をトリガして、現在の通常表示モードから多角度画像表示モードに切り替えることができる。多角度画像表示モードは、複数の角度の予め設定された画像表示画像を呼び出すこと、または現在の表示ピクチャに基づいて、対応して角度表示画像または現在の表示ピクチャ内にある画像要素を調整することを含むことができる。例えば、多角度画像表示モードを有効にした後、端末は、現在の表示ピクチャにおける角度表示画像の表示位置を調整することができるため、多角度表示装置によって表示された角度表示画像を視聴者が視聴するのに便利である。あるいは、現在の表示ピクチャが端末のデスクトップインタフェースを表示し、画像要素が順番にデスクトップインタフェース上、例えばアプリケーションアイコンまたはアプリケーションウィジェット上に配置されている場合、端末は、画像要素の配置順、画像要素の表示位置、画像要素の表示形式などを調整できるため、多角度表示装置によって表示される画像要素を視聴者が視聴するのに便利である。多角度画像表示モードは、多角度表示装置によって送信された制御操作信号を端末が解析できることをさらに含むことができる。例えば、端末は、制御操作信号に対応する制御操作対象と、制御操作信号に対応する制御操作命令とを解析することができる。
ステップS403:端末は、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割する。
ステップS404:多角度表示装置は、端末の表示画面上の表示ピクチャが分割されたn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定する。
実現可能ないくつかの実施形態では、多角度表示装置がn個の角度表示画像に対応するn個の表示領域を決定する具体的な実施形態は、以下の方法のいずれかであり得る。
(1)多角度表示装置は、端末の第1分割情報を受信し、第1分割情報は端末による分割によって取得された角度表示画像の数nと、n個の角度表示画像にそれぞれ対応する表示角度とを含み、多角度表示装置は、受信した第1分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を決定する。
具体的には、多角度表示装置は、端末から送信された第1分割情報を受信してもよい。第1分割情報は、端末が表示画面上の表示ピクチャをn個の角度表示画像に分割することを示し、n個の角度表示画像に対応する表示角度を示す。すなわち、端末は、第1分割情報を用いて、多角度表示装置に対して、n個の角度表示画像とn個の表示領域とのマッピング関係を決定するよう命令する。例えば、多角度表示装置における表示領域は、表示角度に対応していてもよい。第1分割情報を用いて多角度表示装置が、端末によって示され、かつn個の角度表示画像に対応するn個の表示角度を取得した後、n個の表示角度に対応する表示領域が決定されてもよい。あるいは、第1分割情報を受信した後、多角度表示装置は、角度表示画像の分割数に基づいて表示領域数を決定することができ、n個の角度表示画像に対応するn個の表示角度を得ることができる。多角度表示装置は、現在の視聴者の位置を検出するか、または表示領域内の視聴者数を決定することによって、表示領域に表示される角度を決定し、表示領域と角度表示画像との間のマッピング関係を決定してもよい。したがって、多角度表示装置は、第1分割情報を受信した後、第1分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を決定してもよい。
(2)多角度表示装置は、端末によって送信された第2分割情報を受信し、第2分割情報は端末による分割によって取得された角度表示画像の数nを含み、多角度表示装置は、受信した第2分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を決定する。
具体的には、多角度表示装置は、端末によって送信された第2分割情報を受信し、第2分割情報は、端末に表示画面の表示ピクチャをn個の角度表示画像に分割するよう命令するのに使用される。多角度表示装置は、第2分割情報を用いることにより、対応が必要なn個の表示領域のみを決定することができ、多角度表示装置は、n個の表示領域とn個の角度表示画像とのマッピング関係を自身で決定する必要がある。マッピング関係は、多角度表示装置内に現在配置されている光学機器によって決定されてもよい。あるいは、多角度表示装置は、角度表示画像内の画像情報に基づいてマッピング関係を決定する。
所望により、多角度表示装置は、第1分割情報または第2分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を決定した後、多角度表示装置は、多角度表示装置内に配置された光学機器を調整することによって、マッピング関係を実現してもよい。
ステップS405:多角度表示装置は、n個の表示領域にn個の角度表示画像をそれぞれ表示する。
ステップS406:多角度表示装置は、n個の角度表示画像に対応するn個の検出領域で制御操作信号を検出した後、端末に制御操作信号を送信する。
ステップS407:端末は、制御操作信号に基づいて、制御操作信号に対応する制御操作対象を決定し、制御操作対象は表示ピクチャ、n個の角度表示画像のうちの少なくとも1つ、または角度表示画像内の画像要素を含み、画像要素は、アプリケーションアイコンおよびアプリケーションウィジェットのうちの少なくとも1つを含む。
ステップS408:端末は、制御操作信号に対応する制御操作命令を解析する。
ステップS409:端末は、制御操作命令に基づいて制御操作対象に対して制御操作を行う。
実現可能ないくつかの実施形態では、端末は、多角度表示装置から送信された制御操作信号を受信した後、制御操作信号と表示制御信号との間のマッピング関係、および多角度表示モードの端末によって予め設定されたマッピング関係に基づいて、または、制御操作信号と制御操作命令との間の予め設定されたマッピング関係に基づいて、表示画面上の表示ピクチャに対して対応する制御操作を行ってもよい。無論、制御操作信号、制御操作対象および制御操作命令との間のマッピング関係は、多角度表示モードにおいて予め設定されたマッピング関係表に示されていてもよい。例えば、端末が受信した制御操作信号がジェスチャ操作信号である場合、端末は、ジェスチャ操作信号の操作軌跡の軌跡方向、軌跡によって形成されたパターン、ジェスチャ操作のジェスチャ形状などに基づいて、制御操作対象および制御操作命令を対応して決定することができる。例えば、端末は、解析により、ジェスチャ操作信号の操作軌跡が1つの表示領域内にあり、操作軌跡によって形成されるパターンが円であることを知ると、端末は、解析によって、ジェスチャ操作信号に対応する制御操作対象が表示領域に対応する角度表示画像であることを知ってもよく、ジェスチャ操作信号に対応する制御操作命令は、角度表示画像を回転させる。別の例として、ジェスチャ操作信号の操作軌跡が角度表示画像内の少なくとも1つの画像要素の表示領域にあり、ジェスチャ操作信号の操作軌跡方向が遠くから近くである場合、端末は、解析によって、ジェスチャ操作信号に対応する制御操作対象が少なくとも1つの画像要素であることを知ってもよく、ジェスチャ操作信号に対応する制御操作命令はクリックして、少なくとも1つの画像要素に対応するアプリケーションプログラムを有効にする。別の例として、端末が解析したジェスチャ操作信号の操作軌跡が2つ以上の表示領域を通過し、操作軌跡によって形成されるパターンが円である場合、端末は、解析によって、ジェスチャ操作信号に対応する制御操作対象は表示ピクチャ全体であることを知ってもよく、ジェスチャ操作信号に対応する制御操作命令は表示ピクチャを回転させる。別の例として、端末によって解析されたジェスチャ操作信号の操作軌跡が2つ以上の表示領域を通過し、操作軌跡によって形成されるパターンが正方形または「X」などである場合、端末は、解析によって、ジェスチャ操作信号に対応する制御操作対象が2つ以上の表示領域に対応する角度表示画像であることを知ってもよく、ジェスチャ操作信号に対応する制御操作命令が角度表示画像の表示形式などを切り替える。あるいは、制御操作信号が音声操作信号である場合、端末は、音声操作信号に対応する制御操作対象および制御操作命令のキーワードをそれぞれ抽出して、音声操作信号に対応する制御操作対象および制御操作命令を決定してもよい。例えば、音声操作信号から「オープニング」と「音楽アプリケーション」の2つのキーワードが解析された場合、音声操作信号に対応する制御操作対象は、角度表示画像における音楽アプリケーション表示アイコンであり、音声操作信号に対応する制御操作命令は、有効化命令である。前述したことは単なる例である。無論、本発明の本実施形態は、制御操作信号と制御操作対象と制御操作命令との間の別のマッピング関係をさらに含むことができる。
端末は、制御操作命令に基づいて制御操作対象に対する制御操作を行った後、端末は制御操作が行われた後の結果を表示ピクチャ上に表示することができる。例えば、端末は、表示画像全体に対して制御操作が行われた後の結果を表示ピクチャ上に表示してもよく、端末は、1つ以上の角度表示画像に対して制御操作が行われた後の結果を表示画像上に表示してもよいか、または、端末は、1つ以上の角度表示画像内の画像要素に対して制御操作が行われた後に、結果を表示画像上に表示してもよい。端末が、制御操作が行われた後の結果を表示ピクチャに表示する場合、多角度表示装置は、多角度表示装置の表示領域と、端末による分割によって取得された角度表示画像との間のマッピング関係を決定している。したがって、端末の制御によって1つ以上の角度表示画像の表示が変化する場合、複数の角度の角度表示画像は、表示が変化する1つ以上の角度表示画像に対応する表示領域において、1つ以上の変化した角度表示画像を表示でき、その結果、ユーザが制御操作結果を直接視聴することができる。
なお、S401、S403、S405、S406の具体的な実施形態については、図3に示す実施形態における関連ステップの説明を参照することができることに留意されたい。
上記実施形態では、端末が多角度表示装置への接続を確立した後のトリガにより、端末の多角度表示モードを有効にすることができ、複数の角度表示画像の表示領域は、相互に伝達された情報を用いてより知的な方法で決定されてもよく、制御操作が、より知的な方法で複数の角度の角度表示画像に対して行われてもよいことが理解される。これにより、ユーザ間の知的対話がさらに簡素化され、さらにユーザ体験が向上する。
図4に示す実施形態では、多角度表示装置は、制御操作信号を検出した後、制御操作信号を端末に送信してもよく、端末は、制御操作信号を解析する。また、多角度表示装置が制御操作信号を検出した後、多角度表示装置は制御操作信号を解析して、解析結果を端末に伝達することができ、端末は、解析結果を受信した後、解析結果に基づいて、制御操作信号に対応する制御操作対象に対して制御操作を直接実行してもよい。
図5を参照すると、図5は、本発明の一実施形態によるさらに別の多角度画像制御方法の概略フローチャートである。図5に示す実施形態では、多角度表示装置が制御操作信号を検出した後、制御操作信号を解析するプロセスに着目している。図5に示すように、この方法は、以下のステップを含むことができる。
ステップS501:多角度表示装置は、n個の角度表示画像に対応するn個の検出領域で制御操作信号を検出した後、多角度表示装置は、制御操作信号に対応する制御操作対象および制御操作命令を決定し、前記制御操作対象は、表示ピクチャと角度表示画像の少なくとも一方を含む。
実現可能ないくつかの実施形態では、多角度表示装置は、制御操作信号を検出した後、制御操作信号を解析して、制御操作信号は表示ピクチャを制御するために使用されるか、または角度表示画像を制御するために使用されるかを決定することができる。具体的には、決定は、制御操作信号の操作軌跡、または制御操作信号の操作範囲に基づいて実行することができる。例えば、多角度表示装置が、解析によって、操作軌跡または制御操作信号の操作範囲が複数の表示領域に対応する検出領域を含むことを知る場合、制御操作信号は表示ピクチャを制御するために使用されると決定されるか、または、多角度表示装置が、解析によって、操作軌跡または制御操作信号の操作範囲が1つの表示領域のみに対応する検出領域内にあることを知る場合には、制御操作信号は角度表示画像を制御するために使用されると決定される。多角度表示装置が、制御操作信号は表示ピクチャを制御するために使用されると決定した後、ステップS502が実行されてもよいか、または多角度表示装置が、制御操作信号は少なくとも1つの角度表示画像を制御するために使用されると決定した場合、ステップS503が実行されてもよい。
ステップS502:多角度表示装置が、制御操作信号に対応する制御操作対象は表示ピクチャであると決定した後、多角度表示装置は、第1制御情報を端末に送信し、第1制御情報は制御操作対象、すなわち制御操作信号に対応する表示ピクチャと、制御操作信号に対応する制御操作命令とを含む。
実現可能ないくつかの実施形態では、上記のように、制御操作信号が表示ピクチャを制御するために使用されると決定した後、多角度表示装置は、第1制御情報を端末に送信することができる。第1制御情報は、表示ピクチャに対して制御操作を行うように端末に命令するために使用される。さらに、第1制御情報は、多角度表示装置によって解析された制御操作命令、例えば、表示ピクチャの回転、表示ピクチャのズーム、または表示ピクチャの表示形式の調整などを行うことができる。したがって、画像に対して端末によって実行される処理操作は、多角度表示装置を使用することによって共有することができる。所望により、多角度表示装置は、制御操作信号に対応する制御操作対象を決定した後、制御操作対象内にあり、制御操作信号と制御操作命令との間にある予め格納されたマッピング関係を呼び出すことができる。例えば、制御操作対象が表示ピクチャであると決定した場合、多角度表示装置は、マッピング関係に基づいて、制御操作信号を解析して、軌道方向や軌跡によって形成される形状等を取得し、制御操作信号に対応する制御操作命令を決定する。
ステップS503:多角度表示装置は、制御操作信号に対応する制御操作対象が角度表示画像であると決定した後、角度表示画像に画像要素が含まれている場合、多角度表示装置は、制御操作信号に対応する制御操作対象が画像要素であるか否か決定し、画像要素はアプリケーションアイコンとアプリケーションウィジェットのうちの少なくとも1つを含む。
実現可能ないくつかの実施形態では、多角度表示装置は、制御操作信号に対応する制御操作対象が角度表示画像であると決定した後に、多角度表示装置は、角度表示画像が画像要素を含むか否かをさらに決定してもよい。多角度表示装置は、角度表示画像に画像要素が含まれている場合、制御操作信号に対応する制御操作対象が角度表示画像全体であるか、または角度表示画像内の画像要素であるかをさらに決定する必要がある。具体的には、制御操作信号がジェスチャ操作信号である場合には、制御操作信号の操作軌跡形状やジェスチャ形状を検出してもよい。制御操作信号の操作軌跡形状またはジェスチャ形状が「X」であることが検出された場合には、制御操作信号の操作対象が角度表示画像内の画像要素であると決定される。また、制御操作信号の操作軌跡形状を検出することによって、特定の画像要素を決定してもよい。例えば、操作対象が画像要素であると決定された後、操作軌跡形状を取得してもよい。操作軌跡形状が「1」や「2」のような数字である場合、その軌跡形状を対応する数字に解析して、制御操作対象に対応する画像要素の参照符号を示すことができる。操作軌跡形状が他の形状である場合、操作対象は角度表示画像であると決定してもよい。画像要素は、アプリケーションアイコン、アプリケーションウィジェット、および他の画像要素のうちの少なくとも1つを含むことができる。画像要素に対する制御操作が行われた後、画像要素に対応するアプリケーションプログラムを有効にしたり、画像要素の表示形式や表示位置を調整したりすることができる。あるいは、画像要素に対して制御操作が実行された後、別の角度表示画像が呼び出されるなどである。多角度表示装置は、制御操作信号に対応する制御操作対象が角度表示画像内の画像要素でない、または角度表示画像に画像要素が含まれていないと決定した場合、多角度表示装置は、制御操作信号に対応する制御操作対象が角度表示画像全体であると決定し、ステップS504が実行されてもよいか、または、制御操作信号に対応する操作対象が画像要素であると多角度表示装置が決定した場合には、ステップS505が実行されてもよい。
ステップS504:多角度表示装置が、制御操作信号に対応する制御操作対象は画像要素ではないと決定する場合、多角度表示装置は、第2制御情報を端末に送信し、第2制御情報は制御操作対象、すなわち制御操作信号に対応する角度表示画像と、制御操作信号に対応する制御操作命令とを含む。
実現可能ないくつかの実施形態では、多角度表示装置は、制御操作信号に対応する制御操作対象が角度表示画像全体であると決定した場合、第2制御情報は端末に送信されてもよい。制御操作信号に基づいて、角度表示画像が1つ以上の角度表示画像を含むと決定することができる。例えば、角度表示画像の数は、制御操作信号の操作軌跡、操作範囲等に基づいて決定してもよい。これに対応して、制御操作対象が決定された後、多角度表示装置は、制御操作信号に対応する制御操作命令をさらに決定し、第2制御情報を用いて制御操作命令を端末に送信することにより、端末は、第2制御情報を受信した後、対応する角度表示画像に対する制御操作を直接行ってもよい。制御操作命令は、汎用操作命令または端末と多角度表示装置とが共同して設定したプライベート形式の制御操作命令であっても構わない。
ステップS505:多角度表示装置が、制御操作信号に対応する制御操作対象は画像要素であると決定した後、多角度表示装置は、第3制御情報を端末に送信し、第3制御情報は制御操作対象、すなわち制御操作信号に対応する画像要素と、制御操作信号に対応する制御操作命令とを含む。
実現可能ないくつかの実施形態では、多角度表示装置が、制御操作信号に対応する制御操作対象は画像要素であると決定した後、多角度表示装置は、画像要素に対する制御操作信号に対応する制御操作命令をさらに解析してもよく、画像要素についての情報であり、解析によって得られた情報と画像要素に対する制御操作命令とを運ぶ第3制御情報を端末に送信することができる。したがって、端末は、受信した第3制御情報に基づいて、対応する画像要素に対して制御操作を直接行うことができる。
所望により、多角度表示装置によって検出された同じ制御操作信号に対応する制御操作対象が異なる場合、対応する制御操作命令は、同じであっても異なっていてもよい。これは、本発明の本実施形態においては限定されない。
上述のように、制御操作信号を検出した後、多角度表示装置は制御操作信号をさらに解析して、制御操作信号に対応する制御操作対象および制御操作命令を得ることができるため、異なる制御情報が形成され、端末に送信されることが分かる。端末は、異なる制御情報を受信した後、複数の角度の角度表示画像を調整するために、制御操作を行う制御操作対象と特定の制御操作命令を決定してもよい。多角度表示装置は、多角度画像を表示する機能の実施に加えて、制御操作信号を検出して解析できることにより、ユーザとの知的対話をさらに最適化し、ユーザ体験を向上させることができる。
前述の応用シナリオおよび前述の方法の実施形態を参照して、本発明の実施形態における装置の実施形態を詳細に説明する。
図7を参照すると、図7は、本発明の一実施形態による多角度表示装置のユニット構成を示す概略図である。多角度表示装置700は、第1決定ユニット701、表示ユニット702、および送信ユニット703を含むことができる。
第1決定ユニット701は、端末との接続を確立した後、端末の表示画面上の表示ピクチャが分割されたn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定し、nは正の整数であるように構成される。
表示ユニット702は、n個の表示領域にn個の角度表示画像をそれぞれ表示するように構成される。
送信ユニット703は、n個の表示領域に対応するn個の検出領域における制御操作信号を検出した後、制御操作信号を端末に送信するように構成される。
所望により、第1決定ユニット701は、
第2決定ユニットであって、端末の第1分割情報を受信し、第1分割情報が端末による分割により取得された角度表示画像の数nと、n個の角度表示画像にそれぞれ対応する表示角度とを含み、受信した第1分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を決定するように構成された、第2決定ユニット、または、
第3決定ユニットであって、端末によって送信された第2分割情報を受信し、第2分割情報が端末による分割によって取得された角度表示画像の数nを含み、受信した第2分割情報に基づいて、n個の角度表示画像に対応するn個の表示領域を決定するように構成された第3決定ユニット
を含む。
所望により、多角度表示装置700は、
第4決定ユニット704であって、n個の表示領域に対応するn個の検出領域における制御操作信号を検出した後、制御操作信号に対応する制御操作対象および制御操作命令を決定し、制御操作対象が表示ピクチャまたは角度表示画像であるように構成された、第4決定ユニットと、
送信ユニット703であって、
第4決定ユニット704が制御操作信号に対応する制御操作対象が表示ピクチャであると決定した後、第1制御情報を端末に送信し、第1制御情報が制御操作対象、すなわち制御操作信号に対応する表示ピクチャと、制御操作信号に対応する制御操作命令とを含む、または
第4決定ユニット704が制御操作信号に対応する制御操作対象は角度表示画像であると決定した後、第2制御情報を端末に送信し、第2制御情報が制御操作対象、すなわち制御操作信号に対応する角度表示画像、および制御操作信号に対応する制御操作命令を含む
ようにさらに構成された、送信ユニット703と
をさらに含む。
所望により、第4決定ユニット704が、制御操作信号に対応する制御操作対象が角度表示画像であると決定した後に、多角度表示装置700は、
第5決定ユニット705であって、角度表示画像が画像要素を含む場合、制御操作信号に対応する制御操作対象が、画像要素であるか否かを決定し、画像要素がアプリケーションアイコンおよびアプリケーションウィジェットのうち少なくとも1つを含むように構成された、第5決定ユニットと、
送信ユニット703であって、
第5決定ユニット705が、制御操作信号に対応する制御操作対象は画像要素であると決定した後、第3制御情報を端末に送信し、第3制御情報が制御操作対象、すなわち、制御操作信号に対応する画像要素、および制御操作信号に対応する制御操作命令を含む
ようにさらに構成された送信ユニット703と
をさらに含む。
所望により、制御操作信号は、ジェスチャ操作信号と音声操作信号のうちの少なくとも1つを含む。
本発明の本実施形態において、第1決定ユニット701は、図3に示す実施形態におけるステップS301およびステップS303の方法を行うように構成されており、表示ユニット702は、図3に示す実施形態におけるステップS304の方法を実行するように構成されており、送信ユニット703は、図3に示す実施形態におけるステップS305の方法を実行するように構成されている。
本発明の本実施形態において、第1決定ユニット701は、図4に示す実施形態におけるステップS401およびステップS404の方法をさらに実行するように構成されており、表示ユニット702は、図4に示す実施形態におけるステップS405の方法を実行するようにさらに構成されており、送信ユニット703は、図4に示す実施形態におけるステップS406の方法を実行するようにさらに構成されている。
本発明の本実施形態において、第4決定ユニット704は、図5に示す実施形態におけるステップS501の方法をさらに実行するように構成されており、第5決定ユニット705は、図5に示す実施形態におけるステップS503の方法を実行するように構成されており、送信ユニット703は、図5に示す実施形態におけるステップS502、ステップS504およびS505の方法を実行するようにさらに構成されている。
本発明の実施形態において、送信ユニット703は、多角度表示装置700に備えられた通信インタフェースを利用して、信号、メッセージ、情報などを端末に送信することができる。通信インタフェースは、有線インタフェースまたは無線インタフェースである。
図8を参照すると、図8は、本発明の一実施形態による端末のユニット構成の概略図である。端末800は、分割ユニット801および第1制御ユニット802を含むことができる。
分割ユニット801は、多角度表示装置への接続を確立した後、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割するように構成される。
第1制御ユニット802は、多角度表示装置から送信された制御操作信号を受信し、制御操作信号に基づいて表示ピクチャの制御操作を行うように構成されている。
所望により、分割ユニット801は、
第1決定ユニットであって、多角度表示装置によってサポートされるn個の表示領域に基づいて、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することを決定するように構成された、第1決定ユニット、または
第2決定ユニットであって、多角度表示装置によって現在有効にされているn個の表示領域に基づいて、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することを決定するように構成された、第2決定ユニット、または
第3決定ユニットであって、端末の表示画面上の表示ピクチャによって提示される画像のn個の表示角度に基づいて、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割することを決定するように構成された第3決定ユニット
を含む。
所望により、端末は、
有効化ユニット803であって、分割ユニットが多角度表示装置との接続を確立した後で、分割ユニットが端末の表示画面上の表示ピクチャをn個の角度表示画像に分割する前に、多角度画像表示モードを有効にするように構成された有効化ユニット803
をさらに含む。
所望により、第1制御ユニット802は、
第4決定ユニットであって、制御操作信号に基づいて、制御操作信号に対応する制御操作対象を決定し、制御操作対象が表示ピクチャ、n個の角度表示画像のうちの少なくとも1つ、または角度表示画像内の画像要素を含み、画像要素は、アプリケーションアイコンおよびアプリケーションウィジェットのうちの少なくとも1つを含むように構成された、第4決定ユニットと、
解析ユニットであって、制御操作信号に対応する制御操作命令を解析するように構成された、解析ユニットと、
第2制御ユニットであって、制御操作命令に基づいて、制御操作対象に対する制御操作を実行するように構成された、第2制御ユニットと
を含む。
本発明の本実施形態において、分割ユニット801は、図3に示す実施形態において、ステップS301およびステップS302の方法を実行するように構成され、第1制御ユニット802は、図3に示す実施形態におけるステップS306の方法を実行するように構成されている。
本発明の本実施形態において、分割ユニット801は、図4に示す実施形態におけるステップS401およびステップS403の方法を行うようにさらに構成されており、有効化ユニット803は、図4に示す実施形態におけるステップS402の方法を実行するように構成されており、第1制御ユニットは、図4に示す実施形態におけるステップS407の方法を実行するように構成されている。
上述の実施形態を参照して、図7に示す実施形態における多角度表示装置700または図8に示す実施形態における端末800を、ユニットの形態で提示する。本明細書での「ユニット」は、特定用途向け集積回路(application−specific integrated circuit、ASIC)、1つまたは複数のソフトウェアまたはファームウェアプログラムを実行するプロセッサまたはメモリ、集積論理回路、および/または前述の機能を提供してもよい別の機器であり得る。一実施形態では、当業者は、図7に示す多角度表示装置700が図9に示す形態を使用することができることを理解することができる。
図9に示すように、多角度表示装置700は、図9に示す構造で実現することができる。多角度表示装置900は、少なくとも1つのプロセッサ901、少なくとも1つのメモリ902および少なくとも1つの通信インタフェース903と含むことができる。また、多角度表示装置900は、アンテナ、カメラ、各種センサ、ならびに例えば超音波センサや赤外線センサなどの様々なセンサをさらに備えていてもよい。詳細は本明細書では説明しない。通信インタフェース903は、有線通信インタフェースまたは無線通信インタフェースを含む。有線通信インタフェースは、汎用有線インタフェースまたは多角度表示装置900および端末によって指定される特殊有線インタフェースであってもよい。
メモリ902は、プログラムコードを格納するように構成される。プロセッサ901は、メモリに記憶されたプログラムコードを呼び出して、以下のステップを実行することができる。
端末との接続を確立した後、プロセッサ901は、端末の表示画面上の表示ピクチャが分割されるn個の角度表示画像に基づいて、n個の角度表示画像に対応するn個の表示領域を決定し、nは正の整数であり、
プロセッサ901は、n個の表示領域にn個の角度表示画像をそれぞれ表示し、
プロセッサ901は、n個の表示領域に対応するn個の検出領域における制御操作信号を検出した後、多角度表示装置は、制御操作信号を端末に送信する。
プロセッサ901は、中央処理装置(CPU、Central Processing Unit)とも呼ばれる。記憶ユニット902は、読み出し専用メモリおよびランダムアクセスメモリを含んでもよく、プロセッサ901に対する命令やデータ等を提供する。記憶ユニット902の一部は、不揮発性ランダムアクセスメモリをさらに含むことができる。特定の用途では、例えば、多角度表示装置900の全ての部品は、バスシステムを使用して一緒に結合される。データバスに加えて、バスシステムは、電源バス、制御バス、ステータス信号バスなどを含んでもよい。しかしながら、明確な説明のために、図の種々のタイプのバスが様々なタイプのバスシステムとして示されている。上述した本発明の実施形態に開示された方法は、プロセッサ901に適用されてもよいし、プロセッサ901によって実現されてもよい。プロセッサ901は、集積回路チップであってもよく、信号処理能力を有する。実施プロセスにおいて、前述の方法のステップは、プロセッサ901内のハードウェアの集積論理回路またはソフトウェアの形態の命令によって完了されてもよい。プロセッサ901は、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイまたは他のプログラマブルロジック機器、ディスクリートゲートまたはトランジスタロジック機器、あるいはディスクリートのハードウェア部品であってもよい。プロセッサ901は、本発明の実施形態に開示された方法、ステップ、および論理ブロック図を実施または実行することができる。汎用プロセッサはマイクロプロセッサであってもよいし、プロセッサは任意の通常のプロセッサであってもよい。本発明の実施形態を参照して開示された方法のステップは、ハードウェア復号化プロセッサを使用して直接実行されてもよく、または復号化プロセッサ内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ、電気消去可能プログラマブルメモリ、またはレジスタなど、分野における成熟した記憶媒体内に配置されてもよい。記憶媒体は、記憶ユニット902に配置される。例えば、プロセッサ901は、記憶ユニット902内の情報を読み出し、プロセッサ901のハードウェアと組み合わせて上記の方法のステップを完了することができる。
一実施形態では、当業者は、図7に示す端末800が図10に示す形態を使用することができることを理解することができる。
図10に示すように、端末800は、図10に示す構造で実現することができる。端末1000は、少なくとも1つのプロセッサ1001、少なくとも1つのメモリ1002、および少なくとも1つの通信インタフェース1003を含むことができる。また、端末1000は、アンテナなどの汎用部品をさらに備えていてもよい。詳細は本明細書では説明しない。通信インタフェース1003は、有線通信インタフェースまたは無線通信インタフェースを含む。有線通信インタフェースは、汎用有線インタフェースまたは多角度表示装置および端末によって指定される特殊有線インタフェースであってもよい。メモリ1002は、プログラムコードを格納するように構成される。プロセッサ1001は、メモリに格納されたプログラムコードを呼び出して、以下のステップを実行することができる。
プロセッサ1001は、多角度表示装置への接続を確立した後、端末の表示画面上の表示ピクチャをn個の角度表示画像に分割し、
プロセッサ1001は、多角度表示装置によって送信された制御操作信号を受信し、制御操作信号に基づいて表示ピクチャに対する制御操作を行う。
プロセッサ1001は、中央処理装置(CPU、Central Processing Unit)とも呼ばれる。記憶ユニット1002は、読み出し専用メモリおよびランダムアクセスメモリを含んでもよく、プロセッサ1001に対する命令やデータ等を提供する。記憶ユニット1002の一部は、不揮発性ランダムアクセスメモリをさらに含むことができる。特定の用途では、例えば、端末1000の全ての部品は、バスシステムを使用して一緒に結合される。データバスに加えて、バスシステムは、電源バス、制御バス、ステータス信号バスなどを含んでもよい。しかしながら、明確な説明のために、図の種々のタイプのバスが様々なタイプのバスシステムとして示されている。上述した本発明の実施形態に開示された方法は、プロセッサ1001に適用されてもよいし、プロセッサ1001によって実現されてもよい。プロセッサ1001は、集積回路チップであってもよく、信号処理能力を有する。実施プロセスにおいて、前述の方法のステップは、プロセッサ1001内のハードウェアの集積論理回路またはソフトウェアの形態の命令によって完了されてもよい。プロセッサ1001は、汎用プロセッサ、デジタル信号プロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイまたは別のプログラマブルロジック機器、ディスクリートゲートまたはトランジスタロジック機器、またはディスクリートのハードウェア部品であってもよい。プロセッサ1001は、本発明の実施形態に開示された方法、ステップ、および論理ブロック図を実施または実行することができる。汎用プロセッサはマイクロプロセッサであってもよいし、プロセッサは任意の通常のプロセッサであってもよい。本発明の実施形態を参照して開示された方法のステップは、ハードウェア復号化プロセッサを使用して直接実行されてもよく、または復号化プロセッサ内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリ、電気消去可能プログラマブルメモリ、またはレジスタなど、分野における成熟した記憶媒体内に配置されてもよい。記憶媒体は、記憶ユニット1002に配置される。例えば、プロセッサ1001は、記憶ユニット1002内の情報を読み出し、プロセッサ1001のハードウェアと組み合わせて上記の方法のステップを完了させることができる。
本発明の一実施形態は、多角度表示装置によって使用されるコンピュータソフトウェア命令を格納するように構成されたコンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体は、前述の方法の実施形態を実行するように設計されたコンピュータプログラムを含む。
本発明の一実施形態は、前述の端末によって使用されるコンピュータソフトウェア命令を格納するように構成されたコンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体は、前述の方法の実施形態を実行するように設計されたコンピュータプログラムを含む。
本発明は、実施形態を参照して説明されているが、保護を主張する本発明を実施するプロセスにおいて、当業者は、添付の図面、開示された内容、および添付の特許請求の範囲を参照することによって、開示された実施形態の別の様々な変形を理解し、実施できる。特許請求の範囲において、「〜を含む」(comprising)は、別の部品または別のステップを排除するものではなく、「a」または「one」は、「複数」の場合を除外しない。単一のプロセッサまたは別のユニットは、特許請求の範囲に列挙されたいくつかの機能を実装することができる。相互に異なる従属請求項にいくつかの措置が列挙されているという事実は、これらの手段の組み合わせがより良い効果をもたらすことができないことを示すものではない。
当業者は、本発明の実施形態が方法、装置(機器)、またはコンピュータプログラム製品として提供され得ることを理解すべきである。したがって、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアの組み合わせを含む実施形態の形態を使用することができる。さらに、本発明は、コンピュータ使用可能なプログラムコードを含む1つまたは複数のコンピュータ使用可能な記憶媒体(ディスクメモリ、CD−ROM、光メモリなどを含むがこれに限定されない)上に実施されるコンピュータプログラム製品の形態を使用してもよい。コンピュータプログラムは、適切な媒体に格納され/配布され、他のハードウェアまたはハードウェアの一部として提供されるか、インターネットまたは他の有線または無線電気通信システムなどの別の形態で配布されてもよい。
本発明は、本発明の実施形態による方法、装置(機器)、およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明される。フローチャートおよび/またはブロック図における各プロセスおよび/または各ブロック、ならびにフローチャートおよび/またはブロック図におけるプロセスおよび/またはブロックの組み合わせを実装するためにコンピュータプログラム命令を使用できることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、または任意の他のプログラマブルデータ処理機器のプロセッサに提供されて、機械を生成することができ、その結果、コンピュータまたは任意の他のプログラマブルデータ処理機器のプロセッサによって実行される命令は、フローチャート内の1つ以上のプロセスおよび/またはブロック図の1つまたは複数のブロックにおいて特定の機能を実施するための装置を生成する。
これらのコンピュータプログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置に特定の方法で動作するよう命令できるコンピュータ可読メモリに格納することもでき、コンピュータ可読メモリに格納された命令は、命令装置を含む製品を生成する。命令装置は、フローチャートの1つ以上のプロセスおよび/またはブロック図の1つまたは複数のブロックにおいて特定の機能を実施する。
これらのコンピュータプログラム命令はまた、コンピュータまたは別のプログラマブルデータ処理装置にロードされて、一連の操作およびステップがコンピュータまたは別のプログラマブル機器上で実行され、それによりコンピュータ実施処理を生成することができる。したがって、コンピュータまたは別のプログラマブル機器上で実行される命令は、フローチャートの1つまたは複数のプロセスおよび/またはブロック図の1つまたは複数のブロックにおいて特定の機能を実施するステップを提供する。
本発明は、特定の特徴およびその実施形態を参照して説明されているが、明らかに、本発明の精神および範囲から逸脱することなく、様々な変更および組み合わせを行うことができる。これに対応して、本明細書および添付の図面は、特許請求の範囲によって規定される本発明の説明のための単なる例であり、本発明の範囲を網羅する変更、変形、組み合わせまたは等価物のいずれかまたは全てと見なされる。明らかに、当業者は、本発明の精神および範囲から逸脱することなく、本発明に対して様々な変更および変形を行うことができる。本発明は、添付の特許請求の範囲およびそれらの等価な技術によって規定される保護の範囲内に入るという条件で、これらの修正および変形をカバーすることが意図されている。
700 多角度表示装置
701 第1決定ユニット
702 表示ユニット
703 送信ユニット
704 第4決定ユニット
705 第5決定ユニット
800 端末
801 分割ユニット
802 第1制御ユニット
803 有効化ユニット
900 多角度表示装置
901 プロセッサ
902 記憶ユニット、メモリ
903 通信インタフェース
1000 端末
1001 プロセッサ
1002 記憶ユニット、メモリ
1003 通信インタフェース

Claims (25)

  1. 基部、支柱、および屋根を含む多角度表示装置であって、前記多角度表示装置がさらにプロセッサ、メモリ、通信インタフェースおよびバスシステムを備え、前記プロセッサ、前記メモリおよび前記通信インタフェースは、前記バスシステムを使用して接続され、互いに通信を完成し、
    前記メモリは実行可能なプログラムコードを格納し、前記通信インタフェースは有線通信または無線通信のために構成され、
    前記プロセッサは、前記メモリ内の前記実行可能なプログラムコードを呼び出して、以下の操作、
    前記多角度表示装置の屋根に設置されその表示画面が前記多角度表示装置の前記基部に面する端末との接続を確立した後、前記端末の表示画面上の表示ピクチャが分割されるn個の角度表示画像に基づいて、前記n個の角度表示画像に対応するn個の表示領域を決定するステップであって、nは前記端末から送信される、正の整数である、ステップと、
    前記n個の表示領域に前記n個の角度表示画像をそれぞれ表示するステップと、
    前記n個の表示領域に対応するn個の検出領域における制御操作信号を検出した後、前記制御操作信号を前記端末に送信するステップであって、前記制御操作信号は、前記制御操作信号の操作軌跡、または操作範囲に基づいて前記制御操作信号に対応する制御操作対象を決定し、前記制御操作対象に対して制御操作を実行するために前記端末によって使用され、前記制御操作対象が表示ピクチャまたは角度表示画像である、送信するステップ
    を実行するように構成される、多角度表示装置。
  2. 前記プロセッサが、前記端末の前記表示画面上の前記表示ピクチャが分割される前記n個の角度表示画像に基づいて、前記n個の角度表示画像に対応する前記n個の表示領域を決定する特定の方法は、
    前記端末の第1分割情報を受信するステップであって、前記第1分割情報が前記端末による分割により取得された前記角度表示画像の数nと、前記n個の角度表示画像にそれぞれ対応する表示角度とを含む、ステップと、前記受信した第1分割情報に基づいて、n個の表示画像に対応する前記n個の表示領域を決定するステップ、または、
    前記端末によって送信された第2分割情報を受信するステップであって、前記第2分割情報が前記端末による分割によって取得された前記角度表示画像の数nを含む、ステップと、前記受信した第2分割情報に基づいて、前記n個の角度表示画像に対応する前記n個の表示領域を決定するステップ
    である、請求項1に記載の多角度表示装置。
  3. 前記プロセッサが、前記n個の表示領域に対応する前記n個の検出領域における前記制御操作信号を検出した後、前記プロセッサは、前記メモリ内の前記実行可能なプログラムコードを呼び出して、以下の操作、
    前記制御操作信号に対応する制御操作対象および制御操作命令を決定するステップであって、前記制御操作対象が前記表示ピクチャまたは前記角度表示画像であり、前記制御操作対象が前記表示ピクチャであるか前記角度表示画像であるかは、前記制御操作信号の操作軌跡、または操作範囲に基づいて決定する、ステップと、
    前記プロセッサが前記制御操作信号を前記端末に送信する特定の方法であって、前記特定の方法が、
    前記制御操作信号に対応する前記制御操作対象が前記表示ピクチャであると決定した後、第1制御情報を前記端末に送信するステップであって、前記第1制御情報が前記制御操作対象、すなわち前記制御操作信号に対応する前記表示ピクチャと、前記制御操作信号に対応する前記制御操作命令とを含む、ステップ、または
    前記制御操作信号に対応する前記制御操作対象は前記角度表示画像であると決定した後、第2制御情報を前記端末に送信するステップであって、前記第2制御情報が前記制御操作対象、すなわち前記制御操作信号に対応する前記角度表示画像、および前記制御操作信号に対応する前記制御操作命令を含む、ステップ
    である、特定の方法と
    を実行するようにさらに構成される、請求項1または2に記載の多角度表示装置。
  4. 前記制御操作信号に対応する前記制御操作対象が前記角度表示画像であると前記プロセッサが決定した後、前記プロセッサは、前記メモリ内の前記実行可能なプログラムコードを呼び出して、以下の操作、
    前記角度表示画像が画像要素を含む場合、前記制御操作信号に対応する前記制御操作対象が、前記画像要素であるか否かを決定するステップであって、前記画像要素がアプリケーションアイコンおよびアプリケーションウィジェットのうち少なくとも1つを含む、ステップと、
    前記プロセッサが前記制御操作信号を前記端末に送信する特定の方法であって、前記特定の方法が、
    前記制御操作信号に対応する前記制御操作対象が、前記画像要素であると決定した後、第3制御情報を前記端末に送信するステップであって、前記第3制御情報が前記制御操作対象、すなわち、前記制御操作信号に対応する前記画像要素、および前記制御操作信号に対応する前記制御操作命令を含む、ステップである、特定の方法と
    を実行するようにさらに構成される、請求項3に記載の多角度表示装置。
  5. 前記制御操作信号が、ジェスチャ操作信号および音声操作信号のうちの少なくとも1つを含む、請求項1から4のいずれか一項に記載の多角度表示装置。
  6. プロセッサ、メモリ、通信インタフェースおよびバスシステムを備え、前記プロセッサ、前記メモリおよび前記通信インタフェースは、前記バスシステムを用いて接続され、互いに通信を完成する端末であって、前記端末は基部、支柱、および屋根を含む多角度表示装置の屋根に設置されその表示画面が前記多角度表示装置の前記基部に面し、
    前記メモリは実行可能なプログラムコードを格納し、前記通信インタフェースは有線通信または無線通信のために構成され、
    前記プロセッサは、前記メモリ内の前記実行可能なプログラムコードを呼び出して、以下の操作、
    前記多角度表示装置への接続を確立した後、前記端末の表示画面上の表示ピクチャを前記多角度表示装置のn個の表示領域に対応するn個の角度表示画像に分割するステップであって、前記n個の表示領域は前記n個の角度表示画像を表示するために使用され、nは正の整数である、ステップと、
    前記多角度表示装置によって送信された制御操作信号を受信するステップと、
    前記制御操作信号に基づいて前記表示ピクチャに対して制御操作を実行するステップであって、前記制御操作信号の操作軌跡、または操作範囲に基づいて、前記制御操作信号に対応する制御操作対象を決定するステップ含む、ステップ
    を実行するように構成される、端末。
  7. 前記プロセッサが、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割する特定の方法は、
    前記多角度表示装置によってサポートされるn個の表示領域に基づいて、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するステップ、または
    前記多角度表示装置によって現在有効にされているn個の表示領域に基づいて、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するステップ、または
    前記端末の前記表示画面上の前記表示ピクチャによって提示される画像のn個の表示角度に基づいて、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するステップ
    である、請求項6に記載の端末。
  8. 前記プロセッサが前記多角度表示装置との前記接続を確立した後で、前記プロセッサが前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割する前に、前記プロセッサは、前記メモリ内の前記実行可能なプログラムコードを呼び出して、以下の操作、
    多角度画像表示モードを有効にするステップ
    を実行するようにさらに構成される、請求項6または7に記載の端末。
  9. 前記プロセッサが前記制御操作信号に基づいて前記表示ピクチャに対する前記制御操作を実行する特定の方法は、
    前記制御操作信号の操作軌跡、または操作範囲に基づいて、前記制御操作信号に対応する制御操作対象を決定するステップであって、前記制御操作対象が前記表示ピクチャ、前記n個の角度表示画像のうちの少なくとも1つ、または前記角度表示画像内の画像要素を含み、前記画像要素は、アプリケーションアイコンおよびアプリケーションウィジェットのうちの少なくとも1つを含む、ステップと、
    前記制御操作信号に対応する制御操作命令を解析するステップと、
    前記制御操作命令に基づいて、前記制御操作対象に対する制御操作を実行するステップと
    である、請求項6から8のいずれか一項に記載の端末。
  10. 基部、支柱、および屋根を含む多角度表示装置であって、
    第1決定ユニットであって、前記多角度表示装置の屋根に設置されその表示画面が前記多角度表示装置の前記基部に面する端末との接続を確立した後、前記端末の表示画面上の表示ピクチャが分割されるn個の角度表示画像に基づいて、前記n個の角度表示画像に対応するn個の表示領域を決定し、前記表示ピクチャは前記端末によってn個の角度表示画像に分割され、nは前記端末から送信される、正の整数であるように構成された、第1決定ユニットと、
    表示ユニットであって、前記n個の表示領域に前記n個の角度表示画像をそれぞれ表示するように構成された、表示ユニットと、
    送信ユニットであって、前記n個の表示領域に対応するn個の検出領域における制御操作信号を検出した後、前記制御操作信号を前記端末に送信するように構成された、送信ユニットであって、前記制御操作信号は、前記制御操作信号の操作軌跡、または操作範囲に基づいて前記制御操作信号に対応する制御操作対象を決定し、前記制御操作対象に対して制御操作を実行するために前記端末によって使用され、前記制御操作対象が表示ピクチャまたは角度表示画像である、送信ユニット
    を備えた多角度表示装置。
  11. 前記第1決定ユニットが、
    第2決定ユニットであって、前記端末の第1分割情報を受信し、前記第1分割情報が前記端末による分割により取得された前記角度表示画像の数nと、前記n個の角度表示画像にそれぞれ対応する表示角度とを含み、前記受信した第1分割情報に基づいて、前記n個の角度表示画像に対応する前記n個の表示領域を決定するように構成された、第2決定ユニット、または、
    第3決定ユニットであって、前記端末によって送信された第2分割情報を受信し、前記第2分割情報が前記端末による分割によって取得された前記角度表示画像の数nを含み、前記受信した第2分割情報に基づいて、前記n個の角度表示画像に対応する前記n個の表示領域を決定するように構成された、第3決定ユニット
    を含む、請求項10に記載の多角度表示装置。
  12. 前記多角度表示装置が、
    第4決定ユニットであって、前記n個の表示領域に対応する前記n個の検出領域における前記制御操作信号を検出した後、前記制御操作信号に対応する制御操作対象および制御操作命令を決定し、前記制御操作対象が前記表示ピクチャまたは前記角度表示画像であり、前記制御操作対象が前記表示ピクチャであるか前記角度表示画像であるかは、前記制御操作信号の操作軌跡、または操作範囲に基づいて決定するように構成された、第4決定ユニット
    をさらに含み、
    前記送信ユニットが、前記第4決定ユニットが前記制御操作信号に対応する前記制御操作対象が前記表示ピクチャであると決定した後、第1制御情報を前記端末に送信し、前記第1制御情報が前記制御操作対象、すなわち前記制御操作信号に対応する前記表示ピクチャと、前記制御操作信号に対応する前記制御操作命令とを含む、
    または
    前記第4決定ユニットが前記制御操作信号に対応する前記制御操作対象は前記角度表示画像であると決定した後、第2制御情報を前記端末に送信し、前記第2制御情報が前記制御操作対象、すなわち前記制御操作信号に対応する前記角度表示画像、および前記制御操作信号に対応する前記制御操作命令を含む
    ようにさらに構成された、請求項10または11に記載の多角度表示装置。
  13. 前記第4決定ユニットが、前記制御操作信号に対応する前記制御操作対象が前記角度表示画像であると決定した後に、前記多角度表示装置は、
    第5決定ユニットであって、前記角度表示画像が画像要素を含む場合、前記制御操作信号に対応する前記制御操作対象が、前記画像要素であるか否かを決定し、前記画像要素がアプリケーションアイコンおよびアプリケーションウィジェットのうち少なくとも1つを含むように構成された、第5決定ユニット
    をさらに含み、
    前記送信ユニットが、
    前記第5決定ユニットが、前記制御操作信号に対応する前記制御操作対象は前記画像要素であると決定した後、第3制御情報を前記端末に送信し、前記第3制御情報が前記制御操作対象、すなわち、前記制御操作信号に対応する前記画像要素、および前記制御操作信号に対応する前記制御操作命令を含む
    ようにさらに構成された、請求項12に記載の多角度表示装置。
  14. 前記制御操作信号が、ジェスチャ操作信号および音声操作信号のうちの少なくとも1つを含む、請求項10から13のいずれか一項に記載の多角度表示装置。
  15. 基部、支柱、および屋根を含む多角度表示装置の屋根に設置されその表示画面が前記多角度表示装置の前記基部に面する端末であって、
    分割ユニットであって、前記多角度表示装置への接続を確立した後、前記端末の表示画面上の表示ピクチャを前記多角度表示装置のn個の表示領域に対応するn個の角度表示画像に分割するように構成され、ここで前記n個の表示領域は前記n個の角度表示画像を表示するために使用され、nは正の整数である、分割ユニットと、
    第1制御ユニットであって、前記多角度表示装置によって送信された制御操作信号を受信し、前記制御操作信号の操作軌跡、または操作範囲に基づいて前記制御操作信号に対応する制御操作対象を決定し、前記制御操作信号に基づいて前記表示ピクチャに対する制御操作を行うように構成された、第1制御ユニットと
    を備える、端末。
  16. 前記分割ユニットが、
    第1決定ユニットであって、前記多角度表示装置によってサポートされるn個の表示領域に基づいて、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するように構成された、第1決定ユニット、または
    第2決定ユニットであって、前記多角度表示装置によって現在有効にされているn個の表示領域に基づいて、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するように構成された、第2決定ユニット、または
    第3決定ユニットであって、前記端末の前記表示画面上の前記表示ピクチャによって提示される画像のn個の表示角度に基づいて、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するように構成された、第3決定ユニット
    を含む、請求項15に記載の端末。
  17. 前記端末が、
    有効化ユニットであって、前記分割ユニットが前記多角度表示装置との前記接続を確立した後で、前記分割ユニットが前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割する前に、多角度画像表示モードを有効にするように構成された、有効化ユニット
    をさらに含む、請求項15または16に記載の端末。
  18. 前記第1制御ユニットが、
    第4決定ユニットであって、前記制御操作信号の操作軌跡、または操作範囲に基づいて、前記制御操作信号に対応する制御操作対象を決定し、前記制御操作対象が前記表示ピクチャ、前記n個の角度表示画像のうちの少なくとも1つ、または前記角度表示画像内の画像要素を含み、前記画像要素
    は、アプリケーションアイコンおよびアプリケーションウィジェットのうちの少なくとも1つを含むように構成された、第4決定ユニットと、
    解析ユニットであって、前記制御操作信号に対応する制御操作命令を解析するように構成された、解析ユニットと、
    第2制御ユニットであって、前記制御操作命令に基づいて、前記制御操作対象に対する制御操作を実行するように構成された、第2制御ユニットと
    を含む、請求項15から17のいずれか一項に記載の端末。
  19. 基部、支柱、および屋根を含む多角度表示装置および前記多角度表示装置の屋根に設置されその表示画面が前記基部に面する端末を含むシステムに適用される多角度画像制御方法であって、
    前記多角度表示装置と前記端末との接続を確立し、前記端末が、前記端末の前記表示画面上の表示ピクチャをn個の角度表示画像に分割するステップと、
    多角度表示装置によって、n個の角度表示画像に基づいて、前記n個の角度表示画像に対応するn個の表示領域を決定するステップであって、nは前記端末から送信される、正の整数である、ステップと、
    前記多角度表示装置によって、前記n個の表示領域に前記n個の角度表示画像をそれぞれ表示するステップと
    記多角度表示装置によって、制御操作信号を前記端末に送信するステップと
    前記端末によって、前記制御操作信号を受信するステップと、前記制御操作信号の操作軌跡、または操作範囲に基づいて前記制御操作信号に対応する制御操作対象を決定するステップであって、前記制御操作対象は表示ピクチャまたは角度表示画像である、ステップと、
    前記端末によって、前記制御操作信号に基づいて、前記制御操作対象に対して制御操作を実行するステップと、
    を含む、方法。
  20. 多角度表示装置によって、前記端末の表示画面上の表示ピクチャが分割されるn個の角度表示画像に基づいて、前記n個の角度表示画像に対応するn個の表示領域を決定する前記ステップは、
    前記多角度表示装置によって、前記端末の第1分割情報を受信するステップであって、前記第1分割情報が前記端末による分割により取得された前記角度表示画像の数nと、前記n個の角度表示画像にそれぞれ対応する表示角度とを含む、ステップと、前記受信した第1分割情報に基づいて、前記n個の角度表示画像に対応する前記n個の表示領域を前記多角度表示装置により決定するステップ、または、
    前記多角度表示装置によって、前記端末によって送信された第2分割情報を受信するステップであって、前記第2分割情報が前記端末による分割によって取得された前記角度表示画像の数nを含む、ステップと、前記受信した第2分割情報に基づいて、前記多角度表示装置によって、前記n個の角度表示画像に対応する前記n個の表示領域を決定するステップ
    を含む、請求項19に記載の方法。
  21. 記方法は
    記多角度表示装置が、前記制御操作信号に対応する前記制御操作対象が前記表示ピクチャであると決定した後に、前記多角度表示装置によって、第1制御情報を前記端末に送信するステップであって、前記第1制御情報が前記制御操作対象、すなわち前記制御操作信号に対応する前記表示ピクチャと、前記制御操作信号に対応する制御操作命令とを含む、ステップ、または、
    前記多角度表示装置が、前記制御操作信号に対応する前記制御操作対象は前記角度表示画像であると決定した後、前記多角度表示装置によって、第2制御情報を前記端末に送信するステップであって、前記第2制御情報が前記制御操作対象、すなわち前記制御操作信号に対応する前記角度表示画像、および前記制御操作信号に対応する前記制御操作命令を
    含む、ステッ
    を含む、
    請求項19または20に記載の方法。
  22. 前記多角度表示装置が、前記制御操作信号に対応する前記制御操作対象が前記角度表示画像であると決定した後に、前記方法は、
    前記角度表示画像が画像要素を含む場合、前記多角度表示装置によって、前記制御操作信号に対応する前記制御操作対象が、前記画像要素であるか否かを決定するステップであって、前記画像要素がアプリケーションアイコンおよびアプリケーションウィジェットのうち少なくとも1つを含む、ステップ
    をさらに含み、
    前記多角度表示装置によって、前記制御操作信号を前記端末に送信する前記ステップは、
    前記多角度表示装置が、前記制御操作信号に対応する前記制御操作対象が、前記画像要素であると決定した後、前記多角度表示装置によって、第3制御情報を前記端末に送信するステップであって、前記第3制御情報が前記制御操作対象、すなわち、前記制御操作信号に対応する前記画像要素、および前記制御操作信号に対応する前記制御操作命令を含む、ステップ
    を含む、
    請求項21に記載の方法。
  23. 前記制御操作信号が、ジェスチャ操作信号および音声操作信号のうちの少なくとも1つを含む、請求項19から22のいずれか一項に記載の方法。
  24. 前記端末によって、前記端末の表示画面上の表示ピクチャをn個の角度表示画像に分割する前記ステップは、
    前記多角度表示装置によってサポートされるn個の表示領域に基づいて前記端末によって、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するステップ、または
    前記多角度表示装置によって現在有効にされているn個の表示領域に基づいて前記端末によって、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するステップ、または
    前記端末の前記表示画面上の前記表示ピクチャによって提示される画像のn個の表示角度に基づいて前記端末によって、前記端末の前記表示画面上の前記表示ピクチャを前記n個の角度表示画像に分割することを決定するステップ
    を含む、請求項19に記載の方法。
  25. 前記端末が前記多角度表示装置への前記接続を確立した後で、かつ前記端末によって、前記端末の表示画面上の表示ピクチャをn個の角度表示画像に分割する前記ステップの前に、前記方法は、
    前記端末によって、多角度画像表示モードを有効にするステップ
    をさらに含む、請求項19または24に記載の方法。
JP2018565327A 2016-07-30 2016-07-30 多角度画像制御方法および関連装置 Active JP6770100B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/092502 WO2018023216A1 (zh) 2016-07-30 2016-07-30 一种多视角图像的控制方法及相关装置

Publications (2)

Publication Number Publication Date
JP2019527847A JP2019527847A (ja) 2019-10-03
JP6770100B2 true JP6770100B2 (ja) 2020-10-14

Family

ID=61072269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565327A Active JP6770100B2 (ja) 2016-07-30 2016-07-30 多角度画像制御方法および関連装置

Country Status (3)

Country Link
JP (1) JP6770100B2 (ja)
CN (1) CN109196860B (ja)
WO (1) WO2018023216A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741069B (zh) * 2020-05-27 2022-12-27 华为技术有限公司 视角可控的模组、控制视角的方法及电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570207A (en) * 1994-06-28 1996-10-29 Chang; Mao-Chi Holographic image identification system
CN103297501A (zh) * 2013-05-07 2013-09-11 杭州玄鸟数字技术有限公司 全息投影实时交互系统
TWI530157B (zh) * 2013-06-18 2016-04-11 財團法人資訊工業策進會 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
CN104391424B (zh) * 2014-10-30 2017-12-15 深圳市亿思达科技集团有限公司 一种全息立体投影装置及方法
CN204517988U (zh) * 2015-03-03 2015-07-29 耿泰河 磁悬浮3d全息投影显示装置
CN104883550B (zh) * 2015-05-04 2017-11-28 联想(北京)有限公司 一种信息处理方法及电子设备
CN105611220A (zh) * 2015-12-21 2016-05-25 滨州学院 一种基于全息投影技术的通讯系统

Also Published As

Publication number Publication date
CN109196860A (zh) 2019-01-11
JP2019527847A (ja) 2019-10-03
CN109196860B (zh) 2020-09-18
WO2018023216A1 (zh) 2018-02-08

Similar Documents

Publication Publication Date Title
JP7385052B2 (ja) 撮影方法、装置、電子機器および記憶媒体
US10349171B2 (en) Electronic device, peripheral devices and control method therefor
US10389938B2 (en) Device and method for panoramic image processing
US20170171592A1 (en) Method and electronic apparatus for adjusting viewing angle of Smart Television playing panorama videos
US20190333479A1 (en) System, apparatus, and method for optimizing viewing experience on an intelligent terminal
WO2017133572A1 (zh) 一种基于触控操作移动目标对象的方法与设备
KR20210042621A (ko) 전자 장치 및 이를 이용한 카메라 배율 조정 방법
CN103038743A (zh) 用于在移动设备的可缩放图形用户界面之间动态地进行切换的方法和装置
TWI555390B (zh) 控制電子設備的方法與電子裝置
EP2965299A1 (en) Modifying functionality based on distances between devices
US11205286B2 (en) Techniques for optimizing creation of digital diagrams
KR20200136753A (ko) 외부 전자 장치를 통해 화면 공유 서비스를 제공하기 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN111553196A (zh) 检测隐藏摄像头的方法、系统、装置、以及存储介质
US20150326705A1 (en) Mobile Device Data Transfer Using Location Information
US11157085B2 (en) Method and apparatus for switching display mode, mobile terminal and storage medium
US10779148B2 (en) Data transmission method and first electronic device
JP6770100B2 (ja) 多角度画像制御方法および関連装置
US9386435B2 (en) Information transmission method, device and server
KR20150115454A (ko) 서비스 화면을 표시하기 위한 전자 장치 및 방법
WO2019104533A1 (zh) 一种视频播放方法及装置
WO2020042025A1 (zh) 视频的处理方法、装置、显示系统及存储介质
US20160323542A1 (en) User terminal device and method for providing interaction service therefor
US11153536B2 (en) Imaging system with multiple angles of view
US9798355B2 (en) Projection method and electronic device
CN112269518B (zh) 触控方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200728

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200924

R150 Certificate of patent or registration of utility model

Ref document number: 6770100

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250