JPWO2016181436A1 - 画像出力制御方法、画像出力制御プログラム及び表示装置 - Google Patents

画像出力制御方法、画像出力制御プログラム及び表示装置 Download PDF

Info

Publication number
JPWO2016181436A1
JPWO2016181436A1 JP2017517461A JP2017517461A JPWO2016181436A1 JP WO2016181436 A1 JPWO2016181436 A1 JP WO2016181436A1 JP 2017517461 A JP2017517461 A JP 2017517461A JP 2017517461 A JP2017517461 A JP 2017517461A JP WO2016181436 A1 JPWO2016181436 A1 JP WO2016181436A1
Authority
JP
Japan
Prior art keywords
screen
display
display device
application
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017517461A
Other languages
English (en)
Other versions
JP6504248B2 (ja
Inventor
忍武 時田
忍武 時田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2016181436A1 publication Critical patent/JPWO2016181436A1/ja
Application granted granted Critical
Publication of JP6504248B2 publication Critical patent/JP6504248B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/04Display device controller operating with a plurality of display units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

画面の機能に差がある複数の表示装置の画面を使用して画像を出力する処理をコンピュータが実行する画像出力制御方法であって、前記画面の機能の差により前記複数の表示装置のうちの一方の表示装置にて画面の機能を実現できない場合、該複数の表示装置のうちの他方の表示装置にて画面の機能を実現し、前記他方の表示装置にて画面の機能を実現した後、画像の出力先の表示装置を前記一方の表示装置に切り替える、画像出力制御方法が提供される。

Description

本発明は、画像出力制御方法、画像出力制御プログラム及び表示装置に関する。
6〜8インチ程度の小型画面が搭載されたタブレット型の端末に、大型画面の外部ディスプレイやプロジェクタを接続し、小型画面と大型画面とを使用することが行われている。例えば、携帯端末及び外部表示装置の画面に同一データを表示させるミラー表示モードと、異なるデータを表示させる拡張表示モードとが切替可能であって所定のアプリケーションの起動に基づき拡張表示モードを選択する技術が知られている(例えば、特許文献1参照)。
特開2011−217236号公報 特開2014−53014号公報
しかしながら、小型画面を有する端末向けに作成されたアプリケーションを、大型画面を有する外部ディスプレイやプロジェクタで表示すると、アプリケーションが想定していない大きなサイズで画像が表示されたり、レイアウトが崩れて表示されたりする。
例えば、タブレット型の端末用のアプリケーションは、タブレット端末に搭載された小型画面に対して最適なデザインで作成されている。そのようなアプリケーションを外部ディスプレイに表示する場合、小型画面用にデザインされたアプリケーションが大画面に表示されることになる。このため、外部ディスプレイには、文字やボタンのサイズが想定以上に大きく表示されたり、解像度によってはレイアウトが崩れたり、あるいは、画面の描画領域に納まらなかったりすることがある。
そこで、一側面では、本発明は、画面の機能に差がある複数の表示装置に画像を出力する際の不具合を解消することを目的とする。
一つの案では、画面の機能に差がある複数の表示装置の画面を使用して画像を出力する処理をコンピュータが実行する画像出力制御方法であって、前記画面の機能の差により前記複数の表示装置のうちの一方の表示装置にて画面の機能を実現できない場合、該複数の表示装置のうちの他方の表示装置にて画面の機能を実現し、前記他方の表示装置にて画面の機能を実現した後、画像の出力先の表示装置を前記一方の表示装置に切り替える、画像出力制御方法が提供される。
一側面によれば、画面の機能に差がある複数の表示装置に画像を出力する際の不具合を解消することができる。
一実施形態にかかる表示装置の全体構成の一例を示す図。 一実施形態にかかる表示パターンの一例を示す表。 大画面のレイアウトが崩れる場合を説明するための図。 一実施形態にかかるタブレット端末の機能構成の一例を示す図。 一実施形態にかかる表示パターン毎のアプリケーション起動時の動作例を示す図。 一実施形態にかかる描画領域の一例を示す図。 一実施形態にかかるタブレット端末のハードウェア構成の一例を示す図。 一実施形態にかかるタブレット端末のソフトウェア構成の一例を示す図。 一実施形態にかかるアプリケーション起動処理の一例を示すフローチャート。 一実施形態にかかるアプリケーション起動処理の結果の画面例を示す図。 一実施形態にかかるアプリケーション起動処理の結果の画面例を示す図。 一実施形態にかかるアプリケーション終了処理の一例を示すフローチャート。 一実施形態にかかるランチャー表示画面と表示属性情報テーブルの一例を示す図。 一実施形態の変形例にかかるアプリケーション起動処理の一例を示すフローチャート。
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[全体構成]
まず、本発明の一実施形態にかかる表示装置の全体構成の一例について、図1を参照しながら説明する。本実施形態にかかる表示装置は、タブレット端末10及び外部ディスプレイ20を有する。タブレット端末10及び外部ディスプレイ20は接続されている。本実施形態では、タブレット端末10及び外部ディスプレイ20の2つの画面が一体的に管理される。タブレット端末10及び外部ディスプレイ20は、表示装置の一例である。
タブレット端末10に搭載された画面は6〜8インチ程度であり、外部ディスプレイ20の画面よりも小さい。そこで、近年、図1に示すように小型画面のタブレット端末10に大画面の外部ディスプレイ20やプロジェクタを接続し、複数の表示装置を用いてPCの代替機のように機能させることが行われている。
タブレット端末10及び外部ディスプレイ20は、画面の機能に差がある複数の表示装置の一例である。タブレット端末10の画面(以下、「本体画面」ともいう。)及び外部ディスプレイ20の画面(以下、「外部画面」ともいう。)は、複数の表示装置の画面の一例である。複数の表示装置の画面の機能の差には、画面の解像度の差及び画面のタッチ機能の有無の少なくともいずれかが含まれる。
本実施形態では、本体としてタブレット端末10があり、このタブレット端末10のOS(Operating System)上でアプリケーションが動作する際に、後述される本実施形態にかかる画面出力制御処理が実行される。
外部ディスプレイ20は、タブレット端末10の本体画面よりも大型の画面を有する表示装置であれば、テレビでもよいし、プロジェクタでもよいし、サイネージでもよいし、その他の表示装置でもよい。外部ディスプレイ20と接続するためのケーブルはHDMI(登録商標)(High-Definition Multimedia Interface)ケーブル又はDisplayPortケーブルを使用することができる。DVI(Digital Visual Interface)ケーブル又はアナログRGBケーブルを使用してもよい。タブレット端末10と外部ディスプレイ20とは、無線接続(Wireless Display)されていてもよい。
本実施形態では、図1に示した表示装置の構成において、タブレット端末10の本体に内蔵した本体画面及び外部ディスプレイ20の外部画面間において必要に応じて画像の出力先の切り替えが行われる。図2には、タブレット端末10の本体画面及び外部ディスプレイ20の外部画面において画像の出力先の組み合わせとして考えられるパターン(以下、「表示パターン」ともいう。)を示す。OSの仕様によるが、たとえばWindows(登録商標)であれば、図2の表示パターンのいずれかを選択して画面出力を行うことができる。各表示パターン1〜5を以下に説明する。
・表示パターン1
表示パターン1では、本体画面のみに画面表示が行われれる。この場合、本体画面にOSが管理する画面が表示され、外部ディスプレイ20がタブレット端末10に接続されていても外部画面は非稼働状態で何も表示されない状態である。
・表示パターン2
表示パターン2では、タブレット端末10の本体画面がメインディスプレイ、外部ディスプレイ20の外部画面がセカンドディスプレイになり、2画面に拡張表示される。この場合、OSが、本体画面と外部画面の表示領域を連続した描画領域として管理している状態であり、本体画面及び外部画面には異なる内容が表示される。特にこの状態では、本体画面に座標原点が設定され、本体画面の左上が座標原点(0,0)になる(図6参照)。この場合、例えばデスクトップのアイコンやタスクトレイなどは本体画面に表示される。このように本体画面に座標原点が設定される拡張表示を以下、拡張表示(1)と表記する。
・表示パターン3
表示パターン3は、外部画面がメインディスプレイ、本体画面がセカンドディスプレイになり、2画面に拡張表示される。この場合、OSが、本体画面と外部画面の表示領域を連続した描画領域として管理している状態であり、本体画面と外部画面には異なる内容が表示される。特にこの状態では、外部画面に座標原点が設定され、外部画面の左上が座標原点(0,0)になる。この場合、例えばデスクトップのアイコンやタスクトレイなどは外部画面に表示される。このように外部画面に座標原点が設定される拡張表示を以下、拡張表示(2)と表記する。
・表示パターン4
表示パターン4は、本体画面及び外部画面の2画面に複製表示される。この場合、本体画面及び外部画面を同じ解像度の描画領域と見なして、両方の画面に同じ内容を表示する。
・表示パターン5
表示パターン5は、外部画面のみに画面表示が行われれる。この場合、外部画面にOSが管理する画面が表示され、外部ディスプレイ20がタブレット端末10に接続されていても本体画面は非稼働状態で何も表示されない状態である。
[レイアウトが崩れる場合]
タブレット端末10用のアプリケーションには、タブレット端末10に搭載された小型の本体画面に表示する際に最適なデザインの画像を作成し、本体画面上で見易く表示する機能があるものがある。また、本体画面上のタッチパネルで操作しやすいユーザーインターフェースで作られているものがある。
そのようなアプリケーションを外部画面に表示した場合、小型画面用にデザインされたアプリケーションが大画面に表示されるため、文字やボタンのサイズが想定以上に大きく表示される場合がある。また、解像度によってはレイアウトが崩れたり、画像が画面の描画領域からはみ出してしまうといった表示状況となる場合がある。
また、タブレット端末10用のアプリケーションが、タッチパネルやデジタイザで操作する際にタッチし易いように作られていても、タッチパネルを搭載しない外部ディスプレイ20ではタッチによる入力操作ができず、ユーザの操作性を損なう結果となる。例えば、本体画面の解像度と外部画面の解像度の異同によって発生し得る表示状況を、図3を参照しながら説明する。
(本体画面の解像度=外部画面の解像度)
本体画面の解像度と外部画面の解像度とが同じ場合、表示パターン5(外部ディスプレイ20のみに表示)に設定すると、図3(a)に示すように、本体画面に表示された画像は、レイアウトが崩れることなくそのまま外部画面に表示される。本体画面には画像は表示されない状態となる。
しかし、タブレット端末10用にデザインされたアプリケーションが、6インチ程度の小サイズの画面にてタッチ操作がし易いように画面を作成している場合、外部画面では必要以上に画像が大きく表示されることがある。例えば、図3(b)に示すように、本体画面の全画面に最大化して表示され、その中に4つほどのボタン(ユーザーインターフェース)が配置されている場合、外部ディスプレイ20の外部画面に4つのボタンだけが表示されるような画面になる。また、プロジェクタでプレゼンテーションをしている間にアプリケーションが起動した場合、スクリーン一面にそのような表示が描画されることになる。また、外部ディスプレイ20にタッチパネルの機能が搭載されていなければ、外部画面に表示されたボタン等は直接タッチ操作できないため、マウス等を使って操作する必要があり、ユーザの操作性及び利便性に欠ける。
(本体画面の解像度>外部画面の解像度)
本体画面の解像度が外部画面の解像度よりも高い場合、同様に表示パターン5(外部ディスプレイ20のみに表示)に設定すると、解像度が高い本体画面に表示された画像が解像度が低い外部画面に表示される。このため、アプリケーションがOSにより実行されたときに本体画面に表示されるレイアウトをそのまま外部画面にて再現することは困難である。
実際にどのように表示されるかはOSの仕組みやアプリケーションによる。例えば、アプリケーションを構成するボタンなどの部品が本体画面に納まるように画面上の部品(各画像)のサイズを自動調整するようになっている場合、UI部品が外部画面に納まったとしてもレイアウトが正しく表現できないことがある。また、そのような自動調整が行われない場合、図3(c)に示すように、外部画面の描画領域をはみ出してしまうことがある。また、外部ディスプレイ20にタッチパネルの機能が搭載されていなければ、外部画面に表示されたボタン等を直接タッチ操作できない。また、外部ディスプレイ20にタッチパネルの機能が搭載されていたとしても、はみ出した部分のボタンをタッチすることができない。
(本体画面の解像度<外部画面の解像度)
本体画面の解像度が外部画面の解像度よりも低い場合、同様に表示パターン5(外部ディスプレイ20のみに表示)に設定すると、解像度が低い本体画像に表示された画像を、解像度が高い外部画面に表示することになる。このため、図3(d)に示すように、外部画面の描画領域には十分納まるが、極端に小さい画像が表示される可能性がある。この場合においても外部ディスプレイ20にタッチパネルの機能が搭載されていなければ、外部画面に表示されたボタン等を直接タッチ操作できない。また、外部ディスプレイ20にタッチパネルの機能が搭載されていたとしても、極端に小さい画像が表示されている場合にはタッチし難く、誤操作したり、実質的にタッチが困難な表示状態となる。
そこで、本実施形態では、上述のようにタブレット端末10の本体画面と外部ディスプレイ20の外部画面のサイズや解像度が異なるため、外部ディスプレイにタブレット端末10用のアプリケーションが表示されたときにレイアウトが崩れる等の不具合を解消する。また、タッチパネルを搭載していない外部ディスプレイ20に表示されてしまうことでタッチ操作ができないという課題を解決する。
[機能構成]
本実施形態にかかる画像出力制御方法を実行するアプリケーションは、例えば、図4に示すようにタブレット端末10のOS2上で起動される。本実施形態で実行されるアプリケーション1は、起動処理部11とメイン処理部12とを有する。起動処理部11は、アプリケーション1の起動時に画像出力制御を実行する。メイン処理部12は、アプリケーション1で必要な処理を行う。
起動処理部11は、画面表示状態判定部13と描画領域指定部14と画面切替処理部15とを有する。画面表示状態判定部13は、アプリケーション1の起動時に画面の表示状態をチェックする。描画領域指定部14は、アプリケーション1の実行により作成した画像を表示する画面上の領域を指定する。画面切替処理部15は、必要に応じて画面の出力先(表示先)の切替をOSSに要求する。
OS2は、画面管理部16を有する。画面管理部16は、本体画面を有するタブレット端末10や外部画面を有する外部ディスプレイ20等のディスプレイデバイスの接続状態、及びどのディスプレイに表示しているかの表示状態を管理する。
また、OS2にはGraphics driver17がインストールされている。Graphics driver17は、画面切替制御部18を有する。画面切替制御部18は、OS2からの画面切替の要求に応じて、Graphics Controller(図6参照)に対して画面出力先の切替制御を行う
アプリケーション1の起動が開始されると、画面表示状態判定部13がOS2の画面管理部16からその時点の外部ディスプレイ20等の他の表示装置の接続状態、画面出力先の情報を取得する。本実施形態では、ディスプレイの接続状態は、HDMIケーブル等の接続線がタブレット端末10と外部ディスプレイ20とに接続されたことを検出することで把握することができる。
画面表示状態判定部13は、画面管理部16から画面モードを取得することで画面出力先の情報を得る。画面モードは、画面モード設定テーブル4に設定されている。図5に画面モード設定テーブル4の一例を示す。画面モード設定テーブル4は、画面モード41とアプリケーション起動前の表示パターン42と設定され、各表示パターン42のアプリケーション1起動時の画面動作43が定義されている。その時点で設定されている表示パターン42の画面モード41には「ON」が設定されている。なお、各表示パターンは、図2の表示パターンに対応している。画面モード設定テーブル4は、タブレット端末10の記憶部3に記憶されている。なお、記憶部3に記憶された登録テーブル5については、本実施形態の変形例において説明する。
図5の例では、画面モード設定テーブル4に設定されているアプリケーション起動前の表示パターン42が「1」の場合、アプリケーション1起動時の動作43としては、本体画面にそのままアプリを起動することが定義されている。この場合、画面出力先の切り替えは発生しない。
アプリケーション1起動前の表示パターン42が「2」の場合、アプリケーション1起動時の動作43としては、本体画面と外部画面とを合わせた描画領域のうち、本体画面の描画領域にアプリケーション1を起動する。この場合、画面出力先の切り替えは発生しない。
アプリケーション1起動前の表示パターン42が「3」の場合、アプリケーション1起動時の動作43としては、本体画面と外部画面とを合わせた描画領域のうち、本体画面の描画領域にアプリケーション1を起動する。この場合、画面出力先の切り替えは発生しない。
アプリケーション1起動前の表示パターン42が「4」の場合、アプリケーション1起動時の動作43としては、出力先を「拡張表示(2)」に切り替え、本体画面の描画領域にアプリケーション1を起動する。
アプリケーション1起動前の表示パターン42が「5」の場合、アプリケーション1起動時の動作43としては、出力先を「拡張表示(2)」に切り替え、本体画面の描画領域にアプリケーション1を起動する。
図5の例では、表示パターン5の画面モード41がONになっている。この場合、ユーザは、タブレット端末10に接続されている外部ディスプレイ20のみに画面を出力して使用している状態であり、本体画面は無効になっている。そこで、画面モード41を取得した画面切替処理部15は、OS2の画面管理部16に画面出力先の切替を要求する。OSはその要求を受けて、Graphics driver17に画面切替を要求する。これにより、本体画面が有効になり、本体画面への表示が可能になる。
切り替えの必要がない場合又は画面の切り替えが完了したら、アプリケーション1の描画領域指定部14は、OS2の画面管理部16から取得した描画領域の情報に基づいて本体画面に該当する描画領域にアプリケーション1のウィンドウを表示するように制御する。
図6は、本実施形態にかかる描画領域指定部14が設定する描画領域の一例を示す。図6には、2つの画面を拡張表示しているときにOS2が管理する描画領域が示される。例えばWindows等のOSでは、2つの画面の描画領域は連続した一つの領域として管理される。
たとえば、図6(a)のように、タブレット端末10の本体画面及び外部ディスプレイ20の外部画面の解像度が同じ場合、同じサイズの2つの描画領域を接続した領域が描画領域として管理される。
一方、異なる解像度の本体画面及び外部画面が接続されている場合、図6(b)のように、異なるサイズの描画領域が接続されて一つの描画領域として管理される。アプリケーション1のウィンドウW1〜W3は、この描画領域内で自由に配置することができる。
本体画面と外部画面とを組み合わせた表示パターンの一例は、図2に示した通りである。本実施形態では、図2に示したそれぞれの表示パターンの状態でアプリケーション1を起動したときに、図5に示すアプリケーション起動時の動作43を行うことで起動したアプリケーション1を本体画面に表示するようにする。
[ハードウェア構成]
次に、タブレット端末10のハードウェア構成の一例について、図7を参照して説明する。タブレット端末10は、CPU100、メインメモリ201、eMMC(embedded Multi Media Card)202、タッチパネル203及び内蔵ディスプレイ204を有する。CPU100は、Graphics Controller101、Memory Controller102、Storage Controller103、USB Controller104を有する。
Memory Controller102は、タブレット端末10のメインメモリ(主記憶)201を管理する。Graphics Controller101は、画面の表示内容の管理や外部ディスプレイ20等の表示装置の管理を行う。Graphics Controller101は、メインメモリ201内の一部の領域をVRAM(Video RAM)領域として管理し、メインメモリ201を使用して描画領域の状態を管理する。Graphics Controller101は、内蔵ディスプレイ204と接続されている。また、Graphics Controller101は、HDMIケーブルなどを使用して外部ディスプレイ20と接続することが可能である。
Storage Controller103には、eMMC202などの不揮発ストレージ(補助記憶)が接続されている。eMMC202等には、OS2やアプリケーション1が格納されている。例えば、タッチパネル203は、内蔵ディスプレイ204の画面上のタッチによる入力操作を可能とする。これにより、タブレット端末10は、入力装置として機能し、ユーザーに操作手段を提供する。図7の例では、タッチパネル203は、USB Controller104で接続されているが、その他のインターフェースで接続されてもよい。また、タブレット端末10には、タッチパネルではなく、デジタイザ、あるいはその両方が搭載されてもよい。
なお、この例ではCPU100の中にMemory Controller102やGraphics Controller101を内包したが、これらのコントローラは、CPU100とは別のチップで構成してもよい。
以上に説明したように、本体には内蔵ディスプレイ204が搭載され、一般的にはキーボードは搭載されておらず、タッチパネル203又はデジタイザにより、タブレット端末10の本体画面を直接タッチすることで画面上での入力操作が可能になっている。ここではタブレット端末10と記載しているが、端末側はキーボードを搭載したPC(パーソナルコンピュータ)であってもよい。また、端末側はスマートフォン、携帯型情報端末(PDA:Personal Digital Assistant)、携帯電話、携帯型音楽機器、ゲーム機器等の携帯機器であってもよい。
[ソフトウェア構成]
次に、タブレット端末10のソフトウェア構成の一例について、図8を参照して説明する。なお、本実施形態では、タブレット端末10では、アプリケーション1はCPU100の制御によりOS2で動作しているものとする。
OS2には、各種デバイスを動作させるためそれぞれのデバイス用のデバイスドライバーがインストールされている。本実施形態では、特にGraphicsの機能を使用するため、図8ではGraphics driver17がインストールされている。また、OS2には、本実施形態の主体となるアプリケーション1がインストールされている。アプリケーション1からデバイスドライバーに対して行われる処理は、OS2やデバイスドライバーが仕様を公開しているAPI(Application Programming Interface)からのアクセスにより実行される。したがって、アプリケーション1がタブレット端末10の本体画面及び外部ディスプレイ20の外部画面間で画面出力先の切り替えを行う場合、アプリケーション1はAPIを使ってOS2に切り替えを依頼する。OS2は、Graphics driver17に対して切り替えを要求する。最終的には、Graphics driver17がソフトウェアの処理に基づき、ハードウェアのGraphics Controller101を制御して必要な処理を実現する。以上が本実施形態にかかる画像出力制御方法を実現する場合の表示装置の全体構成、機能構成、ハードウェア構成、ソフトウェア構成及び基本的な動作ポリシーである。図6の各部の機能は、OS2にインストールされた画像出力制御プログラムが、本体画面及び外部画面を使用して画像を出力する処理をCPU101に実行させることにより実現される。
以下、画像出力制御処理のアプリケーション1への実装方法について示す。本実施形態では、画像出力制御処理をアプリケーション1へ実装する方法として第1の方法と第2の方法との2つの方法が考えられる。第1の方法は、タブレット端末10用にデザインされた特定のアプリケーション1に実装する方法である。第2の方法は、アプリケーション群を起動するためのランチャに実装する方法である。第1の方法は、本実施形態にて以下に説明し、第2の方法は、本実施形態の変形例にて説明する。
(特定のアプリケーション1に実装する場合:第1の方法)
この場合、小型画面用にデザインしたアプリケーション1自体に本実施形態の機能を実装する。具体的には、アプリケーション1の処理のうち最初に呼ばれる起動、初期化等の処理の中に本実施形態の画像出力制御処理の機能を実装する。アプリケーション1の起動時に実行される画像出力制御処理の流れを図9を参照して説明する。
まず、起動処理部11は、外部ディスプレイ20の接続の有無を判定する(ステップS10)。ここで、外部ディスプレイ20が接続されていないと判定された場合、本体画面のみが出力先になる。このため、起動処理部11は、特に追加の処理を行うことなくアプリケーション1を動作させ(ステップS14)、本処理を終了する。
一方、外部ディスプレイ20が接続されていると判定された場合、画面表示状態判定部13は、画面モード設定テーブル4に基づき、画面の出力先を判定する(ステップS12)。画面表示状態判定部13は、図5に示す画面モード設定テーブル4に設定された画面モード41により画面出力先を判定する。
例えば、画面モード41が表示パターン1に設定(ON)されている場合、画面の出力先は本体画面のみである。この場合、画面出力先を本体画面に切り替える必要はない。よって、起動処理部11は、特に追加の処理を行うことなく本体画面にアプリケーション1を起動し(ステップS14)、本処理を終了する。
画面モード41が表示パターン2又は表示パターン3に設定(ON)されている場合、画面の出力先は本体画面と外部画面とを合わせた描画領域であり、両画面に拡張表示される。この場合、画面切替処理部15は、本体画面がメインディスプレイであってもセカンドディスプレイであっても、本体画面の描画領域を指定して画面出力先が本体画面になるように座標原点を切り替える。起動処理部11は、切替後に本体画面にアプリケーション1を起動し(ステップS16)、本処理を終了する。
なお、本体画面の指定の方法は、本体画面及び外部画面を連続した描画領域とした場合に本体画面に該当する描画領域の座標を指定する方法に限られない。例えば、OS2が個々の画面を一意に識別するIDを管理し、それによってアプリケーション1の表示先を指定できる場合は、この画面を識別するIDを使用してアプリケーション1の表示先に本体画面を指定してもよい。
画面モード41が表示パターン4に設定(ON)されている場合、画面出力先は、本体画面及び外部画面を合わせた描画領域であり、両画面に複製表示される。また、図5のように画面モード41が表示パターン5に設定(ON)されている場合、画面出力先は、外部ディスプレイのみである。これらの場合、本体画面を有効にし、画面出力先を本体画面に切り替える必要がある。よって、描画領域指定部14は、本体画面が無効になっている場合には、本体画面を描画領域に指定し、切り替え前の画面出力先の情報をメインメモリ201等に記録する(ステップS18)。その後、画面切替処理部15は、画面出力先を拡張表示(2)に切り替える。起動処理部11は、本体画面の描画領域にアプリケーション1を起動し(ステップS20)、本処理を終了する。
以上に説明した画像出力制御処理によれば、アプリケーション1を起動したときは、常にアプリケーション1は本体画面に表示される。これにより、本実施形態では、タブレット端末10の小型画面に最適化されたデザインの特定のアプリケーション1を起動したときに、外部ディスプレイ20やプロジェクタを接続し、そちらに画面を出力している場合の表示の不具合を解消できる。つまり、本実施形態では、そのアプリケーション1を必ずタブレット端末10の本体画面の描画領域内に表示させることで、表示の不具合を解消できる。
例えば、アプリケーション1を起動しようとしたときに、画面出力先を外部ディスプレイ20のみにして本体画面を無効にしている表示パターン5の場合、本来は本体画面は無効であるため本体画面に画像を表示することはできない。
そこで、本実施形態では、その場合にはアプリケーション1を起動しようとしたときに画面出力先が切り替えられ、無効になっている本体画面を有効にした上でアプリケーション1が起動され、アプリケーション1による本体画面への表示が可能となる。このとき、「本体画面を有効にする」とは、具体的には表示パターン3の拡張表示(2)に切り替えることとする。これにより、本体画面を有効にしつつ、外部ディスプレイ20側の表示も有効のまま、かつ、外部ディスプレイ20をメインディスプレイに指定して画面の出力先を変更することができる。これにより、それまで外部ディスプレイ20に表示されていた内容は、外部ディスプレイ20上に表示されたまま保持することが可能である。この結果、本実施形態の画面表示から元の画面表示に画面の表示を切り替えたときに外部ディスプレイ20側をメインディスプレイにすることで外部画面上の作業環境を変えることなく円滑な作業を続行することができる。
動作のイメージの一例を図10に示す。タブレット端末10に外部ディスプレイ20が接続されている。図10(a)の例では、画面は外部ディスプレイ20のみに出力され、タブレット端末10は無効になっている。外部ディスプレイ20に表示されているデスクトップ画面にはウィンドウW1及びアイコンQが表示されている。この画面状態から、ユーザは、マウスを使ってアイコンQをクリックし、特定のアプリケーション1を選択して起動させる。このとき、本実施形態にかかる画面出力制御処理の機能がアプリケーション1に実装されている場合、まず画面出力先が拡張表示(2)の定義に従い変更される。これにより、本体画面が有効になる。次に、図10(b)に示すように、アプリケーション1にて生成された画像Rが本体画面の描画領域内に表示される。なお、外部ディスプレイ20に表示されていた内容は、外部ディスプレイ20上に表示されたまま保持される。
図11の例では、タブレット端末10に外部ディスプレイ20が接続されていて、本体画面と外部画面には同じ内容の画像が表示される複製表示の状態になっている。この場合、外部ディスプレイ20に表示されているデスクトップ画面からアイコンQで示される特定のアプリケーション1が選択されることで、アプリケーション1が起動される。その際、図10の例と同様に画面出力先を拡張表示(2)に変更してから本体画面の描画領域内にアプリケーション1にて生成された画像Rが表示される。
これにより、タブレット端末10の画面サイズで最適なようにデザインされたアプリケーション1の画面が、解像度の違いにより外部ディスプレイ20に小さく表示されたり、はみ出して表示されたりしてしまうことを回避できる。また、無効になっている本体画面を有効にすることで、アプリケーション1により生成された画面が本体画面に表示される。これにより、タブレット端末10のタッチパネルで画面上から入力操作を行うことが可能になる。また、外部ディスプレイ側で何か作業をしていたとしても外部ディスプレイ側の表示は維持されたままなので作業をそのまま継続することが可能である。
また、アプリケーション1を起動するときに、本実施形態の画像出力制御処理により画面出力先を切り替えた場合、アプリケーション1を終了する際に図12に示す終了処理が実行される。アプリケーション1の終了処理では、描画領域指定部14は、起動時に画面出力先を変更したかを判定する(ステップS22)。変更したと判定された場合、描画領域指定部14は、メインメモリ201に記録されている元の画面出力先の情報に基づき、画面出力先をアプリケーション1起動前の状態に戻し(ステップS24)、本処理を終了する。変更していないと判定された場合、ただちに本処理は終了される。
[変形例]
(ランチャーに実装する場合:第2の方法)
最後に、本実施形態の変形例にかかる画面出力制御処理について、図13及び図14を参照しながら説明する。変形例では、画面出力制御の機能をランチャーに実装する場合を例に挙げて説明する。
この場合、アプリケーション1を起動するためのランチャーに上記画面出力制御の機能を実装する。したがって、起動するべきタブレット端末10用にデザインされたアプリケーション1には、上記画面出力制御の機能を実装する必要はない。したがって、ランチャーに含まれるすべてのアプリケーションに対して上記画面出力制御による同様の効果を与えることができる。
ランチャーは、ユーザーがよく使う複数のアプリケーションを登録しておくことで、それらのアプリケーションを一覧表示してユーザーがすぐに起動できるような手段を提供する。例えば、図13のタブレット端末10には、ユーザーがよく使う複数のアプリケーションを起動するためのアイコンL1〜L12が一覧表示されたランチャーが登録されている。
ランチャーにアプリケーションを登録するとき、登録テーブル5には、アプリケーション名52、インストールフォルダ53等の表示属性情報を登録する必要がある。アプリケーション名52に応じてアイコン51を登録してもよい。本変形例では、これらの表示属性情報に、登録しようとしているアプリケーションを本体画面で起動するかどうかを示す起動画面情報54が付加される。ユーザーは、ランチャーに登録しようとするアプリケーションを必ず本体画面で起動したい場合、起動画面情報54に本体画面を指定して登録する。
ランチャーからアプリケーションを選択して、選択されたアプリケーションの起動を開始する場合のフローを図14に示す。まず、ランチャーは、登録テーブル5に基づき、ユーザにより指定されたアイコン51にリンクしたアプリケーョン(アプリケーション名52、インストールフォルダ53)の表示属性情報54により本体画面で起動するかどうかを判定する。(ステップS30)ここで、本体画面で起動するように登録されていないアプリケーションの場合、上記画像出力制御処理の機能の実行は不要であり、指定されたアプリケーションをそのまま起動する(ステップS14)、本処理を終了する。
一方、本体画面で起動するように登録されたアプリケーションの場合、ステップS10に進み、ステップS10以降のステップが実行される。ステップS10以降のステップには、図9に示す画面出力制御処理と同一ステップ番号が付され、同一処理であるため、ここでの説明は省略する。
また、ランチャーに実装する場合も上記実施形態と同様に、指定されたアプリケーションを起動するときに画面の出力先を切り替えた場合、切り替え前の出力先(元の出力先)を記録しておく。そして、アプリケーション終了時に画面出力先をアプリケーション起動前の状態に戻す処理が実行される。この場合は、ランチャーが指定されたアプリケーションの処理が終了したことを認識した時点で、画面の切り替え処理(図12)が実行される。
以上に説明したように、本実施形態の変形例にかかる画面出力制御方法によれば、ランチャーに登録されたアプリケーションを起動したときに、必ずタブレット端末10の本体画面でアプリケーションの生成画面が表示される。これにより、大画面の外部ディスプレイやプロジェクタに画面表示され、画面のレイアウトが崩れて外部ディスプレイ20においてタッチ操作が困難になったとしても、タブレット端末10の本体画面でタッチ操作を行うことができる。また、必ず本体側にアプリケーションの生成画面が表示されることで、外部ディスプレイ20にタッチパネルを搭載していない場合にも、画面へのタッチによる入力操作を確保することができる。
また、本体画面を無効状態から有効な状態にするために画面出力先を切り替える動作を実行した場合においても、それまでユーザーが作業をしていた外部ディスプレイ20の表示内容は保持される。このため、ユーザーの作業を妨げることなく、上記効果を得られる。
以上により、本実施形態及びその変形例にかかる画面出力制御方法によれば、画面の機能に差がある複数の表示装置に画像を出力する際の不具合を解消することができる。
以上、画像出力制御方法、画像出力制御プログラム及び表示装置を上記実施形態により説明したが、本発明にかかる画像出力制御方法、画像出力制御プログラム及び表示装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
例えば、上記実施形態及びその変形例にかかる表示装置の構成は一例であり、本発明の範囲を限定するものではなく、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば、タブレット端末が接続される表示装置は、一台に限られず、複数台であってもよい。
また、上記実施形態及びその変形例では、画面の機能に差がある複数の表示装置のうち外部ディスプレイを一方の表示装置、タブレット端末を他方の表示装置として、一方の表示装置にて画面の機能を実現できない場合、他方の表示装置にて画面の機能を実現した。しかしながら、これに限らず、一方の表示装置は、画面の機能に差がある複数の表示装置のいずれか一方であり、他方の表示装置は、画面の機能に差がある複数の表示装置の他の表示装置であってもよい。
1:アプリケーション
2:OS
4:画面モード設定テーブル
5:登録テーブル
10:タブレット端末
11:起動処理部
12:メイン処理部
13:画面表示状態判定部
14:描画領域指定部
15:画面切替処理部
16:画面管理部
17:Graphics driver
18:画面切替制御部
20:外部ディスプレイ
100:CPU
101:Graphics Controller
102:Memory Controller
103:Storage Controller
104:USB Controller
201:メインメモリ
202:eMMC
203:タッチパネル
204:内蔵ディスプレイ

Claims (9)

  1. 画面の機能に差がある複数の表示装置の画面を使用して画像を出力する処理をコンピュータが実行する画像出力制御方法であって、
    前記画面の機能の差により前記複数の表示装置のうちの一方の表示装置にて画面の機能を実現できない場合、該複数の表示装置のうちの他方の表示装置にて画面の機能を実現し、
    前記他方の表示装置にて画面の機能を実現した後、画像の出力先の表示装置を前記一方の表示装置に切り替える、
    画像出力制御方法。
  2. 操作されたアプリケーションの起動の際に前記他方の表示装置に画像を出力し、該他方の表示装置にて画面の機能を実現し、
    前記アプリケーションの終了の際に画像の出力先の表示装置を前記一方の表示装置に切り替える、
    請求項1に記載の画像出力制御方法。
  3. ランチャーに登録された複数のアプリケーションのうち、画像の出力先を示す表示属性情報が登録されているアプリケーションが操作された場合、該アプリケーションの起動時に前記表示属性情報に基づき特定される前記複数の表示装置のうちのいずれかにて画面の機能を実現する、
    請求項2に記載の画像出力制御方法。
  4. 画面の機能に差がある複数の表示装置の画面を使用して画像を出力する処理をコンピュータに実行させるための画像出力制御プログラムであって、
    前記画面の機能の差により前記複数の表示装置のうちの一方の表示装置にて画面の機能を実現できない場合、該複数の表示装置のうちの他方の表示装置にて画面の機能を実現し、
    前記他方の表示装置にて画面の機能を実現した後、画像の出力先の表示装置を前記一方の表示装置に切り替える、
    画像出力制御プログラム。
  5. 操作されたアプリケーションの起動の際に前記他方の表示装置に画像を出力し、該他方の表示装置にて画面の機能を実現し、
    前記アプリケーションの終了の際に画像の出力先の表示装置を前記一方の表示装置に切り替える、
    請求項4に記載の画像出力制御プログラム。
  6. ランチャーに登録された複数のアプリケーションのうち、画像の出力先を示す表示属性情報が登録されているアプリケーションが操作された場合、該アプリケーションの起動時に前記表示属性情報に基づき特定される前記複数の表示装置のうちのいずれかにて画面の機能を実現する、
    請求項5に記載の画像出力制御プログラム。
  7. 画面の機能に差がある自画面と他の表示装置の画面とを使用して画像を出力する表示装置であって、
    前記画面の機能の差により前記表示装置と前記他の表示装置のうちの一方の表示装置にて画面の機能を実現できない場合、前記表示装置と前記他の表示装置のうちの他方の表示装置にて画面の機能を実現し、
    前記他方の表示装置にて画面の機能を実現した後、画像の出力先の表示装置を前記一方の表示装置に切り替える画面切替処理部、
    を有する表示装置。
  8. 前記画面切替処理部は、
    操作されたアプリケーションの起動の際に前記他方の表示装置に画像を出力し、該他方の表示装置にて画面の機能を実現し、
    前記アプリケーションの終了の際に画像の出力先の表示装置を前記一方の表示装置に切り替える、
    請求項7に記載の表示装置。
  9. 前記画面切替処理部は、
    ランチャーに登録された複数のアプリケーションのうち、画像の出力先を示す表示属性情報が登録されているアプリケーションが操作された場合、該アプリケーションの起動時に前記表示属性情報に基づき特定される前記複数の表示装置のうちのいずれかにて画面の機能を実現する、
    請求項8に記載の表示装置。
JP2017517461A 2015-05-08 2015-05-08 画像出力制御方法、画像出力制御プログラム及び表示装置 Expired - Fee Related JP6504248B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/063281 WO2016181436A1 (ja) 2015-05-08 2015-05-08 画像出力制御方法、画像出力制御プログラム及び表示装置

Publications (2)

Publication Number Publication Date
JPWO2016181436A1 true JPWO2016181436A1 (ja) 2018-02-15
JP6504248B2 JP6504248B2 (ja) 2019-04-24

Family

ID=57248948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517461A Expired - Fee Related JP6504248B2 (ja) 2015-05-08 2015-05-08 画像出力制御方法、画像出力制御プログラム及び表示装置

Country Status (5)

Country Link
US (1) US20180039470A1 (ja)
EP (1) EP3296859A4 (ja)
JP (1) JP6504248B2 (ja)
CN (1) CN107533448A (ja)
WO (1) WO2016181436A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988060B2 (ja) * 2016-05-25 2022-01-05 株式会社リコー 画像処理装置、画像処理システム、画像処理方法及びプログラム
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
CN107728838A (zh) * 2017-09-28 2018-02-23 努比亚技术有限公司 一种终端显示管理方法、移动终端及计算机可读存储介质
US10346122B1 (en) * 2018-10-18 2019-07-09 Brent Foster Morgan Systems and methods for a supplemental display screen
CN110399080A (zh) * 2019-07-31 2019-11-01 联想(北京)有限公司 一种输出控制方法、终端及多设备系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267450A (ja) * 2004-03-19 2005-09-29 Clarion Co Ltd 情報処理装置、その制御方法及びプログラム
JP2008517525A (ja) * 2004-10-19 2008-05-22 ソニー エリクソン モバイル コミュニケーションズ, エービー 複数の表示画面に情報を表示する携帯無線通信装置、その携帯無線通信装置の動作方法、及び、その携帯無線通信装置を動作させるためのコンピュータプログラム
JP2008164988A (ja) * 2006-12-28 2008-07-17 Rockridgesound Japan Co Ltd マルチディスプレイシステム
JP2013008036A (ja) * 2012-07-26 2013-01-10 Canon Inc 画像処理装置及びその制御方法、情報処理装置及びその制御方法、プログラム
US20130016040A1 (en) * 2011-07-11 2013-01-17 Samsung Electronics Co. Ltd. Method and apparatus for displaying screen of portable terminal connected with external device
JP2013114698A (ja) * 2013-01-21 2013-06-10 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962854B2 (en) * 2004-10-19 2011-06-14 Sony Ericsson Mobile Communications Ab Systems, methods and computer program products for displaying content on multiple display screens using handheld wireless communicators
JP5197834B1 (ja) * 2011-11-24 2013-05-15 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
US9632648B2 (en) * 2012-07-06 2017-04-25 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005267450A (ja) * 2004-03-19 2005-09-29 Clarion Co Ltd 情報処理装置、その制御方法及びプログラム
JP2008517525A (ja) * 2004-10-19 2008-05-22 ソニー エリクソン モバイル コミュニケーションズ, エービー 複数の表示画面に情報を表示する携帯無線通信装置、その携帯無線通信装置の動作方法、及び、その携帯無線通信装置を動作させるためのコンピュータプログラム
JP2008164988A (ja) * 2006-12-28 2008-07-17 Rockridgesound Japan Co Ltd マルチディスプレイシステム
US20130016040A1 (en) * 2011-07-11 2013-01-17 Samsung Electronics Co. Ltd. Method and apparatus for displaying screen of portable terminal connected with external device
JP2013008036A (ja) * 2012-07-26 2013-01-10 Canon Inc 画像処理装置及びその制御方法、情報処理装置及びその制御方法、プログラム
JP2013114698A (ja) * 2013-01-21 2013-06-10 Toshiba Corp 電子機器、電子機器の制御方法、電子機器の制御プログラム

Also Published As

Publication number Publication date
JP6504248B2 (ja) 2019-04-24
US20180039470A1 (en) 2018-02-08
EP3296859A1 (en) 2018-03-21
CN107533448A (zh) 2018-01-02
EP3296859A4 (en) 2018-04-25
WO2016181436A1 (ja) 2016-11-17

Similar Documents

Publication Publication Date Title
US10133396B2 (en) Virtual input device using second touch-enabled display
US8878778B2 (en) Information processing apparatus, and control method and program therefor
KR100593982B1 (ko) 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체
US20180039470A1 (en) Image output control method and display device
US9483172B2 (en) Information processing device, information processing method, and computer-readable recording medium which records program
US10198163B2 (en) Electronic device and controlling method and program therefor
US20120174020A1 (en) Indication of active window when switching tasks in a multi-monitor environment
US11435870B2 (en) Input/output controller and input/output control program
US20120327443A1 (en) Terminal device capable of remotely operating image forming apparatus, non-transitory storage medium storing therein computer-readable program executed by terminal device, and remote operation system including terminal device
JP5893456B2 (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP5119763B2 (ja) タッチパネルを備えた情報機器、それに使用されるアイコン選択方法及びプログラム
WO2014132863A1 (ja) 情報端末および制御プログラム
JP2017111551A (ja) 情報処理装置、プログラム、情報処理システム
JP5974657B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPWO2017022031A1 (ja) 情報端末装置
US20150007106A1 (en) Information processing apparatus
US20140165011A1 (en) Information processing apparatus
US20140075376A1 (en) Display control apparatus, storage medium, display control system, and display method
JP2022179604A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005284559A (ja) ツールバー表示切替方法
US20210208778A1 (en) Contiguous planar display operable to have area functioning as primary display and area functioning as secondary display
CN106716350B (zh) 用于提供用户界面屏幕的装置和方法
JP6118190B2 (ja) 情報端末および制御プログラム
JP5963663B2 (ja) オブジェクト選択装置、方法およびプログラム
JP7228964B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171026

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180711

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6504248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees