JP6151913B2 - 情報処理装置及びその制御方法 - Google Patents

情報処理装置及びその制御方法 Download PDF

Info

Publication number
JP6151913B2
JP6151913B2 JP2012286165A JP2012286165A JP6151913B2 JP 6151913 B2 JP6151913 B2 JP 6151913B2 JP 2012286165 A JP2012286165 A JP 2012286165A JP 2012286165 A JP2012286165 A JP 2012286165A JP 6151913 B2 JP6151913 B2 JP 6151913B2
Authority
JP
Japan
Prior art keywords
projection
image
information processing
instruction
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012286165A
Other languages
English (en)
Other versions
JP2014127192A (ja
JP2014127192A5 (ja
Inventor
伸洋 岡
伸洋 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012286165A priority Critical patent/JP6151913B2/ja
Priority to US14/140,941 priority patent/US10282159B2/en
Publication of JP2014127192A publication Critical patent/JP2014127192A/ja
Publication of JP2014127192A5 publication Critical patent/JP2014127192A5/ja
Application granted granted Critical
Publication of JP6151913B2 publication Critical patent/JP6151913B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H04W4/08User group management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、パーソナルコンピュータ等の情報処理装置で生成された画像をプロジェクタなどの画像表示装置に送信して表示を行う画像伝送システムに関する。
近年、会議や研修会等でプレゼンテーションを行う際は、パーソナルコンピュータ等の情報処理装置(以下、PCと表記する)から受信した画像信号をスクリーンに投影させるプロジェクタを用いることが多い。通常、PCとプロジェクタとはアナログRGBケーブルを用いたアナログ接続によって画像信号の送受信を行っていた。しかしながら、アナログ接続では、装置間の接続に手間がかかる、遠隔地からの接続が困難である、複数台のPCと同時に接続することができない、といった課題がある。これらの理由からネットワークを介してPCとプロジェクタを接続する画像伝送システムが注目されている。
このようなネットワークを用いた画像伝送システムにおいては、
・1台のPCから複数台のプロジェクタに対して、PCの映像をすべてのプロジェクタに同時投影する機能、
・複数台のPCからの映像を1台のプロジェクタにより多画面レイアウト表示する機能、等が実現されている。例えば、特許文献1には、画像伝送システムにおいて、複数のPCの画像を一台のプロジェクタの投影画面に割り付けるためのユーザインタフェース(UI)に関する技術が公開されている。
特開2009−42912号公報
画像伝送システムを実現する為には、例えばPCとプロジェクタ間を予めグループ化し、通信を確立しておく必要がある。しかしながら、所望のグループにPが参加しようとした際には、そのPCのユーザは、そのグループに参加する為の情報を知っておく必要がある。一般に、そのような情報は、特定のファイルに記録されていたり、紙などの記録媒体に記載されていたりしており、ユーザがその情報にアクセスするのに手間がかかる。
本発明は、上記の課題に鑑みてなされたものであり、所望の画像伝送グループにPCが参加する際に、そのPCのユーザが参加したいグループの情報を容易に認識できるようにすることを目的とする。
上記目的を達成するための本発明の一態様による本発明の情報処理装置は以下の構成を備える。すなわち、
投影装置とネットワークを介して接続し、投影システムの一部として動作する情報処理装置であって、
前記情報処理装置が有する画像を、投影画像として前記投影装置に前記ネットワークを介して送信するよう制御する送信制御手段と、
前記情報処理装置のディスプレイに表示される画像を投影する指示を検知する第1の検知手段と、
前記投影システムに関するパラメータを投影する指示を検知する第2の検知手段と、を備え、
前記第1の検知手段により前記情報処理装置のディスプレイに表示される画像を投影する指示が検知された場合、前記送信制御手段は、前記情報処理装置のディスプレイに表示される画像を投影画像として前記ネットワークを介して送信するよう制御し、
前記第2の検知手段により前記投影システムに関するパラメータを投影する指示が検知された場合、前記送信制御手段は、前記投影装置により投影される投影レイアウトを所定のレイアウトに変更する指示を前記ネットワークを介して送信するとともに、前記投影システムに関するパラメータを示す画像を投影画像として前記ネットワークを介して送信するよう制御する。
本発明によれば、所望の画像伝送グループにPCが参加する際に、そのPCのユーザが参加したいグループの情報を容易に認識できるようになる。
実施形態による画像伝送システムの一例を示す図。 画像伝送システムを構成するPCとプロジェクタの構成例を示すブロック図。 画像伝送アプリケーションのGUI例を示す図。 画像伝送アプリケーションのGUI例を示す図。 実施形態によるグループ情報画像の表示動作を表すシーケンス図。 画像伝送アプリケーションの投影画像と画像伝送アプリケーションのGUIの関係を説明する図。 グループ情報画像の一例を示す図。 他の実施形態によるグループ情報画像の表示動作を表すシーケンス図。
[第一実施形態]
以下、添付の図面を参照して本発明の好適な実施形態の例を詳細に説明する。
図1は、第一実施形態の情報処理装置と画像表示装置とが通信可能に接続された画像伝送システムの一例を示す図である。本実施形態の画像伝送システム10は、画像送信装置として機能する情報処理装置の一例であるPC100と、画像表示装置の一例であるプロジェクタ200とを備えている。PC100とプロジェクタ200は、それぞれLANなどを介して外部装置との接続が可能であり、本実施形態ではPC100とプロジェクタ200が通信ネットワーク150を介して互いに通信可能に接続されている。なお、通信ネットワーク150は有線であっても無線であってもかまわない。
各部の役割を簡単に説明すると、PC100は、ディスプレイに表示されている画像に対応する画像信号を、通信ネットワーク150を介して、プロジェクタ200に送信可能である。プロジェクタ200は、PC100から送られた画像信号を受信し、出力できる形式へ変換し、スクリーン上に投影表示する。またこのとき、マウス160によってPC100におけるウィンドウシステム上のポインタが操作されるが、このポインタ表示位置は、画像信号とは別にプロジェクタ200に送信される。なお、ここでいうウィンドウシステムとは例えばマイクロソフト社のオペレーティングシステム(以下OS)であるWindows(登録商標)によって実現される、Graphical User Interface(GUI)である。このようなウィンドウシステムでは、GUIにより、複数のタスクに固有の領域を割当て、画面出力を多重化することが可能である。
図2はPC100とプロジェクタ200による画像伝送システム10の概略の構成例を示すブロック図である。PC100は、CPU101と、CPU101の処理手順を記述した制御プログラムを記憶するためのROM102と、ワークメモリとして一時的に制御プログラムやデータを格納するRAM103を有する。また、PC100は、アプリケーションやOSなどの各プログラムとデータを格納するためのハードディスクドライブ104と、PC100が表示する画像データを圧縮するためのエンコーダ105を備える。更に、PC100は、LAN等を経由してプロジェクタ200やサーバなどと通信するためのインタフェースである通信部106と、キーボードやポインティングデバイス(マウス等)からのユーザ入力を処理する操作部107を備える。更に、PC100は、表示部111が表示する画像を記憶するVRAM108と、画像処理部109と、表示制御部110と、液晶ディスプレイなどの表示部111と、これら各要素を接続する内部バス112を備えている。
プロジェクタ200は、CPU201と、CPU201の処理手順を記述した制御プログラムを記憶するためのROM202と、ワークメモリとして一時的に制御プログラムやデータを格納するRAM203を備える。また、プロジェクタ200は、所定の圧縮方式で圧縮されたデータをデコードするためのデコーダ204を持つ。更に、プロジェクタ200は、PC100との接続用インタフェースである通信部205と、各種の操作ボタンや操作リモコンなどからのユーザ入力を処理する操作部208を備える。更に、プロジェクタ200は、画像を出力するための投影制御部207と、入力画像を投射する液晶パネル及びその駆動ドライバ、レンズ及びその駆動系及び光源で構成される投影部206と、これら各要素を接続する内部バス209と、を備える。
なお、本実施形態における各装置のハードウェア構成は上記に限定されるものではない。例えば装置の制御は1つのハードウェアが実行してもよいし、複数のハードウェアが処理を分担しながら装置全体の制御を実現してもよい。
また、本実施形態において画像送信装置として機能する情報処理装置の一例としてPC100を、画像表示装置の一例としてプロジェクタ200を用いたが、必ずしもこれらに限定されない。例えば、そのような情報処理装置の例としてはデジタルカメラや携帯電話などがあげられる。また、画像表示装置の例としてはテレビ、モニタなど、ディスプレイを制御する装置があげられる。
<新規な画像伝送グループの作成手順の説明>
次に、図3を用いて本実施形態におけるPC100とプロジェクタ200が、画像伝送を行なうためのネットワークグループである、画像伝送グループを作成して通信を確立するまでの処理について説明する。
1.PC100の動作について
以下で説明されるPC100の動作は、PC100上のCPU101で動作するプログラム(例えば、ROM102に格納されたプログラム、あるいはRAM103にロードされたプログラム)によって実現されるものである。本実施形態ではこのプログラムを画像伝送アプリケーションとする。
まず、ユーザから操作部107を介して、画像伝送アプリケーションの開始が指示されると、この指示はCPU101に通知される。CPU101は、画像伝送アプリケーションの実行を開始した後に、既にネットワーク上に存在する画像伝送グループに対して参加要求を送信するのか、または新規に画像伝送グループを作成するかをユーザ指示によって決定する。
このとき、CPU101は、まず、画像伝送アプリケーションの実行開始直後に、図3(a)に示すGUI300を作成して表示部111に表示し、ユーザの操作を待つ。GUI300は、グループ作成ボタン301とグループ参加ボタン302で構成されている。ユーザが操作部107を介して、グループ作成ボタン301を押下した場合には、新規に画像伝送グループを作成する手順を開始する。一方、ユーザがグループ参加ボタン302を選択した場合には、既にネットワーク上に存在する画像伝送グループに参加する手順を開始する。ここではユーザがグループ作成ボタン301を選択したとして説明を続ける。
CPU101は、通信部106を制御し、ネットワーク上に存在するプロジェクタの検索コマンドをブロードキャストやマルチキャストを用いて送信し、プロジェクタからの応答コマンドを待つ。ネットワーク上に前述のプロジェクタ検索コマンドに応答可能なプロジェクタが存在していれば、そのプロジェクタから応答コマンドが同様にブロードキャストやマルチキャストを用いて返信される。なお、プロジェクタが返信する応答コマンドには、そのプロジェクタのIPアドレスや、当該プロジェクタとの接続が可能か否かなどの各種情報が含まれている。
通信部106が応答コマンドを受信すると、CPU101はこの応答コマンドを解析して接続可能なプロジェクタを認識し、図3(b)に示すようなGUI310を作成して、接続可能なプロジェクタの一覧を表示部111に表示する。GUI310は、接続可能なプロジェクタ情報を表示するエリア311、グループ化対象のプロジェクタを1台以上選択可能なチェックボックス312およびOKボタン313で構成されている。PCのユーザは、グループ化したいプロジェクタのチェックボックスをチェックすることで、リスト上のプロジェクタを選択できる。PC100のユーザはプロジェクタの選択が完了するとOKボタン313を押下する。
OKボタン313が押下されると、CPU101は、接続要求コマンドを生成し、通信部106を介して、ユーザが選択したプロジェクタに対して接続要求コマンドを送信して、該プロジェクタからの返信コマンドを待つ。
次に、通信部106がプロジェクタから上記接続要求コマンドに対する返信コマンドを受信すると、CPU101は、この返信コマンドを解析し、自身の接続要求がプロジェクタに許可されたかどうかを判定する。CPU101は、接続が許可されたと判断すると、図3(c)に示すようなGUI320を作成して表示部111に表示する。GUI320中のグループ名入力エリア321は、現在作成中の画像伝送グループのグループ名を入力するエリアであり、PCのユーザはグループ名入力エリア321に所望のグループ名を入力した後、OKボタン323を押下する。
CPU101は、選択されたプロジェクタへの画像データの送信処理の開始、停止を制御するための、図4に示すようなGUI400を構成し、表示部111を介してユーザに提示する。以上が、新規に画像伝送グループを作成する処理である。
GUI400の各部について説明する。401は画像伝送グループのグループ名を示すエリアである。402は画像の送信対象であるプロジェクタの情報を示すエリアである。403は画像伝送グループに参加しているPCの情報を示すエリアである。404は画像の送信対象であるプロジェクタにおける表示レイアウトを示す表示レイアウトエリアである。CPU101は、プロジェクタの投影レイアウトが変化すると、このエリアを更新する。405は画像伝送グループの情報表示の開始を指示する情報表示開始ボタンである。406は画像伝送グループの情報表示の終了を指示する情報表示終了ボタンである。407は画像伝送の開始を指示する画像伝送開始ボタンである。なお、エリア401〜404に表示される情報は、画像伝送グループの動作中にプロジェクタ200より通知されるもので、RAM103に保存されている。CPU101はRAM103に保存されたこれらの情報に基づきGUI400を作成する。
2.プロジェクタ200の動作について
ここからは、新規に画像伝送グループを作成する処理における、プロジェクタ200の動作について述べる。プロジェクタ200の通信部205がプロジェクタ検索コマンドを受信すると、CPU201は自身のIPアドレス、PCと接続可能か否かの情報等の各種情報を格納した応答コマンドを生成する。CPU201は通信部205を制御し、この応答コマンドをネットワーク上にブロードキャストまたはマルチキャストする。
次に、通信部205がPC100からの接続要求コマンドを受信すると、CPU201はこれを解析する。そして、CPU201は、通信部205を制御して、この接続要求コマンドに対する返信コマンドを接続要求コマンドの送信元であるPC100に対して送信し、接続を許可する。CPU201は、接続を許可したPC100をRAM203に記録して接続許可PCとして管理し、以降の画像データの受信、投影処理等を行う対象とする。
以上が画像伝送システムを構成するPC100とプロジェクタ200が画像伝送グループを新規作成して通信を確立する手順の説明である。
<既存のグループにPCが参加する方法>
本実施形態の画像表示システムでは、PC100は、既に同一ネットワーク上に存在する画像伝送グループに参加することができる。以下では、この時のPC100の動作について説明する。
まず、ユーザが操作部107を介して、画像伝送アプリケーションの開始を指示すると、この指示はCPU101に通知される。このとき、CPU101は、まず、画像伝送アプリケーション実行直後に、図3(a)に示すGUIを作成して表示部111に表示し、ユーザの選択を待つ。ここではユーザがグループ参加ボタン302を押下したとして説明を続ける。
CPU101は、通信部106が、ネットワーク上に存在する画像伝送グループの情報を受信するのを待つ。画像伝送グループの情報は、例えば、グループ名、プロジェクタのIPアドレス等の各種情報を含み、既に画像伝送グループに参加しているプロジェクタによって定期的にブロードキャストやマルチキャストされている。
通信部106が画像伝送グループの情報を受信すると、CPU101は、受信した画像伝送グループの情報を解析して接続可能な画像伝送グループを認識する。そして、CPU101は、図3(d)に示すような、接続可能な画像伝送グループの一覧を含むGUI330を作成し、表示部111に表示する。
GUI330は、グループ情報を表示するエリア331、グループ化対象のプロジェクタを選択可能なラジオボタン332およびOKボタン333を有する。PC100のユーザは、参加したい画像伝送グループのラジオボタンをチェックすることで、一覧の中から所望の画像伝送グループを選択できる。PC100のユーザは画像伝送グループの選択を完了すると、OKボタン333を押下する。
次に、CPU101は、通信部106を制御して、選択した画像伝送グループのプロジェクタに対してグループ参加を要求する接続要求コマンドを送信し、このコマンドに対する返信を待つ。
次に、CPU101は、通信部106がプロジェクタから上記グループ参加要求コマンドに対する返信を受信すると、このグループ参加要求コマンドの返信を解析し、自身が該グループへの参加が許可されたかどうかを判定する。CPU101は、接続が許可されたと判断すると、プロジェクタへの画像データの送信処理の開始を制御するためのGUI400(図4)を作成し、表示部111を介してユーザに提示する。以上が、PC100が既存の画像伝送グループに参加する処理である。
プロジェクタ200では、PC100が送信した接続要求コマンドに応じて、返信コマンドを送信し、PC100を接続許可PCとして管理する。
<PCがプロジェクタに画像を伝送し表示する手順>
次に、PC100が画像データをプロジェクタ200に送信し、プロジェクタ200がその画像データを投影する処理について説明する。なお、本処理は、PC100のユーザが操作部107を介して、図4の画像伝送開始ボタン407を押下することで開始される。
まず、CPU101は、表示制御部110を制御し、表示部111に表示中の画像データをVRAM108からRAM103に転送する。なお以下では、このCPU101の動作をキャプチャと呼ぶ。次にCPU101は、エンコーダ105を制御し、キャプチャ処理によりRAM103に格納された画像データをエンコードし、RAM103に格納する。ここでエンコードに用いる手法は画像データの圧縮に一般的に用いられるJPEG符号化であるとする。なお、圧縮方法はこれに限定されるものではなく、プロジェクタ200でデコードが可能なものであればその様態を問わない。
次に、CPU101は、通信部106を制御し、RAM103に格納されたエンコード済みの画像データをプロジェクタ200に送信する。CPU101は、画像伝送の開始指示以降は、定期的にまたは表示部111の変化に応じて上述のキャプチャ、エンコード、画像データ送信処理を、ユーザから画像伝送の停止指示を検知するまで繰り返す。
プロジェクタ200では、以上のPC100の動作によって送信された画像データを通信部205が受信すると、CPU201がこれをRAM203に格納する。次に、CPU201は、デコーダ204を制御し、RAM203に格納されたJPEG符号化された画像データのデコード処理を行う。ここでデコード後の画像データは、RAM203に確保されているVRAM領域に格納される。次に、CPU201は、投影制御部207を制御し、VRAM領域に格納された画像データを読み出し、これを投影部206から投影表示する。
以上が、本実施形態の画像伝送システムにおいて、PC100から送信する画像データをプロジェクタ200が受信して投影するまでの通常の処理である。
<グループ情報を表示する手順>
次に、PC100およびプロジェクタ200によりグループ情報の表示を行なう動作シーケンスについて、図5のシーケンス図を用いて説明する。ここでは、2台のPC100a、PC100b(以下、PC−A、PC−B)とプロジェクタ200で画像伝送グループが構成されているものとする。そして其々のPCの転送画像がプロジェクタによって図6(a)のようにピクチャーバイピクチャー(PbyP)により投影されているものとする。また、このとき、PC−A、PC−Bの表示部には、GUI400が図6(b)のような態様で表示されている。
本シーケンスは、PC−Aのユーザが操作部107を介してGUI400の情報表示開始ボタン405を押下することで開始されるものとする(S501)。ボタンが押された旨を検知したPC−AのCPU101は、RAM103に格納されている自身が参加中の画像伝送グループの情報に基づいて図9に示すようなグループ情報画像700を作成し、エンコーダ105を制御してエンコードを行う。エンコード後のグループ情報画像700は、RAM103に格納される。(S502)なお、本実施形態ではグループ情報画像には、PC−Aとともに画像伝送グループを形成しているプロジェクタのIPアドレスおよびグループ名が含まれているものとした。これは、GUI400のグループ情報を表示するエリア401に表示される情報に一致している。但し、グループ情報画像700に含まれる情報はこれに限るものではなく、PC100が既存の画像伝送グループに参加する為に必要な情報であればその内容はどのようなものでもよい。
次に、CPU101は、通信部106を制御して、RAM103に格納されたグループ情報画像700およびレイアウト変更指示をプロジェクタ200に送信する(S503)。本実施形態におけるレイアウト変更指示とは、PC−Aがこれから送信するグループ情報画像をプロジェクタ200の投影部206により全画面表示する指示であるとして以下の説明を続けるが、これに限られるものではない。レイアウト変更指示の別の例の詳細については後述する。
以上のPC−Aの動作によって送信されたレイアウト変更指示をプロジェクタ200の通信部205が受信すると、CPU201は、投影制御部207を制御して、投影画像のレイアウトを受信したレイアウト変更指示に基づいて変更する(S504)。本例では、PC−Aからの画像の全画面表示へレイアウトが変更される。また、CPU201は、レイアウト変更指示を受信してからグループ情報画像700を受信する(S506)までの間、投影部206にPCから送信される画像を表示させないようにしてもよい。代わりにこの間には、画面の全体を黒で表示する全面黒画像などの所定の画像を表示させるように投影制御部207を制御してもよい。このようにすると、プロジェクタの投影画像のレイアウトが変化する途中の様子をユーザに見せなくすることができる。
CPU201は、通信部205を制御して同一画像伝送グループ内のPC(本例におけるPC−A、PC−B)に対して、表示レイアウトの変更内容を通知する(レイアウト変更通知:S505)。プロジェクタ200からのレイアウト変更通知により、PC100のCPU101は、S503で送信したレイアウト変更指示が受け付けられたこと、および/または、レイアウト変更指示に応じたレイアウトの変更が完了したことを認識する。また、PC100のCPU101は、レイアウト変更前のプロジェクタ200の投影レイアウト情報をRAM103に保存しておく(S505a)。こうして、画面のレイアウトがレイアウト変更指示に従って変更される直前のレイアウトを示すレイアウト情報が保持される。
次に、PC−AのCPU101は、通信部106を制御してRAM103に格納されているエンコード後のグループ情報画像700をプロジェクタ200に送信する(S506)。次に、PC−AおよびPC−BのCPU101は、通信部106を介してプロジェクタ200から受け取ったレイアウトの変更内容に基づいて図7(b)に示すようにGUI400の表示レイアウトエリア404の態様を変更する(S507)。
プロジェクタ200のCPU201は、通信部205がグループ情報画像700を受信したことを検知すると、デコーダ204を制御してグループ情報画像700のデコード処理を行う。デコード後の画像データは、RAM203(VRAM領域)に格納される。CPU201は、投影制御部207を制御し、RAM203に格納されたグループ情報画像700を読み出し、これを投影部206から投影表示する(S508)。このときのプロジェクタ200の投影画像は図7(a)のように、画面全体にグループ情報画像700が表示された状態となる。
なお、ここまでの説明では、S503〜S508において、PC−Aは、まずプロジェクタ200に対してレイアウト変更を指示し、その後、プロジェクタ200からのレイアウト変更通知を受信してからグループ情報画像を送信するものとした。しかしながら、レイアウト変更指示およびグループ情報画像の送信および受信の手順はこれに限られるものではない。
たとえば、PC−Aはプロジェクタ200に対して、レイアウト変更指示とグループ情報画像を同時に送信するようにしてもよい。この場合、プロジェクタ200のCPU201は、投影制御部207を制御して、まずレイアウト変更指示に従ってレイアウトを変更した後、グループ情報画像700を投影させるよう動作する。
また、PC−Aが、先にレイアウトを変更した後にグループ情報画像700を投影させるような指示をする指示情報をプロジェクタ200に送信し、プロジェクタ200のCPU201がその指示に従って動作する構成でもよい。
ここまで説明した通り、画像伝送グループを構成するプロジェクタ200は、PC−AとPC−Bから送信される画像をPbyP投影していた場合にも、PC−Aから送信されるグループ情報画像を、投影領域の全面に表示することができる構成となっている。よって、該グループに参加したいPCのユーザは、画像転送グループの情報を適切なレイアウトで視認することができ、このグループに参加する為に必要な情報を容易に認識することが可能となる。
また、S503でCPU101は以下のように動作してもよい。CPU101は、RAM103に格納されたプロジェクタ200のレイアウト情報を取得し、自身が送信する画像が所定の投影状態にあるか否かを判断する。例えば、自身が送信する画像が投影対象ではない場合や、投影されていたとしても複数のPCから送信される画像を同時にピクチャインピクチャ(PinP)表示やPbyP表示されている場合など、投影領域に対する割合が所定の割合未満である場合は、所定の投影状態にないと判断する。そして、CPU101は、所定の投影状態にないと判断した場合に、通信部106を制御し、RAM103に格納されたグループ情報画像700およびレイアウト変更指示をプロジェクタ200に送信する。
このレイアウト変更指示は例えば、前述のように自身が送信する画像を全画面で表示するための指示であってもよい。また、プロジェクタ200がPinP表示やPbyP表示を行っていた場合は、自身の送信画像の表示領域の大きさを所定の割合以上にするための指示であってもよい。PC−Aがこのように動作した場合、プロジェクタ200の投影画像は図8(a)のようになり、PC−A、PC−BのGUI400は図8(b)のようになる。
一方、CPU101は、プロジェクタ200が所定の投影状態にあると判断した場合に、レイアウト変更指示を行わずにグループ情報画像700を送信するように動作してもよい。
<グループ情報の表示を終了する手順>
図5のシーケンスの説明に戻る。S509は、グループ情報画像700の表示終了のフローである。本例では、PC−BのGUI400において情報表示終了ボタン406が押下された場合を例として説明する。まず、PC−BのGUI400において、ユーザによる情報表示終了ボタン406の押下が検出される(S509)。情報表示終了ボタン406が押された旨を検知したPC−BのCPU101は、通信部106を介してプロジェクタ200に対して、グループ情報画像700の表示終了指示とレイアウト変更指示を送信する(S510)。ここで送信されるレイアウト変更指示は、S505にてPC−BのRAM103に保存された、グループ情報画像700を表示するためのレイアウト変更前の表示レイアウトへ変更する指示である。
プロジェクタ200のCPU201は、通信部205を介してグループ情報画像の表示終了指示およびレイアウト変更指示を受信したことを検知すると、このレイアウト変更指示に基づいて投影制御部207にレイアウトを変更するよう指示する。投影制御部207は、この指示に従い投影部206のレイアウトを変更する(S511)。こうして、プロジェクタ200による表示は、グループ情報画像700を表示するためのレイアウト変更前の表示レイアウトへ戻る。
次に、CPU201は、通信部205を制御して、同一画像伝送グループ内のPC(本例におけるPC−A、PC−B)に対して、グループ情報の表示を終了する旨およびS511にて変更したグループ情報の表示終了後のレイアウト情報を通知する(S512)。次に、PC−A、PC−BのCPU101はそれぞれ、通信部106を介してグループ情報表示の終了指示を受けたことを検知すると、表示部111に表示中の画像データをキャプチャしエンコードする。そして、通信部106を介してプロジェクタ200に送信する(S513)。プロジェクタ200のCPU201は、通信部205を介して受信したPC−A、PC−Bの画像を投影部206に投影する(S514)。
以上のようにPC−A、PC−Bおよびプロジェクタ200が動作することにより、グループ情報画像700の表示が終了すると、図6(a)に示すような、グループ情報画像を表示する前のレイアウトでの画像表示を再開できる。
なお、S509〜S514において、グループ情報画像700を送信していないPC(PC−B)が、プロジェクタ200に対して、該画像の表示終了を指示するシーケンスを説明した。しかし、グループ情報画像700の表示終了指示はPC−Aが行ってもよいのは勿論であり、PC−AがS509、S510で説明したPC−Bの動作と同様の動作を行えばよい。
なお、S509では、グループ情報画像700の表示終了フローの開始トリガとなるイベントの検出をユーザ操作による情報表示終了ボタン406の押下の検出を例にして説明したが、これに限られるものではない。たとえば、グループ情報画像の表示後に所定台数のPCが新規に画像転送グループに参加したことを表示終了フローの開始のイベントとして検知するように制御してもよい。以下では、このようなイベント検出による制御を採用した場合のPC100およびプロジェクタ200の動作について説明する。
前述の手順でプロジェクタ200が新たなPC(PC−Cとする)の接続要求を許可すると、PC−A、PC−Bに対して、PC−Cが新たに画像転送グループに参加した旨を通知する。PC−AもしくはPC−BのCPU101は、予め定められたPC台数分の参加通知を受信するとS510以降のシーケンスを実行する。こうして、画像伝送グループに参加しているPCの台数が所定台数に到達したことをトリガとしてグループ情報画像の表示を自動的に終了させることができる。なお、プロジェクタ200が、新たに参加したPCの台数をカウントし、カウント値が所定数以上になった場合に自発的にS511以降のシーケンスに進むようにしてもよい。この場合、プロジェクタ200によりグループ情報画像を表示する前のレイアウト情報を保持しておくことが必要になる。以上が、グループ情報画像700の表示終了フローの別の開始トリガの説明である。
また、S508において、プロジェクタ200がグループ情報画像を表示している間は、これまでに説明した表示終了フローの開始トリガ以外ではグループ情報画像の表示終了や表示レイアウトの変更を禁止することが望ましい。
表示レイアウトの変更を禁止する方法としては、例えば、プロジェクタ200のCPU201が、グループ内のPCから送られてくるレイアウト変更要求を無視するようにすることが挙げられる。また、CPU201が、グループ内のPC(PC−A、PC−B)に対して、レイアウト変更要求を制限するよう指示するようにしてもよい。以上のように、所定の動作以外でグループ画像表示中の投影レイアウトを制限することで、PCのユーザが誤ってレイアウト変更を要求したとしても、グループ情報画像の表示を維持することができる。
[第二実施形態]
上記の第一実施形態では、グループ情報画像をPC100が生成してプロジェクタ200に表示させたが、これに限られるものではない。第二実施形態では、プロジェクタ200がグループ情報画像を作成して投影する構成を説明する。以下、図10を参照して、第二実施形態における、PC100およびプロジェクタ200からなる画像伝送システムについて説明する。なお、第二実施形態におけるPC100およびプロジェクタ200の構成は第一実施形態(図1〜図3)と同様であるため説明は省略する。
PC−AのユーザAがGUI400の情報表示開始ボタン405を押下したとする(S801)。情報表示開始ボタン405が押されたことを検知したPC−AのCPU101は、通信部106を制御してプロジェクタ200に対してグループ情報の表示指示を送信する(S802)。
プロジェクタ200のCPU201は、通信部205を介してグループ情報の表示指示を受け取ると、RAM203に格納されている自身のIPアドレス及びグループ名を読み出し、図9に示すようなグループ情報画像700を作成する(S803)。次に、CPU201は、投影制御部207に対して、S803で作成したグループ情報画像を所定の大きさで表示できるようにレイアウト変更を指示する(S804)。そして、投影制御部207は、このレイアウト変更指示に従ってグループ情報画像700を投影するように投影部206を制御する。
次に、CPU201は、通信部205を制御してPC−A,PC−Bに対して、変更通知により表示レイアウトの変更とグループ情報画像を表示中であることを通知する(S805)。表示レイアウトの変更の通知を受けたPC−A、PC−BのCPU101はそれぞれ、図7(b)に示すように、プロジェクタがグループ情報を表示中である旨を示すようにGUI400の態様を変更する(S806)。
以上説明したように、上記各実施形態によれば、既存の画像伝送グループに他のPCを参加させようとする際に、そのPCのユーザが参加したいグループの情報を容易に認識できるようになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (18)

  1. 投影装置とネットワークを介して接続し、投影システムの一部として動作する情報処理装置であって、
    前記情報処理装置が有する画像を、投影画像として前記投影装置に前記ネットワークを介して送信するよう制御する送信制御手段と、
    前記情報処理装置のディスプレイに表示される画像を投影する指示を検知する第1の検知手段と、
    前記投影システムに関するパラメータを投影する指示を検知する第2の検知手段と、を備え、
    前記第1の検知手段により前記情報処理装置のディスプレイに表示される画像を投影する指示が検知された場合、前記送信制御手段は、前記情報処理装置のディスプレイに表示される画像を投影画像として前記ネットワークを介して送信するよう制御し、
    前記第2の検知手段により前記投影システムに関するパラメータを投影する指示が検知された場合、前記送信制御手段は、前記投影装置により投影される投影レイアウトを所定のレイアウトに変更する指示を前記ネットワークを介して送信するとともに、前記投影システムに関するパラメータを示す画像を投影画像として前記ネットワークを介して送信するよう制御することを特徴とする情報処理装置。
  2. 前記ネットワーク上の装置のうち、少なくとも1つの投影装置とグループを形成するグルーピング手段をさらに有し、
    前記投影システムに関するパラメータは、前記グルーピング手段により形成したグループの識別子を含むことを特徴とする請求項1に記載の情報処理装置。
  3. 前記投影システムに関するパラメータは、前記投影装置の識別子を含むことを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記投影装置の識別子は、前記投影装置のIPアドレスを含むことを特徴とする請求項3に記載の情報処理装置。
  5. 前記投影システムに関するパラメータは、他の情報処理装置または他の投影装置が、前記投影システムの一部として動作するために用いられることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記投影システムに関するパラメータを示す画像及び前記投影レイアウトを所定のレイアウトに変更する指示を送信した後に、前記投影システムに関するパラメータの投影を停止する指示を検知した場合、前記送信制御手段は前記投影レイアウトを、前記所定のレイアウトに変更する前のレイアウトに変更する指示を前記ネットワークを介して送信するよう制御することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記投影システムを制御するための制御画面を表示するよう制御する表示制御手段をさらに有し、
    前記制御画面は、前記投影システムに関するパラメータを投影する指示を受け付ける第1の指示アイテムを含むことを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記制御画面は、前記投影システムに関するパラメータの投影を停止する指示を受け付ける第2の指示アイテムを含むことを特徴とする請求項7に記載の情報処理装置。
  9. 前記制御画面は、前記投影装置における前記投影レイアウトの状態を示す領域を含むことを特徴とする請求項7または8に記載の情報処理装置。
  10. 前記投影システムに関するパラメータを示す画像が前記投影装置に送信された場合、前記表示制御手段は、前記投影システムに関するパラメータの表示中であることを表示するよう制御することを特徴とする請求項7乃至9のいずれか1項に記載の情報処理装置。
  11. 前記投影システムに関するパラメータを示す画像を生成する生成手段をさらに有する請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. 前記第2の検知手段により前記投影システムに関するパラメータを投影する指示が検知された場合、前記送信制御手段は、前記投影装置により投影される投影レイアウトを所定のレイアウトに変更する指示を送信し、前記指示が前記投影装置に受信された後、前記投影システムに関するパラメータを示す画像を投影画像として送信するよう制御することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  13. 前記第2の検知手段により前記投影システムに関するパラメータを投影する指示が検知された場合、前記送信制御手段はさらに、前記投影レイアウトを所定のレイアウトに変更した後に、前記投影システムに関するパラメータを示す画像を表示させる指示を送信することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
  14. 前記所定のレイアウトは、前記情報処理装置が送信する画像が前記投影装置が投影する画面全体に投影されるレイアウトであることを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
  15. 前記投影装置から、前記投影レイアウトを示すレイアウト情報を前記ネットワークを介して受信するよう制御する受信制御手段をさらに有し、
    前記レイアウト情報が前記所定のレイアウトを示す場合、前記送信制御手段は前記投影レイアウトを前記所定のレイアウトに変更する指示を送信しないよう制御することを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。
  16. 投影装置とネットワークを介して接続し、投影システムの一部として動作する情報処理装置の制御方法であって、
    前記情報処理装置が有する画像を、投影画像として前記投影装置に前記ネットワークを介して送信するよう制御する送信制御工程と、
    前記情報処理装置のディスプレイに表示される画像を投影する指示を検知する第1の検知工程と、
    前記投影システムに関するパラメータを投影する指示を検知する第2の検知工程と、を有し、
    前記第1の検知工程において前記情報処理装置のディスプレイに表示される画像を投影する指示が検知された場合、前記送信制御工程は、前記情報処理装置のディスプレイに表示される画像を投影画像として前記ネットワークを介して送信するよう制御し、
    前記第2の検知工程で前記投影システムに関するパラメータを投影する指示が検知された場合、前記送信制御工程では、前記投影装置により投影される投影レイアウトを所定のレイアウトに変更する指示を前記ネットワークを介して送信するとともに、前記投影システムに関するパラメータを示す画像を投影画像として前記ネットワークを介して送信するよう制御することを特徴とする情報処理装置の制御方法。
  17. コンピュータを、請求項1乃至15のいずれか1項に記載された情報処理装置の各手段として機能させるためのプログラム。
  18. 請求項1乃至15のいずれか1項に記載された情報処理装置の各手段としてコンピュータを機能させるためのプログラムを格納した記憶媒体。
JP2012286165A 2012-12-27 2012-12-27 情報処理装置及びその制御方法 Active JP6151913B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012286165A JP6151913B2 (ja) 2012-12-27 2012-12-27 情報処理装置及びその制御方法
US14/140,941 US10282159B2 (en) 2012-12-27 2013-12-26 Information processing apparatus for transmitting an image to a display apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012286165A JP6151913B2 (ja) 2012-12-27 2012-12-27 情報処理装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2014127192A JP2014127192A (ja) 2014-07-07
JP2014127192A5 JP2014127192A5 (ja) 2016-02-12
JP6151913B2 true JP6151913B2 (ja) 2017-06-21

Family

ID=51016596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012286165A Active JP6151913B2 (ja) 2012-12-27 2012-12-27 情報処理装置及びその制御方法

Country Status (2)

Country Link
US (1) US10282159B2 (ja)
JP (1) JP6151913B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6378606B2 (ja) 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
USD775154S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775152S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775156S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775157S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775153S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
USD775155S1 (en) * 2015-12-17 2016-12-27 Outbrain Inc. Mobile device display screen or portion thereof with a graphical user interface
JP6848259B2 (ja) * 2016-08-17 2021-03-24 セイコーエプソン株式会社 制御装置、表示装置、表示システムおよび制御方法
CN108319461A (zh) * 2017-01-16 2018-07-24 中强光电股份有限公司 投影装置维护系统与投影装置维护方法
TW202005367A (zh) * 2018-05-29 2020-01-16 日商索尼股份有限公司 投影機及投影機之控制方法
US20230043578A1 (en) * 2021-08-04 2023-02-09 Liq Meng Corp. Tour group member gathering device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4176603B2 (ja) * 2003-09-24 2008-11-05 株式会社東芝 画像表示装置、画像表示システム、画像表示装置選択方法及びプログラム
JP4692529B2 (ja) 2007-08-07 2011-06-01 セイコーエプソン株式会社 グラフィカルユーザインタフェース装置
JP5375338B2 (ja) * 2009-05-29 2013-12-25 セイコーエプソン株式会社 画像表示システム、画像表示装置、画像表示方法、画像供給装置、およびプログラム
US9167194B2 (en) * 2010-04-12 2015-10-20 Dell Products, Lp Method for generating a unique service set identifier on a wireless projector
JP5585506B2 (ja) * 2011-03-18 2014-09-10 セイコーエプソン株式会社 プログラム、情報記憶媒体、端末装置、及び表示システム

Also Published As

Publication number Publication date
US20140184474A1 (en) 2014-07-03
JP2014127192A (ja) 2014-07-07
US10282159B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
JP6151913B2 (ja) 情報処理装置及びその制御方法
US9913301B2 (en) Content sharing method and device
US9596431B2 (en) Transmission system and program
JP5522381B2 (ja) 表示装置、端末装置、表示システム、プログラム、情報記憶媒体、表示方法および画像変更方法
JP7022622B2 (ja) 情報処理装置およびその制御方法、並びにプログラム
US10405362B2 (en) Communication device, communication device control method, and display system
JP6337910B2 (ja) 情報端末、システム、制御方法及び記憶媒体
US20190235826A1 (en) Communication terminal, communication system, display control method, and recording medium
US11265475B2 (en) Image capturing apparatus, client apparatus, method for controlling image capturing apparatus, method for controlling client apparatus, and non-transitory computer-readable storage medium
WO2017061081A1 (en) Communication apparatus and control method for the same
US20170085776A1 (en) Imaging apparatus and method for controlling imaging apparatus
US10356361B2 (en) Communication terminal, communication system, and display method
US11656834B2 (en) Information processing device, non-transitory recording medium, and information processing system
JP6911595B2 (ja) 通信端末、通信システム、出力方法、及びプログラム
JP2010015032A (ja) プロジェクタ及びその制御方法並びに画像投射表示システム
US20200036763A1 (en) Information processing apparatus and control method
US20150339115A1 (en) Information processing apparatus, method for controlling the same, and storage medium
JP6663415B2 (ja) 情報処理装置およびその制御方法、並びにプログラム
JP6157113B2 (ja) 表示制御装置、表示制御方法、プログラム及び記録媒体
JP5833611B2 (ja) 通信管理装置、端末、通信管理システム、通信管理方法、プログラム及び情報記憶媒体
JP2011123127A (ja) 画像処理装置、画像表示装置及び画像伝送システム
JP2016177088A (ja) 表示制御装置、表示制御システム、グラフィカルユーザインターフェース及び表示制御プログラム
JP6413911B2 (ja) 操作指示システム、操作指示プログラム、及び操作指示方法
US8035700B2 (en) Information processing apparatus, remote indication system, and computer readable medium
JP2017152797A (ja) 撮像システムおよび撮像端末

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170526

R151 Written notification of patent or utility model registration

Ref document number: 6151913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151