JP7047765B2 - 画像投影装置及び情報処理方法 - Google Patents

画像投影装置及び情報処理方法 Download PDF

Info

Publication number
JP7047765B2
JP7047765B2 JP2018547150A JP2018547150A JP7047765B2 JP 7047765 B2 JP7047765 B2 JP 7047765B2 JP 2018547150 A JP2018547150 A JP 2018547150A JP 2018547150 A JP2018547150 A JP 2018547150A JP 7047765 B2 JP7047765 B2 JP 7047765B2
Authority
JP
Japan
Prior art keywords
maintenance
image projection
functional state
projector
projection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018547150A
Other languages
English (en)
Other versions
JPWO2018079023A1 (ja
Inventor
武明 平澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018079023A1 publication Critical patent/JPWO2018079023A1/ja
Application granted granted Critical
Publication of JP7047765B2 publication Critical patent/JP7047765B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3144Cooling systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/16Cooling; Preventing overheating
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示は、画像投影装置及び情報処理方法に関する。
画像をスクリーン等に投影して表示する画像投影装置であるプロジェクターは、使用時間や使用環境に応じて、機器の故障や光学部品の劣化の可能性が高まる。このため、従来、プロジェクターは、所定の時間が経過する毎にユーザに対してメンテナンスを促す通知を出力する機能を備えている。また、例えば特許文献1では、メンテナンスが実施されない結果、プロジェクター1を構成するデバイスが大きなダメージを受けないように、プロジェクター1の状態に応じてプロジェクター1の電源をオフにする対策が取られている。
例えば、プロジェクター内部への塵埃侵入を防ぐために、プロジェクターには吸気口にフィルターが設けられている。しかし、プロジェクターの使用時間が増加するにつれてフィルターに付着する塵埃が増加する。これに伴い圧力損失は増加し、プロジェクター内部への冷却風の取り込みが阻害される。このような状態がさらに進行した場合、プロジェクター内部を十分に冷却することができなくなり、プロジェクター内部に配置された各種デバイス、特に光学デバイスにダメージが発生し、寿命が短縮する可能性がある。そこで、従来のプロジェクターにおいては、例えば「フィルターを交換して下さい」というようなメッセージを投影面に投影して表示し、ユーザにフィルターのメンテナンスを促すようにしている。
特開2003-43577号公報
しかし、上述のようなメッセージを通知するのみでは、フィルターのメンテナンスを行わないことによる具体的な損失がユーザに伝わらないため、フィルター交換の動機付けを十分に行うことができない。
また、ユーザに対してフィルター等のメンテナンスの実施を促す通知を行う場合、従来、プロジェクターの使用環境によらず一律に使用時間のみに基づいて当該通知がなされてきた。しかしながら、実際にプロジェクターのメンテナンスが必要となるタイミングは、ユーザの使用環境やプロジェクターの使用モードによって異なる。そのため、まだメンテナンス不要なプロジェクターにおいてメンテナンスの実施を促したり、より早いタイミングでプロジェクターのメンテナンスが必要であったにも関わらずメンテナンスの実施を促せなかったりする状況が生じていた。
そこで、本開示では、適切なタイミングでメンテナンスの実施を促すことが可能な、新規かつ改良された画像投影装置及び情報処理方法を提案する。
本開示によれば、1または複数のセンサから取得されたセンサ情報に基づいて、画像投影装置を構成する1または複数のデバイスの機能状態を演算する分析部と、デバイスの機能状態に基づいて、各デバイスのメンテナンスの要否を判定する判定部と、判定部によりメンテナンスが必要と判定されたタイミングで、デバイスのメンテナンスの実施を促す案内情報を、通知部を介してユーザに対して提示する通知制御部と、画像投影装置の筐体内部の状態を撮影するカメラと、を備え、通知制御部は、メンテナンスが必要と判定されたデバイスを、カメラによりタイミングに応じて撮影した画像をさらに提示する、画像投影装置が提供される。
また、本開示によれば、プロセッサにより、1または複数のセンサから取得されたセンサ情報に基づいて、画像投影装置を構成する1または複数のデバイスの機能状態を演算すること、デバイスの機能状態に基づいて、各デバイスのメンテナンスの要否を判定すること、メンテナンスが必要と判定されたタイミングで、デバイスのメンテナンスの実施を促す案内情報を、通知部を介してユーザに対して提示すること、とを含み、提示することは、メンテナンスが必要と判定されたデバイスを、画像投影装置の筐体内部の状態を撮影するカメラによりタイミングに応じて撮影した画像をさらに提示する、情報処理方法が提供される。
以上説明したように本開示によれば、適切なタイミングでメンテナンスの実施を促すことが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るプロジェクターを示す模式図である。 フィルターへの塵埃付着量と、冷却風量及びデバイス温度との一関係例を示す説明図である。 デバイス温度とデバイス寿命との一関係例を示す説明図である。 フィルターへの塵埃付着量とデバイス寿命との一関係例を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。 同実施形態に係る情報処理装置によるメンテナンス実施通知処理の一例を示すフローチャートである。 投影面に投影された画面上の案内情報の一例を示す説明図である。 投影面に投影された画面上の案内情報の一例を示す説明図であって、現在のプロジェクター寿命とメンテナンス後のプロジェクター寿命とを提示する例を示す。 投影面に投影された画面上の案内情報の一例を示す説明図であって、プロジェクター内部をカメラにより撮影した画像とともに提示する例を示す。 投影面に投影された画面上の案内情報の一例を示す説明図であって、メンテナンスによる効果を提示する例を示す。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.メンテナンス実施通知処理
2.1.機能構成
2.2.処理例
<1.概要>
まず、図1~図4を参照して、本開示の一実施形態に係る画像投影装置であるプロジェクターの概略構成と、当該プロジェクターにおけるメンテナンス通知機能の概要とを説明する。図1は、本実施形態に係るプロジェクター1の概略構成を示す模式図である。図2は、フィルターへの塵埃付着量と、冷却風量及びデバイス温度との一関係例を示す説明図である。図3は、デバイス温度とデバイス寿命との一関係例を示す説明図である。図4は、フィルターへの塵埃付着量とデバイス寿命との一関係例を示す説明図である。
プロジェクター1は、例えば画像をスクリーン等に投影して表示する画像投影装置の一例である。本実施形態に係るプロジェクター1の表示方式は特に限定されず、例えば3LCD(Liquid Crystal Display)方式、DLP方式、LCOS(Liquid
Crystal On Silicon)方式等、様々な方式のプロジェクターを想定している。例えば、3LCD方式のプロジェクターでは、光源部である光源装置から出射された白色光を、赤、緑、青の三原色に分離し、3つのLCDをそれぞれ透過させることで、スクリーン等の表示面に投影する画像を生成している。3LCD方式のプロジェクターは、例えば液晶パネルやダイクロイックプリズム等のように入射された光を変調して合成する光変調合成系の構成部品や、反射ダイクロイックミラー、反射ミラー等のように液晶パネルに光源装置からの光を導く照明光学系の構成部品、ダイクロイックプリズムから出射された画像を投射する投射光学系の構成部品等を備えている。図1において、電源基板や信号処理基板、光源、光学集光系等を含む、プロジェクター1を構成する各種デバイスを構成部品20として示している。
プロジェクター1は、図1に示すように、筐体10の内部に構成部品20を配置し構成されている。構成部品20により生成された画像は、レンズを介して筐体10から投影面へ出力される。プロジェクター1には、光源あるいは電源等の発熱による筐体10内部の温度上昇を抑制し、機器の故障や光学部品の劣化を防止するため、筐体10内部の空気を排出口14から排出する冷却ファン30が設けられている。冷却ファン30が作動することにより吸気口12から外気が筐体10内部に取り込まれる。この際、筐体10内部への塵埃の侵入を防ぐため、筐体10の吸気口12にはフィルター40が設けられている。なお、図1は模式図であり、図1に示したフィルター40以外にも、筐体10の他の開口部(図示せず。)にファンを設置し、筐体10内部の排気を補助する構成としてもよい。
本実施形態に係るプロジェクター1は、プロジェクター1を構成する各種デバイスの機能状態に応じて、それぞれ適切なタイミングでユーザにメンテナンスの実施を促す通知を出力する機能を有する。すなわち、センサを用いてプロジェクター1の性能あるいは性能に影響を及ぼす情報を取得し、取得されたセンサ情報に基づいて実際のデバイスの機能状態を確認しながらそれぞれのデバイスのメンテナンスの要否を判定する。そして、プロジェクター1は、メンテナンスが必要と判定されたタイミングで、メンテナンスの実施を促す通知を行う。
例えば、プロジェクター1内部に設けられるデバイスのうち、液晶パネル等の光学デバイスの機能状態は、筐体10内部の冷却状態に影響する。筐体10内部の冷却は、筐体10の吸気口12から外気を冷却風として取り込み、取り込まれた冷却風を筐体10の内部を通過させ、排出口14から排出して行われる。吸気口12には、筐体10内部への塵埃の侵入を防ぐため、フィルター40が設けられている。フィルター40への塵埃の付着量が増加し、目詰まりが生じると、筐体10内部に取り込まれる外気量は低下し、筐体10内部が十分に冷却されなくなる。そうすると、光学デバイス等の温度が上昇し、その寿命が短くなってしまう。
以下、具体的に説明する。まず、図2より、フィルター40への塵埃付着量と、冷却風量及びデバイス温度との関係をみる。ここで、図2において、冷却風量は、筐体10内部に供給される相対風量として示している。相対風量は、フィルター40の初期状態での風量を100%とした場合の相対風量を示している。また、フィルター40への塵埃付着量は、単位面積当たりの塵埃付着量を示している。図2に示すように、フィルター40に塵埃が付着していくと、フィルター40の圧力損失が増大する。このとき、冷却ファン30の駆動能力の許容範囲を超えるまでは、冷却ファン30の駆動能力を高めることで筐体10内部の冷却性能を低下させずに対応可能である。
しかし、冷却ファン30の駆動能力を超える圧力損失が発生した場合、筐体10内部に取り込まれる外気の風量が低下する。なお、筐体10内部に取り込まれる外気の風量の低下度合は、フィルター40に堆積する塵埃の素性、冷却ファン30の能力、フィルター40のフィルター面積等によって左右される。このように筐体10内部に取り込まれる外気の風量が低下すると、筐体10内部に設けられているデバイスの冷却能力が低下し、当該デバイス温度が上昇する。
次に、図3より、筐体10内部に設けられたデバイスのデバイス温度と、当該デバイスのデバイス寿命との関係をみる。一般に、光学部材(特に、有機材料を使用している光学部材)は、高温で使用するほど性能劣化が進み、寿命が短くなる。プロジェクター1の光学デバイスも同様であり、図3に示すように、デバイス温度が高くなるほどデバイス寿命は短くなる。なお、デバイス寿命として、例えばデバイスの累積故障率が50%を超える時間を寿命と定義してもよい。
そして、図2及び図3より、図4に示すようなフィルター40への塵埃付着量とデバイス寿命との関連性が得られる。図4より、フィルター40への塵埃付着量が多い状態でプロジェクター1を使用するほど、光学デバイスの寿命が短くなることがわかる。また、光学デバイスがダメージを受けて寿命が短くなった場合、そのダメージは一般的には不可逆である。このため、フィルター40を交換したとしても、フィルター40の交換後に光学デバイスのダメージが回復して寿命が元に戻るということはない。したがって、デバイスがダメージを受ける前段階で確実にメンテナンスが実行されるようにユーザを促せるかが、プロジェクター1を長期間安定して使用する上で重要となる。
そこで、本実施形態に係るプロジェクター1は、当該プロジェクター1にとって最適な時期にユーザが確実にプロジェクター1のメンテナンスを行うように促す機能を有している。これにより、プロジェクター1を構成する各デバイスのデバイス寿命が設計時に想定した寿命より短くなることはなく、プロジェクター1の性能が著しく低下することもない。以下、本実施形態に係るプロジェクター1のメンテナンスの実施を促す通知を行う処理について説明する。
<2.メンテナンス実施通知処理>
[2.1.機能構成]
まず、図5に基づいて、本実施形態に係るプロジェクター1において、プロジェクター1のメンテナンスの実施を促す通知を行う処理を実行する情報処理装置100の機能構成を説明する。図5は、本実施形態に係る情報処理装置100の機能構成を示す機能ブロック図である。情報処理装置100は、図5ではプロジェクター1の本体に設けられているものとして記載しているが、プロジェクター1とは別体に設けられていてもよい。
本実施形態に係る情報処理装置100は、図5に示すように、分析部110と、判定部120と、通知制御部130と、記憶部140とを含む。
分析部110は、プロジェクター1の性能あるいはプロジェクター1の性能に影響を及ぼす情報に基づいて、デバイスの機能状態を分析する。プロジェクター1の性能あるいはプロジェクター1の性能に影響を及ぼす情報は、センサ50によって取得される。センサ50は、プロジェクター1本体に設けられていてもよく、情報処理装置100と通信可能に接続された外部のセンサであってもよい。センサ50としては、例えば、温度センサ51、輝度センサ52、色度センサ53、流量計54、時間計55、カメラ56等を用いてもよい。
温度センサ51は、プロジェクター1の筐体10内部に設けられ、筐体10の内部温度を測定するセンサである。あるいは、温度センサ51は、筐体10の内部に設けられたデバイスのデバイス温度を測定するセンサであってもよい。温度センサ51により、筐体10内部の冷却状態を把握することができる。輝度センサ52及び色度センサ53は、プロジェクター1により投影される投射光の輝度及び色度を測定するセンサである。輝度あるいは色度より、プロジェクター1の光源あるいは液晶パネルの機能状態を把握することが可能である。流量計54は、吸気口12から筐体10内部に取り込まれる外気の流量を測定する。流量計54により測定された流量によって、フィルター40の詰まり具合を把握することが可能となる。時間計55は、プロジェクター1の累計使用時間あるいは前回のメンテナンス実施からの使用時間を計測する。カメラ56は、筐体10内部の状態を撮影する。デバイスの状態を視覚的に判断可能な場合には、カメラ56を用いて対象となるデバイスを撮影可能に構成すればよい。
なお、プロジェクター1には同一種類のセンサが複数設けられていてもよい。また、プロジェクター1は、センサ50として上記以外のセンサを利用してもよい。情報処理装置100は少なくとも1つのセンサから情報を取得できればよい。センサ50により取得された情報(以下、「センサ情報」ともいう。)は、情報処理装置100の分析部110へ入力される。
分析部110は、センサ50により取得されたセンサ情報に基づき、プロジェクター1を構成するデバイスの機能状態を分析する。ここで、デバイスの機能状態とは、デバイスダメージの程度をいい、具体的にはデバイス寿命あるいは故障率等により表される。各デバイスは、使用時間や使用環境に応じて徐々に機能が低下する。分析部110は、デバイスの機能の低下度合、すなわち、デバイスのダメージの程度を、センサ情報に基づき算出する。算出された各デバイスの機能状態は、判定部120へ出力される。
判定部120は、分析部110により算出された各デバイスの機能状態に基づいて、デバイスのメンテナンス要否を判定する。各デバイスの機能状態にはそれぞれ閾値が設定されており、判定部120は、各デバイスについて現在の機能状態が閾値を下回ったか否かを判定する。判定部120は、少なくとも1つのデバイスについてメンテナンスが必要と判定したとき、通知制御部130に対して通知処理の実行を指示する。また、判定部120は、案内情報通知後に取得されたセンサ情報に基づいて、メンテナンスが実施されたか否かを判定する。判定部120は、メンテナンスの実施の有無に基づき、必要に応じてプロジェクター1の各デバイスを制御する駆動制御部70に、プロジェクター1の駆動モードを変更させる。
通知制御部130は、メンテナンスが必要と判定されたデバイスのメンテナンスの実施を促す案内情報を、メンテナンスが必要と判定されたタイミングでユーザに対して提示する。通知制御部130は、案内情報を通知可能なプロジェクターの通知部60に対して、案内情報の提示を指示する。
通知部60としては、例えば、プロジェクター1により投影される画像上に表示させるための機能部として、表示処理部61及び投影部63がある。表示処理部61は、通知制御部130の指示を受けて、デバイスのメンテナンスの実施を促す案内情報を投影される画像上に重畳する処理を行い、処理後の画像が投影部63を介して投影面に投射される。本実施形態においては、デバイスのメンテナンスの実施を促す案内情報を、プロジェクター1により投影される画像上に表示させることができるため、ユーザにわかりやすく通知することができる。あるいは、通知部60として、例えば、プロジェクター1の本体に設けられた本体表示部65または音声出力部67等を利用してもよい。さらには、外部機器との通信を行うインタフェース部69を介して、外部機器に表示させてもよい。外部機器としては、例えばリモートコントローラ等がある。
記憶部140は、メンテナンス実施通知処理を行うために必要な各種情報を記憶する。記憶部140には、例えば、メンテナンス実施の要否を判定するために必要な、デバイスの機能状態に関する閾値が記憶されている。あるいは、記憶部140には、通知部60による通知の仕方、案内情報を通知したがメンテナンスが実行されない場合に設定するプロジェクター1の駆動モード等が記憶されている。なお、図5では、記憶部140は、判定部120にのみ参照されるように記載されているが、本開示はかかる例に限定されず、他の機能部が必要とする情報を記憶することも可能であり、この場合、記憶部140は、それらの機能部によって参照可能に構成される。
[2.2.処理例]
図6~図10に基づいて、本実施形態に係るプロジェクター1において、情報処理装置100によるメンテナンス実施通知処理の一例を説明する。なお、図6は、本実施形態に係る情報処理装置100によるメンテナンス実施通知処理の一例を示すフローチャートである。図7~図10は、案内情報等の一例を示す説明図である。以下の説明では、具体例として、プロジェクター1の筐体10の吸気口12に設けられたフィルター40のメンテナンスの要否を判定する場合を考える。
本実施形態に係る情報処理装置100は、プロジェクター1の起動時、所定のタイミングでメンテナンスの実施を促す案内情報の提示を行うか否かを確認する。例えば、所定の時間が経過する毎に、図6に示す処理が行われる。
具体的には、まず、分析部110により、プロジェクター1の内部に設けられている各種デバイスの機能状態を分析部110により分析する(S100)。分析部110は、当該処理を実施するタイミングで、プロジェクター1の各デバイスの機能状態を取得するため、センサ50からセンサ情報を取得する。例えば、フィルター40の機能状態を取得するためには、センサ情報として、温度センサ51により取得されるプロジェクター1の内部温度、流量計54により測定されるフィルター40を通過する外気の流量等がある。さらに、時間計55から取得されるプロジェクター1の駆動時間あるいはフィルター40の使用時間、カメラ56によるフィルター40の撮影画像等をセンサ情報として用いてもよい。
分析部110は、センサ情報を用いて、各デバイスの機能状態を、デバイスダメージを表す指標、例えばデバイス寿命あるいは故障率等により表す。センサ情報とデバイスダメージを表す指標との関係は、予め取得されているものとする。分析部110は、センサ情報を、デバイスダメージを表す指標へ換算し、現在のデバイスの機能状態として判定部120へ出力する。分析部110は、監視するデバイス毎に機能状態を取得する。
次いで、判定部120により、分析部110により算出された各デバイスの機能状態に基づいて、デバイスのメンテナンス要否を判定する(S110)。判定部120は、記憶部140を参照して、各デバイスについて設定されている機能状態の閾値を取得し、ステップS100にて得られたデバイスの機能状態と比較する。そして、判定部120は、現在の機能状態と閾値との大小関係に基づき、当該デバイスのメンテナンスの要否を判定する。
例えば、デバイスの機能状態として、残されたデバイス寿命を用いるとすると、デバイス寿命が閾値として設定された時間以下となった場合にメンテナンスが必要と判定される。この場合、判定部120は、ステップS100にて得られたデバイス寿命が閾値よりも長いと判定すると、図6に示す処理を終了し、情報処理装置100は、次回メンテナンス実施通知処理を実施するタイミングまで待機する。一方、ステップS100にて得られたデバイス寿命が閾値以下と判定した場合には、判定部120は、ユーザに対してメンテナンスの実施を促す案内情報を通知することを決定し、通知制御部130へ案内情報の通知を指示する(S120)。
通知制御部130は、予め設定された通知方法により、デバイスのメンテナンスを実施するようユーザを促す。案内情報の通知の仕方としては、例えば、図7に示すように、プロジェクター1により投影される画像200に案内情報210を表示させたり、プロジェクター1の本体表示部65に表示させたりすることが考えられる。あるいは、プロジェクター1と通信可能なリモートコントローラ3等の外部機器の表示部3aに案内情報を表示させてもよく、プロジェクター1あるいは外部機器の音声出力部を介して音声により通知してもよい。プロジェクター1では、投影面に投影される画像を利用して案内情報を通知可能であるため、ユーザの視界に入りやすく案内情報を提示可能であり、メンテナンスの実施を効果的にユーザに促すことができる。案内情報は、通知部60のうち少なくともいずれか1つを用いて通知されればよい。
ここで、案内情報としては、例えば図7に示すように、「フィルターのメンテナンス時期です」といったフィルターのメンテナンスの実施をユーザに促すメッセージを用いてもよい。さらに、よりユーザにメンテナンスの実施の動機付けをするために、具体的なデバイスの機能状態等を提示してもよい。例えば、図8の案内情報212のように、フィルターのメンテナンスの実施を促すにあたり、メンテナンスをせずに使用し続けた場合の寿命と、メンテナンスを実施した場合のプロジェクター寿命とを比較表示してもよい。これにより、メンテナンスを実施した場合の効果が明確にユーザに提示されるので、ユーザに強い動機付けを与えることができる。また、例えば図9の案内情報214のように、プロジェクター1の内部に設置したカメラ56によりフィルターを撮影した撮影画像214aをメッセージとともに表示してもよい。実際のフィルターの状態をユーザに提示することで、視覚的にフィルターの機能低下を伝えることができるので、ユーザに強い動機付けを与えることが可能となる。
その他にも、例えば、フィルターのメンテナンスの未実施によってプロジェクター1の内部温度が上昇し、プロジェクター1の内部の光学部品の寿命が高速で短くなっている様子を、数字あるいはインジケーター等を用いて表示してもよい。また、プロジェクター1の内部デバイスに、回復不能な損失が蓄積していっている旨を表示することで通知してもよい。
案内情報の提示は、案内情報の提示をすると決定された以降、プロジェクター1の電源が最初にオフにされるとき、案内情報の提示が決定された直後、等に行ってもよい。また、案内情報をプロジェクター1の投影面に投影される画像上に表示させる場合、案内情報の表示位置は、例えば図7に示す画像右下のように投影画像の妨げにならない四隅であってもよく、ユーザへの動機付けを強くするため、画像全体に表示させてもよい。
その後、判定部120は、メンテナンスの実施を促したデバイスについて、メンテナンスが実施されたか否かを判定する(S130)。メンテナンスの実施の有無は、案内情報通知後にセンサ50により取得されたセンサ情報に基づいて判定可能である。例えば、フィルター40のメンテナンスの実施の有無について、例えばセンサ情報として得られたプロジェクター1の内部温度を用いて、内部温度が所定の温度以下まで低下したか否かによって判定することができる。フィルター40の機能低下の結果生じた内部温度の上昇は、フィルター40が清掃されると解消され、内部温度は低下する。このように、センサ情報そのものを利用して、メンテナンスの実施の有無を判定することができる。あるいは、分析部110によりセンサ情報を用いて各デバイスの機能状態を分析し、当該機能状態に基づきメンテナンスの実施の有無を判定してもよい。
判定部120は、メンテナンス対象のデバイスのメンテナンスが実施されたと判定すると、メンテナンス実施による効果をユーザに提示し(S140)、当該処理を終了後、情報処理装置100は、次回メンテナンス実施通知処理を実施するタイミングまで待機する。例えば図10に示すように、フィルターのメンテナンスを実施した結果、メンテナンス前からプロジェクターの寿命が延びたことを通知する効果情報220を提示してもよい。さらに、プロジェクター1を構成する内部デバイスの寿命の延びを提示してもよい。また、使用環境が同一であると仮定すれば、情報処理装置100は次のメンテナンス実施のタイミングも算出することが可能なことから、次回のメンテナンス実施時期の目安をユーザに提示するようにしてもよい。
一方、ステップS130にてメンテナンス対象のデバイスのメンテナンスが実施されていないと判定すると、判定部120は、案内情報をユーザに提示し続けることを決定する。そして、判定部120は、プロジェクター1の内部に設けられたデバイスへの損傷が生じないか否かを判定し、プロジェクター1の駆動モードの変更の要否を判定する(S150)。メンテナンス対象のデバイスのメンテナンスが実施されないままプロジェクター1が使用され続けると、当該デバイスだけでなく他のデバイスにも負荷がかかり、これらの性能や寿命を低下させる可能性がある。
そこで、メンテナンスの未実施が続き、プロジェクター1を構成するデバイスのうち少なくともいずれか1つの寿命が所定時間より短くなると判定したとき、プロジェクター1の一部の機能を低下させる駆動モードに変更し、負荷の軽減を図る(S160)。判定部120は、駆動モードの変更が必要と判定した場合、駆動モード変更指示を、プロジェクター1の各デバイスの駆動を制御する駆動制御部70へ出力する。駆動制御部70は、駆動モード変更指示を受けて、外部負荷からの保護が必要なデバイスの性能を低下させ、デバイスを保護する。
例えば、フィルター40のメンテナンスが必要であるがメンテナンスが実施されないとき、駆動制御部70は、プロジェクター1の内部温度の上昇を抑制するため、冷却ファン30の回転数を増加させたり、光源部の出力を低下させたりする駆動モードに変更する。これにより、メンテナンスが実施されない結果、プロジェクター1の本来機能が低下するのを防止することができ、プロジェクター1を保護することができる。
ステップS160にて駆動モードが変更された後、または、ステップS150にて駆動モードの変更はまだ必要でないと判定されると、ステップS130の処理に戻り、メンテナンスが実施されたか否かを判定する。そして、メンテナンスが実施されるまで、ステップS130~S160の処理が繰り返し実行される。なお、ステップS160にて駆動モードが変更された後、デバイスのメンテナンスが実行された場合には、プロジェクター1の駆動モードを、通常の駆動モードに戻すようにしてもよい。
以上、本実施形態に係るプロジェクター1における情報処理装置100によるメンテナンス実施通知処理を説明した。本実施形態に係るプロジェクター1は、プロジェクター1の内部に設けられたデバイスの機能状態に基づき、適切な時期にメンテナンス実施の通知を行うことができる。これにより、不要なメンテナンスを無くすことができ、かつ、メンテナンスが必要な状態でプロジェクター1が使用され続けることも防止できる。例えば、プロジェクター1の使用環境がクリーンな場合と塵埃の多い場合とで、デバイスの損傷速度も異なる。このような場合にも、最適な時期にメンテナンスの実施を促すことができる。
また、本実施形態に係るプロジェクター1は、ユーザにデバイスのメンテナンスの実施を促す案内情報を通知する際に、プロジェクターの寿命、あるいは実際の画像といった情報も合わせて提示することが可能である。これにより、ユーザに対してメンテナンスの実施をより強く動機付けすることができ、機器の長期安定運用につなげることができる。また、ユーザがメンテナンス対象のデバイスのメンテナンスを実施した際に、それによる効果を提示することも可能である。これにより、ユーザに対してメンテナンスを行うことに対する明確な動機付けを与えることができ、機器に対する愛着も喚起できる。
なお、上記説明では、デバイスのメンテナンス実施が必要と判定された場合にのみ、案内情報にデバイスの機能状態を表示させたが、本開示はかかる例に限定されず、例えばユーザの指示によりデバイスの機能状態をユーザに提示するようにしてもよい。例えば、ユーザがフィルター等のデバイスのメンテナンスの効果を確認したい場合や、現在のフィルターの機能状態を確認したい場合もある。そこで、例えばプロジェクター1を操作するための、ユーザがアクセス可能なメニュー画面に、デバイスの機能状態を表示する機能を設け、ユーザの要求に応じて提示できるようにしてもよい。
さらに、本実施形態に係るプロジェクター1は、ユーザがメンテナンス対象のデバイスのメンテナンスを実施しない場合に、プロジェクター1の内部デバイスへの負荷の少ない駆動モードに変更することも可能である。これにより、プロジェクター1を構成する各デバイスに不可逆的なダメージがかかり続けることを防止し、機器を保護することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、説明を簡単にするため、フィルターのメンテナンスのみを取り扱ったが、本技術はかかる例に限定されない。例えば、複数のデバイスのメンテナンスの要否を並行して判定するように構成することも可能である。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
1または複数のセンサから取得されたセンサ情報に基づいて、画像投影装置を構成する1または複数のデバイスの機能状態を演算する分析部と、
前記デバイスの機能状態に基づいて、各前記デバイスのメンテナンスの要否を判定する判定部と、
前記判定部によりメンテナンスが必要と判定されたタイミングで、前記デバイスのメンテナンスの実施を促す案内情報を、通知部を介してユーザに対して提示する通知制御部と、
を備える、画像投影装置。
(2)
前記通知制御部は、メンテナンスが必要と判定された前記デバイスの機能状態をさらに提示させる、前記(1)に記載の画像投影装置。
(3)
前記通知制御部は、メンテナンスが必要と判定された前記デバイスについて、メンテナンス実施による効果をさらに提示させる、前記(1)または(2)に記載の画像投影装置。
(4)
前記分析部は、メンテナンスが必要と判定された前記デバイスのメンテナンス実施前の機能状態と、メンテナンス実施後に予測される機能状態とを分析し、
前記通知制御部は、メンテナンス実施前後における前記デバイスの機能状態を通知させる、前記(3)に記載の画像投影装置。
(5)
前記通知制御部は、メンテナンスが必要と判定された前記デバイスを撮影した画像をさらに提示させる、前記(1)~(4)のいずれか1項に記載の画像投影装置。
(6)
前記分析部は、前記デバイスの機能状態として、前記デバイスの寿命または故障率のうち少なくともいずれか一方を演算する、前記(1)~(5)のいずれか1項に記載の画像投影装置。
(7)
前記センサは、前記画像投影装置の内部に設けられた温度センサ、輝度センサ、色度センサ、流量計、時間計、撮像装置のうち、少なくともいずれか1つである、前記(1)~(6)のいずれか1項に記載の画像投影装置。
(8)
前記分析部は、前記案内情報の通知後に取得された前記センサ情報に基づいて、デバイスの機能状態を演算し、
前記判定部は、前記案内情報の通知後のデバイスの機能状態に基づきメンテナンスの実施の有無を判定し、メンテナンスが実施されていないと判定したとき、作動負荷を軽減する駆動モードで前記画像投影装置を駆動させることを決定する、前記(1)~(7)のいずれか1項に記載の画像投影装置。
(9)
前記分析部は、前記案内情報の通知後に取得された前記センサ情報に基づいて、デバイスの機能状態を演算し、
前記判定部は、前記案内情報の通知後のデバイスの機能状態に基づきメンテナンスの実施の有無を判定し、メンテナンスが実施されたと判定したとき、メンテナンス実施後の前記デバイスの機能状態を演算し、前記通知制御部は、メンテナンス実施後の前記デバイスの機能状態を通知させる、前記(1)~(8)のいずれか1項に記載の画像投影装置。
(10)
前記通知制御部は、ユーザの指示により前記画像投影装置を構成する前記デバイスの機能状態を通知させる、前記(1)~(9)のいずれか1項に記載の画像投影装置。
(11)
前記通知制御部は、少なくとも前記案内情報を、前記画像投影装置により投影される画像上に表示させる、前記(1)~(10)のいずれか1項に記載の画像投影装置。
(12)
プロセッサにより、
1または複数のセンサから取得されたセンサ情報に基づいて、画像投影装置を構成する1または複数のデバイスの機能状態を演算すること、
前記デバイスの機能状態に基づいて、各前記デバイスのメンテナンスの要否を判定すること、
メンテナンスが必要と判定されたタイミングで、前記デバイスのメンテナンスの実施を促す案内情報を、通知部を介して前記ユーザに対して提示すること、
とを含む、情報処理方法。
1 プロジェクター
10 筐体
12 吸気口
14 排出口
20 構成部品
30 冷却ファン
40 フィルター
50 センサ
51 温度センサ
52 輝度センサ
53 色度センサ
54 流量計
55 時間計
56 カメラ
60 通知部
61 表示処理部
63 投影部
65 本体表示部
67 音声出力部
69 インタフェース部
70 駆動制御部
100 情報処理装置
110 分析部
120 判定部
130 通知制御部
140 記憶部
200 画像
210、212、214 案内情報
214a 撮影画像
220 効果情報

Claims (11)

  1. 1または複数のセンサから取得されたセンサ情報に基づいて、画像投影装置を構成する1または複数のデバイスの機能状態を演算する分析部と、
    前記デバイスの機能状態に基づいて、各前記デバイスのメンテナンスの要否を判定する判定部と、
    前記判定部によりメンテナンスが必要と判定されたタイミングで、前記デバイスのメンテナンスの実施を促す案内情報を、通知部を介してユーザに対して提示する通知制御部と、
    前記画像投影装置の筐体内部の状態を撮影するカメラと、
    を備え
    前記通知制御部は、メンテナンスが必要と判定された前記デバイスを、前記カメラにより前記タイミングに応じて撮影した画像をさらに提示する、
    画像投影装置。
  2. 前記通知制御部は、メンテナンスが必要と判定された前記デバイスの機能状態をさらに提示させる、請求項1に記載の画像投影装置。
  3. 前記通知制御部は、メンテナンスが必要と判定された前記デバイスについて、メンテナンス実施による効果をさらに提示させる、請求項1に記載の画像投影装置。
  4. 前記分析部は、メンテナンスが必要と判定された前記デバイスのメンテナンス実施前の機能状態と、メンテナンス実施後に予測される機能状態とを分析し、
    前記通知制御部は、メンテナンス実施前後における前記デバイスの機能状態を通知させる、請求項3に記載の画像投影装置。
  5. 前記分析部は、前記デバイスの機能状態として、前記デバイスの寿命または故障率のうち少なくともいずれか一方を演算する、請求項1に記載の画像投影装置。
  6. 前記センサは、前記画像投影装置の内部に設けられた温度センサ、輝度センサ、色度センサ、流量計、時間計、撮像装置のうち、少なくともいずれか1つである、請求項1に記載の画像投影装置。
  7. 前記分析部は、前記案内情報の通知後に取得された前記センサ情報に基づいて、デバイスの機能状態を演算し、
    前記判定部は、前記案内情報の通知後のデバイスの機能状態に基づきメンテナンスの実施の有無を判定し、メンテナンスが実施されていないと判定したとき、作動負荷を軽減する駆動モードで前記画像投影装置を駆動させることを決定する、請求項1に記載の画像投影装置。
  8. 前記分析部は、前記案内情報の通知後に取得された前記センサ情報に基づいて、デバイスの機能状態を演算し、
    前記判定部は、前記案内情報の通知後のデバイスの機能状態に基づきメンテナンスの実施の有無を判定し、メンテナンスが実施されたと判定したとき、メンテナンス実施後の前記デバイスの機能状態を演算し、前記通知制御部は、メンテナンス実施後の前記デバイスの機能状態を通知させる、請求項1に記載の画像投影装置。
  9. 前記通知制御部は、ユーザの指示により前記画像投影装置を構成する前記デバイスの機能状態を通知させる、請求項1に記載の画像投影装置。
  10. 前記通知制御部は、少なくとも前記案内情報を、前記画像投影装置により投影される画像上に表示させる、請求項1に記載の画像投影装置。
  11. プロセッサにより、
    1または複数のセンサから取得されたセンサ情報に基づいて、画像投影装置を構成する1または複数のデバイスの機能状態を演算すること、
    前記デバイスの機能状態に基づいて、各前記デバイスのメンテナンスの要否を判定すること、
    メンテナンスが必要と判定されたタイミングで、前記デバイスのメンテナンスの実施を促す案内情報を、通知部を介してユーザに対して提示すること、
    とを含み、
    前記提示することは、メンテナンスが必要と判定された前記デバイスを、前記画像投影装置の筐体内部の状態を撮影するカメラにより前記タイミングに応じて撮影した画像をさらに提示する、
    情報処理方法。
JP2018547150A 2016-10-31 2017-08-21 画像投影装置及び情報処理方法 Active JP7047765B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016213088 2016-10-31
JP2016213088 2016-10-31
PCT/JP2017/029803 WO2018079023A1 (ja) 2016-10-31 2017-08-21 画像投影装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2018079023A1 JPWO2018079023A1 (ja) 2019-09-12
JP7047765B2 true JP7047765B2 (ja) 2022-04-05

Family

ID=62023402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547150A Active JP7047765B2 (ja) 2016-10-31 2017-08-21 画像投影装置及び情報処理方法

Country Status (4)

Country Link
US (1) US11240476B2 (ja)
JP (1) JP7047765B2 (ja)
CN (1) CN109863451B (ja)
WO (1) WO2018079023A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7098443B2 (ja) * 2018-06-29 2022-07-11 キヤノン株式会社 画像表示装置
US11400730B2 (en) * 2019-11-08 2022-08-02 Global Graphics Software Limited Systems and methods for predicting printing device failures or maintenance needs

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122207A (ja) 2007-11-12 2009-06-04 Konica Minolta Business Technologies Inc 画像形成装置
JP2010276737A (ja) 2009-05-27 2010-12-09 Mitsubishi Electric Corp 映像表示装置
JP2011008142A (ja) 2009-06-29 2011-01-13 Canon Inc 画像形成装置及びその方法
JP2011242420A (ja) 2010-05-14 2011-12-01 Panasonic Corp 投射型画像表示装置およびエアフィルタ制御方法
WO2012025989A1 (ja) 2010-08-24 2012-03-01 Necディスプレイソリューションズ株式会社 プロジェクタおよびフィルタの交換時期予測方法
US20120154694A1 (en) 2010-12-16 2012-06-21 Sanyo Electric Co., Ltd. Video projector
JP2013080149A (ja) 2011-10-05 2013-05-02 Seiko Epson Corp プロジェクター
WO2014196124A1 (ja) 2013-06-06 2014-12-11 ソニー株式会社 画像表示装置、光源装置、及び光学ユニット
JP2015059954A (ja) 2013-09-17 2015-03-30 カシオ計算機株式会社 プロジェクタ、エアフィルタ交換制御プログラム及びエアフィルタ交換検知方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003043577A (ja) 2001-08-01 2003-02-13 Sanyo Electric Co Ltd 液晶プロジェクタ
CN1570755A (zh) * 2003-07-15 2005-01-26 乐金电子(沈阳)有限公司 投影仪空气过滤器更换时间判断装置及其表示方法
JP2012113217A (ja) * 2010-11-26 2012-06-14 Sanyo Electric Co Ltd 投写型映像表示装置
TWI439776B (zh) * 2010-11-30 2014-06-01 Chunghwa Picture Tubes Ltd 液晶顯示裝置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122207A (ja) 2007-11-12 2009-06-04 Konica Minolta Business Technologies Inc 画像形成装置
JP2010276737A (ja) 2009-05-27 2010-12-09 Mitsubishi Electric Corp 映像表示装置
JP2011008142A (ja) 2009-06-29 2011-01-13 Canon Inc 画像形成装置及びその方法
JP2011242420A (ja) 2010-05-14 2011-12-01 Panasonic Corp 投射型画像表示装置およびエアフィルタ制御方法
WO2012025989A1 (ja) 2010-08-24 2012-03-01 Necディスプレイソリューションズ株式会社 プロジェクタおよびフィルタの交換時期予測方法
US20120154694A1 (en) 2010-12-16 2012-06-21 Sanyo Electric Co., Ltd. Video projector
JP2013080149A (ja) 2011-10-05 2013-05-02 Seiko Epson Corp プロジェクター
WO2014196124A1 (ja) 2013-06-06 2014-12-11 ソニー株式会社 画像表示装置、光源装置、及び光学ユニット
JP2015059954A (ja) 2013-09-17 2015-03-30 カシオ計算機株式会社 プロジェクタ、エアフィルタ交換制御プログラム及びエアフィルタ交換検知方法

Also Published As

Publication number Publication date
CN109863451A (zh) 2019-06-07
US20190253680A1 (en) 2019-08-15
CN109863451B (zh) 2022-03-01
WO2018079023A1 (ja) 2018-05-03
JPWO2018079023A1 (ja) 2019-09-12
US11240476B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
EP1640797B1 (en) Projection type video display
CN101482688B (zh) 投影仪
US8334783B2 (en) Projection display device
JP7047765B2 (ja) 画像投影装置及び情報処理方法
US9091909B2 (en) Projection type display apparatus
JP2012215750A (ja) プロジェクター
JP5533537B2 (ja) 投射型表示装置及びその制御方法
JP2010019927A (ja) 投射型映像表示装置
CN101369093A (zh) 图像投影装置
US20090096616A1 (en) Warning method and apparatus for reducing risk of damage to projection device
JP2012128282A (ja) 投写型映像表示装置
US20120133896A1 (en) Projection-type Image Display Device
JP5324036B2 (ja) プロジェクタおよびプロジェクタの光源冷却方法
US20120002175A1 (en) Projector and projector control method
JP2013134283A (ja) 投写型表示装置
US20200257186A1 (en) Control method for projector, projector, and projector system
JP2009188040A (ja) 電気機器及びプロジェクタ
US9417510B2 (en) Image projection device and method of controlling image projection device
JP2014119473A (ja) プロジェクター、及びプロジェクターの制御方法
JP2012032583A (ja) プロジェクター
JP2014142671A (ja) 投射型表示装置及びその制御方法
JP5817871B2 (ja) 投射型表示装置及びその制御方法
JP2013134426A (ja) 投写型表示装置
JP2010243720A (ja) プロジェクター
JP2020118782A (ja) 目詰まりセンサを用いて吸気口塞ぎを検知する画像投影装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220307

R151 Written notification of patent or utility model registration

Ref document number: 7047765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151