JP6354385B2 - Display device, display method, and program - Google Patents
Display device, display method, and program Download PDFInfo
- Publication number
- JP6354385B2 JP6354385B2 JP2014132834A JP2014132834A JP6354385B2 JP 6354385 B2 JP6354385 B2 JP 6354385B2 JP 2014132834 A JP2014132834 A JP 2014132834A JP 2014132834 A JP2014132834 A JP 2014132834A JP 6354385 B2 JP6354385 B2 JP 6354385B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- range
- specific
- projection
- projection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
本発明は、表示装置、表示方法およびプログラムに関する。 The present invention relates to a display device, a display method, and a program.
従来、機器操作のための情報(特定の処理の実行を指示する指示情報であると考えることもできる)を指示棒やレーザーポインタの軌跡、ユーザのジェスチャーモーションなどで表し、カメラによる撮像で得られた画像に基づいて、機器操作のための情報を表す動作を検出した場合、その情報を通知する技術が知られている(例えば特許文献1、2、3参照)。
Conventionally, information for device operation (which can be considered as instruction information for instructing execution of a specific process) is represented by a pointer, a laser pointer trajectory, a user's gesture motion, etc., and obtained by imaging with a camera. When an operation representing information for device operation is detected based on the image, a technique for notifying the information is known (see, for example,
例えばプロジェクタなどの表示装置の操作を行う場合、投影した画面上の表示に対する操作と、表示画像とは関係なしに実行したい機器操作があるが、操作内容すべてに異なるモーションパターンをあてはめるとユーザが覚える必要のあるモーションの数が増えてしまい、操作性が悪いという問題がある。 For example, when operating a display device such as a projector, there are operations on the projected screen display and device operations that are desired to be performed regardless of the display image, but the user learns that different motion patterns are applied to all the operation details. There is a problem that the number of necessary motions increases and operability is poor.
また、例えばカメラの撮像範囲の全域が、機器操作のための情報を表す動作を検出する範囲として設定される場合においては、ユーザが、特定の処理を実行させることを意識していなくても、カメラの撮像範囲で、その特定の処理の実行を指示する指示情報を表す動作が検出された場合は、ユーザの意図とは無関係に、その特定の処理が実行されてしまい、操作性が悪いという問題がある。 In addition, for example, when the entire imaging range of the camera is set as a range for detecting an operation representing information for device operation, even if the user is not conscious of executing a specific process, When an operation representing instruction information for instructing execution of the specific process is detected in the imaging range of the camera, the specific process is executed regardless of the user's intention, and the operability is poor. There's a problem.
上述した課題を解決し、目的を達成するために、本発明は、投影対象の画像データを示す投影画像データと、前記投影画像データを投影面に投影した画像を示す投影画像、および、前記投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、前記撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する範囲検出部と、前記撮像画像データに基づいて、ユーザの動作を検出する動作検出部と、前記動作検出部で検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御部と、前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うか否かを選択する選択部と、前記選択部により、前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うことが選択された場合、前記投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、前記撮像画像データの変倍処理を行う画像変倍部と、を備える表示装置である。 In order to solve the above-described problems and achieve the object, the present invention provides projection image data indicating image data to be projected, a projection image indicating an image obtained by projecting the projection image data on a projection plane, and the projection A specific range indicating a range in which a specific operation is detected in the captured image data according to a difference from captured image data obtained by capturing the periphery of the projection region indicating the region on which the projected image is displayed. A range detection unit that detects a user motion based on the captured image data, and a user motion detected by the motion detection unit is a motion in the specific range, and If an operation that matches the specific operation, changes to certain of the processing and control unit that performs control to perform, the specific range in conjunction with the change in the display size of the projected image corresponding to the specific operation A selection unit that selects whether or not to perform the change, and when the selection unit selects to change the specific range in conjunction with a change in the display size of the projection image, the display size of the projection image is changed An image scaling unit that performs a scaling process on the captured image data based on scaling information that can specify the amount .
本発明によれば、表示装置の操作性を向上させることができるという有利な効果を奏する。 According to the present invention, there is an advantageous effect that the operability of the display device can be improved.
以下、添付図面を参照しながら、本発明に係る表示装置、表示方法およびプログラムの実施形態を詳細に説明する。以下では、本発明が適用される表示装置として、画像投影装置の一例であるプロジェクタを例に挙げて説明するが、これに限られるものではない。 Hereinafter, embodiments of a display device, a display method, and a program according to the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, a projector as an example of an image projection apparatus will be described as an example of a display apparatus to which the present invention is applied, but the present invention is not limited to this.
(第1実施形態)
図1は、本実施形態の表示装置1の構成の一例を示す図である。図1に示すように、表示装置1は、画像投影部10と、投影画像検出部20と、画像処理部30と、操作パネル40と、を備える。
(First embodiment)
FIG. 1 is a diagram illustrating an example of the configuration of the
画像投影部10は、PCやサーバ装置などの外部装置から受信した投影対象の画像データを示す投影画像データを、例えばスクリーンなどの投影面に投影する手段である。投影画像検出部20は、投影画像データを投影面に投影した画像を示す投影画像、および、投影面のうち投影画像が表示される領域を示す投影領域の周辺を撮像する手段である。本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体(撮像対象)の像を、電気信号に変換することを指す。以下の説明では、投影画像検出部20による撮像で得られた画像を、「撮像画像データ」と称する。
The
画像処理部30は、画像投影部10から入力される投影画像データと、投影画像検出部20から入力される撮像画像データとを用いて、以下に説明する画像処理を行う。図1に示すように、画像処理部30は、範囲検出部31と、動作検出部32と、制御部33とを有する。
The
範囲検出部31は、画像投影部10から入力される投影画像データと、投影画像検出部20から入力される撮像画像データとの差分に応じて、撮像画像データのうち、特定の処理の実行を指示する特定指示情報を表す動作を示す特定動作を検出する範囲を示す特定範囲を検出する。なお、「特定の処理」や「特定の動作」の種類は任意であり、例えば本実施形態では、特定の処理として、投影画像を縮小して表示する処理(投影画像のズームダウン処理)を採用し、「特定の動作」として、腕や指示棒を上から下へ振り下ろす動作を採用するが、これらに限られるものではない。本実施形態では、範囲検出部31は、画像投影部10から入力される投影画像データ(現在投影中の投影画像データ)と、投影画像検出部20から入力される撮像画像データとの比較を行い、撮像画像データの中に投影画像データと一致するパターンを検出した場合、撮像画像データのうち当該パターンの範囲を特定範囲として検出する。
The
例えば図2の(A)に示すように、図2の(B)に示す投影画像データがスクリーン(投影面)に投影されている場合を想定する。この場合、投影画像検出部20による撮像で得られる撮像画像データは、図2の(C)のようになる。図2の(D)に示すように、範囲検出部31は、図2の(C)に示す撮像画像データのうち、図2の(B)に示す投影画像データのパターンと一致する範囲(図2の(D)において網点で表示された範囲)を、特定範囲として検出することができる。また、例えば範囲検出部31は、図2の(C)に示す撮像画像データのうち、図2の(B)に示す投影画像データのパターンと一致する範囲外の範囲(図2の(D)において斜線(ハッチング)で表示された範囲)を、上記特定の処理とは異なる処理(以下の説明では「第2の処理」と称する場合がある)の実行を指示する第2指示情報を表す動作(以下の説明では「第2の動作」と称する場合がある)を検出する範囲として検出することもできる。このように、特定の処理の実行を指示する特定指示情報を表す特定動作を検出する範囲(特定範囲)と、第2の処理の実行を指示する第2指示情報を表す第2動作を検出する範囲とを異ならせることにより、例えば特定の処理の実行を指示する指示情報を表す特定動作と、第2の処理の実行を指示する第2指示情報を表す第2の動作とが同じ動作であっても、ユーザは、特定の処理の実行を指示する場合と第2の処理の実行を指示する場合とで、動作を行う範囲を使い分けることにより、特定の処理および第2の処理のうちの所望の方の処理を実行させることができる。
For example, as shown in FIG. 2A, a case is assumed where the projection image data shown in FIG. 2B is projected on a screen (projection plane). In this case, captured image data obtained by imaging by the projected
なお、以上の態様は一例であり、例えば範囲検出部31は、図2の(C)に示す撮像画像データのうち、図2の(B)に示す投影画像データのパターンと一致する範囲以外の範囲(図2の(D)において斜線(ハッチング)で表示された範囲)を、特定範囲として検出する形態であってもよい。
In addition, the above aspect is an example, for example, the
範囲検出部31は、以上のようにして特定範囲を検出した場合、その位置やサイズなどを示す情報を、特定範囲を示す情報(以下の説明では「特定範囲情報」と称する場合がある)として、動作検出部32へ通知する。この特定範囲情報は、ユーザによる指示があるか、画像投影部10によるズーム操作などで投影画像のサイズ変更があるまで範囲検出部31で保持される。
When the
図3は、範囲検出部31の動作例を示すフローチャートである。図3に示すように、まず範囲検出部31は、画像投影部10から投影画像データを取得する(ステップS1)。次に、範囲検出部31は、投影画像検出部20から撮像画像データを取得する(ステップS2)。次に、範囲検出部31は、ステップS1で取得した投影画像データと、ステップS2で取得した撮像画像データとの比較処理を行い(ステップS3)、撮像画像データのうち投影画像データの画像パターンと一致する範囲が存在するか否かを判断する(ステップS4)。撮像画像データのうち、投影画像データの画像パターンと一致する範囲が存在する場合(ステップS4:Yes)、範囲検出部31は、上述の特定範囲情報を抽出し(ステップS5)、その抽出した特定範囲情報を保持する(ステップS6)。次に、範囲検出部31は、ステップS5で抽出した特定範囲情報を、動作検出部32へ通知する(ステップS7)。一方、上述のステップS4において、撮像画像データのうち、投影画像データの画像パターンと一致する範囲が存在しない場合(ステップS4:No)、処理は終了する。
FIG. 3 is a flowchart showing an operation example of the
図1に戻って説明を続ける。動作検出部32は、撮像画像データに基づいて、ユーザの動作を検出する。例えば動作検出部32は、投影画像検出部20による撮像で得られた静止画、あるいは動画の画像情報により特徴のある画像パターンや映像の動きを検出して、ユーザの動作を検出する。検出したユーザの動作が、範囲検出部31から通知された特定範囲情報が示す特定範囲における動作であり、かつ、特定動作と一致する動作であれば、動作検出部32は、上述の特定の処理の実行を指示する特定指示情報を、制御部33へ通知する。
Returning to FIG. The
カメラに映し出された映像やレーザーポインタなどによる光の軌跡により情報を検出する手法自体は、特開平08−331667号公報や特許第4992618号公報などにより公知の技術である。検出方法の例としては、図4に示すように、投影画像検出部20による撮像で得られた撮像画像データを、任意の時間間隔Δtで保持して、ある時間Tで保持した撮像画像データと、前回保持した時間T−1(T−Δt)で保持した撮像画像データとを比較して、映像の差分を検出する。差分を検出した範囲において、時間T−1から時間Tの間に変化した映像情報より、変化のある映像情報の移動方向を検出する。また、撮像画像データの保持を2つのフレームだけではなく複数フレームで保持して時間毎の変化の差分を検出することで、映像情報の変化時間を検出することができる。これらの映像情報の変化時間、変化の方向の組み合わせによるモーション検出、さらに複数のモーションを組み合わせて検出することで、特定動作(この例では腕を上から下へ振り下ろす動作)に該当する映像変化を検出(抽出)することができる。
A technique itself for detecting information based on an image projected on a camera, a light locus by a laser pointer, or the like is a known technique disclosed in Japanese Patent Application Laid-Open No. 08-331667, Japanese Patent No. 4996618, and the like. As an example of the detection method, as shown in FIG. 4, captured image data obtained by imaging by the projection
図5は、動作検出部32の動作例を示すフローチャートである。図5に示すように、動作検出部32は、投影画像検出部20または範囲検出部31から撮像画像データを取得する(ステップS11)。次に、動作検出部32は、範囲検出部31から特定範囲情報を取得する(ステップS12)。次に、動作検出部32は、ステップS1で取得した撮像画像データに基づいて、ユーザの動作を検出する(ステップS13)。例えば動作検出部32は、所定の時間間隔Δtで、投影画像検出部20による撮像で得られた撮像画像データを順次に取得する場合、ステップS1で取得した撮像画像データと、前回取得した撮像画像データとの差分に基づいて、ユーザの動作を検出することができる。
FIG. 5 is a flowchart illustrating an operation example of the
次に、動作検出部32は、ステップS13で検出したユーザの動作は、特定動作(この例では腕を上から下へ振り下ろす動作)であるか否かを判断する(ステップS14)。ステップS13で検出したユーザの動作が、特定動作である場合(ステップS14:Yes)、動作検出部32は、ステップS13で検出したユーザの動作が、範囲検出部31から通知された特定範囲情報が示す特定範囲における動作であるか否かを判断する(ステップS15)。ステップS13で検出したユーザの動作が、範囲検出部31から通知された特定範囲情報が示す特定範囲における動作である場合(ステップS15:Yes)、動作検出部32は、特定の処理の実行を指示する特定指示情報を、制御部33へ通知する(ステップS16)。
Next, the
一方、ステップS13で検出したユーザの動作が、特定動作でない場合(ステップS14:No)、処理は終了する。また、ステップS13で検出したユーザの動作が、特定動作であるものの(ステップS14:Yes)、特定範囲内における動作ではない場合(ステップS15:No)、処理を終了することとしてもよいが、例えば撮像画像データのうち特定範囲以外の範囲が、特定の処理とは異なる第2の処理の実行を指示する第2指示情報を表す第2動作を検出する範囲として設定され、かつ、第2動作が特定動作と同じ動作である場合、動作検出部32は、第2の処理の実行を指示する第2指示情報を、制御部33へ通知することもできる。
On the other hand, if the user action detected in step S13 is not a specific action (step S14: No), the process ends. In addition, although the user action detected in step S13 is a specific action (step S14: Yes), but not in a specific range (step S15: No), the process may be terminated. A range other than the specific range in the captured image data is set as a range for detecting a second operation representing second instruction information for instructing execution of a second process different from the specific process, and the second operation is When the operation is the same as the specific operation, the
図1に戻って説明を続ける。制御部33は、表示装置1の動作を制御する手段であり、例えば画像投影部10および投影画像検出部20の各々に対して機器制御情報を供給することにより、画像投影部10および投影画像検出部20の各々の動作を制御することができる。本実施形態では、制御部33は、動作検出部32で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定動作に対応する特定の処理を実行する制御を行う。この例では、動作検出部32で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、制御部33には、動作検出部32から前述の特定指示情報が入力されるので、制御部33は、受け付けた特定指示情報に従って、特定の処理を実行する制御を行う。前述したように、この例では、特定の処理として、投影画像を縮小して表示する処理(投影画像のズームダウン処理)が採用されているので、例えば図6に示すように、ユーザの動作が、投影画像と重なる位置で検出され、かつ、腕を上から下へ振り下ろす動作であることが検出された場合、制御部33は、投影画像を縮小して表示する制御を行うという具合である。
Returning to FIG. The
また、例えば撮像画像データのうち特定範囲以外の範囲が、特定の処理とは異なる第2の処理の実行を指示する第2指示情報を表す第2動作を検出する範囲として設定され、かつ、第2動作が前述の特定動作と同じ動作(この例では腕を上から下へ振り下ろす動作)である場合を想定する。この場合、動作検出部32で検出されたユーザの動作が、特定範囲外の範囲における動作であり、かつ、腕を上から下へ振り下ろす動作であれば、制御部33には、動作検出部32から前述の第2指示情報が入力されるので、制御部33は、受け付けた第2指示情報に従って、第2の処理を実行する制御を行う。例えば、第2の処理として、投影画像を非表示にする(投影画像をOFFにする)処理が採用されている場合、図7に示すように、ユーザの動作が、投影画像と重ならない位置で検出され、かつ、腕を上から下へ振り下ろす動作であることが検出された場合、制御部33は、投影画像を非表示にする制御を行うという具合である。
Further, for example, a range other than the specific range in the captured image data is set as a range for detecting the second operation representing the second instruction information for instructing the execution of the second process different from the specific process, and the first Assume that the two operations are the same as the above-described specific operation (in this example, the operation of swinging the arm down from the top). In this case, if the user's motion detected by the
投影画像が非表示(OFF)になると、撮像画像データと投影画像データとの比較結果が不一致になるが、このような場合は投影画像をOFFにする前の特定範囲情報を保持しておく。これにより、投影画像がOFFの場合でも特定範囲外におけるユーザの動作を検出可能になる。例えば撮像画像データのうち特定範囲外の範囲が、特定の処理および第2の処理とは異なる第3の処理の実行を指示する第3指示情報を表す第3動作を検出する範囲として設定され、第3動作が腕を下から上へ振り上げる動作であり、第3の処理が非表示の投影画像を再び表示する(ONにする)処理である場合を想定する。図8に示すように、投影画像が非表示の状態で、ユーザの動作が、投影画像と重ならない位置で検出され、かつ、腕を下から上へ振り上げる動作であることが検出された場合、制御部33は、投影画像を再び表示する制御を行うという具合である。
When the projection image is not displayed (OFF), the comparison result between the captured image data and the projection image data becomes inconsistent. In such a case, the specific range information before the projection image is turned off is held. Thereby, even when the projection image is OFF, it is possible to detect the user's action outside the specific range. For example, a range outside the specific range in the captured image data is set as a range for detecting the third operation representing the third instruction information that instructs execution of the third process different from the specific process and the second process, It is assumed that the third operation is an operation of swinging up the arm from the bottom to the top, and the third process is a process of displaying (turning on) a non-displayed projection image again. As shown in FIG. 8, when the projection image is not displayed and the user's motion is detected at a position that does not overlap the projection image and the arm is swung up from below The
また、例えば撮像画像データのうち投影画像データの画像パターンと一致する範囲を、表示装置1による処理(特定の処理を含む)の実行を指示する指示情報を表す動作が有効な範囲として設定すれば、撮像画像データのうち投影画像データの画像パターンと一致する範囲内におけるユーザの動作のみが、指示情報を表す動作であるか否かの検出対象となる。あるいは、その逆に、撮像画像データのうち投影画像データの画像パターンと一致する範囲外の範囲を、表示装置1による処理(特定の処理を含む)の実行を指示する指示情報を表す動作が有効な範囲として設定し、投影画像の前でのユーザの動作を、指示情報を表す動作であるか否かの検出対象とはしないことで、表示装置1の誤操作を防ぐこともできる。
Further, for example, if a range that matches the image pattern of the projection image data in the captured image data is set as a range in which the operation representing the instruction information for instructing the execution of the process (including the specific process) by the
図1に戻って説明を続ける。操作パネル40は、ユーザによる各種の操作を受け付けるとともに各種の情報を表示可能な手段である。この例では、制御部33は、操作パネル40で受け付けた操作に応じて、表示装置1の動作を制御することもできるし、表示装置1の動作状態に応じた情報を操作パネル40に表示する制御を行うこともできる。
Returning to FIG. The
以上に説明した画像処理部30の各部の機能(範囲検出部31、動作検出部32および制御部33)は、表示装置1に搭載されたCPUが、ROM等に格納されたプログラムを実行することにより実現される形態であってもよいし、画像処理部30の各部の機能の少なくとも一部が専用のハードウェア回路(例えば半導体集積回路等)により実現される形態であってもよい。
The functions (
以上に説明したように、本実施形態では、投影対象の画像データを示す投影画像データと、投影画像データを投影面に投影した画像を示す投影画像、および、投影面のうち投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、撮像画像データのうち、特定の処理の実行を指示する特定指示情報を表す特定動作を検出する範囲を示す特定範囲を検出する。そして、撮像画像データに基づいて検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定の処理を実行する制御を行う。つまり、特定範囲外のユーザ動作は、特定指示情報を表す特定動作であるか否かの検出対象にはならないので、例えばユーザが、特定範囲外において、特定の処理を実行させることを意識せずに特定動作と同じ動作を行っても、特定の処理が実行されることはない。したがって、本実施形態によれば、表示装置1の操作性を向上させることができるという有利な効果を奏する。
As described above, in the present embodiment, projection image data indicating image data to be projected, a projection image indicating an image obtained by projecting the projection image data onto the projection plane, and a projection image of the projection plane are displayed. A range for detecting a specific operation representing specific instruction information instructing execution of a specific process in the captured image data in accordance with a difference from the captured image data obtained by imaging the periphery of the projection area indicating The specific range shown is detected. Then, when the user's action detected based on the captured image data is an action in a specific range and an action that matches the specific action, control for executing a specific process is performed. That is, a user action outside the specific range is not a target for detection as to whether or not the specific action represents the specific instruction information. Therefore, for example, the user is unaware that the user performs a specific process outside the specific range. Even if the same operation as the specific operation is performed, the specific processing is not executed. Therefore, according to the present embodiment, there is an advantageous effect that the operability of the
(第2実施形態)
次に、第2実施形態について説明する。上述の第1実施形態と共通する部分については適宜に説明を省略する。本実施形態では、範囲検出部31は、基準パターンを有する投影画像データを示すパターン投影画像データと、パターン投影画像データを投影面に投影した画像を示す投影画像を含む撮像画像データとの差分に応じて、特定範囲を検出する機能を有する。より具体的には、範囲検出部31は、撮像画像データのうち基準パターンと一致する範囲を、特定範囲として検出する。以下、具体的に説明する。
(Second Embodiment)
Next, a second embodiment will be described. Description of parts common to the first embodiment described above will be omitted as appropriate. In the present embodiment, the
図9は、本実施形態の表示装置100の構成の一例を示す図である。図9に示すように、表示装置100は、パターン生成部50と選択出力部60とをさらに備える。パターン生成部50は、制御部33の制御の下、基準パターンを有する投影画像データを示すパターン投影画像データを生成する。選択出力部60は、制御部33の制御の下、外部装置から受信した投影画像データおよびパターン生成部50により生成されたパターン投影画像データのうちの何れかを、投影対象の画像データとして選択して画像投影部10に供給する。
FIG. 9 is a diagram illustrating an example of the configuration of the
図10の(A)は、パターン投影画像データの一例を示す図である。この例では、制御部33は、表示装置100の利用開始時に、図10の(A)に示すパターン投影画像データを生成するようにパターン生成部50を制御する。そして、外部装置から受信する投影画像データ、および、パターン生成部50により生成されたパターン投影画像データのうち、パターン投影画像データを選択して投影面に投影するよう、選択出力部60および画像投影部10を制御する。図10の(A)に示すパターン投影画像データが投影面に投影されている場合、投影画像検出部20による撮像で得られる撮像画像データは、図10の(B)のようになる。図10の(C)に示すように、範囲検出部31は、図10の(B)に示す撮像画像データのうち、図10の(A)に示すパターン投影画像データが有する基準パターンと一致する範囲(図10の(C)においてハッチング(斜線)で表示された範囲)を、特定範囲として検出することができる。
FIG. 10A shows an example of pattern projection image data. In this example, the
図10の例では、パターン投影画像データが有する基準パターンは1種類のパターンであり、撮像画像データのうちパターン投影画像が有する基準パターンと一致する範囲内と、撮像画像データのうちパターン投影画像が有する基準パターンと一致する範囲外との2種類の領域を、異なる処理の実行を指示するための動作を検出する領域として設定することができるが、パターン投影画像データが有する基準パターンの形態はこれに限られるものではない。例えば図11の(A)に示すように、パターン投影画像データが有する基準パターンは、2種類のパターン(パターン1、パターン2)である形態であってもよい。この例では、範囲検出部31は、図11の(A)に示すパターン投影画像データが投影面に投影されている状態を撮像して得られた撮像画像データのうち、図11の(A)に示すパターン投影画像データが有するパターン1と一致する範囲(図11の(B)において格子の網掛けで表示された領域)と、図11の(A)に示すパターン投影画像データが有するパターン2と一致する範囲(図11の(B)においてハッチング(斜線)で表示された領域)と、パターン1およびパターン2の何れとも一致しない範囲(図11の(B)において網点で表示された領域)と、を検出することができる。つまり、この例では、撮像画像データのうち、図11の(A)に示すパターン投影画像データが有するパターン1と一致する領域と、図11の(A)に示すパターン投影画像データが有するパターン2と一致する領域と、パターン1およびパターン2の何れとも一致しない領域との3種類の領域を、異なる処理の実行を指示するための動作を検出する領域として設定することができる。
In the example of FIG. 10, the reference pattern included in the pattern projection image data is one type of pattern, and within the range that matches the reference pattern included in the pattern projection image in the captured image data, and the pattern projection image in the captured image data. Two types of areas that are out of the range that match the reference pattern that is included can be set as areas for detecting an operation for instructing execution of different processing, but the form of the reference pattern that the pattern projection image data has is this It is not limited to. For example, as shown in FIG. 11A, the reference pattern included in the pattern projection image data may be in the form of two types of patterns (
また、基準パターンの数、形状、サイズ、位置には制約が無く、例えば基準パターンは、図12の(A)に示すようなパターン11、パターン12を有する形態であってもよい。この例でも、範囲検出部31は、図12の(A)に示すパターン投影画像データが投影面に投影されている状態を撮像して得られた撮像画像データのうち、図12の(A)に示すパターン投影画像データが有するパターン11と一致する範囲(図12の(B)において格子の網掛けで表示された領域)と、パターン12と一致する範囲(図12の(B)においてハッチング(斜線)で表示された領域)と、パターン11およびパターン22の何れとも一致しない範囲(図12の(B)において網点で表示された領域)とを検出することができる。つまり、この例では、撮像画像データのうち、図12の(A)に示すパターン投影画像データが有するパターン11と一致する領域と、図12の(A)に示すパターン投影画像データが有するパターン12と一致する領域と、パターン11およびパターン12の何れとも一致しない領域との3種類の領域を、異なる処理の実行を指示するための動作を検出する領域として設定することができる。
Further, the number, shape, size, and position of the reference pattern are not limited. For example, the reference pattern may have a pattern 11 and a pattern 12 as shown in FIG. Also in this example, the
以上の例では、枠線の範囲といった画像の形状で領域の区分を検出しているが、例えば枠線ではなく色情報の異なる画像パターンを有するパターン投影画像データを生成して投影し、色情報の違いにより領域の区分を検出することもできる。 In the above example, the region division is detected by the shape of the image such as the range of the frame line. For example, pattern projection image data having an image pattern having different color information instead of the frame line is generated and projected, and the color information It is also possible to detect the division of the region based on the difference.
(第3実施形態)
次に、第3実施形態について説明する。上述の第2実施形態と共通する部分については適宜に説明を省略する。図13は、本実施形態の表示装置110の構成の一例を示す図である。図13に示すように、表示装置110が有する画像処理部300は、合成部34をさらに備える。合成部34は、前述の特定範囲を示す情報と撮像画像データとの合成を行い、投影画像、および、投影領域の周辺のうち、どの範囲が特定範囲になるかを示す操作範囲表示画像を生成する。本実施形態では、合成部34は、範囲検出部31で決定された特定範囲を示す特定範囲情報を、領域を表す画像データ(例えば点線で囲まれた矩形を示す画像データ等)に変換する。そして、合成部34は、その変換した画像データと、投影画像検出部20による撮像で得られた撮像画像データとの合成を行い、投影画像とその周辺のどの位置で、特定の処理の実行を指示する特定指示情報を表す特定動作を検出できるのかを示す操作範囲表示画像(投影対象の画像データ)を生成する。
(Third embodiment)
Next, a third embodiment will be described. Description of parts common to the second embodiment described above will be omitted as appropriate. FIG. 13 is a diagram illustrating an example of the configuration of the
そして、選択出力部60は、制御部33の制御の下、操作範囲表示画像を投影面に投影するための出力を行う。この例では、選択出力部60は、制御部33の制御の下、外部装置から受信した投影画像データ、パターン生成部50により生成されたパターン投影画像データ、合成部34により生成された操作範囲表示画像のうち、操作範囲表示画像を選択して画像投影部10に供給する。
Then, the
例えば撮像画像データのうち、投影画像データが有する画像パターンと一致する範囲が特定範囲として検出される場合、図14に示すように、投影画像および投影領域の周辺のうち、投影画像と重なる領域が、特定動作を検出できる領域であることを示す操作範囲表示画像が投影面に投影されるという具合である。また、有効な検出範囲が複数ある場合は、合成部34は、説明のためのメッセージ情報を制御部33から受信して追加合成することもできる。例えば撮像画像データのうち、投影画像データが有する画像パターンと一致する範囲外の範囲が、特定の処理とは異なる第2の処理の実行を指示する第2指示情報を表す第2動作を検出する範囲として検出される場合、投影画像および投影領域の周辺のうち、投影画像と重なる領域外の領域が、第2動作を検出できる領域であることを示すメッセージを含む操作範囲表示画像を投影面に投影することもできる。
For example, when a range that matches the image pattern included in the projection image data is detected as the specific range in the captured image data, as shown in FIG. 14, an area that overlaps the projection image is around the projection image and the projection area. In other words, an operation range display image indicating that the specific operation can be detected is projected onto the projection surface. When there are a plurality of effective detection ranges, the combining
(第4実施形態)
次に、第4実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。図15は、本実施形態の表示装置120の構成の一例を示す図である。図15に示すように、表示装置120が有する画像処理部30は、画像変倍部35をさらに備える。この例では、制御部33は、操作パネル40で受け付けた操作に応じて、投影画像の表示サイズの変更に連動して特定範囲の変更を行うか否かを選択する機能を有している。つまり、この例では、制御部33は、請求項の「選択部」に対応する機能を有している。画像変倍部35は、制御部33により、投影画像の表示サイズの変更に連動して特定範囲の変更を行うことが選択された場合、投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、撮像画像データの変倍処理を行う。
(Fourth embodiment)
Next, a fourth embodiment will be described. Description of parts common to the above-described embodiments will be omitted as appropriate. FIG. 15 is a diagram illustrating an example of the configuration of the
例えば、撮像画像データのうち、投影画像データが有する画像パターンと一致する範囲が前述の特定範囲として検出される場合であって、かつ、投影画像の表示サイズの変更に連動して特定範囲の変更を行うことが選択された場合を想定する。図16に示すように、画像投影部110で110%(1.1倍)の拡大表示を行った場合、撮像画像データに映り込む投影画像のサイズも1.1倍に拡大するので、当該撮像画像データのうち投影画像データが有する画像パターンと一致する範囲を示す特定範囲のサイズも1.1倍に拡大する。つまり、投影画像の表示サイズの拡大に連動して特定範囲も変更される。
For example, in the captured image data, a range that matches the image pattern of the projection image data is detected as the specific range, and the specific range is changed in conjunction with the change in the display size of the projection image. Suppose that it is chosen to do. As shown in FIG. 16, when 110% (1.1 times) enlarged display is performed by the
この場合、画像変倍部35では、表示が拡大された分、投影画像検出部20による撮像で得られた撮像画像データを縮小する処理を実施する。例えば前述のように画像投影部10で110%(1.1倍)の拡大表示を行った場合、画像変倍部35の変倍サイズは1/1.1=0.909として、投影画像検出部20による撮像で得られた撮像画像データに対して91%の縮小処理を行った後に、範囲検出部31に入力する。この処理により、特定範囲を決定した後に投影画像の変倍操作により検出サイズが変動しても範囲検出部31に入力される撮像画像データに映り込んだ投影画像のサイズは変動しないため、投影画像に対する特定範囲の相対位置が変動することを防止することができる。
In this case, the image scaling unit 35 performs a process of reducing the captured image data obtained by imaging by the projection
ただし、投影画像のサイズの変更量が大きい場合、例えば表示サイズを小さくした場合は、サイズによっては特定範囲も狭くなって操作が行いにくくなる。また、例えば表示サイズを拡大した場合は、操作モーションが最初の表示とは別の領域で検出されるなど利用者の操作入力が一様にならず使いにくくなることが予想されるため、特定範囲を決定した後の投影画像投影部20におけるズーム表示操作を検出した場合は、特定範囲の変更を行わず、投影画像のサイズ変更前と同じ位置での操作モーションで操作すること(つまり、投影画像の表示サイズの変更に連動して特定範囲の変更を行わないこと)を選択することもできる。
However, when the amount of change in the size of the projected image is large, for example, when the display size is reduced, the specific range is narrowed depending on the size, and the operation becomes difficult. In addition, for example, when the display size is enlarged, it is expected that the operation input of the user will not be uniform and difficult to use because the operation motion will be detected in a different area from the initial display. When the zoom display operation in the projection
(第5実施形態)
次に、第5実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。本実施形態では、前述の特定範囲が撮像範囲外となる場合、警告を出力する制御を行う警告出力部をさらに備える。例えば前述の第4実施形態における動作によって投影画像のサイズが拡大し、投影画像検出部20による撮像により得られた撮像画像データの中に投影画像が収まらず、特定範囲を検出することができない場合、範囲検出部31は、特定範囲が撮像範囲外であることを制御部33に通知する。この通知を受けた制御部33は、操作パネル40上に警告メッセージを表示する制御を行うこともできるし、図17に示すように、投影画像データに警告メッセージ(図17の例では、特定範囲を検出できないことを警告するメッセージ)を合成した画像データ(投影対象の画像データ)を投影面に投影する制御を行うこともできる。この例では、制御部33は、請求項の「警告出力部」に対応する機能を有していると考えることができる。
(Fifth embodiment)
Next, a fifth embodiment will be described. Description of parts common to the above-described embodiments will be omitted as appropriate. The present embodiment further includes a warning output unit that performs control to output a warning when the above-described specific range is outside the imaging range. For example, when the size of the projection image is enlarged by the operation in the above-described fourth embodiment, the projection image does not fit in the captured image data obtained by imaging by the projection
(第6実施形態)
次に、第6実施形態について説明する。上述の各実施形態と共通する部分については適宜に説明を省略する。図18は、本実施形態の表示装置130の構成の一例を示す図である。図18に示すように、表示装置130は、通知部70をさらに備える。通知部70は、動作検出部32で検出されたユーザの動作が、特定範囲における動作であり、かつ、特定動作と一致する動作である場合、特定の処理の実行を指示する特定指示情報を、外部装置へ通知する。図18の例では、動作検出部32は、投影画像検出部20による撮像で得られた撮像画像データに基づいて検出したユーザの動作が、範囲検出部31から通知された特定範囲情報が示す特定範囲における動作であり、かつ、特定動作と一致する動作であれば、特定の処理の実行を指示する特定指示情報を、制御部33へ通知するとともに通知部70へ通知する。そして、通知部70は、動作検出部32から通知された特定指示情報を、投影画像データを送信しているPCやサーバ装置などの外部装置へ通知する。例えば特定の処理が、投影画像データのページ送りや投影画像データの送信停止/再開などの処理である場合、外部装置は、通知部70から通知された特定指示情報に従って、投影画像データのページ送りや投影画像データの送信停止/再開などの処理を実行するという具合である。
(Sixth embodiment)
Next, a sixth embodiment will be described. Description of parts common to the above-described embodiments will be omitted as appropriate. FIG. 18 is a diagram illustrating an example of the configuration of the
以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の異なる実施形態に示される全構成要素から幾つかを任意に組み合わせることもできる。 As mentioned above, although embodiment of this invention was described, the above-mentioned embodiment is shown as an example and is not intending limiting the range of invention. The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described embodiments. For example, some components may be deleted from all the components shown in the embodiment. Moreover, some can also be combined arbitrarily from all the components shown by the above-mentioned different embodiment.
なお、上述の各実施形態における表示装置(1,100,110,120,130)で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The program executed by the display device (1, 100, 110, 120, 130) in each of the above-described embodiments is an installable format or an executable format file, such as a CD-ROM, a flexible disk (FD), You may comprise so that it may record and provide on computer-readable recording media, such as CD-R and DVD (Digital Versatile Disk).
さらに、上述の各実施形態における表示装置(1,100,110,120,130)で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態における表示装置(1,100,110,120,130)で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 Further, the program executed by the display device (1, 100, 110, 120, 130) in each of the above-described embodiments is provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. You may comprise. Further, the program executed by the display device (1, 100, 110, 120, 130) in each of the above embodiments may be provided or distributed via a network such as the Internet.
1 表示装置
10 画像投影部
20 投影画像検出部
30 画像処理部
31 範囲検出部
32 動作検出部
33 制御部
34 合成部
35 画像変倍部
40 操作パネル
50 パターン生成部
60 選択出力部
DESCRIPTION OF
Claims (8)
前記撮像画像データに基づいて、ユーザの動作を検出する動作検出部と、
前記動作検出部で検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御部と、
前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うか否かを選択する選択部と、
前記選択部により、前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うことが選択された場合、前記投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、前記撮像画像データの変倍処理を行う画像変倍部と、を備える、
表示装置。 Projection image data indicating image data to be projected, a projection image indicating an image obtained by projecting the projection image data onto a projection plane, and a periphery of the projection area indicating an area where the projection image is displayed on the projection plane A range detection unit that detects a specific range indicating a range in which a specific operation is detected in the captured image data according to a difference from captured image data obtained by imaging,
An operation detection unit that detects a user's operation based on the captured image data;
Control that performs control to execute a specific process corresponding to the specific operation when the user's operation detected by the operation detection unit is an operation in the specific range and is an operation that matches the specific operation And
A selection unit that selects whether or not to change the specific range in conjunction with a change in the display size of the projection image;
When the selection unit selects to change the specific range in conjunction with the change in the display size of the projection image, based on scaling information that can specify the change amount of the display size of the projection image. An image scaling unit that performs a scaling process on the captured image data .
Display device.
請求項1に記載の表示装置。 The range detection unit calculates a difference between pattern projection image data indicating the projection image data having a reference pattern and captured image data including the projection image indicating an image obtained by projecting the pattern projection image data on the projection plane. In response to detecting the specific range,
The display device according to claim 1.
請求項2に記載の表示装置。 The range detection unit detects a range that matches the reference pattern in the captured image data as the specific range.
The display device according to claim 2.
前記操作範囲表示画像を前記投影面に投影するための出力を行う選択出力部をさらに備える、
請求項1乃至3のうちの何れか1項に記載の表示装置。 Combining information indicating the specific range and the captured image data to generate an operation range display image indicating which range is the specific range among the projection image and the periphery of the projection region And
A selection output unit that performs output for projecting the operation range display image onto the projection plane;
The display device according to claim 1.
請求項1乃至4のうちの何れか1項に記載の表示装置。 A warning output unit for performing control to output a warning when the specific range is outside the imaging range;
The display device according to any one of claims 1 to 4 .
請求項1乃至5のうちの何れか1項に記載の表示装置。 If the user action detected by the action detection unit is an action in the specific range and is an action that matches the specific action, the specific instruction information for instructing the execution of the specific process is stored as an external device. A notification unit for notifying
The display device according to any one of claims 1 to 5 .
前記撮像画像データに基づいて、ユーザの動作を検出する動作検出ステップと、
前記動作検出ステップで検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御ステップと、
前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うか否かを選択する選択ステップと、
前記選択ステップにより、前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うことが選択された場合、前記投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、前記撮像画像データの変倍処理を行う画像変倍ステップと、を含む、
表示方法。 Projection image data indicating image data to be projected, a projection image indicating an image obtained by projecting the projection image data onto a projection plane, and a periphery of the projection area indicating an area where the projection image is displayed on the projection plane A range detecting step for detecting a specific range indicating a range for detecting a specific operation in the captured image data according to a difference from captured image data obtained by imaging,
An operation detecting step of detecting a user's operation based on the captured image data;
Control for performing control to execute a specific process corresponding to the specific operation when the user's operation detected in the operation detection step is an operation in the specific range and coincides with the specific operation Steps,
A selection step for selecting whether or not to change the specific range in conjunction with a change in the display size of the projection image;
When the selection step selects to change the specific range in conjunction with a change in the display size of the projection image, based on scaling information that can specify the change amount of the display size of the projection image And an image scaling step for performing a scaling process on the captured image data .
Display method.
投影対象の画像データを示す投影画像データと、前記投影画像データを投影面に投影した画像を示す投影画像、および、前記投影面のうち前記投影画像が表示される領域を示す投影領域の周辺を撮像して得られる撮像画像データとの差分に応じて、前記撮像画像データのうち、特定動作を検出する範囲を示す特定範囲を検出する範囲検出ステップと、
前記撮像画像データに基づいて、ユーザの動作を検出する動作検出ステップと、
前記動作検出ステップで検出されたユーザの動作が、前記特定範囲における動作であり、かつ、前記特定動作と一致する動作である場合、前記特定動作に対応する特定の処理を実行する制御を行う制御ステップと、
前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うか否かを選択する選択ステップと、
前記選択ステップにより、前記投影画像の表示サイズの変更に連動して前記特定範囲の変更を行うことが選択された場合、前記投影画像の表示サイズの変更量を特定可能な変倍情報に基づいて、前記撮像画像データの変倍処理を行う画像変倍ステップと、を実行させるためのプログラム。 On the computer,
Projection image data indicating image data to be projected, a projection image indicating an image obtained by projecting the projection image data onto a projection plane, and a periphery of the projection area indicating an area where the projection image is displayed on the projection plane A range detecting step for detecting a specific range indicating a range for detecting a specific operation in the captured image data according to a difference from captured image data obtained by imaging,
An operation detecting step of detecting a user's operation based on the captured image data;
Control for performing control to execute a specific process corresponding to the specific operation when the user's operation detected in the operation detection step is an operation in the specific range and coincides with the specific operation Steps,
A selection step for selecting whether or not to change the specific range in conjunction with a change in the display size of the projection image;
When the selection step selects to change the specific range in conjunction with a change in the display size of the projection image, based on scaling information that can specify the change amount of the display size of the projection image And an image scaling step for performing a scaling process on the captured image data .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014132834A JP6354385B2 (en) | 2014-06-27 | 2014-06-27 | Display device, display method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014132834A JP6354385B2 (en) | 2014-06-27 | 2014-06-27 | Display device, display method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016012203A JP2016012203A (en) | 2016-01-21 |
JP6354385B2 true JP6354385B2 (en) | 2018-07-11 |
Family
ID=55228893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014132834A Expired - Fee Related JP6354385B2 (en) | 2014-06-27 | 2014-06-27 | Display device, display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6354385B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6275312B1 (en) * | 2017-06-02 | 2018-02-07 | キヤノン株式会社 | Projection apparatus, control method therefor, and program |
JP6919080B2 (en) | 2018-05-04 | 2021-08-11 | グーグル エルエルシーGoogle LLC | Selective detection of visual cues for automated assistants |
JP6822445B2 (en) * | 2018-07-02 | 2021-01-27 | カシオ計算機株式会社 | Projector, projection method and program |
JP7236355B2 (en) * | 2019-08-30 | 2023-03-09 | 富士フイルム株式会社 | Projection device and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005021563A (en) * | 2003-07-01 | 2005-01-27 | Namco Ltd | Game device, program and information storage medium |
JP5625643B2 (en) * | 2010-09-07 | 2014-11-19 | ソニー株式会社 | Information processing apparatus and information processing method |
JP2013125181A (en) * | 2011-12-15 | 2013-06-24 | Nikon Corp | Projector |
JP2014029656A (en) * | 2012-06-27 | 2014-02-13 | Soka Univ | Image processor and image processing method |
-
2014
- 2014-06-27 JP JP2014132834A patent/JP6354385B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016012203A (en) | 2016-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9760976B2 (en) | Image processing apparatus and image processing method | |
US10134118B2 (en) | Information processing apparatus and method of obtaining information about a projection surface on which a target is projected | |
JP5560721B2 (en) | Image processing apparatus, image display system, and image processing method | |
US20160373660A1 (en) | Display control apparatus, display controlling method, and program | |
JP6478654B2 (en) | Imaging apparatus and control method thereof | |
JP2012015889A (en) | Image processing device and image processing method | |
JP2009010782A (en) | Image processor and control program | |
JP6354385B2 (en) | Display device, display method, and program | |
TWI545508B (en) | Method for performing a face tracking function and an electric device having the same | |
JP5870586B2 (en) | Projector control device, display device, and program. | |
JP2006236195A (en) | Presentation control device | |
US20150138512A1 (en) | Information processing apparatus, image projecting apparatus, and method for providing distortion correction instruction | |
US20160006938A1 (en) | Electronic apparatus, processing method and storage medium | |
JP6280005B2 (en) | Information processing apparatus, image projection apparatus, and information processing method | |
JP2011108251A (en) | Presentation controller and program | |
JP2012177768A (en) | Projection type video display device | |
JP2015179940A (en) | projection apparatus | |
JP2010146328A (en) | Projector, and method and program for controlling the same | |
JP2016076853A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP2014178791A (en) | Projector, projection system, image generation program, and image generation method | |
JP6679430B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
JP2018078443A (en) | Display control device, display control method, and display device | |
US20240015391A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7537470B2 (en) | Information processing device, information processing method, and program | |
JP2018191243A (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6354385 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |