JP5793900B2 - Image projection apparatus, function setting method, and function setting program - Google Patents

Image projection apparatus, function setting method, and function setting program Download PDF

Info

Publication number
JP5793900B2
JP5793900B2 JP2011055386A JP2011055386A JP5793900B2 JP 5793900 B2 JP5793900 B2 JP 5793900B2 JP 2011055386 A JP2011055386 A JP 2011055386A JP 2011055386 A JP2011055386 A JP 2011055386A JP 5793900 B2 JP5793900 B2 JP 5793900B2
Authority
JP
Japan
Prior art keywords
unit
imaging
detection
detection mode
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011055386A
Other languages
Japanese (ja)
Other versions
JP2012191568A (en
Inventor
賢 青木
賢 青木
友英 鷹野
友英 鷹野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011055386A priority Critical patent/JP5793900B2/en
Publication of JP2012191568A publication Critical patent/JP2012191568A/en
Application granted granted Critical
Publication of JP5793900B2 publication Critical patent/JP5793900B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像投影装置、機能設定方法、および機能設定プログラムに関する。   The present invention relates to an image projection device, a function setting method, and a function setting program.

従来、リモコンやレーザポインタ等の操作媒体(以下、操作媒体という。)からの指示により各種機能設定を受け付けるプロジェクタが開発されている。   2. Description of the Related Art Conventionally, projectors have been developed that accept various function settings in response to instructions from an operation medium (hereinafter referred to as an operation medium) such as a remote controller or a laser pointer.

しかし、操作媒体を用いた操作入力により機能設定の入力を受け付けることとすると、ユーザは機能設定の度に操作媒体を手元に用意する必要があり面倒な手間が生じる。また、ユーザが操作媒体を紛失した場合は機能設定の入力を行うことができなくなってしまうので不便である。   However, if the function setting input is accepted by an operation input using the operation medium, the user needs to prepare the operation medium at every function setting, which is troublesome. Further, when the user loses the operation medium, it becomes inconvenient because it becomes impossible to input function settings.

そこで、操作媒体を用いずに機能設定の入力を受け付ける方法を用いたプロジェクタが提案されている(例えば、特許文献1参照。)。特許文献1では、ユーザは、操作媒体を用いずに、検知領域に手をかざすことにより操作入力を行う方法が開示されている。   In view of this, a projector using a method of accepting function setting input without using an operation medium has been proposed (for example, see Patent Document 1). Patent Document 1 discloses a method in which a user performs an operation input by holding a hand over a detection area without using an operation medium.

しかしながら、従来および特許文献1のプロジェクタでは、ユーザはジェスチャ検出領域を確認し、遠隔操作の指示がジェスチャ検出領域に入るように操作入力する必要があった。また、ユーザまたは管理者はジェスチャ検出領域として所定の領域を初期設定する必要があった。   However, in the projectors of the related art and Patent Document 1, it is necessary for the user to confirm the gesture detection area and to perform an operation input so that a remote operation instruction enters the gesture detection area. In addition, the user or administrator has to initialize a predetermined area as a gesture detection area.

本発明は、上記に鑑みてなされたものであって、プロジェクタの機能設定の操作性を向上することができる画像投影装置、機能設定方法、および機能設定プログラムを提供することを目的とする。   The present invention has been made in view of the above, and an object thereof is to provide an image projection device, a function setting method, and a function setting program capable of improving the operability of projector function settings.

上述した課題を解決し、目的を達成するために、本発明にかかる画像投影装置は、利用者の動作と、設定される機能を示す機能情を対応付けて記憶する記憶部と、利用者を撮像する撮像部と、利用者を検出対象として検出する第1検出モードと、利用者の動作を検出する第2検出モードとを切り替える切替部と、前記第1検出モードに切り替えられた場合に、前記検出対象を含む領域を撮像領域として特定する特定部と、前記第2検出モードに切り替えられた場合に、前記撮像の撮像範囲を、特定された前記撮像領域に合わせて、前記撮像に前記検出対象を撮像させる撮像制御部と、撮像された検出対象の動作を認識する認識部と、認識された動作に対応付けられた前記機能情報を前記記憶部から取得し、取得された前記機能情報が示す機能を設定する設定部と、を備え、前記第2検出モードの状態において、前記切替部は、前記機能情報に含まれる前記検出対象を解除する機能を前記設定部が設定すると、前記第2検出モードから前記第1検出モードに切り替えること、を特徴とする。 To solve the above problems and achieve the object, an image projection apparatus according to the present invention, the operation of the user, a storage unit for storing in association with machine Nojo report indicating the ability machine is set An imaging unit that images the user, a switching unit that switches between a first detection mode that detects the user as a detection target, and a second detection mode that detects the user's operation, and the first detection mode. If the, a specifying unit for specifying a region including the detection target as an imaging area, when switched to the second detection mode, the imaging range of the imaging unit, in accordance with the specified the imaging area, get an imaging control unit for imaging the detection object on the imaging unit, a recognition unit for recognizing operation of the detection object is imaged, the function information associated with the recognized operation from the storage unit, acquires the machine Nojo report, which is the Comprising a setting unit for setting to function, and in the state of the second detection mode, the switching unit, when the function of canceling the detection target included in the function information the setting unit sets, the second The detection mode is switched to the first detection mode .

また、本発明にかかる機能設定方法は、利用者の動作と、設定される機能を示す機能情を対応付けて記憶する記憶部と、利用者を撮像する撮像部と、を備える画像投影装置が、利用者を検出対象として検出する第1検出モードと、利用者の動作を検出する第2検出モードとを切り替える切替ステップと、前記第1検出モードに切り替えられた場合に、前記検出対象を含む領域を撮像領域として特定する特定ステップと、前記第2検出モードに切り替えられた場合に、前記撮像の撮像範囲を、特定された前記撮像領域に合わせて、前記撮像に前記検出対象を撮像させる撮像制御ステップと、撮像された検出対象の動作を認識する認識ステップと、認識された動作に対応付けられた前記機能情報を前記記憶部から取得し、取得された前記機能情報が示す機能を設定する設定ステップと、を含み、前記第2検出モードの状態において、前記画像投影装置は、前記機能情報に含まれる前記検出対象を解除する機能を設定すると、前記第2検出モードから前記第1検出モードに切り替えることを特徴とする。 Furthermore, the function setting method according to the present invention includes the operation of a user, a storage unit for storing in association with machine Nojo report indicating the ability machine is set, an imaging unit that captures the user, a when the image projection apparatus includes a first detection mode for detecting a user as detected, and a switching step of switching the second detection mode for detecting the operation of the user, which is switched to the first detection mode, the a specifying step of specifying a region including the detection target as the imaging region, when switched to the second detection mode, the imaging range of the imaging unit, in accordance with the specified the imaging area, the said imaging unit The imaging control step for imaging the detection target, the recognition step for recognizing the motion of the captured detection target, and the function information associated with the recognized motion are acquired from the storage unit, and the acquired Seen including a setting step of setting a function indicated Nojo report, and in the state of the second detection mode, the image projection apparatus, setting the function of releasing the detection target included in the function information, the The second detection mode is switched to the first detection mode .

また、本発明にかかる機能設定プログラムは、利用者を撮像する撮像部と、利用者の動作と設定される機能を示す機能情報とを対応付けて記憶する記憶部と、を有するコンピュータを、用者を検出対象として検出する第1検出モードと、利用者の動作を検出する第2検出モードとを切り替える切替部と、前記第1検出モードに切り替えられた場合に、前記検出対象を含む領域を撮像領域として特定する特定と、前記第2検出モードに切り替えられた場合に、前記撮像の撮像範囲を、特定された前記撮像領域に合わせて、前記撮像に前記検出対象を撮像させる撮像制御と、撮像された検出対象の動作を認識する認識と、認識された動作に対応付けられた前記機能情報を前記記憶部から取得し、取得された前記機能情報が示す機能を設定する設定、として機能させ、前記第2検出モードの状態において、前記切替部は、前記機能情報に含まれる前記検出対象を解除する機能を前記設定部が設定すると、前記第2検出モードから前記第1検出モードに切り替えることを特徴とする The functional setting program according to the present invention includes an imaging unit that captures the user, a storage unit for storing in association with function information indicating a function to be set with the operation of the user, the computer having the advantage A switching unit that switches between a first detection mode for detecting a user as a detection target and a second detection mode for detecting a user's operation, and an area that includes the detection target when switched to the first detection mode when it switched to a particular section and, the second detection mode for identifying as an imaging region, an imaging range of the imaging unit, in accordance with the specified the imaging regions, thereby imaging the detection object on the imaging unit an imaging control unit, and a recognition unit for recognizing an operation of the detection target captured, acquires the function information associated with the recognized operation from the storage unit, the acquired machine Nojo report functions shown The Setting unit constant to, to function as, in the state of the second detection mode, the switching unit, when the function of canceling the detection target included in the function information the setting unit sets, from the second detection mode Switching to the first detection mode is characterized .

本発明によれば、プロジェクタの機能設定の操作性を向上することができるという効果を奏する。   According to the present invention, it is possible to improve the operability of the function setting of the projector.

図1は、本実施の形態にかかる画像投影装置の全体構成図である。FIG. 1 is an overall configuration diagram of an image projection apparatus according to the present embodiment. 図2は、画像投影装置の全体構成図である。FIG. 2 is an overall configuration diagram of the image projection apparatus. 図3は、画像投影装置の筺体の外観構成図である。FIG. 3 is an external configuration diagram of the housing of the image projection apparatus. 図4は、画像投影装置のハードウェア構成を示すブロック図である。FIG. 4 is a block diagram illustrating a hardware configuration of the image projection apparatus. 図5は、画像出力回路の内部のハードウェアブロック構成図である。FIG. 5 is a hardware block configuration diagram inside the image output circuit. 図6は、他の例にかかる画像出力回路の内部のハードウェアブロック構成図である。FIG. 6 is a hardware block configuration diagram inside an image output circuit according to another example. 図7は、画像投影装置の機能ブロック図である。FIG. 7 is a functional block diagram of the image projection apparatus. 図8は、設定項目と設定値の一例を示す図である。FIG. 8 is a diagram illustrating an example of setting items and setting values. 図9は、モードの状態遷移図である。FIG. 9 is a state transition diagram of the mode. 図10は、表示制御部により表示されるジェスチャの認識結果の一例を示す。FIG. 10 shows an example of a gesture recognition result displayed by the display control unit. 図11は、画像投影装置によるジェスチャ認識処理の手順を示すフローチャートである。FIG. 11 is a flowchart illustrating a procedure of gesture recognition processing by the image projection apparatus. 図12は、画像投影装置によるターゲット検出処理の手順を示すフローチャートである。FIG. 12 is a flowchart illustrating a procedure of target detection processing by the image projection apparatus.

以下に添付図面を参照して、この発明にかかる画像投影装置の最良な実施の形態を詳細に説明する。図1および図2は、本実施の形態にかかる画像投影装置の全体構成図である。図1に示すように、画像投影装置100は、スクリーン200とともに用いられる。また、他の例として、図2に示すように、画像投影装置100は、筺体3と、PC300a、300b(以下、PC300と総称する。)と接続されていてもよい。   Exemplary embodiments of an image projection apparatus according to the present invention will be explained below in detail with reference to the accompanying drawings. 1 and 2 are overall configuration diagrams of the image projection apparatus according to the present embodiment. As shown in FIG. 1, the image projection device 100 is used together with a screen 200. As another example, as shown in FIG. 2, the image projection apparatus 100 may be connected to a housing 3 and PCs 300 a and 300 b (hereinafter collectively referred to as PC 300).

次に、画像投影装置100の外観構成について説明する。図3は、画像投影装置100の筺体3の外観構成図である。図3の上段に示す図は、画像投影装置100の筺体3の正面3a、側面3b、および上面3cを示し、図3の下段に示す図は、画像投影装置100の筺体3の背面3dを示す。   Next, the external configuration of the image projection apparatus 100 will be described. FIG. 3 is an external configuration diagram of the housing 3 of the image projector 100. 3 shows the front surface 3a, the side surface 3b, and the upper surface 3c of the housing 3 of the image projecting apparatus 100, and the view shown in the lower stage of FIG. 3 shows the back surface 3d of the housing 3 of the image projecting device 100. .

筺体3の正面3aには、投影レンズ2を備える。投影レンズ2は、筺体3の内部において、光源(不図示)から発光された光を光変調素子により映像光に変調された光をスクリーン200に拡大投影する。   A projection lens 2 is provided on the front surface 3 a of the housing 3. The projection lens 2 enlarges and projects the light, which is modulated from the light emitted from the light source (not shown) into the image light by the light modulation element, on the screen 200 inside the housing 3.

筺体の上面3cは、操作部9および操作部50、マイク4、カメラ5、タッチセンサ6を備える。操作部9および操作部50は、手動操作受け付けるボタンやキーを備える。操作部9および操作部50は、メニューボタン、上下左右の方向キー、および決定キー等を含む。例えば、操作部9および操作部50は、ユーザからの手動による操作入力により、投影画像の調整や設定、スライド送り、ピント調整等の指示を受け付ける。 The upper surface 3c of the housing includes an operation unit 9 and an operation unit 50, a microphone 4, a camera 5, and a touch sensor 6. Operation unit 9 and the operation unit 50 includes buttons or keys for accepting manual manipulation. The operation unit 9 and the operation unit 50 include menu buttons, up / down / left / right direction keys, and a determination key. For example, the operation unit 9 and the operation unit 50 receive instructions such as adjustment and setting of a projection image, slide feed, and focus adjustment by a manual operation input from a user.

タッチセンサ6は、ユーザによるタッチ操作により操作入力を受け付ける。マイク4は、ユーザの音声を検出する。   The touch sensor 6 receives an operation input by a touch operation by a user. The microphone 4 detects the user's voice.

カメラ5は、ユーザのジェスチャを撮像する。ここで、ジェスチャとは、右手あるいは左手の手の動きのことである。例えば、上下左右に手を動かす、グー、チョキ、パーの手の動作をする等がある。   The camera 5 images a user's gesture. Here, the gesture is a movement of the right hand or the left hand. For example, move your hand up, down, left, or right, or move your hand.

カメラ5は、ランプ8を備える。ランプ8は、画像投影装置100のモード別に対応付けられた色の光を、モードに応じて表示する。モードとしては、ターゲット検出モードと、ジェスチャ認識モードと、OFFモードと、省エネモードとがある。ここで、ターゲット検出モード(第1検出モード)とは、検出対象であるユーザを検出するモードのことであり、ジェスチャ認識モード(第2検出モード)とは、ユーザのジェスチャを検知し、認識するモードのことである。また、カメラ5は、可視光から赤外領域までの映像を映像する。   The camera 5 includes a lamp 8. The lamp 8 displays light of a color associated with each mode of the image projection apparatus 100 according to the mode. The modes include a target detection mode, a gesture recognition mode, an OFF mode, and an energy saving mode. Here, the target detection mode (first detection mode) is a mode for detecting a user who is a detection target, and the gesture recognition mode (second detection mode) is for detecting and recognizing a user's gesture. It is a mode. The camera 5 displays an image from visible light to an infrared region.

次に、筺体の背面3dは、外部機器接続用のインタフェース11を備える。インタフェース11は、画像投影装置100とPC300とを接続する。インタフェース11には、例えば、HDMI(High−Definition Multimedia Interface)端子、ミニD−sub15ピン端子、D4端子、コンポーネント端子、コンポジット端子、S映像端子等の各種端子が含まれている。   Next, the rear surface 3d of the housing includes an interface 11 for connecting external devices. The interface 11 connects the image projection apparatus 100 and the PC 300. The interface 11 includes various terminals such as an HDMI (High-Definition Multimedia Interface) terminal, a mini D-sub 15-pin terminal, a D4 terminal, a component terminal, a composite terminal, and an S video terminal.

なお、接続先の機器はPC300に限定されず、DVDプレイヤー、デジタルカメラ、ビデオゲーム機等の映像ソースであればいずれであってもよい。   Note that the connection destination device is not limited to the PC 300 and may be any video source such as a DVD player, a digital camera, or a video game machine.

次に、画像投影装置100のハードウェア構成について説明する。図4は、画像投影装置100のハードウェア構成を示すブロック図である。図4に示すように、画像投影装置100は、音声入力回路1000と、カメラ回転制御回路1001と、カメラ制御回路1002と、音声出力回路1003と、電源ボタン1004と、ランプ制御回路1005と、電源制御回路1006と、インタフェース回路1007と、CPU1008と、メモリ1009と、フラッシュメモリ1010と、タッチセンサ1011と、Key1012と、画像出力回路1013とを備える。   Next, the hardware configuration of the image projection apparatus 100 will be described. FIG. 4 is a block diagram illustrating a hardware configuration of the image projection apparatus 100. As shown in FIG. 4, the image projection apparatus 100 includes an audio input circuit 1000, a camera rotation control circuit 1001, a camera control circuit 1002, an audio output circuit 1003, a power button 1004, a lamp control circuit 1005, A control circuit 1006, an interface circuit 1007, a CPU 1008, a memory 1009, a flash memory 1010, a touch sensor 1011, a key 1012, and an image output circuit 1013 are provided.

CPU1008は、音声認識、画像認識、制御信号生成等の演算処理を実行する。例えば、CPU1008は、音声入力回路1000から受け取った音声信号を、音声を発したユーザの位置情報に変換する。ここで、位置情報とは、(x、y、z)の座標情報あるいはベクトル情報のことである。また、CPU1008は、カメラ制御回路1002から受け取った画像から画像を認識する領域(以下、画像認識領域という。)を特定し、画像認識領域内のジェスチャを認識する。   The CPU 1008 executes arithmetic processing such as voice recognition, image recognition, and control signal generation. For example, the CPU 1008 converts the audio signal received from the audio input circuit 1000 into the position information of the user who emitted the audio. Here, the position information is (x, y, z) coordinate information or vector information. Further, the CPU 1008 identifies an area for recognizing an image (hereinafter referred to as an image recognition area) from the image received from the camera control circuit 1002, and recognizes a gesture in the image recognition area.

なお、CPU1008による処理が性能上問題になるようであれば、DSP等の専用のプロセッサを使う構成にしてもよい。   If processing by the CPU 1008 is a problem in terms of performance, a dedicated processor such as a DSP may be used.

音声入力回路1000は、マイク4により取得された音声を音声信号に変換する。例えば、音声入力回路1000は、CPU1008を介して、マイク4により取得された音声の位相差により、音声を発したユーザの位置情報に変換する。   The voice input circuit 1000 converts the voice acquired by the microphone 4 into a voice signal. For example, the voice input circuit 1000 converts the position information of the user who has emitted the voice into the position information of the user who has obtained the voice based on the phase difference of the voice acquired by the microphone 4 via the CPU 1008.

音声出力回路1003は、ユーザへの画像投影装置100の操作手順の音声案内や、動画再生中の音声出力を行う。例えば、音声出力回路1003には、オーディオジャックが付属されており、イヤホンや外付けのスピーカーを接続可能な構成となっている。   The audio output circuit 1003 performs audio guidance for the operation procedure of the image projection apparatus 100 to the user and audio output during moving image reproduction. For example, the audio output circuit 1003 is provided with an audio jack, and can be connected to an earphone or an external speaker.

カメラ制御回路1002は、CPU1008により変換されたユーザの位置情報に応じてユーザの方向を決定し、決定した方向にカメラ5を動作制御する。例えば、カメラ制御回路1002は、後述するタッチセンサ1011から受け取った位置情報にカメラ5を回転させる。また、カメラ制御回路1002は、カメラ5のピントを調整し、撮像した画像をCPU1008に送り、CPU1008からユーザの位置情報を受け取る。   The camera control circuit 1002 determines the user direction in accordance with the user position information converted by the CPU 1008, and controls the operation of the camera 5 in the determined direction. For example, the camera control circuit 1002 rotates the camera 5 to position information received from a touch sensor 1011 described later. Further, the camera control circuit 1002 adjusts the focus of the camera 5, sends the captured image to the CPU 1008, and receives user position information from the CPU 1008.

電源ボタン1004は、操作部50の一部であり、画像投影装置100の電源をONにするスイッチである。また、ランプ制御回路1005は、画像投影装置100の電源状態に応じた光の色をランプ8に灯火する。   A power button 1004 is a part of the operation unit 50 and is a switch for turning on the power of the image projection apparatus 100. In addition, the lamp control circuit 1005 lights the lamp 8 with a light color corresponding to the power state of the image projection apparatus 100.

電力制御回路1006は、画像投影装置100の電力制御を司る回路であり、電源のON/OFFや一定時間操作が行われない場合に自動で省エネモードに遷移させる。   The power control circuit 1006 is a circuit that controls the power of the image projection apparatus 100, and automatically switches to the energy saving mode when the power is not turned on or off for a certain period of time.

インタフェース回路1007は、シリアル通信インタフェース(UART:Universal Asynchronous Receiver Transmitter)、USB(Universal Serial Bus)、有線・無線LANインタフェース、画像入力端子(HDMI端子、ミニS−sub15ピン端子、D4端子、コンポーネント端子)といったインタフェース回路の総称したものである。例えば、図3に示した外部接続用のインタフェース11に相当する。   The interface circuit 1007 is a serial communication interface (UART: Universal Asynchronous Receiver Transmitter), USB (Universal Serial Bus), wired / wireless LAN interface, image input terminal (HDMI terminal, mini S-sub 15-pin terminal, D4 terminal, component terminal) Is a general term for interface circuits. For example, it corresponds to the interface 11 for external connection shown in FIG.

メモリ1009は、CPU1008が直接読み書き可能なRAM(Random Access Memory)等の半導体装置であり、CPU1008の演算結果を一時的に記憶する。   The memory 1009 is a semiconductor device such as a RAM (Random Access Memory) that can be directly read and written by the CPU 1008, and temporarily stores a calculation result of the CPU 1008.

フラッシュメモリ1010は、画像投影装置100に搭載されている機能の設定情報や投影に必要なパラメータ(音量、色彩、光量調整)といった情報を記憶しておく書き換え可能な不揮発性の半導体メモリである。例えば、フラッシュメモリ1010は、ジェスチャを検知する機能(以下、ジェスチャ検知機能)のON・OFFの設定を記憶する。   The flash memory 1010 is a rewritable nonvolatile semiconductor memory that stores information such as setting information of functions installed in the image projection apparatus 100 and information necessary for projection (volume, color, and light amount adjustment). For example, the flash memory 1010 stores ON / OFF settings for a function for detecting a gesture (hereinafter referred to as a gesture detection function).

タッチセンサ1011は、ユーザのタッチセンサ1011における接触位置により、ユーザの位置情報を検知する。なお、タッチセンサ1011は、検知したユーザの位置情報、カメラ回転制御回路1001に渡す。 The touch sensor 1011 detects the position information of the user based on the contact position on the user's touch sensor 1011. Note that the touch sensor 1011 passes the detected user position information to the camera rotation control circuit 1001.

Key1012は、図3の操作部10から受け取ったキーイベントを受け付ける。Key1012は、CPU1008にキーイベントを渡し、CPU1008から変換された制御信号を受け取る。   The key 1012 receives the key event received from the operation unit 10 in FIG. The key 1012 passes the key event to the CPU 1008 and receives the converted control signal from the CPU 1008.

画像出力回路1013は、画像投影装置100の画像投影を行う。ここで、画像出力回路1013の内部のハードウェアブロック構成について詳細について説明する。図5は、画像出力回路1013の内部のハードウェアブロック構成図である。   The image output circuit 1013 performs image projection of the image projection apparatus 100. Here, the hardware block configuration inside the image output circuit 1013 will be described in detail. FIG. 5 is a hardware block configuration diagram inside the image output circuit 1013.

画像出力回路1013は、図5に示すように、画像処理回路2001と、光変調素子ドライブ回路2002と、光源制御回路2003と、光源2004と、照明光学系2005と、光変調素子2006と、結像光学系2007とを主に備える。   As shown in FIG. 5, the image output circuit 1013 includes an image processing circuit 2001, a light modulation element drive circuit 2002, a light source control circuit 2003, a light source 2004, an illumination optical system 2005, and a light modulation element 2006. An image optical system 2007 is mainly provided.

画像処理回路2001は、CPU1008から入出力バスを介して入力された映像信号に対して、A/D変換、I/P(Interlace/Progressive)変換、スケーリング処理、ガンマ補正、ノイズリダクション等の画像処理を行い、入力された映像信号を光変調素子2006に適合させて光変調素子ドライブ回路2002に出力する。   An image processing circuit 2001 performs image processing such as A / D conversion, I / P (Interlace / Progressive) conversion, scaling processing, gamma correction, and noise reduction on a video signal input from the CPU 1008 via an input / output bus. The input video signal is adapted to the light modulation element 2006 and output to the light modulation element drive circuit 2002.

光変調素子ドライブ回路2002は、画像処理回路2001によって画像処理された映像信号を光変調素子2006に出力し、光変調素子2006を駆動させる。   The light modulation element drive circuit 2002 outputs the video signal image-processed by the image processing circuit 2001 to the light modulation element 2006 to drive the light modulation element 2006.

光変調素子2006は、照明光学系2005によってRGBの各色に分離された光源2004からの光を、光変調素子ドライブ回路2002から入力した映像信号によって、各色に応じた映像光に変調する。例えば、光変調素子2006は、RGBの各色に対応する3つのLCD(Liquid Crystal Display)からなる。なお、RGBの各色の映像光は、例えば、ダイクロックプリズムにより合成され、結像光学系2007に入射される。   The light modulation element 2006 modulates the light from the light source 2004 separated into RGB colors by the illumination optical system 2005 into video light corresponding to each color by the video signal input from the light modulation element drive circuit 2002. For example, the light modulation element 2006 includes three LCDs (Liquid Crystal Displays) corresponding to RGB colors. Note that the RGB image lights are combined by, for example, a dichroic prism and are incident on the imaging optical system 2007.

光源制御回路2003は、CPU1008から送信された信号に応じて光源2004に供給される電流を変化させ、光源2004の明るさを制御する。例えば、光源2004としては、超高圧水銀ランプを用いることができる。   The light source control circuit 2003 controls the brightness of the light source 2004 by changing the current supplied to the light source 2004 in accordance with the signal transmitted from the CPU 1008. For example, as the light source 2004, an ultra-high pressure mercury lamp can be used.

照明光学系2005には、光源2004から出射された光の配光分布を均一化するためにインテグレータレンズ、光源2004から出射された光に含まれるP波成分をS波成分に変換して高輝度化するための偏向変換素子、光源2004から出射された光をRGBの各色に分離するためのダイクロックミラー等が含まれる。   In the illumination optical system 2005, in order to make the light distribution of the light emitted from the light source 2004 uniform, the P-wave component contained in the light emitted from the integrator lens and the light source 2004 is converted into an S-wave component to obtain high brightness. And a dichroic mirror for separating the light emitted from the light source 2004 into RGB colors.

結像光学系2007は、投影レンズ2を含む複数のレンズを主体に構成される。結像光学系2007を構成する複数のレンズは、スクリーン200に対して直角な光軸を有し、この光軸に沿って一列に並んで配置されている。結像光学系2007は、光変調素子2006から入射した映像光をスクリーン200に拡大投射し、スクリーン200に投影画像を結像させる。 The imaging optical system 2007 is mainly composed of a plurality of lenses including the projection lens 2. The plurality of lenses constituting the imaging optical system 2007 have an optical axis perpendicular to the screen 200 , and are arranged in a line along the optical axis. The imaging optical system 2007 enlarges and projects the image light incident from the light modulation element 2006 onto the screen 200 and forms a projected image on the screen 200.

次に、画像出力回路1013の他の例について説明する。図6は、他の例にかかる画像出力回路1013の内部のハードウェアブロック構成図である。   Next, another example of the image output circuit 1013 will be described. FIG. 6 is a hardware block configuration diagram inside an image output circuit 1013 according to another example.

図6の画像出力回路1013のハードウェアブロック構成は、図4で説明したハードウェアブロックを主機能ボード1100と、拡張機能ボード1200を組み合わせることにより実現する例を示している。このように、2つのボードに分けることにより、画像投影装置100の機能を分散し、主となる投影機能の応答性能を落とさずに付加機能を追加することができる。 The hardware block configuration of the image output circuit 1013 in FIG. 6 shows an example in which the hardware block described in FIG. 4 is realized by combining the main function board 1100 and the extended function board 1200. As described above, by dividing the board into two boards, the functions of the image projection apparatus 100 can be distributed, and additional functions can be added without deteriorating the response performance of the main projection function.

主機能ボード1100は、プロジェクタの基本機能である画像投影を行うこととそれに伴う設定情報の管理を主な責務とするボードである。   The main function board 1100 is a board whose main responsibility is to perform image projection, which is a basic function of the projector, and to manage setting information associated therewith.

拡張機能ボード1200は、主機能ボードの基本機能以外の機能を付加することを責務とするボードであり、CPU1201、メモリ1202、電力制御回路1203、インタフェース回路1204で構成される。   The extension function board 1200 is a board that is responsible for adding functions other than the basic functions of the main function board, and includes a CPU 1201, a memory 1202, a power control circuit 1203, and an interface circuit 1204.

CPU1201は、CPU1008と同様に演算処理を行う回路である。図6のハードウェアブロック構成の場合は、CPU1201が、音声認識、画像認識、制御信号生成等の演算処理を行う。なお、CPU1008は、画像投影に関わる処理のみを実行する。   The CPU 1201 is a circuit that performs arithmetic processing in the same manner as the CPU 1008. In the case of the hardware block configuration of FIG. 6, the CPU 1201 performs arithmetic processing such as voice recognition, image recognition, and control signal generation. Note that the CPU 1008 executes only processing related to image projection.

メモリ1202は、CPU1201が直接読み書き可能なRAM等の半導体装置であり、CPU1201の演算結果を一時的に記憶する。   The memory 1202 is a semiconductor device such as a RAM that can be directly read and written by the CPU 1201, and temporarily stores a calculation result of the CPU 1201.

電力制御回路1203は、拡張機能ボード上の電力制御を行う回路である。電源制御回路1006と同様に、電源のON/OFFや一定時間操作が行われない場合に自動で省エネモードに遷移させるといった制御を行う。   The power control circuit 1203 is a circuit that performs power control on the extended function board. Similar to the power supply control circuit 1006, control is performed such that the power supply is automatically switched to the energy saving mode when the power supply is turned on / off or the operation is not performed for a certain period of time.

インタフェース回路1204は、シリアル通信インタフェース、USB、有線・無線LANインタフェースといったインタフェース回路を総称したものである。図6では、インタフェース回路1007は、画像投影に必要な端子であるシリアル通信インタフェース、画像入力端子等のインタフェース回線を総称したものとする。例えば、インタフェース回路1204は、図3の外部機器接続用のインタフェース11に相当する。   The interface circuit 1204 is a general term for interface circuits such as a serial communication interface, USB, and wired / wireless LAN interface. In FIG. 6, the interface circuit 1007 is a generic term for interface lines such as a serial communication interface and an image input terminal which are terminals necessary for image projection. For example, the interface circuit 1204 corresponds to the interface 11 for connecting external devices in FIG.

次に、画像投影装置100の全体の機能ブロック構成について説明する。図7は、画像投影装置100の機能ブロック図である。   Next, the overall functional block configuration of the image projection apparatus 100 will be described. FIG. 7 is a functional block diagram of the image projection apparatus 100.

図7に示すように、画像投影装置100は、画像入力部10と、画像処理部20と、画像出力部30と、音声処理部40と、操作部50と、電力制御部60と、拡張機能部70と、記憶部90とを主に備える。   As shown in FIG. 7, the image projection apparatus 100 includes an image input unit 10, an image processing unit 20, an image output unit 30, an audio processing unit 40, an operation unit 50, a power control unit 60, and an extended function. Unit 70 and storage unit 90 are mainly provided.

記憶部90は、設定項目と設定値とを対応付けて記憶する。ここで、設定項目とは、モードのON・OFFや、ジェスチャの種類等のことであり、設定値とは、設定する機能の種類のことである。   The storage unit 90 stores setting items and setting values in association with each other. Here, the setting items are mode ON / OFF, gesture type, and the like, and the set value is the type of function to be set.

図8は、設定項目と設定値の一例を示す図である。図8に示すように、設定項目として、ジェスチャ認識機能、ターゲット検出手段、ターゲット特定情報、ジェスチャ認識モード移行判定、ターゲット検出モード移行判定、ターゲット検出キーワード、ジェスチャ領域、ジェスチャの種類等がある。 FIG. 8 is a diagram illustrating an example of setting items and setting values. As shown in FIG. 8, the setting items include a gesture recognition function, target detection means, target identification information, gesture recognition mode transition determination, target detection mode transition determination, target detection keyword, gesture region, gesture type, and the like.

ジェスチャ認識機能に対応する設定値には、ジェスチャ認識機能のON/OFFがある。また、ターゲット検出手段に対応する設定値は、固定と自動とがある。固定は、ユーザの音声やタッチに従ってカメラ5を制御せず固定する設定であり、自動は、ユーザの音声やタッチの認識によりカメラ5を制御する設定である。   The setting value corresponding to the gesture recognition function includes ON / OFF of the gesture recognition function. Further, the set value corresponding to the target detection means is fixed or automatic. Fixing is a setting for fixing the camera 5 without controlling it according to the user's voice or touch, and Auto is a setting for controlling the camera 5 by recognizing the user's voice or touch.

ターゲット特定情報に対応する設定値には、ユーザをターゲットとして特定するための情報であり、視線/顔の向き/手のひら/PC/その他がある。例えば、PCの設定値は、PCから画像投影装置100にターゲットを特定する情報を送信する設定である。   The setting value corresponding to the target specifying information is information for specifying the user as a target, and includes gaze / face orientation / palm / PC / others. For example, the setting value of the PC is a setting for transmitting information for specifying the target from the PC to the image projection apparatus 100.

ジェスチャ認識移行判定に対応する設定値は、ターゲット検出モードからジェスチャ認識モードに移行するまでの秒数である。ジェスチャ認識移行判定の設定値として指定された秒数の間、ターゲット特定情報で指定した情報が読み取れた場合にターゲットが特定されジェスチャ認識モードに移行することとなる。 The setting value corresponding to the gesture recognition transition determination is the number of seconds until transition from the target detection mode to the gesture recognition mode. When the information specified by the target specifying information is read for the number of seconds specified as the setting value for the gesture recognition transfer determination, the target is specified and the mode shifts to the gesture recognition mode.

ターゲット検出移行判定に対応する設定値は、ジェスチャ認識モードからターゲット検出モードに移行するまでの秒数である。ターゲット検出移行判定の設定値として指定された秒数の間、ジェスチャが検出されなかった場合に、ターゲット検出モードに移行されることとなる。 The setting value corresponding to the target detection transition determination is the number of seconds until transition from the gesture recognition mode to the target detection mode. If no gesture is detected for the number of seconds specified as the setting value for target detection transition determination, the target detection mode is entered.

ターゲット検出キーワードに対応する設定値は、画像投影装置100がターゲット方向を特定するためのキーワード情報である。図8では、設定値として「こっち」が指定されている。画像投影装置100は、ユーザにより「こっち」と発音されると、「こっち」の音声を認識し、「こっち」と発音したユーザの方にカメラ5を向ける。   The setting value corresponding to the target detection keyword is keyword information for the image projection apparatus 100 to specify the target direction. In FIG. 8, “here” is designated as the setting value. When the user pronounces “here”, the image projection apparatus 100 recognizes the voice of “here” and points the camera 5 toward the user who pronounces “here”.

ジェスチャ領域に対応する設定値は、ジェスチャ認識処理の高速化のために撮像された画像からジェスチャ認識領域を割り出すための設定値であり、左手・右手・OFFの3段階がある。例えば、OFFの場合、カメラ5により撮像された全画像がジェスチャ認識対象となる。   The setting value corresponding to the gesture area is a setting value for determining the gesture recognition area from the image captured for speeding up the gesture recognition process, and has three stages of left hand, right hand, and OFF. For example, in the case of OFF, all images taken by the camera 5 are gesture recognition targets.

上矢印を示すジェスチャの設定値は、ジェスチャ領域指定した手を上に動かした際の制御内容である。図8では、メニュー一覧を上にスクロールする設定に指定されている。   The setting value of the gesture indicating the up arrow is the control content when the hand designated with the gesture area is moved up. In FIG. 8, the menu list is designated to be scrolled up.

左矢印を示すジェスチャの設定値は、ジェスチャ領域指定した手を左に動かした際の制御内容である。図8では、メニュー一覧を上に戻る、あるいは前のスライドへ戻る設定に指定されている。   The gesture setting value indicating the left arrow is the control content when the hand with the gesture area specified is moved to the left. In FIG. 8, the menu list is designated to return to the top or return to the previous slide.

右矢印を示すジェスチャの設定値は、ジェスチャ領域指定した手を右に動かした際の制御内容である。図8では、メニュー一覧を下に進む、あるいは次のスライドへ進む設定に指定されている。   The set value of the gesture indicating the right arrow is the control content when the hand with the gesture area specified is moved to the right. In FIG. 8, the menu list is designated to advance downward or advance to the next slide.

下矢印を示すジェスチャの設定値は、ジェスチャ領域指定した手を下に動かした際の制御内容である。図8では、メニュー一覧を下にスクロールする設定に指定されている。   The setting value of the gesture indicating the down arrow is the control content when the hand designated with the gesture area is moved down. In FIG. 8, the menu list is designated to scroll down.

グーを示すジェスチャの設定値は、ジェスチャ領域指定した手をグーにした際の制御内容である。図8では、メニューを決定する設定に指定されている。   The setting value of the gesture indicating goo is the control content when the hand designated as the gesture area is made goo. In FIG. 8, it is designated as a setting for determining a menu.

チョキを示すジェスチャの設定値は、ジェスチャ領域指定した手をチョキにした際の制御内容である。図8では、スクリーンのスナップショットを撮影する設定に指定されている。   The set value of the gesture indicating the choke is the control content when the hand designated with the gesture area is choked. In FIG. 8, the setting is made to take a snapshot of the screen.

パーを示すジェスチャの設定値は、ジェスチャ領域指定した手をパーにした際の制御内容である。図8では、ターゲットを解除する設定に指定されている。   The setting value of the gesture indicating the par is the control content when the hand designated with the gesture area is set to the par. In FIG. 8, it is designated as a setting for releasing the target.

画像入力部10は、インタフェース回路1007から入力した画像やカメラ5により撮像された画像を読み取って、CPU1008に画像処理要求を指示する。   The image input unit 10 reads an image input from the interface circuit 1007 or an image captured by the camera 5 and instructs the CPU 1008 to request an image processing.

画像処理部20は、画像入力部10から受け取った画像を、CPU1008を介して処理し、画像出力回路1013に出力を指示する。CPU1008による処理は、A/D変換、I/P変換、スケーリング処理、ガンマ補正、ノイズリダクション等の処理を指す。例えば、音声認識、画像認識、制御信号生成等がある。   The image processing unit 20 processes the image received from the image input unit 10 via the CPU 1008 and instructs the image output circuit 1013 to output the image. The processing performed by the CPU 1008 refers to processing such as A / D conversion, I / P conversion, scaling processing, gamma correction, and noise reduction. For example, there are voice recognition, image recognition, control signal generation, and the like.

画像出力部30は、画像処理部20から出力を要求された画像を、光に変換して映像としてスクリーン200に投影する。   The image output unit 30 converts the image requested to be output from the image processing unit 20 into light and projects it on the screen 200 as a video.

音声処理部40は、マイク4を介して音声入力回路1000から受け取った音声情報のノイズリダクション処理等を行い、CPU1008に音声情報を渡す。又、音声処理部40は、CPU1008からの制御信号により音声出力回路1003より音声を出力する処理も行う。   The audio processing unit 40 performs noise reduction processing of audio information received from the audio input circuit 1000 via the microphone 4 and passes the audio information to the CPU 1008. The audio processing unit 40 also performs processing for outputting audio from the audio output circuit 1003 according to a control signal from the CPU 1008.

操作部50は、操作部50からのキーイベントを受けてCPU1008に制御信号に変換して通知する。   The operation unit 50 receives the key event from the operation unit 50 and converts it into a control signal for notification to the CPU 1008.

電力制御部60は、電源のON/OFFや一定時間操作が行われない場合に自動で省エネモードに遷移させるといった制御を行う。例えば、電力制御部60は、ハードウェアブロック構成図(図5、図6)では、電力制御回路1006や、電力制御回路1203に相当する。   The power control unit 60 performs control such that the power is automatically switched to the energy saving mode when the power is not turned on or off for a certain period of time. For example, the power control unit 60 corresponds to the power control circuit 1006 and the power control circuit 1203 in the hardware block configuration diagram (FIGS. 5 and 6).

拡張機能部70は、特定部71と、認識部72と、撮像制御部73と、設定部74と、投影制御部79と、モード切替部75と、検出部76と、画像領域抽出部77と、制御信号生成部78と、表示制御部80とを主に備える。   The extended function unit 70 includes a specifying unit 71, a recognition unit 72, an imaging control unit 73, a setting unit 74, a projection control unit 79, a mode switching unit 75, a detection unit 76, and an image region extraction unit 77. The control signal generator 78 and the display controller 80 are mainly provided.

モード切替部75は、ターゲット検出モード(第1検出モード)と、ジェスチャ認識モード(第2検出モード)とを所定のタイミングで切り替える。例えば、モード切替部75は、操作開始を検知した場合に、ターゲット検出モードをONにし、あらかじめ定められた所定の時間経過後にジェスチャ認識モードに切り替えることとしてもよい。また、モード切替部75は、特定部71によりカメラ5の撮像領域が特定された場合に、ジェスチャ認識モードに切り替えることとしてもよい。   The mode switching unit 75 switches between the target detection mode (first detection mode) and the gesture recognition mode (second detection mode) at a predetermined timing. For example, when the operation start is detected, the mode switching unit 75 may turn on the target detection mode and switch to the gesture recognition mode after a predetermined time has elapsed. Further, the mode switching unit 75 may switch to the gesture recognition mode when the imaging unit of the camera 5 is specified by the specifying unit 71.

図9は、モードの状態遷移図である。図9に示すように、モード切替部75により切り替えられるモードとして、OFFモードM10、ターゲット検出モードM20、ジェスチャ認識モードM30、省エネモードM40の4つの状態がある。   FIG. 9 is a state transition diagram of the mode. As shown in FIG. 9, there are four modes that can be switched by the mode switching unit 75: an OFF mode M10, a target detection mode M20, a gesture recognition mode M30, and an energy saving mode M40.

OFFモードM10は、画像投影装置100のターゲット検出モード、またはジェスチャ認識モードの各機能がOFFに設定されている状態を示す。なお、ターゲット検出モードM20、またはジェスチャ認識モードM30の状態でOFFに設定された場合、OFFモードM10に遷移する。   The OFF mode M10 indicates a state where each function of the target detection mode or the gesture recognition mode of the image projection apparatus 100 is set to OFF. In addition, when it is set to OFF in the state of the target detection mode M20 or the gesture recognition mode M30, the transition is made to the OFF mode M10.

ターゲット検出モードM20は、画像投影装置100がユーザを検出中である状態を指す。ターゲット検出モードM20は、ターゲットが検出され、ジェスチャ画像領域が抽出された後、ジェスチャ認識モードに遷移する。例えば、ターゲットを特定するパラメータとしては、ユーザの視線・顔全体・手のひら全体が画像投影装置100に向けられているか等が用いられる。   The target detection mode M20 indicates a state where the image projection apparatus 100 is detecting a user. In the target detection mode M20, after the target is detected and the gesture image region is extracted, the mode is changed to the gesture recognition mode. For example, whether the user's line of sight, the entire face, or the entire palm is directed toward the image projection apparatus 100 is used as the parameter for specifying the target.

ジェスチャ認識モードM30は、ユーザがジェスチャにより画像投影装置100を操作している状態を指す。ユーザがジェスチャを行うと、画像投影装置100は内部で認識しジェスチャと対応付けられた制御信号に変換して映像の状態(色調・光量・音声・RGB等)やスライド送り、動画の一時停止・再生等の制御、機器設定の変更等を実行する。ジェスチャが所定の時間経っても検出されない場合は、ターゲット検出モードに戻る。   The gesture recognition mode M30 indicates a state in which the user is operating the image projection apparatus 100 with a gesture. When the user performs a gesture, the image projecting apparatus 100 internally recognizes and converts it into a control signal associated with the gesture to convert the video state (color tone, light quantity, sound, RGB, etc.), slide feed, Control playback, change device settings, etc. If the gesture is not detected after a predetermined time, the process returns to the target detection mode.

例えば、ジェスチャが所定の時間経っても検出されない場合として、ユーザが操作を終了したような場合がある。なお、所定の時間は、任意の値を事前に設定しておくことができる。また、ユーザが意図的に操作終了のジェスチャをすることによりターゲット検出モードに戻ることもできる。   For example, as a case where the gesture is not detected even after a predetermined time, there is a case where the user has finished the operation. Note that an arbitrary value can be set in advance for the predetermined time. In addition, the user can return to the target detection mode by intentionally ending the operation.

省エネモードM40は、ターゲットが一定時間経っても検出されないため、消費電力を節約する状態を指す。省エネモードM40では、ユーザが音声やタッチを行ってもカメラ5を制御しないため、省エネモードM40の復帰後にターゲット検出モードM20に移行されることとなる。なお、ターゲット検出モードM20から省エネモードM40への移行は、操作部50による省エネモードM40の移行指示により実行されることとしてもよい。   The energy saving mode M40 indicates a state in which power consumption is saved because the target is not detected even after a certain period of time. In the energy saving mode M40, since the camera 5 is not controlled even if the user makes a voice or a touch, the mode is shifted to the target detection mode M20 after the energy saving mode M40 is restored. The transition from the target detection mode M20 to the energy saving mode M40 may be executed by an instruction to shift to the energy saving mode M40 by the operation unit 50.

特定部71は、ターゲット検出モードに切り替えられた場合に、検出対象を含む領域をカメラ5の撮像領域として検出し、検出した撮像領域を特定する。例えば、特定部71は、カメラ制御回路1002、音声入力回路1000等により取得された情報に従って、ユーザの方向を含む撮像領域(位置情報)を特定する。   When switching to the target detection mode, the specifying unit 71 detects an area including the detection target as an imaging area of the camera 5 and specifies the detected imaging area. For example, the specifying unit 71 specifies an imaging region (position information) including the direction of the user according to information acquired by the camera control circuit 1002, the audio input circuit 1000, and the like.

撮像制御部73は、ジェスチャ認識モードに切り替えられた場合に、カメラ5の撮像範囲を、特定部71により特定された撮像領域に合わせて、カメラ5に検出対象であるユーザを撮像させる。例えば、撮像制御部73は、タッチセンサ1011から取得したユーザの位置情報から、カメラ回転制御回路1001を介してカメラ5をユーザが映る方向に回転させる。また、撮像制御部73は、カメラ5のピント調整も行う。   When switching to the gesture recognition mode, the imaging control unit 73 causes the camera 5 to image the user who is the detection target in accordance with the imaging range of the camera 5 with the imaging region specified by the specifying unit 71. For example, the imaging control unit 73 rotates the camera 5 in the direction in which the user is reflected via the camera rotation control circuit 1001 from the position information of the user acquired from the touch sensor 1011. The imaging control unit 73 also performs focus adjustment of the camera 5.

検出部76は、検出対象であるユーザを検出する。例えば、検出部76は、所定の時間が経過するまでユーザを検出する。   The detection unit 76 detects a user who is a detection target. For example, the detection unit 76 detects the user until a predetermined time elapses.

画像領域抽出部77は、音声情報、肌色情報、赤外線情報(体温からの温度情報)等を利用して、ジェスチャを検出する画像領域を抽出する。画像領域を抽出することにより、画像認識の精度および応答性能を向上することができる。なお、画像領域を抽出する処理のON・OFFは任意に制御可能とできる。   The image region extraction unit 77 extracts an image region for detecting a gesture using audio information, skin color information, infrared information (temperature information from body temperature), and the like. By extracting the image region, the accuracy and response performance of image recognition can be improved. In addition, ON / OFF of the process which extracts an image area | region can be arbitrarily controlled.

認識部72は、カメラ5により撮像された検出対象であるユーザのジェスチャを認識する。ここで、ジェスチャとは、左手あるいは右手の動きのことである。また、ジェスチャの判定には、赤外線・可視光画像間の差分画像により手の動きを検出する。   The recognizing unit 72 recognizes a user's gesture that is a detection target imaged by the camera 5. Here, the gesture is a movement of the left hand or the right hand. For gesture determination, hand movement is detected from the difference image between the infrared and visible light images.

なお、認識部72において、赤外線画像を利用することにより、人の体温の情報を検出したり、手や顔の領域を特定したりすることができる。さらに、認識部72において、赤外線画像と可視光画像とを組み合わせて利用することによりジェスチャの認識精度を向上することができる。   In addition, in the recognition part 72, the information of a human body temperature can be detected, or the area | region of a hand or a face can be specified by using an infrared image. Furthermore, the recognition unit 72 can improve gesture recognition accuracy by using an infrared image and a visible light image in combination.

制御信号生成部78は、認識部72により認識されたジェスチャに対応付けられた機能情報を変換し、ハードウェアの制御信号を生成する。ここで、機能情報とは、画像を投影させる、音声のボリュームを上下させる、各種機能を設定する等の設定機能の種類を示す情報である。   The control signal generation unit 78 converts function information associated with the gesture recognized by the recognition unit 72 and generates a hardware control signal. Here, the function information is information indicating types of setting functions such as projecting an image, raising and lowering the volume of sound, and setting various functions.

表示制御部80は、認識部72により認識されたジェスチャをスクリーン200に表示する。例えば、図10は、表示制御部80により表示されるジェスチャの認識結果の一例を示す。表示制御部80は、認識部72により上方向を指すジェスチャが認識された場合、スクリーン200に、図10に示すように上矢印を表示する。これにより、ユーザは画像投影装置100によりジェスチャが認識されたことを確認できる。   The display control unit 80 displays the gesture recognized by the recognition unit 72 on the screen 200. For example, FIG. 10 shows an example of a gesture recognition result displayed by the display control unit 80. When the recognition unit 72 recognizes a gesture pointing upward, the display control unit 80 displays an up arrow on the screen 200 as shown in FIG. Thereby, the user can confirm that the gesture has been recognized by the image projection apparatus 100.

設定部74は、認識部72により認識されたジェスチャに対応付けられた機能情報を、記憶部90から取得し、取得された機能情報が示す機能を設定する。 Setting unit 74, the function information associated with the recognized by the recognition unit 72 gestures, acquired from the storage unit 90, it sets the function indicated by the obtained machine Nojo paper.

投影制御部79は、設定部74により設定された機能を反映して画像をスクリーン200に投影する。例えば、投影制御部79は、設定部74により画像の拡大が設定された場合に、スクリーン200に拡大された画像を投影する。   The projection control unit 79 projects an image on the screen 200 reflecting the function set by the setting unit 74. For example, the projection control unit 79 projects the enlarged image on the screen 200 when the setting unit 74 sets the image enlargement.

次に、画像投影装置100によるジェスチャ認識処理の手順について説明する。図11は、画像投影装置100によるジェスチャ認識処理の手順を示すフローチャートである。   Next, a procedure of gesture recognition processing by the image projection apparatus 100 will be described. FIG. 11 is a flowchart showing a procedure of gesture recognition processing by the image projection apparatus 100.

撮像制御部73は、検出対象となるユーザの画像を撮影する(ステップS101)。ここで、撮像制御部73は、カメラ制御回路1002を介してCPU1008にジェスチャ認識を指示する。   The imaging control unit 73 captures an image of the user to be detected (step S101). Here, the imaging control unit 73 instructs the CPU 1008 to perform gesture recognition via the camera control circuit 1002.

ジェスチャ認識部72は、ジェスチャを検出したか否かを判断する(ステップS102)。ここで、ジェスチャ認識部72は、ジェスチャを検出し、検出したジェスチャが記憶部90にあらかじめ登録されているジェスチャと一致するか否かを判断する。   The gesture recognition unit 72 determines whether a gesture has been detected (step S102). Here, the gesture recognition unit 72 detects a gesture and determines whether or not the detected gesture matches a gesture registered in advance in the storage unit 90.

制御信号生成部78は、ジェスチャを検出したと判断した場合(ステップS102:Yes)、制御信号を生成する(ステップS103)。ここで、制御信号生成部78は、ジェスチャから制御信号への変換を行う。   When it is determined that the gesture has been detected (step S102: Yes), the control signal generation unit 78 generates a control signal (step S103). Here, the control signal generation unit 78 performs conversion from a gesture to a control signal.

設定部74は、制御信号により制御された設定を実行する(ステップS104)。設定部74により、設定が実行された場合、および、ステップS102において、検出部76がジェスチャを検出しなかった場合(ステップS102:No)、モード切替部75は、ターゲット検出モードに遷移したか否かを確認する(ステップS105)。   The setting unit 74 performs setting controlled by the control signal (step S104). When setting is performed by the setting unit 74, and when the detection unit 76 does not detect a gesture in step S102 (step S102: No), the mode switching unit 75 has transitioned to the target detection mode. (Step S105).

モード切替部75は、ターゲット検出モードに遷移したことを確認しなかった場合(ステップS105:No)、ジェスチャ認識モードをターゲット検出モードに遷移する(ステップS106)。モード切替部75によりジェスチャ認識モードに切り替えられている間、上記ステップS101からステップS106の処理が繰り返し実行される。   If the mode switching unit 75 has not confirmed that the mode has changed to the target detection mode (step S105: No), the mode switching unit 75 changes the gesture recognition mode to the target detection mode (step S106). While the mode switching unit 75 switches to the gesture recognition mode, the processing from step S101 to step S106 is repeatedly executed.

次に、画像投影装置100によるターゲット検出処理の手順について説明する。図12は、画像投影装置100によるターゲット検出処理の手順を示すフローチャートである。   Next, a procedure of target detection processing by the image projection apparatus 100 will be described. FIG. 12 is a flowchart showing the procedure of target detection processing by the image projection apparatus 100.

特定部71は、ユーザの位置を特定したか否かを判断する(ステップS201)。特定部71によりユーザの位置を特定できたと判断された場合(ステップS201:Yes)、制御信号生成部78は、カメラ制御信号を生成する(ステップS202)。   The specifying unit 71 determines whether the user's position has been specified (step S201). When it is determined that the position of the user can be specified by the specifying unit 71 (step S201: Yes), the control signal generating unit 78 generates a camera control signal (step S202).

撮像制御部73は、制御信号生成部78により生成されたカメラ制御信号によりカメラ5を制御する(ステップS203)。撮像制御部73は、ターゲットであるユーザを特定したか否かを判断する(ステップS204)。撮像制御部73により、ターゲットであるユーザを特定したと判断された場合(ステップS204:Yes)、モード切替部75は、ターゲット検出モードをジェスチャ認識モードに遷移する(ステップS205)。   The imaging control unit 73 controls the camera 5 with the camera control signal generated by the control signal generation unit 78 (step S203). The imaging control unit 73 determines whether the target user has been specified (step S204). If the imaging control unit 73 determines that the target user has been specified (step S204: Yes), the mode switching unit 75 transitions the target detection mode to the gesture recognition mode (step S205).

なお、本実施の形態の画像形成装置で実行される機能設定プログラムは、ROM等に予め組み込まれて提供される。   The function setting program executed by the image forming apparatus according to the present embodiment is provided by being incorporated in advance in a ROM or the like.

本実施の形態の画像形成装置で実行される機能設定プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。   The function setting program executed in the image forming apparatus of the present embodiment is a file in an installable or executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), or the like. It may be configured to be recorded on a computer-readable recording medium.

さらに、本実施の形態の画像形成装置で実行される機能設定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の画像形成装置で実行されるデータ検出プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。   Furthermore, the function setting program executed by the image forming apparatus according to the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. The data detection program executed by the image forming apparatus according to the present embodiment may be provided or distributed via a network such as the Internet.

本実施の形態の画像形成装置で実行される機能設定プログラムは、上述した各部(特定部、認識部、撮像制御部、設定部、投影制御部、モード切替部、検出部、画像領域抽出部、制御信号生成部、表示制御部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMから機能設定プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、特定部、認識部、撮像制御部、設定部、投影制御部、モード切替部、検出部、画像領域抽出部、制御信号生成部、表示制御部が主記憶装置上に生成されるようになっている。   The function setting program executed by the image forming apparatus according to the present embodiment includes the above-described units (specification unit, recognition unit, imaging control unit, setting unit, projection control unit, mode switching unit, detection unit, image region extraction unit, The module configuration includes a control signal generation unit and a display control unit). As actual hardware, the CPU (processor) reads out and executes the function setting program from the ROM, so that the respective units are placed on the main storage device. The identification unit, the recognition unit, the imaging control unit, the setting unit, the projection control unit, the mode switching unit, the detection unit, the image region extraction unit, the control signal generation unit, and the display control unit are generated on the main storage device. It has become.

10 画像入力部
20 画像処理部
30 画像出力部
40 音声処理部
50 操作部
60 電力制御部
70 拡張機能部
71 特定部
72 認識部
73 撮像制御部
74 設定部
75 モード切替部
76 検出部
77 画像領域抽出部
78 制御信号生成部
79 投影制御部
80 表示制御部
100 画像投影装置
DESCRIPTION OF SYMBOLS 10 Image input part 20 Image processing part 30 Image output part 40 Audio | voice processing part 50 Operation part 60 Power control part 70 Extended function part 71 Identification part 72 Recognition part 73 Imaging control part 74 Setting part 75 Mode switching part 76 Detection part 77 Image area | region Extraction unit 78 Control signal generation unit 79 Projection control unit 80 Display control unit 100 Image projection device

特開2005−141151号公報JP-A-2005-141151

Claims (12)

利用者の動作と、設定される機能を示す機能情を対応付けて記憶する記憶部と、
利用者を撮像する撮像部と、
利用者を検出対象として検出する第1検出モードと、利用者の動作を検出する第2検出モードとを切り替える切替部と、
前記第1検出モードに切り替えられた場合に、前記検出対象を含む領域を撮像領域として特定する特定部と、
前記第2検出モードに切り替えられた場合に、前記撮像の撮像範囲を、特定された前記撮像領域に合わせて、前記撮像に前記検出対象を撮像させる撮像制御部と、
撮像された検出対象の動作を認識する認識部と、
認識された動作に対応付けられた前記機能情報を前記記憶部から取得し、取得された前記機能情報が示す機能を設定する設定部と、
を備え
前記第2検出モードの状態において、前記切替部は、前記機能情報に含まれる前記検出対象を解除する機能を前記設定部が設定すると、前記第2検出モードから前記第1検出モードに切り替えること、
を特徴とする画像投影装置。
The operation of the user, a storage unit for storing in association with machine Nojo report indicating the ability machine to be set,
An imaging unit for imaging a user;
A switching unit that switches between a first detection mode for detecting a user as a detection target and a second detection mode for detecting a user's action;
An identification unit that identifies an area including the detection target as an imaging area when the mode is switched to the first detection mode;
When switched to the second detection mode, the imaging range of the imaging unit, in accordance with the specified the imaging region, an imaging control unit for imaging the detection object on the imaging unit,
A recognition unit for recognizing the motion of the detected detection target;
A setting unit of the function information associated with the recognized operation acquired from the storage unit and sets the acquired the machine Nojo report indicates functions,
Equipped with a,
In the state of the second detection mode, the switching unit switches from the second detection mode to the first detection mode when the setting unit sets a function for canceling the detection target included in the function information.
An image projection apparatus characterized by the above.
マイクをさらに備え、
前記特定部は、前記マイクによって取得された音声に基づいて前記撮像領域を特定すること、
を特徴とする請求項1に記載の画像投影装置。
A microphone,
The specifying unit specifies the imaging region based on sound acquired by the microphone;
The image projection apparatus according to claim 1.
前記特定部は、前記マイクによって取得された音声に含まれるキーワードが、あらかじめ定められた所定キーワードと一致した場合に、前記キーワードを発声した利用者を含む領域を前記撮像領域として特定すること、
を特徴とする請求項2に記載の画像投影装置。
The specifying unit may be a keyword included in the sound acquired by the microphone, if they match a predetermined keyword predetermined identifying a region including the user who has uttered the keyword as the imaging region,
The image projection apparatus according to claim 2.
タッチセンサ、をさらに備え、
前記特定部は、前記タッチセンサによる検出結果に基づいて前記撮像領域を特定すること、
を特徴とする請求項1〜3の何れか一つに記載の画像投影装置。
A touch sensor,
The specifying unit specifies the imaging region based on a detection result of the touch sensor;
The image projection apparatus according to any one of claims 1 to 3, characterized in.
認識された前記動作に対応付けられた前記機能情示す機能が反映された表示情報をスクリーンに投影する投影制御部、
をさらに備えたことを特徴とする請求項1〜4の何れか一つに記載の画像投影装置。
Projection control unit that projects a display information recognized function indicated by the machine Nojo report associated with the operation is reflected on the screen,
The image projection apparatus according to any one of claims 1-4, characterized in further comprising a.
前記第1検出モード、または前記第2検出モードのいずれに切り替えられた状態であるかを、モード別に対応付けられた色の光の点灯により表示するランプ
をさらに備えたことを特徴とする請求項1〜5の何れか一つに記載の画像投影装置。
A lamp that displays whether the state is switched to the first detection mode or the second detection mode by lighting of light of a color corresponding to each mode ,
The image projection apparatus according to any one of claims 1-5, characterized in further comprising a.
所定時間が経過しても、前記検出対象が検出されなかった場合に、当該画像投影装置の消費電力を節約する省電力モードに移行する電力制御部、
をさらに備えたことを特徴とする請求項1〜6の何れか一つに記載の画像投影装置。
A power control unit that shifts to a power saving mode that saves power consumption of the image projection device when the detection target is not detected even after a predetermined time has elapsed;
The image projection apparatus according to any one of claims 1-6, characterized in further comprising a.
前記切替部は、所定時間が経過しても前記動作が検出されない場合に、前記第2検出モードを前記第1検出モードに切り替えること、
を特徴とする請求項1〜7の何れか一つに記載の画像投影装置。
The switching unit switches the second detection mode to the first detection mode when the operation is not detected even after a predetermined time has elapsed;
The image projection apparatus according to any one of claims 1-7, characterized in.
前記撮像制御部は、赤外線画像と可視光画像とを前記撮像に撮像させ、
撮像された前記赤外線画像と前記可視光画像の差分画像を抽出する抽出部、をさらに備え、
前記認識部は、抽出された前記差分画像により、前記動作を認識することを特徴とする請求項1〜8の何れか一つに記載の画像投影装置。
The imaging control unit causes the imaging an infrared image and the visible light image on the imaging unit,
An extraction unit that extracts a difference image between the captured infrared image and the visible light image;
The recognition unit, the extracted the difference image, the image projection apparatus according to any one of claims 1-8, characterized in that to recognize the operation.
前記認識部による前記動作の認識結果をスクリーンに表示する表示制御部、
をさらに備えたことを特徴とする請求項1〜9の何れか一つに記載の画像投影装置。
A display control unit for displaying a recognition result of the operation by the recognition unit on a screen;
The image projection apparatus according to any one of claims 1-9, characterized in further comprising a.
利用者の動作と、設定される機能を示す機能情を対応付けて記憶する記憶部と、利用者を撮像する撮像部と、を備える画像投影装置が、
利用者を検出対象として検出する第1検出モードと、利用者の動作を検出する第2検出モードとを切り替える切替ステップと、
前記第1検出モードに切り替えられた場合に、前記検出対象を含む領域を撮像領域として特定する特定ステップと、
前記第2検出モードに切り替えられた場合に、前記撮像の撮像範囲を、特定された前記撮像領域に合わせて、前記撮像に前記検出対象を撮像させる撮像制御ステップと、
撮像された検出対象の動作を認識する認識ステップと、
認識された動作に対応付けられた前記機能情報を前記記憶部から取得し、取得された前記機能情報が示す機能を設定する設定ステップと、
を含み、
前記第2検出モードの状態において、前記画像投影装置は、前記機能情報に含まれる前記検出対象を解除する機能を設定すると、前記第2検出モードから前記第1検出モードに切り替える
ことを特徴とする機能設定方法。
The operation of the user, a storage unit for storing in association with machine Nojo report indicating the ability machine is set, an imaging unit that captures the user, the image projection apparatus comprising,
A switching step for switching between a first detection mode for detecting a user as a detection target and a second detection mode for detecting a user's action;
A specifying step of specifying an area including the detection target as an imaging area when switched to the first detection mode;
When switched to the second detection mode, the imaging range of the imaging unit, in accordance with the specified the imaging region, an imaging control step of imaging the detection object on the imaging unit,
A recognition step for recognizing the action of the imaged detection target;
A setting step of the function information associated with the recognized operation acquired from the storage unit and sets the acquired the machine Nojo report indicates functions,
Only including,
In the state of the second detection mode, the image projection device switches from the second detection mode to the first detection mode when a function for canceling the detection target included in the function information is set. A function setting method characterized by
利用者を撮像する撮像部と、利用者の動作と設定される機能を示す機能情報とを対応付けて記憶する記憶部と、を有するコンピュータを、
用者を検出対象として検出する第1検出モードと、利用者の動作を検出する第2検出モードとを切り替える切替部と、
前記第1検出モードに切り替えられた場合に、前記検出対象を含む領域を撮像領域として特定する特定と、
前記第2検出モードに切り替えられた場合に、前記撮像の撮像範囲を、特定された前記撮像領域に合わせて、前記撮像に前記検出対象を撮像させる撮像制御と、
撮像された検出対象の動作を認識する認識と、
認識された動作に対応付けられた前記機能情報を前記記憶部から取得し、取得された前記機能情報が示す機能を設定する設定
として機能させ
前記第2検出モードの状態において、前記切替部は、前記機能情報に含まれる前記検出対象を解除する機能を前記設定部が設定すると、前記第2検出モードから前記第1検出モードに切り替える
ことを特徴とする機能設定プログラム。
A computer having an imaging unit that captures an image of a user and a storage unit that associates and stores function information indicating a user's operation and a set function ;
A first detection mode for detecting a a Subscriber as a detection target, and a switching unit for switching a second detection mode for detecting the operation of the user,
An identification unit that identifies an area including the detection target as an imaging area when the mode is switched to the first detection mode;
When switched to the second detection mode, the imaging range of the imaging unit, in accordance with the specified the imaging region, an imaging control unit for imaging the detection object on the imaging unit,
A recognition unit for recognizing the motion of the detected detection target;
Setting unit for the function information associated with the recognized operation acquired from the storage unit and sets the acquired the machine Nojo report indicates functions,
To function as,
In the state of the second detection mode, the switching unit switches from the second detection mode to the first detection mode when the setting unit sets a function for canceling the detection target included in the function information. /> A function setting program characterized by the above.
JP2011055386A 2011-03-14 2011-03-14 Image projection apparatus, function setting method, and function setting program Expired - Fee Related JP5793900B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011055386A JP5793900B2 (en) 2011-03-14 2011-03-14 Image projection apparatus, function setting method, and function setting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011055386A JP5793900B2 (en) 2011-03-14 2011-03-14 Image projection apparatus, function setting method, and function setting program

Publications (2)

Publication Number Publication Date
JP2012191568A JP2012191568A (en) 2012-10-04
JP5793900B2 true JP5793900B2 (en) 2015-10-14

Family

ID=47084220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011055386A Expired - Fee Related JP5793900B2 (en) 2011-03-14 2011-03-14 Image projection apparatus, function setting method, and function setting program

Country Status (1)

Country Link
JP (1) JP5793900B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11635821B2 (en) 2019-11-20 2023-04-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6689559B2 (en) * 2013-03-05 2020-04-28 株式会社リコー Image projection apparatus, system, image projection method and program
CN105122186A (en) * 2013-03-27 2015-12-02 夏普株式会社 Input device
KR101641091B1 (en) 2013-09-23 2016-07-20 삼성전자주식회사 Display apparatus and method for motion recognition
JP2016048541A (en) 2014-06-19 2016-04-07 株式会社リコー Information processing system, information processing device, and program
JP6790396B2 (en) * 2016-03-18 2020-11-25 株式会社リコー Information processing equipment, information processing system, service processing execution control method and program
JP7315430B2 (en) * 2019-10-15 2023-07-26 シャープ株式会社 Image forming apparatus, control program and control method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145821A (en) * 2002-10-28 2004-05-20 Toshiba Eng Co Ltd Liquid crystal display device
JP2004029808A (en) * 2003-06-17 2004-01-29 Hitachi Software Eng Co Ltd Automatic picture-taking equipment
JP4912184B2 (en) * 2007-03-01 2012-04-11 沖電気工業株式会社 Video surveillance system and video surveillance method
JP4727610B2 (en) * 2007-03-20 2011-07-20 本田技研工業株式会社 Display device
JP2008287142A (en) * 2007-05-21 2008-11-27 Brother Ind Ltd Image projector
JP5306105B2 (en) * 2009-08-18 2013-10-02 キヤノン株式会社 Display control device, display control device control method, program, and storage medium
JP5254906B2 (en) * 2009-08-27 2013-08-07 京セラ株式会社 Electronics

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11635821B2 (en) 2019-11-20 2023-04-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
JP2012191568A (en) 2012-10-04

Similar Documents

Publication Publication Date Title
JP5793900B2 (en) Image projection apparatus, function setting method, and function setting program
JP5906779B2 (en) Image display device
US7524067B2 (en) Projector device, projecting method and recording medium in which projection control program is recorded
CN107817924B (en) Display device and control method of display device
US10536627B2 (en) Display apparatus, method of controlling display apparatus, document camera, and method of controlling document camera
JP2015102737A (en) Image display device, and control method of image display device
JP2011128257A (en) Image display device, and control method of the same
CN108629726B (en) Information processing device, image display method, display system, and recording medium
JP2018022013A (en) Display device, display system, and method for controlling display device
JP6806220B2 (en) Electronic devices and control methods for electronic devices
JP2018054912A (en) Projection-type display device and method for controlling the same
JP2015154345A (en) projector
JP6988985B2 (en) Electronic devices and control methods for electronic devices
JP5205704B2 (en) Projection apparatus, projection method, and program
JP5002997B2 (en) Projection apparatus and program
JP4894639B2 (en) Image reproduction apparatus and program
JP6996114B2 (en) Projector and projector control method
JP6179549B2 (en) Image output apparatus and program
JP5119172B2 (en) Input operation control apparatus and method
JP2023034635A (en) Method for controlling display system and display system
JP2022143190A (en) Electronic apparatus, projection device, and program
JP5413624B2 (en) Image output apparatus and program
JP5839013B2 (en) Image output apparatus and program
JP5488584B2 (en) Image processing apparatus and program
JP2023079731A (en) Image capturing device and control method therefor, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150727

R151 Written notification of patent or utility model registration

Ref document number: 5793900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees