JP6810344B2 - Information processing equipment, programs and information processing methods - Google Patents

Information processing equipment, programs and information processing methods Download PDF

Info

Publication number
JP6810344B2
JP6810344B2 JP2016224186A JP2016224186A JP6810344B2 JP 6810344 B2 JP6810344 B2 JP 6810344B2 JP 2016224186 A JP2016224186 A JP 2016224186A JP 2016224186 A JP2016224186 A JP 2016224186A JP 6810344 B2 JP6810344 B2 JP 6810344B2
Authority
JP
Japan
Prior art keywords
unit
camera
camera unit
infrared
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016224186A
Other languages
Japanese (ja)
Other versions
JP2018082341A (en
Inventor
宏樹 千葉
宏樹 千葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Client Computing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Client Computing Ltd filed Critical Fujitsu Client Computing Ltd
Priority to JP2016224186A priority Critical patent/JP6810344B2/en
Publication of JP2018082341A publication Critical patent/JP2018082341A/en
Application granted granted Critical
Publication of JP6810344B2 publication Critical patent/JP6810344B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、情報処理装置、プログラムおよび情報処理方法に関する。 The present invention relates to information processing devices, programs and information processing methods.

カメラを備えた情報処理装置が利用されている。 An information processing device equipped with a camera is used.

特開２００７−１６３８１６号公報JP-A-2007-163816 特開２００３−２５９３２１号公報Japanese Unexamined Patent Publication No. 2003-259321

カメラを備えた情報処理装置には、カメラを自装置内に収納可能なものがある。このような情報処理装置では、ユーザがカメラを収納したままカメラを使用しようとする場合があり得る。このような場合、カメラによって撮影された映像は、例えば、光量不足によって真っ暗な映像となる。そのため、ユーザは、想定外の映像が撮影されることから、カメラの故障または設定の不具合を疑う場合がある。また、ユーザがカメラの収納を忘れた場合、例えば、コンピュータウィルス等が情報処理装置に感染することで、ユーザの望まない映像が撮影される虞がある。 Some information processing devices equipped with a camera can store the camera in the own device. In such an information processing device, the user may try to use the camera with the camera housed. In such a case, the image taken by the camera becomes a pitch-black image due to insufficient light, for example. Therefore, the user may suspect a camera failure or a setting failure because an unexpected image is shot. Further, if the user forgets to store the camera, for example, a computer virus or the like infects the information processing device, so that an image undesired by the user may be captured.

そこで、開示の技術の１つの側面は、カメラの収納状態をユーザに通知する情報処理装置を提供することを課題とする。 Therefore, one aspect of the disclosed technology is to provide an information processing device that notifies the user of the stored state of the camera.

開示の技術の１つの側面は、次のような情報処理装置によって例示される。本情報処理装置は、視線検出または顔認証を行うときに用いられる赤外線ＬＥＤおよび赤外線カメラと、カメラユニット、収納部、測距部、判定部および通知部を備える。収納部はカメラユニットを収納する。測距部は、カメラユニット上に設けられた赤外線ＬＥＤがカメラユニットの撮影方向に向かって赤外線を出射してから出射された赤外線の物体による反射光を赤外線カメラが受光するまでの経過時間に基づいて、カメラユニットと物体との距離を測距する。判定部は、測距された距離に基づいて、カメラユニットが収納部に収納されているか否かを判定する。通知部は、判定部による判定の結果を通知する。そして、通知部は、カメラユニットによって撮影を行うソフトウェアが起動しているにもかかわらずカメラユニットが収納されている場合に通知を行う。 One aspect of the disclosed technology is exemplified by the following information processing apparatus. This information processing device includes an infrared LED and an infrared camera used for line-of-sight detection or face recognition, and a camera unit, a storage unit, a distance measuring unit, a determination unit, and a notification unit. The storage unit stores the camera unit. The distance measuring unit is based on the elapsed time from when the infrared LED provided on the camera unit emits infrared rays toward the shooting direction of the camera unit until the infrared camera receives the reflected light from the emitted infrared object. Then, the distance between the camera unit and the object is measured. The determination unit determines whether or not the camera unit is housed in the storage unit based on the distance measured. The notification unit notifies the result of the determination by the determination unit. Then, the notification unit notifies when the camera unit is stored even though the software for shooting is activated by the camera unit.

本情報処理装置は、カメラの収納状態をユーザに通知できる。 This information processing device can notify the user of the stored state of the camera.

図１は、実施形態に係るデスクトップパソコンの正面図の一例である。FIG. 1 is an example of a front view of the desktop personal computer according to the embodiment. 図２は、実施形態に係るデスクトップパソコンの側面図の一例を示す図である。FIG. 2 is a diagram showing an example of a side view of the desktop personal computer according to the embodiment. 図３は、カメラユニットが収納部内に収納された状態のデスクトップパソコンの正面図の一例である。FIG. 3 is an example of a front view of a desktop personal computer in which the camera unit is stored in the storage unit. 図４は、カメラユニットが収納部内に収納された状態のデスクトップパソコンの側面図の一例である。FIG. 4 is an example of a side view of a desktop personal computer in a state where the camera unit is stored in the storage unit. 図５は、デスクトップパソコンのハードウェア構成の一例を示す図である。FIG. 5 is a diagram showing an example of the hardware configuration of the desktop personal computer. 図６は、デスクトップパソコンの処理ブロックの一例を示す図である。FIG. 6 is a diagram showing an example of a processing block of a desktop personal computer. 図７は、カメラユニットが収納部に収納された状態の一例を示す図である。FIG. 7 is a diagram showing an example of a state in which the camera unit is stored in the storage unit. 図８は、カメラユニットが収納部から引き出された状態の一例を示す図である。FIG. 8 is a diagram showing an example of a state in which the camera unit is pulled out from the storage portion. 図９は、実施形態に係る処理の流れの一例を示す図である。FIG. 9 is a diagram showing an example of a processing flow according to the embodiment. 図１０は、カメラユニットの収納状態を通知するメッセージが表示されたデスクトップパソコン１の一例を示す第１の図である。FIG. 10 is a first diagram showing an example of a desktop personal computer 1 in which a message notifying the stored state of the camera unit is displayed. 図１１は、カメラユニットの収納状態を通知するメッセージが表示されたデスクトップパソコン１の一例を示す第２の図である。FIG. 11 is a second diagram showing an example of the desktop personal computer 1 in which a message notifying the stored state of the camera unit is displayed.

以下、図面を参照して、一実施形態に係るデスクトップパソコンについて説明する。以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。 Hereinafter, the desktop personal computer according to the embodiment will be described with reference to the drawings. The configurations of the embodiments shown below are examples, and the disclosed technology is not limited to the configurations of the embodiments.

＜実施形態＞
実施形態では、カメラユニットを備えたデスクトップパソコンが例示される。図１および図２は、実施形態に係るデスクトップパソコン１の一例を示す図である。図１は、実施形態に係るデスクトップパソコン１の正面図の一例である。図２は、実施形態に係るデスクトップパソコン１の側面図の一例を示す図である。デスクトップパソコン１は、本体部１０、カメラユニット２０およびディスプレイ３０を備える。カメラユニット２０は、Ｗｅｂカメラ２１、赤外線カメラ２２、赤外線Light Emitting Diode（ＬＥＤ）２３ａ、２３ｂを有する。赤外線ＬＥＤ２３ａ、２３ｂを総称して、赤外線ＬＥＤ２３と称する。 <Embodiment>
In the embodiment, a desktop personal computer including a camera unit is exemplified. 1 and 2 are diagrams showing an example of the desktop personal computer 1 according to the embodiment. FIG. 1 is an example of a front view of the desktop personal computer 1 according to the embodiment. FIG. 2 is a diagram showing an example of a side view of the desktop personal computer 1 according to the embodiment. The desktop personal computer 1 includes a main body 10, a camera unit 20, and a display 30. The camera unit 20 includes a Web camera 21, an infrared camera 22, and infrared Light Emitting Diodes (LEDs) 23a and 23b. Infrared LEDs 23a and 23b are collectively referred to as infrared LEDs 23.

カメラユニット２０は、静止画および動画をＷｅｂカメラ２１によって撮影可能なユニットである。カメラユニット２０は、デスクトップパソコン１に収納可能である。カメラユニット２０は、使用するときは、図１に例示されるように、上方向に引き出される。カメラユニット２０が引き出されると、カメラユニット２０のＷｅｂカメラ２１、赤外線カメラ２２および赤外線ＬＥＤ２３はデスクトップパソコン１のユーザの方向に向けられる。すなわち、赤外線カメラ２２および赤外線ＬＥＤ２３は、Ｗｅｂカメラ２１の撮影方向を向くように設けられる。また、カメラユニット２０は、使用しないときは、本体部１０の収納部内に収納される。図３および図４は、カメラユニット２０が収納部４０内に収納された状態のデスクトップパソコン１の一例を示す図である。図３は、カメラユニット２０が収納された状態のデスクトップパソコン１の正面図の一例である。図４は、カメラユニット２０が収納された状態のデスクトップパソコン１の側面図の一例である。図３および図４では、収納されたカメラユニット２０およびカメラユニット２０を収納する収納部４０が点線で示されている。収納部４０は、「収納部」の一例である。 The camera unit 20 is a unit capable of capturing still images and moving images with the Web camera 21. The camera unit 20 can be stored in the desktop personal computer 1. When in use, the camera unit 20 is pulled out upward, as illustrated in FIG. When the camera unit 20 is pulled out, the Web camera 21, the infrared camera 22, and the infrared LED 23 of the camera unit 20 are directed toward the user of the desktop personal computer 1. That is, the infrared camera 22 and the infrared LED 23 are provided so as to face the shooting direction of the Web camera 21. When not in use, the camera unit 20 is housed in the storage part of the main body 10. 3 and 4 are views showing an example of a desktop personal computer 1 in a state where the camera unit 20 is housed in the storage unit 40. FIG. 3 is an example of a front view of the desktop personal computer 1 in which the camera unit 20 is housed. FIG. 4 is an example of a side view of the desktop personal computer 1 in which the camera unit 20 is housed. In FIGS. 3 and 4, the stored camera unit 20 and the storage unit 40 for storing the camera unit 20 are shown by dotted lines. The storage unit 40 is an example of a “storage unit”.

ディスプレイ３０は、例えば、デスクトップパソコン１による情報処理の結果が出力される。本体部１０は、Central Processing Unit（ＣＰＵ）、メモリ等を備える。 The display 30 outputs, for example, the result of information processing by the desktop personal computer 1. The main body 10 includes a Central Processing Unit (CPU), a memory, and the like.

図５は、デスクトップパソコン１のハードウェア構成の一例を示す図である。デスクトップパソコン１は、ＣＰＵ１１、メモリ１２、Hard Disk Drive（ＨＤＤ）１３、ディス
プレイ３０、チップセット１４、Ｗｅｂカメラ２１、赤外線カメラ２２および赤外線ＬＥＤ２３を備える。 FIG. 5 is a diagram showing an example of the hardware configuration of the desktop personal computer 1. The desktop personal computer 1 includes a CPU 11, a memory 12, a Hard Disk Drive (HDD) 13, a display 30, a chipset 14, a Web camera 21, an infrared camera 22, and an infrared LED 23.

デスクトップパソコン１では、ＣＰＵ１１がＨＤＤ１３に記憶されたプログラムをメモリ１２の作業領域に展開し、プログラムの実行を通じて周辺装置の制御を行う。これにより、デスクトップパソコン１は、所定の目的に合致した処理を実行することができる。メモリ１２およびＨＤＤ１３は、デスクトップパソコン１が読み取り可能な記録媒体である。 In the desktop personal computer 1, the CPU 11 expands the program stored in the HDD 13 into the work area of the memory 12, and controls peripheral devices through the execution of the program. As a result, the desktop personal computer 1 can execute a process that meets a predetermined purpose. The memory 12 and the HDD 13 are recording media that can be read by the desktop personal computer 1.

メモリ１２は、ＣＰＵ１１から直接アクセスされる記憶部として例示される。メモリ１
２は、Random Access Memory（ＲＡＭ）およびRead Only Memory（ＲＯＭ）を含む。 The memory 12 is exemplified as a storage unit that is directly accessed from the CPU 11. Memory 1
2 includes Random Access Memory (RAM) and Read Only Memory (ROM).

ＨＤＤ１３は、各種のプログラムおよび各種のデータを読み書き自在に記録媒体に格納する。ＨＤＤ１３は外部記憶装置とも呼ばれる。ＨＤＤ１３には、オペレーティングシステム（Operating System、ＯＳ）、各種プログラム、各種テーブル等が格納される。外部装置等には、例えば、コンピュータネットワーク等で接続された、他の情報処理装置および外部記憶装置が含まれる。なお、ＨＤＤ１３は、例えば、ネットワーク上のコンピュータ群であるクラウドシステムの一部であってもよい。 The HDD 13 stores various programs and various data in a readable and writable recording medium. The HDD 13 is also called an external storage device. The HDD 13 stores an operating system (Operating System, OS), various programs, various tables, and the like. External devices and the like include, for example, other information processing devices and external storage devices connected by a computer network or the like. The HDD 13 may be a part of a cloud system which is a group of computers on a network, for example.

デスクトップパソコン１が備える外部記憶装置は、ＨＤＤ１３に限定されるわけではない。外部記憶装置は、例えば、Erasable Programmable ROM（ＥＰＲＯＭ）またはソリッ
ドステートドライブ（Solid State Drive、ＳＳＤ）であってもよい。また、外部記憶装
置は、例えば、Compact Disc（ＣＤ）ドライブ装置、Digital Versatile Disc（ＤＶＤ）ドライブ装置、Blu-ray（登録商標） Disc（ＢＤ）ドライブ装置等であってもよい。また、外部記憶装置は、Network Attached Storage（ＮＡＳ）あるいはStorage Area Network（ＳＡＮ）によって提供されてもよい。 The external storage device included in the desktop personal computer 1 is not limited to the HDD 13. The external storage device may be, for example, an Erasable Programmable ROM (EPROM) or a solid state drive (SSD). Further, the external storage device may be, for example, a Compact Disc (CD) drive device, a Digital Versatile Disc (DVD) drive device, a Blu-ray (registered trademark) Disc (BD) drive device, or the like. The external storage device may also be provided by Network Attached Storage (NAS) or Storage Area Network (SAN).

デスクトップパソコン１が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、デスクトップパソコン１から読み取ることができる記録媒体をいう。このような記録媒体のうちデスクトップパソコン１から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、デスクトップパソコン１に固定された記録媒体としてハードディスク、ＳＳＤあるいはＲＯＭ等がある。 The recording medium that can be read by the desktop personal computer 1 is a recording medium that can be read from the desktop personal computer 1 by accumulating information such as data and programs by electrical, magnetic, optical, mechanical, or chemical action. Say. Among such recording media, those that can be removed from the desktop personal computer 1 include, for example, flexible disks, magneto-optical disks, CD-ROMs, CD-R / W, DVDs, Blu-ray discs, DATs, 8 mm tapes, flash memories, and the like. There is a memory card etc. Further, as a recording medium fixed to the desktop personal computer 1, there is a hard disk, SSD, ROM, or the like.

ディスプレイ３０は、例えば、ＣＰＵ１１で処理されるデータやメモリ１２に記憶されるデータを出力する出力部である。ディスプレイ３０として、例えば、Cathode Ray Tube（ＣＲＴ）ディスプレイ、Liquid Crystal Display（ＬＣＤ）、Plasma Display Panel（ＰＤＰ）、Electroluminescence（ＥＬ）パネルあるいは有機ＥＬパネルといった出力デ
バイスを例示できる。 The display 30 is, for example, an output unit that outputs data processed by the CPU 11 or data stored in the memory 12. Examples of the display 30 include output devices such as a Cathode Ray Tube (CRT) display, a Liquid Crystal Display (LCD), a Plasma Display Panel (PDP), an Electroluminescence (EL) panel, or an organic EL panel.

Ｗｅｂカメラ２１は、例えば、静止画および動画を撮影可能なカメラである。デスクトップパソコン１は、例えば、Ｗｅｂカメラ２１によって撮影した静止画または動画をインターネットに公開できる。 The Web camera 21 is, for example, a camera capable of capturing still images and moving images. The desktop personal computer 1 can, for example, publish a still image or a moving image taken by the Web camera 21 on the Internet.

赤外線ＬＥＤ２３は、Ｗｅｂカメラ２１の撮影方向に対して赤外線をパルス照射する。パルス照射は、赤外線の照射を極短時間で行うことを含む。赤外線ＬＥＤ２３は、「出射部」の一例である。 The infrared LED 23 pulsates infrared rays in the shooting direction of the Web camera 21. Pulse irradiation includes irradiation of infrared rays in a very short time. The infrared LED 23 is an example of an “emission unit”.

赤外線カメラ２２は、赤外線を検知するカメラである。赤外線カメラ２２は、Ｗｅｂカメラ２１の撮影方向に存在する物体によって反射された赤外線を受光する。赤外線カメラ２２は、「受光部」の一例である。 The infrared camera 22 is a camera that detects infrared rays. The infrared camera 22 receives infrared rays reflected by an object existing in the shooting direction of the Web camera 21. The infrared camera 22 is an example of a “light receiving unit”.

チップセット１４は、ＣＰＵ１１と、ＨＤＤ１３、Ｗｅｂカメラ２１、赤外線カメラ２２および赤外線ＬＥＤ２３との間の通信を制御する。 The chipset 14 controls communication between the CPU 11 and the HDD 13, the Web camera 21, the infrared camera 22, and the infrared LED 23.

デスクトップパソコン１は、例えば、ユーザ等からの操作指示等を受け付ける入力部をさらに備えてもよい。このような入力部として、キーボード、ポインティングデバイス、タッチパネル、加速度センサーあるいは音声入力装置といった入力デバイスを例示できる。 The desktop personal computer 1 may further include, for example, an input unit that receives an operation instruction or the like from a user or the like. Examples of such an input unit include an input device such as a keyboard, a pointing device, a touch panel, an acceleration sensor, or a voice input device.

＜デスクトップパソコン１の処理ブロック＞
図６は、デスクトップパソコン１の処理ブロックの一例を示す図である。デスクトップパソコン１は、ＯＳ制御部１０１、カメラ表示制御部１０２、収納検出部１０３および映像出力部１０４を備える。デスクトップパソコン１は、メモリ１２に実行可能に展開されたコンピュータプログラムをＣＰＵ１１が実行することで、上記デスクトップパソコン１の、ＯＳ制御部１０１、カメラ表示制御部１０２、収納検出部１０３および映像出力部１０４等の各部としての処理を実行する。ＣＰＵ１１は、Microprocessor（ＭＰＵ）、プロセッサとも呼ばれる。ＣＰＵ１１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１１がマルチコア構成を有していても良い。上記各部の少なくとも一部の処理は、ＣＰＵ１１以外のプロセッサ、例えば、Digital Signal Processor(DSP)、Graphics Processing Unit
（GPU）、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロ
セッサで行われても良い。また、上記各部の少なくとも一部の処理は、集積回路（ＩＣ）、その他のディジタル回路であっても良い。また、上記各部の少なくとも一部にアナログ回路が含まれても良い。集積回路は、ＬＳＩ、Application Specific Integrated Circuit（ASIC）、プログラマブルロジックデバイス（ＰＬＤ）を含む。ＰＬＤは、例えば、Field-Programmable Gate Array(FPGA)を含む。上記各部は、プロセッサと集積回路との組み合わせであっても良い。組み合わせは、例えば、マイクロコントローラ（ＭＣＵ）、System-on-a-chip（ＳｏＣ）、システムＬＳＩ、チップセットなどと呼ばれる。 <Processing block of desktop PC 1>
FIG. 6 is a diagram showing an example of a processing block of the desktop personal computer 1. The desktop personal computer 1 includes an OS control unit 101, a camera display control unit 102, a storage detection unit 103, and a video output unit 104. In the desktop personal computer 1, the CPU 11 executes a computer program executably expanded in the memory 12, and the OS control unit 101, the camera display control unit 102, the storage detection unit 103, and the video output unit 104 of the desktop personal computer 1 are executed. Etc. are executed as each part. The CPU 11 is also called a Microprocessor (MPU) or a processor. The CPU 11 is not limited to a single processor, and may have a multiprocessor configuration. Further, a single CPU 11 connected by a single socket may have a multi-core configuration. At least a part of the processing of each of the above parts is performed by a processor other than the CPU 11, for example, a Digital Signal Processor (DSP) or a Graphics Processing Unit.
It may be performed by a dedicated processor such as (GPU), a numerical arithmetic processor, a vector processor, or an image processor. Further, at least a part of the processing of each of the above parts may be an integrated circuit (IC) or other digital circuit. Further, an analog circuit may be included in at least a part of each of the above parts. Integrated circuits include LSIs, application specific integrated circuits (ASICs), and programmable logic devices (PLDs). The PLD includes, for example, a Field-Programmable Gate Array (FPGA). Each of the above parts may be a combination of a processor and an integrated circuit. The combination is called, for example, a microcontroller (MCU), a system-on-a-chip (SoC), a system LSI, a chipset, or the like.

カメラ表示制御部１０２は、Ｗｅｂカメラ２１による動画または静止画の撮影を制御する。カメラ表示制御部１０２は、カメラアプリ１０２ａが起動しているか否かを示す動作情報を収納検出部１０３に通知する。カメラ表示制御部１０２は、カメラアプリ１０２ａを含む。カメラアプリ１０２ａは、Ｗｅｂカメラ２１による撮影で使用されるユーザーインターフェースを提供する。また、カメラアプリ１０２ａは、Ｗｅｂカメラ２１によって撮影された動画または静止画をＯＳ制御部１０１を介して映像出力部１０４に出力する。さらに、カメラアプリ１０２ａは、例えば、Ｗｅｂカメラ２１によって撮影された動画または静止画をＨＤＤ１３に格納する。 The camera display control unit 102 controls the shooting of a moving image or a still image by the Web camera 21. The camera display control unit 102 notifies the storage detection unit 103 of operation information indicating whether or not the camera application 102a is activated. The camera display control unit 102 includes a camera application 102a. The camera application 102a provides a user interface used for shooting with the Web camera 21. Further, the camera application 102a outputs the moving image or the still image taken by the Web camera 21 to the video output unit 104 via the OS control unit 101. Further, the camera application 102a stores, for example, a moving image or a still image taken by the Web camera 21 in the HDD 13.

収納検出部１０３は、カメラユニット２０が収納されているか否かを検出する。収納検出部１０３は、赤外線ＬＥＤ２３が赤外線をパルス照射してから赤外線カメラ２２が赤外線を受光するまでの経過時間を測定する。経過時間の測定方法に限定は無い。収納検出部１０３は、例えば、赤外線ＬＥＤ２３がパルス照射を開始するとタイマーを起動し、赤外線カメラ２２が赤外線を受光するとタイマーを停止する。収納検出部１０３は、タイマーによって計測された時間によって、経過時間を測定してもよい。収納検出部１０３は、計測した経過時間に基づいて、カメラユニット２０から赤外線を反射した物体までの距離を算出する。収納検出部１０３は、算出した距離に基づいて、カメラユニット２０が収納されているか否かを判定する。収納検出部１０３は、収納通知アプリ１０３ａを含む。収納通知アプリ１０３ａは、収納検出部１０３による検出結果をＯＳ制御部１０１を介して映像出力部に出力する。収納検出部１０３は、「測距部」および「判定部」の一例である。収納通知アプリ１０３ａは、「通知部」の一例である。 The storage detection unit 103 detects whether or not the camera unit 20 is stored. The storage detection unit 103 measures the elapsed time from when the infrared LED 23 pulsates infrared rays to when the infrared camera 22 receives infrared rays. There is no limitation on the method of measuring the elapsed time. For example, the storage detection unit 103 starts a timer when the infrared LED 23 starts pulse irradiation, and stops the timer when the infrared camera 22 receives infrared rays. The storage detection unit 103 may measure the elapsed time according to the time measured by the timer. The storage detection unit 103 calculates the distance from the camera unit 20 to the object that reflects infrared rays based on the measured elapsed time. The storage detection unit 103 determines whether or not the camera unit 20 is stored based on the calculated distance. The storage detection unit 103 includes a storage notification application 103a. The storage notification application 103a outputs the detection result by the storage detection unit 103 to the video output unit via the OS control unit 101. The storage detection unit 103 is an example of a “distance measuring unit” and a “determining unit”. The storage notification application 103a is an example of a “notification unit”.

映像出力部１０４は、渡された他の処理部からの出力結果をＯＳ制御部１０１を介して受け取る。映像出力部１０４は、受け取った出力結果をディスプレイ３０に出力する。 The video output unit 104 receives the output result from the other processing unit passed through the OS control unit 101. The video output unit 104 outputs the received output result to the display 30.

ＯＳ制御部１０１は、カメラ表示制御部１０２、収納検出部１０３および映像出力部１０４間の情報のやりとりを中継する。また、ＯＳ制御部１０１は、デスクトップパソコン１が備える各種ハードウェア資源の制御を行う。 The OS control unit 101 relays the exchange of information between the camera display control unit 102, the storage detection unit 103, and the video output unit 104. Further, the OS control unit 101 controls various hardware resources included in the desktop personal computer 1.

＜カメラユニットを引き出した状態と収納した状態の比較＞
図７は、カメラユニット２０が収納部４０に収納された収納状態の一例を示す図である。図７では、カメラユニット２０の赤外線ＬＥＤ２３から赤外線２２ａがＷｅｂカメラ２１の撮影方向に向けてパルス照射されている。図７に例示されるカメラユニット２０が収納部４０に収納された状態では、カメラユニット２０Ｗｅｂカメラ２１の撮影方向にはディスプレイ３０内に設けられた液晶パネル３０ａが存在する。そのため、赤外線ＬＥＤ２３からパルス照射された赤外線２２ａは液晶パネル３０ａによって反射される。 <Comparison between the state where the camera unit is pulled out and the state where it is stored>
FIG. 7 is a diagram showing an example of a stored state in which the camera unit 20 is stored in the storage unit 40. In FIG. 7, infrared rays 22a are pulsed from the infrared LED 23 of the camera unit 20 toward the shooting direction of the Web camera 21. In the state where the camera unit 20 illustrated in FIG. 7 is housed in the storage unit 40, the liquid crystal panel 30a provided in the display 30 exists in the shooting direction of the camera unit 20 Web camera 21. Therefore, the infrared rays 22a pulse-irradiated from the infrared rays LED 23 are reflected by the liquid crystal panel 30a.

図８は、カメラユニット２０が収納部４０から引き出された非収納状態の一例を示す図である。図８では図７と同様に、カメラユニット２０の赤外線ＬＥＤ２３から赤外線２２ａがＷｅｂカメラ２１の撮影方向に向けてパルス照射されている。また、図８に例示されるカメラユニット２０が収納部４０から引き出された状態では、赤外線ＬＥＤ２３からパルス照射された赤外線２２ａはディスプレイ３０の外部に存在する障害物５０によって反射される。なお、図８では、障害物５０の一例として、デスクトップパソコン１のユーザが例示されている。 FIG. 8 is a diagram showing an example of a non-storing state in which the camera unit 20 is pulled out from the storage unit 40. In FIG. 8, similarly to FIG. 7, infrared rays 22a are pulsed from the infrared LED 23 of the camera unit 20 in the shooting direction of the Web camera 21. Further, in a state where the camera unit 20 illustrated in FIG. 8 is pulled out from the storage unit 40, the infrared rays 22a pulse-irradiated from the infrared LED 23 are reflected by the obstacle 50 existing outside the display 30. In FIG. 8, a user of the desktop personal computer 1 is illustrated as an example of the obstacle 50.

図７と図８とを比較すると、カメラユニット２０が収納部４０に収納された状態の方が、カメラユニット２０が収納部４０から引き出された状態よりも、赤外線２２ａを反射する物体までの距離が短い。したがって、実施形態に係るデスクトップパソコン１は、収納状態におけるカメラユニット２０と液晶パネル３０ａとの距離をあらかじめ記憶しておく。収納検出部１０３は、記憶した距離と収納検出部１０３によって測定された赤外線２２ａを反射した物体との距離とを比較する。収納検出部１０３は、当該比較の結果に基づいて、カメラユニット２０が収納部４０に収納されているか否かを判定できる。 Comparing FIG. 7 and FIG. 8, the distance to the object reflecting the infrared rays 22a when the camera unit 20 is stored in the storage unit 40 is larger than when the camera unit 20 is pulled out from the storage unit 40. Is short. Therefore, the desktop personal computer 1 according to the embodiment stores in advance the distance between the camera unit 20 and the liquid crystal panel 30a in the stored state. The storage detection unit 103 compares the stored distance with the distance to the object reflecting the infrared rays 22a measured by the storage detection unit 103. The storage detection unit 103 can determine whether or not the camera unit 20 is stored in the storage unit 40 based on the result of the comparison.

図９は、実施形態に係る処理の流れの一例を示す図である。以下、図９を参照して、実施形態に係る処理の流れについて説明する。 FIG. 9 is a diagram showing an example of a processing flow according to the embodiment. Hereinafter, the flow of processing according to the embodiment will be described with reference to FIG.

Ｔ１では、収納通知アプリが起動される。起動された収納通知アプリに対して、カメラユニット２０から液晶パネル３０ａまでの距離Ｚが設定される。Ｔ１の処理は、例えば、デスクトップパソコン１の工場出荷時に行われる。Ｔ２では、収納検出部１０３は、カメラ表示制御部１０２からカメラアプリが起動しているか否かを示す動作情報を受信する。Ｔ３では、収納検出部１０３は、赤外線ＬＥＤ２３に赤外線をパルス照射させる。収納検出部１０３は、赤外線ＬＥＤ２３がパルス照射を行うとタイマーを起動して経過時間の計測を開始する。 At T1, the storage notification application is activated. The distance Z from the camera unit 20 to the liquid crystal panel 30a is set for the activated storage notification application. The processing of T1 is performed, for example, at the time of factory shipment of the desktop personal computer 1. In T2, the storage detection unit 103 receives operation information indicating whether or not the camera application is activated from the camera display control unit 102. In T3, the storage detection unit 103 causes the infrared LED 23 to pulse infrared rays. When the infrared LED 23 irradiates a pulse, the storage detection unit 103 activates a timer to start measuring the elapsed time.

Ｔ４では、赤外線カメラ２２が赤外線を受光すると、収納検出部１０３はタイマーを停止して経過時間の計測を終了する。収納検出部１０３は、タイマーによって計測された時間によって、赤外線がパルス照射されてから受光されるまでの経過時間を測定する。収納検出部１０３は、測定した経過時間に基づいて、カメラユニット２０から赤外線を反射した障害物までの距離Δｘを算出する。 In T4, when the infrared camera 22 receives infrared rays, the storage detection unit 103 stops the timer and ends the measurement of the elapsed time. The storage detection unit 103 measures the elapsed time from the pulse irradiation of infrared rays to the reception of infrared rays according to the time measured by the timer. The storage detection unit 103 calculates the distance Δx from the camera unit 20 to the obstacle reflecting infrared rays based on the measured elapsed time.

Ｔ５では、収納検出部１０３は、算出した距離に基づいて、Ｗｅｂカメラ２１を含むカメラユニット２０が収納されているか否かを判定する。収納検出部１０３は、例えば、Ｔ１で設定した距離ＺよりＴ４で算出した距離Δｘが大きい場合、カメラユニット２０が収納されていないと判定する。また、収納検出部１０３は、例えば、Ｔ１で設定した距離ＺとＴ４で算出した距離Δｘとが等しい場合、カメラユニット２０が収納されていると判定する。カメラユニット２０が収納状態の場合（Ｔ５でＹＥＳ）、処理はＴ６に進められる。カメラユニット２０が収納状態ではない場合（Ｔ５でＮＯ）、処理はＴ７に進められる。 In T5, the storage detection unit 103 determines whether or not the camera unit 20 including the Web camera 21 is stored based on the calculated distance. For example, when the distance Δx calculated in T4 is larger than the distance Z set in T1, the storage detection unit 103 determines that the camera unit 20 is not stored. Further, the storage detection unit 103 determines that the camera unit 20 is stored, for example, when the distance Z set in T1 and the distance Δx calculated in T4 are equal. When the camera unit 20 is in the retracted state (YES at T5), the process proceeds to T6. If the camera unit 20 is not in the retracted state (NO at T5), the process proceeds to T7.

Ｔ６では、収納検出部１０３は、Ｔ２で通知された動作情報を基に、カメラアプリ１０２ａが起動中であるか否かを判定する。カメラアプリ１０２ａが起動中である場合、収納検出部１０３は、カメラユニット２０が収納状態であることを示す情報を含む収納通知情報を用意する。 In T6, the storage detection unit 103 determines whether or not the camera application 102a is running based on the operation information notified in T2. When the camera application 102a is running, the storage detection unit 103 prepares storage notification information including information indicating that the camera unit 20 is in the stored state.

Ｔ７では、収納検出部１０３は、Ｔ２で通知された動作情報を基に、カメラアプリ１０２ａが起動中であるか否かを判定する。カメラアプリ１０２ａが起動中ではない場合、収納検出部１０３は、カメラユニット２０が収納されていない状態であることを示す情報を含む収納通知情報を用意する。 In T7, the storage detection unit 103 determines whether or not the camera application 102a is running based on the operation information notified in T2. When the camera application 102a is not running, the storage detection unit 103 prepares storage notification information including information indicating that the camera unit 20 is not stored.

Ｔ８では、収納検出部１０３は、Ｔ６またはＴ７で用意した収納通知情報をＯＳ制御部１０１へ引き渡す。 At T8, the storage detection unit 103 delivers the storage notification information prepared in T6 or T7 to the OS control unit 101.

Ｔ９では、ＯＳ制御部は、引き渡された収納通知情報に従い、ＣＰＵ１１を介して、ディスプレイ３０にメッセージを出力する。図１０および図１１は、カメラユニット２０の収納状態を通知するメッセージが表示されたデスクトップパソコン１の一例を示す図である。図１０では、カメラアプリが起動されていないにもかかわらず、カメラユニット２０が収納されていない。そのため、ディスプレイ３０には、カメラユニット２０が収納されていないことを示す「未収納状態です」とのメッセージがメッセージウィンドウ１０３ｂに表示されている。図１１では、カメラアプリが起動されているにもかかわらず、カメラユニット２０が収納されている。そのため、ディスプレイ３０には、カメラユニット２０が収納されていることを示す「収納状態です」とのメッセージがメッセージウィンドウ１０３ｂに表示されている。なお、図１１では、カメラユニット２０が収納された状態でカメラアプリ１０２ａが起動されているため、カメラアプリウィンドウ１０２ｂにはデスクトップパソコン１の内部の映像が表示される。図１１では、デスクトップパソコン１の内部の映像の一例として、光量不足による真っ暗な映像が例示されている。 In T9, the OS control unit outputs a message to the display 30 via the CPU 11 according to the delivered storage notification information. 10 and 11 are diagrams showing an example of a desktop personal computer 1 in which a message notifying the stored state of the camera unit 20 is displayed. In FIG. 10, the camera unit 20 is not housed even though the camera application is not started. Therefore, on the display 30, a message "not stored" indicating that the camera unit 20 is not stored is displayed in the message window 103b. In FIG. 11, the camera unit 20 is housed even though the camera application is activated. Therefore, on the display 30, the message "It is in the stored state" indicating that the camera unit 20 is stored is displayed in the message window 103b. In FIG. 11, since the camera application 102a is started in the state where the camera unit 20 is housed, the image inside the desktop personal computer 1 is displayed in the camera application window 102b. In FIG. 11, as an example of the image inside the desktop personal computer 1, a pitch-black image due to insufficient light intensity is illustrated.

実施形態では、収納検出部１０３は、測定された距離に基づいてカメラユニット２０が収納されているか否かが判定する。判定結果は、収納通知アプリによってユーザに通知された。すなわち、実施形態によれば、カメラユニット２０が収納されているか否かをユーザに通知できる。 In the embodiment, the storage detection unit 103 determines whether or not the camera unit 20 is stored based on the measured distance. The determination result was notified to the user by the storage notification application. That is, according to the embodiment, it is possible to notify the user whether or not the camera unit 20 is housed.

実施形態では、カメラユニット２０が収納されているか否かの判定は、赤外線ＬＥＤ２３および赤外線カメラ２２を用いて行われた。赤外線ＬＥＤ２３および赤外線カメラ２２は、例えば、視線検出または顔認証を行うＷｅｂカメラ２１が備えることの多いハードウェアである。すなわち、実施形態によれば、視線検出または顔認証に用いられているハードウェアをカメラユニット２０が収納されているか否かの判定に用いる。そのため、実施形態によれば、カメラユニット２０が収納されているか否かの判定のためにハードウェアの追加を行わなくともよい。 In the embodiment, the determination of whether or not the camera unit 20 is housed is performed by using the infrared LED 23 and the infrared camera 22. The infrared LED 23 and the infrared camera 22 are, for example, hardware often included in a Web camera 21 that performs line-of-sight detection or face recognition. That is, according to the embodiment, the hardware used for line-of-sight detection or face recognition is used for determining whether or not the camera unit 20 is housed. Therefore, according to the embodiment, it is not necessary to add hardware for determining whether or not the camera unit 20 is housed.

実施形態では、カメラアプリ１０２ａが起動している状態でカメラユニット２０が収納されている場合、ユーザにカメラユニットが収納されていることを通知する。また、カメラアプリ１０２ａが起動していない状態でカメラユニット２０が収納されていない場合、ユーザにカメラユニットが収納されていないことを通知する。すなわち、実施形態によれば、カメラアプリ１０２ａの起動状態に応じてカメラユニット２０の収納状態をユーザに通知できる。 In the embodiment, when the camera unit 20 is stored while the camera application 102a is running, the user is notified that the camera unit is stored. Further, when the camera unit 20 is not stored in the state where the camera application 102a is not activated, the user is notified that the camera unit is not stored. That is, according to the embodiment, the user can be notified of the stored state of the camera unit 20 according to the activation state of the camera application 102a.

１・・・デスクトップパソコン
１０・・・本体部
２０・・・カメラユニット
２１・・・Ｗｅｂカメラ
２２・・・赤外線カメラ
２２ａ・・・赤外線
２３、２３ａ、２３ｂ・・・赤外線ＬＥＤ
３０・・・ディスプレイ
３０ａ・・・液晶パネル
４０・・・収納部
５０・・・障害物
１１・・・ＣＰＵ
１２・・・メモリ
１３・・・ＨＤＤ
１４・・・チップセット
１０１・・・ＯＳ制御部
１０２・・・カメラ表示制御部
１０２ａ・・・カメラアプリ
１０２ｂ・・・カメラアプリウィンドウ
１０３・・・収納検出部
１０３ａ・・・収納通知アプリ
１０３ｂ・・・メッセージウィンドウ
１０４・・・映像出力部 1 ... Desktop PC 10 ... Main unit 20 ... Camera unit 21 ... Web camera 22 ... Infrared camera 22a ... Infrared 23, 23a, 23b ... Infrared LED
30 ... Display 30a ... Liquid crystal panel 40 ... Storage 50 ... Obstacles 11 ... CPU
12 ... Memory 13 ... HDD
14 ... Chipset 101 ... OS control unit 102 ... Camera display control unit 102a ... Camera application 102b ... Camera application window 103 ... Storage detection unit 103a ... Storage notification application 103b ...・ ・ Message window 104 ・ ・ ・ Video output

Claims (4)

視線検出または顔認証を行うときに用いられる赤外線ＬＥＤおよび赤外線カメラと、
カメラユニットと、
前記カメラユニットを収納する収納部と、
前記カメラユニット上に設けられた前記赤外線ＬＥＤが前記カメラユニットの撮影方向に向かって赤外線を出射してから前記出射された赤外線の物体による反射光を前記赤外線カメラが受光するまでの経過時間に基づいて、前記カメラユニットと前記物体との距離を測距する測距部と、
前記測距された距離に基づいて、前記カメラユニットが前記収納部に収納されているか否かを判定する判定部と、
前記判定部による判定の結果を通知する通知部と、を備え、
前記通知部は、前記カメラユニットによって撮影を行うソフトウェアが起動しているにもかかわらず前記カメラユニットが収納されている場合に前記通知を行う、
情報処理装置。 Infrared LEDs and infrared cameras used for line-of-sight detection or face recognition,
With the camera unit
A storage unit for storing the camera unit and
Based on the time elapsed until the infrared camera light reflected by infrared object that is the emission from the emitting infrared rays toward the shooting direction of the infrared LED is a camera unit provided on the camera unit is received The distance measuring unit that measures the distance between the camera unit and the object,
A determination unit that determines whether or not the camera unit is housed in the storage unit based on the distance measured.
A notification unit for notifying the result of the determination by the determination unit is provided.
The notification unit gives the notification when the camera unit is housed even though the software for taking a picture is activated by the camera unit.
Information processing device. 前記通知部は、前記カメラユニットによって撮影を行うソフトウェアが起動されていないにもかかわらず前記カメラユニットが収納されていない場合に前記通知を行う、
請求項１に記載の情報処理装置。 The notification unit gives the notification when the camera unit is not housed even though the software for taking a picture is not activated by the camera unit.
The information processing device according to claim 1. 視線検出または顔認証を行うときに用いられる赤外線ＬＥＤおよび赤外線カメラを備えるとともに、カメラユニットを収納部に収納可能な情報処理装置に、
前記カメラユニット上に設けられた前記赤外線ＬＥＤが前記カメラユニットの撮影方向に向かって赤外線を出射してから前記出射された赤外線の反射光を前記赤外線カメラが受光するまでの経過時間に基づいて、前記カメラユニットと前記赤外線を反射した物体との距離を測距させ、
前記測距された距離に基づいて、前記カメラユニットが前記収納部に収納されているか否かを判定させ、
前記カメラユニットによって撮影を行うソフトウェアが起動しているにもかかわらず前記カメラユニットが収納されている場合に、前記判定の結果を通知させる、
プログラム。 An information processing device equipped with an infrared LED and an infrared camera used for line-of-sight detection or face recognition and capable of storing the camera unit in the storage unit.
Based reflected light of infrared the infrared LED provided on the camera unit is the emission from the emitting infrared rays toward the shooting direction of the camera unit to the elapsed time until the infrared camera receives light, The distance between the camera unit and the object reflecting the infrared rays is measured.
Based on the distance measured, it is determined whether or not the camera unit is housed in the storage unit.
When the camera unit is stored even though the software for taking a picture is activated by the camera unit, the result of the determination is notified.
program. 視線検出または顔認証を行うときに用いられる赤外線ＬＥＤおよび赤外線カメラを備えるとともに、カメラユニットを収納部に収納可能な情報処理装置が、
前記カメラユニット上に設けられた前記赤外線ＬＥＤが前記カメラユニットの撮影方向に向かって赤外線を出射してから前記出射された赤外線の反射光を前記赤外線カメラが受光するまでの経過時間に基づいて、前記カメラユニットと前記赤外線を反射した物体との距離を測距し、
前記測距された距離に基づいて、前記カメラユニットが前記収納部に収納されているか否かを判定し、
前記カメラユニットによって撮影を行うソフトウェアが起動しているにもかかわらず前記カメラユニットが収納されている場合に、前記判定の結果を通知する、
情報処理方法。 An information processing device that is equipped with an infrared LED and an infrared camera used for line-of-sight detection or face recognition and can store the camera unit in the storage unit.
Based reflected light of infrared the infrared LED provided on the camera unit is the emission from the emitting infrared rays toward the shooting direction of the camera unit to the elapsed time until the infrared camera receives light, The distance between the camera unit and the object reflecting the infrared rays is measured.
Based on the distance measured, it is determined whether or not the camera unit is housed in the storage unit.
When the camera unit is stored even though the software for taking a picture is activated by the camera unit, the result of the determination is notified.
Information processing method.
JP2016224186A 2016-11-17 2016-11-17 Information processing equipment, programs and information processing methods Active JP6810344B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016224186A JP6810344B2 (en) 2016-11-17 2016-11-17 Information processing equipment, programs and information processing methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016224186A JP6810344B2 (en) 2016-11-17 2016-11-17 Information processing equipment, programs and information processing methods

Publications (2)

Publication Number Publication Date
JP2018082341A JP2018082341A (en) 2018-05-24
JP6810344B2 true JP6810344B2 (en) 2021-01-06

Family

ID=62199157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016224186A Active JP6810344B2 (en) 2016-11-17 2016-11-17 Information processing equipment, programs and information processing methods

Country Status (1)

Country Link
JP (1) JP6810344B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622198A (en) * 1992-06-29 1994-01-28 Canon Inc Video camera
JP2002006367A (en) * 2000-06-19 2002-01-09 Olympus Optical Co Ltd Camera
JP2003057718A (en) * 2001-08-16 2003-02-26 Fuji Photo Film Co Ltd Camera with lens cover
JP2007013693A (en) * 2005-06-30 2007-01-18 Sony Corp Two-way communication device and state notifying method
US7677815B2 (en) * 2006-10-10 2010-03-16 Microsoft Corporation Photographic device with retractable lens
JP2011180497A (en) * 2010-03-03 2011-09-15 Hoya Corp Digital camera
KR101947572B1 (en) * 2012-07-06 2019-02-14 삼성전자 주식회사 Display apparatus and control method thereof

Also Published As

Publication number Publication date
JP2018082341A (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US9329684B2 (en) Eye tracking with detection of adequacy of lighting
US9310886B2 (en) Transient message display control
US20180101680A1 (en) Cluster anomaly detection using function interposition
US8122176B2 (en) System and method for logging system management interrupts
US11080406B2 (en) Detection of vulnerable code
US9665797B2 (en) Environmental-based location monitoring
JP7365055B2 (en) video object detection
JP2023071760A (en) Multispectral sensor-based alarm condition detector
US20200154054A1 (en) Control device, support system, camera system, and control method and program
US9316603B2 (en) Detecting thermal interface material (‘TIM’) between a heat sink and an integrated circuit
US20170286670A1 (en) Malware detection and identification using deviations in one or more operating parameters
JP6810344B2 (en) Information processing equipment, programs and information processing methods
US10691519B2 (en) Hang detection and recovery
TW201930822A (en) Method for estimating object distance and electronic device
US20150377809A1 (en) Detecting thermal interface material (&#39;tim&#39;) between a heat sink and an integrated circuit
US9003172B2 (en) Intelligently controlling loading of legacy option ROMs in a computing system
US10733076B2 (en) Techniques for detecting faults in rendering graphics
US9703959B2 (en) Dynamic verification of a computer software application execution path
WO2018125525A1 (en) Projected interactive display surface interactivity determination
US9836293B2 (en) Integrated log analyzer
US9373153B2 (en) Diagnosing graphics display problems
US9069888B2 (en) Tracking errors in a computing system
US9043654B2 (en) Avoiding processing flaws in a computer processor triggered by a predetermined sequence of hardware events
US10448202B2 (en) Dynamic boundary setting
JP6697165B2 (en) Information processing apparatus and information processing program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180706

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180710

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R150 Certificate of patent or registration of utility model

Ref document number: 6810344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150