WO2014189186A1 - 무선 리모컨 기능을 갖는 ｉｐ 카메라를 이용한 전자기기의 제어 방법 - Google Patents

무선 리모컨 기능을 갖는 ｉｐ 카메라를 이용한 전자기기의 제어 방법 Download PDF

Info

Publication number
WO2014189186A1
WO2014189186A1 PCT/KR2013/010028 KR2013010028W WO2014189186A1 WO 2014189186 A1 WO2014189186 A1 WO 2014189186A1 KR 2013010028 W KR2013010028 W KR 2013010028W WO 2014189186 A1 WO2014189186 A1 WO 2014189186A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
camera
remote control
learning
information
Prior art date
Application number
PCT/KR2013/010028
Other languages
English (en)
French (fr)
Inventor
이수우
Original Assignee
(주)정직한기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)정직한기술 filed Critical (주)정직한기술
Priority to US14/648,895 priority Critical patent/US20160065828A1/en
Publication of WO2014189186A1 publication Critical patent/WO2014189186A1/ko
Priority to US14/686,739 priority patent/US20150222862A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51—Remote controlling of devices based on replies, status thereof

Definitions

  • the present invention relates to a method for controlling an electronic device using an IP camera system, and in particular, to obtain image information of a day and night surveillance area, and to remotely control an electronic device located in the surveillance area and to control the electronic device at a remote location.
  • the present invention relates to a control method of an electronic device using an IP camera having a wireless remote control function to simplify registration of learning data.
  • IP CAMERA is used for the purpose of detecting or monitoring the intrusion of outdoor or home or office.
  • IP cameras are installed in the area that needs to be monitored, and remote users access the communication server via the Internet and access the IP cameras through personal terminals (smartphones, desktop PCs, notebook PCs, etc.) and pan / tilt the IP cameras. Alternatively, the user can remotely operate the zoom or view images captured by the IP camera in real time.
  • the IP camera Since the IP camera has a shooting function, it can be used to monitor the state of electronic devices such as an air conditioner or a TV, but there is a disadvantage that remote control such as turning on or off the electronic device from the outside is not possible.
  • Patent 2 Korean Patent Publication No. 2011-0133709 "Remote access control system and method thereof for home network”
  • An object of the present invention for solving the shortcomings of the prior art, by using at least one of the plurality of IR LEDs mounted on the surveillance IP camera as an IR remote control for controlling electronic devices, the surveillance region through the image obtained through the IP camera
  • the present invention relates to a control method of an electronic device using an IP camera having a wireless remote control function for monitoring and controlling an electronic device at a remote location.
  • another object of the present invention is to control the electronic device using the IP camera having a wireless remote control function to simplify the registration process of the training data for controlling the electronic device using the IP camera system from a remote location through the user terminal In providing a method.
  • the control method of an electronic device using an IP camera having a wireless remote control function of the present invention for solving the problem is that the user terminal receives the remote control signal learning request signal and the learning remote control signal received from the IP camera learning remote control signal and the remote control menu Matching the items and learning with the remote control signal of the electronic device, and the IP camera receives and registers the learned electronic device control signal from the user terminal, and based on the learned information when the remote control signal of the electronic device is received from the user terminal. And controlling the driving of the electronic device.
  • the learning step performed in the user terminal may include receiving a learning request signal, receiving a selection signal of a learning target electronic device, displaying remote control information corresponding to the learning requested electronic device, and a remote control menu item on a screen; Transmitting the electronic device control signal to the IP camera according to the user input signal, and determining whether the electronic device is operating according to the user input signal based on the information obtained through the IP camera, and operating according to the user input signal. If it is determined, downloading the corresponding remote control signal information from the outside.
  • the learning step performed in the user terminal may include receiving a learning request signal, receiving a selection signal of a learning target electronic device, displaying a remote control menu item necessary for controlling the learning requested electronic device on a screen, and an IP camera.
  • the learning step performed in the user terminal may include receiving a learning request signal, receiving a selection signal of a learning target electronic device, receiving a learning remote control signal from an IP camera, and a menu name corresponding to the received learning remote control signal. Registering according to a user manipulation signal.
  • the learning step of the user terminal further includes receiving an IP camera selection signal, and receiving pan / tilt information of the selected IP camera and matching the registration information of the target electronic device to register.
  • the receiving of the selection signal of the learning target electronic device by the user terminal may include obtaining shape information of the learning target electronic device as a camera photographed image and performing pattern matching with the preset shape information on the acquired shape information of the electronic device.
  • the electronics can be identified automatically and selected.
  • the method may further include controlling driving of the IP camera according to a control request from the user terminal, transmitting the captured image to the user terminal, receiving a remote control signal from the user terminal, and matching the received remote control signal with the learning information. And controlling the driving of the electronic device according to the read control signal after reading the electronic device control signal.
  • the controlling of the driving of the electronic device in the IP camera may include receiving a remote control signal from a user terminal and reading the IP camera driving control signal and the electronic device control signal by matching the received remote control signal with learning information. Controlling driving of the IP camera according to the read IP camera driving control signal; and controlling driving of the electronic device according to the read electronic device control signal.
  • the IP camera may further include transmitting electronic device information operating on the basis of the acquired image information or sound information to the user terminal, wherein the IP camera is based on location information of the control target electronic device and the IP camera. Calculating the pan / tilt information of the IP camera and controlling the driving of the IP camera according to the calculated pan / tilt information of the IP camera.
  • the IP camera acquires a sound signal output from the control target electronic device through the microphone, and the position of the control target electronic device and the angle information between the control target electronic device and the IP camera based on the sound signal obtained through the microphone. And calculating pan / tilt information of the IP camera based on the calculated position and angle information, and controlling driving of the IP camera according to the calculated pan / tilt information of the IP camera.
  • an electronic device can be remotely controlled from the outside by using one of a plurality of IR LEDs mounted on the surveillance IP camera as an IR remote controller for controlling the electronic device without configuring a separate network device and an electromagnetic backbone communication network. Can improve efficiency.
  • the present invention has the advantage of improving the functionality of the IP camera by using the IP camera as a remote monitoring and electronic device remote control.
  • FIG. 1 is a configuration diagram of an IP camera system to which a wireless remote control function according to the present invention is applied.
  • FIG. 2 is a perspective view of the IP camera of FIG.
  • FIG. 3 is a diagram illustrating an IP camera of FIG. 1.
  • FIG. 4 is a flowchart illustrating a learning method of an IP camera system to which a wireless remote control function according to the present invention is applied.
  • FIG. 5 is a flowchart illustrating a method for learning and registering electronic device remote control information according to a first method of the present invention.
  • FIG. 6 is a flowchart illustrating a method for learning and registering electronic device remote control information according to a second method of the present invention.
  • FIG. 7 is a flowchart illustrating a method for learning and registering electronic device remote control information according to a third method of the present invention.
  • FIG. 8 is a flowchart illustrating a method of controlling an electronic device in the IP camera system to which the wireless remote control function according to the first embodiment of the present invention is applied.
  • FIG. 9 is a flowchart illustrating a method of controlling an electronic device in an IP camera system to which a wireless remote control function according to a second embodiment of the present invention is applied.
  • FIG. 1 is a configuration diagram of an IP camera system to which a wireless remote control function according to the present invention is applied
  • FIG. 2 is a perspective view of an IP camera of FIG. 1
  • FIG. 3 is a configuration diagram of an IP camera of FIG. 1.
  • the IP camera system to which the wireless remote control function of the present invention is applied includes a plurality of IP cameras 1, a user terminal 2, a plurality of electronic devices 3, and a remote controller 4. do.
  • the IP camera 1 acquires the image information about the installation place and transmits it to the user terminal 2 or transmits a control signal for controlling the electronic device 3 according to a control signal from the outside and according to the user's setting. Learn and store information for controlling the electronic device (3).
  • the IP camera 1 provides the real-time image currently being captured to the user terminal 2 or compresses and stores the captured image in the memory 17. Whenever the terminal 2 requests, the compressed image is provided to the user terminal 2.
  • the IP camera 1 includes a main body 11, a pan / tilt driver 12, an image acquisition unit 13, a microphone 14, an LED unit 15, an RF transmitter 16, a communication interface 17, Controller 18 and database 19.
  • the main body 11 is installed so that the driving of the pan / tilt driving unit 12 is controlled according to a control signal received from the outside or an operation signal of an operation unit separately installed on the main body 11.
  • the image acquisition unit 13 is for acquiring image information around the main body 11, and receives the lens 131 provided on the front surface of the main body 11 and the light incident through the lens 131, and then receives the normal light.
  • the image processing unit 132 generates an image captured by the image processing process.
  • the microphone 14 is for acquiring the operation of the electronic device, the volume state, the position, the direction or the presence of a person, the position or the direction from the sound signal, and the intensity, phase difference, and time of the sound source detected through the two microphones. Track the sound source through calculating the direction and distance of the sound source.
  • the microphone is not an omni-directional microphone, but a bi-directional microphone that is directional to a specific direction.
  • the LED unit 15 includes a plurality of photographing LEDs 151, a remote control signal reception LED 152, and a remote control signal transmission LED 153.
  • the plurality of photographing LEDs 151 are arranged in a ring shape around the front lens 131 of the main body 11, and do not operate when the surroundings are bright and satisfy the illumination conditions required for image capturing. It operates when the illumination condition necessary for shooting is not satisfied, and serves to take an infrared image.
  • the remote control signal reception LED 152 is used in a remote control function learning process to be described later, and serves to receive an infrared signal transmitted from the remote control 4 when a key of the remote control 4 is pressed by the user.
  • the transmission LED 153 transmits an infrared signal for driving control of any electronic device 3 according to the received signal.
  • the present invention further includes an RF transmitter 16 for transmitting an RF signal in order to control the electronic devices 3 that respond only to the RF signal.
  • the installation position is not limited and may be installed anywhere inside or outside the main body 11 of the IP camera 1.
  • the communication interface 17 is for controlling data transmission / reception with the user terminal 2 and controlling an electronic device in a wired / wireless manner as well as an infrared method, and includes a wireless communication module and a wired communication module.
  • the controller 18 controls the pan / tilt of the IP camera 1 or the driving of the electronic device 3 based on the information set in the memory 17 according to the control signal. do.
  • the database 19 includes a general-purpose remote controller DB 192 and a learning information DB 193 for storing information necessary for controlling the electronic device 3 in addition to the image DB 191 storing the captured image.
  • the universal remote controller DB 192 stores control signal information matching the manufacturer information, the product information, and the remote control menu of the control target electronic device, and facilitates the remote control control signal learning process. That is, the user does not set the information while directly operating each menu button of the remote control, and improves the convenience of learning by selecting and storing only the required menu icon among the remote control menus displayed on the screen.
  • the information about the universal remote controller may be downloaded from the user terminal 2 through a web page connection or an application.
  • the learning information DB 193 stores remote controller control signal information of each electronic device, pan / tilt control information of the IP camera, and position information of the IP camera and the electronic device.
  • control target electronic device has different infrared signals for control by manufacturer, product, and function, and since the infrared signal has directivity, the control signal is limited to a predetermined angle range. Therefore, in order to smoothly control the control target device, control signal information matching each electronic device must be stored, and pan / tilt information of the IP camera must be stored so that the electronic device can be positioned within a reception range of the infrared signal.
  • the user learns the remote control control signal information and IP camera pan / tilt information matching the remote control function of the electronic device stored in the universal remote control DB 192 and stores it in the learning information DB 193 or each of the remote control of the electronic device.
  • Remote control signal information and pan / tilt information acquired while directly operating a menu button are learned and stored in the learning information DB 193. This remote control learning method will be described in detail below.
  • the user terminal 2 is connected to the IP camera 1 through a wired / wireless communication network to externally control the driving of the IP camera 1 and to remotely monitor an image captured by the IP camera 1.
  • the user terminal 2 may be a portable terminal such as a smartphone or a laptop or a desktop PC.
  • the user terminal 2 when the user terminal 2 wants to monitor an image for a desired direction, the user terminal 2 controls the pan / tilt of the IP camera 1 from the outside in order to switch the photographing direction or changes the direction of the electronic device 3. It transmits a control signal according to input of learning information requiring control or a user's operation signal to the IP camera 1.
  • FIGS. 1 to 3 are flowchart illustrating a learning method of the IP camera system to which the wireless remote control function is applied according to the present invention. The learning method will be described with reference to FIGS. 1 to 3.
  • the user selects a remote control registration menu by driving the IP camera control program using the user terminal 2.
  • the user selects the IP camera 1 for controlling the learning target electronic device 3 (S100). Then, the user adjusts the pan / tilt of the selected IP camera 1 while checking the image displayed on the screen of the user terminal 2, and when the adjustment of the pan / tilt is completed, the pan / tilt information is applied to the corresponding electronic device 3.
  • the ID is matched and stored (S102). At this time, not only the transmission range of the infrared signal of the remote control signal transmission LED 153 having the directivity of the IP camera 1 and the infrared light reception angle of the electronic device can be matched, but also the operating state of the electronic device 3 can be monitored. Pan / tilt adjustments should be made to receive video and audio information.
  • the corresponding electronic device 3 is determined whether the corresponding electronic device 3 exists in the list of the universal remote controller DB 192 (S104), and if it exists in the list of the universal remote controller DB 192, the corresponding electronic device is selected from the list (S106).
  • the product type of the electronic device is displayed on the screen or the manufacturer name is displayed, the user selects the product type and the manufacturer name in order.
  • the selection of the electronic device 3 is described by the user selecting directly from the list.
  • the electronic device 3 acquires the shape of the electronic device with a camera and automatically identifies the type of the electronic device based on the shape information. It can also be implemented as a function of choice.
  • the remote controller control information is downloaded and acquired from S100 and S102.
  • the stored IP camera information and the IP camera pan / tilt information are matched and stored (S110).
  • step S104 if it is determined in step S104 that the electronic device 3 does not exist in the list of the universal remote controller DB 192, the user learns and stores the remote control signal through the IP camera while directly operating the remote controller (S200).
  • a user inputs information about an electronic device using a keypad screen, and gradually learns and stores a control signal matching the remote control menu of the corresponding electronic device.
  • the information of the electronic device may be performed by a user directly inputting a text as a product information and a manufacturer, or selecting by a user from a list list.
  • FIG. 5 is a flowchart illustrating a method for learning and registering electronic device remote control information according to a first method of the present invention.
  • the user selects the required item from the menu list on the screen (S302), and presses the menu button of the remote controller 4 corresponding to the corresponding item toward the IP camera 1 (S304).
  • the infrared signal of the remote controller 4 is received from the remote control signal reception LED 152 of the IP camera 1 to obtain a learning remote control signal (S306).
  • step S306 When the learning remote control control signal is acquired in step S306, the user stores learning data matched with an item on the screen (S308).
  • the first learning method of the present invention can simplify the learning process because the user does not have to input text on the remote control menu items.
  • FIG. 6 is a flowchart illustrating a method for learning and registering electronic device remote control information according to a second method of the present invention.
  • the user checks the type of the control signal according to the operation state of the electronic device while reproducing the control signal by pressing the button identification numbers on the screen (S406), and matches each of the reproduced button identification numbers with the menu item (S408). . For example, when it is confirmed that the power source is turned on or off when the code "2" with the identification number is set, the code of the identification number "2" is dragged to match the location of the power item. Then, since the infrared signal when the identification number "2" is pressed is matched with the "power” item, the user does not have to directly enter text information for the remote control menu item, thereby simplifying the learning data setting.
  • FIG. 7 is a flowchart illustrating a method for learning and registering electronic device remote control information according to a third method of the present invention.
  • the remote control signal for learning is received through the remote control signal receiving LED 152 of the IP camera 1.
  • the user terminal 2 receives the learning remote control signal from the IP camera (S502), the user directly enters the menu name so as to confirm the function information corresponding to the remote control button pressed by the user (S504).
  • the step of operating the remote control button is performed before the menu name input step, but the name of the menu may be input first and the remote control button may be operated.
  • FIG. 8 is a flowchart illustrating a method of controlling an electronic device in the IP camera system to which the wireless remote controller function according to the first embodiment of the present invention is applied, and will be described with reference to FIGS. 1 to 3.
  • the user terminal screen displays the operation state of the electronic device as well as the image information about the electronic device.
  • the operating state of the electronic device may recognize a light emitting state of a display panel of the electronic device, a manufacturer name, a product name, or the like in an image, or, in the case of a TV or an audio device, sound information input through a microphone provided in the IP camera 1. Can be recognized on the basis of
  • the electronic device which is currently operating can be automatically recognized and provided to the user.
  • location information or shape information of the IP cameras and the electromagnetic period must be set in advance. That is, in order to detect an operating state based on the panel light emitting state or acoustic information of the electronic device and to indicate that the electronic device is in an operating state, the electronic device should be identified.
  • the present invention sets the shape information of the electronic device in advance, extracts the shape of the electronic device from the image obtained through the IP camera, and identifies the type of the electronic device by pattern matching the extracted shape with the preset shape information;
  • the distance and position between the IP camera and the electronic device are calculated from the sound information generated from the electronic device, and the electronic device is identified by matching the preset position information.
  • the user adjusts the pan / tilt of the IP camera 1 so that the remote control signal transmission LED 153 is directed toward any electronic device 3 while checking the screen of the user terminal 2 (S604).
  • an electronic device remote control menu is displayed on the screen.
  • the user selects a desired remote control from the displayed list and selects a desired function from the menu list of the remote control (S606).
  • the remote control may be automatically selected. That is, when the IP camera 1 is selected, the IP camera 1 photographs the electronic device within the recognition range, and the user terminal 2 automatically displays the electronic device through the manufacturer name or the product name displayed on the electronic device in the captured image. Or by extracting the shape information of the electronic device to automatically identify the electronic device through pattern matching with the preset shape information and to automatically select a remote controller corresponding to the corresponding electronic device.
  • the automatic selection function of the remote controller may be equally applied to the second embodiment of FIG. 10 as well as the first embodiment of FIG. 9.
  • the user terminal 2 transmits the input signal to the IP camera 1 (S608), and the IP camera 1 reads the remote control control signal stored in the database based on the received control signal (S610).
  • the IP camera 1 transmits a remote control signal to the electronic device 3 through the remote control signal transmission LED 153 to control the driving of the electronic device 3 (S612).
  • FIG. 9 is a flowchart illustrating a method of controlling an electronic device in an IP camera system to which the wireless remote control function according to the second embodiment of the present invention is applied, and will be described with reference to FIGS. 1 to 3.
  • the user selects a desired remote control from the displayed list, and selects a desired function from a menu list of the remote control (S704).
  • the user terminal 2 transmits the input signal to the IP camera 1 (S706), the IP camera 1 is based on the received control signal from the database, the IP camera 1 pan / tilt information and the remote control The control signal is read (S708).
  • the pan / tilt information of the IP camera 1 may be preset information for each control target electronic device or a value calculated based on relative position or angle information between the preset IP camera 1 and the electronic device 3. .
  • the IP camera 1 automatically adjusts the pan / tilt according to the read pan / tilt information (S710), and transmits a remote control control signal to the electronic device 3 through the remote control signal transmission LED 153 to display electronically.
  • the driving of the device 3 is controlled (S712).
  • pan / tilt information of the IP camera 1 has been described as being controlled according to preset information, it is applied by detecting the position of the control target electronic device in real time and calculating the pan / tilt information according to the detected position. You may.
  • the acoustic signal output from the control target electronic device is acquired through two microphones, and the direction and distance of the electronic device are calculated from the IP camera through the intensity, phase difference, and time of the sound source detected by the two microphones, The location and angle information between the electronic device and the IP camera can be obtained.
  • the present invention can obtain the pan / tilt information of the IP camera for controlling the electronic device without setting the pan / tilt information of the IP camera corresponding to the electronic device to be controlled or the position information of the electronic device in advance.
  • the present invention is to adjust the pan / tilt of the camera based on the position and distance information between the electronic camera and the IP camera when the pan / tilt of the camera is artificially changed or an error of the pan / tilt information occurs due to repetitive operation.
  • the method may further include an automatic calibration method.
  • the present invention is a camera system that can be connected to the outside through a communication network, not only to check the image obtained through the camera from the outside, but also to the remote control of the electronic device through the camera from the outside used in the industrial field for improving security and convenience This is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 주야간 감시 영역에 대한 영상 정보를 획득할 뿐만 아니라, 감시 영역에 위치하는 전자기기를 원격지에서 제어하고, 원격지에서 전자기기 제어를 위한 학습 데이터의 등록을 간소화할 수 있도록 하는 무선 리모컨 기능을 적용한 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법에 관한 것이다. 이를 위한 본 발명의 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법은 사용자 단말은 리모콘 제어 신호 학습 요청 신호와 IP 카메라로부터 학습용 리모콘 신호가 입력되면 수신된 학습용 리모콘 신호와 리모콘 메뉴 항목을 매칭시켜 전자기기의 리모콘 제어 신호로 학습하는 단계 및 IP 카메라는 사용자 단말로부터 학습된 전자기기 제어 신호를 수신하여 등록하고, 사용자 단말로부터 전자기기의 리모콘 제어 신호가 수신되면 학습된 정보를 기초로 전자기기의 구동을 제어하는 단계를 한다.

Description

무선 리모컨 기능을 갖는 ＩＰ 카메라를 이용한 전자기기의 제어 방법
본 발명은 IP 카메라 시스템을 이용한 전자기기 제어 방법에 관한 것으로서, 특히 주야간 감시 영역에 대한 영상 정보를 획득할 뿐만 아니라, 감시 영역에 위치하는 전자기기를 원격지에서 제어하고, 원격지에서 전자기기 제어를 위한 학습 데이터의 등록을 간소화할 수 있도록 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법에 관한 것이다.
일반적인 IP CAMERA의 경우 옥외 또는 집안이나 사무실 등의 내부 침입 감지 또는 감시를 목적으로 사용되고 있다.
이러한 IP 카메라는 감시가 필요한 영역에 설치되고, 원격지의 사용자는 인터넷을 통해 통신서버에 접속하여 개인용 단말(스마트폰, 데스크톱 PC, 노트북 PC 등)로 IP 카메라에 접속하여, IP 카메라의 팬/틸트 또는 줌 등을 원격에서 조작하거나 IP 카메라를 통해 촬영되는 영상을 실시간으로 열람할 수 있다.
이러한 IP 카메라는 촬영 기능을 갖기 때문에 에어컨이나 TV와 같은 전자기기의 상태 모니터링에는 이용할 수 있으나, 외부에서 전자기기를 켜거나 끄는 등의 원격 제어는 할 수 없는 단점이 있다.
한편, 전자기기를 외부에서 원격 제어하기 위해 전자기기를 네트워킹 장치와 통신이 가능하도록 연결하여 원격 통합 관리하는 기술이 제안되고 있으나, 네트워킹 구성을 위한 비용이 증가하는 단점이 있다.
종래기술의 문헌정보
[문헌1] 한국등록특허 제0954375호 "지능형 영상 감시 시스템"
[문헌2] 한국공개특허 제2011-0133709호"홈 네트워크의 원격 접근 제어 시스템 및 그 방법"
종래기술의 단점을 해소하기 위한 본 발명의 목적은, 감시용 IP 카메라에 장착된 복수의 IR LED 중 적어도 하나를 전자기기 제어용 IR 리모콘으로 이용함으로써, IP 카메라를 통해 획득되는 영상을 통해 감시 영역을 모니터링함과 동시에 원격지에서 전자기기를 제어할 수 있도록 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법에 관한 것이다.
또한, 본 발명의 다른 목적은 사용자 단말을 통해 원격지에서 IP 카메라 시스템을 이용하여 전자기기를 제어하기 위한 학습 데이터의 등록 절차를 간소화할 수 있도록 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법을 제공함에 있다.
과제를 해결하기 위한 본 발명의 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법은 사용자 단말은 리모콘 제어 신호 학습 요청 신호와 IP 카메라로부터 학습용 리모콘 신호가 입력되면 수신된 학습용 리모콘 신호와 리모콘 메뉴 항목을 매칭시켜 전자기기의 리모콘 제어 신호로 학습하는 단계 및 IP 카메라는 사용자 단말로부터 학습된 전자기기 제어 신호를 수신하여 등록하고, 사용자 단말로부터 전자기기의 리모콘 제어 신호가 수신되면 학습된 정보를 기초로 전자기기의 구동을 제어하는 단계를 한다.
여기서, 사용자 단말에서 이루어지는 학습단계는 학습 요청 신호를 입력받는 단계, 학습 대상 전자기기의 선택 신호를 입력받는 단계, 학습 요청된 전자기기에 대응되는 리모콘 정보 및 리모콘 메뉴 항목을 화면에 표시하는 단계, 사용자 입력 신호에 따라 IP 카메라로 전자기기 제어 신호를 송신하는 단계, IP 카메라를 통해 획득되는 정보를 기초로 전자기기가 사용자 입력 신호에 따라 동작하고 있는지 판단하고, 사용자 입력 신호에 따라 동작하고 있는 것으로 판단되면 해당 리모콘 제어 신호 정보를 외부로부터 다운로드하는 단계를 포함한다.
또한, 사용자 단말에서 이루어지는 학습단계는 학습 요청 신호를 입력받는 단계, 학습 대상 전자기기의 선택 신호를 입력받는 단계, 학습 요청된 전자기기의 제어에 필요한 리모콘 메뉴 항목을 화면에 표시하는 단계, IP 카메라로부터 다수의 학습용 리모콘 신호를 순차로 수신하고, 수신된 학습용 리모콘 신호마다 식별 코드를 부여하여 화면에 표시하는 단계, 사용자의 조작 신호에 따라 식별 코드가 부여된 학습용 리모콘 신호를 IP 카메라로 송신하여 전자기기의 제어가 이루어지도록 하는 단계, 사용자의 조작 신호에 따라 식별 코드를 화면에 표시된 리모콘 메뉴 항목과 매칭시키는 단계를 포함한다.
또한, 사용자 단말에서 이루어지는 학습단계는 학습 요청 신호를 입력받는 단계, 학습 대상 전자기기의 선택 신호를 입력받는 단계, IP 카메라로부터 학습용 리모콘 신호를 수신하는 단계, 수신된 학습용 리모콘 신호에 대응되는 메뉴 명칭을 사용자 조작 신호에 따라 등록하는 단계를 포함한다.
또한, 사용자 단말에서 이루어지는 학습단계는 IP 카메라 선택 신호를 입력받는 단계와, 선택된 IP 카메라의 팬/틸트 정보를 입력받아 대상 전자기기의 식별 정보에 매칭시켜 등록하는 단계를 더 포함한다.
그리고, 사용자 단말에서 학습 대상 전자기기의 선택 신호를 입력받는 단계는 학습 대상 전자기기의 형상 정보를 카메라 촬영 영상으로 획득하고, 획득된 전자기기의 형상 정보를 기 설정된 형상 정보와의 패턴 매칭을 통해 전자기기가 자동 식별되어 선택되도록 할 수 있다.
또한, 사용자 단말로부터의 제어 요청에 따라 IP 카메라의 구동을 제어하고, 촬영된 영상을 사용자 단말로 전송하는 단계, 사용자 단말로부터 리모콘 제어 신호를 수신하는 단계, 수신된 리모콘 제어 신호를 학습 정보와 매칭시켜 전자기기 제어 신호를 독출한 후 독출된 제어 신호에 따라 전자기기의 구동을 제어하는 단계를 포함한다.
또한, IP 카메라에서 전자기기의 구동을 제어하는 단계는 사용자 단말로부터 리모콘 제어 신호를 수신하는 단계, 수신된 리모콘 제어 신호를 학습 정보와 매칭시켜 IP 카메라 구동 제어 신호 및 전자기기 제어 신호를 독출하는 단계 독출된 IP 카메라 구동 제어 신호에 따라 IP 카메라의 구동을 제어하는 단계, 및 독출된 전자기기 제어 신호에 따라 전자기기의 구동을 제어하는 단계를 포함한다.
또한, IP 카메라는 획득되는 영상 정보 또는 음향 정보를 기초로 동작하고 있는 전자기기 정보를 사용자 단말로 전송하는 단계를 더 포함할 수 있고, IP 카메라는 제어 대상 전자기기와 IP 카메라의 위치 정보를 기초로 IP 카메라의 팬/틸트 정보를 산출하는 단계와, 산출된 IP 카메라의 팬/틸트 정보에 따라 IP 카메라의 구동을 제어할 수 있다.
또한, IP 카메라는 제어 대상 전자기기에서 출력되는 음향 신호를 마이크를 통해 획득하는 단계와, 마이크를 통해 획득된 음향 신호를 기로초 제어 대상 전자기기의 위치 및 제어 대상 전자기기와 IP 카메라간의 각도 정보를 산출하는 단계, 산출된 위치 및 각도 정보를 기초로 IP 카메라의 팬/틸트 정보를 산출하는 단계 및 산출된 IP 카메라의 팬/틸트 정보에 따라 IP 카메라의 구동을 제어하는 단계를 포함한다.
본 발명은 별도의 네트워크 장치와 전자기기간 통신망 구성을 하지 않고도 감시용 IP 카메라에 장착된 복수의 IR LED 중 하나를 전자기기 제어용 IR 리모콘으로 이용하여, 전자기기를 외부에서 원격 제어할 수 있어 에너지 관리의 효율성 향상을 도모할 수 있다.
또한, 본 발명은 IP 카메라를 원격지 감시 및 전자기기 리모콘으로 이용함으로써, IP 카메라의 기능성을 향상시킬 수 있는 이점이 있다.
또한, 본 발명의 IP 카메라의 리모콘 기능 학습 데이터의 등록을 간소화함으로써 사용자의 편의성을 향상시킬 수 있는 이점이 있다.
도 1은 본 발명에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템 구성도.
도 2는 도 1의 IP 카메라 사시도.
도 3은 도 1의 IP 카메라 구성도.
도 4는 본 발명에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템의 학습 방법을 나타낸 흐름도.
도 5는는 본 발명이 제 1 방법에 따른 전자기기 리모콘 정보 학습 및 등록 방법을 나타낸 흐름도.
도 6은 본 발명이 제 2 방법에 따른 전자기기 리모콘 정보 학습 및 등록 방법을 나타낸 흐름도.
도 7은 본 발명이 제 3 방법에 따른 전자기기 리모콘 정보 학습 및 등록 방법을 나타낸 흐름도.
도 8은 본 발명의 제 1 실시예에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템에서 전자기기를 제어하는 방법을 나타낸 흐름도.
도 9는 본 발명의 제 2 실시예에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템에서 전자기기를 제어하는 방법을 나타낸 흐름도.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템 구성도이고, 도 2는 도 1의 IP 카메라 사시도이고, 도 3은 도 1의 IP 카메라 구성도이다.
도 1 내지 도 3을 참조하면, 본 발명의 무선 리모컨 기능을 적용한 IP 카메라 시스템은 복수의 IP 카메라(1)와, 사용자 단말(2), 복수의 전자기기(3) 및 리모콘(4)을 포함한다.
IP 카메라(1)는 설치 장소에 대한 영상 정보를 획득하여 사용자 단말(2)로 전송하거나, 외부로부터의 제어 신호에 따라 전자기기(3)를 제어하기 위한 제어 신호를 송출 및 사용자의 설정에 따라 전자기기(3) 제어를 위한 정보를 학습 및 저장한다.
이때, IP 카메라(1)는 사용자 단말(2)에서 실시간 촬영 영상 요청이 있을 경우 현재 촬영되고 있는 실시간 영상을 사용자 단말(2)에 제공하거나, 촬영된 영상을 메모리(17)에 압축 저장해두고 사용자 단말(2)에서 요청이 있을 때마다 압축 영상을 사용자 단말(2)에 제공한다.
이러한 IP 카메라(1)는 본체(11), 팬/틸트 구동부(12), 영상 획득부(13), 마이크(14), LED부(15), RF 송신부(16), 통신 인터페이스(17), 컨트롤러(18) 및 데이터베이스(19)를 포함한다.
본체(11)는 외부로부터 수신되는 제어 신호 또는 본체(11)에 별도로 설치된 조작부의 조작 신호에 따라 팬/틸트 구동부(12)의 구동이 제어되도록 설치된다.
영상 획득부(13)는 본체(11) 주변의 영상 정보를 획득하기 위한 것으로서, 본체(11)의 전면에 구비되는 렌즈(131)와, 렌즈(131)를 통해 입사되는 광을 수신하고 통상의 영상 처리 과정을 거쳐 촬영 영상을 생성하는 영상 처리부(132)로 구성된다.
마이크(14)는 전자기기의 작동 여부, 볼륨 상태, 위치, 방향 또는 사람의 존재여부, 위치나 방향 등을 음향 신호로부터 획득하기 위한 것으로서, 두 개의 마이크를 통해 감지되는 음원의 강도와 위상차, 시간 등을 통해 음원의 방향과 거리를 계산을 통해 음원을 추적한다. 여기서 마이크는 무지향성(Omni-directional) 마이크가 아니라 특정 방향에 대해서 지향성을 가는 지향성(bi-directional) 마이크를 사용한다.
LED부(15)는 복수의 촬영용 LED(151)와, 리모콘 신호 수신 LED(152), 리모콘 신호 송신 LED(153)로 구성된다.
복수의 촬영용 LED(151)는 본체(11)의 전면 렌즈(131) 둘레에 링 형상으로 배열된 것으로서, 주위가 밝아 영상 촬영에 필요한 조도 조건을 만족할 경우에는 동작하지 않고, 야간과 같이 주위가 어두워 촬영에 필요한 조도 조건을 만족하지 못할 경우에 동작하여 적외선 영상을 촬영할 수 있도록 하는 역할을 한다.
리모콘 신호 수신 LED(152)는 후술하는 리모콘 기능 학습 과정에서 이용되는 것으로서, 사용자에 의해 리모콘(4)의 키가 눌릴 경우에 리모콘(4)에서 송출되는 적외선 신호를 수신하는 역할을 하고, 리모콘 신호 송신 LED(153)는 사용자 단말(2)로부터 제어 신호가 수신되는 경우 수신된 신호에 따라 임의의 전자기기(3)의 구동 제어를 위한 적외선 신호를 송출하는 역할을 한다.
한편, 가정에서 사용하는 전자 기기들이 모두 적외선 방식으로 제어 가능하지 않다. 예를 들어, 디지털 도어락 등은 적외선 방식으로는 제어 불가능하고, RF 신호를 통해서만 제어가 가능하다. 따라서, 본 발명은 RF 신호에만 반응하는 전자기기(3)들을 제어하기 위하여 RF 신호를 송출하는 RF 송신부(16)를 더 포함한다. 이때, RF 신호의 경우 적외선 신호처럼 지향성을 갖지는 않으므로, 그 설치 위치는 한정되지 않고 IP 카메라(1)의 본체(11) 내부 또는 외부 어디에 설치되어도 무관하다.
통신 인터페이스(17)는 사용자 단말(2)과의 데이터 송수신 및 전자기기를 적외선 방식이 아닌 유무선 방식으로도 제어할 수 있도록 하기 위한 것으로서, 무선 통신 모듈 및 유선 통신 모듈을 포함한다.
컨트롤러(18)는 사용자 단말(2)로부터 제어 신호가 수신되면 제어 신호에 따라 메모리(17)에 기 설정된 정보를 기초로 IP 카메라(1)의 팬/틸트나 전자기기(3)의 구동을 제어한다.
데이터베이스(19)는 촬영된 영상을 저장하는 영상 DB(191) 이외에 전자기기(3)의 제어에 필요한 정보를 저장하는 범용 리모콘 DB(192) 및 학습 정보 DB(193)를 포함한다.
범용 리모콘 DB(192)는 제어 대상 전자기기의 제조사 정보, 제품 정보 및 리모콘 메뉴에 매칭되는 제어 신호 정보를 저장하는 것으로서, 리모콘 제어 신호 학습 과정을 용이하게 하기 위한 것이다. 즉, 사용자가 리모콘의 각 메뉴 버튼을 직접 조작하면서 정보 설정을 하지 않고, 화면에 표시되는 리모콘 메뉴 중 사용자가 필요한 메뉴 아이콘만을 선택하여 저장하도록 하는 것으로서 학습의 편의성을 향상시킨다. 이때, 범용 리모콘에 대한 정보는 사용자 단말(2)에서 웹 페이지 접속 또는 어플리케이션을 통해 다운로드 받을 수 있다.
학습 정보 DB(193)는 각 전자기기의 리모콘 제어 신호 정보와 IP 카메라의 팬/틸트 제어 정보 및 IP 카메라와 전자기기의 위치 정보 등을 저장한다.
즉, 제어 대상 전자기기는 제조사별, 제품별 및 기능별로 제어를 위한 적외선 신호가 다르고, 적외선 신호는 지향성을 갖기 때문에 제어신호가 소정 각도 범위로 한정된다. 따라서, 제어 대상 기기의 원활한 제어를 위해서는 각 전자기기에 매칭되는 제어 신호 정보가 저장되어야 함은 물론 전자기기가 적외선 신호의 수신 범위에 위치할 수 있도록 IP 카메라의 팬/틸트 정보가 저장되어야 한다.
이를 위하여 사용자는 범용 리모콘 DB(192)에 저장된 전자기기의 리모콘 기능에 매칭되는 리모콘 제어 신호 정보 및 IP 카메라 팬/틸트 정보를 학습시켜 학습 정보 DB(193)에 저장하거나, 전자기기의 리모콘의 각 메뉴 버튼을 직접 조작하면서 획득되는 리모콘 제어 신호 정보 및 팬/틸트 정보를 학습시켜 학습 정보 DB(193)에 저장한다. 이러한 리모콘 학습 방법에 대해서는 이하에서 상세하게 설명하도록 한다.
한편, 사용자 단말(2)는 IP 카메라(1)와 유무선 통신망을 통해 연결되어 IP 카메라(1)의 구동을 외부에서 제어하고, IP 카메라(1)를 통해 촬영되는 영상을 원격지에서 모니터링하는 역할을 한다. 이때, 사용자 단말(2)는 스마트폰이나 노트북과 같은 휴대 단말기 또는 데스크탑 PC 등 일 수 있다.
구체적으로, 사용자 단말(2)는 원하는 방향에 대한 영상을 모니터링하고 싶을때 사용자의 조작 신호에 따라 IP 카메라(1)의 팬/틸트를 외부에서 제어하여 촬영 방향을 전환하거나, 전자기기(3)의 제어가 필요한 학습 정보 입력 또는 사용자의 조작 신호에 따른 제어 신호를 IP 카메라(1)에 전송하는 역할을 한다.
도 4는 본 발명에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템의 학습 방법을 나타낸 흐름도로서, 학습 방법을 도 1 내지 도 3을 참조하여 설명하도록 한다.
우선, 사용자는 사용자 단말(2)을 이용하여 IP 카메라 제어 프로그램을 구동시켜 리모콘 등록 메뉴를 선택한다.
이에 따라, 화면에 IP 카메라(1) 목록이 표시되면 사용자는 학습 대상 전자기기(3)를 제어하기 위한 IP 카메라(1)를 선택한다(S100). 그리고, 사용자는 사용자 단말(2) 화면에 표시되는 영상을 확인하면서 선택된 IP 카메라(1)의 팬/틸트를 조정하고, 팬/틸트의 조정이 완료되면 팬/틸트 정보를 해당 전자기기(3)의 ID에 매칭시켜 저장한다(S102). 이때, IP 카메라(1)의 지향성을 갖는 리모콘 신호 송신 LED(153)의 적외선 신호의 송출 범위와 전자기기의 적외선 광 수신 각도를 일치시킬 뿐만 아니라, 전자기기(3)의 작동 상태를 모니터링 할 수 있는 영상 정보 및 음향 정보를 수신할 수 있도록 팬/틸트 조정이 이루어져야 한다.
이어서, 해당 전자기기(3)가 범용 리모콘 DB(192) 목록에 존재하는지 판단하고(S104), 범용 리모콘 DB(192) 목록에 존재하는 경우에는 목록에서 해당 전자기기를 선택한다(S106). 이때, 화면에는 전자기기의 제품 종류가 표시되거나, 제조사명이 표시되므로, 사용자는 제품의 종류와 제조사명을 차례로 선택한다. 이때, 전자기기(3)의 선택은 사용자가 목록에서 직접 선택하는 것으로 설명하였으나, 사용자가 직접 선택하는 방법 이외에 전자기기의 형상을 카메라로 획득하여 형상 정보를 기반으로 전자기기의 종류를 자동 식별하여 선택되는 기능으로 구현할 수도 있다.
그리고, 목록에서 전자기기(3)를 선택하고 화면에 표시된 아이콘 중에 하나를 누르다가 해당 전자기기의 전원이 온/오프 되거나 작동이 확인되면(S108), 리모콘 제어 정보를 다운로드 받아 S100 및 S102에서 획득된 IP 카메라 정보 및 IP 카메라 팬/틸트 정보에 매칭시켜 저장한다(S110).
한편, S104 단계에서 해당 전자기기(3)가 범용 리모콘 DB(192) 목록에 존재하지 않은 것으로 판단되면, 사용자가 직접 리모콘 조작을 하면서 IP 카메라를 통해 리모콘 제어 신호를 학습하여 저장한다(S200).
여기서, 학습 저장 과정은 우선 전자기기에 대한 정보를 사용자가 키패드 화면을 이용하여 입력하고, 해당 전자기기의 리모콘 메뉴에 매칭되는 제어 신호를 단계적으로 학습하고 이를 저장한다. 이때, 전자기기의 정보는 제품의 정보와 제조사 등으로서 사용자가 직접 텍스트 입력을 하거나 목록 리스트에서 사용자가 선택하는 방법으로 진행될 수 있다.
도 5는 본 발명의 제 1 방법에 따른 전자기기 리모콘 정보 학습 및 등록 방법을 나타낸 흐름도이다.
우선, 전자기기의 제품이 선택되면 해당 전자기기의 작동 기능에 따른 메뉴 목록이 화면에 표시된다(S300).
그러면, 사용자는 화면 상의 메뉴 목록에서 필요한 항목을 선택하고(S302), IP 카메라(1)를 향해 해당 항목과 일치하는 리모콘(4)의 메뉴 버튼을 누른다(S304).
이에 따라, IP 카메라(1)의 리모콘 신호 수신 LED(152)에서 리모콘(4)의 적외선 신호가 수신되어 학습용 리모콘 제어 신호가 획득된다(S306).
S306 단계에서 학습용 리모콘 제어 신호가 획득되면 사용자는 화면의 항목과 매칭시킨 학습 데이터를 저장한다(S308).
이후, 원하는 메뉴 항목에 대한 학습이 완료될 때까지 S302 단계에서 S308 단계를 반복한다.
이러한 본 발명의 제 1 학습 방법은 리모콘 메뉴 항목을 사용자가 일일이 텍스트 입력하지 않아도 되므로 학습 과정을 단순화할 수 있다.
도 6은 본 발명의 제 2 방법에 따른 전자기기 리모콘 정보 학습 및 등록 방법을 나타낸 흐름도이다.
우선, IP 카메라를 향해 리모콘 버튼 누르면(S400) IP 카메라(1)의 리모콘 신호 수신 LED(152)에서 리모콘(4)의 적외선 신호가 수신되어 학습용 리모콘 제어 신호가 획득된다(S402). 이때, 사용자는 리모콘(4)의 모든 버튼을 순차적으로 누르면서 모든 리모콘 학승용 제어 신호가 획득되도록 한다.
그리고, 화면 상에는 버튼 식별 번호와 함께 해당 전자기기의 구동에 필요한 리모콘 메뉴 목록이 표시된다(S404).
그러면, 사용자는 화면의 버튼 식별 번호를 차례로 눌러 제어 신호를 재생하면서 전자기기의 작동 상태에 따른 제어 신호의 종류를 확인하고(S406), 재생된 버튼 식별 번호 각각을 메뉴 항목과 매칭시킨다(S408). 예를 들어, 식별 번호가 설정된 "2"번 코드를 터치하였을 경우 전원이 온 또는 오프된 것으로 확인되면, 식별 번호 "2"번 코드를 드래그하여 전원 항목의 위치로 옮겨 매칭시킨다. 그러면, 식별 번호 "2"를 눌렀을 때의 적외선 신호가 "전원" 항목에 매칭되므로 사용자가 리모콘 메뉴 항목에 대한 텍스트 정보를 직접 입력하지 않아도 되므로 학습 데이터 설정이 단순화된다.
그리고, 모든 버튼 식별 번호와 메뉴 항목의 매칭이 완료되면 화면의 항목과 리모콘 제어 신호를 매칭시킨 학습 데이터를 저장한다(S410).
도 7은 본 발명의 제 3 방법에 따른 전자기기 리모콘 정보 학습 및 등록 방법을 나타낸 흐름도이다.
우선, 사용자가 IP 카메라를 향해 리모콘 버튼을 누르면(S500), IP 카메라(1)의 리모콘 신호 수신 LED(152)를 통해 학습용 리모콘 제어 신호가 수신된다.
그러면 사용자 단말(2)에서 IP 카메라()로부터 학습용 리모콘 제어 신호를 수신되면(S502), 사용자는 본인이 누른 리모콘 버튼에 해당하는 기능 정보를 확인할 수 있도록 메뉴 명칭을 직접 입력한다(S504). 여기서는 리모콘 버튼을 조작하는 단계가 메뉴 명칭 입력 단계 이전에 이루어지는 것으로 설명하였으나, 메뉴의 명칭을 먼저 입력하고 리모콘 버튼을 조작할 수도 있다.
그리고, 리모콘에 대한 버튼 조작과 메뉴 명칭 입력이 완료되면 학습을 완료하고, 화면의 항목과 리모콘 제어 신호를 매칭시킨 학습 데이터를 저장한다(S506).
이하에서는 본 발명의 무선 리모컨 기능을 적용한 IP 카메라 시스템에서 전자기기를 제어하는 방법에 대하여 설명하도록 한다.
도 8은 본 발명의 제 1 실시예에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템에서 전자기기를 제어하는 방법을 나타낸 흐름도로서, 상술한 도 1 내지 도 3을 참조하여 설명하도록 한다.
도 8을 참조하면 우선, 사용자가 전자기기 제어 프로그램을 실행하면(S600) 화면에 IP 카메라 목록이 표시되고, 사용자가 IP 카메라를 선택하면 화면에 IP 카메라를 통해 촬영되는 영상이 표시된다(S602).
이때, 사용자 단말 화면에는 전자기기에 대한 영상 정보뿐만 아니라 전자기기의 작동 상태가 표시된다. 이러한 전자기기의 작동 상태는 전자기기에 구비된 표시 패널의 발광 상태나 제조사명 또는 제품명 등을 영상에서 인식하거나, TV나 오디오 장치의 경우 IP 카메라(1)에 구비된 마이크를 통해 입력된 음향 정보를 기초로 인식할 수 있다.
또는, 사용자가 IP 카메라를 선택하기 이전에 현재 작동 중인 전자기기를 자동으로 인식하여 사용자에게 제공할 수 있는데, 이를 위해서는 IP 카메라들과 전자기기간의 위치 정보나 형상 정보가 미리 설정되어 있어야 한다. 즉, 전자기기의 패널 발광 상태나 음향 정보를 기초로 한 작동 상태를 검출하고, 해당 전자기기가 작동 상태임을 알리기 위해서는 전자기기를 식별할 수 있어야 한다. 따라서, 본 발명은 전자기기의 형상 정보를 미리 설정하고, IP 카메라를 통해 획득되는 영상에서 전자기기의 형상을 추출하고, 추출된 형상을 기 설정된 형상 정보와 패턴 매칭시켜 전자기기의 종류를 식별하거나, 전자기기에서 발생하는 음향 정보로부터 IP 카메라와 전자기기 사이의 거리 및 위치를 산출하고, 이를 기 설정된 위치 정보와매칭시켜 전자기기를 식별한다.
한편, 사용자는 사용자 단말(2) 화면을 확인하면서 리모콘 신호 송신 LED(153)가 임의의 전자기기(3) 방향을 향하도록 IP 카메라(1)의 팬/틸트를 조정한다(S604).
IP 카메라(1)의 팬/틸트 조정이 완료되면 화면에 전자기기 리모콘 메뉴가 표시되는데, 사용자는 표시된 목록에서 원하는 리모콘을 선택하고, 리모콘의 메뉴 목록에서 원하는 기능을 선택한다(S606).
이때, 사용자 단말 화면에서 리모콘 선택을 사용자가 직접하는 것으로 설명하였으나 리모콘 선택이 자동으로 이루어지도록 할 수 있다. 즉, IP 카메라(1)가 선택되면 IP 카메라(1)는 인식 범위 내의 전자기기를 촬영하고, 사용자 단말(2)는 촬영된 영상 내에서 전자기기에 표시된 제조사명이나 제품명을 통해 전자기기를 자동으로 식별하거나, 전자기기의 형상 정보를 추출하여 기 설정된 형상 정보와의 패턴 매칭을 통해 전자기기를 자동으로 식별하고 해당 전자기기에 대응되는 리모콘이 자동으로 선택되도록 하는 것이다. 이러한 리모콘 자동 선택 기능은 도 9의 제 1 실시예 뿐만 아니라 도 10의 제 2 실시예에서도 동일하게 적용될 수 있다.
사용자 단말(2)은 입력된 신호를 IP 카메라(1)로 전송하고(S608), IP 카메라(1)는 수신된 제어 신호를 기초로 데이터베이스에 저장된 리모콘 제어 신호를 독출한다(S610).
이후, IP 카메라(1)는 리모콘 신호 송신 LED(153)를 통해 리모콘 제어 신호를 전자기기(3)로 송출하여 전자기기(3)의 구동을 제어한다(S612).
도 9는 본 발명의 제 2 실시예에 따른 무선 리모컨 기능을 적용한 IP 카메라 시스템에서 전자기기를 제어하는 방법을 나타낸 흐름도로서, 상술한 도 1 내지 도 3을 참조하여 설명하도록 한다.
도 9를 참조하면 우선, 사용자가 전자기기 제어 프로그램을 실행하면(S700) 화면에 IP 카메라와 리모콘 목록이 표시된다(S702).
이어서, 사용자는 표시된 목록에서 원하는 리모콘을 선택하고, 리모콘의 메뉴 목록에서 원하는 기능을 선택한다(S704).
그러면, 사용자 단말(2)은 입력된 신호를 IP 카메라(1)로 전송하고(S706), IP 카메라(1)는 수신된 제어 신호를 기초로 데이터베이스로부터 IP 카메라(1) 팬/틸트 정보 및 리모콘 제어 신호를 독출한다(S708).
이때, IP 카메라(1)의 팬/틸트 정보는 제어 대상 전자기기별로 기 설정된 정보이거나, 기 설정된 IP 카메라(1)와 전자기기(3) 간의 상대 위치나 각도 정보를 기초로 계산되는 값일 수 있다.
이후, IP 카메라(1)는 독출된 팬/틸트 정보에 따라 팬/틸트를 자동으로 조정하고(S710), 리모콘 신호 송신 LED(153)를 통해 리모콘 제어 신호를 전자기기(3)로 송출하여 전자기기(3)의 구동을 제어한다(S712).
여기서, IP 카메라(1)의 팬/틸트 정보를 기 설정된 정보에 따라 제어하는 것으로 설명하였으나, 제어 대상 전자기기의 위치를 실시간으로 검출하고, 검출된 위치에 따라 팬/틸트 정보를 산출하는 것으로 적용할 수도 있다.
즉, 제어 대상 전자기기에서 출력되는 음향 신호를 두 개의 마이크를 통해 획득하고, 두 개의 마이크에서 감지된 음원의 강도와 위상차, 시간 등을 통해 IP 카메라로부터 전자기기의 방향과 거리를 산출하면 전자기기의 위치 및 전자기기와 IP 카메라간의 각도 정보를 알 수 있다.
따라서, 본 발명은 제어 대상 전자기기에 대응되는 IP 카메라의 팬/틸트 정보나, 전자기기의 위치 정보를 미리 설정하지 않아도 전자기기 제어을 위한 IP 카메라의 팬/틸트 정보를 얻을 수 있게 된다.
아울러, 본 발명은 인위적으로 카메라의 팬/틸트가 변경되거나 반복적인 작동에 따라 팬/틸트 정보의 오차가 발생하는 경우, 전자기기와 IP 카메라간의 위치와 거리 정보를 기초로 카메라의 팬/틸트를 자동으로 교정하는 방법을 더 포함할 수 있다.
비록 본 발명의 상기 언급된 바람직한 실시예와 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서 첨부된 특허청구의 범위는 본 발명의 요지에서 속하는 이러한 수정이나 변형을 포함할 것이다.
본 발명은 통신망을 통해 외부 접속 가능한 카메라 시스템으로서, 외부에서 카메라를 통해 획득되는 영상을 확인할뿐만 아니라 외부에서 카메라를 통해 전자기기의 원격 제어를 할 수 있어 보안성 및 편의성 향상을 위한 산업분야에 이용이 가능하다.

Claims (11)

  1. IP 카메라를 이용한 전자기기의 제어 방법에 있어서,
    사용자 단말은 리모콘 제어 신호 학습 요청 신호와 IP 카메라로부터 학습용 리모콘 신호가 입력되면 수신된 학습용 리모콘 신호와 리모콘 메뉴 항목을 매칭시켜 전자기기의 리모콘 제어 신호로 학습하는 단계;
    상기 IP 카메라는 상기 사용자 단말로부터 학습된 전자기기 제어 신호를 수신하여 등록하고, 사용자 단말로부터 전자기기의 리모콘 제어 신호가 수신되면 학습된 정보를 기초로 전자기기의 구동을 제어하는 단계를 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  2. 제 1항에 있어서,
    상기 사용자 단말에서 이루어지는 학습단계는,
    학습 요청 신호를 입력받는 단계;
    학습 대상 전자기기의 선택 신호를 입력받는 단계;
    상기 학습 요청된 전자기기에 대응되는 리모콘 정보 및 리모콘 메뉴 항목을 화면에 표시하는 단계;
    사용자 입력 신호에 따라 상기 IP 카메라로 전자기기 제어 신호를 송신하는 단계;
    상기 IP 카메라를 통해 획득되는 정보를 기초로 상기 전자기기가 사용자 입력 신호에 따라 동작하고 있는지 판단하고, 사용자 입력 신호에 따라 동작하고 있는 것으로 판단되면 해당 리모콘 제어 신호 정보를 외부로부터 다운로드하는 단계를 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  3. 제 1항에 있어서,
    상기 사용자 단말에서 이루어지는 학습단계는,
    학습 요청 신호를 입력받는 단계;
    학습 대상 전자기기의 선택 신호를 입력받는 단계;
    상기 학습 요청된 전자기기의 제어에 필요한 리모콘 메뉴 항목을 화면에 표시하는 단계;
    상기 IP 카메라로부터 다수의 학습용 리모콘 신호를 순차로 수신하고, 수신된 학습용 리모콘 신호마다 식별 코드를 부여하여 화면에 표시하는 단계;
    사용자의 조작 신호에 따라 상기 식별 코드가 부여된 학습용 리모콘 신호를 IP 카메라로 송신하여 전자기기의 제어가 이루어지도록 하는 단계;
    사용자의 조작 신호에 따라 상기 식별 코드를 화면에 표시된 리모콘 메뉴 항목과 매칭시키는 단계를 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  4. 제 1항에 있어서,
    상기 사용자 단말에서 이루어지는 학습단계는,
    학습 요청 신호를 입력받는 단계;
    학습 대상 전자기기의 선택 신호를 입력받는 단계;
    상기 IP 카메라로부터 학습용 리모콘 신호를 수신하는 단계;
    상기 수신된 학습용 리모콘 신호에 대응되는 메뉴 명칭을 사용자 조작 신호에 따라 등록하는 단계를 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 사용자 단말에서 이루어지는 학습단계는,
    IP 카메라 선택 신호를 입력받는 단계와,
    상기 선택된 IP 카메라의 팬/틸트 정보를 입력받아 대상 전자기기의 식별 정보에 매칭시켜 등록하는 단계를 더 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  6. 제 2항 내지 제 4항 중 어느 한 항에 있어서,
    상기 사용자 단말에서 학습 대상 전자기기의 선택 신호를 입력받는 단계는,
    학습 대상 전자기기의 형상 정보를 카메라 촬영 영상으로 획득하고,
    획득된 전자기기의 형상 정보를 기 설정된 형상 정보와의 패턴 매칭을 통해 전자기기가 자동 식별되어 선택되도록 하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  7. 제 1항에 있어서,
    상기 IP 카메라에서 전자기기의 구동을 제어하는 단계는,
    사용자 단말로부터의 제어 요청에 따라 IP 카메라의 구동을 제어하고, 촬영된 영상을 사용자 단말로 전송하는 단계;
    상기 사용자 단말로부터 리모콘 제어 신호를 수신하는 단계;
    상기 수신된 리모콘 제어 신호를 학습 정보와 매칭시켜 전자기기 제어 신호를 독출한 후 독출된 제어 신호에 따라 전자기기의 구동을 제어하는 단계를 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  8. 제 1항에 있어서,
    상기 IP 카메라에서 전자기기의 구동을 제어하는 단계는,
    상기 사용자 단말로부터 리모콘 제어 신호를 수신하는 단계;
    상기 수신된 리모콘 제어 신호를 학습 정보와 매칭시켜 IP 카메라 구동 제어 신호 및 전자기기 제어 신호를 독출하는 단계;
    상기 독출된 IP 카메라 구동 제어 신호에 따라 IP 카메라의 구동을 제어하는 단계; 및
    상기 독출된 전자기기 제어 신호에 따라 전자기기의 구동을 제어하는 단계를 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  9. 제 7항 또는 제 8항에 있어서,
    상기 IP 카메라는
    획득되는 영상 정보 또는 음향 정보를 기초로 동작하고 있는 전자기기 정보를 상기 사용자 단말로 전송하는 단계를 더 포함하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  10. 제 8항에 있어서,
    상기 IP 카메라는 제어 대상 전자기기와 IP 카메라의 위치 정보를 기초로 IP 카메라의 팬/틸트 정보를 산출하는 단계와,
    상기 산출된 IP 카메라의 팬/틸트 정보에 따라 IP 카메라의 구동을 제어하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
  11. 제 8항에 있어서,
    상기 IP 카메라는 제어 대상 전자기기에서 출력되는 음향 신호를 마이크를 통해 획득하는 단계와,
    상기 마이크를 통해 획득된 음향 신호를 기로초 제어 대상 전자기기의 위치 및 제어 대상 전자기기와 IP 카메라간의 각도 정보를 산출하는 단계;
    상기 산출된 위치 및 각도 정보를 기초로 IP 카메라의 팬/틸트 정보를 산출하는 단계와,
    상기 산출된 IP 카메라의 팬/틸트 정보에 따라 IP 카메라의 구동을 제어하는 것을 특징으로 하는 무선 리모컨 기능을 갖는 IP 카메라를 이용한 전자기기의 제어 방법.
PCT/KR2013/010028 2013-05-22 2013-11-06 무선 리모컨 기능을 갖는 ｉｐ 카메라를 이용한 전자기기의 제어 방법 WO2014189186A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/648,895 US20160065828A1 (en) 2013-05-22 2013-11-06 Method for controlling electronic device using ip camera having function of wireless remote controller
US14/686,739 US20150222862A1 (en) 2013-05-22 2015-04-14 Camera apparatus and method for remotely controlling electronic devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0057483 2013-05-22
KR1020130057483A KR20140137080A (ko) 2013-05-22 2013-05-22 무선 리모컨 기능을 갖는 ip 카메라를 이용한 전자기기의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/686,739 Continuation-In-Part US20150222862A1 (en) 2013-05-22 2015-04-14 Camera apparatus and method for remotely controlling electronic devices

Publications (1)

Publication Number Publication Date
WO2014189186A1 true WO2014189186A1 (ko) 2014-11-27

Family

ID=51933720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/010028 WO2014189186A1 (ko) 2013-05-22 2013-11-06 무선 리모컨 기능을 갖는 ｉｐ 카메라를 이용한 전자기기의 제어 방법

Country Status (3)

Country Link
US (2) US20160065828A1 (ko)
KR (1) KR20140137080A (ko)
WO (1) WO2014189186A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6125642B2 (ja) * 2013-08-30 2017-05-10 日立マクセル株式会社 端末装置
US10540073B2 (en) * 2013-09-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling camera-mounted external device
KR101619922B1 (ko) * 2013-12-24 2016-05-12 전자부품연구원 가상자원 기반 협력형 서비스 제공방법 및 그 장치
US20150365480A1 (en) * 2014-06-16 2015-12-17 Spidermonkey, LLC Methods and systems for communicating with electronic devices
CN106611489A (zh) * 2015-10-22 2017-05-03 联发科技（新加坡）私人有限公司 自动匹配遥控信号的方法和电子装置
US10154358B2 (en) * 2015-11-18 2018-12-11 Samsung Electronics Co., Ltd. Audio apparatus adaptable to user position
US9942513B1 (en) 2016-10-31 2018-04-10 Cisco Technology, Inc. Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
KR102012719B1 (ko) * 2017-12-06 2019-08-21 서울과학기술대학교 산학협력단 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법
KR20200069060A (ko) 2018-12-06 2020-06-16 삼성전자주식회사 원격 제어 장치, 디스플레이 장치 및 이를 포함하는 원격 제어 시스템
US11425502B2 (en) 2020-09-18 2022-08-23 Cisco Technology, Inc. Detection of microphone orientation and location for directional audio pickup
US11115625B1 (en) 2020-12-14 2021-09-07 Cisco Technology, Inc. Positional audio metadata generation
US20240080502A1 (en) * 2021-03-19 2024-03-07 Telefonaktiebolaget Lm Ericsson (Publ) Handover of capturing of a media stream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309757A (ja) * 2002-04-16 2003-10-31 Toshiba Corp リモコン機能を有するデジタルカメラ
KR20050119556A (ko) * 2004-06-16 2005-12-21 서울통신기술 주식회사 가정 자동화 시스템의 원격제어장치 및 그 방법
KR20060019111A (ko) * 2004-08-26 2006-03-03 주식회사 케이티 댁내 전자기기 제어 기능을 가지는 네트워크 카메라 장치및 그를 이용한 댁내 전자기기 제어 방법
JP2006262315A (ja) * 2005-03-18 2006-09-28 Venture Creator:Kk 携帯電話機能拡張装置
KR100785657B1 (ko) * 2007-10-26 2007-12-14 강병무 전자기기 제어용 네트워크 카메라

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1539250A (zh) * 2001-08-08 2004-10-20 ���µ�����ҵ��ʽ���� 机器控制装置及机器控制系统
US8766783B1 (en) * 2010-11-05 2014-07-01 Google Inc. Methods and systems for remotely controlling electronics
KR20130048533A (ko) * 2011-11-02 2013-05-10 엘지전자 주식회사 원격제어장치의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309757A (ja) * 2002-04-16 2003-10-31 Toshiba Corp リモコン機能を有するデジタルカメラ
KR20050119556A (ko) * 2004-06-16 2005-12-21 서울통신기술 주식회사 가정 자동화 시스템의 원격제어장치 및 그 방법
KR20060019111A (ko) * 2004-08-26 2006-03-03 주식회사 케이티 댁내 전자기기 제어 기능을 가지는 네트워크 카메라 장치및 그를 이용한 댁내 전자기기 제어 방법
JP2006262315A (ja) * 2005-03-18 2006-09-28 Venture Creator:Kk 携帯電話機能拡張装置
KR100785657B1 (ko) * 2007-10-26 2007-12-14 강병무 전자기기 제어용 네트워크 카메라

Also Published As

Publication number Publication date
KR20140137080A (ko) 2014-12-02
US20150222862A1 (en) 2015-08-06
US20160065828A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
WO2014189186A1 (ko) 무선 리모컨 기능을 갖는 ｉｐ 카메라를 이용한 전자기기의 제어 방법
US6759957B2 (en) Home security system
US20080036862A1 (en) Digital video surveillance system
US10044966B2 (en) Monitoring camera system
WO2016182374A1 (en) Remote control method and device using wearable device
US20040145468A1 (en) Portable device-interoperable home network system
EP3023956A2 (en) Monitoring camera system
WO2014196721A1 (ko) 합성 영상을 이용한 화재감지시스템 및 방법
WO2011062304A1 (ko) 유비쿼터스를 이용한 다기능 홈네트워크 시스템
WO2016060371A1 (en) Terminal for internet of things and operation method of the same
KR20030047343A (ko) 인터넷을 이용한 감시 및 관리 시스템
EP3023950A2 (en) Monitoring system
WO2021045430A1 (ko) 댁내 중계 장치 및 그와 연결되는 전자 장치
EP3738025A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
US20100060733A1 (en) Remote surveillance system
JP2009206774A (ja) 画像伝送システム、画像伝送装置及び制御方法
WO2018092926A1 (ko) 사물 인터넷 기반의 실외형 자가촬영사진지원 카메라 시스템
WO2012046903A1 (ko) 사각지역 촬영이 가능한 감시카메라 및 그 제어방법
US6784918B1 (en) System for obtaining state information from consumer electronic devices
WO2018092929A1 (ko) 사물 인터넷 기반의 실내형 자가촬영사진지원 카메라 시스템
WO2020130536A1 (ko) 비콘을 이용한 지능형 호출 시스템
KR20090106030A (ko) 보안 시스템
EP2856765A1 (en) Method and home device for outputting response to user input
WO2021117973A1 (ko) 클라우드 서버를 활용한 음성인식 rcu 설정 시스템 및 그 방법
KR101741964B1 (ko) 영상 및 데이터의 동시 통신을 위한 스마트 제어보드를 이용한 원격지 제어 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13885086

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14648895

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13885086

Country of ref document: EP

Kind code of ref document: A1