KR102625345B1 - Overlapping image information providing system and method implemented using a portable visual display device. - Google Patents
Overlapping image information providing system and method implemented using a portable visual display device. Download PDFInfo
- Publication number
- KR102625345B1 KR102625345B1 KR1020160138056A KR20160138056A KR102625345B1 KR 102625345 B1 KR102625345 B1 KR 102625345B1 KR 1020160138056 A KR1020160138056 A KR 1020160138056A KR 20160138056 A KR20160138056 A KR 20160138056A KR 102625345 B1 KR102625345 B1 KR 102625345B1
- Authority
- KR
- South Korea
- Prior art keywords
- image information
- image
- camera
- visual display
- overlapping
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims description 59
- 238000000034 method Methods 0.000 title abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000008054 signal transmission Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 적어도 2개 이상의 방향으로 영상정보를 획득 가능하도록 구성된 시스템에 있어서 제1 방향으로 영상정보를 획득하는 단계와 상기 제1방향과 다른 제2 방향으로 영상정보를 획득하는 단계와 획득된 상기 영상정보들을 송신하는 단계와 상기 송신된 영상정보를 수신하여 상기 제2방향의 영상정보에서 표시할 영상정보를 선택하는 것과 상기 선택된 제2방향의 영상정보와 제1방향의 영상정보와의 유사정도를 비교하는 단계를 통해서 선택적으로 표시할 영상정보를 설정하는 단계와 설정된 영상정보를 적어도 하나의 영역에 표시하는 단계로 이루어지는 중첩영상신호 처리 방법과 그에 따른 장치를 개시한다.The present invention relates to a system configured to acquire image information in at least two directions, comprising the steps of acquiring image information in a first direction, acquiring image information in a second direction different from the first direction, and the obtained Transmitting video information, receiving the transmitted video information, selecting video information to be displayed from the video information in the second direction, and a degree of similarity between the video information in the selected second direction and the video information in the first direction. Disclosed is a method of processing an overlapping video signal and a device therefor, comprising the steps of setting video information to be selectively displayed through comparing and displaying the set video information in at least one area.
Description
본 발명은 두 대의 카메라, 영상처리시스템, 이동 가능한 시각표시장치 등을 이용하여 관측 및 탐지 영상정보를 실시간 전송할 때 하나의 영상 정보에 다른 추가적인 영상정보를 제공함으로써 사용자가 목적대상이나 영역을 실시간 관측 및 탐지하고자 할 때에 해당 정보에 대한 인식률을 높이고 다양한 시각을 제공하여 효율적인 관측 및 탐지가 이루어지게 하는 시스템과 그 방법에 대한 것이다.The present invention provides additional image information to one image information when transmitting observation and detection image information in real time using two cameras, an image processing system, and a movable visual display device, allowing the user to observe the target object or area in real time. It is about a system and method that increases the recognition rate of the relevant information and provides various perspectives to enable efficient observation and detection when detecting.
일반적으로 기업이나 국공립 기관, 공항, 소방 및 방재센터, 공공시설에 설치되어 관측 및 탐지용으로 운용되는 고감도 감시 카메라나 건물내부, 복도, 현관, 엘리베이터 내부 등에 설치되어 운용하는 소형 돔 형태의 카메라는 특정 장소에 설치되어 영상정보를 제공한다. 이러한 영상정보는 해당 영상입력장치의 성능에 따라 촬영된 영상정보를 유무선을 이용하여 모니터 장치나 영상저장장치로 송출한다. In general, high-sensitivity surveillance cameras are installed and operated in companies, national and public institutions, airports, fire and disaster prevention centers, and public facilities for observation and detection, and small dome-shaped cameras are installed and operated inside buildings, hallways, entrances, and elevators. It is installed in a specific location and provides video information. Such video information is transmitted to a monitor device or video storage device using wired or wireless means, depending on the performance of the video input device.
일반적인 관측 및 탐지용 카메라는 카메라렌즈가 향하고 있는 방향의 특정 각도 범위에서의 영상만을 제공한다. 필요에 따라서 카메라 렌즈부의 360도 방향회전을 통하여 다른 각도에서 관측된 영상정보를 제공한다. 또한 이러한 영상들은 모니터를 통해서 사용자에게 영상정보를 제공하기 때문에 사용자 또는 관찰자의 시각에 필요한 정보가 실시간으로 전달되기 어렵고, 특정부분에 대한 자세한 영상정보가 필요한 경우 여러 단계를 거치게 됨으로 실시간의 영상정보의 확인을 하는데 그 효과나 효율이 높지 않다. 이를 해결하기 위해서 여러 대의 카메라를 각각 다른 방향을 향하게 여러 대를 설치하지만 설치 및 운용 비용이 증가되고 한정된 시각정보를 보게 되는 사용자 입장에서는 현실감이 높지 않다. 또한 각기 다른 카메라에서 입력된 영상을 연결하여 여러 개의 화면에 길게 표현하는 이른바 파노라마 영상을 제공하기도 하지만, 감시자의 입장에서는 넓은 범위의 카메라 영상이 화면에 나타난다 하여도 시각의 범위에 한계가 있기 때문에 실시간 감시를 요구하는 환경에서는 일방적으로 제공되는 파노라마 영상의 효과가 낮게 된다. 이러한 문제를 해결하기 위하여 사용하는 CCTV 카메라의 다른 형태인 360도 관측용 어안 렌즈나 특수렌즈를 채용한 카메라는 1개의 렌즈로 다양한 방향을 관측할 수 있지만 영상이 왜곡되고 특정 영역에 대한 확대 축소가 용이하지 않고, 왜곡현상을 보정하기 위한 별도의 영상처리를 해야 하고, 그에 따른 감시 카메라의 탐지기능의 성능을 높이는데 기술적으로 한계를 가지고 있으며, 또한 완벽하게 왜곡된 영상을 회복하는데 부가적인 영상처리를 위한 모듈을 필요로 하게 된다.General observation and detection cameras provide images only in a specific angular range in the direction the camera lens is pointing. If necessary, the camera lens unit rotates 360 degrees to provide image information observed from different angles. In addition, because these images provide image information to the user through a monitor, it is difficult for the information necessary for the user or observer's perspective to be delivered in real time, and when detailed image information for a specific part is required, several steps are required to provide real-time image information. The effectiveness or efficiency of confirmation is not high. To solve this problem, multiple cameras are installed each facing in a different direction, but installation and operation costs increase and the sense of reality is not high for users who see limited visual information. In addition, so-called panoramic images are provided by connecting images input from different cameras and displaying them in length on multiple screens. However, from the observer's perspective, even if a wide range of camera images are displayed on the screen, there is a limit to the range of vision, so real-time In environments that require surveillance, the effectiveness of panoramic images provided unilaterally is low. Cameras using fisheye lenses or special lenses for 360-degree observation, which are other types of CCTV cameras used to solve this problem, can observe various directions with one lens, but the images are distorted and zoom in and out of specific areas is difficult. It is not easy, separate image processing is required to correct distortion, and there are technical limitations in improving the performance of the detection function of surveillance cameras, and additional image processing is required to recover perfectly distorted images. You will need a module for this.
본 발명은 상기한 문제에 대하여 실시간 관측 및 탐지기능을 높여 사용자에게 보다 효과적인 관측 및 탐지를 할 수 있도록 하는 방법과 시스템을 제공하므로 최소한의 시스템 구성으로 사각지대, 현장감을 높여주고, 기존 시스템 가지는 장점을 유지하면서 기존의 문제점들을 해결한다.The present invention provides a method and system that improves real-time observation and detection functions for the above-mentioned problems, allowing users to observe and detect more effectively, thereby reducing blind spots and increasing the sense of presence with a minimal system configuration, and has the advantages of existing systems. Solve existing problems while maintaining
본 발명은 기존 감시 카메라 시스템이 갖고 있는 특정각도에서 관측된 영상만 제공하는 것과 확대 축소가 곤란한 파노라마영상 또는 360도 영상 및 일반 모니터로 제공되어 관측효과가 떨어지는 문제점들을 해결하여 사용자의 시선과 일치되는 실시간 관측 및 탐지성능을 개선하는 시스템에 관한 것이다. 그러나, 이러한 과제는 예시적인 것으로, 이에 의해 본 발명의 범위가 한정되는 것은 아니다.The present invention solves the problems of existing surveillance camera systems that provide only images observed from a specific angle, panoramic images or 360-degree images that are difficult to zoom in and out, and a general monitor, which reduces the observation effect, thereby providing a video that matches the user's gaze. It is about a system that improves real-time observation and detection performance. However, these tasks are illustrative and do not limit the scope of the present invention.
상술한 본 발명의 목적은 적어도 하나를 달성하기 위하여 본 발명은 일 실시 예로써 제1카메라로 구성된 제1영상정보 입력부(100)와 제1카메라보다 넓은 시야각을 가지는 예를 들면, 360도 또는 시야각이 넓은 파노라마 영상입력이 가능한 제2카메라로 구성된 제2영상정보 입력부(200)가 구비되고 특정장소에 설치되는 적어도 하나의 회전운동부(300)에 배치되며, 제1영상정보 입력부(100)와 제2영상정보 입력부(200)에서 관측된 영상정보를 전달하기 위한 영상신호전달부(500), 수신된 상기 영상정보를 가공하기 위한 영상처리시스템(400)으로 구비된다. 상기 영상신호전달부(500)는 상기 제1,2영상정보 입력부(100,200)와 상기 영상처리시스템(400)를 연결하고 상기 신호전달부(500)를 통해 전달된 각각의 영상정보를 영상처리시스템(400)에서 하나의 영상정보로 변환하여 시각표시장치(600)로 제공한다. 상기 제1영상정보 입력부(100)의 방향에 대하여 사용자의 감시 또는 관찰하고자 하는 방향을 입력받는 장치를 더 구비하여 구성이 될 수 있다. 상기한 사용자의 방향과 연동된 영역을 포함한 상기 제2영상정보입력부(200)의 적어도 일부의 영상정보가 상기 시각표시장치(600)에 표시된다. 또한 제1카메라 또는 제2카메라가 사용자의 움직임 또는 원하는 방향에 대하여 입력받은 움직임 신호에 따라 연동하여 움직이도록 하는 구동부를 구비하여 적어도 하나의 카메라를 제어하여 상기 시각표시장치(600)에 사용자의 의도하는 방향의 영상을 표시하게 할 수 있다.In order to achieve at least one object of the present invention described above, the present invention, as an embodiment, includes a first image information input unit 100 consisting of a first camera and a viewing angle wider than the first camera, for example, 360 degrees or a viewing angle. A second image information input unit 200 consisting of a second camera capable of inputting a wide panoramic image is provided and is disposed on at least one rotational movement unit 300 installed at a specific location, and the first image information input unit 100 and the second camera are provided. 2It is provided with an image signal transmission unit 500 for transmitting image information observed in the image information input unit 200, and an image processing system 400 for processing the received image information. The image signal transmission unit 500 connects the first and second image information input units 100 and 200 with the image processing system 400 and transmits each image information transmitted through the signal transmission unit 500 to the image processing system. It is converted into one image information at 400 and provided to the visual display device 600. It may be configured to further include a device that receives input of the direction the user wishes to monitor or observe with respect to the direction of the first image information input unit 100. At least part of the image information of the second image information input unit 200, including the area linked to the user's direction, is displayed on the visual display device 600. In addition, it is provided with a driving unit that causes the first camera or the second camera to move in conjunction with the user's movement or a movement signal received in a desired direction, and controls at least one camera to display the user's intention to the visual display device 600. You can display an image in the desired direction.
상기한 과제해결의 일 실시예 이외의 다른 측면, 특징, 이점들은 이하의 발명을 실시하기 위한 구체적인 내용, 특허청구범위 및 도면으로부터 명확해질 것이다. Other aspects, features, and advantages other than the one embodiment of solving the problem described above will become clear from the detailed description, claims, and drawings for carrying out the invention below.
상기와 같이 구성되거나 방법을 적용하고 활용 및 응용을 하게 되면 종래의 특정위치에 설치되어 특정각도에서 관측되는 영상만을 제공하므로 인해 관측효과가 떨어지는 것을 방지하기 위해 여러 각도에서 관측할 수 있도록 다수의 카메라를 설치하여 설치비용과 운용 유지 비용을 증가시키는 문제와, 이를 대체하기 위해 추가적으로 설치되는 360도 방향으로 관측이 가능한 카메라가 가지고 있는 확대 및 축소 기능이 떨어지는 문제를 적어도 한대의 주 감시용 제1카메라와 상기 주 감시 카메라보다 넓은 시야각을 가지는 적어도 하나의 제2카메라를 구비하여 상기 주 감시카메라의 영상이 표시되는 시각표시 장치에 상기한 제2카메라의 영상을 감시자의 시선 또는 실시간 감시 또는 관찰영역의 영상과 중첩시켜 시각표시 장치에 디스플레이 하게 되면 실시간 관측 및 탐지 성능을 높일 수 있고 실시간 감시 또는 관찰자의 의도의 탐지나 관찰기능을 하나의 시각표시장치에서 구현됨으로 별도의 화면에 표시되지 않고 적어도 감시 또는 관찰자의 시선에 변화를 주지 않고 관찰이나 감시를 함으로 더욱 효과적으로 관측 및 탐지가 가능하도록 해준다. When the configuration or method is applied and utilized as described above, multiple cameras are installed to enable observation from various angles to prevent the observation effect from being reduced due to conventional installations at specific locations and providing only images observed from specific angles. At least one primary camera for main surveillance solves the problem of increasing installation and operation and maintenance costs by installing and at least one second camera having a wider viewing angle than the main surveillance camera, so that the image of the second camera is displayed on a visual display device that displays the image of the main surveillance camera through the watcher's line of sight or real-time monitoring or observation area. If you display it on a visual display device by overlapping it with an image, real-time observation and detection performance can be improved, and real-time monitoring or the detection or observation function of the observer's intention is implemented in a single visual display device, so it is not displayed on a separate screen and can at least be monitored or observed. It enables more effective observation and detection by observing or monitoring without changing the observer's line of sight.
또한 사용자와 카메라들이 장착된 시스템과의 거리가 이격되어 무선으로 연결이 된 상황에서 시스템의 진행방향이나 전방을 향해 배치된 카메라와 상기 카메라보다 시야각이 큰 다른 카메라로 구성되어 있어서 시스템의 전방과 주변부를 하나의 시각표시장치를 통해서 영역에 따라 중첩 또는 해당 방향의 영상을 실시간 관찰하게 함으로써 사용자와 시스템이 이격된 상황에서도 실시간 영상정보를 효과적으로 볼 수 있는 효과가 있다.In addition, in a situation where the distance between the user and the system equipped with the cameras is connected wirelessly, the system consists of a camera placed toward the moving direction or front of the system and another camera with a larger viewing angle than the camera, so that the front and periphery of the system By allowing real-time observation of images in the corresponding direction or overlapping depending on the area through a single visual display device, real-time image information can be viewed effectively even in situations where the user and the system are separated.
도 1은 본 발명의 실시 예에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템의 블록도
도 2는 본 발명의 실시 예에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템의 구성도
도 3은 본 발명에 실시 예에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템의 방법의 절차
도 4은 본 발명에 실시 예에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템의 방법의 절차
도 5은 본 발명에 실시 예에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템의 방법의 절차1 is a block diagram of a system for providing overlapping image information using a visual display device according to an embodiment of the present invention.
Figure 2 is a configuration diagram of a system for providing overlapping image information using a visual display device according to an embodiment of the present invention.
Figure 3 shows the procedure of the method of providing overlapping image information using a visual display device according to an embodiment of the present invention.
Figure 4 shows the procedure of the method of providing overlapping image information using a visual display device according to an embodiment of the present invention.
Figure 5 is a procedure for a method of providing overlapping image information using a visual display device according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Since the present invention can be modified in various ways and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 실시 예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. When describing with reference to the drawings, identical or corresponding components will be assigned the same reference numerals and redundant description thereof will be omitted. . The terms used in the following examples are only used to describe specific examples and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.
이하의 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the following embodiments, terms such as "include" or "have" are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but one or more It should be understood that this does not preclude the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.In the drawings, the sizes of components may be exaggerated or reduced for convenience of explanation. For example, the size and thickness of each component shown in the drawings are shown arbitrarily for convenience of explanation, so the present invention is not necessarily limited to what is shown.
이하의 실시 예에서, 본 발명의 사상을 보다 용이하게 이해 될 수 있다.From the following examples, the spirit of the present invention can be more easily understood.
본 발명에 따른 중첩영상신호 처리시스템은 제1 방향으로 영상정보를 얻을 수 있는 적어도 하나의 제1카메라와 제2 방향으로 영상정보를 얻을 수 있고 상기 제1카메라보다 시야각이 큰 적어도 하나의 제2카메라가 설치되는 하우징과 상기 제1 카메라에서 획득한 영상정보를 외부로 송신하는 제1송신부와 상기 제2 카메라에서 획득한 영상정보를 외부로 송신하는 제2송신부와 상기 송신부에서 전달된 상기 영상신호를 적어도 하나의 시각표시 영역에 선택적으로 표시하는 시각표시 장치를 구비하여 구성될 수 있다.The overlapping image signal processing system according to the present invention includes at least one first camera capable of obtaining image information in a first direction and at least one second camera capable of obtaining image information in a second direction and having a larger viewing angle than the first camera. A housing in which a camera is installed, a first transmitter that transmits the image information acquired from the first camera to the outside, a second transmitter that transmits the image information acquired by the second camera to the outside, and the image signal transmitted from the transmitter. It may be configured to include a visual display device that selectively displays in at least one visual display area.
또한 본 발명에 따른 중첩영상신호 처리 시스템은 제1 방향으로 영상정보를 얻을 수 있는 적어도 하나의 제1카메라와 제2 방향으로 영상정보를 얻을 수 있고 상기 제1카메라보다 시야각이 큰 적어도 하나의 제2카메라가 설치되는 하우징과 상기 제1 카메라에서 획득한 영상정보와 상기 제2 카메라에서 획득한 영상정보를 외부로 전달하기 위한 영상신호 전달부와 상기 영상신호 전달부에서 전달받은 상기 영상신호를 적어도 하나의 시각표시 영역에 표시가능하게 하나의 중첩영상신호를 생성하는 영상처리 시스템과 상기 영상처리 시스템의 중첩영상 신호를 표시하는 시각표시 장치를 구비하여 구성될 수 있다.In addition, the overlapping image signal processing system according to the present invention includes at least one first camera capable of obtaining image information in a first direction and at least one camera capable of obtaining image information in a second direction and having a larger viewing angle than the first camera. 2. A housing in which a camera is installed, a video signal transmitting unit for transmitting the video information obtained from the first camera and the video information obtained from the second camera to the outside, and at least the video signal received from the video signal transmitting unit. It may be comprised of an image processing system that generates one overlapping image signal so that it can be displayed in one visual display area, and a visual display device that displays the overlapping image signal of the image processing system.
본 발명에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템은 근거리 및 원거리 영상정보 입력이 되는 적어도 하나의 제1카메라로 구성된 제1영상입력부, 상기 제1카메라의 시야각보다 더 큰 영상정보의 범위나 더 넓은 시야각을 가지는 적어도 하나의 제2카메라로 구성된 제2영상입력부와 제1영상입력부와 제2영상 입력부가 설치되고, 적어도 제1영상입력부를 선회고저 운동할 수 있는 적어도 하나의 구동모터가 내장되고 특정 장소 및 공간에 배치되는 회전운동부와 회전운동부와 제1영상정보입력부에 연결되어 회전운동부와 제1영상정보입력부의 동작을 제어하는 동작제어부와, 제1영상정보입력부와 제2영상입력부와 연결되어 상기 제1,2영상입력부에서 나오는 영상신호를 송신하는 신호전달부와, 특정공간에 설치되어 신호전달부에서 송신된 2개의 영상신호를 하나의 영상으로 합치는 영상처리시스템과 하나로 합쳐진 영상을 사용자에게 시각적으로 제공하는 시각표시장치를 포함하는 것을 특징으로 한다. The overlapping image information providing system using a visual display device according to the present invention includes a first image input unit consisting of at least one first camera that inputs near and far image information, a range of image information larger than the viewing angle of the first camera, or A second image input unit consisting of at least one second camera with a wider viewing angle, a first image input unit, and a second image input unit are installed, and at least one drive motor capable of turning and moving the first image input unit is built in. and a rotational movement unit disposed in a specific place and space, a motion control unit connected to the rotational movement unit and the first image information input unit and controlling the operation of the rotational movement unit and the first image information input unit, a first image information input unit, and a second image information input unit. A signal transmission unit that is connected and transmits video signals from the first and second video input units, an image processing system installed in a specific space and combining the two video signals transmitted from the signal transmission unit into one image, and an image combined into one. It is characterized by including a visual display device that visually provides to the user.
상기 시각표시장치는 본 발명의 하나의 실시 예에서는 HMD (Head Mounted Display) 방식의 시각표시장치를 사용하는 것을 특징으로 한다. 상기 예시 이외의 본 발명의 사상에 응용될 수 있는 다양한 가상현실기반의 시각장치들이 적용될 수 있다. 또한 상기 제2카메라는 360도 방향으로 동시에 영상정보의 입력이 가능한 카메라일 수 있다.In one embodiment of the present invention, the visual display device is characterized by using an HMD (Head Mounted Display) type visual display device. Various virtual reality-based visual devices that can be applied to the spirit of the present invention other than the above examples can be applied. Additionally, the second camera may be a camera capable of simultaneously inputting image information in 360 degrees.
본 발명의 일 실시 예에 따른 시각표시장치를 이용한 중첩영상정보제공 시스템은 하나의 제1카메라로 구성된 제1영상 입력부, 상기 제1영상 입력부의 상기 제1카메라보다 넓은 시야각을 가지는 적어도 하나의 제2카메라로 구성된 제2영상 입력부, 유선 또는 무선 방식의 하나의 영상신호전달부, 영상입력부를 고정하는 마운트와 하나이상의 고정모터를 회전운동부, 회전운동부와 영상입력부의 동작을 제어하는 조종장치를 포함하는 동작제어부, 관측 및 탐지된 영상을 수신하여 하나의 중첩 영상으로 처리하는 영상처리시스템, 적어도 하나의 시각표시장치로 구성될 수 있다.A system for providing overlapping image information using a visual display device according to an embodiment of the present invention includes a first image input unit consisting of one first camera, and at least one video input unit having a wider viewing angle than the first camera of the first image input unit. It includes a second video input unit consisting of two cameras, a video signal transmission unit of a wired or wireless type, a mount that fixes the video input unit, a rotary motion unit with one or more fixed motors, and a control device that controls the operation of the rotary motion unit and the video input unit. It may be composed of an operation control unit that receives the observed and detected images and processes them into one overlapping image, and at least one visual display device.
또한 상기 제2카메라는 영상정보에 사용자의 상대적 위치와 방향에 대하여 대응되는 방향성을 판단할 수 있도록 적어도 하나 이상의 상기 제2카메라를 중심으로 입력될 수 있는 소리에 대하여 입력신호를 발생시키는 입력부를 가지고, 해당 입력부에 의한 소리정보를 포함할 수 있으며, 사용자의 감시 또는 관찰의 방향에 따라 연동되어 음성정보가 출력되는 스피커 시스템을 더 구비할 수 있다. In addition, the second camera has an input unit that generates an input signal for sound that can be input centered on at least one second camera to determine the directionality corresponding to the user's relative position and direction in the image information. , It may include sound information from the corresponding input unit, and may further include a speaker system that outputs sound information in conjunction with the direction of the user's monitoring or observation.
또한 상기한 스피커 시스템과 상기한 시각표시장치는 일체화된 하나의 장비에 구현이 될 수 있다. 상기한 일체화된 장비는 헬멧형태일 수 있다.Additionally, the speaker system and the visual display device can be implemented in one integrated equipment. The integrated equipment described above may be in the form of a helmet.
또한 본 발명은 적어도 둘 이상의 방향에 대한 영상정보를 획득하여 중첩영상신호를 처리하는 방법을 제공하는바, 제1 방향으로 영상정보를 획득하는 단계와 상기 제1방향과 다른 제2 방향으로 영상정보를 획득하는 단계와 획득된 상기 영상정보들을 송신하는 단계와 상기 송신된 영상정보를 수신하여 선택적으로 표시할 영상정보를 설정하는 단계와 설정된 영상정보를 적어도 하나의 영역에 표시하는 단계로 이루어지는 중첩영상신호 처리 방법을 제공한다. 또한 상기 송신된 영상정보를 수신하여 선택적으로 표시할 영상정보를 설정하는 단계는 상기 제2방향의 영상정보에서 표시할 영상정보를 선택하는 것과 상기 선택된 제2방향의 영상정보와 제1방향의 영상정보와의 유사정도를 비교하는 단계를 더 구비하여 구현될 수 있다.In addition, the present invention provides a method of processing an overlapping video signal by acquiring image information in at least two directions, comprising the steps of acquiring image information in a first direction and image information in a second direction different from the first direction. An overlapping image comprising the steps of acquiring, transmitting the obtained image information, receiving the transmitted image information and setting image information to be selectively displayed, and displaying the set image information in at least one area. Provides a signal processing method. In addition, the step of receiving the transmitted video information and setting video information to be selectively displayed includes selecting video information to be displayed from the video information in the second direction and selecting video information to be displayed in the selected second direction and video information in the first direction. It can be implemented by further comprising a step of comparing the degree of similarity with information.
실시예Example
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings.
실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.In describing the embodiments, description of technical content that is well known in the technical field to which the present invention belongs and that is not directly related to the present invention will be omitted. This is to convey the gist of the present invention more clearly without obscuring it by omitting unnecessary explanation.
도1는 본 발명의 실시 예에 따른 시각표시장치를 이용한 중첩영상정보 제공시스템을 설명하기 위한 블록도 이다.Figure 1 is a block diagram for explaining a system for providing overlapping image information using a visual display device according to an embodiment of the present invention.
먼저 도 1을 참조하면, 본 실시예의 시각표시장치를 이용한 중첩영상정보 제공시스템은 1개의 PTZ기능을 가진 CCTV 카메라로 구성된 제1영상정보 입력부(100), 360도 관측기능이 내장된 하나의 카메라로 구성된 제2영상정보 입력부(200), 특정장소에 설치되어 고정되는 회전운동부(300)에 각각 배치되며, 제1영상정보입력부(100)와 제2영상정보입력부(200)에서 관측된 영상정보를 전달하기 위해 영상신호전달부(500), 수신된 영상정보를 가공하기 위한 영상처리시스템(400)으로 구비된다. 신호전달부(500)는 제1,2영상정보 입력부(100, 200)와 영상처리시스템(400)를 연결하고 신호전달부(500)를 통해 전달된 각각의 영상정보를 영상처리시스템(400)에서 하나의 영상정보로 합쳐 시각표시장치(600)로 제공한다. First, referring to FIG. 1, the overlapping video information providing system using the visual display device of this embodiment includes a first video information input unit 100 consisting of a CCTV camera with a PTZ function, and a camera with a built-in 360-degree observation function. The second image information input unit 200, which consists of a second image information input unit 200, is respectively disposed on a rotational movement unit 300 installed and fixed at a specific location, and the image information observed in the first image information input unit 100 and the second image information input unit 200 It is equipped with an image signal transmission unit 500 to transmit and an image processing system 400 to process the received image information. The signal transmission unit 500 connects the first and second image information input units 100 and 200 and the image processing system 400, and transmits each image information transmitted through the signal transmission unit 500 to the image processing system 400. The video information is combined into one image information and provided to the visual display device 600.
이하 본 발명에 따른 시각표시장치를 이용한 중첩영상정보제공시스템에 대한 상세 동작을 도2를 통해 구체적으로 설명한다.Hereinafter, the detailed operation of the overlapping image information providing system using a visual display device according to the present invention will be described in detail with reference to FIG. 2.
먼저 도2를 참조하면, 본 실시예의 시각표시장치(600)를 이용한 중첩영상정보 제공시스템은 특정위치에 설치되어 고정되는 회전운동부(300)에 하나의 제1영상정보 입력부(100)와 제2영상정보 입력부(200)가 설치된다. 제1영상정보 입력부(100)는 특정방향을 향하고 있으며 특정지역 또는 공간을 관측 및 탐지하여 관측 및 탐지된 영상신호(S110)를 영상신호전달부(500)로 보낸다. 제2영상정보 입력부(200)는 제2영상정보 입력부(200)를 중심으로 보여지는 360도 방향의 공간정보에 대한 영상신호(S210)를 영상신호전달부(500)로 보낸다. 영상신호전달부(500)는 제1,2영상정보 입력부(100,200)에서 보내온 영상신호 (S110, S210)를 영상처리시스템(400)의 영상수신부(410)로 송신한다. First, referring to Figure 2, the overlapping image information providing system using the visual display device 600 of this embodiment includes one first image information input unit 100 and a second rotational movement unit 300 installed and fixed at a specific location. An image information input unit 200 is installed. The first image information input unit 100 is facing a specific direction, observes and detects a specific area or space, and transmits the observed and detected image signal (S110) to the image signal transmission unit 500. The second image information input unit 200 transmits an image signal (S210) for spatial information in a 360-degree direction viewed around the second image information input unit 200 to the image signal transmission unit 500. The video signal transmitting unit 500 transmits the video signals (S110, S210) sent from the first and second video information input units 100 and 200 to the video receiving unit 410 of the video processing system 400.
영상처리시스템의 영상수신부(410)는 수신된 2개의 영상신호(S110, S210)를 영상처리부(420)로 보내며, 2개의 영상신호(S110, S210)를 수신한 영상처리부(420)는 중첩영상신호(S410)를 생성한다. 영상처리부(420)에서 중첩영상신호(S410)를 생성하면 영상송신부(430)는 시각표시장치(600)로 중첩영상신호(S410)로 송신한다. 시각표시장치는(600)는 중첩영상신호(S410)를 영상정보로 변환하여 사용자에게 360도 관측영상과 특정지역 또는 공간의 관측영상을 동시에 제공한다.The image receiving unit 410 of the image processing system sends the two received image signals (S110, S210) to the image processing unit 420, and the image processing unit 420, which received the two image signals (S110, S210), receives the overlapping image. Generates a signal (S410). When the image processing unit 420 generates an overlapping image signal (S410), the image transmitting unit 430 transmits it to the visual display device 600 as an overlapping image signal (S410). The visual display device 600 converts the overlapping image signal S410 into image information and simultaneously provides a 360-degree observation image and an observation image of a specific area or space to the user.
동작제어부(700)는 적어도 상기 제1영상입력부의 카메라의 시야각에 대하여 상하좌우 구동을 제어할 수 있는 구동부와 조종장치를 구비하고 있으며 제1영상정보 입력부의 카메라 초점거리를 변화시킬 수 있는 제어기능을 포함할 수 있다. 동작제어부(700)를 조작하여 회전운동부(300)을 선회구동할 수 있으며, 제1영상정보 입력부를 고저 구동시킨다. 이때 제2영상정보 입력부(200)는 고정되어 어떠한 방향으로도 움직이지 않는다. 필요시 고정 설치된 면을 기준으로 수직방향으로 이동됨으로 입력영상의 영역을 변화시킬 수 있다. 본 실시예에서는 고정된 것으로 예시로 한다. 상기한 동작제어부는 추가적으로 동장제어 신호를 발생시키는 신호발생부를 더 구비할 수 있으며, 상기 신호발생부는 상기한 회전운동부(300) 또는 달리 표현될 수 있는 하우징과 실질적으로 이격되어 설치 될 수 있다. 상기한 신호발생부의 신호에 의하여 상기 동작제어부에서 상기한 구동부에 동작신호를 전달하여 제1 카메라의 방향을 변화시킬 수 있다.The motion control unit 700 includes a driving unit and a control device capable of controlling up, down, left and right movement with respect to at least the viewing angle of the camera of the first image input unit, and a control function capable of changing the camera focal length of the first image information input unit. may include. By manipulating the motion control unit 700, the rotational movement unit 300 can be driven to rotate, and the first image information input unit is driven up and down. At this time, the second image information input unit 200 is fixed and does not move in any direction. If necessary, the area of the input image can be changed by moving it vertically based on the fixed installation surface. In this embodiment, it is assumed to be fixed. The operation control unit may further include a signal generator that generates a motion control signal, and the signal generator may be installed to be substantially spaced apart from the rotation unit 300 or a housing that may be expressed differently. The direction of the first camera can be changed by transmitting an operation signal from the operation control unit to the driving unit according to the signal from the signal generator.
제1영상정보 입력부(100)는 회전운동부(300)의 선회구동 및 제1영상정보 입력부(100)의 고저구동에 따른 변경된 관측 및 탐지 영상정보를 영상신호(S110)로 변환하여 동일한 방식으로 영상처리부(420)로 전달되면 영상처리부(420)는 변경된 영상신호(S110)를 실시간으로 처리하여 중첩영상신호(S410)로 생성하여 사용자가 위치 또는 방향 변환에 따른 영상정보를 실시간으로 제공받도록 한다. The first image information input unit 100 converts the changed observation and detection image information according to the turning drive of the rotary movement unit 300 and the elevation drive of the first image information input unit 100 into an image signal (S110) and displays the image in the same manner. When delivered to the processing unit 420, the image processing unit 420 processes the changed image signal (S110) in real time to generate an overlapping image signal (S410) so that the user receives image information according to the location or direction change in real time.
또한 상기 제2영상입력부는 영상정보에 상기 카메라를 중심으로 방향성을 판단할 수 있는 다수개의 음성신호 입력부를 가지고, 상기 음성신호 입력부들에 의한 음성정보를 포함할 수 있으며, 사용자에게 상기한 음성정보가 출력되는 스피커 시스템을 더 구비할 수 있다. In addition, the second video input unit has a plurality of audio signal input units that can determine the direction of the video information with the camera as the center, and may include audio information by the audio signal input units, and provides the audio information to the user. A speaker system that outputs may be further provided.
또한 상기한 스피커 시스템과 상기한 시각표시장치는 소리발생장치를 가지는 헤드셋과 시각표시장치로 구성이 될 수 있다. 상기 소리발생장치와 시각표시장치는 일체화된 하나의 장비에 구현이 될 수 있다. 예컨대 상기 시각표시장치는 가상현실과 증강현실장치 일 수 있다. 또한 상기한 일체화된 장비는 헬멧형태일 수 있다.Additionally, the speaker system and the visual display device may be composed of a headset with a sound generating device and a visual display device. The sound generator and visual display device can be implemented in one integrated equipment. For example, the visual display device may be a virtual reality or augmented reality device. Additionally, the integrated equipment described above may be in the form of a helmet.
도 3은 본 실시예의 시각표시장치를 이용한 중첩영상정보 제공시스템에서 제공하는 중첩영상에 대한 개략도이다. 중첩영상신호 표시영역(S420)에 제2영상정보 입력부의 영상신호(S210)를 배경영상으로 하고 제1영상정보 입력부의 영상신호(S110)를 배경영상인 영상신호(S210) 앞에 사각형 모양으로 투영하여 두 개의 영상신호(S110, S210)를 동시에 보여주는 개략도이다. 상기 중첩영상신호 표시영역(S420)에 표시되는 영상은 상기 영상처리시스템(400)에서 생성된 중첩영상신호(S410)가 표시가 될 수 있고, 이 때 중첩영상신호(S410)는 배경영상과 특정지역이나 공간, 피사체를 보여주는 영상을 포함하고 있다. 사각형 모양의 제1영상정보 입력부의 영상신호(S110)는 크기를 조절할 수 있다. 또한 각각의 상대적인 영상의 밝기를 달리 설정하거나 부가적인 신호를 표시할 수 있다.Figure 3 is a schematic diagram of an overlapping image provided by the overlapping image information providing system using the visual display device of this embodiment. The video signal (S210) of the second video information input unit is used as a background image in the overlapping video signal display area (S420), and the video signal (S110) of the first video information input unit is projected in a square shape in front of the video signal (S210) that is the background image. This is a schematic diagram showing two video signals (S110, S210) simultaneously. The image displayed in the overlapping image signal display area (S420) may be an overlapping image signal (S410) generated by the image processing system 400, and at this time, the overlapping image signal (S410) is a background image and a specific image signal (S410). It contains images showing an area, space, or subject. The size of the image signal (S110) of the square-shaped first image information input unit can be adjusted. Additionally, the relative brightness of each image can be set differently or additional signals can be displayed.
도4는 제2실시예로써 입력되는 서로 다른 영상정보가 시각표시장치(600)로 전달되는 과정이 무선에 의하여 전달 되는 것을 나타내는 개략도이다. 영상이 입력되는 위치가 탐지 또는 감시하려는 위치와의 거리가 멀거나, 상대적인 거리와 위치가 변화되는 외부환경이나 사용환경인 경우에는 무선에 의한 영상신호의 전달 방식으로 구현되는 것이 바람직하다. 하나의 예로써 구난이나 소방용 감시장치가 위험지역이나 화재가 난 건물내부 등 사용자의 시각범위에서 벗어나는 경우에는 무선에 의하여 실시간 영상정보가 전달되는 것이 바람직하다.Figure 4 is a schematic diagram showing the process by which different image information input as a second embodiment is transmitted to the visual display device 600 wirelessly. In cases where the location where the image is input is far from the location to be detected or monitored, or in an external or use environment where the relative distance and location change, it is preferable to implement a wireless video signal transmission method. As an example, when a rescue or fire-fighting monitoring device is out of the user's visual range, such as in a dangerous area or inside a building on fire, it is desirable to transmit real-time video information wirelessly.
도5는 제3실시예로써 입력되는 서로 다른 영상정보가 시각표시장치(600)로 전달되는 과정이 무선에 의하여 전달 되는 것을 나타내는 제2실시예에서 영상처리시스템(400)을 거치지 않고 각각 영상입력부(100,200)에서 만들어진 영상이 시각표시장치(600)인 가상현실장치으로 전달이 되어 시각표시장치(600)에서 각각의 영상정보가 표시될 수 있는 시스템의 개략도이다. 즉, 상기 생성된 각각의 영상정보가 사전에 중첩영상신호를 생성하지 않고, 표시장치에 표시될 수 있다. Figure 5 is a third embodiment showing that the process of transmitting different image information input to the visual display device 600 is transmitted wirelessly. In the second embodiment, each image input unit is transmitted without going through the image processing system 400. This is a schematic diagram of a system in which the images created at (100, 200) are transmitted to the virtual reality device, which is the visual display device 600, and each image information can be displayed on the visual display device 600. That is, each of the generated image information can be displayed on the display device without generating an overlapping image signal in advance.
또한 도1 내지 도5에 있어서, 상기 중첩영상신호 표시영역(S420)에 표시되는 영상은 상기 제1영상정보 입력부에서 생성된 영상신호(S110)와 제2영상정보입력부에서 생성된 영상신호(S210)가 중첩영상신호 표시부(S420)에 선택적으로 표시가 될 수 있다. 상기 제1영상정보와 제2영상정보는 사용자의 시각과 지향하는 방향에 따라서 선택적으로 하나의 영상표시 장치 또는 동일한 방향의 소정의 영역에 표시 될 수 있다. 즉, 상기 선택적으로 시각표시 장치에 표시되는 제1영상신호와 제2영상신호는 상기 제1카메라의 제1방향과 대응하는 사용자의 시선 방향 변화를 인식하는 사용자 동작인식부를 더 구비하고 상기 동작인식부의 신호에 의하여 선택적으로 상기 시각표시 영역에 표시될 수 있다. 예시적으로 사용자가 전방을 향하여 보고 있는 경우에는 제1영상의 제1카메라 방향과 제2카메라의 방향이 일치되거나 유사한 방향인 경우에는 제2카메라의 넓은 시야각의 영상정보를 선택적으로 표시하지 않고, 제1카메라에 의한 영상만을 사용자가 볼 수 있도록 시각표시 영역에 디스플레이가 되도록 설정할 수 있다. 사용자의 시선이 제1 카메라의 제1방향과 다르거나 영역을 벗어나는 경우에는 상기 시각표시 영역에 제2카메라의 영상정보 중에서 사용자의 시각에 연동하여 상기 시각표시 영역에 해당 영상정보를 디스플레이 하게 할 수 있다. 상기한 동작인식부는 외부의 카메라에 의하여 사용자의 전방과 비교하여 상대적으로 얼굴이 회전한 각도를 인식하여 제1 방향에 대하여 변화된 사용자의 시선을 측정할 수 있다. 또한 사용자의 머리나 귀 등에 안경, 헤드셋 등의 형태로 신체에 착용한 장치에서 상기 제1방향과의 상대적인 변화된 값을 측정하여 사용자의 상대적인 시선의 방향을 측정할 수 있다. 또한 가상현실장치와 같은 경우에는 내부에 탑재되거나 부가장치에 설치된 센서에 의하여 3차원의 사용자의 움직임을 측정하여 시선의 방향을 인식할 수 있다. 1 to 5, the image displayed in the overlapping image signal display area (S420) is an image signal (S110) generated in the first image information input unit and an image signal (S210) generated in the second image information input unit. ) can be selectively displayed on the overlapping video signal display unit (S420). The first image information and the second image information can be selectively displayed on one image display device or in a predetermined area in the same direction depending on the user's perspective and direction. That is, the first image signal and the second image signal selectively displayed on the visual display device further include a user motion recognition unit that recognizes a change in the user's gaze direction corresponding to the first direction of the first camera, and the motion recognition unit A negative signal may be selectively displayed in the visual display area. For example, when the user is looking forward and the direction of the first camera of the first image matches or is similar to the direction of the second camera, image information with a wide viewing angle of the second camera is not selectively displayed, It can be set to be displayed in the visual display area so that only the image from the first camera can be viewed by the user. If the user's gaze is different from the first direction of the first camera or goes out of the area, the corresponding video information can be displayed in the time display area in conjunction with the user's time among the video information of the second camera in the time display area. there is. The motion recognition unit can measure the user's gaze changed in the first direction by recognizing the angle at which the face is rotated relative to the front of the user using an external camera. Additionally, the direction of the user's relative gaze can be measured by measuring the change value relative to the first direction using a device worn on the user's body in the form of glasses, a headset, etc., on the user's head or ears. Additionally, in the case of a virtual reality device, the direction of gaze can be recognized by measuring the user's movement in three dimensions using a sensor mounted inside or installed in an additional device.
상기 도4내지 도5의 경우는 예컨데 드론과 같은 무인소형 비행체에서 구현이 될 수 있는바, 비행체의 진행 또는 전방을 향한 제1카메라와 광시야각을 가지거나 360도 영상정보 획득이 가능한 적어도 하나의 제2 카메라가 설치된 비행체를 지상 또는 제3의 장소에서 상기 비행체에 있는 다수의 카메라의 영상에 대하여 하나의 시각표시 장치에서 방향에 따라서 중첩영상 또는 해당영역의 영상을 관찰하게 함으로써 비행체를 이용한 감시 또는 관찰 등의 작업에서 보다 실효성을 가지면서 작업을 할 수 있게 할 수 있다. 또한 무인차량이나 원격조종 차량에 있어서 차량의 진행방향의 카메라와 광시야각, 파노라마, 360도 카메라와 같은 제2 카메라의 영상을 활용하여 사용자의 시선의 방향과 진행방향의 제1카메라의 영상을 선택적으로 중첩하여 영상을 제공함으로 현실감과 실시간 상황을 인식하기에 용이하게 된다. 또한 본 발명은 원격조정을 통한 로봇조작이나 작업자와 이격되어 있는 특수 작업이나 특수목적 장비의 원격조종을 통한 작업을 수행하는 과정에서 실시간으로 보다 현실적인 환경을 제공할 수 있게 된다. The case of FIGS. 4 to 5 can be implemented, for example, in an unmanned small aircraft such as a drone, and has a first camera facing forward or forward of the aircraft and at least one camera that has a wide viewing angle or is capable of acquiring 360-degree image information. Surveillance or It can allow you to work more effectively in tasks such as observation. In addition, in an unmanned vehicle or remote control vehicle, the image of the first camera in the direction of the user's gaze and direction of travel is selectively used by using the camera in the vehicle's direction of travel and the image of a second camera such as a wide viewing angle, panoramic, or 360-degree camera. By providing overlapping images, it becomes easier to perceive real-time situations and real-time situations. In addition, the present invention can provide a more realistic environment in real time in the process of operating a robot through remote control, special work distant from the operator, or work through remote control of special purpose equipment.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the attached patent claims.
100: 제1영상정보 입력부
200: 제2영상정보 입력부
300: 회전운동부
400: 영상처리시스템
500: 신호전달부
600: 시각표시장치
700: 동작제어부
800: 동작인식부
S110: 제1영상신호
S210: 제2영상신호
S410: 중첩영상신호
S420: 중첩영상 표시영역100: First image information input unit
200: Second image information input unit
300: Rotational movement unit
400: Image processing system
500: Signal transmission unit
600: Visual display device
700: Operation control unit
800: Motion recognition unit
S110: 1st video signal
S210: Second video signal
S410: Overlapping video signal
S420: Overlapping video display area
Claims (14)
제2 방향으로 영상정보를 얻을 수 있고 상기 제1카메라보다 시야각이 큰 적어도 하나의 제2카메라가 설치되는 하우징과
상기 제1 카메라에서 획득한 영상정보를 외부로 송신하는 제1송신부와
상기 제2 카메라에서 획득한 영상정보를 외부로 송신하는 제2송신부와
상기 제1, 2 송신부에서 전달된 상기 영상 정보 를 적어도 하나의 시각표시 영역에 선택적으로 표시하 되 상기 제2방향의 영상정보 표시 영역 내에 상기 제1방향의 영상정보를 표시하 는 시각표시 장치를 구비하는 것을 특징으로 하는 중첩영상신호 처리 시스템
At least one first camera capable of obtaining image information in a first direction and a motion driver for changing the first direction;
A housing in which at least one second camera capable of obtaining image information in a second direction and having a larger viewing angle than the first camera is installed;
A first transmitter that transmits the image information obtained from the first camera to the outside, and
a second transmitter that transmits the image information obtained from the second camera to the outside;
A visual display device that selectively displays the image information transmitted from the first and second transmitters in at least one visual display area and displays the image information in the first direction within the image information display area in the second direction. Overlapping video signal processing system characterized by comprising:
상기 시스템은 적어도 하나의 무선신호 송신부를 더 구비하고 상기 제1송신부와 상기 제2송신부를 상기 시각표시 장치로 전달되는 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 1
The system further includes at least one wireless signal transmitter, and the first transmitter and the second transmitter are transmitted to the visual display device.
상기 선택적으로 시각표시 장치에 표시되는 제1영상신호와 제2영상신호는 상기 제1카메라의 제1방향과 대응하는 사용자의 시선 방향 변화를 인식하는 사용자 동작인식부를 더 구비하고 상기 동작인식부의 신호에 의하여 선택적으로 상기 시각표시 영역에 표시되는 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 1
The first image signal and the second image signal selectively displayed on the visual display device further include a user motion recognition unit that recognizes a change in the user's gaze direction corresponding to the first direction of the first camera, and the signal of the motion recognition unit An overlapping image signal processing system characterized in that it is selectively displayed in the visual display area by
상기 시각표시 영역은 가상현실장치에서 표시되어지는 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 1
An overlapping image signal processing system, characterized in that the visual display area is displayed in a virtual reality device.
상기 하우징은 원격조종 차량, 무인차량, 무인항공기, 원격조종 작업용 로봇 중의 어느 하나에 설치되어진 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 1
The housing is an overlapping image signal processing system, characterized in that it is installed in any one of a remote control vehicle, an unmanned vehicle, an unmanned aerial vehicle, and a remote control work robot.
제2 방향으로 영상정보를 얻을 수 있고 상기 제1카메라보다 시야각이 큰 적어도 하나의 제2카메라가 설치되는 하우징과
상기 제1 카메라에서 획득한 영상정보와 상기 제2 카메라에서 획득한 영상정보를 외부로 전달하기 위한 영상신호 전달부와
상기 영상신호 전달부에서 전달받은 상기 영상신호를 적어도 하나의 시각표시 영역에 표시가능하 되 상기 제2방향의 영상정보 표시 영역 내에 상기 제1방향의 영상정보를 표시하 게 하나의 중첩영상신호를 생성하는 영상처리 시스템과
상기 영상처리 시스템의 중첩영상 신호를 표시하는 시각표시 장치를 구비하는 것을 특징으로 하는 중첩영상신호 처리 시스템
At least one first camera capable of obtaining image information in a first direction and a motion driver for changing the first direction;
A housing in which at least one second camera capable of obtaining image information in a second direction and having a larger viewing angle than the first camera is installed;
An image signal transmission unit for transmitting the image information obtained from the first camera and the image information obtained from the second camera to the outside;
The video signal received from the video signal transfer unit can be displayed in at least one visual display area , and one overlapping video signal is provided to display video information in the first direction in the video information display area in the second direction. An image processing system that generates
An overlapping image signal processing system comprising a visual display device for displaying overlapping image signals of the image processing system.
상기 시각표시 장치에 표시되는 제1영상신호와 제2영상신호는 상기 제1카메라의 제1방향과 대응하는 사용자의 시선 방향 변화를 인식하는 사용자 동작인식부를 더 구비하고 상기 동작인식부의 신호에 의하여 선택적으로 상기 시각표시 영역에 표시되는 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 7
The first image signal and the second image signal displayed on the visual display device further include a user motion recognition unit that recognizes a change in the user's gaze direction corresponding to the first direction of the first camera, and are generated by a signal from the motion recognition unit. Overlapping video signal processing system, characterized in that it is selectively displayed in the visual display area.
상기 영상신호 전달부는 무선에 의하여 상기한 영상신호들을 상기 영상처리 시스템으로 전달하는 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 7
The video signal transmission unit transmits the video signals to the video processing system wirelessly.
상기 시각표시 장치는 가상현실장치인 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 7
An overlapping image signal processing system, wherein the visual display device is a virtual reality device.
상기 하우징은 원격조종 차량, 무인차량, 무인항공기, 원격조종 작업용 로봇 중의 어느 하나에 설치되어진 것을 특징으로 하는 중첩영상신호 처리 시스템
In paragraph 7
The housing is an overlapping image signal processing system, characterized in that it is installed in any one of a remote control vehicle, an unmanned vehicle, an unmanned aerial vehicle, and a remote control work robot.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160138056A KR102625345B1 (en) | 2016-10-23 | 2016-10-23 | Overlapping image information providing system and method implemented using a portable visual display device. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160138056A KR102625345B1 (en) | 2016-10-23 | 2016-10-23 | Overlapping image information providing system and method implemented using a portable visual display device. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180044500A KR20180044500A (en) | 2018-05-03 |
| KR102625345B1 true KR102625345B1 (en) | 2024-01-12 |
Family
ID=62245069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160138056A KR102625345B1 (en) | 2016-10-23 | 2016-10-23 | Overlapping image information providing system and method implemented using a portable visual display device. |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102625345B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000333161A (en) | 1999-05-21 | 2000-11-30 | Hitachi Denshi Ltd | Monitoring cctv system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3364419B2 (en) * | 1997-10-29 | 2003-01-08 | 新キャタピラー三菱株式会社 | Remote radio control system, remote control device, mobile relay station and wireless mobile work machine |
-
2016
- 2016-10-23 KR KR1020160138056A patent/KR102625345B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000333161A (en) | 1999-05-21 | 2000-11-30 | Hitachi Denshi Ltd | Monitoring cctv system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180044500A (en) | 2018-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3029552B1 (en) | Virtual reality system and method for controlling operation modes of virtual reality system | |
| US11778265B2 (en) | Live video distribution system | |
| US9762864B2 (en) | System and method for monitoring at least one observation area | |
| US20090195652A1 (en) | Interactive Virtual Window Vision System For Mobile Platforms | |
| KR100716306B1 (en) | System to monitoring forest fire | |
| KR101363066B1 (en) | Monitoring system for crime-ridden district using unmanned flight vehicle | |
| WO2007133209A1 (en) | Advanced augmented reality system and method for firefighter and first responder training | |
| EP3152900B1 (en) | System and method for remote monitoring at least one observation area | |
| KR102335994B1 (en) | Integrated control apparatus of surveillance devices for drone surveillance | |
| JP2012239068A (en) | Monitoring system and monitoring method | |
| JP6540572B2 (en) | Display device and display control method | |
| KR101297294B1 (en) | Map gui system for camera control | |
| KR20170044451A (en) | System and Method for Controlling Remote Camera using Head mount display | |
| US11164390B2 (en) | Method and apparatus for displaying virtual reality image | |
| JP7024997B2 (en) | Aircraft Maneuvering System and How to Maneuver an Aircraft Using an Aircraft Maneuvering System | |
| KR102625345B1 (en) | Overlapping image information providing system and method implemented using a portable visual display device. | |
| KR101910767B1 (en) | Vehicle with security of sight system | |
| JP2004291186A (en) | Robot control method, robot control system, and suitable robot and controller used for them | |
| KR102480986B1 (en) | Multi-User Operation System and the method using Mixed Reality Device | |
| KR101738514B1 (en) | Monitoring system employing fish-eye thermal imaging camera and monitoring method using the same | |
| CN210075404U (en) | Panoramic camera system | |
| KR101927026B1 (en) | Security of sight system using camera for vehicle | |
| KR20170068956A (en) | Apparatus for Providing Image and Method Thereof | |
| KR101896239B1 (en) | System for controlling drone using motion capture | |
| JP7461766B2 (en) | Monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |