KR102250873B1 - System and method for transmitting external image in security environment - Google Patents

System and method for transmitting external image in security environment Download PDF

Info

Publication number
KR102250873B1
KR102250873B1 KR1020190156310A KR20190156310A KR102250873B1 KR 102250873 B1 KR102250873 B1 KR 102250873B1 KR 1020190156310 A KR1020190156310 A KR 1020190156310A KR 20190156310 A KR20190156310 A KR 20190156310A KR 102250873 B1 KR102250873 B1 KR 102250873B1
Authority
KR
South Korea
Prior art keywords
image
information
partial
external
images
Prior art date
Application number
KR1020190156310A
Other languages
Korean (ko)
Inventor
박종빈
정종진
박성주
김경원
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190156310A priority Critical patent/KR102250873B1/en
Priority to PCT/KR2019/017085 priority patent/WO2021107243A1/en
Application granted granted Critical
Publication of KR102250873B1 publication Critical patent/KR102250873B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Abstract

The present invention relates to a system and method for transmitting external image information in a secure environment. A system for transmitting external image information in a secure environment according to the present invention includes an image information collection part for acquiring external image information, and an information transmission area determination and partial image collection part for extracting a partial image to be transmitted from the external image information. It is possible to minimize the security problem regarding image information acquired from the outside and transmit the same to a main system.

Description

보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법{SYSTEM AND METHOD FOR TRANSMITTING EXTERNAL IMAGE IN SECURITY ENVIRONMENT}External image information transmission system in a security environment and its method {SYSTEM AND METHOD FOR TRANSMITTING EXTERNAL IMAGE IN SECURITY ENVIRONMENT}

본 발명은 보안 환경에서 외부 영상 정보를 전송하는 시스템 및 그 방법에 관한 것이다. The present invention relates to a system and method for transmitting external image information in a secure environment.

종래 기술에 따르면, CCTV 모니터링 현장과 같이 엄격한 보안 유지가 필요한 환경에서의 잠재적인 해킹 위험성, 바이러스 코드 이식 등의 우려로 인해, 영상이 표시되는 화면을 재촬영하는 방식으로 필요한 정보를 전달받는다. According to the prior art, due to concerns such as potential hacking risk and virus code implantation in an environment requiring strict security maintenance such as a CCTV monitoring site, necessary information is received by retaking a screen on which an image is displayed.

그런데, 이러한 방식에 따르면 전달받은 영상의 화질이 심각하게 열화되는 문제점이 있다. However, according to this method, there is a problem that the quality of the transmitted image is seriously deteriorated.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 엄격한 보안이 요구되는 환경에서, 외부로부터 취득된 영상 정보에 관한 보안 문제를 최소화하며 메인 시스템으로 전달하는 것이 가능한 외부 영상 정보 전송 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed in order to solve the above-described problem, and provides an external video information transmission system and method capable of minimizing security problems related to image information acquired from the outside and transmitting it to the main system in an environment requiring strict security. It has its purpose to provide.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 외부 영상 정보를 획득하는 영상정보 수집부와, 외부 영상 정보에서 전달 대상 부분영상을 추출하는 정보 전달 영역 결정 및 부분영상 수집부를 포함하는 것을 특징으로 한다. The external image information transmission system in a security environment according to the present invention comprises an image information collection unit for obtaining external image information, and an information transmission area determination and partial image collection unit for extracting a partial image to be transmitted from the external image information. It is done.

정보 전달 영역 결정 및 부분영상 수집부는 외부 데이터 전달 장치의 화면 표시 영역 내의 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 복수 개의 부분영상을 수집한다. The information transfer area determination and partial image collection unit determines an information transfer area within the screen display area of the external data transfer device, and collects a plurality of partial images corresponding to the information transfer area.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산하는 통합 영상 합성 및 변환행렬 계산부와, 변환행렬을 이용하여 영상의 복원본을 생성하고, 화질 개선을 수행하는 영상 변환 및 화질 개선부를 더 포함할 수 있다. The external image information transmission system in a security environment according to the present invention uses an integrated image synthesis and transformation matrix calculator that synthesizes an integrated image using a plurality of partial images and calculates a transformation matrix for image restoration, and a transformation matrix. Accordingly, an image conversion and image quality improvement unit may be further included to generate a reconstructed image of the image and improve image quality.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 계산한 변환행렬을 통해, 부분영상에 대한 보정을 수행하는 부분영상 보정 및 처리부를 더 포함할 수 있다. The external image information transmission system in a security environment according to the present invention performs correction for a partial image through a transformation matrix calculated using coordinate information defining the information transmission area of the partial image and coordinate information about the shape of the final image. It may further include a partial image correction and processing unit to perform.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (a) 외부 데이터 전달 장치를 촬영하여 외부 영상 정보를 획득하는 단계 및 (b) 외부 영상 정보를 이용하여 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 부분영상을 수집하는 단계를 포함하는 것을 특징으로 한다. The method for transmitting external image information in a secure environment according to the present invention includes the steps of: (a) capturing an external data transmission device to obtain external image information, and (b) determining an information transmission area using the external image information, and transmitting the information. It characterized in that it comprises the step of collecting the partial image corresponding to the region.

(b) 단계는 외부 데이터 전달 장치에서의 확대 및 표출 영역 이동에 따라, 기설정된 개수의 좌표들로 표현되는 정보 전달 영역을 결정한다.In step (b), according to the enlargement and movement of the display area in the external data transfer device, an information transfer area represented by a preset number of coordinates is determined.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-1) 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 변환행렬에 따라 영상의 복원본을 생성하여 전송하는 단계를 더 포함할 수 있다. The method for transmitting external image information in a security environment according to the present invention further includes the step of (c-1) synthesizing an integrated image using a plurality of partial images, and generating and transmitting a reconstructed image according to a transformation matrix. I can.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-2) 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 변환행렬을 이용하여 부분영상에 대해 보정하는 단계를 더 포함할 수 있다. The method for transmitting external image information in a security environment according to the present invention includes (c-2) calculating a transformation matrix using coordinate information defining an information transmission area of a partial image and coordinate information about a shape of a final image, and It may further include the step of correcting the partial image by using.

본 발명의 실시예에 따르면, 공공의 이익을 위해 운용되는 CCTV 모니터링 현장, 다양한 Video Management System (VMS), 기타 엄격한 보안이 요구되는 환경에서 적용되어, 보안을 유지하며 외부 영상 정보를 메인 시스템으로 전달하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, it is applied in CCTV monitoring sites operated for public benefit, various video management systems (VMS), and other environments requiring strict security, maintaining security and delivering external image information to the main system. It has a possible effect.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 종래 기술에 따른 보안 시스템 운용 방식을 도시한다.
도 2는 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 시스템을 도시한다.
도 3은 본 발명의 실시예에 따른 영상 정보 전송 절차를 도시한다.
도 4는 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 시스템을 도시한다.
도 5는 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 보조 시스템으로 전달하는 것을 도시한다.
도 6은 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 핵심 보안 시스템으로 전달하는 것을 도시한다.
도 7은 본 발명의 실시예에 따라 외부에서 촬영된 영상을 수집하는 것을 도시한다.
도 8은 전달 대상이 되는 원본 사진의 예를 도시한다.
도 9는 전달 대상이 되는 원본 사진을 단말 장치의 화면 표시부를 통해 표출한 예를 도시한다.
도 10은 외부 영상 정보 표출 화면에서의 영상 크기 조절 또는 위치 조절을 도시한다.
도 11은 촬영된 영상에서의 정보 전달 영역에 대한 가상 표시를 도시한다.
도 12는 수집된 영상들에서 추출된 정보 전달 영역을 함께 도시한 것이다.
도 13은 정보 전달 영역에 대해서 추출된 영상을 붙이기 처리한 결과를 도시한다.
도 14는 도 13에서 붙이기 처리한 영상을 직사각형 형태로 변환한 결과를 도시한다.
도 15는 본 발명의 실시예에 따른, 보조 시스템 화면 표시부에 표시된 영상을 핵심 보안 시스템으로 전달하는 과정을 도시한다.
도 16은 본 발명의 실시예에 따른, 외부 데이터 전달 방식을 도시한다.
도 17은 본 발명의 실시예에 따른 정보 전달 영역 결정 및 부분영상 수집 과정을 도시한다.
도 18은 본 발명의 실시예에 따른 정보 전달 영역 자동 결정 과정을 도시한다.
도 19는 본 발명의 실시예에 따른 영상정보 수집부를 통한 촬영 시, 보여지는 영상의 형태 및 이를 2차원 좌표계로 표현한 예시이다.
1 shows a method of operating a security system according to the prior art.
2 shows a system for transmitting external video information in a secure environment according to an embodiment of the present invention.
3 shows a procedure for transmitting image information according to an embodiment of the present invention.
4 illustrates an external video information transmission system in a secure environment according to an embodiment of the present invention.
5 is a diagram illustrating transmission of external data to an auxiliary system while maintaining security according to an embodiment of the present invention.
6 illustrates transfer of external data to a core security system while maintaining security according to an embodiment of the present invention.
7 illustrates collecting an externally photographed image according to an embodiment of the present invention.
8 shows an example of an original photo to be transmitted.
9 shows an example in which an original picture to be transmitted is displayed through a screen display unit of a terminal device.
10 illustrates image size adjustment or position adjustment on an external image information display screen.
11 shows a virtual display of an information delivery area in a captured image.
12 shows an information delivery area extracted from collected images together.
13 shows a result of pasting an extracted image to an information delivery area.
14 shows a result of converting the image pasted in FIG. 13 into a rectangular shape.
15 illustrates a process of transmitting an image displayed on an auxiliary system screen display unit to a core security system according to an embodiment of the present invention.
16 illustrates an external data transmission method according to an embodiment of the present invention.
17 illustrates a process of determining an information delivery area and collecting a partial image according to an embodiment of the present invention.
18 illustrates a process of automatically determining an information delivery area according to an embodiment of the present invention.
19 is an example of a shape of an image displayed when photographing through an image information collection unit according to an embodiment of the present invention and an example of expressing the same in a two-dimensional coordinate system.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-described and other objects, advantages, and features of the present invention, and methods of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the following embodiments are the object of the invention to those of ordinary skill in the art to which the present invention pertains. It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in the present specification are for explaining embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" refers to the presence of one or more other components, steps, actions and/or elements in which the recited component, step, operation and/or element is Or does not preclude additions.

이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다. Hereinafter, in order to aid the understanding of those skilled in the art, the background to which the present invention is proposed will be first described, and then embodiments of the present invention will be described.

공공의 이익을 위해 운용되는 CCTV 모니터링 현장에서는 사건이 발생함에 따라, 다양한 사건 영상이 제공된다. In CCTV monitoring sites operated for the public benefit, various incident images are provided as incidents occur.

예컨대 독거노인이나 어린이가 귀가하지 않는 경우, 경찰서나 소방서 등에 신고가 접수되고, 이때 담당자는 찾고자 하는 사람의 사진을 CCTV 모니터링 현장에 제공함으로써, 특정 인물이나 객체에 대한 검색/모니터링이 수행된다. For example, when the elderly or children living alone do not return home, a report is received at the police station or fire station, and at this time, the person in charge provides a picture of the person to be searched to the CCTV monitoring site, thereby searching/monitoring for a specific person or object.

그런데 통상적으로 CCTV 모니터링 현장에서는 신고 접수된 스마트폰과 같은 모바일 단말에 저장된 사진을 화면을 통해 표출하여 CCTV 모니터링 현장의 담당자에게 보여주면, 이를 보안 환경에 설치된 카메라나 기타 단말장치로 재촬영하여 보안 시스템에 등록하고 이를 관제사들에게 전달하는 방식을 따르며, 전달된 각종 정보를 이용하여 관제사들은 검색 및 모니터링을 수행한다. However, in general, CCTV monitoring sites display photos stored in mobile terminals such as smartphones that have been reported on the screen and show them to the person in charge at the CCTV monitoring site. This is re-photographed with cameras or other terminal devices installed in the security environment, and the security system It registers in and follows the method of delivering it to the controllers, and the controllers perform search and monitoring using the transmitted various information.

보다 편리하고 처리 속도가 빠른 다양한 다른 데이터 전송방법이 존재하는데도 불구하고, 이렇게 번거로운 방식을 적용하고 있는 이유는 CCTV 모니터링 현장의 엄격한 보안 유지 필요성 때문이다. Despite the existence of various other data transmission methods that are more convenient and faster in processing speed, the reason for applying this cumbersome method is the necessity of maintaining strict security at the CCTV monitoring site.

시스템이 인터넷과 같은 외부 네트워크 혹은 셀룰러 망이나 각종 원/근거리 무선통신망들과 연결이 되는 경우, 잠재적인 해킹의 위험성이 높아진다. If the system is connected to an external network such as the Internet, a cellular network, or various remote/local wireless communication networks, the risk of potential hacking increases.

또한, USB나 스마트폰 등을 시스템에 유선으로 연결하는 경우, 바이러스 코드나 해킹 코드와 같은 악성 프로그램들이 이식될 수 있는 위험이 있다. In addition, when a USB or smart phone is connected to the system by wire, there is a risk that malicious programs such as virus codes or hacking codes may be implanted.

따라서, 영상이 표시되는 화면을 다시 촬영하는 방식으로 필요한 정보를 전달받는 것이 보안 측면에서 안전하다고 인식되어 왔다.Therefore, it has been recognized that it is safe in terms of security to receive necessary information by taking a picture of a screen on which an image is displayed again.

그러나, 이러한 방식에 따르면 보안성은 유지될 수 있지만, 전달받은 영상의 화질이 심각하게 열화되는 문제점이 있다. However, according to this method, although security can be maintained, there is a problem that the quality of the transmitted image is seriously deteriorated.

예컨대 영상을 표출하는 화면표시장치의 화소배열 상태와 카메라의 해상도의 영향으로 인해, 촬영된 사진이나 동영상에 무아레 패턴(Moire Pattern)이 나타나기도 하며, 주변 광원에 의한 반사 현상이 더해져서 획득된 영상의 화질이 더욱 열화된다. For example, due to the influence of the pixel arrangement of the screen display device that displays the image and the resolution of the camera, a Moire pattern may appear in the photographed photo or video, and the image obtained by adding reflection from the surrounding light source. The picture quality of is further deteriorated.

이보다 더 현장에서 중요하게 여기는 이슈는 제한된 화면 크기에 표시된 영상을 재촬영하는 방식에 따르는 것이어서, 전달 영상의 해상도가 매우 낮아질 수 있다는 문제점이다. An issue that is considered more important in the field is the problem that the resolution of the transmitted image may be very low because it follows the method of re-taking the image displayed on the limited screen size.

전술한 바와 같이, 외부 네트워크 연결이나 유무선 통신 방식을 사용한 데이터 전송 방법을 사용하면 잠재적 위험성을 완전히 배제할 수 없기 때문에, 종래 기술에 따르면 도 1에 도시한 바와 같이 시스템을 분리하는 방식을 사용한다. As described above, since a potential risk cannot be completely excluded when an external network connection or a data transmission method using a wired or wireless communication method is used, according to the prior art, a method of separating the system as shown in FIG. 1 is used.

도 1에서 핵심 보안 시스템(11)은 외부의 공격을 엄격히 차단해야 하는 시스템으로 가정한다. In FIG. 1, the core security system 11 is assumed to be a system that must strictly block external attacks.

핵심 보안 시스템(11)은 핵심 보안 시스템 화면 표시부(12)와 연동되어 정보를 표시할 수 있다. The core security system 11 may display information by interlocking with the core security system screen display unit 12.

보조 시스템(21)은 핵심 보안 시스템(11)과는 분리되어 있다. The auxiliary system 21 is separate from the core security system 11.

보조 시스템(21)은 보조 시스템 화면 표시부(22)를 통해 참고할 만한 정보들을 표시한다. The auxiliary system 21 displays information for reference through the auxiliary system screen display unit 22.

도 1에서 시스템을 사용하는 사용자들은 핵심 보안 시스템(11)을 사용하는 보안 시스템 운용자와, 보조 시스템(21)을 사용하는 외부 데이터 전달자이다. In FIG. 1, users who use the system are security system operators using the core security system 11 and external data transmitters using the auxiliary system 21.

보안 시스템 운용자들은 외부 데이터 전달자가 제공한 사진이나 동영상을 보조 시스템 화면 표시부(22)를 통해서만 확인할 수 있게 되는데, 이는 본질적으로 외부 데이터가 핵심 보안 시스템(11)과 바로 연동되지 않기 때문이다. Security system operators can only check photos or videos provided by the external data transfer through the auxiliary system screen display unit 22, because in essence, external data is not directly linked with the core security system 11.

이러한 경우, 보안 시스템 운용자들은 보조 시스템 화면 표시부(22)에 표시된 정보만을 시각적으로 보고 판단하여야 한다는 제약이 있어, 영상의 크기를 조절하여 확인하거나, 원하는 부분을 상세히 검토하기 어려운 문제점이 있다. In this case, there is a limitation that security system operators must visually view and determine only the information displayed on the auxiliary system screen display unit 22, and thus it is difficult to adjust the size of an image to check or review a desired part in detail.

종래 기술에 따르면, 보조 시스템(21)은 외부 데이터가 복사되면 악성 프로그램 검사 및 각종 보안 검사 등을 수행한 후, 문제가 없는 것으로 확인되면 외부 데이터를 핵심 보안 시스템(11)으로 옮길 수 있다. According to the prior art, when external data is copied, the auxiliary system 21 performs a malicious program inspection and various security inspections, and if it is determined that there is no problem, the auxiliary system 21 may transfer the external data to the core security system 11.

그런데, 보조 시스템(21)으로부터 핵심 보안 시스템(11)으로 정보를 옮기는 과정에서도, 보안 USB를 사용 하는 등의 보안 강화 대책이 필요하며, 어떠한 방식이든 장치 간의 유무선의 연결 관계가 형성됨에 따라, 보안 취약성은 발생하게 된다. However, even in the process of transferring information from the auxiliary system 21 to the core security system 11, security reinforcement measures such as using a secure USB are required, and as a wired or wireless connection relationship between devices is formed in any way, security Vulnerability arises.

본 발명은 전술한 문제점에 착안하여 제안된 것으로, 보안 환경에서 외부 영상 정보를 전달하고 처리하는 시스템 및 방법을 제안한다. The present invention has been proposed in light of the above-described problems, and proposes a system and method for transmitting and processing external image information in a security environment.

본 발명에 따르면, 공공의 이익을 위해 운용되는 CCTV 모니터링 현장, 즉 보안상 인터넷과 같은 외부 네트워크, 셀룰러 무선통신망들과도 확실한 분리가 필요하고, 바이러스 프로그램이나 해킹 프로그램 등에 의한 잠재적인 외부의 공격에 대비하기 위해 외장메모리나 스마트폰과 같은 외부 장치들을 통한 유무선 연동조차도 엄격히 통제되는 보안 환경에도 적용이 가능하다. According to the present invention, a CCTV monitoring site operated for the public benefit, that is, for security reasons, it is necessary to reliably separate it from external networks such as the Internet and cellular wireless communication networks, and to prevent potential external attacks by virus programs or hacking programs. In order to be prepared, even wired/wireless interworking through external devices such as external memory or smartphones can be applied to a strictly controlled security environment.

본 발명에 따르면, 비단 CCTV 모니터링 현장뿐 아니라, 보안이 엄격히 요구되는 시스템에서 외부로부터 영상 정보를 전달받을 필요성이 있는 다양한 환경에서 활용될 수 있다. According to the present invention, it can be used not only in the CCTV monitoring site, but also in various environments where it is necessary to receive image information from the outside in a system requiring strict security.

본 발명의 실시예에 따르면, 외부 데이터를 제공하는 장치/단말은 화면표시장치를 포함한다. According to an embodiment of the present invention, a device/terminal providing external data includes a screen display device.

본 발명의 실시예에 따르면, 외부 데이터를 제공하는 장치/단말에는 추가적으로 프로그램을 설치할 필요가 없으나, 사진과 같은 미디어를 화면에 표시하는 기능을 제공하여야 한다. According to an embodiment of the present invention, it is not necessary to additionally install a program in a device/terminal that provides external data, but a function of displaying media such as a picture on a screen must be provided.

외부 데이터를 제공하는 장치/단말은 영상의 크기를 조절하거나, 영상의 표출 영역을 조절하는 기능을 제공함이 바람직하지만, 그러한 기능이 없는 경우 표시되는 정보만으로 영상을 표출한다. It is preferable that the device/terminal that provides external data provides a function of adjusting the size of the image or adjusting the display area of the image, but if there is no such function, the image is displayed only with the displayed information.

도 2는 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 시스템을 도시한다. 2 shows a system for transmitting external video information in a secure environment according to an embodiment of the present invention.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 외부 영상 정보를 획득하는 영상정보 수집부(110)와, 외부 영상 정보에서 전달 대상 부분영상을 추출하는 정보 전달 영역 결정 및 부분영상 수집부(120)를 포함하는 것을 특징으로 한다. The external image information transmission system in a security environment according to the present invention includes an image information collection unit 110 that obtains external image information, and an information transmission area determination and partial image collection unit ( 120).

영상정보 수집부(110)는 카메라와 같은 영상 수집 장치를 사용하여, 외부 영상 정보 표출 화면을 촬영하고, 이를 정보 전달 영역 결정 및 부분영상 수집부(120)로 전달한다. The image information collection unit 110 photographs an external image information display screen using an image collection device such as a camera, and transmits the image to the information transmission region and the partial image collection unit 120.

이 때, 영상정보 수집부(110)의 해상도는 수집 대상 영상의 품질을 고려하여 기준 해상도 이상의 해상도를 가지는 것이 바람직하다. In this case, it is preferable that the resolution of the image information collection unit 110 has a resolution equal to or higher than the reference resolution in consideration of the quality of the image to be collected.

제어부(미도시)는 영상정보 수집부(110)가 주변 조명에 의한 영향으로부터 강건할 수 있도록 그 포지션을 제어한다. The control unit (not shown) controls its position so that the image information collection unit 110 is robust from the influence of ambient lighting.

지지부(미도시)는 영상정보 수집부(110)가 촬영을 수행하는 과정에서 움직임이나 흔들림이 없도록 지지하는 역할을 한다. The support part (not shown) serves to support the image information collection unit 110 so that there is no movement or shaking in the process of performing a photographing.

정보 전달 영역 결정 및 부분영상 수집부(120)는 외부 데이터 전달 장치의 화면 표시 영역 내의 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 복수 개의 부분영상을 수집한다. The information transfer area determination and partial image collection unit 120 determines an information transfer area within the screen display area of the external data transfer device, and collects a plurality of partial images corresponding to the information transfer area.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산하는 통합 영상 합성 및 변환행렬 계산부(130)와, 변환행렬을 이용하여 영상의 복원본을 생성하고, 화질 개선을 수행하는 영상 변환 및 화질 개선부(140)를 더 포함할 수 있다. The external image information transmission system in a security environment according to the present invention synthesizes an integrated image using a plurality of partial images, and calculates a transformation matrix for image restoration, and an integrated image synthesis and transformation matrix calculation unit 130; and An image conversion and quality improvement unit 140 for generating a reconstructed image using the matrix and performing image quality improvement may be further included.

도 4를 참조하면, 본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 계산한 변환행렬을 통해, 부분영상에 대한 보정을 수행하는 부분영상 보정 및 처리부(150)를 더 포함할 수 있다. Referring to FIG. 4, the external image information transmission system in a security environment according to the present invention uses a transformation matrix calculated using coordinate information defining an information transmission area of a partial image and coordinate information about a shape of a final image, A partial image correction and processing unit 150 for performing correction on the partial image may be further included.

도 3은 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 절차를 도시한다. 3 illustrates a procedure for transmitting external image information in a secure environment according to an embodiment of the present invention.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (a) 외부 데이터 전달 장치를 촬영하여 외부 영상 정보를 획득하는 단계 및 (b) 외부 영상 정보를 이용하여 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 부분영상을 수집하는 단계를 포함하는 것을 특징으로 한다. The method for transmitting external image information in a secure environment according to the present invention includes the steps of: (a) capturing an external data transmission device to obtain external image information, and (b) determining an information transmission area using the external image information, and transmitting the information. It characterized in that it comprises the step of collecting the partial image corresponding to the region.

(b) 단계는 외부 데이터 전달 장치에서의 확대 및 표출 영역 이동에 따라, 기설정된 개수의 좌표들로 표현되는 정보 전달 영역을 결정한다.In step (b), according to the enlargement and movement of the display area in the external data transfer device, an information transfer area represented by a preset number of coordinates is determined.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-1) 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 변환행렬에 따라 영상의 복원본을 생성하여 전송하는 단계를 더 포함할 수 있다. The method for transmitting external image information in a security environment according to the present invention further includes the step of (c-1) synthesizing an integrated image using a plurality of partial images, and generating and transmitting a reconstructed image according to a transformation matrix. I can.

본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-2) 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 변환행렬을 이용하여 부분영상에 대해 보정하는 단계를 더 포함할 수 있다. The method for transmitting external image information in a security environment according to the present invention includes (c-2) calculating a transformation matrix using coordinate information defining an information transmission area of a partial image and coordinate information about a shape of a final image, and It may further include the step of correcting the partial image by using.

영상정보 수집부(110)는 외부 영상 정보 표출 화면을 촬영하여, 외부 영상 정보를 취득한다. The image information collection unit 110 acquires external image information by photographing an external image information display screen.

정보 전달 영역 결정 및 부분영상 수집부(120)는 카메라 영상으로부터 전달하려는 부분영상을 추출하고, 복수 개의 부분영상을 수집한다. The information transmission region determination and partial image collection unit 120 extracts a partial image to be transmitted from the camera image, and collects a plurality of partial images.

통합 영상 합성 및 변환행렬 계산부(130)는 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산한다. The integrated image synthesis and transformation matrix calculation unit 130 synthesizes an integrated image using a plurality of partial images, and calculates a transformation matrix for image restoration.

영상 변환 및 화질 개선부(140)는 변환행렬을 이용하여 전달하려던 영상의 복원본을 생성하되, 무아레 패턴이나 역광에 의한 플레어 현상을 처리하기 위해 화질 개선을 수행한다. The image conversion and quality improvement unit 140 generates a reconstructed copy of the image to be transmitted using the transformation matrix, but performs image quality improvement in order to process a moire pattern or a flare phenomenon caused by backlight.

본 발명의 실시예에 따른 통합 영상 합성 및 변환행렬 계산부(130)는 정보 전달 영역 결정 및 부분영상 수집부(120)를 통해 수집된 복수의 영상들 간의 상관성을 검사하고, 영상들 간의 상대적인 위치와 크기 변환 관계를 찾으며, 위치에 따라 영상들을 정렬함으로써, 단일 영상을 만든다. The integrated image synthesis and transformation matrix calculation unit 130 according to an embodiment of the present invention determines the information transmission region and checks the correlation between a plurality of images collected through the partial image collection unit 120, and determines the relative position between the images. A single image is created by finding the relationship between the and size conversion and arranging the images according to their position.

본 발명의 실시예에 따르면, 부분영상들에서 특징점(feature point)을 검출하고, 부분영상들 상호간 특징점들이 물리적으로 동일한 지점을 의미하는지를 검사하는 매칭 과정을 수행하고, 수행된 매칭을 통해 호모그래피 변환 행렬과 같은 변환 파라미터를 찾고, 변환 파라미터를 이용하여 회전, 위치이동, 크기 변화 등을 수행한다. According to an embodiment of the present invention, a matching process is performed to detect a feature point in partial images, check whether the feature points between the partial images physically mean the same point, and homography conversion through the performed matching. It finds a transformation parameter such as a matrix, and performs rotation, shifting, and size change using the transformation parameter.

본 발명의 실시예에 따른 영상 변환 및 화질 개선부(140)는 통합 영상 합성 및 변환행렬 계산부(130)를 통해 만들어진 단일 영상을 직사각형 영역으로 바꾸는 작업을 수행하고, 이에 대한 최종적인 화질 개선 처리를 수행한다. The image conversion and quality improvement unit 140 according to the embodiment of the present invention performs a task of converting a single image created through the integrated image synthesis and conversion matrix calculation unit 130 into a rectangular area, and a final image quality improvement process for this To do.

화질 개선 처리를 수행하는 이유는 화면에 표시된 정보를 카메라와 같은 영상정보 수집장치(110)를 이용하여 다시 획득하는 과정에 따라 무아레 패턴이나 역광 등이 존재할 수 있기 때문이다. The reason for performing the image quality improvement process is that there may be a moire pattern or backlight according to a process of re-acquiring information displayed on the screen by using the image information collecting device 110 such as a camera.

본 발명의 실시예에 따른 정보 전달 영역 결정 및 부분영상 수집부(120)에서 추출된 영상은 모양이 왜곡되어 있으므로 이를 보정할 필요가 있다. Since the image extracted by the determination of the information transmission area and the partial image collection unit 120 according to an embodiment of the present invention is distorted, it is necessary to correct it.

따라서, 도4를 참조하면, 부분영상 보정 및 처리부(150)는 왜곡된 영상들을 보정하기 위해 기획득된 정보 전달 영역을 기술하는 {A, B, C, D} 정보를 이용하여 보정 및 처리를 수행한다. Therefore, referring to FIG. 4, the partial image correction and processing unit 150 performs correction and processing using {A, B, C, D} information describing a planned information delivery area to correct distorted images. Carry out.

{A, B, C, D} 좌표 정보와 변형하려는 최종영상의 모양에 대한 4개의 좌표를 이용하여 변환행렬을 계산하고, 변환행렬을 이용하여 왜곡되지 않은 직사각형 형태의 부분영상을 획득한다.The transformation matrix is calculated using the {A, B, C, D} coordinate information and the four coordinates for the shape of the final image to be transformed, and a partial image in the form of an undistorted rectangle is obtained using the transform matrix.

변형하려는 최종영상의 모양에 대한 4개의 좌표가 정해지지 않은 경우에도, 스마트폰과 같은 단말의 가로, 세로 길이의 비를 추정하여 기본값으로 사용하는 것이 가능하다. Even when four coordinates for the shape of the final image to be transformed are not determined, it is possible to estimate the ratio of the horizontal and vertical lengths of a terminal such as a smartphone and use it as a default value.

이러한 경우 보정된 영상의 가로, 세로 길이의 비가 원래의 비와 상이해질 수 있는데, 이에 대하여는 영상처리 도구를 사용하여 처리하는 것이 가능하다. In this case, the ratio of the horizontal and vertical length of the corrected image may be different from the original ratio, which can be processed using an image processing tool.

부분영상 보정 및 처리부(150)는 무아레 패턴이나 역광에 의한 플레어 현상 등이 포함될 수 있기 때문에 이런 정보를 제거하고 화질을 개선하는 처리를 수행한다.Since the partial image correction and processing unit 150 may include a moire pattern or a flare phenomenon caused by backlight, the partial image correction and processing unit 150 removes such information and performs a process of improving image quality.

도 5는 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 보조 시스템으로 전달하는 것을 도시하고, 도 6은 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 핵심 보안 시스템으로 전달하는 것을 도시한다. FIG. 5 is a diagram illustrating transmission of external data to an auxiliary system while maintaining security according to an embodiment of the present invention, and FIG. 6 is a core security system for external data while maintaining security according to an embodiment of the present invention. Shows what to convey.

본 발명의 실시예에 따른 외부 영상 정보 전송 시스템(100)은 도 5에 도시한 바와 같이, 외부 데이터를 보안이 유지된 상태로 보조 시스템(21)으로 전달하고, 도 6에 도시한 바와 같이, 외부 데이터를 보안이 유지된 상태로 핵심 보안 시스템(11)으로 전달하는 것이 가능하다. The external image information transmission system 100 according to an embodiment of the present invention transfers external data to the auxiliary system 21 in a state of maintaining security, as shown in FIG. 5, and as shown in FIG. 6, It is possible to transfer external data to the core security system 11 in a secure state.

도 7은 본 발명의 실시예에 따라 외부에서 촬영된 영상을 수집하는 것을 도시한다. 7 illustrates collecting an externally photographed image according to an embodiment of the present invention.

도 7은 외부 데이터 전달자에 의해, 외부에서 촬영된 영상을 외부 영상 정보 전송 시스템에 전달하는 과정을 도시한다. 7 shows a process of transmitting an image captured from the outside to an external image information transmission system by an external data transmitter.

탁자와 같은 평평한 표면에 스마트폰과 같은 단말장치(D)를 켜고, 전달하고자 하는 사진을 화면에 표시하고 이를 조작하면, 외부 영상 정보 전송 시스템의 영상정보 수집부(110)가 이에 대한 영상정보를 획득한다. When a terminal device (D) such as a smartphone is turned on on a flat surface such as a table, a picture to be transmitted is displayed on the screen and manipulated, the image information collection unit 110 of the external image information transmission system collects image information about it. Acquire.

도 7에 도시한 영상정보 수집부(110) 및 외부 데이터 전달 장치(D)는 영상을 전달하는 과정에서 가급적 움직이지 않는 것이 바람직하며, 움직임이 허용되는 범위도 평평한 표면에서 병진운동(translation movement)이나 회전운동(rotational movement)으로 한정된다. It is preferable that the image information collection unit 110 and the external data transmission device D shown in FIG. 7 do not move as much as possible in the process of transmitting the image, and the range in which the movement is allowed is also a translation movement on a flat surface. Or rotational movement.

도 8은 전달 대상이 되는 원본 사진의 예를 도시한다. 8 shows an example of an original photo to be transmitted.

도 8은 외부 데이터 전달자가 스마트폰과 같은 단말장치에 담긴 사진을 보조 시스템(21) 또는 핵심 보안 시스템(11)으로 전달하고자 하는 경우, 전달하려는 원본 사진을 도시한다. FIG. 8 shows an original photo to be transmitted when an external data transmitter wants to transmit a photo contained in a terminal device such as a smart phone to the auxiliary system 21 or the core security system 11.

도 9는 전달 대상이 되는 원본 사진을 단말 장치(D)의 화면 표시부를 통해 표출한 예를 도시한다. 9 shows an example in which an original picture to be transmitted is displayed through a screen display unit of the terminal device D.

전술한 바와 같이, 보안 환경에서 외부 데이터 전달자는 도 9에 도시한 바와 같이, 사진을 스마트폰(외부 데이터 전달 장치, D)에 표시하여 보안 시스템 운용자에게 보여주거나, 이를 재촬영함으로써 보조 시스템(21) 또는 핵심 보안 시스템(11)으로 전달하며, 이때 강조하고 싶은 영역을 찾아 크기를 조절하여 보여준다. As described above, in a security environment, the external data transfer person displays a picture on a smartphone (external data transfer device, D) and displays it to the security system operator, or re-photographs it, as shown in FIG. 9. ) Or to the core security system 11, and at this time, find the area you want to highlight, adjust the size, and show it.

도 10은 외부 영상 정보 표출 화면에서의 영상 크기 조절 또는 위치 조절을 도시하는데, 이를 통해 단순 촬영에 비해 더 좋은 화질의 영상을 전달하는 것이 가능하다. FIG. 10 shows image size adjustment or position adjustment on an external image information display screen, through which it is possible to deliver an image of higher quality than that of simple photographing.

도 10은 9장의 영상을 다중 촬영한 것을 예를 들어 도시한 것인데, 다중 촬영이 대상이 되는 영상의 개수는 이에 한정되지 않는다. FIG. 10 is an example of a multi-shot of 9 images, but the number of images targeted for multi-shot is not limited thereto.

도 10에 도시한 바와 같이 일정 영역의 화면을 확대하여 디스플레이시키는 경우, 원본 영상의 일부만이 화면에 나타나게 되는데, 본 발명의 실시예에 따르면 확대된 다수 개의 일부 영역을 취득하여 고해상도의 최종 영상을 생성함으로써, 크기가 작은 영상을 촬영하는 종래 기술에 대비하여 볼 때 더 상세한 정보를 전달하는 것이 가능한 효과가 있다. As shown in Fig. 10, when the screen of a certain area is enlarged and displayed, only a part of the original image is displayed on the screen. According to an embodiment of the present invention, a final image of high resolution is generated by acquiring a plurality of enlarged partial areas. By doing so, there is an effect that it is possible to deliver more detailed information when compared to the conventional technology for photographing a small image.

본 발명의 실시예에 따르면, 화면 확대에 의해 그 일부가 표출되는 영상을 부분영상으로 정의한다. According to an embodiment of the present invention, an image in which a part of the image is expressed by screen enlargement is defined as a partial image.

도 11은 촬영된 영상에서의 정보 전달 영역에 대한 가상 표시를 도시한다. 11 shows a virtual display of an information delivery area in a captured image.

도 11은 도 10의 영상들을 취득하는 과정에서, 실제 정보가 전달되는 영역을 가상으로 표시한 것이다. FIG. 11 is a virtual display of an area to which actual information is transmitted in the process of acquiring the images of FIG. 10.

도 11에 도시한 바와 같이, 정보 전달 영역은 {A, B, C, D} 4개 지점들로 표현되는 사각형으로 표시된다. As shown in FIG. 11, the information transfer area is represented by a rectangle represented by four points {A, B, C, D}.

4개 지점이 필요한 이유는 통상적인 화면 표시 장치가 직사각형 형태를 갖기 때문이다.The reason why four points are needed is that a typical screen display device has a rectangular shape.

화면 표시 장치(D)에 대해 영상정보 수집부(110)로 촬영하게 되면, 정보 전달 영역은 피사체와 카메라의 상대적 배치 상태에 따라서 임의의 사각형 형태가 된다. When the screen display device D is photographed by the image information collecting unit 110, the information transmission area becomes a random square shape according to the relative arrangement state of the subject and the camera.

즉, 영상정보 수집부(110)에 의해 획득된 영상은 2차원 영상 좌표계에 표현되는 정보로 표현할 수 있으며, {A, B, C, D} 지점들은 2차원 영상 좌표계에서 각각의 x, y 좌표점으로 표현된다. That is, the image acquired by the image information collection unit 110 can be expressed as information expressed in the 2D image coordinate system, and {A, B, C, D} points are each x, y coordinate in the 2D image coordinate system. It is expressed as a dot.

정보 전달 영역은 통상적으로 정보를 전달하려는 단말이 가지고 있는 화면 표시 영역 안쪽이 되는 것이 바람직한데, 이는 전달하려는 원본 사진은 화면 표시 영역에만 표출되기 때문이다. It is preferable that the information transfer area is usually inside the screen display area of the terminal to which the information is to be transferred, because the original picture to be transferred is displayed only in the screen display area.

그러나 화면 표시 영역의 일부만 활용하여 영상을 표시하는 것이 가능하므로, 화면 표시 영역 전체가 반드시 정보 전달 영역이 되는 것은 아니다.However, since it is possible to display an image using only a part of the screen display area, the entire screen display area does not necessarily become an information transmission area.

본 발명의 실시예에 따르면, 정보 전달 영역의 결정을 위해 사용자 인터페이스를 제공하거나, 자동으로 정보 전달 영역을 결정한다. According to an embodiment of the present invention, a user interface is provided for determining an information delivery area, or an information delivery area is automatically determined.

도 12은 도 10에서 도시한 과정에 따라 수집된 영상들에서 추출된 정보 전달 영역을 함께 도시한 것이다. 12 is a diagram illustrating an information delivery region extracted from images collected according to the process illustrated in FIG. 10.

본 발명의 실시예에 따라 정보 전달 영역이 결정되면, 그 영역 내에서의 영상이 추출되며, 복수 개의 영상을 함께 표시하면 도 12에 도시한 바와 같다. When an information delivery region is determined according to an embodiment of the present invention, an image within the region is extracted, and when a plurality of images are displayed together, as shown in FIG. 12.

복수 개의 영상은 크기와 방향이 약간씩 상이하므로, 전체적으로는 불연속적인 모습을 보이고, 주변 광원이 바뀌거나 영상정보 수집부(110)의 수집 파라미터가 바뀌는 경우, 복수 개의 영상들 간에는 색상도 약간씩 다르게 된다. Since the plurality of images are slightly different in size and direction, the overall appearance is discontinuous, and when the ambient light source is changed or the collection parameter of the image information collection unit 110 is changed, the color is slightly different between the plurality of images. do.

도 13은 정보 전달 영역에 대해서 추출된 영상을 붙이기 처리한 결과를 도시한다. 13 shows a result of pasting an extracted image to an information delivery area.

도 13은 도 12에 도시한 바와 같은 수집된 영상에서 결정된 정보 전달 영역에 해당하는 부분 영상을 추출하고, 추출 결과를 하나로 붙이는 과정을 통해 획득된 이상적인 영상의 결과물을 도시한다. FIG. 13 shows a result of an ideal image obtained through a process of extracting a partial image corresponding to a determined information delivery area from the collected image as shown in FIG. 12 and attaching the extracted result to one.

도 14는 도 13에서 붙이기 처리한 영상을 직사각형 형태로 변환한 결과를 도시하며, 도 13에서 붙이기 처리된 영상을 기설정된 방법으로 계산된 호모그래피 행렬과 같은 변환 매개변수를 사용하여 직사각형 형태로 변환한 결과를 도시한다. 14 shows the result of converting the image pasted in FIG. 13 into a rectangular shape, and transformed the image pasted in FIG. 13 into a rectangular shape using a transformation parameter such as a homography matrix calculated by a preset method. One result is shown.

전술한 과정을 통해, 외부 데이터 전달자가 제공한 외부 데이터에 대한 영상 정보가 보안 시스템 또는 핵심 보안 시스템으로 전송된다. Through the above-described process, image information on external data provided by an external data transmitter is transmitted to a security system or a core security system.

본 발명의 다른 실시예에 따르면, 도 15에 도시한 바와 같이, 보조 시스템 화면 표시부에 표시된 영상을 보안이 유지된 상태로 핵심 보안 시스템으로 전달한다. According to another embodiment of the present invention, as shown in FIG. 15, the image displayed on the auxiliary system screen display unit is transmitted to the core security system while maintaining security.

도 15는 본 발명의 다른 실시예에 따른 외부 데이터 전달 방식을 도시한다. 15 illustrates an external data transmission method according to another embodiment of the present invention.

도 16에 도시한 바와 같이, 외부 데이터에 대한 영상을 취득하여 핵심 보안 시스템(11)으로 전달하기 위해, 영상정보 수집부(110)는 보조 시스템 화면 표시부(22)를 통해 표시되는 외부 데이터에 대한 영상을 취득한다. As shown in FIG. 16, in order to acquire an image of external data and transmit it to the core security system 11, the image information collection unit 110 provides the external data displayed through the auxiliary system screen display unit 22. Acquire the video.

도 17은 본 발명의 실시예에 따른 정보 전달 영역 결정 및 부분영상 수집 과정을 도시한다. 17 illustrates a process of determining an information delivery area and collecting a partial image according to an embodiment of the present invention.

본 발명의 실시예에 따르면, 자동으로 정보 전달 영역을 결정할 것인지 여부를 확인한다(S1701). According to an embodiment of the present invention, it is checked whether or not to automatically determine an information transfer area (S1701).

S1701 단계에서 자동으로 정보 전달 영역을 결정하는 것으로 확인되면, 정보 전달 영역에 대한 자동 결정이 수행되고(S1702), S1701 단계에서 자동으로 정보 전달 영역을 결정하지 않는 것으로 확인되면, 사용자 인터페이스를 제공하여 입력되는 명령에 따라 정보 전달 영역을 결정한다(S1703). If it is confirmed that the information delivery area is automatically determined in step S1701, the automatic determination of the information delivery area is performed (S1702), and if it is confirmed that the information delivery area is not automatically determined in step S1701, a user interface is provided. An information delivery area is determined according to an input command (S1703).

S1703 단계는 촬영된 영상을 모니터 등에 표출하고, 정보 전달 영역을 정의하는 {A, B, C, D} 위치 좌표에 대해 화면 터치 인터페이스 또는 마우스 인터페이스 등을 통해 결정하는 기능을 제공한다. Step S1703 provides a function of displaying the captured image on a monitor or the like, and determining {A, B, C, D} position coordinates defining an information transmission area through a screen touch interface or a mouse interface.

이어서, S1704 단계에서는 자동으로 부분영상을 수집할 것인지 여부에 대해 확인한다. Subsequently, in step S1704, it is checked whether or not to automatically collect partial images.

S1704 단계에서 자동으로 부분영상을 수집하는 것으로 확인되면, S1705 단계는 정보 전달 영역이 결정된 부분영상을 자동으로 수집한다. If it is confirmed in step S1704 that the partial image is automatically collected, step S1705 automatically collects the partial image in which the information transmission area is determined.

S1704 단계에서 자동으로 부분영상을 수집하지 않는 것으로 확인되면, S1706 단계는 정보 전달 영역이 결정된 부분영상의 수집과 관련하여, 사용자 인터페이스를 제공하여 입력되는 명령에 따라 부분영상을 수집한다. 이 때, '촬영 시작' 과 같은 버튼이나 특정 키보드 명령어와 같은 기설정된 방식에 따라 정보 전달 영역의 부분영상을 수집한다. If it is confirmed that the partial image is not automatically collected in step S1704, in step S1706, in relation to the collection of the partial image in which the information delivery area is determined, a user interface is provided to collect the partial image according to an input command. In this case, partial images of the information delivery area are collected according to a preset method such as a button such as'start shooting' or a specific keyboard command.

본 발명의 실시예에 따르면, 정보 전달 영역에 대한 자동 결정 및 부분영상 자동 수집의 경우, 모니터나 키보드와 같은 사용자 인터페이스 장치를 필수적으로 제공하지 않고도 정보 전달 영역 결정 및 부분영상 수집이 가능하므로, 절차가 간소화되고 사용 편의성이 증진된다. According to an embodiment of the present invention, in the case of automatic determination of an information delivery area and automatic collection of partial images, since the information delivery area determination and partial image collection are possible without necessarily providing a user interface device such as a monitor or keyboard, the procedure Is simplified and ease of use is improved.

도 18은 본 발명의 실시예에 따른 정보 전달 영역에 대한 자동 결정 과정을 도시하고, 도 19는 본 발명의 실시예에 따른 영상정보 수집부를 통한 촬영 시, 보여지는 영상의 형태 및 이를 2차원 좌표계로 표현한 예시이다. 18 is a diagram illustrating a process of automatically determining an information transmission area according to an embodiment of the present invention, and FIG. 19 is a form of an image displayed when photographing through an image information collection unit according to an embodiment of the present invention and a two-dimensional coordinate system thereof. This is an example expressed as.

점선 영역은 가상의 전달하려는 영상을 의미하고 굵은 실선 영역은 스마트폰 단말과 같은 외부 정보 전달 장치에서 영상 정보가 실제로 표출되는 영역을 의미한다. The dotted line area means a virtual image to be transmitted, and the thick solid line area means an area in which image information is actually displayed in an external information delivery device such as a smartphone terminal.

가상의 전달하려는 영상은 편의상 {1, 2, 3, 4}라는 4개의 영역으로 표시하며, 실제로는 그 영역의 개수에 대한 조정이 가능하고, 그 형태로 격자 형태로 한정되지 않는다. For convenience, the virtual image to be transmitted is displayed in four areas, {1, 2, 3, 4}, and in reality, the number of areas can be adjusted, and the shape is not limited to a grid type.

도 18의 (a)에 도시한 바와 같이, 외부 정보 전달 장치에서 영상을 별도로 확대하지 않으면, {1,2,3,4}로 표기된 가상의 4개의 영역이 외부 정보 전달 장치의 화면에 모두 표현된다. As shown in (a) of FIG. 18, if the image is not separately enlarged by the external information delivery device, all four virtual areas marked with {1,2,3,4} are displayed on the screen of the external information delivery device. do.

외부 정보 전달 장치를 통해 영상을 확대하고 디스플레이 영역을 이동시키면 도 18의 (b), (c), (d), (e)와 같이 해당 화면에 상이한 영역들이 표시된다. When an image is enlarged and the display area is moved through an external information delivery device, different areas are displayed on the corresponding screen as shown in (b), (c), (d), and (e) of FIG. 18.

도 19는 도 18에 도시한 영상을 영상정보 수집부(110)를 통해 촬영함에 따른 영상의 모습을 도시한다. FIG. 19 shows an image of the image shown in FIG. 18 as captured through the image information collection unit 110.

점선 영역은 가상의 전달하려는 영상을 의미하고, 굵은 실선 영역은 외부 정보 전달 장치에서 영상 정보가 실제로 전달되는 영역을 의미한다. The dotted line area refers to a virtual image to be transmitted, and the thick solid line area refers to an area to which image information is actually transmitted from an external information delivery device.

영상이 표출되는 화면을 포함하는 외부 정보 전달 장치의 포지션 및 영상정보 수집부의 포지션에 따라, 실제로는 직사각형으로 표출되는 영상이 영상정보 수집부를 통해 왜곡된 모양으로 획득되는 것이다. According to the position of the external information transmission device including the screen on which the image is displayed and the position of the image information collection unit, the image that is actually expressed in a rectangle is obtained in a distorted shape through the image information collection unit.

본 발명의 실시예에 따르면, 도 19에 도시한 굵은 실선으로 표기되며 {A, B, C, D} 라는 4개의 좌표점들을 연결하는 내부 영역인 정보 전달 영역에 대한 자동 추정이 수행된다. According to an embodiment of the present invention, automatic estimation is performed on an information transfer area, which is an inner area that is indicated by a thick solid line shown in FIG. 19 and connects four coordinate points {A, B, C, D}.

{A, B, C, D} 점들을 추정하는 방식으로는 영상이 표출되는 화면에서 사용자가 영상들을 확대하거나 이동시키는 조작을 수행한 경우에 한하여, 이를 영상정보 수집부(110)가 연속적으로 영상을 촬영하고, 촬영된 영상들에서 배경과 전경을 분리하고, 전경 부분에서 4각형 폴리곤 객체를 영상처리 기법을 사용해서 추출함으로써, {A, B, C, D} 점들의 좌표값을 추정한다. As a method of estimating {A, B, C, D} points, the image information collection unit 110 continuously performs images only when the user performs an operation to enlarge or move the images on the screen on which the image is displayed. Is taken, the background and the foreground are separated from the captured images, and the square polygon object is extracted from the foreground part using an image processing technique, thereby estimating the coordinate values of the {A, B, C, D} points.

외부 정보 전달 장치를 통해 영상이 표출되는 화면 및 영상정보 수집부(110)의 상대적인 배치가 바뀌지 않는다면, 도 19에 도시한 (a), (b), (c), (d), (e)에 표기된 각각의 {A, B, C, D} 점들의 위치는 촬영이 지속되더라도 바뀌지 않게 될 것이고, 상대적인 배치가 바뀐다면 시간에 따라 이 점들의 위치도 바뀌게 된다. If the relative arrangement of the screen on which the image is displayed and the image information collection unit 110 is not changed through the external information delivery device, (a), (b), (c), (d), (e) shown in FIG. 19 The positions of each {A, B, C, D} point marked in will not change even if the shooting continues, and if the relative arrangement is changed, the positions of these points will also change over time.

{A, B, C, D} 점들의 위치는 촬영 과정 중 변경되지 않는 것이 바람직하나, 변경된 경우라고 하더라도 영상정보 수집부(110)가 고정된 상태이고, 외부 정보 전달 장치가 평평한 표면 위에서 병진운동(translation movement)이나 회전운동(rotational movement)만을 수행한다면 파라미터 추정 및 이를 이용한 영상 합성 및 변환이 용이하게 이루어진다. It is preferable that the positions of the {A, B, C, D} points do not change during the shooting process, but even if they are changed, the image information collection unit 110 is in a fixed state, and the external information transmission device performs translational movement on a flat surface. If only (translation movement) or rotational movement (rotational movement) is performed, parameter estimation and image synthesis and conversion using the parameters are easily performed.

부분영상을 수집하는 과정은 전술한 바와 같이 사용자 인터페이스를 제공하여 입력되는 명령에 따라 정보 전달 영역을 결정하거나, 영상정보 수집부(110)에 의해 연속적으로 영상이 수집되며 정보 전달 영역이 자동으로 결정된 결과에 따라, 정보 전달 영역 정보를 이용할 수 있을 때 해당 위치의 영상을 별도로 추출함으로써 부분영상에 대한 자동 수집이 가능하다. In the process of collecting partial images, as described above, the user interface is provided to determine an information transmission area according to an input command, or images are continuously collected by the image information collection unit 110 and the information transmission area is automatically determined. Depending on the result, when the information delivery area information is available, the partial image can be automatically collected by separately extracting the image of the corresponding location.

본 발명의 실시예에 따르면, 기설정된 기준 이상의 품질을 가지는 영상만을 별도로 수집하기 위해, 정보 전달 영역 내부의 영상 움직임 정보를 계산하고, 그 움직임이 사전에 설정한 임계값 이하인 경우에만 부분영상을 수집하는 것이 바람직하다. According to an embodiment of the present invention, in order to separately collect only images having a quality equal to or higher than a preset reference, image motion information inside the information delivery area is calculated, and partial images are collected only when the motion is less than a preset threshold. It is desirable to do it.

또한, 정보 전달 영역 내부의 영상 선명도 계수나 엔트로피를 계산하여 임계값 이상으로 선명한 경우에만 부분영상을 수집하는 것이 바람직하다. In addition, it is preferable to collect a partial image only when it is clearer than a threshold value by calculating the image sharpness coefficient or entropy inside the information transfer area.

이 때, Laplacian의 분산값을 계산하는 등의 다양한 방식이 적용된다. At this time, various methods such as calculating Laplacian's variance are applied.

한편, 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method for transmitting external image information in a secure environment according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. The computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components performs data communication through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit(CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or nonvolatile storage media. For example, the memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법을 수행할 수 있다.Accordingly, a method of transmitting external image information in a secure environment according to an embodiment of the present invention may be implemented in a computer-executable method. When a method for transmitting external image information in a secure environment according to an embodiment of the present invention is performed in a computer device, commands readable by a computer may perform the method for transmitting external image information in a secure environment according to the present invention.

한편, 상술한 본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the method for transmitting external image information in a secure environment according to the present invention may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, and the like. In addition, the computer-readable recording medium can be distributed in a computer system connected through a computer communication network, and stored and executed as codes that can be read in a distributed manner.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, we have looked at the center of the embodiments of the present invention. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (8)

화면 표시 장치의 확대 화면에 의해, 그 일부가 표출되는 부분 영상을 포함하는 복수 개의 외부 영상 정보를 획득하는 영상정보 수집부;
상기 외부 영상 정보에서 전달 대상 부분영상을 추출하는 정보 전달 영역 결정 및 부분영상 수집부;
영상 복원을 위한 변환행렬을 계산하여 복수 개의 상기 전달 대상 부분영상을 이용한 통합 영상을 합성하는 통합 영상 합성 및 변환행렬 계산부; 및
상기 변환행렬을 이용하여 영상의 복원본을 생성하고, 화질 개선을 수행하는 영상 변환 및 화질 개선부를 포함하고,
상기 영상 합성 및 변환행렬 계산부는 상기 복수 개의 전달 대상 부분영상에서 특징점을 검출하고, 상기 복수 개의 전달 대상 부분영상에서 검출한 특징점의 물리적 동일 지점 여부에 대한 매칭을 수행하여 상관성을 검사하고, 매칭 결과에 따라 상대적인 회전, 위치 이동 및 크기 변환 관계를 획득하고, 상기 복수 개의 전달 대상 부분영상을 정렬하여 상기 통합 영상을 합성하는 것
인 보안 환경에서의 외부 영상 정보 전송 시스템.
An image information collection unit that acquires a plurality of external image information including a partial image in which a part of the image is displayed by the enlarged screen of the screen display device;
An information transmission region determination and partial image collection unit for extracting a partial image to be transmitted from the external image information;
An integrated image synthesis and transformation matrix calculation unit that calculates a transformation matrix for image restoration and synthesizes an integrated image using a plurality of the partial images to be transmitted; And
An image conversion and image quality improvement unit for generating a reconstructed image using the transformation matrix and performing image quality improvement,
The image synthesis and transformation matrix calculation unit detects feature points in the plurality of transfer target partial images, performs matching on whether or not the feature points detected in the plurality of transfer target partial images are physically identical, and checks correlation, and a matching result Acquiring relative rotation, positional movement, and size conversion relationship according to, and synthesizing the integrated image by aligning the plurality of partial images to be transmitted
External video information transmission system in a secure environment.
삭제delete 삭제delete 제1항에 있어서,
상기 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 상기 변환행렬을 이용하여 상기 부분영상에 대한 보정을 수행하는 부분영상 보정 및 처리부
를 더 포함하는 보안 환경에서의 외부 영상 정보 전송 시스템.
The method of claim 1,
A partial image correction and processing unit that calculates a transformation matrix using coordinate information defining the information transmission area of the partial image and coordinate information about the shape of the final image, and performs correction on the partial image using the transformation matrix
External video information transmission system in a security environment further comprising a.
(a) 화면 표시 장치의 확대 화면에 의해, 그 일부가 표출되는 부분 영상을 포함하는 복수 개의 외부 영상 정보를 획득하는 단계;
(b) 상기 외부 영상 정보에서 전달 대상 부분영상을 추출하는 단계; 및
(c) 영상 복원을 위한 변환행렬을 계산하여 복수 개의 상기 전달 대상 부분영상을 이용한 통합 영상을 합성하는 단계를 포함하고,
상기 (c) 단계는 상기 복수 개의 전달 대상 부분영상에서 특징점을 검출하고, 상기 복수 개의 전달 대상 부분영상에서 검출한 특징점의 물리적 동일 지점 여부에 대한 매칭을 수행하여 상관성을 검사하고, 매칭 결과에 따라 상대적인 회전, 위치 이동 및 크기 변환 관계를 획득하고, 상기 복수 개의 전달 대상 부분영상을 정렬하여 상기 통합 영상을 합성하는 것
인 보안 환경에서의 외부 영상 정보 전송 방법.
(a) acquiring a plurality of external image information including a partial image in which a part of the image is displayed by an enlarged screen of the screen display device;
(b) extracting a transmission target partial image from the external image information; And
(c) calculating a transformation matrix for image restoration and synthesizing an integrated image using the plurality of sub-images to be transmitted,
In the step (c), a feature point is detected in the plurality of sub-images to be transmitted, and the correlation is checked by matching whether the feature points detected in the plurality of sub-images to be transmitted are physically identical, and Acquiring relative rotation, position movement, and size conversion relationships, and synthesizing the integrated image by aligning the plurality of transmission target partial images
External video information transmission method in a secure environment.
삭제delete 삭제delete 삭제delete
KR1020190156310A 2019-11-29 2019-11-29 System and method for transmitting external image in security environment KR102250873B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190156310A KR102250873B1 (en) 2019-11-29 2019-11-29 System and method for transmitting external image in security environment
PCT/KR2019/017085 WO2021107243A1 (en) 2019-11-29 2019-12-05 System for transmitting external image information in security environment and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156310A KR102250873B1 (en) 2019-11-29 2019-11-29 System and method for transmitting external image in security environment

Publications (1)

Publication Number Publication Date
KR102250873B1 true KR102250873B1 (en) 2021-05-11

Family

ID=75915111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156310A KR102250873B1 (en) 2019-11-29 2019-11-29 System and method for transmitting external image in security environment

Country Status (2)

Country Link
KR (1) KR102250873B1 (en)
WO (1) WO2021107243A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101462269B1 (en) * 2014-01-24 2014-11-13 (주)아이엔아이 part of picture storing method for high definition camera
KR101469717B1 (en) * 2012-05-30 2014-12-05 동의대학교 산학협력단 Video system and method using cameras with a wide angle
KR20180042030A (en) * 2016-10-17 2018-04-25 삼성전자주식회사 Apparatus and method for screen correcting of external display device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007014216A2 (en) * 2005-07-22 2007-02-01 Cernium Corporation Directed attention digital video recordation
KR20140146429A (en) * 2013-06-17 2014-12-26 전자부품연구원 CCTV image aquisition and management system and method using smart devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101469717B1 (en) * 2012-05-30 2014-12-05 동의대학교 산학협력단 Video system and method using cameras with a wide angle
KR101462269B1 (en) * 2014-01-24 2014-11-13 (주)아이엔아이 part of picture storing method for high definition camera
KR20180042030A (en) * 2016-10-17 2018-04-25 삼성전자주식회사 Apparatus and method for screen correcting of external display device

Also Published As

Publication number Publication date
WO2021107243A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
CN109064545B (en) Method and device for data acquisition and model generation of house
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
CN108154058B (en) Graphic code display and position area determination method and device
CN113365040A (en) Projection correction method, projection correction device, storage medium and electronic equipment
US11064095B2 (en) Image displaying system, communication system, and method for image displaying
CN111246080B (en) Control apparatus, control method, image pickup apparatus, and storage medium
CN110928509B (en) Display control method, display control device, storage medium, and communication terminal
KR100888935B1 (en) Method for cooperation between two cameras in intelligent video surveillance systems
CN105933676B (en) Remote control table based on graphical analysis
KR102609734B1 (en) electronic device and method for revising image based on transfer status of image
WO2017013986A1 (en) Information processing device, terminal, and remote communication system
KR102250873B1 (en) System and method for transmitting external image in security environment
KR20120046509A (en) Method and for apparatus for adjusting camera focus
JP6004978B2 (en) Subject image extraction device and subject image extraction / synthesis device
JP5864371B2 (en) Still image automatic generation system, worker information processing terminal, instructor information processing terminal, and determination device in still image automatic generation system
US20210125339A1 (en) Method and device for segmenting image, and storage medium
US20210034875A1 (en) Computer implemented structural thermal audit systems and methods
JP7328849B2 (en) IMAGING DEVICE, SYSTEM, CONTROL METHOD OF IMAGING DEVICE, AND PROGRAM
US20220321774A1 (en) Method for assisting the acquisition of media content at a scene
JP6483326B2 (en) Monitoring system and terminal device
JP2021052325A (en) Image capture device, system, method for controlling image capture device, and program
JP6620979B2 (en) Portable terminal, projection system, control method and program for projection system
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
JP4333255B2 (en) Monitoring device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant