WO2021107243A1 - System for transmitting external image information in security environment and method therefor - Google Patents

System for transmitting external image information in security environment and method therefor Download PDF

Info

Publication number
WO2021107243A1
WO2021107243A1 PCT/KR2019/017085 KR2019017085W WO2021107243A1 WO 2021107243 A1 WO2021107243 A1 WO 2021107243A1 KR 2019017085 W KR2019017085 W KR 2019017085W WO 2021107243 A1 WO2021107243 A1 WO 2021107243A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
external
partial
image information
Prior art date
Application number
PCT/KR2019/017085
Other languages
French (fr)
Korean (ko)
Inventor
박종빈
정종진
박성주
김경원
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Publication of WO2021107243A1 publication Critical patent/WO2021107243A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to a system and method for transmitting external image information in a secure environment.
  • the present invention has been proposed to solve the above problems, and in an environment requiring strict security, it is possible to provide an external image information transmission system and method that can minimize the security problem regarding image information acquired from the outside and transmit it to the main system. Its purpose is to provide
  • the system for transmitting external image information in a secure environment comprises an image information collecting unit for acquiring external image information, and an information delivery area determining and partial image collecting unit for extracting a partial image to be delivered from the external image information. do it with
  • the information transfer area determination and partial image collection unit determines an information transfer area within a screen display area of the external data transfer device, and collects a plurality of partial images corresponding to the information transfer area.
  • the system for transmitting external image information in a secure environment uses an integrated image synthesis and transformation matrix calculator that synthesizes an integrated image using a plurality of partial images, calculates a transformation matrix for image restoration, and a transformation matrix to generate a restored copy of the image, and may further include an image conversion and image quality improvement unit for improving image quality.
  • the external image information transmission system in a security environment performs correction of a partial image through a transformation matrix calculated using coordinate information defining an information delivery area of a partial image and coordinate information on a shape of a final image. It may further include a partial image correction and processing unit to perform.
  • the method for transmitting external image information in a secure environment comprises the steps of (a) acquiring external image information by photographing an external data transfer device, and (b) determining an information transfer area using the external image information, and delivering information and collecting a partial image corresponding to the region.
  • Step (b) determines the information delivery area expressed by a preset number of coordinates according to the expansion and movement of the expression area in the external data transfer device.
  • the method for transmitting external image information in a secure environment according to the present invention may further include (c-1) synthesizing an integrated image using a plurality of partial images, and generating and transmitting a reconstructed image according to a transformation matrix.
  • a transformation matrix is calculated using coordinate information defining an information delivery area of a partial image and coordinate information about a shape of a final image, and the transformation matrix
  • the method may further include correcting the partial image using .
  • VMS Video Management Systems
  • FIG. 1 shows a security system operating method according to the prior art.
  • FIG. 2 illustrates an external image information transmission system in a secure environment according to an embodiment of the present invention.
  • FIG. 3 illustrates a video information transmission procedure according to an embodiment of the present invention.
  • FIG. 4 illustrates an external image information transmission system in a secure environment according to an embodiment of the present invention.
  • FIG. 5 illustrates the transfer of external data to an auxiliary system while maintaining security according to an embodiment of the present invention.
  • FIG. 6 illustrates delivery of external data to a core security system while maintaining security according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating collecting images taken from the outside according to an embodiment of the present invention.
  • FIG 9 shows an example in which an original photo to be delivered is displayed through the screen display unit of the terminal device.
  • 10A to 10I show image size adjustment or position adjustment on an external image information display screen.
  • FIG. 11 shows a virtual representation of an information transfer area in a captured image.
  • FIG. 12 is a diagram illustrating an information delivery area extracted from collected images.
  • FIG. 14 shows a result of converting the image pasted in FIG. 13 into a rectangular shape.
  • 15 is a diagram illustrating a process of transferring an image displayed on a screen display unit of an auxiliary system to a core security system according to an embodiment of the present invention.
  • FIG 16 illustrates an external data transfer scheme according to an embodiment of the present invention.
  • FIG. 17 illustrates a process of determining an information delivery area and collecting a partial image according to an embodiment of the present invention.
  • FIG. 18 illustrates a process for automatically determining an information delivery area according to an embodiment of the present invention.
  • 19 is an example of a shape of an image shown when shooting through an image information collecting unit according to an embodiment of the present invention and expressing it in a two-dimensional coordinate system.
  • a report is received at a police station or a fire station, and at this time, the person in charge provides a picture of the person to be found to the CCTV monitoring site, so that a specific person or object is searched/monitored.
  • the picture stored in the mobile terminal such as a smartphone that has been reported and received is displayed through the screen and shown to the person in charge of the CCTV monitoring site. It follows the method of registering with the controller and delivering it to the controllers, and the controllers perform search and monitoring using the delivered information.
  • a Moire pattern may appear in the photographed photo or video, and the image obtained by adding the reflection phenomenon by the ambient light source image quality is further deteriorated.
  • a more important issue in the field is that the resolution of the delivered image may be very low because it follows a method of re-shooting an image displayed on a limited screen size.
  • the core security system 11 is a system that must strictly block external attacks.
  • the core security system 11 may display information in conjunction with the core security system screen display unit 12 .
  • the auxiliary system 21 is separate from the core security system 11 .
  • the auxiliary system 21 displays information worthy of reference through the auxiliary system screen display unit 22 .
  • the users using the system in FIG. 1 are the security system operator using the core security system 11 and the external data forwarder using the auxiliary system 21 .
  • Security system operators can only check the photos or videos provided by the external data transmitter through the auxiliary system screen display unit 22 , because in essence, external data is not directly linked with the core security system 11 .
  • the auxiliary system 21 when the external data is copied, the auxiliary system 21 performs a malicious program inspection and various security inspections, and then, when it is confirmed that there is no problem, the external data can be moved to the core security system 11 .
  • the present invention has been proposed in view of the above problems, and proposes a system and method for transmitting and processing external image information in a secure environment.
  • the CCTV monitoring site operated for the public benefit, that is, for security reasons, it is necessary to be clearly separated from external networks such as the Internet and cellular wireless communication networks, and to prevent potential external attacks by virus programs or hacking programs.
  • external networks such as the Internet and cellular wireless communication networks
  • wired/wireless interworking through external devices such as external memory or smartphones can be applied to a strictly controlled security environment.
  • the present invention can be utilized in various environments where there is a need to receive video information from the outside in a system that strictly requires security, as well as at the CCTV monitoring site.
  • the device/terminal providing external data includes a screen display device.
  • the device/terminal providing external data preferably provides a function of adjusting the size of the image or adjusting the display area of the image, but in the absence of such a function, the image is displayed only with the displayed information.
  • FIG. 2 illustrates an external image information transmission system in a secure environment according to an embodiment of the present invention.
  • An external image information transmission system in a secure environment includes an image information collection unit 110 for acquiring external image information, and an information delivery area determination and partial image collection unit for extracting a partial image to be delivered from external image information ( 120).
  • the image information collection unit 110 uses an image collection device such as a camera to photograph an external image information display screen, and transmits it to the information delivery area determination and partial image collection unit 120 .
  • an image collection device such as a camera to photograph an external image information display screen
  • the resolution of the image information collecting unit 110 has a resolution higher than or equal to the reference resolution in consideration of the quality of the image to be collected.
  • the controller controls the position of the image information collection unit 110 so that it can be robust from the influence of ambient lighting.
  • the support unit serves to support the image information collecting unit 110 so that there is no movement or shaking during the photographing process.
  • the information transfer area determination and partial image collection unit 120 determines an information transfer area within the screen display area of the external data transfer device, and collects a plurality of partial images corresponding to the information transfer area.
  • An external image information transmission system in a security environment comprises an integrated image synthesis and transformation matrix calculator 130 that synthesizes an integrated image using a plurality of partial images and calculates a transformation matrix for image restoration, and the transformation It may further include an image conversion and image quality improvement unit 140 that generates a reconstructed image using the matrix and performs image quality improvement.
  • the external image information transmission system in a secure environment through a transformation matrix calculated using coordinate information defining an information delivery area of a partial image and coordinate information about a shape of a final image, It may further include a partial image correction and processing unit 140150 for performing correction on the partial image.
  • FIG. 3 illustrates a procedure for transmitting external image information in a secure environment according to an embodiment of the present invention.
  • the method for transmitting external image information in a secure environment comprises the steps of (a) acquiring external image information by photographing an external data transfer device, and (b) determining an information transfer area using the external image information, and delivering information and collecting a partial image corresponding to the region.
  • Step (b) determines the information delivery area expressed by a preset number of coordinates according to the expansion and movement of the expression area in the external data transfer device.
  • the method for transmitting external image information in a secure environment according to the present invention may further include (c-1) synthesizing an integrated image using a plurality of partial images, and generating and transmitting a reconstructed image according to a transformation matrix.
  • a transformation matrix is calculated using coordinate information defining an information delivery area of a partial image and coordinate information about a shape of a final image, and the transformation matrix
  • the method may further include correcting the partial image using .
  • the image information collection unit 110 acquires external image information by photographing an external image information display screen.
  • the information delivery area determination and partial image collection unit 120 extracts a partial image to be transmitted from the camera image, and collects a plurality of partial images.
  • the integrated image synthesis and transformation matrix calculator 130 synthesizes the integrated image using a plurality of partial images and calculates a transformation matrix for image restoration.
  • the image conversion and image quality improvement unit 140 generates a restored copy of the image to be transmitted using the transformation matrix, but performs image quality improvement in order to process a flare phenomenon due to a moire pattern or backlight.
  • the integrated image synthesis and transformation matrix calculator 130 examines the correlation between the plurality of images collected through the information transfer region determination and partial image collection unit 120, and the relative positions between the images. A single image is created by finding the size transformation relationship with and aligning the images according to their position.
  • a matching process of detecting a feature point in partial images, checking whether the feature points between the partial images physically mean the same point is performed, and homography conversion is performed through the matching Transformation parameters such as matrices are found, and rotation, position movement, and size change are performed using the transformation parameters.
  • the image conversion and image quality improvement unit 140 converts a single image created through the integrated image synthesis and transformation matrix calculation unit 130 into a rectangular region, and a final image quality improvement process for this carry out
  • the reason for performing the image quality improvement process is that, depending on the process of re-acquiring the information displayed on the screen using the image information collecting device 110 such as a camera, a moire pattern or backlight may exist.
  • the image extracted by the information transfer area determination and partial image collection unit 120 has a distorted shape, it is necessary to correct it.
  • the partial image correction and processing unit 150 performs correction and processing using ⁇ A, B, C, D ⁇ information describing the information transfer area that is planned to correct the distorted images. carry out
  • a transformation matrix is calculated using the ⁇ A, B, C, D ⁇ coordinate information and four coordinates for the shape of the final image to be transformed, and an undistorted rectangular partial image is obtained using the transformation matrix.
  • the ratio of the horizontal and vertical lengths of the corrected image may be different from the original ratio, which can be processed using an image processing tool.
  • the partial image correction and processing unit 150 may include a moire pattern or a flare phenomenon caused by backlight, such information is removed and the image quality is improved.
  • Figure 5 shows the transfer of external data to the secondary system in a state of maintaining security according to an embodiment of the present invention
  • Figure 6 is a core security system for external data in a state of maintaining security according to an embodiment of the present invention is shown to be transmitted to
  • the external image information transmission system 100 transmits external data to the auxiliary system 21 in a state in which security is maintained, and as shown in FIG. It is possible to transmit external data to the core security system 11 in a state where security is maintained.
  • FIG. 7 is a diagram illustrating collecting images taken from the outside according to an embodiment of the present invention.
  • FIG. 7 illustrates a process of transmitting an externally photographed image to an external image information transmission system by an external data transmitter.
  • the terminal device (D) such as a smartphone is turned on on a flat surface such as a table, a picture to be transmitted is displayed on the screen, and the image information collection unit 110 of the external image information transmission system is operated, the image information about it is acquire
  • the image information collection unit 110 and the external data transmission device D shown in FIG. 7 do not move as much as possible in the process of transferring the image, and the range in which the movement is allowed is also performed on a flat surface by translation movement. or limited to rotational movement.
  • FIG. 8 shows an original photo to be transmitted when an external data transmitter wants to transmit a photo contained in a terminal device such as a smartphone to the auxiliary system 21 or the core security system 11 .
  • FIG 9 shows an example in which an original photo to be delivered is displayed through the screen display unit of the terminal device (D).
  • an external data transferor displays a picture on a smart phone (external data transfer device, D) as shown in FIG. 9 and shows it to the security system operator, or by re-photographing it, the auxiliary system 21 ) or to the core security system 11, at this time, find the area you want to emphasize and adjust the size to show it.
  • 10A to 10I show image size adjustment or position adjustment on the external image information display screen, through which it is possible to deliver images of better quality than simple shooting.
  • 10A to 10I illustrate, for example, multiple shooting of 9 images, but the number of images targeted for multiple shooting is not limited thereto.
  • an image of which a part is expressed by magnification of the screen is defined as a partial image.
  • FIG. 11 shows a virtual representation of an information transfer area in a captured image.
  • FIG. 11 shows a virtual region to which actual information is transmitted in the process of acquiring the images of FIGS. 10A to 10I .
  • the information transfer area is represented by a rectangle represented by four points ⁇ A, B, C, D ⁇ .
  • the information transfer area has an arbitrary rectangular shape according to the relative arrangement state of the subject and the camera.
  • the image obtained by the image information collecting unit 110 can be expressed as information expressed in the two-dimensional image coordinate system, and ⁇ A, B, C, D ⁇ points are x and y coordinates respectively in the two-dimensional image coordinate system. represented by dots.
  • the information delivery area is usually inside the screen display area of the terminal to transmit information, because the original photo to be transmitted is displayed only in the screen display area.
  • the entire screen display area does not necessarily become an information transfer area.
  • a user interface is provided to determine the information delivery area, or the information delivery area is automatically determined.
  • FIGS. 10A to 10I are diagrams illustrating an information delivery area extracted from images collected according to the process illustrated in FIGS. 10A to 10I together.
  • an image within the area is extracted, and when a plurality of images are displayed together, as shown in FIG. 12 .
  • the plurality of images have slightly different sizes and directions, they appear discontinuous as a whole, and when the ambient light source is changed or the collection parameter of the image information collection unit 110 is changed, the colors are slightly different between the plurality of images. do.
  • FIG. 13 shows the result of an ideal image obtained by extracting a partial image corresponding to the determined information delivery area from the collected images as shown in FIG. 12 and attaching the extraction results to one.
  • FIG. 14 shows the result of converting the pasting-processed image in FIG. 13 into a rectangular form, and converting the pasting-processed image in FIG. 13 into a rectangular form using a transformation parameter such as a homography matrix calculated by a preset method. one result is shown.
  • image information on external data provided by the external data transmitter is transmitted to the security system or the core security system.
  • the image displayed on the auxiliary system screen display unit is transmitted to the core security system in a state where security is maintained.
  • the image information collection unit 110 controls the external data displayed through the auxiliary system screen display unit 22 . acquire an image
  • FIG. 17 illustrates a process of determining an information delivery area and collecting a partial image according to an embodiment of the present invention.
  • step S1701 If it is confirmed that the information delivery area is automatically determined in step S1701, an automatic determination of the information delivery area is performed (S1702), and when it is confirmed that the information delivery area is not automatically determined in step S1701, a user interface is provided The information delivery area is determined according to the input command (S1703).
  • step S1703 the captured image is displayed on a monitor or the like, and the ⁇ A, B, C, D ⁇ position coordinates defining the information transfer area are determined through a screen touch interface or a mouse interface, etc., and provide a function.
  • step S1704 it is checked whether or not to automatically collect partial images.
  • step S1705 the partial image in which the information delivery area is determined is automatically collected.
  • step S1706 the partial image is collected according to an input command by providing a user interface in relation to the collection of the partial image in which the information delivery area is determined.
  • a partial image of the information delivery area is collected according to a preset method such as a button such as 'start shooting' or a specific keyboard command.
  • FIG. 18 shows an automatic determination process for an information delivery area according to an embodiment of the present invention
  • FIG. 19 is a shape of an image shown when shooting through an image information collection unit according to an embodiment of the present invention and a two-dimensional coordinate system. This is an example expressed as
  • a dotted line area means an image to be transmitted virtual
  • a thick solid line area means an area where image information is actually displayed in an external information delivery device such as a smartphone terminal.
  • the virtual image to be transmitted is displayed as four areas ⁇ 1, 2, 3, 4 ⁇ for convenience, and in reality, the number of areas can be adjusted, and the form is not limited to a grid form.
  • FIG. 19 is a view showing an image as the image shown in FIG. 18 is photographed through the image information collecting unit 110 .
  • a dotted line area means an image to be transmitted virtual
  • a thick solid line area means an area where image information is actually transmitted from an external information delivery device.
  • the image that is actually displayed as a rectangle is obtained in a distorted shape through the image information collection unit.
  • automatic estimation is performed on the information transfer area, which is an internal area that is indicated by the thick solid line shown in FIG. 19 and connects four coordinate points ⁇ A, B, C, D ⁇ .
  • the image information collection unit 110 continuously displays the image only when the user performs an operation to enlarge or move the images on the screen on which the image is displayed.
  • the coordinate values of ⁇ A, B, C, D ⁇ points are estimated by photographing , separating the background and foreground from the captured images, and extracting a polygonal polygon object from the foreground part using an image processing technique.
  • the positions of the ⁇ A, B, C, D ⁇ points are not changed during the photographing process, but even if they are changed, the image information collecting unit 110 is in a fixed state, and the external information transmitting device moves translationally on a flat surface. If only translation movement or rotational movement is performed, parameter estimation and image synthesis and transformation using the same are easily performed.
  • an information delivery area is determined according to an input command by providing a user interface, or images are continuously collected by the image information collection unit 110 and the information delivery area is automatically determined. According to the result, when information delivery area information is available, automatic collection of partial images is possible by separately extracting the image of the corresponding location.
  • image motion information in the information delivery area is calculated, and partial images are collected only when the motion is less than or equal to a preset threshold. It is preferable to do
  • the partial image only when the image sharpness coefficient or entropy within the information transfer area is calculated and is clearer than a threshold value.
  • the method for transmitting external image information in a secure environment may be implemented in a computer system or recorded in a recording medium.
  • the computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and storage. Each of the above-described components performs data communication through a data communication bus.
  • the computer system may further include a network interface coupled to the network.
  • the processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or a storage.
  • the memory and storage may include various types of volatile or non-volatile storage media.
  • memory may include ROM and RAM.
  • the method for transmitting external image information in a secure environment according to an embodiment of the present invention may be implemented as a computer-executable method.
  • computer readable instructions may perform the method for transmitting external image information in a secure environment according to the present invention.
  • the method for transmitting external image information in a secure environment according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes any type of recording medium in which data that can be read by a computer system is stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like.
  • the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.

Abstract

The present invention relates to a system for transmitting external image information in a security environment, and a method therefor. The system for transmitting external image information in a security environment according to the present invention comprises: an image information collection unit for acquiring external image information; and an information transfer area determination and partial image collection unit for extracting, from the external image information, a partial area to be transferred.

Description

보안 환경에서의 외부 영상 정보 전송 시스템 및 그 방법External image information transmission system and method in security environment
본 발명은 보안 환경에서 외부 영상 정보를 전송하는 시스템 및 그 방법에 관한 것이다. The present invention relates to a system and method for transmitting external image information in a secure environment.
종래 기술에 따르면, CCTV 모니터링 현장과 같이 엄격한 보안 유지가 필요한 환경에서의 잠재적인 해킹 위험성, 바이러스 코드 이식 등의 우려로 인해, 영상이 표시되는 화면을 재촬영하는 방식으로 필요한 정보를 전달받는다. According to the prior art, due to the potential hacking risk in an environment requiring strict security maintenance, such as a CCTV monitoring site, concerns about virus code transplantation, etc., the necessary information is transmitted by re-photographing the screen on which the image is displayed.
그런데, 이러한 방식에 따르면 전달받은 영상의 화질이 심각하게 열화되는 문제점이 있다. However, according to this method, there is a problem in that the quality of the received image is seriously deteriorated.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 엄격한 보안이 요구되는 환경에서, 외부로부터 취득된 영상 정보에 관한 보안 문제를 최소화하며 메인 시스템으로 전달하는 것이 가능한 외부 영상 정보 전송 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and in an environment requiring strict security, it is possible to provide an external image information transmission system and method that can minimize the security problem regarding image information acquired from the outside and transmit it to the main system. Its purpose is to provide
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 외부 영상 정보를 획득하는 영상정보 수집부와, 외부 영상 정보에서 전달 대상 부분영상을 추출하는 정보 전달 영역 결정 및 부분영상 수집부를 포함하는 것을 특징으로 한다. The system for transmitting external image information in a secure environment according to the present invention comprises an image information collecting unit for acquiring external image information, and an information delivery area determining and partial image collecting unit for extracting a partial image to be delivered from the external image information. do it with
정보 전달 영역 결정 및 부분영상 수집부는 외부 데이터 전달 장치의 화면 표시 영역 내의 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 복수 개의 부분영상을 수집한다. The information transfer area determination and partial image collection unit determines an information transfer area within a screen display area of the external data transfer device, and collects a plurality of partial images corresponding to the information transfer area.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산하는 통합 영상 합성 및 변환행렬 계산부와, 변환행렬을 이용하여 영상의 복원본을 생성하고, 화질 개선을 수행하는 영상 변환 및 화질 개선부를 더 포함할 수 있다. The system for transmitting external image information in a secure environment according to the present invention uses an integrated image synthesis and transformation matrix calculator that synthesizes an integrated image using a plurality of partial images, calculates a transformation matrix for image restoration, and a transformation matrix to generate a restored copy of the image, and may further include an image conversion and image quality improvement unit for improving image quality.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 계산한 변환행렬을 통해, 부분영상에 대한 보정을 수행하는 부분영상 보정 및 처리부를 더 포함할 수 있다. The external image information transmission system in a security environment according to the present invention performs correction of a partial image through a transformation matrix calculated using coordinate information defining an information delivery area of a partial image and coordinate information on a shape of a final image. It may further include a partial image correction and processing unit to perform.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (a) 외부 데이터 전달 장치를 촬영하여 외부 영상 정보를 획득하는 단계 및 (b) 외부 영상 정보를 이용하여 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 부분영상을 수집하는 단계를 포함하는 것을 특징으로 한다. The method for transmitting external image information in a secure environment according to the present invention comprises the steps of (a) acquiring external image information by photographing an external data transfer device, and (b) determining an information transfer area using the external image information, and delivering information and collecting a partial image corresponding to the region.
(b) 단계는 외부 데이터 전달 장치에서의 확대 및 표출 영역 이동에 따라, 기설정된 개수의 좌표들로 표현되는 정보 전달 영역을 결정한다.Step (b) determines the information delivery area expressed by a preset number of coordinates according to the expansion and movement of the expression area in the external data transfer device.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-1) 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 변환행렬에 따라 영상의 복원본을 생성하여 전송하는 단계를 더 포함할 수 있다. The method for transmitting external image information in a secure environment according to the present invention may further include (c-1) synthesizing an integrated image using a plurality of partial images, and generating and transmitting a reconstructed image according to a transformation matrix. can
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-2) 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 변환행렬을 이용하여 부분영상에 대해 보정하는 단계를 더 포함할 수 있다. In the method for transmitting external image information in a secure environment according to the present invention (c-2), a transformation matrix is calculated using coordinate information defining an information delivery area of a partial image and coordinate information about a shape of a final image, and the transformation matrix The method may further include correcting the partial image using .
본 발명의 실시예에 따르면, 공공의 이익을 위해 운용되는 CCTV 모니터링 현장, 다양한 Video Management System (VMS), 기타 엄격한 보안이 요구되는 환경에서 적용되어, 보안을 유지하며 외보부 영상 정보를 메인 시스템으로 전달하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, it is applied to CCTV monitoring sites operated for public benefit, various Video Management Systems (VMS), and other environments requiring strict security, and maintains security and uses external video information as the main system. There is an effect that can be transmitted.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 종래 기술에 따른 보안 시스템 운용 방식을 도시한다. 1 shows a security system operating method according to the prior art.
도 2는 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 시스템을 도시한다. 2 illustrates an external image information transmission system in a secure environment according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 영상 정보 전송 절차를 도시한다. 3 illustrates a video information transmission procedure according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 시스템을 도시한다. 4 illustrates an external image information transmission system in a secure environment according to an embodiment of the present invention.
도 5는 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 보조 시스템으로 전달하는 것을 도시한다. 5 illustrates the transfer of external data to an auxiliary system while maintaining security according to an embodiment of the present invention.
도 6은 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 핵심 보안 시스템으로 전달하는 것을 도시한다. 6 illustrates delivery of external data to a core security system while maintaining security according to an embodiment of the present invention.
도 7은 본 발명의 실시예에 따라 외부에서 촬영된 영상을 수집하는 것을 도시한다. 7 is a diagram illustrating collecting images taken from the outside according to an embodiment of the present invention.
도 8은 전달 대상이 되는 원본 사진의 예를 도시한다. 8 shows an example of an original photo to be delivered.
도 9는 전달 대상이 되는 원본 사진을 단말 장치의 화면 표시부를 통해 표출한 예를 도시한다. 9 shows an example in which an original photo to be delivered is displayed through the screen display unit of the terminal device.
도 10a 내지 도 10i는 외부 영상 정보 표출 화면에서의 영상 크기 조절 또는 위치 조절을 도시한다. 10A to 10I show image size adjustment or position adjustment on an external image information display screen.
도 11은 촬영된 영상에서의 정보 전달 영역에 대한 가상 표시를 도시한다. 11 shows a virtual representation of an information transfer area in a captured image.
도 12는 수집된 영상들에서 추출된 정보 전달 영역을 함께 도시한 것이다. 12 is a diagram illustrating an information delivery area extracted from collected images.
도 13은 정보 전달 영역에 대해서 추출된 영상을 붙이기 처리한 결과를 도시한다. 13 shows the result of pasting the extracted image for the information delivery area.
도 14는 도 13에서 붙이기 처리한 영상을 직사각형 형태로 변환한 결과를 도시한다. FIG. 14 shows a result of converting the image pasted in FIG. 13 into a rectangular shape.
도 15는 본 발명의 실시예에 따른, 보조 시스템 화면 표시부에 표시된 영상을 핵심 보안 시스템으로 전달하는 과정을 도시한다. 15 is a diagram illustrating a process of transferring an image displayed on a screen display unit of an auxiliary system to a core security system according to an embodiment of the present invention.
도 16은 본 발명의 실시예에 따른, 외부 데이터 전달 방식을 도시한다. 16 illustrates an external data transfer scheme according to an embodiment of the present invention.
도 17은 본 발명의 실시예에 따른 정보 전달 영역 결정 및 부분영상 수집 과정을 도시한다. 17 illustrates a process of determining an information delivery area and collecting a partial image according to an embodiment of the present invention.
도 18은 본 발명의 실시예에 따른 정보 전달 영역 자동 결정 과정을 도시한다. 18 illustrates a process for automatically determining an information delivery area according to an embodiment of the present invention.
도 19는 본 발명의 실시예에 따른 영상정보 수집부를 통한 촬영 시, 보여지는 영상의 형태 및 이를 2차원 좌표계로 표현한 예시이다. 19 is an example of a shape of an image shown when shooting through an image information collecting unit according to an embodiment of the present invention and expressing it in a two-dimensional coordinate system.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above and other objects, advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the following embodiments are intended for those of ordinary skill in the art to which the present invention pertains. It is only provided to easily inform the configuration and effect, and the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.On the other hand, the terms used herein are for the purpose of describing the embodiments and are not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and/or "comprising" means that a referenced element, step, operation and/or element is the presence of one or more other elements, steps, operations and/or elements. or added.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다. Hereinafter, in order to facilitate the understanding of those skilled in the art, the background to which the present invention is proposed will be first described, and embodiments of the present invention will be described.
공공의 이익을 위해 운용되는 CCTV 모니터링 현장에서는 사건이 발생함에 따라, 다양한 사건 영상이 제공된다. In the CCTV monitoring site operated for the public interest, various incident images are provided as an incident occurs.
예컨대 독거노인이나 어린이가 귀가하지 않는 경우, 경찰서나 소방서 등에 신고가 접수되고, 이때 담당자는 찾고자 하는 사람의 사진을 CCTV 모니터링 현장에 제공함으로써, 특정 인물이나 객체에 대한 검색/모니터링이 수행된다. For example, when an elderly person living alone or a child does not go home, a report is received at a police station or a fire station, and at this time, the person in charge provides a picture of the person to be found to the CCTV monitoring site, so that a specific person or object is searched/monitored.
그런데 통상적으로 CCTV 모니터링 현장에서는 신고 접수된 스마트폰과 같은 모바일 단말에 저장된 사진을 화면을 통해 표출하여 CCTV 모니터링 현장의 담당자에게 보여주면, 이를 보안 환경에 설치된 카메라나 기타 단말장치로 재촬영하여 보안 시스템에 등록하고 이를 관제사들에게 전달하는 방식을 따르며, 전달된 각종 정보를 이용하여 관제사들은 검색 및 모니터링을 수행한다. However, usually at the CCTV monitoring site, the picture stored in the mobile terminal such as a smartphone that has been reported and received is displayed through the screen and shown to the person in charge of the CCTV monitoring site. It follows the method of registering with the controller and delivering it to the controllers, and the controllers perform search and monitoring using the delivered information.
보다 편리하고 처리 속도가 빠른 다양한 다른 데이터 전송방법이 존재하는데도 불구하고, 이렇게 번거로운 방식을 적용하고 있는 이유는 CCTV 모니터링 현장의 엄격한 보안 유지 필요성 때문이다. Although there are various other data transmission methods that are more convenient and have a faster processing speed, this cumbersome method is applied because of the need to maintain strict security at the CCTV monitoring site.
시스템이 인터넷과 같은 외부 네트워크 혹은 셀룰러 망이나 각종 원/근거리 무선통신망들과 연결이 되는 경우, 잠재적인 해킹의 위험성이 높아진다. When the system is connected to an external network such as the Internet, a cellular network, or various remote/local area wireless networks, the risk of potential hacking increases.
또한, USB나 스마트폰 등을 시스템에 유선으로 연결하는 경우, 바이러스 코드나 해킹 코드와 같은 악성 프로그램들이 이식될 수 있는 위험이 있다. In addition, when a USB or smart phone is connected to the system by wire, there is a risk that malicious programs such as virus codes or hacking codes may be ported.
따라서, 영상이 표시되는 화면을 다시 촬영하는 방식으로 필요한 정보를 전달받는 것이 보안 측면에서 안전하다고 인식되어 왔다.Therefore, it has been recognized that it is safe in terms of security to receive necessary information by re-photographing a screen on which an image is displayed.
그러나, 이러한 방식에 따르면 보안성은 유지될 수 있지만, 전달받은 영상의 화질이 심각하게 열화되는 문제점이 있다. However, according to this method, although security can be maintained, there is a problem in that the image quality of the received image is seriously deteriorated.
예컨대 영상을 표출하는 화면표시장치의 화소배열 상태와 카메라의 해상도의 영향으로 인해, 촬영된 사진이나 동영상에 무아레 패턴(Moire Pattern)이 나타나기도 하며, 주변 광원에 의한 반사 현상이 더해져서 획득된 영상의 화질이 더욱 열화된다. For example, due to the influence of the pixel arrangement state of the screen display device that displays the image and the resolution of the camera, a Moire pattern may appear in the photographed photo or video, and the image obtained by adding the reflection phenomenon by the ambient light source image quality is further deteriorated.
이보다 더 현장에서 중요하게 여기는 이슈는 제한된 화면 크기에 표시된 영상을 재촬영하는 방식에 따르는 것이어서, 전달 영상의 해상도가 매우 낮아질 수 있다는 문제점이다. A more important issue in the field is that the resolution of the delivered image may be very low because it follows a method of re-shooting an image displayed on a limited screen size.
전술한 바와 같이, 외부 네트워크 연결이나 유무선 통신 방식을 사용한 데이터 전송 방법을 사용하면 잠재적 위험성을 완전히 배제할 수 없기 때문에, 종래 기술에 따르면 도 1에 도시한 바와 같이 시스템을 분리하는 방식을 사용한다. As described above, when a data transmission method using an external network connection or a wired/wireless communication method is used, a potential risk cannot be completely excluded. Therefore, according to the prior art, a method of separating a system as shown in FIG. 1 is used.
도 1에서 핵심 보안 시스템(11)은 외부의 공격을 엄격히 차단해야 하는 시스템으로 가정한다. 1, it is assumed that the core security system 11 is a system that must strictly block external attacks.
핵심 보안 시스템(11)은 핵심 보안 시스템 화면 표시부(12)와 연동되어 정보를 표시할 수 있다. The core security system 11 may display information in conjunction with the core security system screen display unit 12 .
보조 시스템(21)은 핵심 보안 시스템(11)과는 분리되어 있다. The auxiliary system 21 is separate from the core security system 11 .
보조 시스템(21)은 보조 시스템 화면 표시부(22)를 통해 참고할 만한 정보들을 표시한다. The auxiliary system 21 displays information worthy of reference through the auxiliary system screen display unit 22 .
도 1에서 시스템을 사용하는 사용자들은 핵심 보안 시스템(11)을 사용하는 보안 시스템 운용자와, 보조 시스템(21)을 사용하는 외부 데이터 전달자이다. The users using the system in FIG. 1 are the security system operator using the core security system 11 and the external data forwarder using the auxiliary system 21 .
보안 시스템 운용자들은 외부 데이터 전달자가 제공한 사진이나 동영상을 보조 시스템 화면 표시부(22)를 통해서만 확인할 수 있게 되는데, 이는 본질적으로 외부 데이터가 핵심 보안 시스템(11)과 바로 연동되지 않기 때문이다. Security system operators can only check the photos or videos provided by the external data transmitter through the auxiliary system screen display unit 22 , because in essence, external data is not directly linked with the core security system 11 .
이러한 경우, 보안 시스템 운용자들은 보조 시스템 화면 표시부(22)에 표시된 정보만을 시각적으로 보고 판단하여야 한다는 제약이 있어, 영상의 크기를 조절하여 확인하거나, 원하는 부분을 상세히 검토하기 어려운 문제점이 있다. In this case, there is a constraint that the security system operators must visually see and judge only the information displayed on the auxiliary system screen display unit 22 , so it is difficult to confirm by adjusting the size of the image or to examine the desired part in detail.
종래 기술에 따르면, 보조 시스템(21)은 외부 데이터가 복사되면 악성 프로그램 검사 및 각종 보안 검사 등을 수행한 후, 문제가 없는 것으로 확인되면 외부 데이터를 핵심 보안 시스템(11)으로 옮길 수 있다. According to the prior art, when the external data is copied, the auxiliary system 21 performs a malicious program inspection and various security inspections, and then, when it is confirmed that there is no problem, the external data can be moved to the core security system 11 .
그런데, 보조 시스템(21)으로부터 핵심 보안 시스템(11)으로 정보를 옮기는 과정에서도, 보안 USB를 사용 하는 등의 보안 강화 대책이 필요하며, 어떠한 방식이든 장치 간의 유무선의 연결 관계가 형성됨에 따라, 보안 취약성은 발생하게 된다. However, in the process of transferring information from the auxiliary system 21 to the core security system 11, security enhancement measures such as using a secure USB are required, and as a wired/wireless connection relationship between devices is formed in any way, security Vulnerability arises.
본 발명은 전술한 문제점에 착안하여 제안된 것으로, 보안 환경에서 외부 영상 정보를 전달하고 처리하는 시스템 및 방법을 제안한다. The present invention has been proposed in view of the above problems, and proposes a system and method for transmitting and processing external image information in a secure environment.
본 발명에 따르면, 공공의 이익을 위해 운용되는 CCTV 모니터링 현장, 즉 보안상 인터넷과 같은 외부 네트워크, 셀룰러 무선통신망들과도 확실한 분리가 필요하고, 바이러스 프로그램이나 해킹 프로그램 등에 의한 잠재적인 외부의 공격에 대비하기 위해 외장메모리나 스마트폰과 같은 외부 장치들을 통한 유무선 연동조차도 엄격히 통제되는 보안 환경에도 적용이 가능하다. According to the present invention, the CCTV monitoring site operated for the public benefit, that is, for security reasons, it is necessary to be clearly separated from external networks such as the Internet and cellular wireless communication networks, and to prevent potential external attacks by virus programs or hacking programs. In order to prepare, even wired/wireless interworking through external devices such as external memory or smartphones can be applied to a strictly controlled security environment.
본 발명에 따르면, 비단 CCTV 모니터링 현장뿐 아니라, 보안이 엄격히 요구되는 시스템에서 외부로부터 영상 정보를 전달받을 필요성이 있는 다양한 환경에서 활용될 수 있다. According to the present invention, it can be utilized in various environments where there is a need to receive video information from the outside in a system that strictly requires security, as well as at the CCTV monitoring site.
본 발명의 실시예에 따르면, 외부 데이터를 제공하는 장치/단말은 화면표시장치를 포함한다. According to an embodiment of the present invention, the device/terminal providing external data includes a screen display device.
본 발명의 실시예에 따르면, 외부 데이터를 제공하는 장치/단말에는 추가적으로 프로그램을 설치할 필요가 없으나, 사진과 같은 미디어를 화면에 표시하는 기능을 제공하여야 한다. According to an embodiment of the present invention, there is no need to additionally install a program in the device/terminal providing external data, but it is necessary to provide a function of displaying media such as photos on the screen.
외부 데이터를 제공하는 장치/단말은 영상의 크기를 조절하거나, 영상의 표출 영역을 조절하는 기능을 제공함이 바람직하지만, 그러한 기능이 없는 경우 표시되는 정보만으로 영상을 표출한다. The device/terminal providing external data preferably provides a function of adjusting the size of the image or adjusting the display area of the image, but in the absence of such a function, the image is displayed only with the displayed information.
도 2는 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 시스템을 도시한다. 2 illustrates an external image information transmission system in a secure environment according to an embodiment of the present invention.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 외부 영상 정보를 획득하는 영상정보 수집부(110)와, 외부 영상 정보에서 전달 대상 부분영상을 추출하는 정보 전달 영역 결정 및 부분영상 수집부(120)를 포함하는 것을 특징으로 한다. An external image information transmission system in a secure environment according to the present invention includes an image information collection unit 110 for acquiring external image information, and an information delivery area determination and partial image collection unit for extracting a partial image to be delivered from external image information ( 120).
영상정보 수집부(110)는 카메라와 같은 영상 수집 장치를 사용하여, 외부 영상 정보 표출 화면을 촬영하고, 이를 정보 전달 영역 결정 및 부분영상 수집부(120)로 전달한다. The image information collection unit 110 uses an image collection device such as a camera to photograph an external image information display screen, and transmits it to the information delivery area determination and partial image collection unit 120 .
이 때, 영상정보 수집부(110)의 해상도는 수집 대상 영상의 품질을 고려하여 기준 해상도 이상의 해상도를 가지는 것이 바람직하다. In this case, it is preferable that the resolution of the image information collecting unit 110 has a resolution higher than or equal to the reference resolution in consideration of the quality of the image to be collected.
제어부(미도시)는 영상정보 수집부(110)가 주변 조명에 의한 영향으로부터 강건할 수 있도록 그 포지션을 제어한다. The controller (not shown) controls the position of the image information collection unit 110 so that it can be robust from the influence of ambient lighting.
지지부(미도시)는 영상정보 수집부(110)가 촬영을 수행하는 과정에서 움직임이나 흔들림이 없도록 지지하는 역할을 한다. The support unit (not shown) serves to support the image information collecting unit 110 so that there is no movement or shaking during the photographing process.
정보 전달 영역 결정 및 부분영상 수집부(120)는 외부 데이터 전달 장치의 화면 표시 영역 내의 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 복수 개의 부분영상을 수집한다. The information transfer area determination and partial image collection unit 120 determines an information transfer area within the screen display area of the external data transfer device, and collects a plurality of partial images corresponding to the information transfer area.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산하는 통합 영상 합성 및 변환행렬 계산부(130)와, 변환행렬을 이용하여 영상의 복원본을 생성하고, 화질 개선을 수행하는 영상 변환 및 화질 개선부(140)를 더 포함할 수 있다. An external image information transmission system in a security environment according to the present invention comprises an integrated image synthesis and transformation matrix calculator 130 that synthesizes an integrated image using a plurality of partial images and calculates a transformation matrix for image restoration, and the transformation It may further include an image conversion and image quality improvement unit 140 that generates a reconstructed image using the matrix and performs image quality improvement.
도 4를 참조하면, 본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 시스템은 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 계산한 변환행렬을 통해, 부분영상에 대한 보정을 수행하는 부분영상 보정 및 처리부(140150)를 더 포함할 수 있다. 4, the external image information transmission system in a secure environment according to the present invention through a transformation matrix calculated using coordinate information defining an information delivery area of a partial image and coordinate information about a shape of a final image, It may further include a partial image correction and processing unit 140150 for performing correction on the partial image.
도 3은 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 절차를 도시한다. 3 illustrates a procedure for transmitting external image information in a secure environment according to an embodiment of the present invention.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (a) 외부 데이터 전달 장치를 촬영하여 외부 영상 정보를 획득하는 단계 및 (b) 외부 영상 정보를 이용하여 정보 전달 영역을 결정하고, 정보 전달 영역에 해당하는 부분영상을 수집하는 단계를 포함하는 것을 특징으로 한다. The method for transmitting external image information in a secure environment according to the present invention comprises the steps of (a) acquiring external image information by photographing an external data transfer device, and (b) determining an information transfer area using the external image information, and delivering information and collecting a partial image corresponding to the region.
(b) 단계는 외부 데이터 전달 장치에서의 확대 및 표출 영역 이동에 따라, 기설정된 개수의 좌표들로 표현되는 정보 전달 영역을 결정한다.Step (b) determines the information delivery area expressed by a preset number of coordinates according to the expansion and movement of the expression area in the external data transfer device.
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-1) 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 변환행렬에 따라 영상의 복원본을 생성하여 전송하는 단계를 더 포함할 수 있다. The method for transmitting external image information in a secure environment according to the present invention may further include (c-1) synthesizing an integrated image using a plurality of partial images, and generating and transmitting a reconstructed image according to a transformation matrix. can
본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 (c-2) 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 변환행렬을 이용하여 부분영상에 대해 보정하는 단계를 더 포함할 수 있다. In the method for transmitting external image information in a secure environment according to the present invention (c-2), a transformation matrix is calculated using coordinate information defining an information delivery area of a partial image and coordinate information about a shape of a final image, and the transformation matrix The method may further include correcting the partial image using .
영상정보 수집부(110)는 외부 영상 정보 표출 화면을 촬영하여, 외부 영상 정보를 취득한다. The image information collection unit 110 acquires external image information by photographing an external image information display screen.
정보 전달 영역 결정 및 부분영상 수집부(120)는 카메라 영상으로부터 전달하려는 부분영상을 추출하고, 복수 개의 부분영상을 수집한다. The information delivery area determination and partial image collection unit 120 extracts a partial image to be transmitted from the camera image, and collects a plurality of partial images.
통합 영상 합성 및 변환행렬 계산부(130)는 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산한다. The integrated image synthesis and transformation matrix calculator 130 synthesizes the integrated image using a plurality of partial images and calculates a transformation matrix for image restoration.
영상 변환 및 화질 개선부(140)는 변환행렬을 이용하여 전달하려던 영상의 복원본을 생성하되, 무아레 패턴이나 역광에 의한 플레어 현상을 처리하기 위해 화질 개선을 수행한다. The image conversion and image quality improvement unit 140 generates a restored copy of the image to be transmitted using the transformation matrix, but performs image quality improvement in order to process a flare phenomenon due to a moire pattern or backlight.
본 발명의 실시예에 따른 통합 영상 합성 및 변환행렬 계산부(130)는 정보 전달 영역 결정 및 부분영상 수집부(120)를 통해 수집된 복수의 영상들 간의 상관성을 검사하고, 영상들 간의 상대적인 위치와 크기 변환 관계를 찾으며, 위치에 따라 영상들을 정렬함으로써, 단일 영상을 만든다. The integrated image synthesis and transformation matrix calculator 130 according to an embodiment of the present invention examines the correlation between the plurality of images collected through the information transfer region determination and partial image collection unit 120, and the relative positions between the images. A single image is created by finding the size transformation relationship with and aligning the images according to their position.
본 발명의 실시예에 따르면, 부분영상들에서 특징점(feature point)을 검출하고, 부분영상들 상호간 특징점들이 물리적으로 동일한 지점을 의미하는지를 검사하는 매칭 과정을 수행하고, 수행된 매칭을 통해 호모그래피 변환 행렬과 같은 변환 파라미터를 찾고, 변환 파라미터를 이용하여 회전, 위치이동, 크기 변화 등을 수행한다. According to an embodiment of the present invention, a matching process of detecting a feature point in partial images, checking whether the feature points between the partial images physically mean the same point is performed, and homography conversion is performed through the matching Transformation parameters such as matrices are found, and rotation, position movement, and size change are performed using the transformation parameters.
본 발명의 실시예에 따른 영상 변환 및 화질 개선부(140)는 통합 영상 합성 및 변환행렬 계산부(130)를 통해 만들어진 단일 영상을 직사각형 영역으로 바꾸는 작업을 수행하고, 이에 대한 최종적인 화질 개선 처리를 수행한다. The image conversion and image quality improvement unit 140 according to an embodiment of the present invention converts a single image created through the integrated image synthesis and transformation matrix calculation unit 130 into a rectangular region, and a final image quality improvement process for this carry out
화질 개선 처리를 수행하는 이유는 화면에 표시된 정보를 카메라와 같은 영상정보 수집장치(110)를 이용하여 다시 획득하는 과정에 따라 무아레 패턴이나 역광 등이 존재할 수 있기 때문이다. The reason for performing the image quality improvement process is that, depending on the process of re-acquiring the information displayed on the screen using the image information collecting device 110 such as a camera, a moire pattern or backlight may exist.
본 발명의 실시예에 따른 정보 전달 영역 결정 및 부분영상 수집부(120)에서 추출된 영상은 모양이 왜곡되어 있으므로 이를 보정할 필요가 있다. Since the image extracted by the information transfer area determination and partial image collection unit 120 according to the embodiment of the present invention has a distorted shape, it is necessary to correct it.
따라서, 도4를 참조하면, 부분영상 보정 및 처리부(150)는 왜곡된 영상들을 보정하기 위해 기획득된 정보 전달 영역을 기술하는 {A, B, C, D} 정보를 이용하여 보정 및 처리를 수행한다. Therefore, referring to FIG. 4 , the partial image correction and processing unit 150 performs correction and processing using {A, B, C, D} information describing the information transfer area that is planned to correct the distorted images. carry out
{A, B, C, D} 좌표 정보와 변형하려는 최종영상의 모양에 대한 4개의 좌표를 이용하여 변환행렬을 계산하고, 변환행렬을 이용하여 왜곡되지 않은 직사각형 형태의 부분영상을 획득한다.A transformation matrix is calculated using the {A, B, C, D} coordinate information and four coordinates for the shape of the final image to be transformed, and an undistorted rectangular partial image is obtained using the transformation matrix.
변형하려는 최종영상의 모양에 대한 4개의 좌표가 정해지지 않은 경우에도, 스마트폰과 같은 단말의 가로, 세로 길이의 비를 추정하여 기본값으로 사용하는 것이 가능하다. Even when the four coordinates for the shape of the final image to be transformed are not determined, it is possible to estimate the ratio of the horizontal and vertical lengths of a terminal such as a smartphone and use it as a default value.
이러한 경우 보정된 영상의 가로, 세로 길이의 비가 원래의 비와 상이해질 수 있는데, 이에 대하여는 영상처리 도구를 사용하여 처리하는 것이 가능하다. In this case, the ratio of the horizontal and vertical lengths of the corrected image may be different from the original ratio, which can be processed using an image processing tool.
부분영상 보정 및 처리부(150)는 무아레 패턴이나 역광에 의한 플레어 현상 등이 포함될 수 있기 때문에 이런 정보를 제거하고 화질을 개선하는 처리를 수행한다.Since the partial image correction and processing unit 150 may include a moire pattern or a flare phenomenon caused by backlight, such information is removed and the image quality is improved.
도 5는 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 보조 시스템으로 전달하는 것을 도시하고, 도 6은 본 발명의 실시예에 따라 보안을 유지한 상태로 외부 데이터를 핵심 보안 시스템으로 전달하는 것을 도시한다. Figure 5 shows the transfer of external data to the secondary system in a state of maintaining security according to an embodiment of the present invention, Figure 6 is a core security system for external data in a state of maintaining security according to an embodiment of the present invention is shown to be transmitted to
본 발명의 실시예에 따른 외부 영상 정보 전송 시스템(100)은 도 5에 도시한 바와 같이, 외부 데이터를 보안이 유지된 상태로 보조 시스템(21)으로 전달하고, 도 6에 도시한 바와 같이, 외부 데이터를 보안이 유지된 상태로 핵심 보안 시스템(11)으로 전달하는 것이 가능하다. As shown in FIG. 5, the external image information transmission system 100 according to an embodiment of the present invention transmits external data to the auxiliary system 21 in a state in which security is maintained, and as shown in FIG. It is possible to transmit external data to the core security system 11 in a state where security is maintained.
도 7은 본 발명의 실시예에 따라 외부에서 촬영된 영상을 수집하는 것을 도시한다. 7 is a diagram illustrating collecting images taken from the outside according to an embodiment of the present invention.
도 7은 외부 데이터 전달자에 의해, 외부에서 촬영된 영상을 외부 영상 정보 전송 시스템에 전달하는 과정을 도시한다. 7 illustrates a process of transmitting an externally photographed image to an external image information transmission system by an external data transmitter.
탁자와 같은 평평한 표면에 스마트폰과 같은 단말장치(D)를 켜고, 전달하고자 하는 사진을 화면에 표시하고 이를 조작하면, 외부 영상 정보 전송 시스템의 영상정보 수집부(110)가 이에 대한 영상정보를 획득한다. When the terminal device (D) such as a smartphone is turned on on a flat surface such as a table, a picture to be transmitted is displayed on the screen, and the image information collection unit 110 of the external image information transmission system is operated, the image information about it is acquire
도 7에 도시한 영상정보 수집부(110) 및 외부 데이터 전달 장치(D)는 영상을 전달하는 과정에서 가급적 움직이지 않는 것이 바람직하며, 움직임이 허용되는 범위도 평평한 표면에서 병진운동(translation movement)이나 회전운동(rotational movement)으로 한정된다. It is preferable that the image information collection unit 110 and the external data transmission device D shown in FIG. 7 do not move as much as possible in the process of transferring the image, and the range in which the movement is allowed is also performed on a flat surface by translation movement. or limited to rotational movement.
도 8은 전달 대상이 되는 원본 사진의 예를 도시한다. 8 shows an example of an original photo to be delivered.
도 8은 외부 데이터 전달자가 스마트폰과 같은 단말장치에 담긴 사진을 보조 시스템(21) 또는 핵심 보안 시스템(11)으로 전달하고자 하는 경우, 전달하려는 원본 사진을 도시한다. FIG. 8 shows an original photo to be transmitted when an external data transmitter wants to transmit a photo contained in a terminal device such as a smartphone to the auxiliary system 21 or the core security system 11 .
도 9는 전달 대상이 되는 원본 사진을 단말 장치(D)의 화면 표시부를 통해 표출한 예를 도시한다. 9 shows an example in which an original photo to be delivered is displayed through the screen display unit of the terminal device (D).
전술한 바와 같이, 보안 환경에서 외부 데이터 전달자는 도 9에 도시한 바와 같이, 사진을 스마트폰(외부 데이터 전달 장치, D)에 표시하여 보안 시스템 운용자에게 보여주거나, 이를 재촬영함으로써 보조 시스템(21) 또는 핵심 보안 시스템(11)으로 전달하며, 이때 강조하고 싶은 영역을 찾아 크기를 조절하여 보여준다. As described above, in a secure environment, an external data transferor displays a picture on a smart phone (external data transfer device, D) as shown in FIG. 9 and shows it to the security system operator, or by re-photographing it, the auxiliary system 21 ) or to the core security system 11, at this time, find the area you want to emphasize and adjust the size to show it.
도 10a 내지 도 10i는 외부 영상 정보 표출 화면에서의 영상 크기 조절 또는 위치 조절을 도시하는데, 이를 통해 단순 촬영에 비해 더 좋은 화질의 영상을 전달하는 것이 가능하다. 10A to 10I show image size adjustment or position adjustment on the external image information display screen, through which it is possible to deliver images of better quality than simple shooting.
도 10a 내지 도 10i는 9장의 영상을 다중 촬영한 것을 예를 들어 도시한 것인데, 다중 촬영이 대상이 되는 영상의 개수는 이에 한정되지 않는다. 10A to 10I illustrate, for example, multiple shooting of 9 images, but the number of images targeted for multiple shooting is not limited thereto.
도 10a 내지 도 10i에 도시한 바와 같이 일정 영역의 화면을 확대하여 디스플레이시키는 경우, 원본 영상의 일부만이 화면에 나타나게 되는데, 본 발명의 실시예에 따르면 확대된 다수 개의 일부 영역을 취득하여 고해상도의 최종 영상을 생성함으로써, 크기가 작은 영상을 촬영하는 종래 기술에 대비하여 볼 때 더 상세한 정보를 전달하는 것이 가능한 효과가 있다. 10A to 10I, when the screen of a certain area is enlarged and displayed, only a part of the original image appears on the screen. According to an embodiment of the present invention, a plurality of enlarged partial areas are acquired and the final high resolution image is displayed. By generating the image, there is an effect that it is possible to transmit more detailed information when viewed compared to the prior art of photographing an image having a small size.
본 발명의 실시예에 따르면, 화면 확대에 의해 그 일부가 표출되는 영상을 부분영상으로 정의한다. According to an embodiment of the present invention, an image of which a part is expressed by magnification of the screen is defined as a partial image.
도 11은 촬영된 영상에서의 정보 전달 영역에 대한 가상 표시를 도시한다. 11 shows a virtual representation of an information transfer area in a captured image.
도 11은 도 10a 내지 도 10i의 영상들을 취득하는 과정에서, 실제 정보가 전달되는 영역을 가상으로 표시한 것이다. FIG. 11 shows a virtual region to which actual information is transmitted in the process of acquiring the images of FIGS. 10A to 10I .
도 11에 도시한 바와 같이, 정보 전달 영역은 {A, B, C, D} 4개 지점들로 표현되는 사각형으로 표시된다. As shown in Fig. 11, the information transfer area is represented by a rectangle represented by four points {A, B, C, D}.
4개 지점이 필요한 이유는 통상적인 화면 표시 장치가 직사각형 형태를 갖기 때문이다.The reason why four points are necessary is that a typical screen display device has a rectangular shape.
화면 표시 장치(D)에 대해 영상정보 수집부(110)로 촬영하게 되면, 정보 전달 영역은 피사체와 카메라의 상대적 배치 상태에 따라서 임의의 사각형 형태가 된다. When the image information collection unit 110 is photographed with respect to the screen display device D, the information transfer area has an arbitrary rectangular shape according to the relative arrangement state of the subject and the camera.
즉, 영상정보 수집부(110)에 의해 획득된 영상은 2차원 영상 좌표계에 표현되는 정보로 표현할 수 있으며, {A, B, C, D} 지점들은 2차원 영상 좌표계에서 각각의 x, y 좌표점으로 표현된다. That is, the image obtained by the image information collecting unit 110 can be expressed as information expressed in the two-dimensional image coordinate system, and {A, B, C, D} points are x and y coordinates respectively in the two-dimensional image coordinate system. represented by dots.
정보 전달 영역은 통상적으로 정보를 전달하려는 단말이 가지고 있는 화면 표시 영역 안쪽이 되는 것이 바람직한데, 이는 전달하려는 원본 사진은 화면 표시 영역에만 표출되기 때문이다. It is preferable that the information delivery area is usually inside the screen display area of the terminal to transmit information, because the original photo to be transmitted is displayed only in the screen display area.
그러나 화면 표시 영역의 일부만 활용하여 영상을 표시하는 것이 가능하므로, 화면 표시 영역 전체가 반드시 정보 전달 영역이 되는 것은 아니다.However, since it is possible to display an image by using only a part of the screen display area, the entire screen display area does not necessarily become an information transfer area.
본 발명의 실시예에 따르면, 정보 전달 영역의 결정을 위해 사용자 인터페이스를 제공하거나, 자동으로 정보 전달 영역을 결정한다. According to an embodiment of the present invention, a user interface is provided to determine the information delivery area, or the information delivery area is automatically determined.
도 12은 도 10a 내지 도 10i에서 도시한 과정에 따라 수집된 영상들에서 추출된 정보 전달 영역을 함께 도시한 것이다. 12 is a diagram illustrating an information delivery area extracted from images collected according to the process illustrated in FIGS. 10A to 10I together.
본 발명의 실시예에 따라 정보 전달 영역이 결정되면, 그 영역 내에서의 영상이 추출되며, 복수 개의 영상을 함께 표시하면 도 12에 도시한 바와 같다. According to an embodiment of the present invention, when an information delivery area is determined, an image within the area is extracted, and when a plurality of images are displayed together, as shown in FIG. 12 .
복수 개의 영상은 크기와 방향이 약간씩 상이하므로, 전체적으로는 불연속적인 모습을 보이고, 주변 광원이 바뀌거나 영상정보 수집부(110)의 수집 파라미터가 바뀌는 경우, 복수 개의 영상들 간에는 색상도 약간씩 다르게 된다. Since the plurality of images have slightly different sizes and directions, they appear discontinuous as a whole, and when the ambient light source is changed or the collection parameter of the image information collection unit 110 is changed, the colors are slightly different between the plurality of images. do.
도 13은 정보 전달 영역에 대해서 추출된 영상을 붙이기 처리한 결과를 도시한다. 13 shows the result of pasting the extracted image for the information delivery area.
도 13은 도 12에 도시한 바와 같은 수집된 영상에서 결정된 정보 전달 영역에 해당하는 부분 영상을 추출하고, 추출 결과를 하나로 붙이는 과정을 통해 획득된 이상적인 영상의 결과물을 도시한다. FIG. 13 shows the result of an ideal image obtained by extracting a partial image corresponding to the determined information delivery area from the collected images as shown in FIG. 12 and attaching the extraction results to one.
도 14는 도 13에서 붙이기 처리한 영상을 직사각형 형태로 변환한 결과를 도시하며, 도 13에서 붙이기 처리된 영상을 기설정된 방법으로 계산된 호모그래피 행렬과 같은 변환 매개변수를 사용하여 직사각형 형태로 변환한 결과를 도시한다. 14 shows the result of converting the pasting-processed image in FIG. 13 into a rectangular form, and converting the pasting-processed image in FIG. 13 into a rectangular form using a transformation parameter such as a homography matrix calculated by a preset method. one result is shown.
전술한 과정을 통해, 외부 데이터 전달자가 제공한 외부 데이터에 대한 영상 정보가 보안 시스템 또는 핵심 보안 시스템으로 전송된다. Through the above-described process, image information on external data provided by the external data transmitter is transmitted to the security system or the core security system.
본 발명의 다른 실시예에 따르면, 도 15에 도시한 바와 같이, 보조 시스템 화면 표시부에 표시된 영상을 보안이 유지된 상태로 핵심 보안 시스템으로 전달한다. According to another embodiment of the present invention, as shown in FIG. 15 , the image displayed on the auxiliary system screen display unit is transmitted to the core security system in a state where security is maintained.
도 15는 본 발명의 다른 실시예에 따른 외부 데이터 전달 방식을 도시한다. 15 illustrates an external data transfer method according to another embodiment of the present invention.
도 16에 도시한 바와 같이, 외부 데이터에 대한 영상을 취득하여 핵심 보안 시스템(11)으로 전달하기 위해, 영상정보 수집부(110)는 보조 시스템 화면 표시부(22)를 통해 표시되는 외부 데이터에 대한 영상을 취득한다. As shown in FIG. 16 , in order to acquire an image of external data and transmit it to the core security system 11 , the image information collection unit 110 controls the external data displayed through the auxiliary system screen display unit 22 . acquire an image
도 17은 본 발명의 실시예에 따른 정보 전달 영역 결정 및 부분영상 수집 과정을 도시한다. 17 illustrates a process of determining an information delivery area and collecting a partial image according to an embodiment of the present invention.
본 발명의 실시예에 따르면, 자동으로 정보 전달 영역을 결정할 것인지 여부를 확인한다(S1701). According to the embodiment of the present invention, it is checked whether or not to automatically determine the information delivery area (S1701).
S1701 단계에서 자동으로 정보 전달 영역을 결정하는 것으로 확인되면, 정보 전달 영역에 대한 자동 결정이 수행되고(S1702), S1701 단계에서 자동으로 정보 전달 영역을 결정하지 않는 것으로 확인되면, 사용자 인터페이스를 제공하여 입력되는 명령에 따라 정보 전달 영역을 결정한다(S1703). If it is confirmed that the information delivery area is automatically determined in step S1701, an automatic determination of the information delivery area is performed (S1702), and when it is confirmed that the information delivery area is not automatically determined in step S1701, a user interface is provided The information delivery area is determined according to the input command (S1703).
S1703 단계는 촬영된 영상을 모니터 등에 표출하고, 정보 전달 영역을 정의하는 {A, B, C, D} 위치 좌표에 대해 화면 터치 인터페이스 또는 마우스 인터페이스 등을 통해 결정하는 기능을 제공한다. In step S1703, the captured image is displayed on a monitor or the like, and the {A, B, C, D} position coordinates defining the information transfer area are determined through a screen touch interface or a mouse interface, etc., and provide a function.
이어서, S1704 단계에서는 자동으로 부분영상을 수집할 것인지 여부에 대해 확인한다. Next, in step S1704, it is checked whether or not to automatically collect partial images.
S1704 단계에서 자동으로 부분영상을 수집하는 것으로 확인되면, S1705 단계는 정보 전달 영역이 결정된 부분영상을 자동으로 수집한다. If it is confirmed in step S1704 that the partial image is automatically collected, in step S1705 the partial image in which the information delivery area is determined is automatically collected.
S1704 단계에서 자동으로 부분영상을 수집하지 않는 것으로 확인되면, S1706 단계는 정보 전달 영역이 결정된 부분영상의 수집과 관련하여, 사용자 인터페이스를 제공하여 입력되는 명령에 따라 부분영상을 수집한다. 이 때, '촬영 시작' 과 같은 버튼이나 특정 키보드 명령어와 같은 기설정된 방식에 따라 정보 전달 영역의 부분영상을 수집한다. If it is confirmed in step S1704 that the partial image is not automatically collected, in step S1706, the partial image is collected according to an input command by providing a user interface in relation to the collection of the partial image in which the information delivery area is determined. At this time, a partial image of the information delivery area is collected according to a preset method such as a button such as 'start shooting' or a specific keyboard command.
본 발명의 실시예에 따르면, 정보 전달 영역에 대한 자동 결정 및 부분영상 자동 수집의 경우, 모니터나 키보드와 같은 사용자 인터페이스 장치를 필수적으로 제공하지 않고도 정도보 전달 영역 결정 및 부분영상 수집이 가능하므로, 절차가 간소화되고 사용 편의성이 증진된다. According to an embodiment of the present invention, in the case of automatic determination of the information delivery area and automatic collection of partial images, it is possible to determine the information delivery area and collect partial images without necessarily providing a user interface device such as a monitor or keyboard, Procedures are simplified and ease of use is enhanced.
도 18은 본 발명의 실시예에 따른 정보 전달 영역에 대한 자동 결정 과정을 도시하고, 도 19는 본 발명의 실시예에 따른 영상정보 수집부를 통한 촬영 시, 보여지는 영상의 형태 및 이를 2차원 좌표계로 표현한 예시이다. 18 shows an automatic determination process for an information delivery area according to an embodiment of the present invention, and FIG. 19 is a shape of an image shown when shooting through an image information collection unit according to an embodiment of the present invention and a two-dimensional coordinate system. This is an example expressed as
점선 영역은 가상의 전달하려는 영상을 의미하고 굵은 실선 영역은 스마트폰 단말과 같은 외부 정보 전달 장치에서 영상 정보가 실제로 표출되는 영역을 의미한다. A dotted line area means an image to be transmitted virtual, and a thick solid line area means an area where image information is actually displayed in an external information delivery device such as a smartphone terminal.
가상의 전달하려는 영상은 편의상 {1, 2, 3, 4}라는 4개의 영역으로 표시하며, 실제로는 그 영역의 개수에 대한 조정이 가능하고, 그 형태로 격자 형태로 한정되지 않는다. The virtual image to be transmitted is displayed as four areas {1, 2, 3, 4} for convenience, and in reality, the number of areas can be adjusted, and the form is not limited to a grid form.
도 18의 (a)에 도시한 바와 같이, 외부 정보 전달 장치에서 영상을 별도로 확대하지 않으면, {1,2,3,4}로 표기된 가상의 4개의 영역이 외부 정보 전달 장치의 화면에 모두 표현된다. As shown in (a) of FIG. 18 , if the image is not enlarged separately in the external information delivery device, all four virtual regions indicated by {1,2,3,4} are displayed on the screen of the external information delivery device. do.
외부 정보 전달 장치를 통해 영상을 확대하고 디스플레이 영역을 이동시키면 도 18의 (b), (c), (d), (e)와 같이 해당 화면에 상이한 영역들이 표시된다. When the image is enlarged and the display area is moved through the external information transmitting device, different areas are displayed on the corresponding screen as shown in (b), (c), (d), and (e) of FIG. 18 .
도 19는 도 18에 도시한 영상을 영상정보 수집부(110)를 통해 촬영함에 따른 영상의 모습을 도시한다. 19 is a view showing an image as the image shown in FIG. 18 is photographed through the image information collecting unit 110 .
점선 영역은 가상의 전달하려는 영상을 의미하고, 굵은 실선 영역은 외부 정보 전달 장치에서 영상 정보가 실제로 전달되는 영역을 의미한다. A dotted line area means an image to be transmitted virtual, and a thick solid line area means an area where image information is actually transmitted from an external information delivery device.
영상이 표출되는 화면을 포함하는 외부 정보 전달 장치의 포지션 및 영상정보 수집부의 포지션에 따라, 실제로는 직사각형으로 표출되는 영상이 영상정보 수집부를 통해 왜곡된 모양으로 획득되는 것이다. According to the position of the external information delivery device including the screen on which the image is displayed and the position of the image information collection unit, the image that is actually displayed as a rectangle is obtained in a distorted shape through the image information collection unit.
본 발명의 실시예에 따르면, 도 19에 도시한 굵은 실선으로 표기되며 {A, B, C, D} 라는 4개의 좌표점들을 연결하는 내부 영역인 정보 전달 영역에 대한 자동 추정이 수행된다. According to the embodiment of the present invention, automatic estimation is performed on the information transfer area, which is an internal area that is indicated by the thick solid line shown in FIG. 19 and connects four coordinate points {A, B, C, D}.
{A, B, C, D} 점들을 추정하는 방식으로는 영상이 표출되는 화면에서 사용자가 영상들을 확대하거나 이동시키는 조작을 수행한 경우에 한하여, 이를 영상정보 수집부(110)가 연속적으로 영상을 촬영하고, 촬영된 영상들에서 배경과 전경을 분리하고, 전경 부분에서 4각형 폴리곤 객체를 영상처리 기법을 사용해서 추출함으로써, {A, B, C, D} 점들의 좌표값을 추정한다. As a method of estimating {A, B, C, D} points, the image information collection unit 110 continuously displays the image only when the user performs an operation to enlarge or move the images on the screen on which the image is displayed. The coordinate values of {A, B, C, D} points are estimated by photographing , separating the background and foreground from the captured images, and extracting a polygonal polygon object from the foreground part using an image processing technique.
외부 정보 전달 장치를 통해 영상이 표출되는 화면 및 영상정보 수집부(110)의 상대적인 배치가 바뀌지 않는다면, 도 19에 도시한 (a), (b), (c), (d), (e)에 표기된 각각의 {A, B, C, D} 점들의 위치는 촬영이 지속되더라도 바뀌지 않게 될 것이고, 상대적인 배치가 바뀐다면 시간에 따라 이 점들의 위치도 바뀌게 된다. 19 (a), (b), (c), (d), (e) shown in FIG. 19, unless the relative arrangement of the screen on which the image is displayed and the image information collecting unit 110 is changed through the external information transfer device The positions of the {A, B, C, D} points indicated in will not change even if the shooting continues, and if the relative arrangement is changed, the positions of these points will also change over time.
{A, B, C, D} 점들의 위치는 촬영 과정 중 변경되지 않는 것이 바람직하나, 변경된 경우라고 하더라도 영상정보 수집부(110)가 고정된 상태이고, 외부 정보 전달 장치가 평평한 표면 위에서 병진운동(translation movement)이나 회전운동(rotational movement)만을 수행한다면 파라미터 추정 및 이를 이용한 영상 합성 및 변환이 용이하게 이루어진다. It is preferable that the positions of the {A, B, C, D} points are not changed during the photographing process, but even if they are changed, the image information collecting unit 110 is in a fixed state, and the external information transmitting device moves translationally on a flat surface. If only translation movement or rotational movement is performed, parameter estimation and image synthesis and transformation using the same are easily performed.
부분영상을 수집하는 과정은 전술한 바와 같이 사용자 인터페이스를 제공하여 입력되는 명령에 따라 정보 전달 영역을 결정하거나, 영상정보 수집부(110)에 의해 연속적으로 영상이 수집되며 정보 전달 영역이 자동으로 결정된 결과에 따라, 정보 전달 영역 정보를 이용할 수 있을 때 해당 위치의 영상을 별도로 추출함으로써 부분영상에 대한 자동 수집이 가능하다. In the process of collecting partial images, as described above, an information delivery area is determined according to an input command by providing a user interface, or images are continuously collected by the image information collection unit 110 and the information delivery area is automatically determined. According to the result, when information delivery area information is available, automatic collection of partial images is possible by separately extracting the image of the corresponding location.
본 발명의 실시예에 따르면, 기설정된 기준 이상의 품질을 가지는 영상만을 별도로 수집하기 위해, 정보 전달 영역 내부의 영상 움직임 정보를 계산하고, 그 움직임이 사전에 설정한 임계값 이하인 경우에만 부분영상을 수집하는 것이 바람직하다. According to an embodiment of the present invention, in order to separately collect only an image having a quality higher than or equal to a preset standard, image motion information in the information delivery area is calculated, and partial images are collected only when the motion is less than or equal to a preset threshold. It is preferable to do
또한, 정보 전달 영역 내부의 영상 선명도 계수나 엔트로피를 계산하여 임계값 이상으로 선명한 경우에만 부분영상을 수집하는 것이 바람직하다. In addition, it is preferable to collect the partial image only when the image sharpness coefficient or entropy within the information transfer area is calculated and is clearer than a threshold value.
이 때, Laplacian의 분산값을 계산하는 등의 다양한 방식이 적용된다. In this case, various methods such as calculating the Laplacian variance are applied.
한편, 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the method for transmitting external image information in a secure environment according to an embodiment of the present invention may be implemented in a computer system or recorded in a recording medium. The computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and storage. Each of the above-described components performs data communication through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit(CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or a storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 보안 환경에서의 외부 영상 정보 전송 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법을 수행할 수 있다.Accordingly, the method for transmitting external image information in a secure environment according to an embodiment of the present invention may be implemented as a computer-executable method. When the method for transmitting external image information in a secure environment according to an embodiment of the present invention is performed in a computer device, computer readable instructions may perform the method for transmitting external image information in a secure environment according to the present invention.
한편, 상술한 본 발명에 따른 보안 환경에서의 외부 영상 정보 전송 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the method for transmitting external image information in a secure environment according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes any type of recording medium in which data that can be read by a computer system is stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, the embodiments of the present invention have been mainly looked at. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in modified forms without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (8)

  1. 외부 영상 정보를 획득하는 영상정보 수집부; 및an image information collecting unit for acquiring external image information; and
    상기 외부 영상 정보에서 전달 대상 부분영상을 추출하는 정보 전달 영역 결정 및 부분영상 수집부An information delivery area determination and partial image collection unit for extracting a partial image to be delivered from the external image information
    를 포함하는 보안 환경에서의 외부 영상 정보 전송 시스템.An external image information transmission system in a security environment comprising a.
  2. 제1항에 있어서, According to claim 1,
    상기 정보 전달 영역 결정 및 부분영상 수집부는 외부 데이터 전달 장치의 화면 표시 영역 내의 정보 전달 영역을 결정하고, 상기 정보 전달 영역에 해당하는 복수 개의 상기 부분영상을 수집하는 것The information transfer area determination and partial image collection unit determines an information transfer area within a screen display area of the external data transfer device, and collects a plurality of the partial images corresponding to the information transfer area
    인 보안 환경에서의 외부 영상 정보 전송 시스템. An external image information transmission system in a secure environment.
  3. 제2항에 있어서, 3. The method of claim 2,
    상기 복수 개의 부분영상을 이용하여 통합 영상을 합성하고, 영상 복원을 위한 변환행렬을 계산하는 통합 영상 합성 및 변환행렬 계산부; 및an integrated image synthesis and transformation matrix calculator for synthesizing an integrated image using the plurality of partial images and calculating a transformation matrix for image restoration; and
    상기 변환행렬을 이용하여 영상의 복원본을 생성하고, 화질 개선을 수행하는 영상 변환 및 화질 개선부An image conversion and image quality improvement unit that generates a restored copy of an image by using the transformation matrix and performs image quality improvement
    를 더 포함하는 보안 환경에서의 외부 영상 정보 전송 시스템. An external image information transmission system in a security environment further comprising a.
  4. 제2항에 있어서, 3. The method of claim 2,
    상기 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 상기 변환행렬을 이용하여 상기 부분영상에 대한 보정을 수행하는 부분영상 보정 및 처리부A partial image correction and processing unit that calculates a transformation matrix by using coordinate information defining an information transfer region of the partial image and coordinate information on a shape of a final image, and performs correction on the partial image using the transformation matrix
    를 더 포함하는 보안 환경에서의 외부 영상 정보 전송 시스템. An external image information transmission system in a security environment further comprising a.
  5. (a) 외부 데이터 전달 장치를 촬영하여 외부 영상 정보를 획득하는 단계; 및 (a) acquiring external image information by photographing an external data transfer device; and
    (b) 상기 외부 영상 정보를 이용하여 정보 전달 영역을 결정하고, 상기 정보 전달 영역에 해당하는 부분영상을 수집하는 단계(b) determining an information delivery area using the external image information, and collecting partial images corresponding to the information delivery area
    를 포함하는 보안 환경에서의 외부 영상 정보 전송 방법. A method of transmitting external image information in a security environment comprising a.
  6. 제5항에 있어서, 6. The method of claim 5,
    상기 (b) 단계는 상기 외부 데이터 전달 장치에서의 확대 및 표출 영역 이동에 따라, 기설정된 개수의 좌표들로 표현되는 상기 정보 전달 영역을 결정하는 것The step (b) is to determine the information transfer area expressed by a preset number of coordinates according to the expansion and movement of the expression area in the external data transfer device
    인 보안 환경에서의 외부 영상 정보 전송 방법.A method of transmitting external image information in an in-security environment.
  7. 제5항에 있어서, 6. The method of claim 5,
    (c-1) 복수 개의 상기 부분영상을 이용하여 통합 영상을 합성하고, 변환행렬에 따라 영상의 복원본을 생성하여 전송하는 단계(c-1) synthesizing an integrated image using a plurality of the partial images, generating and transmitting a reconstructed image according to a transformation matrix
    를 더 포함하는 보안 환경에서의 외부 영상 정보 전송 방법.An external image information transmission method in a security environment further comprising a.
  8. 제5항에 있어서, 6. The method of claim 5,
    상기 (c-2) 상기 부분영상의 정보 전달 영역을 정의하는 좌표 정보 및 최종영상의 모양에 대한 좌표 정보를 이용하여 변환행렬을 계산하고, 상기 변환행렬을 이용하여 상기 부분영상에 대해 보정하는 단계(c-2) calculating a transformation matrix using coordinate information defining an information transfer region of the partial image and coordinate information on a shape of a final image, and correcting the partial image using the transformation matrix
    를 더 포함하는 보안 환경에서의 외부 영상 정보 전송 방법. An external image information transmission method in a security environment further comprising a.
PCT/KR2019/017085 2019-11-29 2019-12-05 System for transmitting external image information in security environment and method therefor WO2021107243A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0156310 2019-11-29
KR1020190156310A KR102250873B1 (en) 2019-11-29 2019-11-29 System and method for transmitting external image in security environment

Publications (1)

Publication Number Publication Date
WO2021107243A1 true WO2021107243A1 (en) 2021-06-03

Family

ID=75915111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017085 WO2021107243A1 (en) 2019-11-29 2019-12-05 System for transmitting external image information in security environment and method therefor

Country Status (2)

Country Link
KR (1) KR102250873B1 (en)
WO (1) WO2021107243A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587655B2 (en) * 2005-07-22 2013-11-19 Checkvideo Llc Directed attention digital video recordation
KR101462269B1 (en) * 2014-01-24 2014-11-13 (주)아이엔아이 part of picture storing method for high definition camera
KR101469717B1 (en) * 2012-05-30 2014-12-05 동의대학교 산학협력단 Video system and method using cameras with a wide angle
KR20140146429A (en) * 2013-06-17 2014-12-26 전자부품연구원 CCTV image aquisition and management system and method using smart devices
KR20180042030A (en) * 2016-10-17 2018-04-25 삼성전자주식회사 Apparatus and method for screen correcting of external display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8587655B2 (en) * 2005-07-22 2013-11-19 Checkvideo Llc Directed attention digital video recordation
KR101469717B1 (en) * 2012-05-30 2014-12-05 동의대학교 산학협력단 Video system and method using cameras with a wide angle
KR20140146429A (en) * 2013-06-17 2014-12-26 전자부품연구원 CCTV image aquisition and management system and method using smart devices
KR101462269B1 (en) * 2014-01-24 2014-11-13 (주)아이엔아이 part of picture storing method for high definition camera
KR20180042030A (en) * 2016-10-17 2018-04-25 삼성전자주식회사 Apparatus and method for screen correcting of external display device

Also Published As

Publication number Publication date
KR102250873B1 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
WO2020207030A1 (en) Video encoding method, system and device, and computer-readable storage medium
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2017204596A1 (en) Facial contour correcting method and device
WO2017007096A1 (en) Image capturing apparatus and method of operating the same
WO2013122394A1 (en) Data processing apparatus and method using a camera
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
WO2015005722A1 (en) Mobile device, display apparatus and method for sharing contents thereof
WO2010101434A2 (en) Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method
WO2017090848A1 (en) Photographing device and operating method of the same
WO2015034269A1 (en) Image processing method and device
WO2018070762A1 (en) Device and method of displaying images
WO2011059243A2 (en) Server, user terminal, and service providing method, and control method thereof
WO2012005387A1 (en) Method and system for monitoring a moving object in a wide area using multiple cameras and an object-tracking algorithm
WO2019164185A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
WO2017193372A1 (en) Method and system for realizing panorama mosaicking
WO2023277253A1 (en) Automatic representation switching based on depth camera field of view
WO2021158057A1 (en) Electronic device and method for displaying image at the electronic device
WO2017135671A1 (en) Broadcasting system using mobile device and control method therefor
WO2020153568A1 (en) Electronic apparatus and control method thereof
WO2018101533A1 (en) Image processing device and method
EP2918072A1 (en) Method and apparatus for capturing and displaying an image
WO2015037894A1 (en) Image processing apparatus using monitoring of video memory
WO2021107243A1 (en) System for transmitting external image information in security environment and method therefor
WO2017101456A1 (en) Point focusing method and system for shooting image, and mobile terminal
WO2018084347A1 (en) Image providing apparatus and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19953911

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19953911

Country of ref document: EP

Kind code of ref document: A1