KR101277322B1 - Video communication apparatus and real time face recognition video communication method thereof - Google Patents
Video communication apparatus and real time face recognition video communication method thereof Download PDFInfo
- Publication number
- KR101277322B1 KR101277322B1 KR1020100110647A KR20100110647A KR101277322B1 KR 101277322 B1 KR101277322 B1 KR 101277322B1 KR 1020100110647 A KR1020100110647 A KR 1020100110647A KR 20100110647 A KR20100110647 A KR 20100110647A KR 101277322 B1 KR101277322 B1 KR 101277322B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- video call
- video
- unit
- card
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
- H04M11/06—Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
- H04M15/70—Administration or customization aspects; Counter-checking correct charges
- H04M15/755—Account identification
- H04M15/7553—Account identification via service number, e.g. calling card
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/50—Telephonic communication in combination with video communication
Abstract
본 발명은 영상통화장치 및 그 실시간 얼굴인식 영상통화방법에 관한 것이다. 본 발명에 따른 영상통화장치는 외부 단말기 또는 교환기로부터 음성신호 및 영상신호 중 적어도 어느 하나를 수신하고, 카메라에 의해 촬상된 영상에 대응하는 영상신호 및 음성신호 중 적어도 어느 하나를 상기 외부 단말기 또는 상기 교환기로 송신하는 통신부와; 상기 촬상된 영상에 포함되는 얼굴영상을 인식하고 주변영상을 분석하여 얼굴출력 방해요소가 존재하는지 여부를 판단하고, 상기 얼굴출력 방해요소 존재시 상기 촬상된 영상의 외부전송을 차단하고 음성통화를 수행하도록 상기 통신부를 제어하는 제어부를 포함하는 것을 특징으로 한다. 이에 의하여, 영상통화시 카메라와 영상통화장치의 중간에 보안모듈을 장착하여 카메라를 통해 입력된 얼굴출력 방해요소의 검출이 가능하도록 구성함으로써, 기밀문서 유출의 시도를 사전에 감지하고 기밀문서의 유출시도시 발신자의 카메라를 통해 입력된 영상정보를 차단하고 음성통화만 진행할 수 있으며, 지능망 서비스를 이용한 영상통화 사용시 카드리더기를 통해 별도의 카드번호 또는 접속번호를 수동으로 입력하지 않고 편리하게 사용할 수 있다.The present invention relates to a video call device and a real-time face recognition video call method. The video call apparatus according to the present invention receives at least one of an audio signal and a video signal from an external terminal or an exchange, and transmits at least one of the video signal and the audio signal corresponding to the image captured by the camera. A communication unit for transmitting to the exchange; Recognizes the face image included in the captured image and analyzes the surrounding image to determine whether there is a face output disturbance element, and in the presence of the face output disturbance element, blocks external transmission of the captured image and performs a voice call. It characterized in that it comprises a control unit for controlling the communication unit to. Accordingly, by installing a security module between the camera and the video call device in the video call, it is possible to detect a face output disturbance element input through the camera, so as to detect an attempt to leak a confidential document in advance and leak the confidential document. When attempting, the video information input through the caller's camera can be blocked and only the voice call can be made. When using the video call using the intelligent network service, the card reader can be used conveniently without manually entering a separate card number or access number. .
Description
본 발명은 영상통화장치 및 그 실시간 얼굴인식 영상통화방법에 관한 것이다. 보다 상세하게는, 영상통화장치의 내부에 영상통화시 얼굴출력 방해요소의 검출이 가능하도록 구성함으로써 기밀문서 유출의 시도를 사전에 감지하고 기밀문서 유출시도시 영상통화를 차단하고 음성통화만 진행할 수 있도록 하는 영상통화장치 및 그 실시간 얼굴인식 영상통화방법에 관한 것이다.
The present invention relates to a video call device and a real-time face recognition video call method. More specifically, it is possible to detect a face output disturbance element during a video call inside the video call device, so that attempts to leak a confidential document can be detected in advance, and when a confidential document is leaked, a video call can be blocked and only a voice call can be made. The present invention relates to a video call apparatus and a real time face recognition video call method.
최근 정보통신기술의 발달로 말미암아 원거리 데이터통신망을 매개하여 다양한 분야에 대한 정보를 적어도 하나 이상의 호스트 서버를 통하여 다수의 가입자 측으로 실시간 제공하는 정보제공기술의 개발이 활발하게 진행 중이다.Recently, due to the development of information and communication technology, the development of information providing technology that provides real-time information to various subscribers through at least one host server through a remote data communication network is actively underway.
이를 기반으로, 최근에는 가입자에게 정확한 정보를 보다 신속하게 제공하기 위한 캐쉬메모리 확장기술 등 주변기술과 가입자의 취향 및 선호도에 보다 편리하게 접근할 수 있는 정보 선별기술 및 압축기술이 개발중이며, 이를 통한 각종 콘텐츠 및 그 솔루션의 개발에도 박차를 가하고 있는 실정이다.Recently, information sorting technology and compression technology are being developed, which can more conveniently access the surrounding technology and subscribers' tastes and preferences, such as cache memory extension technology for providing accurate information more quickly to subscribers. And the development of various contents and solutions thereof is being spurred.
이러한 전자 통신기술의 개발에 힘입어 최근에는 영상전화기가 급속하게 보급되고 있는 실정이다. 영상전화기는 기존의 음성통화만 실행하던 전화기에 비해 상대방의 영상을 화면으로 확인하면서 통화할 수 있으므로 친밀감이 더 높고, 통화의 집중도가 더 높다는 장점이 있었다.Recently, with the development of electronic communication technology, video telephones have been rapidly spreading. Compared to the phone that used only the existing voice call, the video phone can make a call while checking the video of the other party, so there is an advantage of higher intimacy and a higher concentration of the call.
그러나, 군부대나 형무소 등과 같이 폐쇄된 영역에서는 기밀문서가 영상전화를 통해서 외부로 유출될 수 있으며, 이에 대한 대책이 미비하여 폐쇄 영역에서의 영상전화 활용이 불가능하였다.
However, in closed areas such as military units and prisons, confidential documents can be leaked to the outside through video phones, and countermeasures are insufficient, and video phones cannot be used in closed areas.
따라서, 본 발명은 영상통화시 카메라와 영상통화장치의 중간에 보안모듈을 장착하여 카메라를 통해 입력된 얼굴출력 방해요소의 검출이 가능하도록 구성함으로써, 기밀문서 유출의 시도를 사전에 감지하고 기밀문서의 유출시도시 발신자의 카메라를 통해 입력된 영상정보를 차단하고 음성통화만 진행할 수 있도록 하는 영상통화장치 및 그 실시간 얼굴인식 영상통화방법을 제공하는 것을 목적으로 한다.Therefore, the present invention is configured to enable detection of a face output disturbance element input through the camera by mounting a security module between the camera and the video call device during a video call, so that attempts to leak a confidential document are detected in advance. It is an object of the present invention to provide a video call device and a real-time face recognition video call method for blocking the video information input through the caller's camera when the city is leaked.
또한, 본 발명은 지능망 서비스를 이용한 영상통화 사용시 카드리더기를 통해 별도의 카드번호 또는 접속번호를 수동으로 입력하지 않고 편리하게 사용할 수 있는 영상통화장치 및 그 실시간 얼굴인식 영상통화방법을 제공하는 것을 목적으로 한다.
Another object of the present invention is to provide a video call device and a real-time face recognition video call method that can be conveniently used without manually inputting a separate card number or access number through a card reader when using a video call using an intelligent network service. It is done.
상기 목적은, 외부 단말기 또는 교환기로부터 음성신호 및 영상신호 중 적어도 어느 하나를 수신하고, 카메라에 의해 촬상된 영상에 대응하는 영상신호 및 음성신호 중 적어도 어느 하나를 상기 외부 단말기 또는 상기 교환기로 송신하는 통신부와; 상기 촬상된 영상에 포함되는 얼굴영상을 인식하고 주변영상을 분석하여 얼굴출력 방해요소가 존재하는지 여부를 판단하고, 상기 얼굴출력 방해요소 존재시 상기 촬상된 영상의 외부전송을 차단하고 음성통화를 수행하도록 상기 통신부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상통화장치에 의해 달성된다.The object is to receive at least one of an audio signal and a video signal from an external terminal or an exchange, and to transmit at least one of a video signal and an audio signal corresponding to the image captured by the camera to the external terminal or the exchange. A communication unit; Recognizes the face image included in the captured image and analyzes the surrounding image to determine whether there is a face output disturbance element, and in the presence of the face output disturbance element, blocks external transmission of the captured image and performs a voice call. And a control unit for controlling the communication unit to control the communication unit.
상기 얼굴출력 방해요소는 얼굴 주요부분인 얼굴의 테두리선과, 눈과, 코와, 입과, 귀 중 적어도 어느 하나를 가리는 요소를 포함할 수 있다.The face output disturbance element may include an element covering at least one of a border line of a face, an eye, a nose, a mouth, and an ear, which are main parts of the face.
카드리더부와; 지능망 서비스를 선택받는 서비스 선택부와; 카드번호 및 전화번호를 입력하기 위한 키입력부와; 각종 버튼입력상태 및 모드선택 정보를 출력하고, 착신자의 얼굴영상을 표시하는 표시부와; 통신망을 통해 상기 영상통화장치를 영상전화서비스를 위한 교환기에 연결하는 망접속부와; 카드 정보를 통화이력과 조합하여 저장하는 데이터저장부와; 얼굴을 인식하여 얼굴출력 방해요소의 존재유무를 판단하는 얼굴인식부를 포함할 수 있다.A card reader unit; A service selection unit for receiving an intelligent network service; A key input unit for inputting a card number and a telephone number; A display unit for outputting various button input states and mode selection information, and displaying a face image of the called party; A network connection unit for connecting the video call apparatus to a switch for video telephone service through a communication network; A data storage unit for storing card information in combination with a call log; It may include a face recognition unit for recognizing the face to determine the presence of the face output interference.
상기 얼굴 인식부는 눈, 코, 입, 귀의 인식여부를 판단하는 얼굴주요구성 인식부와; 얼굴 테두리의 대칭 여부를 인식하는 대칭 인식부로 이루어지는 것이 바람직하다.
상기 망접속부는 ADSL과 FTTH 케이블 모뎀과 IP공유기를 포함하는 유선 인터페이스와, WI-FI와 HSDPA와 WCDMA와 LTE와 WIBRO를 포함하는 무선 인터페이스를 포함할 수 있다.
상기 제어부는 상기 카드리더부에 의해 카드가 스캔되는 경우 상기 지능망 접속번호를 자동으로 송출하여 지능망 서비스에 연결하고, 사용자가 상기 지능망 서비스를 선택하는 경우 상기 지능망 서비스의 접속번호를 자동으로 송출하여 상기 지능망 서비스에 연결 후 사용자로부터 카드번호를 수동으로 입력받을 수 있다.
상기 제어부는 사용자로부터 음성통화 서비스를 선택받는 경우 상기 카드를 독취하거나 해당 지능망 서비스가 선택되는 경우 즉시 음성통화를 개시할 수 있다.The face recognition unit includes a main face recognition unit determining whether the eyes, the nose, the mouth, and the ears are recognized; It is preferably made of a symmetric recognition unit for recognizing the symmetry of the face rim.
The network connection unit may include a wired interface including an ADSL and an FTTH cable modem and an IP router, and a wireless interface including WI-FI, HSDPA, WCDMA, LTE, and WIBRO.
When the card is scanned by the card reader, the controller automatically sends the intelligent network access number and connects to the intelligent network service. When the user selects the intelligent network service, the controller automatically sends the access number of the intelligent network service. After connecting to the intelligent network service, the card number can be manually input from the user.
When the voice call service is selected by the user, the controller may read the card or immediately start a voice call when the corresponding intelligent network service is selected.
한편, 영상통화모드가 선택된 경우 영상통화의 개시를 위해 얼굴을 인식하는 제1과정; 얼굴출력 방해요소가 존재하는지 여부를 판단하는 제2과정; 및 상기 얼굴출력 방해요소가 존재하는 경우 발신자의 영상출력을 차단하고 음성통화를 유지시키는 제3과정을 포함하는 것을 특징으로 하는 영상통화장치의 실시간 얼굴인식 영상통화방법에 의해서도 상기 목적은 달성된다.Meanwhile, when the video call mode is selected, a first process of recognizing a face for initiating a video call; A second step of determining whether a face output disturbance element exists; And the third step of interrupting the video output of the caller and maintaining a voice call when the face output disturbance element is present, is achieved by the real-time face recognition video call method of the video call apparatus.
상기 제2과정은, 얼굴 주요구성이 인식되는지 여부를 판단하는 과정; 및 얼굴 대칭 상태가 인식되는지 여부를 판단하는 과정을 포함할 수 있다.
상기 제3과정은 상기 얼굴출력 방해요소가 사라진 경우 다시 영상출력을 개시하여 영상통화를 유지시킬 수 있다.
The second process may include determining whether a main face configuration is recognized; And determining whether the face symmetry state is recognized.
In the third process, when the face output disturbance element disappears, video output may be started again to maintain a video call.
본 발명에 따른 영상통화장치 및 그 실시간 얼굴인식 영상통화방법에 의하면 영상통화시 카메라와 영상통화장치의 중간에 보안모듈을 장착하여 카메라를 통해 입력된 얼굴출력 방해요소의 검출이 가능하도록 구성함으로써, 기밀문서 유출의 시도를 사전에 감지하고 기밀문서의 유출시도 시 발신자의 카메라를 통해 입력된 영상정보를 차단하고 음성통화만 진행할 수 있다.According to the video call apparatus and the real-time face recognition video call method according to the present invention, by mounting a security module between the camera and the video call device during the video call, it is possible to detect the face output disturbances input through the camera, When attempting to leak a confidential document in advance, when leaking a confidential document, the video information input through the sender's camera can be blocked and only a voice call can be made.
또한, 본 발명에 따른 영상통화장치 및 그 실시간 얼굴인식 영상통화방법에 의하면 지능망 서비스를 이용한 영상통화 사용시 카드리더기를 통해 별도의 카드번호 또는 접속번호를 수동으로 입력하지 않고 편리하게 사용할 수 있다.
In addition, the video call apparatus and the real-time face recognition video call method according to the present invention can be conveniently used without manually entering a separate card number or access number through a card reader when using a video call using an intelligent network service.
도 1은 본 발명의 일실시예에 따른 영상통화장치가 구성된 통화시스템의 개략적인 구성을 도시한 모식도이며,
도 2는 본 발명에 따른 영상통화장치의 외형을 도시한 사시도이며,
도 3a 및 도 3b는 본 발명의 일실시예에 따른 영상통화장치의 얼굴인식 및 영상차단의 원리를 설명하기 위한 도면이며,
도 4는 본 발명의 일실시예에 따른 영상통화장치의 회로구성을 도시한 블록도이며,
도 5는 본 발명의 일실시예에 따른 영상통화장치의 실시간 얼굴인식 영상통화방법을 도시한 흐름도이다.1 is a schematic diagram showing a schematic configuration of a call system configured with a video call device according to an embodiment of the present invention,
Figure 2 is a perspective view showing the appearance of the video call device according to the present invention,
3A and 3B are diagrams for explaining principles of face recognition and image blocking of a video call device according to an embodiment of the present invention;
4 is a block diagram showing a circuit configuration of a video call apparatus according to an embodiment of the present invention.
5 is a flowchart illustrating a real-time face recognition video call method of a video call device according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 영상통화장치 및 그 실시간 얼굴인식 영상통화방법에 대해 상세히 설명한다.Hereinafter, a video call apparatus and a real-time face recognition video call method according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 영상통화장치가 구성된 통화 시스템의 개략적인 구성을 도시한 모식도이다.1 is a schematic diagram showing a schematic configuration of a call system configured with a video call device according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상통화장치(2)는 영상통화장치의 내부에 영상통화시 카메라와 영상통화장치의 중간에 보안모듈이 장착되어 카메라를 통해 입력된 얼굴출력 방해요소의 검출이 가능하도록 구성함으로써 기밀문서 유출의 시도를 사전에 감지하고 기밀문서 유출시도시 영상통화를 차단하고 음성통화만 진행할 수 있게 한 장치이다.As shown in FIG. 1, the
즉, 본 발명의 일실시예에 따른 영상통화장치(2)는 특히 군부대 또는 형무소 등과 같이 폐쇄된 영역에 산포 설치된 전화단말기로서, 영상통화가 가능한 전화단말기이며, 영상통화시 기밀문서의 유출을 방지함으로써 우수한 통신 보안을 이룰 수 있는 장치이다.That is, the
본 발명의 일실시예에 따른 영상통화장치(2)가 구비된 통화시스템을 도 1을 통해 살펴보면, 영상통화장치(2)는 군인 또는 제소자 등의 폐쇄된 영역에 존재하는 발신자를 위해 도처에 산포되어 설치된 전용 전화단말기로서, 그 통화 상대방의 단말기인 착신자 단말기(4, 6, 8)는 영상통화가 가능한 어떤 단말기라도 사용이 가능하도록 구성된다.Referring to FIG. 1 of a call system equipped with a
또한, 착신자 단말기는 일반 음성통화가 가능한 일반 전화단말기(10)도 구성이 가능한 바, 이 경우에는 영상통화장치(2)를 이용하여 음성통화를 수행할 수 있다.In addition, the called party terminal can also be configured as a
보다 상세하게, 본 발명의 일실시예에 따른 영상통화장치(2)는 군부대 또는 형무소 등과 같은 폐쇄된 영역의 내부에 산포되어 설치되며, 카드를 인지하고 키신호를 수신받아 착신자 단말기(4,6,8)에 대한 영상통화를 개시하며, 통화 이력을 저장할 수 있다.More specifically, the
여기서, 본 발명에 따른 영상통화장치(2)는 선불카드, 후불카드, 신용카드, 체크카드 및 콜렉트콜 등과 같은 지능망 서비스를 이용할 수 있다. 구체적으로, 본 발명에 따른 영상통화장치(2)는 지능망 서비스를 이용할 수 있도록 하는 카드리더기와, 해당 지능망 서비스를 연결할 수 있는 접속버튼을 포함한다.Here, the
또한, 본 발명의 일실시예에 따른 영상통화장치(2)는 발신자의 얼굴 영상을 인식하여 얼굴출력 방해요소가 존재하는지 여부를 판단하고 얼굴출력 방해요소가 존재하는 경우 문서 유출 가능성이 높은 것으로 판단하여, 영상지원을 차단하고 음성 통화만을 수행하도록 제어한다.In addition, the
마땅히, 본 발명의 일실시예에 따른 영상통화장치(2)는 각각 다른 영상통화장치(2) 또는 원격의 무선인터넷 중개서버와는 무관하게 독립적으로 동작하는 수단이다.The video call
도 2는 본 발명에 따른 영상통화장치의 외형을 도시한 사시도이다.Figure 2 is a perspective view showing the appearance of the video call device according to the present invention.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상통화장치(2)는 그 외형이 일반적인 공중전화 단말기와 유사한 외형으로 구성되는 바, 영상통화장치(2)는 몸체(12)가 마련되고, 그 몸체(12)의 전면 상단에는 표시부(18)가 형성되어 있다.As shown in FIG. 2, the
또한, 본 발명에 따른 영상통화장치(2)의 몸체(12)에는 그 상단에 통화자의 영상을 캡쳐하기 위한 카메라(14)가 구비되어 있으며, 일측면에는 스피커와 마이크로폰으로 구성된 송수화기(16)가 구비되어 있다.In addition, the
그리고, 본 발명에 따른 영상통화장치(2)에는 그 몸체(12)의 전면에 키입력부(20)가 구비되는 바, 키입력부(20)는 전화번호 등을 입력하기 위한 번호입력부(22)와, 음성통화 및 영상통화 메뉴를 선택하기 위한 메뉴선택부(24)가 구비되어 있으며, 카드를 삽입하기 위한 카드삽입구(26)가 형성된다.And, the
도 2에서는 본 발명에 따른 영상통화장치(2)가 일체형으로 구현되는 것을 도시하고 있지만, 카메라(14) 및 표시부(18)가 몸체(12)와 분리되어 있는 분리형으로 구현되는 것도 물론 가능하다.Although FIG. 2 illustrates that the
도 3a 및 3b는 본 발명의 일실시예에 따른 영상통화장치를 통한 얼굴 인지 및 영상차단의 원리를 설명하기 위한 도면이다.3A and 3B are diagrams for explaining principles of face recognition and image blocking through a video call device according to an embodiment of the present invention.
이를 참조하면, 본 발명의 일실시예에 따른 영상통화장치(2)는 군부대나 형무소 등의 폐쇄된 공간에 설치되어 통화자의 영상통화를 지원하면서, 문서 유출의 가능성이 인지되면 영상통화를 차단하고 음성통화만 가능하게 지원하도록 한 장치이다.Referring to this, the
이를 위해, 본 발명의 일실시예에 따른 영상통화장치(2)는 문서 유출 가능성의 유무를 인지함에 있어서, 화면의 대부분을 차지하는 얼굴영상이 가려지는지 여부를 판단하도록 한다.To this end, the video call
즉, 영상통화장치(2)는 표시부(18) 상에 출력되는 얼굴영상이 가려지는지 여부를 판단하고, 얼굴영상이 가려진 것으로 판단되면 문서 유출 가능성이 높은 것으로 간주하여 영상통화를 차단시킨다.That is, the
얼굴영상이 가려지는지 여부에 대한 판단은 얼굴방해요소(30)가 존재하는지 여부를 판단하는 것이므로, 종래의 얼굴 주요부 인식방법과 얼굴 대칭성 유무를 통해 판단하는 바, 얼굴 주요부는 얼굴의 테두리선 또는 눈,코,입, 귀의 얼굴 주요부분을 방해하는 요소가 있는지 여부를 판단하는 것이므로, 결국 얼굴의 테두리선 또는 눈, 코, 입, 귀가 인식되는지 여부를 판단하는 것이다.Since the determination of whether the face image is covered is to determine whether the face disturbance element 30 exists, it is determined through the conventional method for recognizing the main part of the face and the presence or absence of symmetry of the face. The nose, mouth, and ear is to determine whether there is an element that interferes with the main part of the face, so it is determined whether the border of the face or eyes, nose, mouth, ears are recognized.
또한, 얼굴의 대칭성 유무를 판단하는 것은 얼굴의 테두리선 및 눈과 귀의 대칭이 이루어지는지 여부를 판단하는 것이다. 얼굴영상의 수직선 분리와 겹침을 통해 대칭이 이루어지는지 여부를 판단할 수 있다.In addition, to determine the symmetry of the face is to determine whether the rim of the face and the symmetry of the eyes and ears. It is possible to determine whether or not the symmetry is performed through vertical line separation and overlapping of the facial image.
따라서, 본 발명에 따른 영상통화장치(2)는 도 3a에 도시된 바와 같이 얼굴의 주요부위가 인식되고, 대칭이 이루어지면 영상통화를 지속적으로 수행할 수 있도록 중개하며, 도 3b에 도시된 바와 같이 얼굴 주요부위 중 일부가 인식되지 않으면서 대칭이 이루어지지 않으면 영상통화를 차단하고 음성통화만 이루어지도록 중개 처리한다.Accordingly, the
도 4는 본 발명의 일실시예에 따른 영상통화장치(2)의 회로구성을 도시한 블록도이다.4 is a block diagram showing a circuit configuration of the
도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상통화장치(2)는 내부에 표시부(18)와, 키입력부(20)와, 영상데이터 차단부(36)와, 카드독취부(38)와, 망접속부(40)와, 망접속부(40)에 포함되는 유선 인터페이스(41) 및 무선 인터페이스(42)와, 수신부(44) 및 송신부(46)를 포함하는 통신부(43)와, 음성처리부(52)와, 얼굴인식부(54)와, 데이터 저장부(56)와, 제어부(58)가 포함되어 구성된다.As shown in FIG. 4, the
표시부(18)는 각종 버튼입력상태 및 모드선택 정보를 출력하고, 착신자의 얼굴 영상을 화면 출력한다.The
키입력부(20)는 착신측 전화번호 선택신호 및 숫자키를 사용자에 의해 입력받으며, 서비스 접속을 위한 접속버튼도 마련된다. 본 발명에 따른 키입력부(20)는 전화번호 등을 입력하기 위한 번호입력부(22)와, 음성통화 및 영상통화 메뉴를 선택하기 위한 메뉴선택부(24)로 이루어진다.The
영상데이터 차단부(36)는 얼굴출력 방해요소 검출시 영상데이터의 전송을 차단한다.The image
카드리더부(38)는 RFID 태그가 내장된 카드의 정보를 독취한다. 물론, 본 발명에 따른 카드리더부(38)는 마그네틱 카드와, 일명 스마트카드라고 불리는 접촉식 또는 비접촉식 IC 카드의 정보를 독취하는 것도 가능하다.The card reader unit 38 reads the information of the card in which the RFID tag is embedded. Of course, the card reader 38 according to the present invention can also read the information of the magnetic card and the contact or contactless IC card called a smart card.
망접속부(40)는 IP망을 통해 영상통화장치(2)를 지능망 교환기 및 인터넷 영상전화서비스를 위한 교환기에 연결하며, 내부에 ADSL과 FTTH 케이블 모뎀과 IP공유기를 포함하는 유선 인터페이스(41)와, WI-FI와 HSDPA와 WCDMA와 LTE와 WIBRO를 포함하는 무선인터넷 접속을 위한 무선 인터페이스(42)가 별도로 구비될 수 있다.The
통신부(43)는 외부 단말기 또는 교환기로부터 음성신호 및 영상신호 중 적어도 어느 하나를 수신하고, 카메라에 의해 촬상된 영상에 대응하는 영상신호 및 음성신호 중 적어도 어느 하나를 외부 단말기 또는 교환기로 송신한다. 통신부(43)는 수신부(44)와 송신부를 포함하며, 수신부(44)는 상대방측 단말기 또는 교환기로부터의 음성신호 또는 영상정보를 수신하며, 송신부(46)는 마이크로폰(16b)으로부터 입력된 음성신호를 송신 가능하게 필터링 및 증폭처리한다.The
음성처리부(52)는 수신부(44)를 통해서 수신받은 상대방 측으로부터의 음성신호를 신호 처리하여 스피커를 통해 출력되도록 하고, 마이크로폰(16b)으로부터 입력받은 사용자의 음성신호를 신호 처리하여 송신부(46)에 출력한다.The
얼굴인식부(54)는 얼굴을 인식하여 얼굴출력 방해요소의 존재유무를 판단하며, 눈, 코, 입, 귀의 인식여부를 판단하는 얼굴주요구성 인식부(54a)와, 얼굴 테두리의 대칭 여부를 인식하는 대칭 인식부(54b)로 이루어진다.The
데이터 저장부(56)는 카드 정보를 통화이력과 조합하여 저장한다. 구체적으로, 본 발명에 따른 데이터 저장부(56)는 지능망 서비스별 접속번호와, 서비스로의 접속을 위한 접속버튼 식별정보와, 종류별 카드식별정보를 저장할 수 있으며, 이에 대응하는 통화이력을 저장할 수 있다.The
제어부(58)는 각 구성을 제어하여 영상통화를 수행하고, 얼굴출력 방해요소 검출시 영상데이터 전송을 차단할 수 있게 제어한다.The
더불어, 본 발명의 일실시예에 따른 영상통화장치(2)에는 도시하지는 않았지만, 발신자의 영상을 캡쳐하기 위한 카메라와, 카메라로부터 캡쳐된 영상을 전송 가능하도록 처리하는 영상처리부가 더 구비되어 있다.In addition, although not shown, the
본 발명에 따른 얼굴인식부(54)는 카메라와 영상처리부를 통해 수신되는 영상신호를 통해 얼굴출력 방해요소의 존재유무를 판단하며, 얼굴인식부(54)의 기능은 본 발명에 따른 영상통화장치(2)가 아닌 데이터 통신망의 지능망 서버에서 수행될 수도 있다.The
상기한 구성의 본 발명의 일실시예에 따른 영상통화장치(2)의 기능과 작용을 첨부된 도면을 참조하여 상세하게 설명한다.The function and operation of the
도 5는 본 발명의 일실시예에 따른 영상통화장치(2)의 실시간 얼굴인식 영상통화방법을 도시한 흐름도이다.5 is a flowchart illustrating a real-time face recognition video call method of the
먼저, 본 발명의 일실시예에 따른 영상통화장치(2)는 군부대나 형무소 등의 폐쇄된 공간에서 보안 상태를 유지하면서 영상통화가 가능하도록 한 장치이며, 발신자의 통화 시도로부터 신호흐름이 시작된다.First, the
즉, 발신자가 영상통화장치(2)에 카드를 삽입하거나 접근하게 되면 영상통화장치(2)는 해당 선불카드, 후불카드, 신용카드, 체크카드가 인식되는지 여부를 판단한다. 카드가 인식되면 영상통화장치(2)는 카드 정보를 독취하게 된다.That is, when the caller inserts or approaches the card in the
여기서, 발신자가 카드를 소지하고 있지 않은 경우 카드번호를 수동으로 입력하여 해당 서비스를 이용할 수 있으며, 콜렉트콜 등과 같이 카드가 불필요한 서비스를 선택할 수도 있다. 서비스가 선택되면, 카드별 영상통화가 가능한 지능망 접속번호와 카드번호를 자동으로 송출한다.Here, when the caller does not have a card, the card may be manually entered to use the corresponding service, and a service that does not require a card such as a collect call may be selected. If the service is selected, the intelligent network access number and card number for video calling by card are automatically transmitted.
즉, 본 발명에 따른 영상통화장치(2)는 카드가 독취되면 통화 가능한 카드인지 여부를 판단하기 위해서, 영상통화장치(2)는 해당 카드 정보 또는 발신자를 통해 입력된 정보를 SIP 교환기 및 IP 망을 통해 지능망 서버(미도시)로 송신하고, 지능망 서버에서는 관련된 서비스를 제공할 수 있는지 여부를 인증한다.That is, in order to determine whether the
여기서, 영상통화장치가 IP망에 접속하기 위한 인터넷 인터페이스는 TCP/IP 프로토콜 등과 같은 유선인터페이스와, FTTH 인터페이스와, 무선인터넷 WIFI 인터페이스와, WIBRO 인터페이스와, 모바일 인터페이스 등과 같이 단말기가 인터넷에 접속할 수 있는 모든 인터페이스를 이용할 수 있다.Here, the Internet interface for the video call device to access the IP network is a wired interface such as TCP / IP protocol, FTTH interface, wireless Internet WIFI interface, WIBRO interface, mobile interface, etc. All interfaces are available.
만일, 지능망 서버에서 관련된 서비스를 제공할 수 없는 상황이라고 판단되면, 본 발명에 따른 영상통화장치(2)는 통화 불가처리를 수행하고 화면에 통화불가 메시지를 출력시킨다.If it is determined that the intelligent network server is unable to provide a related service, the
여기서, 지능망 서버에서 서비스 인증이 성공한 경우에는 영상통화장치(2)는 지능망 서비스의 안내에 따라 상대방의 전화번호를 입력받아 중개서버(미도시)로 호접속 요구신호를 전송하고, 영상통화 중개를 개시한다.Here, when the service authentication is successful in the intelligent network server, the
그와 동시에, 본 발명에 따른 영상통화장치(2)는 얼굴을 인식하고, 얼굴출력 방해요소가 존재하는지 여부를 판단한다.At the same time, the
여기서, 본 발명에 따른 영상통화장치(2)가 얼굴출력 방해요소가 존재하는지 여부를 판단하는 과정은 얼굴 주요구성이 인식되는지 여부를 판단하는 과정과, 얼굴 대칭 상태가 인식되는지 여부를 판단하는 과정으로 이루어진다.Here, the process of determining whether the
즉, 본 발명에 따른 영상통화장치(2)는 얼굴의 주요구성이 인식되지 않거나 또는 얼굴영상이 대칭 상태가 아닌 경우라면 얼굴출력 방해요소가 존재하는 것으로 판단하고, 영상통화를 차단하고 음성통화를 유지시킨다. 얼굴출력 방해요소가 존재한다는 것을 문서 유출 가능성이 높은 상태로 간주하는 것이다.That is, the
만약, 정상적으로 영상통화가 이루어지는 상태라면, 본 발명에 따른 영상통화장치(2)는 통화 종료여부를 판단하고, 통화 종료신호가 수신되면 통화 이력을 저장할 수 있다.If the video call is normally performed, the
이 때, 본 발명에 따른 영상통화장치(2)에서 저장되는 통화 이력은 통화에 사용된 카드 정보 또는 사용자정보 및 영상 차단정보를 의미하는 바, 통화에 사용되는 카드의 고유번호 또는 서비스 선택에 필요한 접속번호 등을 통해 어떤 발신자가 통화를 수행했는지를 파악할 수 있으며, 영상 차단정보를 저장함으로 인해 문서 유출 시도가 있었는지 여부를 파악할 수 있다.At this time, the call history stored in the
이를 통해, 본 발명의 일실시예에 따른 영상통화장치(2)는 문서 유출을 원천적으로 차단할 수 있으므로, 기밀문서의 유출이 엄격히 제한되는 군부대나 형무소 등의 폐쇄된 공간에서 사용하기에 매우 적합하다.Through this, the
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.
2 : 영상통화장치 18 : 표시부
20 : 키입력부 22 : 번호입력부
24 : 메뉴선택부 36 : 영상데이터 차단부
38 : 카드리더부 40 : 망접속부
41 : 유선 인터페이스 42 : 무선 인터페이스
43 : 통신부 44 : 수신부
46 : 송신부 52 : 음성처리부
54 : 얼굴인식부 54a : 얼굴주요구성 인식부
54b : 대칭인식부 56 : 데이터저장부
58 : 제어부2: Video call device 18: Display unit
20: key input unit 22: number input unit
24: Menu selection unit 36: Image data blocking unit
38: card reader 40: network connection
41: wired interface 42: wireless interface
43: communication unit 44: receiving unit
46: transmitting unit 52: voice processing unit
54: face recognition unit 54a: face major composition recognition unit
54b: Symmetric recognition unit 56: Data storage unit
58: control unit
Claims (10)
상기 촬상된 영상에 포함되는 얼굴영상을 인식하고 주변영상을 분석하여 얼굴출력 방해요소가 존재하는지 여부를 판단하고, 상기 얼굴출력 방해요소 존재시 상기 촬상된 영상의 외부전송을 차단하고 음성통화를 수행하도록 상기 통신부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상통화장치.
A communication unit which receives at least one of an audio signal and a video signal from an external terminal or an exchange, and transmits at least one of a video signal and an audio signal corresponding to the image captured by the camera to the external terminal or the exchange;
Recognizes the face image included in the captured image and analyzes the surrounding image to determine whether there is a face output disturbance element, and in the presence of the face output disturbance element, blocks external transmission of the captured image and performs a voice call. And a control unit for controlling the communication unit to control the communication unit.
상기 얼굴출력 방해요소는 얼굴 주요부분인 얼굴의 테두리선과, 눈과, 코와, 입과, 귀 중 적어도 어느 하나를 가리는 요소를 포함하는 것을 특징으로 하는 영상통화장치.
The method of claim 1,
The face output disturbance element includes an element covering at least one of a border line of a face which is a main part of a face, eyes, a nose, a mouth, and an ear.
카드리더부와;
지능망 서비스를 선택받는 서비스 선택부와;
카드번호 및 전화번호를 입력하기 위한 키입력부와;
각종 버튼입력상태 및 모드선택 정보를 출력하고, 착신자의 얼굴영상을 표시하는 표시부와;
통신망을 통해 상기 영상통화장치를 영상전화서비스를 위한 교환기에 연결하는 망접속부와;
카드 정보를 통화이력과 조합하여 저장하는 데이터저장부와;
얼굴을 인식하여 얼굴출력 방해요소의 존재유무를 판단하는 얼굴인식부를 포함하는 것을 특징으로 하는 영상통화장치.
The method of claim 1,
A card reader unit;
A service selection unit for receiving an intelligent network service;
A key input unit for inputting a card number and a telephone number;
A display unit for outputting various button input states and mode selection information, and displaying a face image of the called party;
A network connection unit for connecting the video call apparatus to a switch for video telephone service through a communication network;
A data storage unit for storing card information in combination with a call log;
And a face recognizer configured to recognize a face and determine whether a face output disturbance is present.
상기 얼굴 인식부는,
눈, 코, 입, 귀의 인식여부를 판단하는 얼굴주요구성 인식부와;
얼굴 테두리의 대칭 여부를 인식하는 대칭 인식부로 이루어진 것을 특징으로 하는 영상통화장치.
The method of claim 3,
The face recognition unit,
A main face recognition unit for determining whether eyes, nose, mouth, and ears are recognized;
The video call device, characterized in that consisting of a symmetric recognition unit for recognizing the symmetry of the face border.
상기 망접속부는 ADSL과 FTTH 케이블 모뎀과 IP공유기를 포함하는 유선 인터페이스와, WI-FI와 HSDPA와 WCDMA와 LTE와 WIBRO를 포함하는 무선 인터페이스를 포함하는 것을 특징으로 하는 영상통화장치.
The method of claim 3,
The network connection unit includes a wired interface including an ADSL, an FTTH cable modem, and an IP router, and a wireless interface including WI-FI, HSDPA, WCDMA, LTE, and WIBRO.
상기 제어부는 상기 카드리더부에 의해 카드가 스캔되는 경우 상기 지능망의 접속번호를 자동으로 송출하여 지능망 서비스에 연결하고, 사용자가 상기 지능망 서비스를 선택하는 경우 상기 지능망 서비스의 접속번호를 자동으로 송출하여 상기 지능망 서비스에 연결 후 사용자로부터 카드번호를 수동으로 입력받는 것을 특징으로 하는 영상통화장치.
The method of claim 3,
When the card is scanned by the card reader, the control unit automatically transmits the access number of the intelligent network to connect to the intelligent network service, and when the user selects the intelligent network service, automatically transmits the access number of the intelligent network service. And receiving the card number manually from the user after connecting to the intelligent network service.
상기 제어부는 사용자로부터 음성통화 서비스를 선택받는 경우 카드를 독취하거나 해당 지능망 서비스가 선택되는 경우 즉시 음성통화를 개시하는 것을 특징으로 하는 영상통화장치.
7. The method according to claim 1 or 6,
The controller reads the card when the voice call service is selected by the user or immediately starts the voice call when the corresponding intelligent network service is selected.
얼굴출력 방해요소가 존재하는지 여부를 판단하는 제2과정;
및 상기 얼굴출력 방해요소가 존재하는 경우 발신자의 영상출력을 차단하고 음성통화를 유지시키는 제3과정을 포함하는 것을 특징으로 하는 영상통화장치의 실시간 얼굴인식 영상통화방법.
Recognizing a face for initiating a video call when the video call mode is selected;
A second step of determining whether a face output disturbance element exists;
And a third process of interrupting the caller's video output and maintaining a voice call when the face output disturbance element is present.
상기 제2과정은,
얼굴 주요구성이 인식되는지 여부를 판단하는 과정; 및
얼굴 대칭 상태가 인식되는지 여부를 판단하는 과정을 포함하는 것을 특징으로 하는 영상통화장치의 실시간 얼굴인식 영상통화방법.
9. The method of claim 8,
In the second process,
Determining whether or not the main face configuration is recognized; And
And determining whether a face symmetry state is recognized.
상기 제3과정은,
상기 얼굴출력 방해요소가 사라진 경우 다시 영상출력을 개시하여 영상통화를 유지시키는 것을 특징으로 하는 영상통화장치의 실시간 얼굴인식 영상통화방법.9. The method of claim 8,
The third process,
Real-time face recognition video call method of a video call device, characterized in that if the face output disturbance element disappears to start the video output again.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100110647A KR101277322B1 (en) | 2010-11-08 | 2010-11-08 | Video communication apparatus and real time face recognition video communication method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100110647A KR101277322B1 (en) | 2010-11-08 | 2010-11-08 | Video communication apparatus and real time face recognition video communication method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120049451A KR20120049451A (en) | 2012-05-17 |
KR101277322B1 true KR101277322B1 (en) | 2013-06-20 |
Family
ID=46267223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100110647A KR101277322B1 (en) | 2010-11-08 | 2010-11-08 | Video communication apparatus and real time face recognition video communication method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101277322B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101736095B1 (en) * | 2016-01-26 | 2017-05-29 | 주식회사 슈니드 | Outside diversion preventing method of security image and system thereof |
KR101757682B1 (en) | 2016-01-11 | 2017-07-13 | 주식회사 슈니드 | Outside diversion preventing method of security image and system therof |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101490698B1 (en) * | 2012-08-13 | 2015-02-06 | 삼성에스디에스 주식회사 | Mobile communication terminal and method for video call service using the same |
KR101531828B1 (en) * | 2014-03-31 | 2015-06-29 | 주식회사 그린비파트너스 | terminal having function of real time text transmission/reception and mail |
KR102201046B1 (en) | 2020-03-04 | 2021-01-11 | 대남이엔지 (주) | Wasted heat recovery piping system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200306314Y1 (en) * | 2002-11-25 | 2003-03-04 | 김성수 | mobile telephone with image communication function |
KR20030065659A (en) * | 2002-01-30 | 2003-08-09 | 삼성전자주식회사 | Apparatus and method for providing security in base station or mobile station using detection of face information |
-
2010
- 2010-11-08 KR KR1020100110647A patent/KR101277322B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030065659A (en) * | 2002-01-30 | 2003-08-09 | 삼성전자주식회사 | Apparatus and method for providing security in base station or mobile station using detection of face information |
KR200306314Y1 (en) * | 2002-11-25 | 2003-03-04 | 김성수 | mobile telephone with image communication function |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101757682B1 (en) | 2016-01-11 | 2017-07-13 | 주식회사 슈니드 | Outside diversion preventing method of security image and system therof |
KR101736095B1 (en) * | 2016-01-26 | 2017-05-29 | 주식회사 슈니드 | Outside diversion preventing method of security image and system thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20120049451A (en) | 2012-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101394597B1 (en) | Image security apparatus and image security system using face detect algorithm and image security method thereof | |
KR100769762B1 (en) | Portable videophone unit, portable videophone system, and call-out and call-in method of portable videophone unit | |
US8224128B2 (en) | Portable information terminal device | |
US8706162B1 (en) | Automatic routing of call audio at incoming call | |
KR101277322B1 (en) | Video communication apparatus and real time face recognition video communication method thereof | |
RU2594755C1 (en) | Method and apparatus for identifying the telephone call | |
CN106454800B (en) | Auth method, apparatus and system | |
JP2007199984A (en) | Communication terminal device | |
CN106060789B (en) | short message identification method and device | |
KR100651461B1 (en) | Portable terminal capable of coping data between subscriber identification module cards and method for coping data using that | |
CN105704766A (en) | Control method and device of double-card mobile terminal | |
CN105187667A (en) | Incoming call processing method and device | |
CN109039860A (en) | Send and show method and device, the identity authentication method and device of message | |
JP2009100334A (en) | Apparatus and mobile terminal for dealing with visitor, and system therefor | |
JP5140108B2 (en) | Mobile communication terminal device and program | |
CN113407427A (en) | Verification information processing method and device, terminal equipment and storage medium | |
KR101184275B1 (en) | Function halt control method and mobile communication terminal apparatus | |
JP5010131B2 (en) | Authentication method, authentication system, authentication server, call terminal, and authentication program | |
CN109033928A (en) | Prevent the image processing method and device of information leakage | |
KR100601930B1 (en) | Apparatus for processing state information of portable phone terminal | |
KR101582816B1 (en) | calling and messaging terminal and communication system of unspecified user using private identity | |
JP2006079459A (en) | User authentication system | |
KR100749748B1 (en) | Mobile station with control communication channel and its method | |
KR102109052B1 (en) | Method for Real-Time Authenticating Caller | |
KR100631580B1 (en) | Method of limiting camera function of mobile communication terminal equipped with camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160613 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170602 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180614 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20190327 Year of fee payment: 7 |