KR102559493B1 - Service providing server to provide the digital will service that can verify the authenticity of the voice and the operating method thereof - Google Patents
Service providing server to provide the digital will service that can verify the authenticity of the voice and the operating method thereof Download PDFInfo
- Publication number
- KR102559493B1 KR102559493B1 KR1020210157547A KR20210157547A KR102559493B1 KR 102559493 B1 KR102559493 B1 KR 102559493B1 KR 1020210157547 A KR1020210157547 A KR 1020210157547A KR 20210157547 A KR20210157547 A KR 20210157547A KR 102559493 B1 KR102559493 B1 KR 102559493B1
- Authority
- KR
- South Korea
- Prior art keywords
- identification information
- voice data
- information
- voice
- node device
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 68
- 238000012790 confirmation Methods 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims description 14
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 소정의 유언 내용이 포함된 음성 데이터 상에, 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입하여 제공할 수 있는 서비스 제공 서버 및 그 동작 방법을 제시함으로써, 상기 정보가 삽입된 음성 데이터를 획득한 상속자가 상기 획득한 음성 데이터가 진본인지 여부를 확인하고자 하는 경우, 자신의 전자 단말을 통해, 상기 획득한 음성 데이터에 대한 출력 음향을 인식시키는 것만으로 상기 획득한 음성 데이터가 진본인지 여부를 보다 쉽게 확인할 수 있도록 지원할 수 있다.The present invention provides a service providing server capable of inserting and providing information for proving that the voice data is authentic in voice data including predetermined will content, and an operation method thereof, so that when an inheritor who has acquired voice data with the information inserted wants to verify whether the acquired voice data is authentic, it can be supported to more easily verify whether the obtained voice data is authentic simply by recognizing an output sound for the acquired voice data through his or her electronic terminal.
Description
본 발명은 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버 및 그 동작 방법에 대한 것이다.The present invention relates to a service providing server and its operating method for providing a digital will service capable of verifying authenticity of voice.
최근, 가족 간에 재산 상속 문제를 놓고 갈등을 겪는 경우가 종종 발생하고 있다. 이러한 가족 간 재산 다툼을 사전에 예방하려면 생전에 유언을 남겨 놓는 것이 가장 좋은 방법일 수 있다.Recently, there are often cases in which family members have conflicts over property inheritance issues. In order to prevent these family property disputes in advance, it may be the best way to leave a will during your lifetime.
보통, 유언의 종류로는 자필증서, 녹음, 공증증서, 비밀증서 및 구수증서가 존재하는데, 녹음기기와 증인 한명만 존재한다면 언제든지 쉽고 간편하게 유언할 수 있는 녹음유언이 주로 활용되고 있다.Usually, there are types of wills, such as holographic documents, audio recordings, notarized documents, confidential documents, and oral documents. Recorded wills, which can be made easily and conveniently at any time as long as there is only a recording device and one witness, are mainly used.
하지만, 녹음유언에는 녹음된 음성이 위변조될 우려가 존재하기 때문에, 녹음된 음성이 진본이 맞는지 여부를 확인할 수 있도록 지원하는 서비스에 대한 요구가 증가하고 있다.However, since there is a risk that the recorded voice may be forged or falsified in the recorded will, there is an increasing demand for a service that can confirm whether the recorded voice is authentic.
관련해서, 기존에는 유언의 내용이 포함되어 있는 녹음된 음성을 획득한 상속자가 상기 획득한 음성이 진본이 맞는지 여부를 확인하려면 소정의 음성 검증기관에 직접 확인을 의뢰해야만 하는 번거로움이 존재하였다.In this regard, in the past, in order to confirm whether or not the acquired voice is authentic, an heir who acquired a recorded voice containing the contents of a will had to directly request confirmation from a predetermined voice verification agency.
이와 관련해서, 음성에, 사람의 청력으로는 들을 수 없는 주파수 영역에 해당되는 소정의 노이즈 음원을 음성의 진위 확인을 위한 정보로서 삽입해 둠으로써, 추후 이 노이즈 음원을 기초로 상속자가 유언의 음성이 진본이 맞는지 여부를 보다 쉽게 확인할 수 있도록 하는 기술의 도입을 고려할 수 있다.In this regard, a predetermined noise source corresponding to a frequency region inaudible to human hearing is inserted into the voice as information for verifying the authenticity of the voice, so that the heir later based on this noise source It is possible to consider introducing a technology that makes it easier to confirm whether or not the voice of the will is authentic.
이렇게, 유언의 내용이 포함되어 있는 녹음된 음성에, 진본이 맞는지 여부를 확인할 수 있도록 하는 소정의 노이즈 음원을 삽입해 두게 되면, 추후에 유언의 내용이 포함되어 있는 녹음된 음성을 입수한 상속자가 자신의 전자 단말을 통해, 해당 녹음된 음성에 삽입되어 있는 노이즈 음원을 인식시키는 것만으로, 해당 녹음된 음성이 진본이 맞는지 여부를 확인할 수 있다는 점에서, 상속자의 편의가 증대될 수 있을 것이다.In this way, if a predetermined noise source is inserted into the recorded voice containing the contents of the will to confirm whether or not the recorded voice is authentic, the convenience of the inheritor who later obtains the recorded voice containing the contents of the will can confirm whether the recorded voice is authentic by simply recognizing the noise source inserted into the recorded voice through his or her electronic terminal through his or her electronic terminal.
본 발명은 소정의 유언 내용이 포함된 음성 데이터 상에, 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입하여 제공할 수 있는 서비스 제공 서버 및 그 동작 방법을 제시함으로써, 상기 정보가 삽입된 음성 데이터를 획득한 상속자가 상기 획득한 음성 데이터가 진본인지 여부를 확인하고자 하는 경우, 자신의 전자 단말을 통해, 상기 획득한 음성 데이터에 대한 출력 음향을 인식시키는 것만으로 상기 획득한 음성 데이터가 진본인지 여부를 보다 쉽게 확인할 수 있도록 지원하고자 한다.The present invention provides a service providing server capable of inserting and providing information for proving that the voice data is authentic in voice data including predetermined will content, and an operating method thereof, so that when an heir who has acquired voice data with the information inserted wants to verify whether the acquired voice data is authentic, he or she can more easily check whether the acquired voice data is authentic simply by recognizing the output sound of the acquired voice data through his or her electronic terminal.
본 발명의 일실시예에 따른, 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버는 상기 디지털 유언 서비스에 가입되어 있는 복수의 회원들 각각에 대한 회원 식별 정보가 저장되어 있는 회원 식별 정보 저장부, 상기 복수의 회원들 중 어느 한 명인 제1 회원이 보유하고 있는 제1 클라이언트 단말로부터 제1 회원 식별 정보 및 상기 제1 회원의 유언 내용이 포함된 음성 데이터가 수신되면서, 상기 제1 클라이언트 단말로부터 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되면, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한지 여부를 확인하는 회원 식별 정보 확인부, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 음성 데이터를 식별하기 위한 제1 음성 식별 정보를 생성한 후, 상기 제1 음성 식별 정보를 포함하는 노이즈(Noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 노이즈 음원 생성부, 상기 노이즈 음원이 생성되면, 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 상기 제1 클라이언트 단말로 전송하는 전송부 및 상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송되면, 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보 및 상기 제1 음성 식별 정보가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 제1 등록 요청부를 포함한다.According to an embodiment of the present invention, a service providing server for providing a digital will service capable of verifying the authenticity of voice includes a member identification information storage unit storing member identification information for each of a plurality of members subscribed to the digital will service, and voice data including first member identification information and the will of the first member received from a first client terminal possessed by a first member among the plurality of members, proving that the voice data is authentic in the voice data from the first client terminal. When an information insertion command for requesting insertion of information is received, a member identification information confirmation unit that checks whether the first member identification information received from the first client terminal and member identification information for the first member stored in the member identification information storage unit are identical to each other, and when it is confirmed that the first member identification information received from the first client terminal and member identification information for the first member stored in the member identification information storage unit are identical to each other, first voice identification information for identifying the voice data is generated, and then the first voice identification information is generated. A noise source generating unit that generates a noise source including voice identification information, wherein the noise source is a sound source generated by combining signals of two or more preselected frequency components in a preset non-audible frequency band; when the noise source is generated, a transmission unit that inserts the noise source into the voice data and transmits the voice data into which the noise source is inserted to the first client terminal; After generating a first transaction including identification information and the first voice identification information, randomly selects a first node device, which is any one of a plurality of node devices constituting a blockchain network, and transmits the first transaction to the first node device. A first registration request unit for transmitting a registration request to the blockchain network of the first transaction.
또한, 본 발명의 일실시예에 따른, 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 동작 방법은 상기 디지털 유언 서비스에 가입되어 있는 복수의 회원들 각각에 대한 회원 식별 정보가 저장되어 있는 회원 식별 정보 저장부를 유지하는 단계, 상기 복수의 회원들 중 어느 한 명인 제1 회원이 보유하고 있는 제1 클라이언트 단말로부터 제1 회원 식별 정보 및 상기 제1 회원의 유언 내용이 포함된 음성 데이터가 수신되면서, 상기 제1 클라이언트 단말로부터 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되면, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한지 여부를 확인하는 단계, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 음성 데이터를 식별하기 위한 제1 음성 식별 정보를 생성한 후, 상기 제1 음성 식별 정보를 포함하는 노이즈 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 단계, 상기 노이즈 음원이 생성되면, 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 상기 제1 클라이언트 단말로 전송하는 단계 및 상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송되면, 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보 및 상기 제1 음성 식별 정보가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 단계를 포함한다.In addition, according to an embodiment of the present invention, a method of operating a service providing server for providing a digital will service capable of verifying authenticity of voice includes maintaining a member identification information storage unit storing member identification information for each of a plurality of members subscribed to the digital will service, receiving voice data including first member identification information and the will of the first member from a first client terminal possessed by a first member among the plurality of members, and storing the voice data from the first client terminal. When an information insertion command requesting insertion of information to prove that the voice data is authentic is received, checking whether the first member identification information received from the first client terminal and member identification information for the first member stored in the member identification information storage unit are identical to each other, generating first voice identification information for identifying the voice data when it is confirmed that the first member identification information received from the first client terminal and member identification information for the first member stored in the member identification information storage unit are identical to each other, generating a noise source including the first voice identification information, wherein the noise source is a sound source generated by combining signals of two or more preselected frequency components in a preset inaudible frequency band; when the noise source is generated, inserting the noise source into the voice data and then transmitting the voice data into which the noise source is inserted to the first client terminal; and when the voice data into which the noise source is inserted is transmitted to the first client terminal, the voice data into which the noise source is inserted, the first member identification information and the After generating a first transaction including first voice identification information, randomly selecting a first node device, which is any one of a plurality of node devices constituting a blockchain network, and transmitting the first transaction to the first node device, and transmitting a registration request to the blockchain network of the first transaction while transmitting the first transaction.
본 발명은 소정의 유언 내용이 포함된 음성 데이터 상에, 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입하여 제공할 수 있는 서비스 제공 서버 및 그 동작 방법을 제시함으로써, 상기 정보가 삽입된 음성 데이터를 획득한 상속자가 상기 획득한 음성 데이터가 진본인지 여부를 확인하고자 하는 경우, 자신의 전자 단말을 통해, 상기 획득한 음성 데이터에 대한 출력 음향을 인식시키는 것만으로 상기 획득한 음성 데이터가 진본인지 여부를 보다 쉽게 확인할 수 있도록 지원할 수 있다.The present invention provides a service providing server capable of inserting and providing information for proving that the voice data is authentic in voice data including predetermined will content, and an operation method thereof, so that when an inheritor who has acquired voice data with the information inserted wants to verify whether the acquired voice data is authentic, it can be supported to more easily verify whether the obtained voice data is authentic simply by recognizing an output sound for the acquired voice data through his or her electronic terminal.
도 1은 본 발명의 일실시예에 따른 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 동작 방법을 도시한 순서도이다.1 is a diagram showing the structure of a service providing server for providing a digital will service capable of verifying the authenticity of voice according to an embodiment of the present invention.
2 is a flowchart illustrating an operating method of a service providing server for providing a digital will service capable of verifying authenticity of voice according to an embodiment of the present invention.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. This description is not intended to limit the present invention to specific embodiments, but should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Similar reference numerals have been used for similar components while describing each figure, and unless otherwise defined, all terms used in this specification, including technical or scientific terms, have the same meaning as commonly understood by those skilled in the art to which the present invention belongs.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다. In this document, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated. In addition, in various embodiments of the present invention, each component, functional block, or means may be composed of one or more sub-components, and electrical, electronic, and mechanical functions performed by each component may be implemented with various well-known elements or mechanical elements such as electronic circuits, integrated circuits, ASICs (Application Specific Integrated Circuits), and may be implemented separately or two or more may be integrated into one.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.On the other hand, the blocks of the accompanying block diagram or the steps of the flowchart are mounted in a processor or memory of equipment capable of data processing, such as a general-purpose computer, a special purpose computer, a portable notebook computer, and a network computer, and perform designated functions. It can be interpreted as meaning computer program instructions. Since these computer program instructions may be stored in a memory included in a computer device or in a computer readable memory, the functions described in blocks of a block diagram or steps of a flowchart may be produced as a product containing instruction means for performing them. Further, each block or each step may represent a module, segment or portion of code that includes one or more executable instructions for executing specified logical function(s). Also, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may be executed out of a predetermined order. For example, two blocks or steps shown in succession may be performed substantially simultaneously or in reverse order, and in some cases, some blocks or steps may be omitted.
도 1은 본 발명의 일실시예에 따른 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 구조를 도시한 도면이다.1 is a diagram showing the structure of a service providing server for providing a digital will service capable of verifying the authenticity of voice according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 서비스 제공 서버(110)는 회원 식별 정보 저장부(111), 회원 식별 정보 확인부(112), 노이즈 음원 생성부(113), 전송부(114) 및 제1 등록 요청부(115)를 포함한다.1, a
회원 식별 정보 저장부(111)에는 상기 디지털 유언 서비스에 가입되어 있는 복수의 회원들 각각에 대한 회원 식별 정보가 저장되어 있다.The member identification
여기서, 회원 식별 정보란 각 회원의 ID, 성명, 연락처, 주소 또는 각 회원이 보유하고 있는 단말의 식별 번호 등의 식별 정보를 의미한다.Here, member identification information refers to identification information such as ID, name, contact number, address, or identification number of a terminal possessed by each member.
관련해서, 회원 식별 정보 저장부(111)에는 하기의 표 1과 같이 정보가 저장되어 있을 수 있다.In relation to this, information as shown in Table 1 below may be stored in the member identification
회원 식별 정보 확인부(112)는 상기 복수의 회원들 중 어느 한 명인 제1 회원이 보유하고 있는 제1 클라이언트 단말(140)로부터 제1 회원 식별 정보 및 상기 제1 회원의 유언 내용이 포함된 음성 데이터가 수신되면서, 제1 클라이언트 단말(140)로부터 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되면, 제1 클라이언트 단말(140)로부터 수신된 상기 제1 회원 식별 정보와 회원 식별 정보 저장부(111)에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한지 여부를 확인한다.The member identification
예컨대, 제1 회원을 상기 표 1과 같은 회원 식별 정보 저장부(111)에서의 '회원 1'이라고 하고, 복수의 회원들 중 어느 한 명인 '회원 1'이 보유하고 있는 제1 클라이언트 단말(140)로부터 서비스 제공 서버(110)에 '회원 식별 정보 1' 및 '회원 1'의 유언 내용이 포함된 음성 데이터가 수신되면서, 제1 클라이언트 단말(140)로부터 서비스 제공 서버(110)에 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되었다고 가정하자.For example, the first member is referred to as 'Member 1' in the member identification
그러면, 회원 식별 정보 확인부(112)는 제1 클라이언트 단말(140)로부터 수신된 '회원 식별 정보 1'과 상기 표 1과 같은 회원 식별 정보 저장부(111)에 저장되어 있는 '회원 1'에 대한 회원 식별 정보인 '회원 식별 정보 1'이 서로 동일한지 여부를 확인할 수 있다.Then, the member identification
노이즈 음원 생성부(113)는 상기 음성 데이터를 식별하기 위한 제1 음성 식별 정보를 생성한 후, 상기 제1 음성 식별 정보를 포함하는 노이즈 음원을 생성한다.After generating first voice identification information for identifying the voice data, the
여기서, 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원을 의미한다. 이때, 상기 비가청 주파수 대역은 사람의 청력으로 들을 수 없는 주파수 대역을 의미하는 것으로, '20,000Hz 이상 25,000Hz 미만'의 주파수 대역이 상기 비가청 주파수 대역으로 사전 설정되어 있을 수 있다.Here, the noise sound source means a sound source generated by combining signals of two or more pre-selected frequency components in a preset inaudible frequency band. In this case, the inaudible frequency band means a frequency band that cannot be heard by human hearing, and a frequency band of '20,000 Hz or more and less than 25,000 Hz' may be preset as the non-audible frequency band.
이때, 본 발명의 일실시예에 따르면, 노이즈 음원 생성부(113)는 정보 저장부(116), 음성 식별 정보 생성부(117) 및 노이즈 음원 생성 처리부(118)를 포함할 수 있다.At this time, according to an embodiment of the present invention, the
정보 저장부(116)에는 상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 n개의 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있다.In the
예컨대, 사전 설정된 비가청 주파수 대역을 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역이라고 하고, n을 '5'라고 하는 경우, 정보 저장부(116)에는 하기의 표 2와 같은 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에서 사전 선택된 5개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 5개의 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있을 수 있다.For example, when the preset inaudible frequency band is a frequency band of '20,000 Hz or more and less than 25,000 Hz' and n is '5', information on five different partial frequency bands preselected in the frequency band of '20,000 Hz or more and less than 25,000 Hz' as shown in Table 2 below is stored in the
음성 식별 정보 생성부(117)는 제1 클라이언트 단말(140)로부터 수신된 상기 제1 회원 식별 정보와 회원 식별 정보 저장부(111)에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 정보 저장부(116)에 저장되어 있는 상기 n개의 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 음성 식별 정보로서 생성한다.When it is determined that the first member identification information received from the
노이즈 음원 생성 처리부(118)는 상기 제1 식별 벡터가 상기 제1 음성 식별 정보로 생성되면, 정보 저장부(116)를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성한다.When the first identification vector is generated as the first voice identification information, the noise source
관련해서, 이하에서는 음성 식별 정보 생성부(117) 및 노이즈 음원 생성 처리부(118)의 동작을 예를 들어 상세히 설명하기로 한다.In this regard, operations of the voice identification
먼저, 회원 식별 정보 확인부(112)에서, 제1 클라이언트 단말(140)로부터 수신된 '회원 식별 정보 1'과 상기 표 1과 같은 회원 식별 정보 저장부(111)에 저장되어 있는 '회원 1'에 대한 '회원 식별 정보 1'이 서로 동일한 것으로 확인되었다면, 음성 식별 정보 생성부(117)는 상기 표 2와 같은 정보 저장부(116)에 저장되어 있는 상기 5개의 부분 주파수 대역들 각각에 대응되는 식별 번호인 '1, 2, 3, 4, 5' 중 k개의 식별 번호들을 랜덤하게 선택할 수 있다.First, if it is confirmed in the member identification
만약, k를 '3'이라고 하고, 음성 식별 정보 생성부(117)에 의해 3개의 식별 번호들이 '2, 3, 5'와 같이 랜덤하게 선택되었다고 하는 경우, 음성 식별 정보 생성부(117)는 상기 3개의 식별 번호들인 '2, 3, 5' 각각을 성분으로 갖는 3차원의 제1 식별 벡터인 '[2 3 5]'를, 상기 제1 음성 식별 정보로서 생성할 수 있다.If k is set to '3' and three identification numbers are randomly selected such as '2, 3, and 5' by the voice identification
이렇게, 음성 식별 정보 생성부(117)에 의해 상기 제1 식별 벡터가 상기 제1 음성 식별 정보로 생성되면, 노이즈 음원 생성 처리부(118)는 상기 표 2와 같은 정보 저장부(116)를 참조하여, 상기 3개의 식별 번호들인 '2, 3, 5' 각각에 대응되는 3개의 부분 주파수 대역들에 대한 정보를 확인할 수 있다.In this way, when the first identification vector is generated as the first voice identification information by the voice identification
이때, 상기 표 2와 같은 정보 저장부(116)를 참조하면, 상기 3개의 식별 번호들인 '2, 3, 5' 각각에 대응되는 3개의 부분 주파수 대역들은 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'이고, '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각의 중심 주파수 성분은 '21,500Hz, 22,500Hz, 24,500Hz'이므로, 노이즈 음원 생성 처리부(118)는 '21,500Hz, 22,500Hz, 24,500Hz'의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성할 수 있다.At this time, referring to the
이렇게, 노이즈 음원 생성부(113)를 통해 상기 노이즈 음원의 생성이 완료되면, 전송부(114)는 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 제1 클라이언트 단말(140)로 전송한다.In this way, when the generation of the noise source through the
제1 등록 요청부(115)는 상기 노이즈 음원이 삽입된 상기 음성 데이터가 제1 클라이언트 단말(140)로 전송되면, 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보 및 상기 제1 음성 식별 정보가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들(101, 102, 103, 104) 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송한다.When the voice data into which the noise source is inserted is transmitted to the
예컨대, 전술한 예에 따라, 노이즈 음원 생성부(113)에 의해 '21,500Hz, 22,500Hz, 24,500Hz'의 신호가 결합된 신호가 상기 노이즈 음원으로 생성되었다고 하는 경우, 전송부(114)는 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 제1 클라이언트 단말(140)로 전송할 수 있다.For example, according to the above-described example, when it is assumed that a signal obtained by combining signals of '21,500 Hz, 22,500 Hz, and 24,500 Hz' by the
이렇게, 전송부(114)에 의해 상기 노이즈 음원이 삽입된 상기 음성 데이터가 제1 클라이언트 단말(140)로 전송되면, 제1 등록 요청부(115)는 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보인 '회원 식별 정보 1' 및 상기 제1 음성 식별 정보인 '[2 3 5]'가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들(101, 102, 103, 104) 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송할 수 있다.In this way, when the voice data into which the noise source is inserted is transmitted to the
이때, 상기 제1 노드 장치는 서비스 제공 서버(110)로부터 상기 제1 트랜잭션과 상기 등록 요청이 수신되면, 상기 제1 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제1 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제1 블록을, 복수의 노드 장치들(101, 102, 103, 104) 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.At this time, when the first node device receives the first transaction and the registration request from the
구체적으로, 상기 제1 노드 장치는 서비스 제공 서버(110)로부터 상기 제1 트랜잭션과 함께 상기 등록 요청이 수신되면, 상기 블록체인 데이터에 체인으로 연결되어 있는 이전 블록의 블록 헤더를 참조하여 상기 제1 트랜잭션이 포함된 새로운 블록인 상기 제1 블록을 생성할 수 있다. 그러고 나서, 상기 제1 노드 장치는 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후 상기 블록체인 네트워크를 통해 상기 제1 블록을 복수의 노드 장치들(101, 102, 103, 104) 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.Specifically, when the first node device receives the registration request together with the first transaction from the
본 발명의 일실시예에 따르면, 서비스 제공 서버(110)는 지시 메시지 전송부(119), 주파수 성분 선택부(120), 확인 벡터 생성부(121), 데이터 검색 요청부(122), 유사도 확인부(123) 및 진본 확인 메시지 전송부(124)를 더 포함할 수 있다.According to one embodiment of the present invention, the
지시 메시지 전송부(119)는 상기 노이즈 음원이 삽입된 상기 음성 데이터가 제1 클라이언트 단말(140)로 전송된 이후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 획득한 상속자(145)의 제1 전자 단말(150)로부터, 상기 제1 회원 식별 정보가 수신되면서, 상기 획득한 음성 데이터가 진본인지 여부에 대한 확인 요청이 수신되면, 상기 획득한 음성 데이터에 대한 출력 음향을 제1 전자 단말(150)에 사전 탑재되어 있는 마이크로폰을 통해 인식시킬 것을 지시하는 음향 인식 지시 메시지를 생성하여 제1 전자 단말(150)로 전송한다.After the voice data with the noise source inserted is transmitted to the
주파수 성분 선택부(120)는 상기 음향 인식 지시 메시지가 제1 전자 단말(150)로 전송된 이후, 상속자(145)가, 상기 획득한 음성 데이터를 음향 재생 장치(160)를 통해 출력시키고, 음향 재생 장치(160)를 통해 출력되는 음향을 제1 전자 단말(150)에 탑재되어 있는 상기 마이크로폰을 통해 인식시킴에 따라, 제1 전자 단말(150)로부터, 상기 획득한 음성 데이터에 대한 출력 음향에 삽입되어 있는, 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택한다.After the sound recognition instruction message is transmitted to the first
이때, 본 발명의 일실시예에 따르면, 제1 전자 단말(150)은 음향 재생 장치(160)를 통해, 상기 획득한 음성 데이터가 출력되는 상황에서, 상속자(145)에 의해 음향 재생 장치(160)에서 출력되는 음향을 인식시킬 것을 지시하는 명령이 인가되면, 상기 마이크로폰을 통해, 음향 재생 장치(160)에서 출력되는 음향을 인식하여, 인식되는 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 서비스 제공 서버(110)로 전송할 수 있다.At this time, according to one embodiment of the present invention, when a command instructing recognition of the sound output from the
예컨대, 전송부(114)를 통해 상기 노이즈 음원이 삽입된 상기 음성 데이터가 제1 클라이언트 단말(140)로 전송된 이후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 획득한 상속자(145)의 제1 전자 단말(150)로부터 서비스 제공 서버(110)에, 상기 제1 회원 식별 정보인 '회원 식별 정보 1'이 수신되면서, 상기 획득한 음성 데이터가 진본인지 여부에 대한 확인 요청이 수신되었다고 가정하자.For example, suppose that after the voice data into which the noise source is inserted is transmitted to the
그러면, 지시 메시지 전송부(119)는 상기 획득한 음성 데이터에 대한 출력 음향을 제1 전자 단말(150)에 사전 탑재되어 있는 마이크로폰을 통해 인식시킬 것을 지시하는 음향 인식 지시 메시지를 생성하여 제1 전자 단말(150)로 전송할 수 있다.Then, the instruction
이렇게, 지시 메시지 전송부(119)를 통해 상기 음향 인식 지시 메시지가 제1 전자 단말(150)로 전송된 이후, 상속자(145)는, 상기 획득한 음성 데이터를 음향 재생 장치(160)를 통해 출력시킬 수 있다. 이렇게, 음향 재생 장치(160)를 통해, 상기 획득한 음성 데이터가 출력되는 상황에서, 상속자(145)에 의해 음향 재생 장치(160)에서 출력되는 음향을 인식시킬 것을 지시하는 명령이 제1 전자 단말(150)에 인가되면, 제1 전자 단말(150)은 상기 마이크로폰을 통해, 음향 재생 장치(160)에서 출력되는 상기 획득한 음성 데이터에 대한 음향을 인식할 수 있다.In this way, after the sound recognition instruction message is transmitted to the first
그러고 나서, 제1 전자 단말(150)은 상기 획득한 음성 데이터에 대한 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들을 확인할 수 있다.Then, the first
이때, 전술한 예에 따르면, 상기 획득한 음성 데이터에는 상기 노이즈 음원이 삽입되어 있고, 상기 노이즈 음원은 '21,500Hz, 22,500Hz, 24,500Hz'의 신호가 결합되어 생성된 신호이므로, 상기 주파수 스펙트럼에는 '21,500Hz, 22,500Hz, 24,500Hz'의 주파수 성분들이 포함되어 있을 수 있다.At this time, according to the above example, since the noise source is inserted into the acquired voice data, and the noise source is a signal generated by combining signals of '21,500 Hz, 22,500 Hz, and 24,500 Hz', the frequency spectrum may include frequency components of '21,500 Hz, 22,500 Hz, and 24,500 Hz'.
이로 인해, 제1 전자 단말(150)이 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들을 확인한 결과, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 '20,000Hz 이상 25,000Hz 미만'의 주파수 대역에 존재하는 비가청 주파수 성분들로, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'가 확인되었다고 가정하자.As a result, as a result of checking the inaudible frequency components present in the frequency band of '20,000 Hz or more and less than 25,000 Hz' among the frequency components included in the frequency spectrum, the first
그러면, 제1 전자 단말(150)은 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'에 대한 정보를, 상기 획득한 음성 데이터에 대한 출력 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보로 지정하여, 서비스 제공 서버(110)로 전송할 수 있다.Then, the first
이때, 제1 전자 단말(150)로부터 서비스 제공 서버(110)에, 상기 획득한 음성 데이터에 대한 출력 음향에 삽입되어 있는 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보로, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'에 대한 정보가 수신되면, 주파수 성분 선택부(120)는 '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz' 중 진폭이 큰 순서로 3개의 제1 노이즈 주파수 성분들을 선택할 수 있다.At this time, when information on '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz' is received from the first
관련해서, '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz'를 진폭이 큰 순서로 나열하면 '21,500Hz, 22,500Hz, 24,500Hz, 21,000Hz'와 같다고 하는 경우, 주파수 성분 선택부(120)는 상기 제1 노이즈 주파수 성분들로, '21,500Hz, 22,500Hz, 24,500Hz'를 선택할 수 있다.In relation to this, if '21,000Hz, 21,500Hz, 22,500Hz, 24,500Hz' is arranged in order of amplitude, it is equal to '21,500Hz, 22,500Hz, 24,500Hz, 21,000Hz', the
확인 벡터 생성부(121)는 상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 정보 저장부(116)에 저장되어 있는 상기 n개의 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 확인 벡터를 생성한다.When the k first noise frequency components are selected, the
데이터 검색 요청부(122)는 상기 확인 벡터가 생성되면, 복수의 노드 장치들 (101, 102, 103, 104)중 어느 하나인 제2 노드 장치에 대해, 상기 제2 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색하여 회신할 것을 요청하는 데이터 검색 요청 명령을 전송한다.When the verification vector is generated, the data
유사도 확인부(123)는 상기 제2 노드 장치가, 상기 데이터 검색 요청 명령에 대응하여, 상기 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색함에 따라, 상기 제2 노드 장치로부터 상기 제1 음성 식별 정보가 검색 결과로 수신되면, 상기 제1 음성 식별 정보를 구성하는 상기 제1 식별 벡터와, 상기 확인 벡터 간의 벡터 유사도를 연산한 후, 상기 벡터 유사도가 사전 설정된 기준 유사도 이상인지 여부를 확인한다.As the second node device searches for the first voice identification information stored together with the first member identification information from the blockchain data in response to the data search request command, the
여기서, 상기 벡터 유사도로는, 하기의 수학식 1에 따른 코사인 유사도 또는 하기의 수학식 2에 따른 유클리드 거리(Euclidean Distance) 등이 사용될 수 있다.Here, as the vector similarity, a cosine similarity according to Equation 1 below or a Euclidean distance according to Equation 2 below may be used.
상기 수학식 1에서, S는 벡터 A와 벡터 B 사이의 코사인 유사도로, -1에서 1 사이의 값을 가지며, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 코사인 유사도가 클수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.In Equation 1, S is the cosine similarity between vector A and vector B, and has a value between -1 and 1, A i denotes the i-th component of vector A, and B i denotes the i-th component of vector B. In this regard, the greater the cosine similarity between two vectors, the more similar the two vectors are to each other.
상기 수학식 2에서, 벡터 A와 벡터 B 사이의 D는 유클리드 거리로, Ai는 벡터 A의 i번째 성분, Bi는 벡터 B의 i번째 성분을 의미한다. 관련해서, 두 벡터 사이의 유클리드 거리가 작을수록 두 벡터가 서로 유사한 벡터라고 볼 수 있다.In Equation 2, D between vector A and vector B is the Euclidean distance, A i denotes the i-th component of vector A, and B i denotes the i-th component of vector B. In this regard, the smaller the Euclidean distance between two vectors, the more similar the two vectors are.
진본 확인 메시지 전송부(124)는 상기 벡터 유사도가 상기 기준 유사도 이상인 것으로 확인되면, 상기 획득한 음성 데이터가 진본인 것으로 확인한 후, 상기 획득한 음성 데이터가 진본임을 지시하는 진본 확인 메시지를 생성하여 제1 전자 단말(150)로 전송한다.When it is confirmed that the vector similarity is equal to or greater than the reference similarity, the authenticity confirmation
관련해서, 이하에서는 확인 벡터 생성부(121), 데이터 검색 요청부(122), 유사도 확인부(123) 및 진본 확인 메시지 전송부(124)의 동작을 예를 들어 상세히 설명하기로 한다.In this regard, operations of the
먼저, 전술한 예와 같이, 주파수 성분 선택부(120)에 의해 상기 3개의 제1 노이즈 주파수 성분들이 '21,500Hz, 22,500Hz, 24,500Hz'와 같이 선택되었다고 하는 경우, 확인 벡터 생성부(121)는 상기 표 2와 같은 정보 저장부(116)에 저장되어 있는 상기 5개의 부분 주파수 대역들 중 '21,500Hz, 22,500Hz, 24,500Hz' 각각이 속하는 3개의 제1 부분 주파수 대역들을 확인할 수 있다.First, as in the above example, when it is assumed that the three first noise frequency components are selected as '21,500Hz, 22,500Hz, 24,500Hz' by the
관련해서, 상기 표 2와 같은 정보 저장부(116)에 저장되어 있는 상기 5개의 주파수 대역들 중 '21,500Hz, 22,500Hz, 24,500Hz' 각각이 속하는 부분 주파수 대역은 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'이므로, 확인 벡터 생성부(121)는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5'를 상기 제1 부분 주파수 대역들로 확인할 수 있다.In relation to this, since the partial frequency bands to which '21,500Hz, 22,500Hz, and 24,500Hz' among the five frequency bands stored in the
그러고 나서, 확인 벡터 생성부(121)는 '부분 주파수 대역 2, 부분 주파수 대역 3, 부분 주파수 대역 5' 각각에 대응되는 식별 번호인 '2, 3, 5' 각각을 성분으로 갖는 3차원의 확인 벡터를 '[2 3 5]'와 같이 생성할 수 있다.Then, the
이렇게, 확인 벡터 생성부(121)에 의해 상기 확인 벡터가 생성되면, 데이터 검색 요청부(122)는 복수의 노드 장치들(101, 102, 103, 104)중 어느 하나인 제2 노드 장치에 대해, 상기 제2 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터로부터 상기 제1 회원 식별 정보인 '회원 식별 정보 1'과 함께 저장되어 있는 상기 제1 음성 식별 정보인 '[2 3 5]'를 검색하여 회신할 것을 요청하는 데이터 검색 요청 명령을 전송할 수 있다.In this way, when the verification vector is generated by the
이때, 상기 제2 노드 장치는 상기 데이터 검색 요청 명령에 대응하여, 상기 제2 노드 장치의 메모리 상에 저장되어 있는 상기 블록체인 데이터로부터, 상기 제1 회원 식별 정보인 '회원 식별 정보 1'과 함께 저장되어 있는 상기 제1 음성 식별 정보인 '[2 3 5]'를 검색한 후, 상기 제1 음성 식별 정보인 '[2 3 5]'를 서비스 제공 서버(110)로 전송할 수 있다.At this time, the second node device may search for the first voice identification information '[2 3 5]' stored together with the first member identification information 'member identification information 1' from the blockchain data stored in the memory of the second node device in response to the data search request command, and then transmit the first voice identification information '[2 3 5]' to the
이렇게, 상기 제2 노드 장치가, 상기 데이터 검색 요청 명령에 대응하여, 상기 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색함에 따라, 상기 제2 노드 장치로부터 서비스 제공 서버(110)에 상기 제1 음성 식별 정보가 검색 결과로 수신되면, 유사도 확인부(123)는 상기 제1 음성 식별 정보를 구성하는 상기 제1 식별 벡터인 '[2 3 5]'와, 상기 확인 벡터인 '[2 3 5]' 간의 벡터 유사도를 연산할 수 있다.In this way, as the second node device searches for the first voice identification information stored together with the first member identification information from the blockchain data in response to the data search request command, when the first voice identification information is received as a search result from the second node device to the
이때, 상기 벡터 유사도가 '1'과 같이 연산되었다고 하고, 사전 설정된 기준 유사도가 '0.9'라고 하는 경우, 유사도 확인부(123)는 상기 벡터 유사도인 '1'이 상기 기준 유사도인 '0.9' 이상인지 여부를 확인하여, 상기 벡터 유사도인 '1'이 상기 기준 유사도인 '0.9' 이상인 것으로 확인할 수 있다.At this time, when it is assumed that the vector similarity is calculated as '1' and the preset reference similarity is '0.9', the
그러면, 진본 확인 메시지 전송부(124)는 상기 획득한 음성 데이터가 진본인 것으로 확인한 후, 상기 획득한 음성 데이터가 진본임을 지시하는 진본 확인 메시지를 생성하여 제1 전자 단말(150)로 전송할 수 있다.Then, after confirming that the acquired voice data is genuine, the authenticity confirmation
이때, 본 발명의 일실시예에 따르면, 진본 확인 메시지 전송부(124)는 상기 획득한 음성 데이터가 진본인 것으로 확인되면, 상기 진본 확인 메시지를 생성하여 제1 전자 단말(150)로 전송하되, 상기 진본 확인 메시지를 사전 구축된 음성 합성 모델에 입력으로 인가하여 음성 합성을 수행함으로써, 상기 진본 확인 메시지에 대응되는 합성 음성 데이터를 생성한 후, 상기 진본 확인 메시지에 대응되는 합성 음성 데이터를 제1 전자 단말(150)로 추가 전송할 수 있다.At this time, according to an embodiment of the present invention, if the obtained voice data is confirmed to be authentic, the authenticity
이때, 제1 전자 단말(150)은 서비스 제공 서버(110)로부터 상기 진본 확인 메시지와 함께 상기 진본 확인 메시지에 대응되는 합성 음성 데이터가 수신되면, 상기 진본 확인 메시지를 화면 상에 텍스트로 출력할 수 있고, 상기 진본 확인 메시지에 대응되는 합성 음성 데이터를 재생하여 스피커로 출력할 수도 있다. 이를 통해, 상속자(145)는 상기 획득한 음성 데이터가 진본인지 여부를 손쉽게 확인할 수 있다.At this time, when the first
본 발명의 일실시예에 따르면, 서비스 제공 서버(110)는 조회 이력 정보 생성부(125) 및 제2 등록 요청부(126)를 더 포함할 수 있다.According to one embodiment of the present invention, the
조회 이력 정보 생성부(125)는 진본 확인 메시지 전송부(124)를 통해, 상기 진본 확인 메시지가 제1 전자 단말(150)로 전송 완료되면, 제1 전자 단말(150)로부터 제1 전자 단말(150)의 현재 위치 정보를 수신하고, 상기 진본 확인 메시지가 제1 전자 단말(150)로 전송 완료된 시점에 대한 시간 정보를 생성한 후, 상기 현재 위치 정보, 상기 시간 정보 및 상기 진본 확인 메시지로 구성된 조회 이력 정보를 생성한다.When the transmission of the authenticity confirmation message to the first
예컨대, 상기 현재 위치 정보를 '현재 위치 정보 1'이라고 하고, 상기 시간 정보를 '시간 정보 1'이라고 하는 경우, 조회 이력 정보 생성부(125)는 '현재 위치 정보 1', '시간 정보 1' 및 상기 진본 확인 메시지로 구성된 조회 이력 정보를 생성할 수 있다.For example, when the current location information is referred to as 'current location information 1' and the time information is referred to as 'time information 1', the inquiry history
제2 등록 요청부(126)는 상기 조회 이력 정보가 생성되면, 상기 조회 이력 정보가 포함된 제2 트랜잭션을 생성한 후, 상기 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들(101, 102, 103, 104) 중 어느 하나인 제3 노드 장치를 랜덤하게 선택하여, 상기 제3 노드 장치로, 상기 제2 트랜잭션을 전송하면서, 상기 제2 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송한다.When the inquiry history information is generated, the second
이때, 상기 제3 노드 장치는 서비스 제공 서버(110)로부터 상기 제2 트랜잭션과 상기 등록 요청이 수신되면, 상기 제3 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제2 트랜잭션이 포함된 제2 블록을 생성하고, 상기 제2 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제2 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제2 블록을, 복수의 노드 장치들(101, 102, 103, 104) 중 상기 제3 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.At this time, when the second transaction and the registration request are received from the
구체적으로, 상기 제3 노드 장치는 서비스 제공 서버(110)로부터 상기 제2 트랜잭션과 함께 상기 등록 요청이 수신되면, 상기 블록체인 데이터에 체인으로 연결되어 있는 이전 블록의 블록 헤더를 참조하여 상기 제2 트랜잭션이 포함된 새로운 블록인 상기 제2 블록을 생성할 수 있다. 그러고 나서, 상기 제3 노드 장치는 상기 제2 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제2 블록에 대한 저장을 완료한 후 상기 블록체인 네트워크를 통해 상기 제2 블록을 복수의 노드 장치들(101, 102, 103, 104) 중 상기 제3 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.Specifically, when the third node device receives the registration request together with the second transaction from the
이렇게, 본 발명에 따른 서비스 제공 서버(110)는 상기 진본 확인 메시지가 제1 전자 단말(150)로 전송 완료되면, 상기 조회 이력 정보를 생성하여 블록체인 네트워크에 등록해 둘 수 있다.In this way, the
도 2는 본 발명의 일실시예에 따른 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 동작 방법을 도시한 순서도이다.2 is a flowchart illustrating an operating method of a service providing server for providing a digital will service capable of verifying authenticity of voice according to an embodiment of the present invention.
단계(S210)에서는 상기 디지털 유언 서비스에 가입되어 있는 복수의 회원들 각각에 대한 회원 식별 정보가 저장되어 있는 회원 식별 정보 저장부를 유지한다.In step S210, a member identification information storage unit in which member identification information for each of a plurality of members subscribed to the digital will service is stored is maintained.
단계(S220)에서는 상기 복수의 회원들 중 어느 한 명인 제1 회원이 보유하고 있는 제1 클라이언트 단말로부터 제1 회원 식별 정보 및 상기 제1 회원의 유언 내용이 포함된 음성 데이터가 수신되면서, 상기 제1 클라이언트 단말로부터 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되면, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한지 여부를 확인한다.In step S220, when voice data including first member identification information and the will of the first member is received from a first client terminal possessed by a first member, which is one of the plurality of members, and an information insertion command requesting insertion of information to prove that the voice data is authentic is received from the first client terminal, the first member identification information received from the first client terminal and member identification information for the first member stored in the member identification information storage unit are mutually exclusive. Check whether they are identical.
단계(S230)에서는 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 음성 데이터를 식별하기 위한 제1 음성 식별 정보를 생성한 후, 상기 제1 음성 식별 정보를 포함하는 노이즈 음원(상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임)을 생성한다.In step S230, if it is confirmed that the first member identification information received from the first client terminal and the member identification information for the first member stored in the member identification information storage unit are identical to each other, first voice identification information for identifying the voice data is generated, and then a noise source including the first voice identification information (the noise source is a sound source generated by combining signals of two or more preselected frequency components in a preset inaudible frequency band) is generated.
단계(S240)에서는 상기 노이즈 음원이 생성되면, 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 상기 제1 클라이언트 단말로 전송한다.In step S240, when the noise source is generated, the noise source is inserted into the voice data, and then the voice data into which the noise source is inserted is transmitted to the first client terminal.
단계(S250)에서는 상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송되면, 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보 및 상기 제1 음성 식별 정보가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송한다.In step S250, when the voice data into which the noise source is inserted is transmitted to the first client terminal, a first transaction including the voice data into which the noise source is inserted, the first member identification information, and the first voice identification information is generated. A first node device, which is one of a plurality of node devices constituting a blockchain network, is randomly selected, and while the first transaction is transmitted to the first node device, a registration request to the blockchain network of the first transaction is transmitted.
이때, 상기 제1 노드 장치는 상기 서비스 제공 서버로부터 상기 제1 트랜잭션과 상기 등록 요청이 수신되면, 상기 제1 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제1 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제1 블록을, 상기 복수의 노드 장치들 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.At this time, when the first node device receives the first transaction and the registration request from the service providing server, the first node device generates a first block including the first transaction based on a previous block chained to the block chain data stored on the memory of the first node device, connects the first block to the block chain data in a chain, and after completing storage of the first block, propagates the first block through the block chain network to the remaining node devices except the first node device among the plurality of node devices. can
이때, 본 발명의 일실시예에 따르면, 단계(S230)에서는 상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 n개의 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부를 유지하는 단계, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 정보 저장부에 저장되어 있는 상기 n개의 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 음성 식별 정보로서 생성하는 단계 및 상기 제1 식별 벡터가 상기 제1 음성 식별 정보로 생성되면, 상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 단계를 포함할 수 있다.At this time, according to an embodiment of the present invention, in step S230, maintaining an information storage unit in which information on n (n is a natural number equal to or greater than 3) different partial frequency bands preselected in the inaudible frequency band and different identification numbers preset to correspond to each of the n partial frequency bands are stored in correspondence with each other, and the first member identification information received from the first client terminal and the member identification information about the first member stored in the member identification information storage unit are confirmed to be identical to each other. Then, randomly selecting k identification numbers (k being a natural number of 2 or more and less than n) among the identification numbers corresponding to each of the n partial frequency bands stored in the information storage unit, generating a k-dimensional first identification vector having the k identification numbers as components as the first voice identification information, and when the first identification vector is generated as the first voice identification information, referring to the information storage unit, checking information on k partial frequency bands corresponding to each of the k identification numbers, The method may include generating, as the noise sound source, a signal obtained by combining signals of center frequency components of each of the k partial frequency bands.
이때, 본 발명의 일실시예에 따르면, 상기 서비스 제공 서버의 동작 방법은 상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송된 이후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 획득한 상속자의 제1 전자 단말로부터, 상기 제1 회원 식별 정보가 수신되면서, 상기 획득한 음성 데이터가 진본인지 여부에 대한 확인 요청이 수신되면, 상기 획득한 음성 데이터에 대한 출력 음향을 상기 제1 전자 단말에 사전 탑재되어 있는 마이크로폰을 통해 인식시킬 것을 지시하는 음향 인식 지시 메시지를 생성하여 상기 제1 전자 단말로 전송하는 단계, 상기 음향 인식 지시 메시지가 상기 제1 전자 단말로 전송된 이후, 상기 상속자가, 상기 획득한 음성 데이터를 음향 재생 장치를 통해 출력시키고, 상기 음향 재생 장치를 통해 출력되는 음향을 상기 제1 전자 단말에 탑재되어 있는 상기 마이크로폰을 통해 인식시킴에 따라, 상기 제1 전자 단말로부터, 상기 획득한 음성 데이터에 대한 출력 음향에 삽입되어 있는, 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 단계, 상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 n개의 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 확인 벡터를 생성하는 단계, 상기 확인 벡터가 생성되면, 상기 복수의 노드 장치들 중 어느 하나인 제2 노드 장치에 대해, 상기 제2 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색하여 회신할 것을 요청하는 데이터 검색 요청 명령을 전송하는 단계, 상기 제2 노드 장치가, 상기 데이터 검색 요청 명령에 대응하여, 상기 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색함에 따라, 상기 제2 노드 장치로부터 상기 제1 음성 식별 정보가 검색 결과로 수신되면, 상기 제1 음성 식별 정보를 구성하는 상기 제1 식별 벡터와, 상기 확인 벡터 간의 벡터 유사도를 연산한 후, 상기 벡터 유사도가 사전 설정된 기준 유사도 이상인지 여부를 확인하는 단계 및 상기 벡터 유사도가 상기 기준 유사도 이상인 것으로 확인되면, 상기 획득한 음성 데이터가 진본인 것으로 확인한 후, 상기 획득한 음성 데이터가 진본임을 지시하는 진본 확인 메시지를 생성하여 상기 제1 전자 단말로 전송하는 단계를 더 포함할 수 있다.At this time, according to one embodiment of the present invention, the operating method of the service providing server is such that, after the voice data into which the noise source is inserted is transmitted to the first client terminal, when the first member identification information is received from the first electronic terminal of the heir who acquired the voice data into which the noise source is inserted and a request for confirmation as to whether the obtained voice data is authentic is received, a sound recognition instruction message instructing to recognize an output sound for the obtained voice data through a microphone pre-loaded in the first electronic terminal Generating and transmitting to the first electronic terminal, after the sound recognition instruction message is transmitted to the first electronic terminal, the inheritor outputs the acquired voice data through a sound reproducing device and recognizes the sound output through the sound reproducing device through the microphone mounted in the first electronic terminal, and when information about noise frequency components constituting the noise source, which is inserted into the output sound for the acquired voice data, is received from the first electronic terminal, the amplitude of the noise frequency components having a large amplitude Selecting k first noise frequency components in order, if the k first noise frequency components are selected, identifying k first sub-frequency bands to which each of the k first noise frequency components belong among the n sub-frequency bands stored in the information storage unit, then generating a k-dimensional check vector having an identification number corresponding to each of the k first sub-frequency bands as a component; if the check vector is generated, for a second node device that is any one of the plurality of node devices, the second node device Sending a data retrieval request command for requesting to search for and return the first voice identification information stored together with the first member identification information from blockchain data stored on a memory of the memory, and when the second node device searches for the first voice identification information stored together with the first member identification information from the blockchain data in response to the data search request command, and the first voice identification information is received as a search result from the second node device, the first identification vector constituting the first voice identification information; After calculating the vector similarity between the check vectors, checking whether the vector similarity is greater than or equal to a preset criterion similarity; and if it is confirmed that the vector similarity is equal to or greater than the criterion similarity, generating and transmitting an authenticity confirmation message indicating that the acquired voice data is authentic after confirming that the obtained voice data is authentic, and transmitting the same to the first electronic terminal.
이때, 본 발명의 일실시예에 따르면, 상기 제1 전자 단말은 상기 음향 재생 장치를 통해, 상기 획득한 음성 데이터가 출력되는 상황에서, 상기 상속자에 의해 상기 음향 재생 장치에서 출력되는 음향을 인식시킬 것을 지시하는 명령이 인가되면, 상기 마이크로폰을 통해, 상기 음향 재생 장치에서 출력되는 음향을 인식하여, 인식되는 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 서비스 제공 서버로 전송할 수 있다.At this time, according to an embodiment of the present invention, when a command instructing recognition of the sound output from the sound reproducing device is applied by the inheritor in a situation where the acquired voice data is output through the sound reproducing device, the first electronic terminal recognizes the sound output from the sound reproducing device through the microphone, converts the recognized sound signal into a frequency domain, generates a frequency spectrum, and identifies non-audible frequency components existing in the inaudible frequency band among the frequency components included in the frequency spectrum, , The information on the inaudible frequency components may be designated as the information on the noise frequency components and transmitted to the service providing server.
또한, 본 발명의 일실시예에 따르면, 상기 서비스 제공 서버의 동작 방법은 상기 진본 확인 메시지가 상기 제1 전자 단말로 전송 완료되면, 상기 제1 전자 단말로부터 상기 제1 전자 단말의 현재 위치 정보를 수신하고, 상기 진본 확인 메시지가 상기 제1 전자 단말로 전송 완료된 시점에 대한 시간 정보를 생성한 후, 상기 현재 위치 정보, 상기 시간 정보 및 상기 진본 확인 메시지로 구성된 조회 이력 정보를 생성하는 단계 및 상기 조회 이력 정보가 생성되면, 상기 조회 이력 정보가 포함된 제2 트랜잭션을 생성한 후, 상기 블록체인 네트워크를 구성하고 있는 상기 복수의 노드 장치들 중 어느 하나인 제3 노드 장치를 랜덤하게 선택하여, 상기 제3 노드 장치로, 상기 제2 트랜잭션을 전송하면서, 상기 제2 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 단계를 더 포함할 수 있다.In addition, according to an embodiment of the present invention, the method of operating the service providing server includes receiving current location information of the first electronic terminal from the first electronic terminal when transmission of the authenticity confirmation message to the first electronic terminal is completed, generating time information for a point in time when the authenticity confirmation message is completely transmitted to the first electronic terminal, and then generating search history information composed of the current location information, the time information, and the authenticity confirmation message, and when the search history information is generated, the search history information is included. After generating 2 transactions, randomly selecting a third node device, which is any one of the plurality of node devices constituting the blockchain network, and transmitting the second transaction to the third node device. It may further include transmitting a registration request to the blockchain network for the second transaction.
이때, 상기 제3 노드 장치는 상기 서비스 제공 서버로부터 상기 제2 트랜잭션과 상기 등록 요청이 수신되면, 상기 제3 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제2 트랜잭션이 포함된 제2 블록을 생성하고, 상기 제2 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제2 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제2 블록을, 상기 복수의 노드 장치들 중 상기 제3 노드 장치를 제외한 나머지 노드 장치들로 전파할 수 있다.At this time, when the second transaction and the registration request are received from the service providing server, the third node device generates a second block including the second transaction based on a previous block chained to the blockchain data stored on the memory of the third node device, connects the second block to the blockchain data in a chain, completes the storage of the second block, and then propagates the second block through the blockchain network to the remaining node devices excluding the third node device among the plurality of node devices. can
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 서비스 제공 서버의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 서비스 제공 서버의 동작 방법은 도 1을 이용하여 설명한 서비스 제공 서버(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.In the above, the operating method of the service providing server according to an embodiment of the present invention has been described with reference to FIG. 2 . Here, since the operation method of the service providing server according to an embodiment of the present invention may correspond to the configuration of the operation of the
본 발명의 일실시예에 따른 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.A method of operating a service providing server for providing a digital will service capable of verifying authenticity of voice according to an embodiment of the present invention may be implemented as a computer program stored in a storage medium for execution through combination with a computer.
또한, 본 발명의 일실시예에 따른 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.In addition, the method of operating a service providing server for providing a digital will service capable of verifying the authenticity of voice according to an embodiment of the present invention is implemented in the form of computer program instructions for execution through combination with a computer and can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the medium may be those specially designed and configured for the present invention or those known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program instructions such as ROM, RAM, and flash memory. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific details such as specific components and limited embodiments and drawings, but this is only provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments, and those skilled in the art can make various modifications and variations from these descriptions.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims described later, but also all modifications equivalent or equivalent to these claims belong to the scope of the present invention.
110: 음성에 대한 진위 확인이 가능한 디지털 유언 서비스를 제공하기 위한 서비스 제공 서버
111: 회원 식별 정보 저장부 112: 회원 식별 정보 확인부
113: 노이즈 음원 생성부 114: 전송부
115: 제1 등록 요청부 116: 정보 저장부
117: 음원 식별 정보 생성부 118: 노이즈 음원 생성 처리부
119: 지시 메시지 전송부 120: 주파수 성분 선택부
121: 확인 벡터 생성부 122: 데이터 검색 요청부
123: 유사도 확인부 124: 진본 확인 메시지 전송부
125: 조회 이력 정보 생성부 126: 제2 등록 요청부
135: 제1 회원
140: 제1 클라이언트 단말
145: 상속자
150: 제1 전자 단말
160: 음향 재생 장치
101, 102, 103, 104: 복수의 노드 장치들110: Service providing server for providing a digital will service capable of verifying the authenticity of voice
111: member identification information storage unit 112: member identification information confirmation unit
113: noise source generator 114: transmission unit
115: first registration request unit 116: information storage unit
117: sound source identification information generation unit 118: noise source generation processing unit
119: instruction message transmission unit 120: frequency component selection unit
121: verification vector generation unit 122: data search request unit
123: similarity confirmation unit 124: authenticity confirmation message transmission unit
125: inquiry history information generator 126: second registration request unit
135: first member
140: first client terminal
145: heir
150: first electronic terminal
160: sound reproducing device
101, 102, 103, 104: multiple node devices
Claims (12)
상기 디지털 유언 서비스에 가입되어 있는 복수의 회원들 각각에 대한 회원 식별 정보가 저장되어 있는 회원 식별 정보 저장부;
상기 복수의 회원들 중 어느 한 명인 제1 회원이 보유하고 있는 제1 클라이언트 단말로부터 제1 회원 식별 정보 및 상기 제1 회원의 유언 내용이 포함된 음성 데이터가 수신되면서, 상기 제1 클라이언트 단말로부터 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되면, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한지 여부를 확인하는 회원 식별 정보 확인부;
상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 음성 데이터를 식별하기 위한 제1 음성 식별 정보를 생성한 후, 상기 제1 음성 식별 정보를 포함하는 노이즈(Noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 노이즈 음원 생성부;
상기 노이즈 음원이 생성되면, 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 상기 제1 클라이언트 단말로 전송하는 전송부; 및
상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송되면, 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보 및 상기 제1 음성 식별 정보가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 제1 등록 요청부
를 포함하고,
상기 제1 노드 장치는
상기 서비스 제공 서버로부터 상기 제1 트랜잭션과 상기 등록 요청이 수신되면, 상기 제1 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제1 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제1 블록을, 상기 복수의 노드 장치들 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파하는 것을 특징으로 하며,
상기 노이즈 음원 생성부는
상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 n개의 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부;
상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 정보 저장부에 저장되어 있는 상기 n개의 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 음성 식별 정보로서 생성하는 음성 식별 정보 생성부; 및
상기 제1 식별 벡터가 상기 제1 음성 식별 정보로 생성되면, 상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 노이즈 음원 생성 처리부
를 포함하고,
상기 서비스 제공 서버는
상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송된 이후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 획득한 상속자의 제1 전자 단말로부터, 상기 제1 회원 식별 정보가 수신되면서, 상기 획득한 음성 데이터가 진본인지 여부에 대한 확인 요청이 수신되면, 상기 획득한 음성 데이터에 대한 출력 음향을 상기 제1 전자 단말에 사전 탑재되어 있는 마이크로폰을 통해 인식시킬 것을 지시하는 음향 인식 지시 메시지를 생성하여 상기 제1 전자 단말로 전송하는 지시 메시지 전송부;
상기 음향 인식 지시 메시지가 상기 제1 전자 단말로 전송된 이후, 상기 상속자가, 상기 획득한 음성 데이터를 음향 재생 장치를 통해 출력시키고, 상기 음향 재생 장치를 통해 출력되는 음향을 상기 제1 전자 단말에 탑재되어 있는 상기 마이크로폰을 통해 인식시킴에 따라, 상기 제1 전자 단말로부터, 상기 획득한 음성 데이터에 대한 출력 음향에 삽입되어 있는, 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 주파수 성분 선택부;
상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 n개의 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 확인 벡터를 생성하는 확인 벡터 생성부;
상기 확인 벡터가 생성되면, 상기 복수의 노드 장치들 중 어느 하나인 제2 노드 장치에 대해, 상기 제2 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색하여 회신할 것을 요청하는 데이터 검색 요청 명령을 전송하는 데이터 검색 요청부;
상기 제2 노드 장치가, 상기 데이터 검색 요청 명령에 대응하여, 상기 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색함에 따라, 상기 제2 노드 장치로부터 상기 제1 음성 식별 정보가 검색 결과로 수신되면, 상기 제1 음성 식별 정보를 구성하는 상기 제1 식별 벡터와, 상기 확인 벡터 간의 벡터 유사도를 연산한 후, 상기 벡터 유사도가 사전 설정된 기준 유사도 이상인지 여부를 확인하는 유사도 확인부; 및
상기 벡터 유사도가 상기 기준 유사도 이상인 것으로 확인되면, 상기 획득한 음성 데이터가 진본인 것으로 확인한 후, 상기 획득한 음성 데이터가 진본임을 지시하는 진본 확인 메시지를 생성하여 상기 제1 전자 단말로 전송하는 진본 확인 메시지 전송부
를 더 포함하는 서비스 제공 서버.In a service providing server for providing a digital will service capable of verifying the authenticity of voice,
a member identification information storage unit storing member identification information for each of a plurality of members subscribed to the digital will service;
When voice data including first member identification information and the will of the first member is received from the first client terminal possessed by the first member, one of the plurality of members, and an information insertion command requesting insertion of information to prove that the voice data is authentic is received from the first client terminal, member identification to determine whether the first member identification information received from the first client terminal and member identification information for the first member stored in the member identification information storage unit are identical to each other. information verification unit;
When it is determined that the first member identification information received from the first client terminal and the member identification information for the first member stored in the member identification information storage unit are identical to each other, a noise source generator for generating first voice identification information for identifying the voice data, and then generating a noise source including the first voice identification information, wherein the noise source is a sound source generated by combining signals of two or more preselected frequency components in a preset inaudible frequency band;
a transmitter for inserting the noise source into the voice data when the noise source is generated and then transmitting the voice data into which the noise source is inserted to the first client terminal; and
When the voice data into which the noise source is inserted is transmitted to the first client terminal, a first registration request unit that generates a first transaction including the voice data into which the noise source is inserted, the first member identification information, and the first voice identification information, randomly selects a first node device that is one of a plurality of node devices constituting a blockchain network, transmits the first transaction to the first node device, and transmits a registration request to the blockchain network of the first transaction.
including,
The first node device is
When the first transaction and the registration request are received from the service providing server, a first block including the first transaction is generated based on a previous block chained to blockchain data stored on a memory of the first node device, and the first block is chained to the blockchain data. After completing the storage of the first block, the first block is propagated through the blockchain network to the remaining node devices except the first node device among the plurality of node devices,
The noise source generator
Information on n (n is a natural number equal to or greater than 3) different partial frequency bands preselected in the non-audible frequency band and different identification numbers preset to correspond to the n partial frequency bands are stored in correspondence with each other; an information storage unit;
When it is determined that the first member identification information received from the first client terminal and the member identification information for the first member stored in the member identification information storage unit are identical to each other, a voice identification information generating unit that randomly selects k (k is a natural number between 2 and less than n) identification numbers among identification numbers corresponding to each of the n partial frequency bands stored in the information storage unit, and generates a k-dimensional first identification vector having the k identification numbers as components as the first voice identification information; and
When the first identification vector is generated as the first voice identification information, a noise source generation processing unit that checks information on the k sub-frequency bands corresponding to each of the k identification numbers with reference to the information storage unit, and then generates, as the noise source, a signal obtained by combining signals of a center frequency component of each of the k sub-frequency bands.
including,
The service providing server
After the voice data into which the noise source is inserted is transmitted to the first client terminal, when the first member identification information is received from the first electronic terminal of the heir who acquired the voice data into which the noise source is inserted and a request for confirmation as to whether the obtained voice data is genuine is received, a sound recognition instruction message instructing to recognize an output sound of the obtained voice data through a microphone pre-loaded in the first electronic terminal is generated and transmitted to the first electronic terminal;
After the sound recognition instruction message is transmitted to the first electronic terminal, as the inheritor outputs the acquired voice data through a sound reproducing device and recognizes the sound output through the sound reproducing device through the microphone mounted in the first electronic terminal, when information about the noise frequency components constituting the noise source, which is inserted into the output sound for the acquired voice data, is received from the first electronic terminal, k first noise frequency components are selected in order of amplitude from among the noise frequency components. a frequency component selection unit that does;
When the k first noise frequency components are selected, after identifying the k first sub-frequency bands to which each of the k first noise frequency components belong among the n sub-frequency bands stored in the information storage unit, an identification vector generator for generating a k-dimensional identification vector having an identification number corresponding to each of the k first sub-frequency bands as a component;
When the check vector is generated, the first voice identification information stored together with the first member identification information from the blockchain data stored on the memory of the second node device, to the second node device, which is any one of the plurality of node devices, Data search request unit for transmitting a data search request command requesting to search for and return;
As the second node device searches for the first voice identification information stored together with the first member identification information from the blockchain data in response to the data search request command, when the first voice identification information is received as a search result from the second node device, a similarity checking unit that calculates a vector similarity between the first identification vector constituting the first voice identification information and the check vector, and then checks whether the vector similarity is equal to or greater than a preset criterion similarity; and
When it is determined that the vector similarity is equal to or greater than the reference similarity, an authenticity confirmation message transmitter for generating an authenticity confirmation message indicating that the obtained voice data is authentic and transmitting the same to the first electronic terminal after confirming that the acquired voice data is authentic.
A service providing server further comprising a.
상기 제1 전자 단말은
상기 음향 재생 장치를 통해, 상기 획득한 음성 데이터가 출력되는 상황에서, 상기 상속자에 의해 상기 음향 재생 장치에서 출력되는 음향을 인식시킬 것을 지시하는 명령이 인가되면, 상기 마이크로폰을 통해, 상기 음향 재생 장치에서 출력되는 음향을 인식하여, 인식되는 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 서비스 제공 서버로 전송하는 것을 특징으로 하는 서비스 제공 서버.According to claim 1,
The first electronic terminal is
When a command instructing recognition of the sound output from the sound reproducing apparatus is applied by the inheritor in a situation where the acquired voice data is output through the sound reproducing apparatus, a frequency spectrum is generated by recognizing the sound output from the sound reproducing apparatus through the microphone and converting the recognized acoustic signal into a frequency domain, then identifying non-audible frequency components existing in the inaudible frequency band among the frequency components included in the frequency spectrum, and converting information about the non-audible frequency components to the noise frequency components. A service providing server characterized in that it is designated as information and transmitted to the service providing server.
상기 진본 확인 메시지 전송부를 통해, 상기 진본 확인 메시지가 상기 제1 전자 단말로 전송 완료되면, 상기 제1 전자 단말로부터 상기 제1 전자 단말의 현재 위치 정보를 수신하고, 상기 진본 확인 메시지가 상기 제1 전자 단말로 전송 완료된 시점에 대한 시간 정보를 생성한 후, 상기 현재 위치 정보, 상기 시간 정보 및 상기 진본 확인 메시지로 구성된 조회 이력 정보를 생성하는 조회 이력 정보 생성부; 및
상기 조회 이력 정보가 생성되면, 상기 조회 이력 정보가 포함된 제2 트랜잭션을 생성한 후, 상기 블록체인 네트워크를 구성하고 있는 상기 복수의 노드 장치들 중 어느 하나인 제3 노드 장치를 랜덤하게 선택하여, 상기 제3 노드 장치로, 상기 제2 트랜잭션을 전송하면서, 상기 제2 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 제2 등록 요청부
를 더 포함하고,
상기 제3 노드 장치는
상기 서비스 제공 서버로부터 상기 제2 트랜잭션과 상기 등록 요청이 수신되면, 상기 제3 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제2 트랜잭션이 포함된 제2 블록을 생성하고, 상기 제2 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제2 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제2 블록을, 상기 복수의 노드 장치들 중 상기 제3 노드 장치를 제외한 나머지 노드 장치들로 전파하는 것을 특징으로 하는 서비스 제공 서버.According to claim 1,
When the transmission of the authenticity confirmation message to the first electronic terminal is completed through the authenticity confirmation message transmission unit, a search history information generation unit that receives current location information of the first electronic terminal from the first electronic terminal, generates time information about when the authenticity confirmation message is transmitted to the first electronic terminal, and then generates search history information composed of the current location information, the time information, and the authenticity confirmation message; and
When the inquiry history information is generated, a second registration request unit generates a second transaction including the inquiry history information, randomly selects a third node device among the plurality of node devices constituting the blockchain network, transmits the second transaction to the third node device, and transmits a registration request for the second transaction to the blockchain network.
Including more,
The third node device
When the second transaction and the registration request are received from the service provided server, the second block containing the second transaction is generated based on the previous block connected to the blockchain data stored on the memory of the third node device, and the second block to the blockchain data by connecting the second block to the blockchain data, After completion, a service server is characterized in that the second block is spread through the blockchain network and the remaining node devices except the third node device among the plurality of node devices.
상기 디지털 유언 서비스에 가입되어 있는 복수의 회원들 각각에 대한 회원 식별 정보가 저장되어 있는 회원 식별 정보 저장부를 유지하는 단계;
상기 복수의 회원들 중 어느 한 명인 제1 회원이 보유하고 있는 제1 클라이언트 단말로부터 제1 회원 식별 정보 및 상기 제1 회원의 유언 내용이 포함된 음성 데이터가 수신되면서, 상기 제1 클라이언트 단말로부터 상기 음성 데이터에 상기 음성 데이터가 진본임을 증명하기 위한 정보를 삽입할 것을 요청하는 정보 삽입 명령이 수신되면, 상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한지 여부를 확인하는 단계;
상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 음성 데이터를 식별하기 위한 제1 음성 식별 정보를 생성한 후, 상기 제1 음성 식별 정보를 포함하는 노이즈(Noise) 음원 - 상기 노이즈 음원은, 사전 설정된 비가청 주파수 대역에서 사전 선택된 둘 이상의 주파수 성분들의 신호가 결합되어 생성된 음원임 - 을 생성하는 단계;
상기 노이즈 음원이 생성되면, 상기 음성 데이터에 상기 노이즈 음원을 삽입한 후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 상기 제1 클라이언트 단말로 전송하는 단계; 및
상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송되면, 상기 노이즈 음원이 삽입된 상기 음성 데이터, 상기 제1 회원 식별 정보 및 상기 제1 음성 식별 정보가 포함된 제1 트랜잭션을 생성한 후, 블록체인 네트워크를 구성하고 있는 복수의 노드 장치들 중 어느 하나인 제1 노드 장치를 랜덤하게 선택하여, 상기 제1 노드 장치로, 상기 제1 트랜잭션을 전송하면서, 상기 제1 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 단계
를 포함하고,
상기 제1 노드 장치는
상기 서비스 제공 서버로부터 상기 제1 트랜잭션과 상기 등록 요청이 수신되면, 상기 제1 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제1 트랜잭션이 포함된 제1 블록을 생성하고, 상기 제1 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제1 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제1 블록을, 상기 복수의 노드 장치들 중 상기 제1 노드 장치를 제외한 나머지 노드 장치들로 전파하는 것을 특징으로 하며,
상기 노이즈 음원을 생성하는 단계는
상기 비가청 주파수 대역에서 사전 선택된 n(n은 3이상의 자연수임)개의 서로 다른 부분 주파수 대역들에 대한 정보와, 상기 n개의 부분 주파수 대역들 각각에 대응되는 것으로 사전 설정된 서로 다른 식별 번호가 서로 대응되어 저장되어 있는 정보 저장부를 유지하는 단계;
상기 제1 클라이언트 단말로부터 수신된 상기 제1 회원 식별 정보와 상기 회원 식별 정보 저장부에 저장되어 있는 상기 제1 회원에 대한 회원 식별 정보가 서로 동일한 것으로 확인되면, 상기 정보 저장부에 저장되어 있는 상기 n개의 부분 주파수 대역들 각각에 대응되는 식별 번호 중 k(k는 2이상 n미만의 자연수임)개의 식별 번호들을 랜덤하게 선택한 후, 상기 k개의 식별 번호들을 성분으로 갖는 k차원의 제1 식별 벡터를, 상기 제1 음성 식별 정보로서 생성하는 단계; 및
상기 제1 식별 벡터가 상기 제1 음성 식별 정보로 생성되면, 상기 정보 저장부를 참조하여, 상기 k개의 식별 번호들 각각에 대응되는 k개의 부분 주파수 대역들에 대한 정보를 확인한 후, 상기 k개의 부분 주파수 대역들 각각의 중심 주파수 성분의 신호를 결합한 신호를, 상기 노이즈 음원으로 생성하는 단계
를 포함하고,
상기 서비스 제공 서버의 동작 방법은
상기 노이즈 음원이 삽입된 상기 음성 데이터가 상기 제1 클라이언트 단말로 전송된 이후, 상기 노이즈 음원이 삽입된 상기 음성 데이터를 획득한 상속자의 제1 전자 단말로부터, 상기 제1 회원 식별 정보가 수신되면서, 상기 획득한 음성 데이터가 진본인지 여부에 대한 확인 요청이 수신되면, 상기 획득한 음성 데이터에 대한 출력 음향을 상기 제1 전자 단말에 사전 탑재되어 있는 마이크로폰을 통해 인식시킬 것을 지시하는 음향 인식 지시 메시지를 생성하여 상기 제1 전자 단말로 전송하는 단계;
상기 음향 인식 지시 메시지가 상기 제1 전자 단말로 전송된 이후, 상기 상속자가, 상기 획득한 음성 데이터를 음향 재생 장치를 통해 출력시키고, 상기 음향 재생 장치를 통해 출력되는 음향을 상기 제1 전자 단말에 탑재되어 있는 상기 마이크로폰을 통해 인식시킴에 따라, 상기 제1 전자 단말로부터, 상기 획득한 음성 데이터에 대한 출력 음향에 삽입되어 있는, 상기 노이즈 음원을 구성하는 노이즈 주파수 성분들에 대한 정보가 수신되면, 상기 노이즈 주파수 성분들 중 진폭이 큰 순서로 k개의 제1 노이즈 주파수 성분들을 선택하는 단계;
상기 k개의 제1 노이즈 주파수 성분들이 선택되면, 상기 정보 저장부에 저장되어 있는 상기 n개의 부분 주파수 대역들 중 상기 k개의 제1 노이즈 주파수 성분들 각각이 속하는 k개의 제1 부분 주파수 대역들을 확인한 후, 상기 k개의 제1 부분 주파수 대역들 각각에 대응되는 식별 번호를 성분으로 갖는 k차원의 확인 벡터를 생성하는 단계;
상기 확인 벡터가 생성되면, 상기 복수의 노드 장치들 중 어느 하나인 제2 노드 장치에 대해, 상기 제2 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색하여 회신할 것을 요청하는 데이터 검색 요청 명령을 전송하는 단계;
상기 제2 노드 장치가, 상기 데이터 검색 요청 명령에 대응하여, 상기 블록체인 데이터로부터 상기 제1 회원 식별 정보와 함께 저장되어 있는 상기 제1 음성 식별 정보를 검색함에 따라, 상기 제2 노드 장치로부터 상기 제1 음성 식별 정보가 검색 결과로 수신되면, 상기 제1 음성 식별 정보를 구성하는 상기 제1 식별 벡터와, 상기 확인 벡터 간의 벡터 유사도를 연산한 후, 상기 벡터 유사도가 사전 설정된 기준 유사도 이상인지 여부를 확인하는 단계; 및
상기 벡터 유사도가 상기 기준 유사도 이상인 것으로 확인되면, 상기 획득한 음성 데이터가 진본인 것으로 확인한 후, 상기 획득한 음성 데이터가 진본임을 지시하는 진본 확인 메시지를 생성하여 상기 제1 전자 단말로 전송하는 단계
를 더 포함하는 서비스 제공 서버의 동작 방법.In the operating method of a service providing server for providing a digital will service capable of verifying the authenticity of voice,
Maintaining a member identification information storage unit in which member identification information for each of a plurality of members subscribed to the digital will service is stored;
When a voice data containing the first member identification information and the contents of the first member is received from the first client terminal held by the first member of the plurality of members, and the information insert order is received from the first client terminal to insert the information to prove the voice data from the voice data from the voice data. Checking whether the member identification information for the first member identification information received from the first client terminal and the member identification information for the first member stored in the member identification information storage unit is the same;
If it is confirmed that the first member identification information received from the first client terminal and the member identification information for the first member stored in the member identification information storage unit are identical to each other, generating first voice identification information for identifying the voice data, and then generating a noise source including the first voice identification information, wherein the noise source is a sound source generated by combining signals of two or more preselected frequency components in a preset inaudible frequency band;
inserting the noise source into the voice data when the noise source is generated, and then transmitting the voice data into which the noise source is inserted to the first client terminal; and
When the voice data into which the noise source is inserted is transmitted to the first client terminal, after generating a first transaction including the voice data into which the noise source is inserted, the first member identification information, and the first voice identification information, randomly selecting a first node device that is any one of a plurality of node devices constituting a blockchain network, transmitting the first transaction to the first node device, and transmitting a registration request to the blockchain network of the first transaction
including,
The first node device is
When the first transaction and the registration request are received from the service providing server, a first block including the first transaction is generated based on a previous block chained to blockchain data stored on a memory of the first node device, and the first block is chained to the blockchain data. After completing the storage of the first block, the first block is propagated through the blockchain network to the remaining node devices except the first node device among the plurality of node devices,
The step of generating the noise source is
Information on n (n is a natural number of 3 or more) different partial frequency bands preselected in the inaudible frequency band and different identification numbers preset to correspond to each of the n partial frequency bands are stored in correspondence with each other; maintaining an information storage unit;
If it is confirmed that the first member identification information received from the first client terminal and the member identification information for the first member stored in the member identification information storage unit are the same, among the identification numbers corresponding to each of the n partial frequency bands stored in the information storage unit, k (k is a natural number between 2 and less than n) randomly selects identification numbers, and then generates a k-dimensional first identification vector having the k identification numbers as components, as the first voice identification information; and
When the first identification vector is generated as the first voice identification information, referring to the information storage unit, checking information on the k sub-frequency bands corresponding to each of the k identification numbers, and then generating a signal obtained by combining the signals of the center frequency component of each of the k sub-frequency bands with the noise source.
including,
The operation method of the service providing server
After the voice data into which the noise source is inserted is transmitted to the first client terminal, when the first member identification information is received from the first electronic terminal of the heir who acquired the voice data into which the noise source is inserted and a request for confirmation as to whether the acquired voice data is genuine is received, generating a sound recognition instruction message instructing to recognize an output sound of the obtained voice data through a microphone pre-loaded in the first electronic terminal, and transmitting the message to the first electronic terminal;
After the sound recognition instruction message is transmitted to the first electronic terminal, as the inheritor outputs the acquired voice data through a sound reproducing device and recognizes the sound output through the sound reproducing device through the microphone mounted in the first electronic terminal, when information about the noise frequency components constituting the noise source, which is inserted into the output sound for the acquired voice data, is received from the first electronic terminal, k first noise frequency components are selected in order of amplitude from among the noise frequency components. doing;
when the k first noise frequency components are selected, identifying the k first sub-frequency bands to which each of the k first noise frequency components belong among the n sub-frequency bands stored in the information storage unit, and then generating a k-dimensional check vector having an identification number corresponding to each of the k first sub-frequency bands as a component;
When the check vector is generated, to a second node device that is any one of the plurality of node devices, the first voice identification information stored together with the first member identification information from the blockchain data stored on the memory of the second node device Sending a data search request command requesting to search for and return;
As the second node device searches for the first voice identification information stored together with the first member identification information from the blockchain data in response to the data search request command, when the first voice identification information is received as a search result from the second node device, calculating a vector similarity between the first identification vector constituting the first voice identification information and the check vector, and then checking whether the vector similarity is equal to or greater than a preset criterion similarity; and
If it is determined that the vector similarity is equal to or greater than the reference similarity, confirming that the obtained voice data is authentic, generating an authenticity confirmation message indicating that the obtained voice data is authentic and transmitting the same to the first electronic terminal.
Method of operating a service providing server further comprising a.
상기 제1 전자 단말은
상기 음향 재생 장치를 통해, 상기 획득한 음성 데이터가 출력되는 상황에서, 상기 상속자에 의해 상기 음향 재생 장치에서 출력되는 음향을 인식시킬 것을 지시하는 명령이 인가되면, 상기 마이크로폰을 통해, 상기 음향 재생 장치에서 출력되는 음향을 인식하여, 인식되는 음향 신호를 주파수 도메인으로 변환함으로써, 주파수 스펙트럼을 생성한 후, 상기 주파수 스펙트럼에 포함된 주파수 성분들 중 상기 비가청 주파수 대역에 존재하는 비가청 주파수 성분들을 확인하고, 상기 비가청 주파수 성분들에 대한 정보를 상기 노이즈 주파수 성분들에 대한 정보로 지정하여, 상기 서비스 제공 서버로 전송하는 것을 특징으로 하는 서비스 제공 서버의 동작 방법.According to claim 6,
The first electronic terminal is
When a command instructing recognition of the sound output from the sound reproducing apparatus is applied by the inheritor in a situation where the acquired voice data is output through the sound reproducing apparatus, a frequency spectrum is generated by recognizing the sound output from the sound reproducing apparatus through the microphone and converting the recognized acoustic signal into a frequency domain, then identifying non-audible frequency components existing in the inaudible frequency band among the frequency components included in the frequency spectrum, and converting information about the non-audible frequency components to the noise frequency components. A method of operating a service providing server, characterized in that designating as information and transmitting it to the service providing server.
상기 진본 확인 메시지가 상기 제1 전자 단말로 전송 완료되면, 상기 제1 전자 단말로부터 상기 제1 전자 단말의 현재 위치 정보를 수신하고, 상기 진본 확인 메시지가 상기 제1 전자 단말로 전송 완료된 시점에 대한 시간 정보를 생성한 후, 상기 현재 위치 정보, 상기 시간 정보 및 상기 진본 확인 메시지로 구성된 조회 이력 정보를 생성하는 단계; 및
상기 조회 이력 정보가 생성되면, 상기 조회 이력 정보가 포함된 제2 트랜잭션을 생성한 후, 상기 블록체인 네트워크를 구성하고 있는 상기 복수의 노드 장치들 중 어느 하나인 제3 노드 장치를 랜덤하게 선택하여, 상기 제3 노드 장치로, 상기 제2 트랜잭션을 전송하면서, 상기 제2 트랜잭션의 상기 블록체인 네트워크로의 등록 요청을 전송하는 단계
를 더 포함하고,
상기 제3 노드 장치는
상기 서비스 제공 서버로부터 상기 제2 트랜잭션과 상기 등록 요청이 수신되면, 상기 제3 노드 장치의 메모리 상에 저장되어 있는 블록체인 데이터에 체인으로 연결된 이전 블록을 기초로, 상기 제2 트랜잭션이 포함된 제2 블록을 생성하고, 상기 제2 블록을 상기 블록체인 데이터에 체인으로 연결함으로써, 상기 제2 블록에 대한 저장을 완료한 후, 상기 블록체인 네트워크를 통해 상기 제2 블록을, 상기 복수의 노드 장치들 중 상기 제3 노드 장치를 제외한 나머지 노드 장치들로 전파하는 것을 특징으로 하는 서비스 제공 서버의 동작 방법.According to claim 6,
When the transmission of the authenticity confirmation message to the first electronic terminal is completed, receiving current location information of the first electronic terminal from the first electronic terminal, generating time information about when the authenticity confirmation message is transmitted to the first electronic terminal, and then generating inquiry history information composed of the current location information, the time information, and the authenticity confirmation message; and
When the inquiry history information is generated, after generating a second transaction including the inquiry history information, randomly selecting a third node device that is any one of the plurality of node devices constituting the blockchain network, and transmitting a registration request to the blockchain network of the second transaction while transmitting the second transaction to the third node device
Including more,
The third node device
When the second transaction and the registration request are received from the service providing server, a second block including the second transaction is generated based on a previous block chained to the blockchain data stored on the memory of the third node device, and the second block is chained to the blockchain data. After completing the storage of the second block, the service providing server propagates the second block through the blockchain network to the remaining node devices except for the third node device among the plurality of node devices how it works.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210039105 | 2021-03-25 | ||
| KR1020210039105 | 2021-03-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220133743A KR20220133743A (en) | 2022-10-05 |
| KR102559493B1 true KR102559493B1 (en) | 2023-07-25 |
Family
ID=83596315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210157547A KR102559493B1 (en) | 2021-03-25 | 2021-11-16 | Service providing server to provide the digital will service that can verify the authenticity of the voice and the operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102559493B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102076565B1 (en) * | 2018-10-11 | 2020-02-12 | 주식회사 한글과컴퓨터 | Speech processing apparatus which enables identification of a speaking person through insertion of speaker identification noise and operating method thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102117537B1 (en) * | 2018-11-16 | 2020-06-02 | 김재호 | Service providing system and method for managing testament |
| KR20200107707A (en) * | 2019-03-08 | 2020-09-16 | 삼성전자주식회사 | Registration method and apparatus for speaker recognition |
| KR20200107881A (en) * | 2020-07-24 | 2020-09-16 | 넷마블 주식회사 | Method and server for managing testament |
-
2021
- 2021-11-16 KR KR1020210157547A patent/KR102559493B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102076565B1 (en) * | 2018-10-11 | 2020-02-12 | 주식회사 한글과컴퓨터 | Speech processing apparatus which enables identification of a speaking person through insertion of speaker identification noise and operating method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220133743A (en) | 2022-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20050113614A (en) | Handling of digital silence in audio fingerprinting | |
| KR20050061594A (en) | Improved audio data fingerprint searching | |
| JP2004519015A (en) | Generating and matching hashes of multimedia content | |
| JP4390570B2 (en) | Multistage signature verification system, electronic signature adding apparatus, data adding apparatus, and electronic signature verification apparatus | |
| CN111445209A (en) | Block chain-based electronic contract signing method and device and storage medium | |
| KR20040017312A (en) | Apparatus and method for generating data for detecting false alteration of encrypted data during processing | |
| KR102559493B1 (en) | Service providing server to provide the digital will service that can verify the authenticity of the voice and the operating method thereof | |
| JP2006323182A (en) | Embedding device for information into sound signal, extraction device of information from sound signal, and sound signal reproducing apparatus | |
| JP2008256948A (en) | Device for embedding information in sound signal and device for extracting information from sound signal | |
| JP5769454B2 (en) | Information processing apparatus, information processing method, and program | |
| CN110970027B (en) | Voice recognition method, device, computer storage medium and system | |
| JP2006227330A (en) | Embedding device/method of information to audio signals, extraction device/method of information from audio signals | |
| WO2019052121A1 (en) | Music identification system, method and apparatus, and music management server | |
| KR102500740B1 (en) | Live streaming server which can insert the noise source, to be used for looking up contents data, into a real time video, and the operating method thereof | |
| JP2006195061A (en) | Information embedding device for acoustic signal, information extracting device from acoustic signal and acoustic signal reproducing device | |
| KR102076565B1 (en) | Speech processing apparatus which enables identification of a speaking person through insertion of speaker identification noise and operating method thereof | |
| KR102618619B1 (en) | Live streaming server which can insert the purchase site information for product purchase, into the real-time shopping broadcast video for product sales, and transmit the real-time shopping broadcast video, and the operating method thereof | |
| KR101426763B1 (en) | System and method for music, and apparatus and server applied to the same | |
| US20230269095A1 (en) | Verification method and information processing apparatus | |
| CN110457954A (en) | Contract management apparatus and method | |
| WO2023119629A1 (en) | Information processing system, information processing method, recording medium, and data structure | |
| CN114400022B (en) | Method, device and storage medium for comparing sound quality | |
| KR102215600B1 (en) | Public data providing apparatus providing public data available as annotations inserted into documents through differential authentication processing based on security level and operating method thereof | |
| KR20230174854A (en) | Document providing server capable of providing an electronic document with a deformed image of a signature or stamp to verify that it is a valid document and operating method thereof | |
| KR20240038315A (en) | Document form providing server which is able to perform forgery prevention processing for an electronic document, and the operating method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |