WO2017014388A1 - 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치 - Google Patents

영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치 Download PDF

Info

Publication number
WO2017014388A1
WO2017014388A1 PCT/KR2016/001019 KR2016001019W WO2017014388A1 WO 2017014388 A1 WO2017014388 A1 WO 2017014388A1 KR 2016001019 W KR2016001019 W KR 2016001019W WO 2017014388 A1 WO2017014388 A1 WO 2017014388A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio data
video
audio
voice
information
Prior art date
Application number
PCT/KR2016/001019
Other languages
English (en)
French (fr)
Inventor
권오훈
박행운
김경희
Original Assignee
주식회사 디지워크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디지워크 filed Critical 주식회사 디지워크
Publication of WO2017014388A1 publication Critical patent/WO2017014388A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Definitions

  • Embodiments of the present invention relate to a video audio data processing method and a terminal device for executing the same.
  • the earphone is a handset designed to be small to be mounted on the ear, and is a sound conversion device widely used in various mobile devices such as mobile phones, notebook computers, MP3, PMP, and the like.
  • the earphone is designed to be inserted into the user's ear hole instead of the speaker of the mobile phone, so that only the user can hear it. It is used as a device for listening to the other party's call or listening to music when using the mobile phone as a sound device. For example, the user may connect the earphone to the mobile phone to view the video data of the video audio data on the screen and listen to the audio data at the same time.
  • the audio data of the video audio data is not output through the speaker of the terminal device but is directly output to the earphone.
  • An object of the present invention is to provide a video and audio data processing method and a terminal device for executing the same, by analyzing a part thereof and extracting and processing video information from audio information.
  • the method for processing video and audio data executed in a terminal device may include determining whether the terminal is connected to an external device when the video and audio data is reproduced according to a user's request. Extracting a binary code embedded in the voice information by using a part of the voice data of the voice data, and determining and processing image information corresponding to the binary code.
  • the terminal device may be connected to an external device to output a voice information to the external device, an external device connection confirmation unit to check whether the external device is connected through the communication interface, and the voice information Extract the binary code inserted into the voice information by using the voice information, and determine and process the video information corresponding to the binary code; And a controller configured to provide a part of the voice data of the video and audio data to the communication interface according to the result and to provide a part of the voice information to the voice analyzer.
  • the terminal device when a user connects an external device to a terminal device and watches video audio data, the terminal device outputs a part of the audio data of the video audio data to the external device and provides the remaining part to the internal processor of the terminal device.
  • FIG. 1 is a view for explaining a video and audio data processing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a terminal device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a video and audio data processing process according to the present invention.
  • 4 to 6 are exemplary diagrams for explaining a process of inserting video information into audio data of video audio data.
  • video information refers to information for displaying audio data of video and audio data in text, address information for moving to a purchase page for purchasing a product on video and audio data, and goods on video and audio data. Information for description and the like.
  • FIG. 1 is a view for explaining a video and audio data processing system according to an embodiment of the present invention.
  • a user may execute various types of video and audio data (eg, DMB, advertisement video, etc.) by executing the terminal device 100.
  • video and audio data eg, DMB, advertisement video, etc.
  • the terminal device 100 When the user views the video audio data without connecting an external device (eg, an earphone, etc.) 200 to the terminal device 100, the audio data of the video audio data is output through the speaker of the terminal device 100 and the user. The sound is heard through the terminal device 100.
  • the audio data of the audio data is transmitted to the external device 200 of the terminal device 100 so that the user may connect to the external device ( You hear the sound through 200).
  • the terminal device 100 and the external device 200 may be connected through a wireless communication interface (for example, Bluetooth) or through a wired communication interface (for example, USB interface).
  • the terminal device 100 analyzes the voice data of the video voice data and extracts a binary code pre-inserted from the voice information.
  • the image information corresponding to the binary code may be output.
  • the audio data of the audio data is not provided to the internal processor (FIG. 2, the voice analysis unit) of the terminal device 100. Without being sent directly to the external device 200. As a result, the terminal apparatus 100 may not analyze audio data of the video audio data.
  • the terminal device 100 checks whether the terminal device is connected to the external device 200.
  • the terminal device 100 If the external device 200 is connected as a result of the check, the terminal device 100 provides a part of the audio data of the video and audio data to the external device 200, and provides the remaining part to the internal processor. For this reason, the terminal device 100 may analyze the voice information using a part of the voice data of the video voice data and extract the video information from the voice information.
  • the terminal device 100 When the terminal device 100 analyzes a process of analyzing voice information, the terminal device 100 generates a bar graph information table for each binary value that is pre-built for each waveform area in the audio waveform of the audio data of the audio data. By referring to the binary value when the waveform area is bar graphed to the lower region and the binary value when the waveform area is bar graphed to the upper region, respectively, and generating the binary code by combining the extracted binary values. do. Then, the terminal device 100 checks and outputs image information corresponding to the binary code with reference to the previously constructed image information table for each binary code.
  • FIG. 2 is a block diagram illustrating a terminal device according to an embodiment of the present invention.
  • the terminal device 100 may include a communication interface 110, an external device connection confirmation unit 120, a voice analyzer 130, a controller 140, a display unit 150, and a memory 160. Include.
  • the communication interface 110 When the communication interface 110 is connected to an external device, the communication interface 110 outputs voice information to the external device under the control of the controller 140.
  • the external device connection confirmation unit 120 confirms whether or not the external device is connected through the communication interface 110, and provides the confirmation result to the controller 140.
  • the external device connection confirmation unit 120 provides an external device connection signal to the controller 140 at the same time that the external device is connected through the communication interface 110.
  • the control unit 140 divides the audio data of the video audio data and analyzes the external device and the voice through the communication interface 110. It is provided to the unit 130.
  • the voice analyzer 130 extracts a binary code embedded in the voice information by using the voice information, and determines and processes image information corresponding to the binary code.
  • the voice analyzer 130 performs a bar graph on the waveform area by referring to a bar graph information table for each binary value that is pre-built for each waveform area in the audio waveform of the audio data of the video voice data.
  • Binary value and waveform area are extracted by the bar graph above the area, and each binary value is combined to generate a binary code.
  • the voice analyzer 130 checks and outputs image information corresponding to the binary code by referring to the previously constructed image information table for each binary code.
  • the controller 140 When the controller 140 receives an external device connection signal from the external device connection confirming unit 120, the controller 140 divides the voice information before outputting the audio information of the video voice data to the external device 200 to convert a part of the voice information into a communication interface ( It provides to the external device through the 110 and provides the remaining part of the voice information to the voice analysis unit 130.
  • the controller 140 recognizes that the external device is connected to the terminal device, and before the audio information of the video and audio data is output to the external device 200. By dividing the voice information into a part of the voice information to provide an external device to the external device through the communication interface 110 and the remaining part of the voice information to the voice analysis unit 130 so that the terminal device can analyze the voice information.
  • the display unit 150 displays and outputs information processed by the terminal device 100. For example, when video audio data is reproduced according to a user's manipulation, the video audio data may be displayed.
  • the display unit 150 may include at least one of a liquid crystal display, a thin film transistor liquid crystal display, an organic light emitting diode, a flexible display, and a 3D display. It may include one.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display.
  • a representative example of the transparent display includes a transparent LCD.
  • the display unit 150 and a sensor for detecting a touch operation form a mutual layer structure (hereinafter, abbreviated as “touch screen”)
  • the display unit 150 is an output device. It can also be used as an input device.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 150 or capacitance generated at a specific portion of the display unit 150 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.
  • the corresponding signal (s) is sent to the touch controller.
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 160.
  • the memory 160 stores a bar graph information table for each binary value. Based on this, the speech analyzer 130 extracts binary values when the waveform region is bar graphed to the lower region for each waveform region in the audio waveform of the audio data of the video audio data, and combines the binary values. To generate a binary code.
  • the memory 160 stores a prebuilt binary video information table. Based on this, the voice analyzer 130 may extract and process image information corresponding to a binary code.
  • FIG. 3 is a flowchart illustrating a video and audio data processing process according to the present invention.
  • the terminal device 100 plays back video and audio data according to a user's request (step S310).
  • the terminal device 100 checks whether an external device is connected (step S320).
  • the terminal device 100 divides the audio data of the video audio data and outputs a part of the voice information to the external device (step S340).
  • the terminal device 100 extracts the binary code inserted in the voice information by using a part of the voice data of the video voice data (step S350).
  • the terminal device 100 refers to a bar graph information table for binary values which is pre-built for each waveform area in the audio waveform of the audio data of the audio and video data, and the waveform area is below the area.
  • the binary value when the bar graph is graphed and the binary value when the waveform graph is bar graphed to the upper region can be extracted, respectively, and the binary code can be combined to generate a binary code.
  • the terminal device 100 determines and processes image information corresponding to a binary code (step S360).
  • 4 to 6 are exemplary diagrams for explaining a process of inserting video information into audio data of video audio data.
  • the audio data video voice data generating apparatus selects an audio waveform corresponding to a specific frequency as shown by reference numeral 410 by analyzing the video audio data.
  • the audio waveform of the reference numeral 410 may be an audio waveform corresponding to an audible frequency band that can be heard by the user. That is, the audio waveform of reference numeral 410 may be an audio waveform corresponding to a frequency band of 20 Hz to 20,000 Hz.
  • the apparatus for generating audio and video data determines a start position where the insertion target information is to be inserted in the audio waveform.
  • the apparatus for generating video and audio data may determine a starting position at which insertion target information is to be inserted, as indicated by reference numeral 420.
  • the video / audio data generating apparatus generates a waveform region by dividing the audio waveform at regular intervals from the start position 420 of the audio waveform, and references the waveform region based on the binary value of the binary code corresponding to the insertion target information. Bar graph with.
  • the binary code corresponding to the image information is 1001
  • the bar graph of the waveform region to the lower region of the audio waveform means "1”
  • the bar graph of the waveform region to the top of the audio waveform If it is defined as "0”, the waveform is divided at regular intervals from the start position 420 of the audio waveform to generate waveform regions 431, 432, 433, 434, and a binary number corresponding to the insertion target information.
  • the waveform regions 431, 432, 433, and 434 are bar graphed based on the corresponding audio waveform according to the binary value of the code.
  • the apparatus for generating audio and video data may bar graph the waveform region 431 into the region below the corresponding audio waveform with respect to the first binary value "1" of the binary code.
  • the waveform region 432 can be bar graphed to the upper region of the audio waveform
  • the waveform region 433 can be The upper region can be bar graphed
  • the waveform region 434 can be bar graphed to the lower region of the audio waveform for the fourth binary value " 1 " of the binary code.
  • the apparatus for generating video and audio data may bar graph the waveform region 431 into a region below the corresponding audio waveform with respect to the binary value “1” of the binary code.
  • the waveform region 431 may be bar graph by generating a line in a horizontal direction at the point where the line segment used to divide the audio waveform meets the audio waveform.
  • the longest of the at least one segment used to divide the audio waveform when the waveform area 433 is histographed by the waveform area 433 to the upper area of the audio waveform with respect to the binary value " 0 " of the binary code, the longest of the at least one segment used to divide the audio waveform.
  • the short line segment 450 may be extended to fit the line segment 460, and the two line segments 450 and 460 may be connected to a bar graph of the waveform region 433.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 일 실시예에 따른 단말 장치에서 실행되는 영상 음성 데이터 처리 방법은 사용자의 요청에 따라 영상 음성 데이터가 재생되면 상기 단말 장치에 외부 장치에 연결되어 있는지 여부를 확인하는 단계, 상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 이용하여 상기 음성 정보에 삽입된 이진수 코드를 추출하는 단계 및 상기 이진수 코드에 해당하는 영상 정보를 결정하여 처리한다. 따라서, 본 발명은 사용자가 단말 장치에 외부 장치를 연결하고 영상 음성 데이터를 시청하면 영상 음성 데이터의 음성 데이터의 일부를 외부 장치에 출력하고 나머지 일부를 단말 장치의 내부 프로세서에 제공함에 따라 단말 장치에서 음성 정보의 일부를 분석하여 음성 정보에서 영상 정보를 추출하여 처리할 수 있다는 장점이 있다.

Description

영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치
본 발명의 실시예들은 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치에 관한 것이다.
일반적으로, 이어폰은 귀에 장착(裝着)할 수 있게 소형으로 설계된 수화기로서, 핸드폰과 노트북 컴퓨터, MP3, PMP 등과 같은 다양한 모바일 기기에 널리 사용되고 있는 음향변환장치이다.
이어폰은 핸드폰의 스피커를 대신하여 사용자의 귓구멍에 꽂을 수 있도록 설계되어 사용자만 들을 수 있기 때문에 음향장치 기능을 가진 현재의 핸드폰에서 주변 사람들에게 들리지 않게 하고 동시에 주변의 소음을 차단하여 사용할 수 있으므로 통화 시 상대방의 통화음을 듣거나 핸드폰을 음향장치로서 사용시 음악을 듣는 장치로서 사용되고 있다. 예를 들어, 사용자는 이어폰을 핸드폰에 연결하여 영상 음성 데이터의 영상 데이터를 화면으로 봄과 동시에 이어폰으로 음성 데이터를 들을 수 있다.
이와 같이, 사용자가 이어폰을 이용하는 경우 영상 음성 데이터의 음성 데이터는 단말 장치의 스피커를 통해 출력되지 않고 곧바로 이어폰으로 출력되기 때문에 단말 장치에서는 음성 데이터를 이용할 수 없다는 문제점이 있다.
본 발명은 사용자가 단말 장치에 외부 장치를 연결하고 영상 음성 데이터를 시청하면 영상 음성 데이터의 음성 데이터의 일부를 외부 장치에 출력하고 나머지 일부를 단말 장치의 내부 프로세서에 제공함에 따라 단말 장치에서 음성 정보의 일부를 분석하여 음성 정보에서 영상 정보를 추출하여 처리할 수 있도록 하는 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치를 제공하는 것을 목적으로 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
실시예들 중에서, 단말 장치에서 실행되는 영상 음성 데이터 처리 방법은 사용자의 요청에 따라 영상 음성 데이터가 재생되면 상기 단말 장치에 외부 장치에 연결되어 있는지 여부를 확인하는 단계, 상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 이용하여 상기 음성 정보에 삽입된 이진수 코드를 추출하는 단계 및 상기 이진수 코드에 해당하는 영상 정보를 결정하여 처리한다.
실시예들 중에서, 단말 장치는 외부 장치와 연결되어 음성 정보를 상기 외부 장치에 출력하는 통신 인터페이스, 상기 통신 인터페이스를 통해 외부 장치와 연결되어 있는지 여부를 확인하는 외부 장치 연결 확인부, 상기 음성 정보를 이용하여 상기 음성 정보에 삽입된 이진수 코드를 추출하고, 상기 이진수 코드에 해당하는 영상 정보를 결정하여 처리하는 음성 분석부 및 사용자의 요청에 따라 영상 음성 데이터가 재생되면 상기 외부 장치 연결 확인부의 상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 상기 통신 인터페이스에 제공하고 상기 음성 정보의 나머지 일부를 음성 분석부에 제공하는 제어부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명에 따르면, 사용자가 단말 장치에 외부 장치를 연결하고 영상 음성 데이터를 시청하면 영상 음성 데이터의 음성 데이터의 일부를 외부 장치에 출력하고 나머지 일부를 단말 장치의 내부 프로세서에 제공함에 따라 단말 장치에서 음성 정보의 일부를 분석하여 음성 정보에서 영상 정보를 추출하여 처리할 수 있다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 영상 음성 데이터 처리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 단말 장치를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 영상 음성 데이터 처리 과정을 설명하기 위한 흐름도이다.
도 4 내지 도 6는 영상 음성 데이터의 음성 데이터에 영상 정보를 삽입하는 과정을 설명하기 위한 예시도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
본 명세서에서 사용된 용어 중 “영상 정보”는 영상 음성 데이터의 음성 데이터를 문자로 표시하기 위한 정보, 영상 음성 데이터 상의 상품을 구매하기 위한 구매 페이지로 이동하기 위한 주소 정보, 영상 음성 데이터 상의 상품을 설명하기 위한 정보 등을 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 음성 데이터 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 사용자는 단말 장치(100)에서 실행하여 다양한 영상 음성 데이터(예를 들어, DMB, 광고 영상 등)를 볼 수 있다. 사용자는 단말 장치(100)에 외부 장치(예를 들어, 이어폰 등)(200)를 연결하지 않고 영상 음성 데이터를 보는 경우 영상 음성 데이터의 음성 데이터는 단말 장치(100)의 스피커를 통해 출력되어 사용자는 단말 장치(100)를 통해 소리를 듣게 된다.
반면, 사용자가 단말 장치(100)에 외부 장치(200)를 연결하고 영상 음성 데이터를 보는 경우 영상 음성 데이터의 음성 데이터는 단말 장치(100)의 외부 장치(200)에 전송되어 사용자가 외부 장치(200)를 통해 소리를 듣게 된다. 이때, 단말 장치(100) 및 외부 장치(200)는 무선 통신 인터페이스(예를 들어, 블루투스 등)을 통해 연결되거나 유선 통신 인터페이스(예를 들어, USB 인터페이스)를 통해 연결될 수 있다.
이와 같이, 사용자가 단말 장치(100)에 외부 장치(200)를 연결하지 않고 영상 음성 데이터를 보는 경우 단말 장치(100)영상 음성 데이터의 음성 데이터를 분석하여 음성 정보에서 미리 삽입된 이진수 코드를 추출하고, 이진수 코드에 해당하는 영상 정보를 출력할 수 있다.
하지만, 사용자가 단말 장치(100)에 외부 장치(200)를 연결하고 영상 음성 데이터를 보는 경우 영상 음성 데이터의 음성 데이터는 단말 장치(100)의 내부 프로세서(도 2, 음성 분석부)에 제공되지 않고 곧바로 외부 장치(200)에 전송된다. 이로 인해, 단말 장치(100)는 영상 음성 데이터의 음성 데이터를 분석할 수 없다는 문제점이 있다.
이와 같은 문제점을 해결하기 위해서, 본 발명에서는 단말 장치(100)가 사용자의 요청에 따라 영상 음성 데이터가 재생되면 단말 장치에 외부 장치(200)에 연결되어 있는지 여부를 확인한다.
단말 장치(100)는 확인 결과 외부 장치(200)가 연결되어 있으면 영상 음성 데이터의 음성 데이터의 일부를 외부 장치(200)에 제공하고 나머지 일부를 내부 프로세서에 제공한다. 이로 인해, 단말 장치(100)는 영상 음성 데이터의 음성 데이터의 일부를 이용하여 음성 정보를 분석하고 음성 정보에서 영상 정보를 추출할 수 있는 것이다.
단말 장치(100)가 음성 정보를 분석하는 과정을 설명하면, 단말 장치(100)는 영상 음성 데이터의 음성 데이터의 오디오 파형에 있는 각각의 파형 영역에 대해서 기 구축된 이진수 값 별 막대 그래프 정보 테이블을 참조하여 파형 영역이 아래 영역으로 막대 그래프화 되었을 때의 이진수 값 및 파형 영역이 위 영역으로 막대 그래프화 되었을 때의 이진수 값을 각각 추출하고, 상기 추출된 각각의 이진수 값을 조합하여 이진수 코드를 생성한다. 그런 다음, 단말 장치(100)는 기 구축된 이진수 코드 별 영상 정보 테이블을 참조하여 이진수 코드에 해당하는 영상 정보를 확인하여 출력한다.
도 2는 본 발명의 일 실시예에 따른 단말 장치를 설명하기 위한 블록도이다.
도 2를 참조하면, 단말 장치(100)는 통신 인터페이스(110), 외부 장치 연결 확인부(120), 음성 분석부(130), 제어부(140), 디스플레이부(150) 및 메모리(160)를 포함한다.
통신 인터페이스(110)는 외부 장치와 연결되면 제어부(140)의 제어에 따라 외부 장치에 음성 정보를 출력한다.
외부 장치 연결 확인부(120)는 통신 인터페이스(110)를 통해 외부 장치가 연결되었는지 여부를 확인하고, 확인 결과를 제어부(140)에 제공한다. 이때, 외부 장치 연결 확인부(120)는 통신 인터페이스(110)를 통해 외부 장치가 연결됨과 동시에 외부 장치 연결 신호를 제어부(140)에 제공한다. 이와 같이, 외부 장치 연결 확인부(120)가 외부 장치 연결 신호를 제어부(140)에 제공함에 따라 제어부(140)는 영상 음성 데이터의 음성 데이터를 나누어서 통신 인터페이스(110)를 통해 외부 장치 및 음성 분석부(130)에 제공하는 것이다.
음성 분석부(130)는 음성 정보를 이용하여 음성 정보에 삽입된 이진수 코드를 추출하고, 이진수 코드에 해당하는 영상 정보를 결정하여 처리한다.
보다 구체적으로, 음성 분석부(130)는 영상 음성 데이터의 음성 데이터의 오디오 파형에 있는 각각의 파형 영역에 대해서 기 구축된 이진수 값 별 막대 그래프 정보 테이블을 참조하여 파형 영역이 아래 영역으로 막대 그래프화 되었을 때의 이진수 값 및 파형 영역이 위 영역으로 막대 그래프화 되었을 때의 이진수 값을 각각 추출하고, 각각의 이진수 값을 조합하여 이진수 코드를 생성한다.
음성 분석부(130)는 기 구축된 이진수 코드 별 영상 정보 테이블을 참조하여 이진수 코드에 해당하는 영상 정보를 확인하여 출력한다.
제어부(140)는 외부 장치 연결 확인부(120)로부터 외부 장치 연결 신호를 수신하면 영상 음성 데이터의 음성 정보가 외부 장치(200)로 출력되기 이전에 음성 정보를 나누어 음성 정보의 일부를 통신 인터페이스(110)를 통해 외부 장치에 제공하고 음성 정보의 나머지 일부를 음성 분석부(130)에 제공한다.
이와 같이, 제어부(140)는 외부 장치 연결 확인부(120)로부터 외부 장치 연결 신호를 수신하면 단말 장치에 외부 장치가 연결되었음을 인식하고 영상 음성 데이터의 음성 정보가 외부 장치(200)로 출력되기 이전에 음성 정보를 나누어 음성 정보의 일부를 통신 인터페이스(110)를 통해 외부 장치에 제공하고 음성 정보의 나머지 일부를 음성 분석부(130)에 제공함으로써 단말 장치가 음성 정보를 분석할 수 있도록 하였다.
디스플레이부(150)는 단말 장치(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 사용자의 조작에 따라 영상 음성 데이터가 재생되면 영상 음성 데이터를 표시할 수 있다.
디스플레이부(150)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thinfilm transistorliquid crystal display), 유기 발광 다이오드(organic lightemitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 투명 디스플레이의 대표적인 예로는 투명 LCD 등이 있다.
디스플레이부(150)과 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 약칭함)에, 디스플레이부(150)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(150)의 특정 부위에 가해진 압력 또는 디스플레이부(150)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(160)로 전송한다.
메모리(160)에는 이진수 값 별 막대 그래프 정보 테이블이 저장되어 있다. 이를 기초로, 음성 분석부(130)는 영상 음성 데이터의 음성 데이터의 오디오 파형에 있는 각각의 파형 영역에 대해서 파형 영역이 아래 영역으로 막대 그래프화 되었을 때의 이진수 값을 추출하고, 이진수 값을 조합하여 이진수 코드를 생성할 수 있다.
메모리(160)에는 기 구축된 이진수 코드 별 영상 정보 테이블이 저장되어 있다. 이를 기초로, 음성 분석부(130)는 이진수 코드에 해당하는 영상 정보를 추출하여 처리할 수 있는 것이다.
도 3은 본 발명에 따른 영상 음성 데이터 처리 과정을 설명하기 위한 흐름도이다.
도 3을 참조하면, 단말 장치(100)는 사용자의 요청에 따라 영상 음성 데이터를 재생한다(단계 S310). 단말 장치(100)는 외부 장치가 연결되어 있는지 여부를 확인한다(단계 S320).
단말 장치(100)는 확인 결과 외부 장치가 연결되어 있으면(단계 S330), 영상 음성 데이터의 음성 데이터를 나누어 음성 정보의 일부를 외부 장치에 출력한다(단계 S340).
단말 장치(100)는 영상 음성 데이터의 음성 데이터의 일부를 이용하여 음성 정보에 삽입된 이진수 코드를 추출한다(단계 S350).
단계 S350에 대한 일 실시예에서, 단말 장치(100)는 영상 음성 데이터의 음성 데이터의 오디오 파형에 있는 각각의 파형 영역에 대해서 기 구축된 이진수 값 별 막대 그래프 정보 테이블을 참조하여 파형 영역이 아래 영역으로 막대 그래프화 되었을 때의 이진수 값 및 파형 영역이 위 영역으로 막대 그래프화 되었을 때의 이진수 값을 각각 추출하고, 각각의 이진수 값을 조합하여 이진수 코드를 생성할 수 있다.
단말 장치(100)는 이진수 코드에 해당하는 영상 정보를 결정하여 처리한다(단계 S360).
도 4 내지 도 6는 영상 음성 데이터의 음성 데이터에 영상 정보를 삽입하는 과정을 설명하기 위한 예시도이다.
도 4 내지 도 6을 참조하면, 오디오 데이터영상 음성 데이터 생성 장치(미도시됨)는 영상 음성 데이터를 주파수 분석하여 참조번호(410)과 같이 특정 주파수에 해당하는 오디오 파형을 선택한다. 이때, 참조번호(410)의 오디오 파형은 사용자가 들을 수 있는 가청 주파수 대역에 해당하는 오디오 파형일 수 있다. 즉, 참조번호(410)의 오디오 파형은 20Hz~20,000Hz 주파수 대역에 해당하는 오디오 파형일 수 있다.
영상 음성 데이터 생성 장치는 오디오 파형 중 삽입 대상 정보가 삽입될 시작 위치를 결정한다. 예를 들어, 영상 음성 데이터 생성 장치는 참조번호(420)과 같이 삽입 대상 정보가 삽입될 시작 위치를 결정할 수 있다.
영상 음성 데이터 생성 장치는 오디오 파형의 시작 위치(420)부터 오디오 파형을 일정 간격으로 분할하여 파형 영역을 생성하고, 삽입 대상 정보에 해당하는 이진수 코드의 이진수 값에 따라 파형 영역을 해당 오디오 파형을 기준으로 막대 그래프화시킨다.
예를 들어, 영상 정보에 해당하는 이진수 코드가 1001 이고, 파형 영역을 해당 오디오 파형의 아래 영역으로 막대 그래프화시킨 것이 "1"을 의미하고, 파형 영역을 해당 오디오 파형의 위로 막대 그래프화시킨 것이 "0"을 의미한다고 정의되어 있는 경우, 오디오 파형의 시작 위치(420)부터 오디오 파형을 일정 간격으로 분할하여 파형 영역(431, 432, 433, 434)을 생성하고, 삽입 대상 정보에 해당하는 이진수 코드의 이진수 값에 따라 파형 영역(431, 432, 433, 434)을 해당 오디오 파형을 기준으로 막대 그래프화시킨다.
보다 구체적으로, 도 5와 같이 영상 음성 데이터 생성 장치는 이진수 코드의 첫 번째 이진수 값 "1"에 대해서 파형 영역(431)을 해당 오디오 파형의 아래 영역으로 막대 그래프화시킬 수 있고, 이진수 코드의 두 번째 이진수 값 "0"에 대해서 파형 영역(432)을 해당 오디오 파형의 위 영역으로 막대 그래프화시킬 수 있고, 이진수 코드의 세 번째 이진수 값 "0"에 대해서 파형 영역(433)을 해당 오디오 파형의 위 영역으로 막대 그래프화시킬 수 있고, 이진수 코드의 네 번째 이진수 값 "1"에 대해서 파형 영역(434)을 해당 오디오 파형의 아래 영역으로 막대 그래프화시킬 수 있다.
도 6을 참조하여 파형 영역을 막대 그래프화하는 과정을 설명하면, 영상 음성 데이터 생성 장치는 이진수 코드의 이진수 값 "1"에 대해서 파형 영역(431)을 해당 오디오 파형의 아래 영역으로 막대 그래프화시킬 때, 참조번호(440)과 같이 오디오 파형을 분할하는데 사용된 선분과 오디오 파형이 만나는 점에서 수평 방향으로 선을 생성하여 파형 영역(431)을 막대 그래프화시킬 수 있다.
또한, 이진수 코드의 이진수 값 "0"에 대해서 파형 영역(433)을 파형 영역(433)을 해당 오디오 파형의 위 영역으로 막대 그래프화시킬 때, 오디오 파형을 분할하는데 사용된 적어도 하나의 선분 중 긴 선분(460)에 맞도록 짧은 선분(450)을 연장하고 두 선분(450, 460)을 이어 파형 영역(433)을 막대 그래프화시킬 수 있다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 단말 장치에서 실행되는 영상 음성 데이터 처리 방법에 있어서,
    사용자의 요청에 따라 영상 음성 데이터가 재생되면 상기 단말 장치에 외부 장치에 연결되어 있는지 여부를 확인하는 단계;
    상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 이용하여 음성 정보에 삽입된 이진수 코드를 추출하는 단계; 및
    상기 이진수 코드에 해당하는 영상 정보를 결정하여 처리하는 단계를 포함하는
    영상 음성 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 이용하여 상기 음성 정보에 삽입된 영상 정보를 추출하는 단계는
    상기 확인 결과 상기 단말 장치에 음성 출력 장치가 연결되어 있으면 상기 음성 정보의 일부를 상기 음성 출력 장치에 제공하고, 상기 음성 정보의 나머지 일부를 내부 프로세서에 제공하는 단계를 포함하는
    영상 음성 데이터 처리 방법.
  3. 제1항에 있어서,
    상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 이용하여 상기 음성 정보에 삽입된 영상 정보를 추출하는 단계는
    상기 영상 음성 데이터의 음성 데이터의 오디오 파형이 아래 영역 또는 위 영역 중 어느 영역으로 막대 그래프화되어 있는지 확인하여 상기 영상 음성 데이터의 음성 데이터에 삽입된 영상 정보에 해당하는 이진수 코드를 생성하는 단계를 포함하는 것을 특징으로 하는
    영상 음성 데이터 처리 방법.
  4. 제3항에 있어서,
    상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 이용하여 상기 음성 정보에 삽입된 영상 정보를 추출하는 단계는
    상기 영상 음성 데이터의 음성 데이터의 오디오 파형에 있는 각각의 파형 영역에 대해서 기 구축된 이진수 값 별 막대 그래프 정보 테이블을 참조하여 파형 영역이 아래 영역으로 막대 그래프화 되었을 때의 이진수 값 및 파형 영역이 위 영역으로 막대 그래프화 되었을 때의 이진수 값을 각각 추출하는 단계; 및
    상기 각각의 이진수 값을 조합하여 상기 이진수 코드를 생성하는 단계를 포함하는 것을 특징으로 하는
    영상 음성 데이터 처리 방법.
  5. 제1항에 있어서,
    상기 영상 정보에 해당하는 이진수 코드를 결정하고, 상기 이진수 코드에 해당하는 데이터를 처리하는 단계는
    기 구축된 이진수 코드 별 영상 정보 테이블을 참조하여 상기 이진수 코드에 해당하는 영상 정보를 확인하여 출력하는 단계를 포함하는 것을 특징으로 하는
    영상 음성 데이터 처리 방법.
  6. 외부 장치와 연결되어 음성 정보를 상기 외부 장치에 출력하는 통신 인터페이스;
    상기 통신 인터페이스를 통해 외부 장치와 연결되어 있는지 여부를 확인하는 외부 장치 연결 확인부;
    상기 음성 정보를 이용하여 상기 음성 정보에 삽입된 이진수 코드를 추출하고, 상기 이진수 코드에 해당하는 영상 정보를 결정하여 처리하는 음성 분석부; 및
    사용자의 요청에 따라 영상 음성 데이터가 재생되면 상기 외부 장치 연결 확인부의 상기 확인 결과에 따라 상기 영상 음성 데이터의 음성 데이터의 일부를 상기 통신 인터페이스에 제공하고 상기 음성 정보의 나머지 일부를 음성 분석부에 제공하는 제어부를 포함하는
    단말 장치.
  7. 제6항에 있어서,
    상기 외부 장치 연결 확인부는
    상기 확인 결과 상기 통신 인터페이스를 통해 음성 출력 장치가 연결되어 있으면 상기 음성 정보의 일부를 상기 음성 출력 장치에 제공하고, 상기 음성 정보의 나머지 일부를 음성 분석부에 제공하는 것을 특징으로 하는
    단말 장치.
  8. 제6항에 있어서,
    상기 음성 분석부는
    상기 영상 음성 데이터의 음성 데이터의 오디오 파형이 아래 영역 또는 위 영역 중 어느 영역으로 막대 그래프화되어 있는지 확인하여 상기 영상 음성 데이터의 음성 데이터에 삽입된 영상 정보에 해당하는 이진수 코드를 생성하는 것을 특징으로 하는
    단말 장치.
  9. 제8항에 있어서,
    상기 음성 분석부는
    상기 영상 음성 데이터의 음성 데이터의 오디오 파형에 있는 각각의 파형 영역에 대해서 기 구축된 이진수 값 별 막대 그래프 정보 테이블을 참조하여 파형 영역이 아래 영역으로 막대 그래프화 되었을 때의 이진수 값 및 파형 영역이 위 영역으로 막대 그래프화 되었을 때의 이진수 값을 각각 추출하고, 상기 각각의 이진수 값을 조합하여 상기 이진수 코드를 생성하는 것을 특징으로 하는
    단말 장치.
  10. 제6항에 있어서,
    상기 음성 분석부는
    기 구축된 이진수 코드 별 영상 정보 테이블을 참조하여 상기 이진수 코드에 해당하는 영상 정보를 확인하여 출력하는 것을 특징으로 하는
    단말 장치.
PCT/KR2016/001019 2015-07-17 2016-01-29 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치 WO2017014388A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150101761A KR101634609B1 (ko) 2015-07-17 2015-07-17 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치
KR10-2015-0101761 2015-07-17

Publications (1)

Publication Number Publication Date
WO2017014388A1 true WO2017014388A1 (ko) 2017-01-26

Family

ID=56365974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001019 WO2017014388A1 (ko) 2015-07-17 2016-01-29 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치

Country Status (2)

Country Link
KR (1) KR101634609B1 (ko)
WO (1) WO2017014388A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084447A (ko) * 2000-02-25 2001-09-06 서평원 엠피쓰리 복합형 휴대폰
JP2005203863A (ja) * 2004-01-13 2005-07-28 Casio Comput Co Ltd テレビ放送受信装置
KR20090093531A (ko) * 2008-02-29 2009-09-02 서울시립대학교 산학협력단 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법
KR101315970B1 (ko) * 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
KR101317631B1 (ko) * 2007-10-18 2013-10-10 스미토모 겐키 가부시키가이샤 선회구동제어장치 및 이것을 포함하는 건설기계

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151067A (ja) * 2003-11-14 2005-06-09 Hitachi Ltd 通信端末装置および再生方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010084447A (ko) * 2000-02-25 2001-09-06 서평원 엠피쓰리 복합형 휴대폰
JP2005203863A (ja) * 2004-01-13 2005-07-28 Casio Comput Co Ltd テレビ放送受信装置
KR101317631B1 (ko) * 2007-10-18 2013-10-10 스미토모 겐키 가부시키가이샤 선회구동제어장치 및 이것을 포함하는 건설기계
KR20090093531A (ko) * 2008-02-29 2009-09-02 서울시립대학교 산학협력단 음향 신호에서 부가정보를 추출하는 시스템 및 추출방법
KR101315970B1 (ko) * 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법

Also Published As

Publication number Publication date
KR101634609B1 (ko) 2016-06-29

Similar Documents

Publication Publication Date Title
WO2019045394A1 (ko) 지정된 주파수 대역의 신호를 이용하여 외부 객체의 근접을 확인하는 전자 장치 및 전자 장치 제어 방법
WO2016017855A1 (en) Wearable device and method of controlling therefor
WO2021118179A1 (ko) 사용자 단말, 화상 통화 장치, 화상 통화 시스템 및 그 제어방법
CN108810860B (zh) 一种音频传输方法、终端设备及主耳机
US9766852B2 (en) Non-audio notification of audible events
WO2011056044A2 (en) Pairing method and apparatus for ad-hoc connection in wireless communication terminal
WO2017175997A1 (ko) 전자 장치 및 그 제어 방법
CN109194827B (zh) 一种终端设备、音频信号输出方法及系统
EP2944153A1 (en) Device for transmitting and receiving data using earphone and method for controlling the same
WO2016006824A1 (ko) 디지털 디바이스에서 오디오 출력 장치의 연결 신호를 이용한 광고 시스템 및 그 방법
WO2013125915A1 (en) Method and apparatus for processing information of image including a face
WO2018128320A1 (ko) 전자 장치 및 그의 음성을 이용한 통신 연결 방법
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
WO2017014388A1 (ko) 영상 음성 데이터 처리 방법 및 이를 실행하는 단말 장치
WO2017078329A1 (ko) 전자장치 및 그의 동작 방법
CN104902389A (zh) 一种信息处理方法和电子设备
US10748535B2 (en) Transcription record comparison
WO2021118184A1 (ko) 사용자 단말 및 그 제어방법
WO2015142079A1 (en) Apparatus and method for processing missed call
US11302322B2 (en) Ignoring command sources at a digital assistant
WO2020159092A1 (ko) 컨텐츠를 생성하기 위한 전자 장치
WO2020138943A1 (ko) 음성을 인식하는 장치 및 방법
WO2016027955A1 (ko) Ars서버 및, 이 ars서버에 입력되는 응답신호를 생성 및 출력하는 ars 어플리케이션 프로그램을 기록한 기록매체 및, 이를 이용한 ars 서비스 방법
WO2016133253A1 (ko) 음파를 기반으로 하는 정보 입력 시스템, 장치 및 방법
JP2020119043A (ja) 音声翻訳システムおよび音声翻訳方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16827892

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 250518)

122 Ep: pct application non-entry in european phase

Ref document number: 16827892

Country of ref document: EP

Kind code of ref document: A1