KR100451210B1 - Voice-activated video frame rate control apparatus and method video telephony - Google Patents
Voice-activated video frame rate control apparatus and method video telephony Download PDFInfo
- Publication number
- KR100451210B1 KR100451210B1 KR10-2002-0065685A KR20020065685A KR100451210B1 KR 100451210 B1 KR100451210 B1 KR 100451210B1 KR 20020065685 A KR20020065685 A KR 20020065685A KR 100451210 B1 KR100451210 B1 KR 100451210B1
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- video
- image processing
- image
- processing speed
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
본 발명은 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 장치 및 방법에 관한 것으로, 종래에는 화상 통화시 화자가 상대방의 말을 경청하고 있는 경우에도 불필요하게 화자의 영상을 송신하여 무선 채널 자원의 낭비를 가져오고 전력 소모도 커지는 문제점이 있었다. 이러한 문제점을 감안한 본 발명은 음성 입력부를 통해 들어오는 소리가 아날로그/디지털 컨버터에 의해 디지털 변환된 데이터를 입력받아 음성 유무를 판단하고 이 판단 결과와 소리 정보의 주파수 성분을 출력하고 음성/영상 보호 데이터 다중화기에 부호화된 음성 데이터를 전달하는 음성 부호기와; 영상 입력부를 통해 들어오는 영상이 영상 처리부에 의해 포맷된 데이터를 입력받아 상기 음성 부호기로부터 전달되는 음성 유무와 소리 정보의 주파수 성분에 따라 영상 처리 속도를 가변하여 부호화된 영상 데이터의 양을 조절하여 상기 음성/영상 보호 데이터 다중화기에 출력하는 음성 구동 영상 부호기로 구성되어 화상 통화 중 화자가 청취 중이거나 말을 하지 않을 경우 영상 처리 속도를 낮추거나 일시 중지함으로써 무선 자원 사용의 효율을 증대시키고 단말기의 전력 소모를 줄여 발열량을 감소시킴으로써 단말기 몸체의 온도 상승으로 인한 사용자의 사용 불편을 해소시키는 효과가 있다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for controlling video frame rate according to voice in a mobile communication video terminal. In the related art, a video of a speaker is unnecessarily transmitted even when a talker listens to the other party during a video call. There was a problem that the waste and power consumption. In view of the above problems, the present invention determines whether a sound is received through a voice input unit, which is digitally converted by an analog / digital converter, and determines whether there is a voice, outputs a frequency component of the result of the determination and sound information, and multiplexes voice / video protection data A speech encoder for transmitting the encoded speech data to the apparatus; The image received through the image input unit receives the data formatted by the image processor and the image processing speed is varied according to the presence or absence of the voice transmitted from the audio encoder and the frequency component of the sound information to adjust the amount of encoded image data. / Video protected data multiplexer is a voice-driven video coder that reduces the video processing speed or pauses when the speaker is not listening or speaking during a video call, increasing the efficiency of wireless resource usage and reducing power consumption of the terminal. By reducing the amount of heat generated by reducing the temperature of the terminal body there is an effect of eliminating the user's inconvenience.
Description
본 발명은 영상/음성 처리가 행해지는 이동 통신 단말기에서 영상과 음성을 동시에 주고받는 화상 통화 기능이 수행 중일 때 방대한 양의 영상, 음성 처리에 따른 단말기 전력 소모를 효과적으로 줄이기 위한 것으로, 특히 화자의 음성 유무 또는 배경음의 성분에 따라 영상 처리 속도를 가변적으로 제어할 수 있게 한 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 장치 및 방법에 관한 것이다.The present invention is to effectively reduce the power consumption of the terminal according to the vast amount of video, voice processing when the video call function to exchange video and audio at the same time in the mobile communication terminal that the video / audio processing is performed, in particular the voice of the speaker The present invention relates to an apparatus and method for controlling an image frame rate according to sound in a mobile communication video terminal which enables to control a video processing speed in accordance with a presence or absence of a background sound.
일반적으로 이동 통신 화상 단말기는 유무선을 막론하고 입력 영상의 움직임 다소를 감지하여 초당 영상 처리 속도를 제어한다. 이동 통신 화상 단말기는 채널의 전송율이 고정된 서킷 스위치 모드인 경우가 대부분이므로 영상의 움직임이 크면 처리해야 할 데이터의 양이 많아지므로 초당 처리 화면의 속도를 낮추고 그렇지 않으면 데이터의 양이 적으므로 영상 처리 속도를 채널에 맞게 일정하게 유지하면서 화질을 제어한다.In general, a mobile communication video terminal detects some movement of an input image, whether wired or wireless, to control the image processing speed per second. Mobile communication video terminals are usually in circuit switch mode with a fixed bit rate. Therefore, when the motion of the video is large, the amount of data to be processed increases, so the processing speed per second is lowered. Otherwise, the amount of data is small. The quality is controlled while keeping the speed constant for the channel.
도 1은 종래 이동 통신 화상 단말기에서 영상 및 음성을 처리하는 블록의 구성을 보인 블록도로서, 이에 도시된 바와 같이 영상을 받아들이는 영상 입력부(11)와; 상기 영상 입력부(11)를 통해 받아들인 영상을 디지털 신호 처리하여 일반적인 영상 포맷으로 변환하여 출력하는 영상 처리부(12)와; 상기 영상 처리부(12)로부터 출력되는 데이터를 부호화하여 출력하는 영상 부호기(13)와; 화자의 음성을 받아들이는 음성 입력부(14)와; 상기 음성 입력부(14)를 통해 받아들인 음성을 아날로그/디지털 변환하여 디지털 데이터를 출력하는 아날로그/디지털 컨버터(15)와; 상기 아날로그/디지털 컨버터(15)에 의해 변환된 디지털 데이터를 부호화하여 출력하는 음성 부호기(16)와; 상기 영상 부호기(13)와 음성 부호기(16)로부터 전달되는 데이터를 다중화하여 출력하는 음성/영상 부호 데이터 다중화기(17)로 구성된다.1 is a block diagram showing the configuration of a block for processing video and audio in a conventional mobile communication video terminal, and as shown therein, an image input unit 11 for receiving an image; An image processor 12 for digitally processing an image received through the image input unit 11, converting the image into a general image format, and outputting the digital image; An image encoder (13) for encoding and outputting data output from the image processor (12); A voice input unit 14 for receiving a speaker's voice; An analog-to-digital converter (15) for outputting digital data by analog-to-digital converting the voice received through the voice input unit (14); A speech encoder (16) for encoding and outputting the digital data converted by the analog / digital converter (15); It consists of an audio / video code data multiplexer 17 which multiplexes and outputs the data transmitted from the video coder 13 and the audio coder 16.
이동 통신 화상 단말기는 동영상 송수신시 카메라에 입력되는 영상의 움직임을 감지하여 그 정도에 따라 화면의 처리 속도를 제어한다. 즉, 최고 화면 처리 속도를 초당 15프레임으로 맞출 경우 항상 15프레임으로 처리되는 것이 아니라 움직임 많을 경우는 7~8프레임 또는 그 이하로 낮아지기도 하고 움직임이 적은 경우에는 계속 15프레임을 유지한다.The mobile communication video terminal detects the movement of the image input to the camera when transmitting and receiving the video and controls the processing speed of the screen according to the degree. In other words, if the maximum screen processing speed is set to 15 frames per second, it is not always processed to 15 frames, but if the motion is high, it may be lowered to 7 to 8 frames or less, and if the motion is small, the frame is kept at 15 frames.
그러나, 상기와 같은 종래 기술에 있어서, 일반적인 화상 통화 상태에서는 화자가 말을 하지 않는 경우 또는 상대방의 말을 경청하고 있는 경우는 입의 움직임을 포함하여 화면 전체의 움직임이 일반적으로 매우 적다. 따라서, 이때는 음성의 경우도 데이터 송신을 매우 적게 할 수 있다. 그러나, 영상의 경우는 반대로 움직임이 매우 적으므로 최고 속도로 지정해 놓은 값으로 화면 처리를 하게 되는데 이때 불필요하게 화면을 송신하는 문제점이 있다.However, in the prior art as described above, in the general video call state, when the speaker does not speak or listens to the other party, the movement of the entire screen including the movement of the mouth is generally very small. Therefore, data transmission can be made very small in this case as well. However, in the case of the image, since the movement is very small, the screen is processed at the value set at the maximum speed. However, there is a problem in that the screen is unnecessarily transmitted.
또한, 불필요한 화면 송신에 따른 무선 채널 자원의 낭비를 가져오고 화상 통화시 단말기의 전력 소모가 가장 크게 되므로 전력 낭비도 많아지는 문제점이 있다.In addition, there is a problem in that the waste of the radio channel resources due to unnecessary screen transmission and power consumption of the terminal during the video call is the largest, which also increases the waste of power.
따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 화자 또는 주변 배경음의 유무, 성분 등을 감지하여 화면 처리 속도를 제어하여 단말기의 전력 소모가 가장 많은 화상 통화 시 전력 제어를 할 수 있도록 한 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 장치 및 방법을 제공함에 그 목적이 있다.Accordingly, the present invention has been made in view of the above problems, and by controlling the screen processing speed by detecting the presence or absence of the speaker or surrounding background sound, so that power control can be performed during a video call with the most power consumption of the terminal. An object of the present invention is to provide an apparatus and method for controlling video frame rate according to voice in a mobile communication video terminal.
도 1은 종래 이동 통신 화상 단말기에서 영상 및 음성을 처리하는 블록의 구성을 보인 블록도.1 is a block diagram showing the configuration of a block for processing video and audio in a conventional mobile communication video terminal.
도 2는 본 발명에 따른 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 장치의 구성을 보인 블록도.2 is a block diagram showing the configuration of an apparatus for controlling a video frame rate according to voice in a mobile communication video terminal according to the present invention;
도 3은 본 발명에 따른 영상 프레임율 제어 방법을 실행시키는 메뉴의 선택 과정을 보인 동작 흐름도.3 is a flowchart illustrating a menu selection process for executing a method for controlling an image frame rate according to the present invention;
도 4는 본 발명에 따른 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 방법의 동작 흐름도.4 is a flowchart illustrating a method of controlling a video frame rate according to voice in a mobile communication video terminal according to the present invention;
**도면의 주요부분에 대한 부호의 설명**** Description of the symbols for the main parts of the drawings **
11 : 영상 입력부 12 : 영상 처리부11: image input unit 12: image processing unit
14 : 음성 입력부 15 : 아날로그/디지털 컨버터14: voice input unit 15: analog / digital converter
17 : 음성/영상 부호 데이터 다중화기 20 : 음성 구동 영상 부호기17: audio / video code data multiplexer 20: voice driven video encoder
30 : 음성 부호기30: voice encoder
상기와 같은 목적을 달성하기 위한 본 발명은, 음성 입력부를 통해 들어오는 소리가 아날로그/디지털 컨버터에 의해 디지털 변환된 데이터를 입력받아 음성 유무를 판단하고 이 판단 결과와 소리 정보의 주파수 성분을 출력하고 음성/영상 보호 데이터 다중화기에 부호화된 음성 데이터를 전달하는 음성 부호기와; 영상 입력부를 통해 들어오는 영상이 영상 처리부에 의해 포맷된 데이터를 입력받아 상기 음성 부호기로부터 전달되는 음성 유무와 소리 정보의 주파수 성분에 따라 영상 처리 속도를 가변하여 부호화된 영상 데이터의 양을 조절하여 상기 음성/영상 보호 데이터 다중화기에 출력하는 음성 구동 영상 부호기로 구성한 것을 특징으로 한다.The present invention for achieving the above object, the sound received through the voice input unit receives the data digitally converted by the analog / digital converter to determine the presence or absence of voice, and outputs the result of the determination and the frequency components of the sound information and A speech encoder for transmitting the encoded speech data to the video / video protection data multiplexer; The image received through the image input unit receives the data formatted by the image processor and the image processing speed is varied according to the presence or absence of the voice transmitted from the audio encoder and the frequency component of the sound information to adjust the amount of encoded image data. And an audio driving video encoder output to the video protection data multiplexer.
또한, 사용자에 의해 음성 구동 영상 처리가 온으로 설정되어 있는지를 판단하는 단계와; 상기 음성 구동 영상 처리가 온으로 설정되어 있으면 음성 부호기에서 전달되는 소리 세기가 특정 기준값을 초과하는지를 판단하여 초과하지 않으면 영상 처리 속도를 낮추는 단계와; 상기 소리 세기가 특정 기준값을 초과하면 소리의 주파수 성분 중 저주파 성분이 고주파 성분보다 많은지를 판단하여 저주파 성분이 많으면 영상 처리 속도를 높이고 적으면 영상 처리 속도를 낮추는 단계와; 상기 소리의 주파수 성분이 고르게 퍼져 있는지를 판단하여 고르게 퍼져 있으면 영상 처리 속도를 일정 수준으로 유지하거나 정지시키는 단계로 동작하는 것을 특징으로 한다.Determining whether the audio driving image processing is set to on by the user; If the audio driving image processing is set to on, determining whether the sound intensity transmitted from the audio encoder exceeds a specific reference value, and if not, lowering the image processing speed; Determining whether the low frequency component of the frequency components of the sound is greater than the high frequency component when the sound intensity exceeds a specific reference value, thereby increasing the image processing speed when there are more low frequency components, and decreasing the image processing speed when the intensity is less; The method may determine whether or not the frequency components of the sound are spread evenly, and if the spread is evenly spread, maintaining or stopping the image processing speed at a predetermined level.
이하, 본 발명에 따른 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 따른 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 장치의 구성을 보인 블록도로서, 이에 도시된 바와 같이 음성 입력부(14)를 통해 들어오는 소리가 아날로그/디지털 컨버터(15)에 의해 디지털 변환된 데이터를 입력받아 음성 유무를 판단하고 이 판단 결과와 소리 정보의 주파수 성분을 출력하고 음성/영상 보호 데이터 다중화기(17)에 부호화된 음성 데이터를 전달하는 음성 부호기(30)와; 영상 입력부(11)를 통해 들어오는 영상이 영상 처리부(12)에 의해 포맷된 데이터를 입력받아 상기 음성 부호기(30)로부터 전달되는 음성 유무와 소리 정보의 주파수 성분에 따라 영상 처리 속도를 가변하여 부호화된 영상 데이터의 양을 조절하여 상기 음성/영상 보호 데이터 다중화기(17)에 출력하는 음성 구동 영상 부호기(20)로 구성된다.2 is a block diagram showing the configuration of a video frame rate control apparatus according to voice in a mobile communication video terminal according to the present invention. As shown in FIG. 2, the sound input through the voice input unit 14 is analog / digital converter 15. A voice encoder 30 which receives the digitally converted data and judges the presence or absence of voice, outputs the result of the determination and the frequency component of the sound information, and delivers the encoded voice data to the voice / video protection data multiplexer 17; ; The image received through the image input unit 11 receives data formatted by the image processor 12 and is encoded by varying the image processing speed according to the presence or absence of the voice transmitted from the voice encoder 30 and the frequency component of the sound information. The audio driving video encoder 20 adjusts the amount of video data and outputs it to the audio / video protection data multiplexer 17.
본 발명은 종래 이동 통신 화상 단말기의 구성과 유사하게 영상입력부(11), 영상 처리부(12), 음성입력부(14), 아날로그/디지털 컨버터(15), 그리고 음성/영상 부호 데이터 다중화기(17)에 추가로 소리 정보를 제공하는 음성 부호기(30)와 전달받은 소리 정보에 따라 영상 처리 속도를 가변하여 영상 데이터의 양을 조절하는 음성 구동 영상 부호기(20)가 포함되어 구성된다.The present invention is similar to the configuration of a conventional mobile communication video terminal, video input unit 11, image processing unit 12, audio input unit 14, analog / digital converter 15, and audio / video code data multiplexer (17) In addition, a voice encoder 30 for providing sound information and a voice driven video encoder 20 for adjusting the amount of image data by varying the image processing speed according to the received sound information are configured.
음성 부호기(30)는 음성 입력부(14)를 통해 입력되는 소리가 아날로그/디지털 컨버터(15)에 의해 디지털 변환된 데이터를 입력받아 음성 유무와 소리 정보의 주파수 성분을 분석하여 음성 구동 영상 부호기(20)에 전달한다. 그리고, 음성 부호기(30)는 상기 기능을 제외한 다른 기능은 종래와 마찬가지로 동일하게 동작한다.The voice encoder 30 receives data digitally converted by the analog / digital converter 15 from a sound input through the voice input unit 14 and analyzes the presence or absence of voice and frequency components of the voice information to drive the voice driven video encoder 20. To pass). The voice encoder 30 operates in the same manner as in the prior art except for the above functions.
음성 구동 영상 부호기(20)는 영상 처리부(12)를 통해 포맷된 영상 데이터를 입력받아 상기 음성 부호기(30)로부터 전달되는 음성 유무와 소리 정보의 주파수 성분에 따라 영상 처리 속도를 가변하여 영상 데이터의 양을 조절하고 음성/영상 부호 데이터 다중화기(17)에 출력한다.The audio driving video encoder 20 receives the formatted video data through the image processing unit 12 and changes the video processing speed according to the presence or absence of the audio transmitted from the audio encoder 30 and the frequency component of the sound information. The amount is adjusted and output to the audio / video code data multiplexer 17.
음성 유무는 입력되는 소리의 세기를 특정 기준값과 비교하여 판단할 수 있다. 그리고, 음성 부호화시 대부분 입력 소리 정보를 주파수 성분 별로 부호화함으로 소리 정보의 주파수 성분을 분석하여 음성이 입력되는지 아니면 배경음이 입력되는지를 판단할 수 있다.The presence or absence of the voice may be determined by comparing the intensity of the input sound with a specific reference value. In the case of voice encoding, most input sound information is encoded for each frequency component, and thus, frequency components of the sound information may be analyzed to determine whether voice or background sound is input.
음성 구동 영상 부호기(20)는 음성 유무를 판단하여 소리가 없는 것으로 판단하면 영상 처리 속도를 초당 1 또는 2 frames/s로 대폭 낮추거나 아예 정지시키는 동작으로 조절한다.When the voice driven video encoder 20 determines that there is no sound by determining the presence or absence of voice, the voice driven video encoder 20 adjusts the operation to significantly reduce or stop the image processing speed to 1 or 2 frames / s per second.
또한, 음성 구동 영상 부호기(20)는 소리 정보의 주파수 성분 중 저주파 성분이 많을 경우에는 영상 처리 속도를 높이고 반대일 경우 낮추는 동작으로 영상 처리 속도를 제어한다.In addition, the voice driven video encoder 20 controls the image processing speed by increasing the image processing speed when the low frequency component of the frequency information of the sound information is large and decreasing the opposite direction.
그리고, 음성이 아닌 배경음일 경우 고주파와 저주파가 고르게 퍼져 입력되는 경우가 많으므로 음성 구동 영상 부호기(20)는 이때 영상 처리 속도를 일정 수준으로 유지하거나 정지시킨다.In addition, since the high frequency and the low frequency are spread evenly when the background sound is not the voice, the voice driven video encoder 20 maintains or stops the image processing speed at a predetermined level.
도 3은 본 발명에 따른 영상 프레임율 제어 방법을 실행시키는 메뉴의 선택 과정을 보인 동작 흐름도로서, 이에 도시된 바와 같이 사용자가 영상 처리 속도 제어 메뉴를 선택하는지를 판단하는 단계(S11)와; 상기 사용자가 영상 처리 속도 제어 메뉴를 선택하면 음성 구동 온/오프 메뉴를 표시하는 단계(S12)와; 상기 사용자가 음성 구동 온/오프 메뉴에서 온을 선택하면 음성 구동 영상 처리를 활성화시키고 반대로 오프를 선택하면 음성 구동 영상 처리를 비활성화하는 단계(S13~S15)로 이루어진다.3 is an operation flowchart showing a menu selection process for executing an image frame rate control method according to the present invention, and as shown therein, determining whether the user selects an image processing speed control menu (S11); Displaying an audio driving on / off menu when the user selects an image processing speed control menu (S12); If the user selects ON from the voice driving on / off menu, the voice driving image processing is activated, and if the user selects off, the voice driving image processing is deactivated (S13 to S15).
본 발명이 이동 통신 화상 단말기에서 수행되기 위해서는 사용자의 사전 처리 동작이 필요하며 이 사전 처리 동작은 이동 통신 화상 단말기에서 제공하는 메뉴를 선택하여 영상 처리 속도 제어 메뉴를 선택하거나 키패드에 할당된 특정키의 입력을 통해 행해질 수 있다.The present invention requires a user's preprocessing operation to be performed in the mobile communication video terminal. This preprocessing operation is performed by selecting a menu provided by the mobile communication video terminal to select an image processing speed control menu or by selecting a specific key assigned to a keypad. Can be done via input.
이 두 사전 처리 동작에 의해 음성 구동 영상 처리는 활성화되거나 비활성화된다.These two preprocessing operations activate or deactivate the audio driving image processing.
여기서, 메뉴 선택 동작에 의해 음성 구동 영상 처리가 활성화되거나 비활성화되는 사전 처리 과정을 설명하면 다음과 같다.Here, the preprocessing process for activating or deactivating the audio driving image processing by the menu selection operation will be described.
사용자가 이동 통신 화상 단말기에서 제공하는 메뉴 중 영상 처리 속도 제어 메뉴를 선택하면 이동 통신 화상 단말기는 표시창에 음성 구동 온/오프 메뉴를 표시한다(S11, S12).When the user selects an image processing speed control menu from among menus provided by the mobile communication video terminal, the mobile communication video terminal displays a voice driving on / off menu on the display window (S11 and S12).
사용자가 음성 구동 온/오프 메뉴 중 온을 선택하면 이동 통신 화상 단말기는 음성 구동 영상 처리를 활성화시키고 반대로 사용자가 오프를 선택하면 음성 구동 영상 처리를 비활성화시킨다(S13~S15).If the user selects on of the audio driving on / off menu, the mobile communication video terminal activates the audio driving image processing, and conversely, if the user selects off, the mobile communication video terminal deactivates the audio driving image processing (S13 to S15).
도 4는 본 발명에 따른 이동 통신 화상 단말기에서 음성에 따른 영상 프레임율 제어 방법의 동작 흐름도로서, 이에 도시된 바와 같이 사용자에 의해 음성 구동 영상 처리가 온으로 설정되어 있는지를 판단하는 단계(S21)와; 상기 음성 구동 영상 처리가 온으로 설정되어 있으면 음성 부호기에서 전달되는 소리 세기가 특정 기준값을 초과하는지를 판단하여 초과하지 않으면 영상 처리 속도를 초당 1 또는 2 프레임/초로 설정하는 단계(S22, S23)와; 상기 소리 세기가 특정 기준값을 초과하면 소리의 주파수 성분 중 저주파 성분이 고주파 성분보다 많은지를 판단하여 저주파 성분이 많으면 영상 처리 속도를 높이고 적으면 영상 처리 속도를 낮추는 단계(S24~S26)와; 상기 소리의 주파수 성분이 고르게 퍼져 있는지를 판단하여 고르게 퍼져 있으면 영상 처리 속도를 일정 수준으로 유지하거나 정지시키는 단계(S27, S28)로 이루어진다.FIG. 4 is a flowchart illustrating a method of controlling a video frame rate according to audio in a mobile communication video terminal according to the present invention. As shown in FIG. 4, it is determined whether audio driving video processing is set to on by a user (S21). Wow; Determining whether the sound intensity transmitted from the voice encoder exceeds a specific reference value when the audio driving image processing is set to on, and setting the image processing speed to 1 or 2 frames / second per second if the voice driving image processing is not exceeded (S22, S23); Determining whether the low frequency component of the frequency components of the sound is greater than the high frequency component when the sound intensity exceeds a specific reference value, and increasing the image processing speed when the low frequency component is large and decreasing the image processing speed when the low frequency component is large (S24 to S26); It is determined whether the frequency components of the sound are spread evenly, and if the spread is evenly spread, maintaining or stopping the image processing speed at a predetermined level (S27, S28).
앞에서 설명한 바와 같이 사용자가 메뉴에서 음성 구동 영상 처리를 온으로 선택하거나 키패드의 특정 버튼을 눌러 음성 구동 영상 처리를 활성화하면 이동 통신 화상 단말기는 음성 구동 영상 처리가 온으로 설정되어 있는지를 판단하여 음성 구동 영상 처리 과정을 실행시켜 영상 처리 속도를 조절할지를 결정한다(S21).As described above, when the user selects the audio driving image processing in the menu or presses a specific button on the keypad to activate the audio driving image processing, the mobile communication video terminal determines whether the audio driving image processing is set to on and operates the audio driving image processing. The image processing process is executed to determine whether to adjust the image processing speed (S21).
음성 구동 영상 처리가 온으로 설정되어 있는 것으로 판단하면 이동 통신 화상 단말기는 소리 세기가 특정 기준값을 초과하는지를 판단하고 초과하지 않는 것으로 판단하면 영상 처리 속도를 초당 1 또는 2 프레임/초로 설정하여 음성 구동영상 부호기의 부호화 동작을 낮춘다(S22, S23). 이에 따라 영상 부호화율은 낮아지고 음성/영상 부호 데어터 다중화기에 전달되는 영상 부호 데이터도 줄어들어 결과적으로 무선 채널을 통해 전달되는 데이터 양도 줄어든다.If it is determined that the audio driving image processing is set to on, the mobile communication video terminal determines whether the sound intensity exceeds a specific reference value, and if it is determined that the audio driving image processing is not exceeded, the video processing speed is set to 1 or 2 frames / sec. The encoding operation of the encoder is lowered (S22, S23). As a result, the video coding rate is lowered and the video code data transmitted to the audio / video code data multiplexer is reduced, resulting in a reduction in the amount of data transmitted through the wireless channel.
이와 반대로 소리 세기가 특정 기준값을 초과하면 이동 통신 화상 단말기는 소리의 주파수 성분 중 저주파 성분이 고주파 성분보다 많은지를 판단하여 저주파 성분이 많으면 영상 처리 속도를 높이고 적으면 영상 처리 속도를 낮춘다(S24~S26).On the contrary, when the sound intensity exceeds a specific reference value, the mobile communication video terminal determines whether the low frequency component of the frequency components of the sound is higher than the high frequency component, and increases the image processing speed when there are many low frequency components and decreases the image processing speed when there are few (S24 to S26). ).
음성은 고주파 성분보다 저주파 성분을 많이 포함하고 있으므로 이동 통신 화상 단말기는 소리의 저주파 성분과 고주파 성분을 비교판단하여 영상 처리 속도를 높일지 아니면 낮출지를 결정하는 것이다.Since voice contains more low-frequency components than high-frequency components, the mobile communication video terminal compares the low-frequency components and the high-frequency components of the sound to determine whether to increase or decrease the image processing speed.
그리고, 이동 통신 화상 단말기는 소리의 주파수 성분이 고르게 퍼져 있는지를 판단하여 영상 처리 속도를 일정 수준으로 유지하거나 정지시킨다(S27, S28).Then, the mobile communication image terminal determines whether the frequency components of the sound are evenly spread and maintains or stops the image processing speed at a predetermined level (S27, S28).
이는 음성이 아닌 배경음일 경우 고주파 성분과 저주파 성분이 고르게 퍼져 입력되는 경우가 많기 때문이다.This is because high frequency components and low frequency components are often spread evenly in the case of a background sound instead of a voice.
따라서, 소리가 사용자의 음성이 아니라 배경음으로 판단되면 영상 처리 속도가 낮아지므로 영상 데이터를 처리하는 프로세스에 할당되는 시간이 줄어들어 이동 통신 화상 단말기에 걸리는 부하도 적어진다.Therefore, if the sound is judged as the background sound instead of the user's voice, the image processing speed is lowered, so that the time allocated to the process of processing the image data is reduced, thereby reducing the load on the mobile communication image terminal.
이상에서 상세히 설명한 바와 같이, 본 발명은 화상 통화 중 화자가 청취 중이거나 말을 하지 않을 경우 영상 처리 속도를 낮추거나 일시 중지함으로써 무선자원 사용의 효율을 증대시키고 단말기의 무선 송출 전력을 낮춰 전력 소모를 감소시킴으로써 배터리 사용 시간을 증가시키는 효과가 있다.As described in detail above, the present invention increases the efficiency of using radio resources by lowering or pausing video processing when a speaker is not listening or speaking during a video call, thereby reducing power consumption by lowering wireless transmission power of the terminal. Reducing has the effect of increasing battery life.
또한, 화상 통화시 단말기의 전력 소모를 줄여 발열량을 감소시키므로 단말기 몸체의 온도 상승으로 인한 사용자의 사용 불편을 해소시키는 효과가 있다.In addition, since the heat consumption is reduced by reducing power consumption of the terminal during a video call, there is an effect of eliminating user inconvenience caused by the temperature rise of the terminal body.
Claims (3)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0065685A KR100451210B1 (en) | 2002-10-26 | 2002-10-26 | Voice-activated video frame rate control apparatus and method video telephony |
| CNB031365450A CN1223229C (en) | 2002-10-26 | 2003-05-23 | Image frame frequency controlling device and method based on voice in mobile visual telephone |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0065685A KR100451210B1 (en) | 2002-10-26 | 2002-10-26 | Voice-activated video frame rate control apparatus and method video telephony |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040036480A KR20040036480A (en) | 2004-04-30 |
| KR100451210B1 true KR100451210B1 (en) | 2004-10-13 |
Family
ID=34270518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0065685A KR100451210B1 (en) | 2002-10-26 | 2002-10-26 | Voice-activated video frame rate control apparatus and method video telephony |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR100451210B1 (en) |
| CN (1) | CN1223229C (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100464581C (en) * | 2005-01-12 | 2009-02-25 | 宁波大学 | Phonetic imaging transmitting method for wireless digital visual walkie-talkie |
| CN100369469C (en) * | 2005-08-23 | 2008-02-13 | 王维国 | Method for composing audio/video file by voice driving head image |
| CN102325218B (en) * | 2011-08-10 | 2013-12-25 | 深圳市无线开锋科技有限公司 | Method and unit for changing dynamic application display effect of mobile phone by way of voice control |
| KR101883035B1 (en) | 2015-09-11 | 2018-08-24 | 박인구 | Drainage plate for bottom of underground |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01171378A (en) * | 1987-12-26 | 1989-07-06 | Nec Corp | Video telephone |
| KR19990011796A (en) * | 1997-07-25 | 1999-02-18 | 이계철 | Videophone service device using low data rate and control method thereof |
| KR20000074710A (en) * | 1999-05-25 | 2000-12-15 | 구자홍 | Image transmission and reception method for image communication apparatus |
-
2002
- 2002-10-26 KR KR10-2002-0065685A patent/KR100451210B1/en not_active IP Right Cessation
-
2003
- 2003-05-23 CN CNB031365450A patent/CN1223229C/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01171378A (en) * | 1987-12-26 | 1989-07-06 | Nec Corp | Video telephone |
| KR19990011796A (en) * | 1997-07-25 | 1999-02-18 | 이계철 | Videophone service device using low data rate and control method thereof |
| KR20000074710A (en) * | 1999-05-25 | 2000-12-15 | 구자홍 | Image transmission and reception method for image communication apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040036480A (en) | 2004-04-30 |
| CN1492711A (en) | 2004-04-28 |
| CN1223229C (en) | 2005-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6463128B1 (en) | Adjustable coding detection in a portable telephone | |
| CN1168207C (en) | Method and apparatus for automatically adjusting speaker and microphone gains within a mobile telephone | |
| KR100468555B1 (en) | Muting a microphone in radiocommunication systems | |
| US6708147B2 (en) | Method and apparatus for providing comfort noise in communication system with discontinuous transmission | |
| JPH11284694A (en) | Portable terminal device | |
| US7386327B2 (en) | Apparatus and method for controlling noise in a mobile communication terminal | |
| US9426569B2 (en) | Audio signal bandwidth to codec bandwidth analysis and response | |
| US20040064309A1 (en) | Mobile communicator and method for deciding speech coding rate in mobile communicator | |
| EP1677498B1 (en) | Mobile communication terminal with a speaker and method for removing feedback effect when the speaker is used | |
| KR100451210B1 (en) | Voice-activated video frame rate control apparatus and method video telephony | |
| JPH0482331A (en) | Portable telephone set | |
| JP3731228B2 (en) | Audio signal transmitting / receiving apparatus and reception volume control method | |
| KR20060129713A (en) | Apparatus and method for canceling receive voice noise signal in mobole phone | |
| JPH1127376A (en) | Voice communication equipment | |
| KR100386414B1 (en) | A speaker phone using in a mobile phone and method of removing a howling in a speaker phone | |
| KR20080015970A (en) | Method of removing a howling effect in consideration of a correlation degree between a transmitting sound and a receiving sound, and the mobile communication terminal | |
| CA2852116C (en) | Audio signal bandwith to codec bandwith analysis and response | |
| KR100642928B1 (en) | Wireless telecommunication terminal and method for automatic controlling call volume | |
| KR20070105571A (en) | Speakerphone and method thereof | |
| KR100369647B1 (en) | Gain controlling methode for analyzing of hand-free function | |
| JP2861850B2 (en) | VOX type mobile phone | |
| KR20100024659A (en) | Method and apparatus for controlling audio out, and mobile terminal system applied thereof | |
| JPH06326670A (en) | Voice communication equipment | |
| KR20040027151A (en) | Back light controlling apparatus and method for portable terminal | |
| JPH09200308A (en) | Communication terminal equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120827 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20130823 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20140822 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20150824 Year of fee payment: 12 |
|
| LAPS | Lapse due to unpaid annual fee |