KR101864368B1 - Apparatus for converting image to sound - Google Patents

Apparatus for converting image to sound Download PDF

Info

Publication number
KR101864368B1
KR101864368B1 KR1020160105493A KR20160105493A KR101864368B1 KR 101864368 B1 KR101864368 B1 KR 101864368B1 KR 1020160105493 A KR1020160105493 A KR 1020160105493A KR 20160105493 A KR20160105493 A KR 20160105493A KR 101864368 B1 KR101864368 B1 KR 101864368B1
Authority
KR
South Korea
Prior art keywords
image
sound
color
shape
processor
Prior art date
Application number
KR1020160105493A
Other languages
Korean (ko)
Other versions
KR20180020715A (en
Inventor
나노하
한인혜
Original Assignee
나노하
한인혜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나노하, 한인혜 filed Critical 나노하
Priority to KR1020160105493A priority Critical patent/KR101864368B1/en
Publication of KR20180020715A publication Critical patent/KR20180020715A/en
Application granted granted Critical
Publication of KR101864368B1 publication Critical patent/KR101864368B1/en

Links

Images

Classifications

    • G06F17/30058—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H33/00—Other toys
    • A63H33/22—Optical, colour, or shadow toys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 음향 변환 장치에 관한 것으로, 영상을 구성하는 색상 외에 영상 내의 특징적인 형상까지 고려하여 영상을 적절하게 정의된 음향으로 변환하여 재생함으로써 영상을 비슷한 분위기의 음향으로 재생할 수 있도록 한 것이다.The present invention relates to an image-acoustical conversion apparatus, which converts an image into an appropriately defined sound by taking into consideration not only a color constituting an image but also a characteristic shape in the image, thereby reproducing the image with sound of a similar atmosphere.

Description

영상 음향 변환 장치{Apparatus for converting image to sound}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001]

본 발명은 영상을 음향으로 변환하는 영상 음향 변환 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image-acoustical conversion apparatus for converting an image into sound.

대한민국 공개특허 제10-2008-0083433호(2008.09.18)에서 컬러 영상을 구성하는 화소 또는 화소 블록의 색의 각 요소를 음향을 구성하는 음의 각 요소에 대응시킴으로써, 컬러 영상을 음향으로 변환하는 영상-음향 변환 기술을 제안하고 있다.Korean Patent Laid-Open No. 10-2008-0083433 (Sep. 18, 2008), each element of the color of a pixel or a pixel block constituting a color image is associated with a negative element constituting the sound, thereby converting the color image into sound Video-to-sound conversion technology.

본 발명자는 영상을 구성하는 색상 외에 영상 내의 특징적인 형상까지 고려하여 영상을 적절하게 정의된 음향으로 변환하여 재생함으로써 영상을 비슷한 분위기의 음향으로 재생할 수 있어 미술과 음악을 서로 융합할 수 있을 뿐 아니라, 시각장애인에게 전면에 있는 상황을 소리를 통하여 인지하도록 함으로써 위험에 효율적으로 대처할 수 있는 영상 음향 변환 기술에 대한 연구를 하게 되었다.The present inventors have succeeded in converting an image into an appropriately defined sound in consideration of not only a color constituting an image but also a characteristic shape in the image so that the sound can be reproduced in a sound of a similar atmosphere so that art and music can be fused with each other, We have been studying the technology of image sound conversion which can cope with the risk efficiently by letting the visually impaired recognize the situation in the front by sound.

대한민국 공개특허 제10-2008-0083433호(2008.09.18)Korean Patent Publication No. 10-2008-0083433 (2008.09.18)

본 발명은 상기한 취지하에 발명된 것으로, 영상을 구성하는 색상 외에 영상 내의 특징적인 형상까지 고려하여 영상을 적절하게 정의된 음향으로 변환하여 재생함으로써 영상을 비슷한 분위기의 음향으로 재생할 수 있는 영상 음향 변환 장치를 제공함을 그 목적으로 한다.The present invention has been made under the above-mentioned circumstances, and it is an object of the present invention to provide an image sound conversion apparatus and method capable of reproducing an image in a similar atmosphere by converting an image into an appropriately defined sound considering a characteristic shape in an image, The present invention has been made in view of the above problems.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 영상 음향 변환 장치가 형상 및 색상 조합에 대응하는 음향을 저장하는 메모리와; 영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 상기 메모리로부터 검색하여 재생 처리하는 프로세서와; 상기 프로세서에 의해 재생 처리되는 음향을 출력하는 스피커를; 포함하여 이루어지는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an image sound converting apparatus comprising: a memory for storing sounds corresponding to shapes and color combinations; A processor for detecting a characteristic shape in an image and an average color of the entire image and for retrieving and reproducing sound corresponding to the detected shape and color combination from the memory; A speaker for outputting sounds to be reproduced by the processor; And the like.

본 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치가 영상을 획득하는 카메라를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, there is provided an image synthesizing apparatus, comprising: a camera for acquiring an image; And further comprising:

본 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치가 음향 재생 명령 입력을 위한 스위치를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the image-sound converting apparatus includes a switch for inputting an audio playback command; And further comprising:

본 발명의 부가적인 양상에 따르면, 상기 프로세서가 상기 스위치 온시, 특정 박자에 따라 카메라를 통해 연속적으로 영상을 획득하고, 연속적으로 획득되는 각 영상 내의 특징적인 형상 및 각 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 연속적으로 재생하는 자동 재생 모드를 수행하는 것을 특징으로 한다.According to a further aspect of the present invention, when the switch is turned on, the processor successively acquires an image through the camera in accordance with a specific beat, detects a characteristic shape in each image successively acquired and an average color of all the images And an automatic reproduction mode for continuously reproducing the sound corresponding to the detected shape and color combination is performed.

본 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치가 음향을 연속적으로 재생하기 위한 박자를 설정하는 박자 설정부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, there is provided a method for controlling an audio-visual device, the audio-visual apparatus comprising: a beat setting unit for setting a beat to continuously reproduce sound; And further comprising:

본 발명의 부가적인 양상에 따르면, 상기 프로세서가 상기 스위치 온시마다, 카메라를 통해 영상을 획득하고, 획득되는 영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 재생하는 수동 모드를 수행하는 것을 특징으로 한다.According to a further aspect of the present invention, when the processor is switched on, an image is acquired through the camera, a characteristic shape in the acquired image and an average color of the entire image are detected, and the detected shape and color combination And a manual mode in which sound is reproduced.

본 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치가 스피커를 통해 출력되는 음향을 증폭하는 구동 증폭기를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the image-sound converting apparatus includes a driving amplifier for amplifying sound output through a speaker; And further comprising:

본 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치가 전원을 공급하는 전원 공급부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the power supply unit supplies power to the image-acoustical conversion apparatus; And further comprising:

본 발명은 영상을 구성하는 색상 외에 영상 내의 특징적인 형상까지 고려하여 영상을 적절하게 정의된 음향으로 변환하여 재생함으로써 영상을 비슷한 분위기의 음향으로 재생할 수 있어 미술과 음악을 서로 융합할 수 있을 뿐 아니라, 시각장애인에게 전면에 있는 상황을 소리를 통하여 인지하도록 함으로써 위험에 효율적으로 대처할 수 있는 효과가 있다.The present invention can convert an image into an appropriately defined sound by taking into consideration not only a color constituting the image but also a characteristic shape in the image so that the image can be reproduced in a sound of a similar atmosphere so that art and music can be fused with each other, It is effective for the visually impaired to cope with the danger efficiently by recognizing the situation on the front side through the sound.

도 1 은 본 발명에 따른 영상 음향 변환 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 본 발명에 따른 영상 음향 변환 장치의 프로세서의 일 실시예의 구성을 도시한 블럭도이다.
도 3 은 본 발명에 따른 영상 음향 변환 장치를 건 형태로 구현한 일 예를 도시한 도면이다.
도 4 는 본 발명에 따른 영상 음향 변환 장치를 스틱 형태로 구현한 일 예를 도시한 도면이다.
도 5 는 본 발명에 따른 영상 음향 변환 장치의 영상을 음향으로 변환하는 동작을 도시한 흐름도이다.1 is a block diagram showing the configuration of an embodiment of an image-acoustical conversion apparatus according to the present invention.
2 is a block diagram showing a configuration of an embodiment of a processor of an image-acoustical conversion apparatus according to the present invention.
FIG. 3 is a diagram showing an example of the image-acoustical transducer according to the present invention implemented in a dry form.
FIG. 4 is a diagram illustrating an example of a stick-shaped image-acoustical conversion apparatus according to the present invention.
FIG. 5 is a flowchart illustrating an operation of converting an image of an image-sound converting apparatus according to the present invention into sound.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the specification of the present invention have been defined in consideration of the functions of the embodiments of the present invention and can be sufficiently modified according to the intentions and customs of the user or operator. It should be based on the contents of.

도 1 은 본 발명에 따른 영상 음향 변환 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 영상 음향 변환 장치(100)는 메모리(110)와, 프로세서(120)와, 스피커(130)를 포함한다.1 is a block diagram showing the configuration of an embodiment of an image-acoustical conversion apparatus according to the present invention. As shown in FIG. 1, an image-acoustical conversion apparatus 100 according to this embodiment includes a memory 110, a processor 120, and a speaker 130.

상기 메모리(110)는 형상 및 색상 조합에 대응하는 음향을 저장한다. 이 때, 형상 및 색상 조합에 대응하는 음향이 하나의 음계 또는 음계들이 배열된 멜로디일 수 있다. 한편, 메모리(110)가 EEPROM 또는 플래시 메모리 등의 비휘발성 메모리일 수 있다.The memory 110 stores sounds corresponding to shapes and color combinations. At this time, the sound corresponding to the shape and the color combination may be a melody in which one musical scale or musical scale is arranged. Meanwhile, the memory 110 may be a nonvolatile memory such as an EEPROM or a flash memory.

예컨대, 형상에 따라 악기나, 박자 등을 매칭시키고, 색상에 음계를 매칭시켜 다양한 형상 및 색상 조합에 대응하는 다양한 음향들을 정의하여 메모리(110)에 저장할 수 있다.For example, various sounds corresponding to various shapes and color combinations can be defined and stored in the memory 110 by matching musical instruments, rhythms, etc. according to the shape and matched musical notes with hues.

예컨대, 형상이 바이올린이고 색상이 각각 빨강색일 경우 음계가 '도', 주황색일 경우 음계가 '레', 노랑색일 경우 음계가 '미', 초록색일 경우 음계가 '파', 파랑색일 경우 음계가 '솔', 남색일 경우 음계가 '라', 보라색일 경우 음계가 '시'로 정의되어 형상 및 색상 조합에 대응하는 바이올린 음향이 메모리에 저장될 수 있다.For example, if the shape is a violin and each color is red, the scale is 'Do'. If the color is orange, the scale is 'Les'. If the color is yellow, the scale is not. If the color is green, The violin sound corresponding to the shape and the color combination can be stored in the memory when the brush is defined as 'brush', scales as 'blue' when it is indigo, and scales as 'scissors' when it is violet.

상기 프로세서(120)는 영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 상기 메모리(110)로부터 검색하여 재생 처리한다. The processor 120 detects the characteristic shape in the image and the average color of the entire image, and retrieves the sound corresponding to the detected shape and color combination from the memory 110 and reproduces it.

도 2 는 본 발명에 따른 영상 음향 변환 장치의 프로세서의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 상기 프로세서(120)가 형상 검출부(121)와, 색상 검출부(122)와, 음향 검색부(123)와, 재생 제어부(124)를 포함할 수 있다. 2 is a block diagram showing a configuration of an embodiment of a processor of an image-acoustical conversion apparatus according to the present invention. The processor 120 may include a shape detection unit 121, a color detection unit 122, an acoustic search unit 123, and a reproduction control unit 124, as shown in FIG.

이 때, 상기 형상 검출부(121)와, 색상 검출부(122)와, 음향 검색부(123)와, 재생 제어부(124)는 프로세서(120)에 의해 실행되는 소프트웨어 형태로 구현될 수 있다.At this time, the shape detecting unit 121, the color detecting unit 122, the sound searching unit 123, and the reproduction control unit 124 may be implemented in the form of software executed by the processor 120.

상기 형상 검출부(121)는 영상 내에서 특징적인 형상을 검출한다. 예컨대, 상기 형상 검출부(121)가 패턴인식(Pattern Recognition) 알고리듬과, 퍼지이론(Fuzzy Theory)을 적용하여 영상 내에서 특징적인 형상을 검출하도록 구현될 수 있다.The shape detecting unit 121 detects a characteristic shape in an image. For example, the shape detecting unit 121 may be configured to detect a characteristic shape in an image by applying a pattern recognition algorithm and a fuzzy theory.

이 때, 상기 형상 검출부(121)가 회소들을 평균하여 극단적인 값을 줄여 영상의 대비를 약화시키는 블러링(Blurring)을 수행하여 배경을 약화시키고, 영상에서 세세한 부분들을 더욱 강조하는 샤프닝(Sharpening)을 수행하여 영상 내의 특징적인 형상을 강화시키고, 에지 검출(Edge Detection)을 통하여 영상 내의 특징적인 형상을 검출하도록 구현될 수 있다.At this time, the shape detecting unit 121 performs a blurring to reduce the contrast of the image by reducing the extreme values by averaging the regions, weakens the background, and sharpens (emphasizes) ) To enhance the characteristic shape in the image, and to detect the characteristic shape in the image through edge detection.

상기 색상 검출부(122)는 영상 전체의 평균 색상을 검출한다. 예컨대, 상기 색상 검출부(122)가 영상을 이루는 각 화소의 색상값을 검출하고, 각 화소의 색상값들을 평균하여 영상 전체의 평균 색상을 검출하도록 구현될 수 있다.The color detecting unit 122 detects the average color of the entire image. For example, the color detector 122 may detect a color value of each pixel and average the color values of each pixel to detect an average color of the entire image.

상기 음향 검색부(123)는 상기 형상 검출부(121)에 의해 검출된 형상 및 상기 색상 검출부(122)에 의해 검출된 색상 조합에 대응하는 음향을 상기 메모리(110)로부터 검색한다.The sound searching unit 123 searches the memory 110 for the shape detected by the shape detecting unit 121 and the sound corresponding to the color combination detected by the color detecting unit 122. [

예컨대, 메모리(110)에 형상이 바이올린이고 색상이 각각 빨강색일 경우 바이올린 음향의 음계 '도'라 정의되어 저장되고, 상기 형상 검출부(121)에 의해 검출된 형상이 바이올린 형상이고, 상기 색상 검출부(122)에 의해 검출된 색상이 빨강색 계열 범위에 속한다면, 상기 음향 검색부(123)가 메모리(110)로부터 형상 및 색상 조합에 대응하는 음향으로 바이올린 음향의 음계 '도'를 검색한다.For example, when the shape of the memory 110 is a violin and each color is red, the musical score of the violin sound is defined and stored, and the shape detected by the shape detecting unit 121 is a violin shape. The sound searching unit 123 searches the memory 110 for the musical scale 'degree' of the violin sound with the sound corresponding to the shape and the color combination, if the color detected by the color matching unit 122 belongs to the red series range.

상기 재생 제어부(124)는 상기 음향 검색부(123)에 의해 메모리(110)로부터 검색된 형상 및 색상 조합에 대응하는 음향을 재생 처리한다. 이 때, 상기 재생 제어부(124)가 자동 모드 또는 수동 모드로 음향을 재생 처리하도록 구현될 수 있다.The reproduction control unit 124 reproduces sound corresponding to the shape and color combination retrieved from the memory 110 by the sound retrieving unit 123. [ At this time, the reproduction control unit 124 may be configured to reproduce sound in an automatic mode or a manual mode.

자동 모드는 한번의 사용자 조작으로 사전에 설정된 특정 박자에 따라 영상으로부터 형상 및 색상을 연속적으로 검출하여 형상 및 색상 조합에 대응하는 음향을 연속적으로 재생하는 모드이고, 수동 모드는 사용자 조작시에만 영상으로부터 형상 및 색상을 검출하여 형상 및 색상 조합에 대응하는 음향을 재생하는 모드이다.The automatic mode is a mode in which a shape and a color are successively detected from an image according to a predetermined beat set in advance by a single user operation, and the sound corresponding to the shape and color combination is continuously reproduced. In the manual mode, And reproduces sound corresponding to the shape and color combination by detecting the shape and color.

상기 스피커(130)는 상기 프로세서(120)에 의해 재생 처리되는 음향을 출력한다. 이에 따라, 본 발명은 영상을 구성하는 색상 외에 영상 내의 특징적인 형상까지 고려하여 영상을 적절하게 정의된 음향으로 변환하여 재생함으로써 영상을 비슷한 분위기의 음향으로 재생할 수 있어 미술과 음악을 서로 융합할 수 있다. 시각장애인에게는 전면에 있는 상황을 소리를 통하여 인지하도록 함으로써 위험에 효율적으로 대처할 수 있게 된다.The speaker 130 outputs sound to be reproduced by the processor 120. Accordingly, the present invention can convert an image into an appropriately defined sound in consideration of not only a color constituting an image but also a characteristic shape in the image, thereby reproducing an image with sound of a similar atmosphere, thereby fusing art and music . For the visually impaired, by recognizing the situation on the front side through sound, it becomes possible to cope with the danger effectively.

한편, 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치(100)가 카메라(140)를 더 포함할 수 있다. 상기 카메라(140)는 영상을 획득하는 장치로, CCD 영상 센서 또는 CMOS 영상 센서 등을 이용해 센싱된 영상 신호를 프로세서(120)로 출력한다.According to a further aspect of the present invention, the image-sound converting apparatus 100 may further include a camera 140. [ The camera 140 is an apparatus for acquiring an image, and outputs a sensed image signal to the processor 120 using a CCD image sensor or a CMOS image sensor.

이 때, 한번의 사용자 조작으로 사전에 설정된 특정 박자에 따라 영상으로부터 형상 및 색상을 연속적으로 검출하여 형상 및 색상 조합에 대응하는 음향을 연속적으로 재생하는 자동 모드일 경우, 카메라(140)가 특정 박자에 따라 구동되어 영상 신호를 센싱하여 프로세서(120)로 출력하도록 구현될 수 있다.In this case, in the automatic mode in which the shape and color are successively detected from the image in accordance with a specific beat set in advance by one user operation and the sound corresponding to the shape and color combination is continuously reproduced, And outputs the sensed image signal to the processor 120. [0033] FIG.

이와는 달리, 사용자 조작시에만 영상으로부터 형상 및 색상을 검출하여 형상 및 색상 조합에 대응하는 음향을 재생하는 수동 모드일 경우, 카메라(140)가 사용자 조작시에만 구동되어 영상 신호를 센싱하여 프로세서(120)로 출력하도록 구현될 수 있다.Alternatively, in the manual mode in which the shape and color are detected from the image only at the time of the user operation and the sound corresponding to the shape and color combination is reproduced, the camera 140 is driven only at the time of the user's operation, ). ≪ / RTI >

한편, 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치(100)가 스위치(150)를 더 포함할 수 있다. 상기 스위치(150)는 음향 재생 명령 입력 즉 음향 재생을 위한 사용자 조작을 입력한다.According to a further aspect of the present invention, the image-sound converting apparatus 100 may further include a switch 150. [ The switch 150 inputs a user operation for inputting an audio reproduction command, i.e., sound reproduction.

이 때, 상기 프로세서(120)가 상기 스위치(150) 온시, 특정 박자에 따라 카메라(140)를 통해 연속적으로 영상을 획득하고, 연속적으로 획득되는 각 영상 내의 특징적인 형상 및 각 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 연속적으로 재생하는 자동 재생 모드를 수행하도록 구현될 수 있다.At this time, when the processor 120 turns on the switch 150, the processor 120 continuously acquires an image through the camera 140 according to a specific beat, and acquires a characteristic shape in each image successively obtained and an average color And to perform an automatic reproduction mode for continuously reproducing the sound corresponding to the detected shape and color combination.

자동 모드일 경우 한번의 스위치(150) 조작으로 영상 음향 변환 장치(100)가 사전에 설정된 특정 박자에 따라 카메라(140)를 구동하여 영상 신호를 센싱하고, 프로세서(120)가 센싱된 영상 신호로부터 형상 및 색상을 연속적으로 검출하여 형상 및 색상 조합에 대응하는 음향을 연속적으로 스피커(130)를 통해 출력하여 음향을 재생한다.In the automatic mode, when the switch 150 is operated by one operation, the image-acquisition device 100 drives the camera 140 according to a preset beep to sense a video signal, and the processor 120 detects the video signal from the sensed video signal Shape and color are successively detected, and sound corresponding to the shape and color combination is successively output through the speaker 130 to reproduce the sound.

이와는 달리, 상기 프로세서(120)가 상기 스위치(150) 온시마다, 카메라(140)를 통해 영상을 획득하고, 획득되는 영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 재생하는 수동 모드를 수행하도록 구현될 수 있다.Alternatively, when the processor 120 turns on the switch 150, the processor 120 acquires the image through the camera 140, detects the characteristic shape in the acquired image and the average color of the entire image, And perform a passive mode for reproducing sound corresponding to the combination.

수동 모드일 경우 스위치(150) 조작시에만 영상 음향 변환 장치(100)가 카메라(140)를 구동하여 영상 신호를 센싱하고, 프로세서(120)가 센싱된 영상 신호로부터 형상 및 색상을 검출하여 형상 및 색상 조합에 대응하는 음향을 스피커(130)를 통해 출력하여 음향을 재생한다.In the manual mode, only when the switch 150 is operated, the image-acoustic-signal converter 100 drives the camera 140 to sense the image signal, and the processor 120 detects the shape and color from the sensed image signal, The sound corresponding to the color combination is output through the speaker 130 to reproduce the sound.

한편, 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치(100)가 박자 설정부(160)를 더 포함할 수 있다. 상기 박자 설정부(160)는 음향을 연속적으로 재생하기 위한 박자를 설정한다.According to a further aspect of the present invention, the image-sound converting apparatus 100 may further include a beat setting unit 160. The time signature setting unit 160 sets a time signature for continuously reproducing the sound.

즉, 상기 박자 설정부(160)는 자동 모드시 필요한 박자를 설정하기 위한 구성으로, 예컨대, 다수의 박자들을 메모리(110)에 미리 저장하고, 박자 설정부(160)를 통해 메모리(110)에 저장된 박자들을 검색하여 어느 하나의 박자를 선택함으로써 음향을 연속적으로 재생하기 위한 박자를 설정하도록 구현될 수 있다.That is, the time signature setting unit 160 is configured to set the time signature required in the automatic mode. For example, the time signature setting unit 160 may store a plurality of beats in advance in the memory 110, And to set the time signature for continuously reproducing the sound by searching for stored ones and selecting any one of the beats.

한편, 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치(100)가 구동 증폭기(170)를 더 포함할 수 있다. 상기 구동 증폭기(170)는 스피커(130)를 통해 출력되는 음향을 증폭한다.According to a further aspect of the present invention, the image-acoustic-signal conversion apparatus 100 may further include a driving amplifier 170. The driving amplifier 170 amplifies the sound output through the speaker 130.

즉, 프로세서(120)에 의해 검출된 형상 및 색상 조합에 대응하는 음향이 검색되어 출력되면, 상기 구동 증폭기(170)에 의해 특정 음량 레벨로 증폭되어 스피커(130)를 통해 출력되게 된다.That is, when the sound corresponding to the shape and color combination detected by the processor 120 is detected and output, the sound is amplified to a specific volume level by the driving amplifier 170 and output through the speaker 130.

한편, 발명의 부가적인 양상에 따르면, 상기 영상 음향 변환 장치(100)가 전원 공급부(180)를 더 포함할 수 있다. 상기 전원 공급부(180)는 영상 음향 변환 장치(100)에 전원을 공급한다.According to a further aspect of the present invention, the image-acoustic-signal converter 100 may further include a power supply unit 180. The power supply unit 180 supplies power to the image-acoustic-signal converter 100.

예컨대, 상기 전원 공급부(180)가 충전식 배터리 형태로 구현될 수도 있고, 상용 AC 전원을 DC로 정류하여 정격의 DC 전압을 출력하는 AC/DC 컨버터 형태로 구현될 수도 있다.For example, the power supply unit 180 may be implemented as a rechargeable battery, or may be implemented as an AC / DC converter that rectifies a commercial AC power source to DC and outputs a rated DC voltage.

도 3 은 본 발명에 따른 영상 음향 변환 장치를 건 형태로 구현한 일 예를 도시한 도면으로, 영상 음향 변환 장치(100) 전면에 카메라(140)가 설치되고, 손잡이 부분에 스위치(150)가 설치되고, 측면에 스피커(130)가 설치되어 있음을 볼 수 있다. 한편, 도면에는 도시하지 않았으나, 내부에 메모리, 프로세서, 구동 증폭기 등이 모듈되어 있다. FIG. 3 is a diagram illustrating an example of the image-acoustical transducer according to the present invention implemented in the form of a gun, in which a camera 140 is installed on a front surface of an image-acoustical transducer 100, And a speaker 130 is installed on a side surface thereof. Although not shown in the drawing, a memory, a processor, a drive amplifier, and the like are moduled therein.

도 4 는 본 발명에 따른 영상 음향 변환 장치를 스틱 형태로 구현한 일 예를 도시한 도면이다. 영상 음향 변환 장치(100) 전면에 카메라(140)가 설치되고, 상부에 스위치(150)가 설치되고, 측면에 스피커(130)가 설치되어 있음을 볼 수 있다. 한편, 도면에는 도시하지 않았으나, 내부에 메모리, 프로세서, 구동 증폭기 등이 모듈되어 있다. FIG. 4 is a diagram illustrating an example of a stick-shaped image-acoustical conversion apparatus according to the present invention. It can be seen that the camera 140 is installed on the front face of the image-acoustic-signal converter 100, the switch 150 is installed on the upper part, and the speaker 130 is installed on the side face. Although not shown in the drawing, a memory, a processor, a drive amplifier, and the like are moduled therein.

이 외에도 영상 음향 변환 장치(100)를 스마트폰 등의 이동통신 단말에 구현할 수도 있다. In addition, the image-acoustical conversion apparatus 100 may be implemented in a mobile communication terminal such as a smart phone.

이상에서 설명한 바와 같은, 본 발명에 따른 영상 음향 변환 장치의 영상을 음향으로 변환하는 동작을 도 5 를 통해 알아본다. 도 5 는 본 발명에 따른 영상 음향 변환 장치의 영상을 음향으로 변환하는 동작을 도시한 흐름도이다.The operation of converting the image of the image-sound converting apparatus according to the present invention into sound as described above will be described with reference to FIG. FIG. 5 is a flowchart illustrating an operation of converting an image of an image-sound converting apparatus according to the present invention into sound.

먼저, 단계 410에서 영상 음향 변환 장치가 카메라를 통해 영상을 획득한다.First, in step 410, an image-acoustical conversion apparatus acquires an image through a camera.

그 다음, 단계 420에서 영상 음향 변환 장치가 프로세서를 통해 카메라에 의해 획득된 영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출한다.Then, in step 420, the image-acoustic-conversion device detects the characteristic shape in the image acquired by the camera through the processor and the average color of the entire image.

그리고, 단계 430에서 영상 음향 변환 장치가 형상 및 색상 조합에 대응하는 음향들이 미리 저장된 메모리로부터 프로세서에 의해 검출된 형상 및 색상 조합에 대응하는 음향을 검색한다.Then, in step 430, the image-acoustic-conversion device searches for a sound corresponding to the shape and color combination detected by the processor from the memory in which sounds corresponding to the shape and color combination are stored in advance.

그리고, 단계 440에서 영상 음향 변환 장치가 메모리로부터 검색된 형상 및 색상 조합에 대응하는 음향을 스피커를 통해 출력하여 음향을 재생한다.In step 440, the image-sound converting apparatus reproduces sound by outputting sound corresponding to the shape and color combination retrieved from the memory through the speaker.

이와 같이 구현함에 의해 본 발명은 영상을 구성하는 색상 외에 영상 내의 특징적인 형상까지 고려하여 영상을 적절하게 정의된 음향으로 변환하여 재생함으로써 영상을 비슷한 분위기의 음향으로 재생할 수 있어 미술과 음악을 서로 융합할 수 있을 뿐 아니라, 시각장애인에게 전면에 있는 상황을 소리를 통하여 인지하도록 함으로써 위험에 효율적으로 대처할 수 있으므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있다.According to the present invention, the present invention can reproduce an image in a similar atmosphere by converting the image into an appropriately defined sound considering the characteristic shape in the image in addition to the color of the image, thereby fusing art and music In addition, the present invention can achieve the object of the present invention described above, since it is possible to effectively deal with the risk by making the visually impaired person perceive the situation on the front side through the sound.

본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. .

본 발명은 영상을 음향으로 변환하는 영상 음향 변환 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.INDUSTRIAL APPLICABILITY The present invention is industrially applicable in the field of image sound conversion technology for converting images into sound and its application fields.

100 : 영상 음향 변환 장치
110 : 메모리
120 : 프로세서
121 : 형상 검출부
122 : 색상 검출부
123 : 음향 검색부
124 : 재생 제어부
130 : 스피커
140 : 카메라
150 : 스위치
160 : 박자 설정부
170 : 구동 증폭기
180 : 전원 공급부100: image sound conversion device
110: Memory
120: Processor
121:
122: Color detection unit
123:
124:
130: Speaker
140: camera
150: Switch
160: Time signature setting section
170: drive amplifier
180: Power supply

Claims (8)

형상 및 색상 조합에 대응하는 음향을 저장하는 메모리와;
영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 상기 메모리로부터 검색하여 재생 처리하는 프로세서와;
상기 프로세서에 의해 재생 처리되는 음향을 출력하는 스피커와;
음향을 연속적으로 재생하기 위한 박자를 설정하는 박자 설정부를;
포함하여 이루어지는 것을 특징으로 하는 영상 음향 변환 장치.A memory for storing sounds corresponding to shape and color combinations;
A processor for detecting a characteristic shape in an image and an average color of the entire image and for retrieving and reproducing sound corresponding to the detected shape and color combination from the memory;
A speaker for outputting sounds to be reproduced by the processor;
A beat setting unit for setting a beat to continuously reproduce the sound;
And an image-to-audio converter for converting the image signal into a digital signal. 제 1 항에 있어서,
상기 영상 음향 변환 장치가:
영상을 획득하는 카메라를;
더 포함하는 것을 특징으로 하는 영상 음향 변환 장치.The method according to claim 1,
Wherein the image sound conversion apparatus comprises:
A camera for acquiring an image;
Further comprising: an image converter for converting the image signal into an analog signal; 제 2 항에 있어서,
상기 영상 음향 변환 장치가:
음향 재생 명령 입력을 위한 스위치를;
더 포함하는 것을 특징으로 하는 영상 음향 변환 장치.3. The method of claim 2,
Wherein the image sound conversion apparatus comprises:
A switch for inputting a sound playback command;
Further comprising: an image converter for converting the image signal into an analog signal; 제 3 항에 있어서,
상기 프로세서가:
상기 스위치 온시, 상기 박자 설정부에 의해 설정된 특정 박자에 따라 카메라를 통해 연속적으로 영상을 획득하고, 연속적으로 획득되는 각 영상 내의 특징적인 형상 및 각 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 연속적으로 재생하는 자동 재생 모드를 수행하는 것을 특징으로 하는 영상 음향 변환 장치.The method of claim 3,
Wherein the processor:
Wherein when the switch is turned on, an image is continuously acquired through the camera according to a specified beat set by the beat setting unit, and a characteristic shape in each image continuously acquired and an average color of all the images are detected, And performs an automatic reproduction mode in which the sound corresponding to the color combination is continuously reproduced. 삭제delete 제 3 항에 있어서,
상기 프로세서가:
상기 스위치 온시마다, 카메라를 통해 영상을 획득하고, 획득되는 영상 내의 특징적인 형상 및 영상 전체의 평균 색상을 검출하고, 검출된 형상 및 색상 조합에 대응하는 음향을 재생하는 수동 모드를 수행하는 것을 특징으로 하는 영상 음향 변환 장치.The method of claim 3,
Wherein the processor:
And a passive mode for acquiring an image through the camera, detecting a characteristic shape in an acquired image and an average color of the entire image, and reproducing sound corresponding to the detected shape and color combination, To-sound converter. 제 1 항 내지 제 4 항 중 어느 한 항 또는 제 6 항에 있어서,
상기 영상 음향 변환 장치가:
스피커를 통해 출력되는 음향을 증폭하는 구동 증폭기를;
더 포함하는 것을 특징으로 하는 영상 음향 변환 장치.The method according to any one of claims 1 to 4 or 6,
Wherein the image sound conversion apparatus comprises:
A drive amplifier for amplifying sound output through the speaker;
Further comprising: an image converter for converting the image signal into an analog signal; 제 1 항 내지 제 4 항 중 어느 한 항 또는 제 6 항에 있어서,
상기 영상 음향 변환 장치가:
전원을 공급하는 전원 공급부를;
더 포함하는 것을 특징으로 하는 영상 음향 변환 장치.The method according to any one of claims 1 to 4 or 6,
Wherein the image sound conversion apparatus comprises:
A power supply unit for supplying power;
Further comprising: an image converter for converting the image signal into an analog signal;
KR1020160105493A 2016-08-19 2016-08-19 Apparatus for converting image to sound KR101864368B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160105493A KR101864368B1 (en) 2016-08-19 2016-08-19 Apparatus for converting image to sound

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160105493A KR101864368B1 (en) 2016-08-19 2016-08-19 Apparatus for converting image to sound

Publications (2)

Publication Number Publication Date
KR20180020715A KR20180020715A (en) 2018-02-28
KR101864368B1 true KR101864368B1 (en) 2018-06-29

Family

ID=61401464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160105493A KR101864368B1 (en) 2016-08-19 2016-08-19 Apparatus for converting image to sound

Country Status (1)

Country Link
KR (1) KR101864368B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956629B1 (en) 2009-11-13 2010-05-11 유영준 Apparatus and method for processing image character reflected korea tradition standard color
KR101745564B1 (en) 2016-05-09 2017-06-12 박에스더 Method for converting hangul input to flower image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100893223B1 (en) 2007-03-12 2009-04-16 주식회사 하모니칼라시스템 Method and apparatus for converting image to sound
JP5055269B2 (en) * 2006-04-12 2012-10-24 日立造船株式会社 Method and apparatus for removing conductive metal oxide thin film
KR101744992B1 (en) * 2011-06-22 2017-06-08 엘지이노텍 주식회사 Audio signal output device and the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956629B1 (en) 2009-11-13 2010-05-11 유영준 Apparatus and method for processing image character reflected korea tradition standard color
KR101745564B1 (en) 2016-05-09 2017-06-12 박에스더 Method for converting hangul input to flower image

Also Published As

Publication number Publication date
KR20180020715A (en) 2018-02-28

Similar Documents

Publication Publication Date Title
US9743033B2 (en) Method for displaying image combined with playing audio in an electronic device
US20100231730A1 (en) Image sensing device and camera
CN107832036A (en) Sound control method, device and computer-readable recording medium
CN105278380A (en) Control method and device of intelligent device
JP2010252047A (en) Electronic device and setting method thereof
JP2010130487A (en) Imaging apparatus, information processing method, program, and storage medium
JP2016143060A (en) Vision-assist devices and methods of detecting classification of object
KR20160030370A (en) Detection apparatus and detection method
KR101864368B1 (en) Apparatus for converting image to sound
JP2012044369A (en) Imaging apparatus, imaging method, image processing apparatus, and image processing method
JP2009065542A (en) Image reproducing device and program thereof
KR20090037700A (en) Method of controlling digital image processing apparatus for face detection, and image processing apparatus adopting the method
CN104599266A (en) Detection method for fog area in image, device and terminal
KR101434336B1 (en) Sound reproduction system based on emotion recognized through facial expression
JP2013168878A (en) Recording device
JP5173915B2 (en) Image processing apparatus and imaging apparatus
JP2008242714A (en) Imaging device, score imaging method, and score imaging program
KR101353936B1 (en) Speech recognition apparatus and method for speech recognition
JP2010072121A (en) Imaging apparatus and control method therefor
JP2668160B2 (en) Auto focus device
JP6775218B2 (en) Swallowing information presentation device
JP6729635B2 (en) Voice recognition device, robot, voice recognition method, and recording medium
CN107465865A (en) Image pickup method and device
JP4197419B2 (en) camera
JP2009077325A (en) Camera apparatus, and camera control program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant