WO2016032176A2 - 행 분할 광학 모듈과 이를 이용한 전자 건반 - Google Patents

행 분할 광학 모듈과 이를 이용한 전자 건반 Download PDF

Info

Publication number
WO2016032176A2
WO2016032176A2 PCT/KR2015/008789 KR2015008789W WO2016032176A2 WO 2016032176 A2 WO2016032176 A2 WO 2016032176A2 KR 2015008789 W KR2015008789 W KR 2015008789W WO 2016032176 A2 WO2016032176 A2 WO 2016032176A2
Authority
WO
WIPO (PCT)
Prior art keywords
camera
optical unit
keyboard
optical
prism
Prior art date
Application number
PCT/KR2015/008789
Other languages
English (en)
French (fr)
Other versions
WO2016032176A3 (ko
Inventor
이문기
Original Assignee
이문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이문기 filed Critical 이문기
Priority to JP2017510626A priority Critical patent/JP6729939B2/ja
Priority to CN201580056574.3A priority patent/CN107004401B/zh
Priority to US15/505,723 priority patent/US10199025B2/en
Publication of WO2016032176A2 publication Critical patent/WO2016032176A2/ko
Publication of WO2016032176A3 publication Critical patent/WO2016032176A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G02B5/045—Prism arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10C—PIANOS, HARPSICHORDS, SPINETS OR SIMILAR STRINGED MUSICAL INSTRUMENTS WITH ONE OR MORE KEYBOARDS
    • G10C3/00—Details or accessories
    • G10C3/12—Keyboards; Keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G10H1/0553—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements using optical or light-responsive means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/344—Structural association with individual keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/305—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors using a light beam to detect key, pedal or note actuation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Definitions

  • the present invention relates to a row division optical module capable of observing a long object in high resolution and an electronic keyboard using the same.
  • the present invention relates to a row splitting optical module capable of capturing a long left and right object such as a keyboard at a high resolution at once and an electronic keyboard using the same.
  • An object of the present invention is to provide a row splitting optical module and an electronic keyboard using the same.
  • the present invention provides a row splitting optical module, such as a prism, to make the left side (or right side) of the long object visible above the field of view and the remaining right side (or left side) below the field of view.
  • a row splitting optical module such as a prism
  • the keyboard since there is no printed circuit board (PCB) and sensor circuit under the keyboard, the keyboard has the advantage of being lighter, and it is also possible to provide a visual beauty by designing the keyboard with a transparent material to feel like a jewel.
  • PCB printed circuit board
  • Figure 2 is an embodiment configuration of the present invention
  • FIG. 3 is a perspective view of a row splitting prism
  • Figure 4 is a side split prism side view
  • Figure 9 is a side view of the prism of Figure 8.
  • FIG. 10 is a modification of the configuration of FIG.
  • Fig. 11 is an image of photographing a mark of a keyboard without using a row splitting prism
  • Figure 12 is an image of a keyboard mark with a row splitting prism installed in front of the camera.
  • Figure 13 is a row split prism modification
  • FIG. 14 is an image in which the row division prism of FIG. 13 is installed in front of the camera and the mark of the keyboard is photographed.
  • Figure 15 is a perspective view of the row splitting optical module using the periscope
  • Figure 16 shows the camera installed below the keyboard
  • Figure 17 shows the camera installed obliquely below the keyboard
  • FIG. 18 shows the camera installed directly under the keyboard
  • Fig. 19 is a plan view of the configuration of Fig. 17 or 18;
  • Figure 20 shows the camera installed above the keyboard
  • Figure 21 is a perspective view of Figure 20
  • Fig. 22 shows how the intervals between the marks on the keyboard are adjusted differently.
  • An electronic piano is a device that presses a key, presses a switch connected to the key, and detects this by the scanning circuit, and outputs an instrument sound corresponding to the key.
  • Such a device is difficult to manufacture due to the large number of parts because switches are installed in each key, and the wiring is complicated.
  • complicated circuits and wiring are not visually beautiful, so they are covered using an opaque case. This opaque case is frustrating to look at.
  • the present invention can eliminate the opaque case by replacing the complicated circuit with a compact and reliable camera to improve the keyboard part simply and beautifully. It is also possible to process the keyboard transparently like a jewel, providing a beautiful feeling without visual clutter.
  • by removing the printed circuit board of the switch circuit it is easy to manufacture and it is possible to reduce the generation of industrial waste.
  • the piano using the camera of the present invention attaches a mark such as a retroreflective film SR to a large portion of the movement of each keyboard KE, as shown in FIG. 1, and a light source LS such as an infrared LED and a camera
  • a mark such as a retroreflective film SR
  • a light source LS such as an infrared LED and a camera
  • the difference image means that the pixel value is a difference value between two pixels at the same overlapped position of two overlapping images when the two images overlap each other.
  • Fig. 1 the keyboard is placed on the support bar AX, and when one end of the key is pressed (DN), the opposite end rotates UP around the support bar AX. As the key is rotated, the position of the retroreflective film taken by the camera changes, and the position can be analyzed to determine the degree to which the key is rotated.
  • FIG. 3 is a detailed view of a row splitting prism installed in front of the camera
  • FIG. 4 is a side view thereof
  • FIG. 5 is a plan view thereof
  • 6 is an exploded view of a row splitting prism into four simple rectangular prisms.
  • FIG. 12 is a view of retroreflective films SRs taken by a camera through a prism as shown in FIG. 3.
  • keys 0 through 11 of 24 keys were photographed in the lower horizontal area portion of the image, and keys 12 through 23 were photographed in the upper horizontal area of the image.
  • all the keyboards were photographed small on one horizontal line. In this case, each key is taken small, which makes it difficult to detect the movement of the keyboard in the image processing means, and there is a problem that there are many wasted pixels that are not used for keyboard shooting.
  • the third and fourth prisms P3 and P4 of FIG. 6 respectively beam down and upward so that a single row of keys, which are left and right, are separated into two rows in the camera's field of view. Refraction That is, the third prism refracts light reflected slightly upward from the mark SR horizontally downward, and the fourth prism refracts light reflected slightly downward from the mark horizontally upward.
  • the first prism and the second prism P1 and P2 are refracted by the third and fourth prisms to refract the horizontal beam divided into two rows to the right and the left, respectively. do.
  • the first and second prisms are formed in the same form, and the third and fourth prisms are formed in the same form.
  • the light source LS such as an infrared LED, may be respectively installed above the first prism and the bottom of the second prism, but in this case, it is inconvenient to install twice and manufacture two light source modules. Therefore, it is preferable that the light source module LS is made of one module and installed between the first and second prisms as shown in FIG. 9. In this case, the light source module does not cover the camera's field of view (that is, to move the upper field of view of the camera upward and the lower field of view further downward) as shown in FIG. 8 between the first and second prisms and the camera lens. ), It is preferable to further provide a sixth (P6) prism (fifth, sixth optical unit).
  • the first prism and the fifth prism may be integrally formed by forming the fifth prism at an angle as shown in FIG. 8 so that the points on the opposing surfaces of the first prism and the fifth prism are in contact with each other.
  • the second prism may be formed at an angle as shown in FIG. 8 so that the points on the opposing surfaces of the second prism and the sixth prism may contact each other, thereby forming the second prism and the sixth prism as one body.
  • 9 is a side view of the prisms.
  • Such a prism may be formed of a prism sheet or hologram in the form of a Fresnel lens as shown in FIG. 7 so as to occupy less volume. That is, such a prism can be implemented by any optical module having a refractive function. As shown in FIG. 6, the right-angled portions R3 and R4 of the third and fourth prism are attached to be in contact with each other to form an isosceles triangular prism, and the right-angled portions R1 and R2 of the first and second prism are far apart from side to side. Can be attached to form the row splitting prism of this embodiment. The third, fourth, fifth and sixth prisms may be omitted.
  • first and second prisms of FIG. 6 may be constituted by general triangles (for example, isosceles triangles) prisms instead of right-angle prisms as shown in FIG. 10.
  • the third prism at an angle as shown in FIG. 10 so that all the points on the opposing surfaces of the first prism and the third prism are in contact with each other.
  • the fourth prism at an angle as shown in FIG. 10 so that all the points on the surface facing the second prism are in contact with each other.
  • two prism for example, acrylic prisms
  • FIG. 1 is a view of photographing the left and right halves of the keyboard with two cameras CM1 and CM2, respectively. If you have a small number of keys, you can use only one camera. If you have a large number of keys, you can use two or more cameras. In front of each camera, a prism as shown in Fig. 3 is used to refract the beam incident from the left and right in front of the camera, so that the keys on the left side are photographed in the horizontal (lower) horizontal region of the image, and the right part of the remaining keys is the upper (or lower) portion of the image. You can shoot in the horizon area. That is, the original one long (ROW) key is photographed by dividing the keyboard into two short lines on the image, but the two divided lines may be arranged vertically in the camera field of view.
  • ROW original one long
  • Fig. 13 is a configuration in which an empty space is provided between two prisms in front of the camera, and the keyboard is photographed between the spaces.
  • the keyboard image photographed in this configuration is photographed in three rows as shown in FIG.
  • Fig. 15 is a configuration in which the keys are photographed in three rows using a periscope mirror instead of a prism.
  • An optical module (prism, hologram, periscope mirror module, etc.) capable of capturing such a long object at one time at high resolution is referred to as a row division optical module in the present invention.
  • the retroreflective film is a product sold by 3M, which reflects the incident light beam toward the light source.
  • 3M 3M
  • the retroreflective film is convenient to attach the retroreflective film of different colors to two adjacent keys to track the movement by distinguishing each key in the image processing means. For example, a red retroreflective film is attached to a black key, a blue retroreflective film is attached to a white key, and it is photographed with a color camera.
  • the image processing means analyzes the color of the photographed image and traces the bright part of the keyboard. The motion can be detected more accurately.
  • a retroreflective film of the above two colors (red, blue) and another color (for example green) can be attached to a specific key (for example, the start key of the middle octave, ie the middle degree). It may be.
  • This particular color can be detected by the image processing means to easily recognize the number of keys surrounding the keyboard.
  • the shape of the retroreflective film may be differently formed in order to display a key of a specific reference position.
  • the retroreflective film of a key may be a polygon such as a rectangle, and the retroreflective film of a key of a reference position may be circular.
  • the distance of a retroreflective film may be adjusted differently in order to display the keyboard of a specific reference position.
  • the distance between neighboring retroreflective films can be made smaller or larger.
  • the depth (angle) of the key press and the movement distance of the retroreflective film or mark in the recorded image are roughly proportional, you can track the position of the retroreflective film on each key in the recorded image to determine the depth (degree) at which each key was pressed. And can output the sound corresponding to that degree. For example, you can output a slightly higher frequency than the original sound, proportional to the depth at which the key is pressed. In this case, oscillating the depth of the press can create a playing effect that vibrates the finger pressing the strings of a guitar or violin. You can also increase the volume (volume) of the organ sound in proportion to the depth you press. You can also detect the speed at which the keys are pressed and increase the intensity of the piano sound in proportion to the speed.
  • the camera vibrates from side to side with a camera and may be detected by an image processing unit to implement a function of a modulation wheel, a pitch band, or an after touch.
  • the retroreflective film attached to the keyboard appears to vibrate from side to side in the captured image.
  • the keyboard is preferably configured to move from side to side as well as up and down.
  • the function of the modulation wheel, pitch band, or after touch of the existing master keyboard can be implemented by detecting the degree or direction of pressing of each key.
  • such a depth detection circuit increases in proportion to the number of keys.
  • the number of cameras does not need to increase in proportion to the number of keys.
  • the contactless detection method using a camera is used instead of a switch including a physical electric terminal, contact failure problems, friction problems, and chattering problems occurring at the electrical terminals are blocked. This can be used to achieve the effect of continuously changing the force of the strings, for example, when playing stringed instruments such as lyre and gayageum.
  • the camera may be installed below or above the keyboard as shown in FIG. 16 or 20 by installing a right angle prism (RP) or a mirror as long as the key between the camera and the keyboard.
  • RP right angle prism
  • 21 is a perspective view of FIG.
  • FIG. 19 is a plan view of FIG. 17 or FIG.
  • These retroreflective films located at the left and right ends of the camera's field of view are placed on a curved surface (for example, an ellipse with a center on the camera side) so that the surface of the retroreflective film faces the camera as much as possible to mitigate the distortion. It is desirable to. Also, the larger the retroreflective film (FSR) at the left and right ends away from the camera, the larger the retroreflective film (NSR) near the camera, and the smaller the size. It is desirable to adjust so that it is possible. In addition, the larger the distance between the retroreflective film (FSR) at the left and right ends of the camera, the greater the distance from the neighboring retroreflective film. It is desirable to adjust so that the spacing of all the retroreflective film can be taken to the same size as possible.
  • FSR retroreflective film
  • NSR retroreflective film
  • the sleep mode may repeat, for example, turning on and shooting the light source and the camera for 1 second and turning off the light source and the camera for 2 seconds and not photographing. If movement of the keyboard is detected during this sleep mode, it can return to the original normal mode (the mode in which the light source and the camera are always on).

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Push-Button Switches (AREA)
  • Auxiliary Devices For Music (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

본 발명은 카메라를 이용한 전자 건반에 관한 것으로 재귀반사 필름이 부착된 건반,상기 재귀반사 필름에 빛을 조사하는 광원, 그 옆에 설치되어 재귀반사 필름에서 재귀 반사된 광원의 빛을 촬영하는 카메라, 상기 카메라가 촬영한 영상을 분석하여 반사된 광원의 위치를 추적하여 건반의 눌려진 상태를 알아내서 그 상태에 대응하는 악기 소리를 출력하는 것을 특징으로 한다.

Description

행 분할 광학 모듈과 이를 이용한 전자 건반
본 발명은 긴 물체를 고해상도로 관찰 할 수 있는 행 분할(row division) 광학 모듈과 이를 이용한 전자 건반에 관한 것이다.
본 발명은 건반과 같이 좌우로 긴 물체를 한번에 고해상도로 촬영할 수 있는 행 분할 광학 모듈과 이를 이용한 전자 건반에 관한 것이다.
피아노의 다수의 건반과 같이 좌우로 긴 물체를 한눈에 관찰하려면 관찰자는 그 물체의 전체가 한 눈에 보일 정도로 멀리 떨어져야 한다. 이렇게 멀리 떨어지면 한 눈에 물체의 전제가 보이지만 물체가 작게 보여서 물체를 자세히 관찰하기 어렵다는 문제가 있다. 본 발명은 이러한 문제를 해결 할 수 있는 행 분할 광학 모듈과 이를 이용한 전자 건반을 제공하는 것을 목적으로 한다.
본 발명은 상기한 문제를 해결하기 위하여 긴 물체의 좌측(또는 우측)은 시야의 위쪽에 보이게 하고 나머지 우측(또는 좌측)은 시야의 아래쪽에 보이게 하는 프리즘과 같은 행 분할 광학 모듈을 제공한다. 이러한 광학 모듈을 카메라의 렌즈 앞에 설치하여 긴 물체를 고해상도로 한번에 물체의 전체 영역을 촬영할 수 있다. 이러한 카메라로 피아노의 좌우로 긴 다수의 건반을 한번에 고해상도로 촬영하여 영상처리 수단으로 촬영된 영상에서 건반의 움직임을 검출하여 악기 소리 또는 미디(midi) 신호를 출력할 수 있다.
기존의 디지털 피아노는 건반마다 건반의 움직임을 검출하기 위한 센서나 스위치가 설치되므로 부품 수가 많고 회로가 복잡해서 제조하기 어렵고 고장 나기 쉽고 무겁다. 그러나 본 발명에의한 행 분할 광학 모듈과 카메라를 이용한 피아노는 건반마다 설치되는 복잡한 스위치 회로를 간단하고 소형인 카메라로 대체함으로써 제조를 용이하게 하고 전자 회로의 신뢰성을 향상시킬 수 있고 소비자가 건반 부품과 카메라 모듈을 구입하여 직접 조립하여 제조할 수 도 있어서 저렴하게 디지털 피아노를 구현 할 수 있다.
또한 건반 밑에 인쇄회로기판(PCB)과 센서회로가 없으므로 건반이 가벼워지는 장점이 있고 건반을 투명한 재질로 형성하여 보석과 같은 느낌이 나도록 디자인 하여 시각적 아름다움도 제공할 수 도 있다.
도1은 본 발명의 실시예 구성도
도2는 본 발명의 실시예 구성도
도3는 행 분할 프리즘 사시도
도4는 행 분할 프리즘 측면도
도5는 행 분할 프리즘 평면도
도6은 행 분할 프리즘 분해도
도7은 프리즘 시트 분해도
도8은 행 분할 프리즘 분해도
도9는 도8의 프리즘의 측면도
도10은 도6의 구성의 변형예
도11은 행 분할 프리즘을 사용하지 않고 건반의 마크를 촬영한 영상
도12는 카메라 앞에 행 분할 프리즘을 설치하고 건반의 마크를 촬영한 영상
도13은 행 분할 프리즘 변형예
도14는 도13의 행 분할 프리즘을 카메라 앞에 설치하고 건반의 마크를 촬영한 영상
도15는 잠망경을 이용한 행 분할 광학 모듈 사시도
도16은 카메라를 건반 아래쪽에 설치한 모습
도17은 카메라를 건반 아래쪽에 비스듬히 설치한 모습
도18은 카메라를 건반 바로 밑에 설치한 모습
도19는 도17 또는 도18의 구성의 평면도
도20은 카메라를 건반 위쪽에 설치한 모습
도21은 도20의 사시도
도22는 건반의 마크 사이 간격을 다르게 조정한 모습
실시예 1
전자 피아노는 건반을 누르면 그 건반에 연결된 스위치가 눌려지고 이를 스캐닝 회로가 감지하여 그 건반에 대응하는 악기 소리를 출력하는 장치이다. 이러한 장치는 각 건반마다 스위치가 설치되므로 부품수가 많아서 고장 나기 쉽고 배선이 복잡하여 제조가 어렵다. 또한 복잡한 회로와 배선은 시각적으로 아름답지 못하므로 불투명한 케이스를 사용하여 가리고 있는 실정이다. 이러한 불투명한 케이스는 보기에 답답하다. 본 발명은 이러한 복잡한 회로를 소형이고 신뢰성 높은 카메라로 대체하여 건반 부분을 간단하고 보기 좋게 개선함으로써 불투명한 케이스를 제거할 수 있다. 또한 건반을 투명하게 보석처럼 가공하여 시각적으로 답답하지 않고 아름다운 느낌을 제공하는 것도 가능하다. 또한 스위치회로의 인쇄회로기판을 제거함으로써 제조가 용이하고 산업 폐기물의 발생을 줄이는 것도 가능하다.
이를 위하여 본 발명의 카메라를 이용한 피아노는 도1과 같이 각 건반(KE) 의 움직임이 큰 부분에 재귀반사 필름(SR)과 같은 마크를 부착하고 그 앞에 적외선 LED와 같은 광원(LS)과 카메라(CM)를 서로 말착시켜서 설치하여 광원(LS)에서 방사된 빛이 재귀반사 필름(SR)에 의해 재귀반사된 후 카메라(CM)에 도달하면 그 빛을 카메라로 촬영하고 영상처리 수단으로 촬영된 영상에서 재귀반사필름의 위치를 분석하여 건반의 눌려진 정도를 검출하여 그 정도에 대응하는 소리를 발생시키는 것을 특징으로 한다.
적외선 광원을 사용하는 경우 카메라 앞에는 적외선만 통과시키는 필터를 부착하는 것이 바람직하다. 그렇게 하면 배경은 검정이고 재귀반사 필름만 밝게 촬영되므로 건반의 움직임을 검출하기가 용이하다.
별도의 적외선 LED 를 사용하는 대신 주변광을 사용하고 별도의 재귀반사 필름 대신 일반적인 마크를 사용해도 무방하다. 현재 촬영된 영상과 그 이전 순간에 촬영된 영상의 차분 영상(difference image)을 구하면 움직임이 없는 배경은 차분 픽셀 값이 0이 되고 움직임이 있는 마크 부분만 픽셀 값이 0이 아니게 되므로 건반의 움직임을 검출하기 용이하다. 여기서 차분영상이란 그 픽셀 값이 두 영상을 겹쳐 놓은 경우 겹친 두 영상의 겹친 동일 위치의 두 픽셀의 차이값인 것을 의미한다.
도1에서 건반은 지지 막대(AX) 위에 놓여 있고 건반의 일 단을 누르면(DN) 반대쪽 일단이 지지막대(AX)를 중심으로 위로 회전(UP)한다. 이처럼 건반이 회전하면 카메라에 촬영되는 재귀반사필름의 위치가 변하게 되고 그 위치를 분석하면 건반이 회전한 정도(즉 건반이 눌려진 정도)를 알아낼 수 있다.
건반 수가 많은 경우 하나의 카메라에 모든 건반을 촬영할 수 없을 수도 있다. 모든 건반을 하나의 카메라에 촬영하기 위해서는 카메라와 건반 사이의 거리를 늘리면 되지만 재귀반사 필름이 도11과 같이 작게 촬영되어 건반의 위치를 추적하기 어렵다는 문제가 있다. 이러한 문제를 해결하기 위하여 도1과 같이 카메라 앞에는 본 발명의 행 분할(row division) 프리즘(PS)을 설치하는 것이 바람직하다. 도3은 카메라 앞에 설치된 행 분할 프리즘을 상세히 나타낸 그림이고 도4는 그 측면도이고 도5는 평면도이다. 도6는 행 분할 프리즘을 4개의 단순한 직각 프리즘으로 분해한 모습이다. 이러한 본 실시예의 행 분할 프리즘을 사용하면 하나의 카메라로 좌우로 긴 다수의 건반을 한꺼번에 크게 촬영할 수 있다.
도12는 도3과 같은 프리즘을 통해 카메라로 촬영한 건반의 재귀반사필름 (SR)들의 모습이다. 도12에는 24개의 건반 중 0번부터 11번까지 건반은 이미지의 아래 수평 영역 부분에 촬영되었고 나머지 12번부터 23번까지 건반은 이미지의 위쪽 수평 영역에 촬영되었다. 이에 비해 프리즘을 사용하지 않고 촬영한 영상은 도11과 같이 모든 건반이 하나의 수평선 위에 작게 촬영되었다. 이렇게 촬영하면 각 건반이 작게 촬영되어 영상처리 수단에서 건반의 움직임을 검출하기 어렵고 건반 촬영에 사용되지 않는 낭비되는 픽셀이 많다는 문제가 있다.
도6의 제3,제4프리즘(P3,P4)은(제3,제4광학부) 각각 좌우로 긴 1행의 건반을 카메라 시야에 2행으로 분리되어 촬영되도록 빔을 아래쪽과 위쪽으로 각각 굴절시킨다. 즉 제3 프리즘은 마크(SR)에서 약간 위쪽으로 반사된 빛을 수평이 되게 아래쪽으로 굴절시키고 제4프리즘은 마크에서 약간 아래쪽으로 반사된 빛을 수평이 되게 위쪽으로 굴절시킨다.
제1프리즘과 제2프리즘(P1,P2)(제1,제2광학부)은 제3,제4프리즘에의해 굴절되어 2개의 행으로 분할된 수평 빔을 각각 오른쪽과 왼쪽으로 굴절시키는 역할을 한다. 제1, 제2프리즘을 동일 형태로 형성하고 제3,제4프리즘도 서로 동일 형태로 형성하는 것이 바람직하다.
적외선 LED와 같은 광원(LS)은 제1 프리즘 위쪽과 제2프리즘 아래쪽에 각각 설치될 수도 있으나 이 경우 두 번 설치 작업을 해야 하고 두 개의 광원 모듈을 제작해야 하는 불편함이 있다. 따라서 광원모듈(LS)은 하나의 모듈로 만들어서 도9와 같이 제1,제2 프리즘 사이에 설치하는 것이 바람직하다. 이 경우 광원모듈이 카메라 시야를 가리지 않도록 (즉 카메라 위쪽 시야를 더 위쪽으로 이동시키고 아래쪽 시야를 더 아래쪽으로 이동시키도록) 도8과같이 제1,제2프리즘과 카메라 렌즈 사이에 제5(P5),제6(P6) 프리즘(제5,제6광학부)을 더 설치하는 것이 바람직하다. 제1프리즘과 제5프리즘의 마주보는 면 위의 점들이 서로 접촉할 수 있게 도8과 같이 제5프리즘을 비스듬히 형성하여 제1프리즘과 제5프리즘을 일체형으로 형성할 수 도 있다. 마찬가지로 제2프리즘과 제6프리즘의 마주보는 면 위의 점들이 서로 접촉할 수 있게 도8과 같이 제2프리즘을 비스듬히 형성하여 제2프리즘과 제6프리즘을 일체형으로 형성할 수 도 있다. 도9는 상기 프리즘들의 측면도이다.
이러한 프리즘은 부피를 적게 차지하도록 도7과 같이 프레넬 렌즈 형태의 프리즘 시트 또는 홀로그램으로 형성할 수도 있다. 즉 이러한 프리즘은 굴절 기능이 있는 임의의 광학 모듈로 구현 할 수 있다. 도6과 같이 제3,제4 프리즘의 직각 부분(R3,R4)은 서로 접하도록 부착하여 이등변 삼각형 프리즘이 되게 형성하고 제1,2프리즘의 직각 부분(R1,R2)은 서로 좌우로 멀리 떨어지도록 부착하여 본 실시예의 행 분할 프리즘을 형성할 수 있다. 제3,4,5,6프리즘은 생략될 수도 있다.
또한 도6의 제1,2 프리즘을 도10과 같이 직각 프리즘이 아닌 일반적인 삼각형(예를 들면 이등변 삼각형) 프리즘으로 구성해도 무방하다. 이 경우 제1 프리즘과 제3프리즘의 마주보는 면 위의 모든 점들이 서로 접촉할 수 있도록 제3프리즘을 도10과 같이 비스듬히 형성하는 것이 바람직하다. 마찬가지로 제4프리즘도 제2프리즘과 마주보는 면 위의 모든 점들이 접촉할 수 있도록 제4프리즘을 도10과 같이 비스듬히 형성하는 것이 바람직하다. 이렇게 두 프리즘의 마주보는 면을 접하게 형성하여 두 프리즘(예를 들면 아크릴 프리즘)을 접착제(예를 들면 아크릴 본드)로 부착하여 일체형 프리즘으로 제작할 수 있다.
도1은 건반의 좌우측 절반을 2개의 카메라(CM1,CM2)로 각각 촬영하는 모습이다. 건반 수가 적다면 카메라는 1개만 사용할 수도 있고 건반 수가 많다면 2개 이상 사용할 수도 있다. 각 카메라 앞에는 좌우측에서 입사되는 빔을 카메라 앞으로 굴절시키는 도3과 같은 프리즘을 설치하여 좌측의 건반들은 영상의 아래쪽(또는 위쪽) 수평선 영역에 촬영하고 나머지 건반의 우측 부분은 영상의 위쪽(또는 아래쪽) 수평선 영역에 촬영할 수 있다. 즉 원래 좌우로 긴 1행(ROW)의 건반을 영상에 짧은 2행으로 나누어 촬영하되 나누어진 두 행은 각각 카메라 시야에서 상하로 배열될 수 있다.
도13은 카메라 앞의 두 프리즘 사이에 빈공간이 있도록 설치하여 그 공간 사이로도 건반을 촬영하는 구성이다. 이러한 구성으로 촬영한 건반 영상은 도14와 같이 세개의 행으로 촬영된다. 도15는 프리즘 대신 잠망경 형태의 거울을 사용하여 건반을 세개의 행으로 촬영하는 구성이다. 이처럼 긴 물체를 고해상도로 한번에 촬영할 수 있는 광학 모듈(프리즘, 홀로그램, 잠망경 형태의 거울 모듈 등)을 본 발명에서는 행 분할(row division) 광학 모듈이라 한다.
재귀반사 필름은 3M 사에서 판매하고 있는 제품으로 입사된 광선을 광원쪽으로 반사시키는 필름이다. 건반에 재귀반사필름을 부착할 때 인접한 두 건반에 서로 다른 색의 재귀반사 필름을 부착하는 것이 영상처리수단에서 각 건반을 구별하여 움직임을 추적하는 데 편리하다. 예를 들면 검정 건반에는 빨강색 재귀반사 필름을 부착하고 흰 건반에는 파랑색 재귀반사 필름을 부착하고 칼라 카메라로 이를 촬영하고 영상처리 수단은 촬영된 영상의 색깔을 분석하여 밝은 부분을 추적하여 건반의 움직임을 더 정확히 검출 할 수 있다. 기준위치가 되는 건반을 표시하기 위하여 위의 두 색(빨강,파랑)과 다른색 (예를 들면 녹색)의 재귀반사 필름을 특정 건반(예를 들면 중간 옥타브의 시작 건반 즉 가운데 도)에 부착할 수도 있다. 이러한 특정 색을 영상처리수단이 검출하여 주변 건반이 몇 번째 건반인지 쉽게 인식할 수 있다. 또는 특정 기준 위치의 건반을 표시하기 위하여 재귀 반사 필름의 형태를 다르게 형성 할 수도 있다. 예를 들어서 보통 건반의 재귀 반사 필름은 사각형과 같은 다각형으로 하고 기준 위치의 건반의 재귀 반사 필름은 원형으로 할 수도 있다.
그리고 특정 기준 위치의 건반을 표시하기 위하여 재귀 반사 필름의 간격을 다르게 조정할 수도 있다. 예를 들어서 도22와 같이 이웃한 재귀반사 필름 사이의 간격을 작게 하거나 크게 조정할 수 있다.
건반을 누른 깊이(각도)와 촬영된 영상에서 재귀반사 필름 또는 마크의 이동 거리가 대략 비례하므로 촬영된 영상에서 각 건반의 재귀반사 필름의 위치를 추적해서 각 건반이 눌려진 깊이(정도)를 알아낼 수 있고 그 정도에 대응하는 소리를 출력시킬 수 있다. 예를 들어서 건반을 누른 깊이에 비례해서 원래 출력할 소리보다 주파수를 약간 높여서 출력할 수도 있다. 이 경우 누르는 깊이를 진동시키면 마치 기타나 바이올린의 현을 누르는 손가락을 진동시키는 연주 효과를 만들 수 있다. 또한 깊이 누른 정도에 비례해서 오르간 소리의 크기(볼륨)을 증가시킬 수도 있다. 그리고 건반을 누른 속도를 검출하여 그 속도에 비례해서 피아노 소리의 세기를 증가시킬 수도 있다.
또는 도2와 같이 건반이 좌우로 진동하는 것을 카메라로 촬영하고 영상처리 수단으로 검출하여 모듈레이션 휠이나 피치밴드 또는 애프터 터치의 기능을 구현할 수도 있다. 이 경우 촬영된 영상에서 건반에 부착된 재귀반사 필름은 좌우로 진동하는 것으로 나타난다. 이를 위하여 건반은 상하 뿐만 아니라 좌우로도 움직일 수 있도록 구성하는 것이 바람직하다.
즉 기존의 마스터 키보드의 모듈레이션 휠이나 피치밴드 또는 애프터 터치의 기능을 각 건반의 누르는 정도나 방향을 검출하여 구현 할 수 있다.
기존의 전자 건반의 경우는 건반 수에 비례하여 이러한 깊이 검출 회로가 증가하는 단점이 있다. 그러나 본 발명에의한 회로는 건반수가 늘어나더라도 카메라 수는 건반 수에 비례해서 늘어날 필요는 없다. 또한 물리적인 전기단자를 포함하는 스위치를 사용한 것이 아니라 카메라를 사용한 비접촉식 검출법이므로 전기 단자에서 발생하는 접촉 불량 문제, 마찰 문제,채터링 문제가 원천 봉쇄된다. 이러한 기능은 예를 들어서 거문고나 가야금과 같은 현악기를 연주할 때 현을 누르는 힘을 연속적으로 변화시키는 효과를 얻는데 사용될 수 있다.
장치의 부피를 줄이기 위하여 카메라와 건반 사이에 건반 만큼 긴 직각 프리즘(RP) 또는 거울을 설치하여 카메라를 도16 또는 도20과 같이 건반 아래 또는 위쪽에 설치할 수도 있다. 도21은 도20의 사시도 이다.
도16의 직각 프리즘을 생략하는 대신 도17 또는 도18과 같이 카메라를 좀더 건반 아래쪽으로 이동시키고 건반 끝부분에 막대(LB)를 L자 형태로 부착하여 그 끝에 카메라를 향하는 방향으로 재귀반사 필름(SR)을 부착할 수도 있다. 건반 개수가 많아서 카메라를 1개 이상 사용하는 경우(예를 들면 88건반인 경우 카메라 2개를 사용하는 경우)다수의 카메라는 건반 페달근처에 모아 설치하는 것이 바람직하다. 도19는 도17 또는 도18의 평면도이다. 카메라 시야의 좌우측 끝쪽에 위치한 이러한 재귀반사 필름은 왜곡되어 촬영되는 것을 완화시키기 위하여 도19와 같이 재귀반사 필름의 면은 최대한 카메라를 향하도록 곡선(예를 들면 카메라 쪽에 중심이 존재하는 타원) 위에 배치하는 것이 바람직하다. 또한 카메라에서 먼 좌우측 끝부분의 재귀반사필름(FSR)일 수록 그 크기를 크게 하고 카메라에서 가까운 정면의 재귀반사 필름(NSR)일 수록 그 크기를 작게 하여 모든 재귀반사 필름이 최대한 동일 크기로 촬영될 수 있게 조정하는 것이 바람직하다. 그리고 카메라에서 먼 좌우측 끝부분의 재귀반사필름(FSR)일 수록 이웃하는 재귀반사 필름과의 간격을 크게 하고 카메라에서 가까운 정면의 재귀반사 필름(NSR)일 수록 이웃한 재귀반사 필름과의 간격을 작게 하여 모든 재귀반사 필름의 간격이 최대한 동일 크기로 촬영될 수 있게 조정하는 것이 바람직하다.
또한 오랫동안 연주를 하지 않을 때에는 광원과 카메라가 자동으로 꺼져서 전기소모를 줄이는 것이 바람직하다. 이를 위해 영상처리프로그램에서 건반의 움직임이 검출되지 않은 시간이 임계시간 이상 되면 자동으로 광원과 카메라를 끄고 슬립모드가 되게 하는 것이 바람직하다. 여기서 슬립모드는 예를 들어서 1초동안 광원과 카메라를 켜고 촬영하고 2초동안 광원과 카메라를 끄고 촬영을 하지 않는 것을 반복할 수 있다. 이러한 슬립 모드 중에 건반의 움직임이 검출됐다면 원래의 보통 모드(항상 광원과 카메라가 켜진 모드)로 복귀할 수 있다.

Claims (20)

  1. 광학 모듈에 있어서
    우측에서 입사되는 빛을 정면으로 굴절,반사 또는 회절시키는 제1 광학부;
    좌측에서 입사되는 빛을 정면으로 굴절,반사 또는 회절시키는 제2 광학부를 포함하되 상기 두 광학 부는 상하로 배열된 것을 특징으로 하는 행 분할 광학 모듈
  2. 1항에 있어서
    제1광학부와 제2광학부 중 위쪽에 배열된 광학부 앞에는 입사하는 빛을 아래쪽으로 굴절,반사 또는 회절시키는 제3광학부를 포함하고;
    제1광학부와 제2광학부 중 아래쪽에 배열된 광학부 앞에는 입사하는 빛을 위쪽으로 굴절,반사 또는 회절시키는 제4광학부를 포함하는 것을 특징으로 하는 행 분할 광학 모듈
  3. 1항에 있어서
    제1광학부와 제2광학부 중 위쪽에 배열된 광학부 뒤에는 입사하는 빛을 위쪽으로 굴절,반사 또는 회절시키는 제5광학부를 포함하고;
    제1광학부와 제2광학부 중 아래쪽에 배열된 광학부 뒤에는 입사하는 빛을 아래쪽으로 굴절,반사 또는 회절시키는 제6광학부를 포함하는 것을 특징으로 하는 행 분할 광학 모듈
  4. 1항내지 3항중 어느 한 항에 있어서
    제1광학부와 제2광학부 사이에 빈 공간이 형성된 것을 특징으로 하는 행 분할 광학 모듈
  5. 1항내지 3항중 어느 한 항에 있어서
    상기 광학부는 프리즘,프리즘 시트,홀로그램, 또는 거울을 포함하는 것을 특징으로 하는 행 분할 광학 모듈
  6. 전자 건반 장치에 있어서
    좌우로 길게 배열된 다수의 건반;
    상기 건반을 다수의 행으로 분할하여 촬영하는 행 분할 광학 모듈을 포함하는 카메라;
    상기 카메라로 촬영된 영상에서 건반의 움직임을 검출하여 그 움직임에 대응하는 악기 소리 또는 미디(midi) 신호를 출력하는 영상처리 수단을 포함하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  7. 6항에 있어서
    상기 행 분할 광학 모듈은 우측에서 입사되는 빛을 카메라 쪽으로 굴절,반사 또는 회절시키는 제1광학부와
    좌측에서 입사되는 빛을 카메라 쪽으로 굴절,반사 또는 회절시키는 제2광학부를 포함하되 상기 두 광학부는 상하로 배열된 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  8. 7항에 있어서
    상기 상하로 배열된 제1광학부와 제2 광학부 중에서 위쪽에 위치한 광학부 앞에는 입사하는 빛을 아래쪽으로 진행하도록 굴절,반사 또는 회절시키는 제3광학 부를 포함하고
    제1광학부와 제2 광학부 중에서 아래쪽에 위치한 광학부 앞에는 입사하는 빛을 위쪽으로 진행하도록 굴절,반사 또는 회절시키는 제4광학부를 포함하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  9. 7항에 있어서
    제1광학부와 제2광학부 중 위쪽에 배열된 광학부 뒤에는 입사하는 빛을 위쪽으로 굴절,반사 또는 회절시키는 제5광학부를 포함하고;
    제1광학부와 제2광학부 중 아래쪽에 배열된 광학부 뒤에는 입사하는 빛을 아래쪽으로 굴절,반사 또는 회절시키는 제6광학부를 포함하는 것을 특징으로 하는 카메라를 이용한 전자 건반 장치
  10. 7항에 있어서 상기 제1광학부와 제2 광학부 사이에 빈 공간이 있어서 그 공간을 통해 빛이 직진하여 카메라에 촬영되는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  11. 7항내지 9항중 어느 한 항에 있어서
    상기 광학부는 프리즘,프리즘 시트,홀로그램, 또는 거울을 포함하는 것을 특징으로 카메라를 이용한 전자 건반 장치
  12. 6항에 있어서
    상기 건반에는 마크가 포함되고
    상기 영상처리 수단은 촬영된 영상에서 상기 마크를 검출하여 건반의 움직임을 알아내는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  13. 12항에 있어서
    상기 마크는 재귀반사 수단이고
    상기 카메라는 상기 재귀반사 수단에 빛을 조사하는 광원을 포함하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  14. 6항에 있어서
    영상처리 수단은 일정 시간 이상 건반이 움직이지 않는 경우 광원 또는 카메라를 절전 모드로 동작하게 조정하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  15. 6항에 있어서
    카메라로 촬영된 영상에서 특정 기준 건반은 주변 건반과 간격이 보통의 건반 사이의 간격과 다른 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  16. 6항에 있어서
    카메라로 촬영된 영상에서 특정 기준 건반은 보통의 건반과 형태,크기 또는 색이 다른 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  17. 6항에 있어서
    건반은 끝에 막대가 건반 아래쪽으로 L자 형태로 부착되어있고
    카메라는 건반 밑에 위치하여 상기 막대를 촬영하고
    영상처리 수단은 촬영된 영상에서 상기 막대의 운동을 검출하여 악기 소리 또는 미디 신호를 출력하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  18. 6항에 있어서
    건반은 끝에 직각 프리즘 또는 거울을 포함하고
    카메라는 건반 밑 또는 위쪽에 위치하여 상기 프리즘 또는 거울을 통해 건반의 움직임을 촬영하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  19. 6항에 있어서 상기 영상처리수단은 건반이 눌려진 속도 또는 건반이 눌려진 깊이에 비례해서 악기 소리 또는 미디 신호를 출력하는 것을 특징으로하는 카메라를 이용한 전자 건반 장치
  20. 17항에 있어서
    상기 막대는 카메라 쪽에 중심이 존재하는 타원과 같은 오목한 곡선 위에 배열된 것을 특징으로하는 카메라를 이용한 전자 건반 장치
PCT/KR2015/008789 2014-08-23 2015-08-22 행 분할 광학 모듈과 이를 이용한 전자 건반 WO2016032176A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017510626A JP6729939B2 (ja) 2014-08-23 2015-08-22 行分割光学モジュール、及びそれを利用した電子鍵盤
CN201580056574.3A CN107004401B (zh) 2014-08-23 2015-08-22 分行光学模块和使用分行光学模块的电子键盘
US15/505,723 US10199025B2 (en) 2014-08-23 2015-08-22 Image capturing device and electronic keyboard using the image capturing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140110154 2014-08-23
KR10-2014-0110154 2014-08-23
KR10-2015-0011636 2015-01-24
KR20150011636 2015-01-24

Publications (2)

Publication Number Publication Date
WO2016032176A2 true WO2016032176A2 (ko) 2016-03-03
WO2016032176A3 WO2016032176A3 (ko) 2017-05-18

Family

ID=55400780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008789 WO2016032176A2 (ko) 2014-08-23 2015-08-22 행 분할 광학 모듈과 이를 이용한 전자 건반

Country Status (5)

Country Link
US (1) US10199025B2 (ko)
JP (1) JP6729939B2 (ko)
KR (2) KR20160023619A (ko)
CN (1) CN107004401B (ko)
WO (1) WO2016032176A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181850A (ja) * 2016-03-31 2017-10-05 日本テレビ放送網株式会社 演奏装置、運指のモーションキャプチャ方法及び演奏支援システム。

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160023619A (ko) * 2014-08-23 2016-03-03 이문기 행 분할 광학 모듈과 이를 이용한 전자 건반
CN109682823B (zh) * 2018-12-28 2021-04-30 新昌县馁侃农业开发有限公司 起毛程度判断平台
US10916232B1 (en) * 2019-08-29 2021-02-09 Taff Optical, Llc Acoustical optical pickup for use in stringed musical instruments
KR102095958B1 (ko) 2019-11-28 2020-04-01 주식회사 우드메탈 용접이 필요 없는 파이프 철 구조의 결합 체계를 갖는 멀티 테이블
KR102626366B1 (ko) 2023-07-28 2024-01-17 주식회사 한성넥스 테이블용 지주장치
KR102672559B1 (ko) 2023-08-31 2024-06-05 주식회사 더블엠 사용자의 결합과 분해가 용이한 슬라이드형 체결구조를 구비한 테이블

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2168886A (en) * 1938-08-24 1939-08-08 Daniel A Roberts Actuating means for typewriters and other mechanisms
US4113353A (en) * 1974-04-20 1978-09-12 Akira Matsushita Information processing optical device
US3886544A (en) * 1974-06-12 1975-05-27 Leo H Narodny Keyboard using optical switching
US4379968A (en) * 1980-12-24 1983-04-12 Burroughs Corp. Photo-optical keyboard having light attenuating means
US4641026A (en) * 1984-02-02 1987-02-03 Texas Instruments Incorporated Optically activated keyboard for digital system
FR2596222B1 (fr) * 1986-03-19 1992-02-07 Souloumiac Alain Amelioration des claviers optiques
JP3096546B2 (ja) * 1993-11-22 2000-10-10 株式会社河合楽器製作所 電子楽器のタッチ検出装置
JPH0962201A (ja) * 1995-08-29 1997-03-07 Toyo Commun Equip Co Ltd キー照明部の回路基板構造
JP3552374B2 (ja) * 1995-11-30 2004-08-11 ヤマハ株式会社 信号出力装置および光センサ
US5910348A (en) 1996-12-06 1999-06-08 Mcdonnell Douglas Corporation Separator film
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
KR20020069712A (ko) * 2001-02-27 2002-09-05 이문기 건반의 누름 속도 및 깊이를 감지할 수 있는 키보드 장치
US7406245B2 (en) * 2004-07-27 2008-07-29 Lumitex, Inc. Flat optical fiber light emitters
KR20040049045A (ko) 2002-12-03 2004-06-11 삼성전자주식회사 듀얼 프리즘 및 이를 채용한 듀얼 카메라
JP2004198761A (ja) 2002-12-19 2004-07-15 Casio Comput Co Ltd 演奏教習装置および演奏教習処理のプログラム
KR100490235B1 (ko) * 2003-01-13 2005-05-19 이문기 광 스틱과 카메라를 이용한 드럼 연주장치
KR100522769B1 (ko) 2003-02-12 2005-10-20 주식회사 세원기연 가스엔진 히트펌프를 이용한 절전형 항온항습기
US20070182844A1 (en) 2003-03-09 2007-08-09 Latia Imaging Pty Ltd Optical system for producing differently focused images
GB2400359B (en) 2003-04-10 2006-07-26 Advanced Transp Systems Ltd Station design for personal rapid transport systems
JP4218520B2 (ja) * 2003-12-26 2009-02-04 ヤマハ株式会社 演奏操作子用のアクチュエータユニット及び前記アクチュエータユニットを備えた鍵盤楽器及び前記アクチュエータユニットのアセンブリ
US8098290B2 (en) * 2004-01-30 2012-01-17 Siemens Corporation Multiple camera system for obtaining high resolution images of objects
KR20060077382A (ko) * 2004-12-30 2006-07-05 이문기 영상 전달 장치와 카메라를 이용한 전자 건반 연주장치
US7446677B2 (en) * 2005-11-14 2008-11-04 Avago Technologies Ecbu Ip Pte Ltd Method and apparatus for optically detecting selections made on an input device
ATE543132T1 (de) * 2006-07-16 2012-02-15 I Cherradi Freifinger-tipptechnologie
US8022942B2 (en) * 2007-01-25 2011-09-20 Microsoft Corporation Dynamic projected user interface
US7924175B2 (en) * 2007-03-26 2011-04-12 Motorola Mobility, Inc. Optical keypad for electronic device
JP2008306350A (ja) * 2007-06-06 2008-12-18 Hitachi Maxell Ltd カメラモジュール及び撮像装置
US20100149099A1 (en) * 2008-12-12 2010-06-17 John Greer Elias Motion sensitive mechanical keyboard
JP2010183490A (ja) * 2009-02-09 2010-08-19 Olympus Imaging Corp 監視カメラ装置
CN101847060B (zh) * 2009-03-27 2012-10-10 联想(北京)有限公司 光学触摸系统及光学触摸定位方法
JP2010263478A (ja) * 2009-05-08 2010-11-18 Olympus Imaging Corp カメラユニットおよびこれを用いるカメラシステム
US8860693B2 (en) * 2009-07-08 2014-10-14 Apple Inc. Image processing for camera based motion tracking
US8324488B2 (en) * 2009-09-15 2012-12-04 Yamaha Corporation Pedal apparatus of an electronic musical instrument
WO2011083907A2 (ko) * 2010-05-07 2011-07-14 Jung Taerok 다수 채널을 갖는 광가이드 장치
KR20120057916A (ko) * 2010-11-29 2012-06-07 최해용 입체 변환 확대 투사 광학계
US9542016B2 (en) * 2012-09-13 2017-01-10 Apple Inc. Optical sensing mechanisms for input devices
US9557846B2 (en) * 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US20140132516A1 (en) * 2012-11-12 2014-05-15 Sunrex Technology Corp. Optical keyboard
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination
GB201315228D0 (en) * 2013-08-27 2013-10-09 Univ London Queen Mary Control methods for expressive musical performance from a keyboard or key-board-like interface
US9797752B1 (en) * 2014-07-16 2017-10-24 Apple Inc. Optical encoder with axially aligned sensor
KR20160023619A (ko) * 2014-08-23 2016-03-03 이문기 행 분할 광학 모듈과 이를 이용한 전자 건반
CN104200799B (zh) * 2014-08-26 2018-07-13 杭州随身教科技有限公司 键盘类乐器琴键的动态图像检测装置及方法
US9952682B2 (en) * 2015-04-15 2018-04-24 Apple Inc. Depressible keys with decoupled electrical and mechanical functionality
CN106611672A (zh) * 2015-10-22 2017-05-03 致伸科技股份有限公司 光学式开关键盘

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017181850A (ja) * 2016-03-31 2017-10-05 日本テレビ放送網株式会社 演奏装置、運指のモーションキャプチャ方法及び演奏支援システム。

Also Published As

Publication number Publication date
CN107004401A (zh) 2017-08-01
US20170278499A1 (en) 2017-09-28
KR20160023619A (ko) 2016-03-03
JP6729939B2 (ja) 2020-07-29
WO2016032176A3 (ko) 2017-05-18
US10199025B2 (en) 2019-02-05
KR101920176B1 (ko) 2018-11-19
KR20180008839A (ko) 2018-01-24
JP2017529562A (ja) 2017-10-05
CN107004401B (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
WO2016032176A2 (ko) 행 분할 광학 모듈과 이를 이용한 전자 건반
CN102103442B (zh) 包括光学感测框的显示装置以及感测触摸的方法
US7310090B2 (en) Optical generic switch panel
KR101632311B1 (ko) 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치
CN101836180B (zh) 检测视觉系统中的环境光级别
WO2016132568A1 (ja) 非接触入力装置及び方法
WO2019203598A1 (ko) 디스플레이 아래에 배치된 센서에 의해 반사된 광을 차단하기 위한 편광 부재 및 위상 지연 부재를 포함하는 전자 장치
WO2011055952A2 (ko) 지시물체의 위치인식장치
JP2016154035A5 (ko)
CN102971744A (zh) 用于测量施加于物体的光学可变标志的光学特性的方法和设备
TW201502561A (zh) 光學感測模組及電子裝置
US7265749B2 (en) Optical generic switch panel
US8462138B2 (en) Optical touch module capable of increasing light emitting angle of light emitting unit
CN209170491U (zh) 图像设备及图像处理模组
CN102810028A (zh) 浮在空中的虚拟影像的触控装置
CN109151283A (zh) 电子设备及图像处理模组
JP2019526089A (ja) マルチファンクションセンシングシステム
CN205507729U (zh) 一种交互式互动显示屏
JP3782983B2 (ja) ポインティングデバイス
KR20060077382A (ko) 영상 전달 장치와 카메라를 이용한 전자 건반 연주장치
CN215207892U (zh) 广告终端应用设备
KR20070070295A (ko) 광 디지타이저 및 그 물체인식방법
JP2018190306A (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体
CN110132542A (zh) 一种鼠标位移和按键信息的光学检测装置及方法
JP2007156370A (ja) 空間に表示した実像を入力指標とした電子楽器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15836536

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2017510626

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15505723

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15836536

Country of ref document: EP

Kind code of ref document: A2