KR101920176B1 - 광각 영상 촬영 장치 - Google Patents

광각 영상 촬영 장치 Download PDF

Info

Publication number
KR101920176B1
KR101920176B1 KR1020180004739A KR20180004739A KR101920176B1 KR 101920176 B1 KR101920176 B1 KR 101920176B1 KR 1020180004739 A KR1020180004739 A KR 1020180004739A KR 20180004739 A KR20180004739 A KR 20180004739A KR 101920176 B1 KR101920176 B1 KR 101920176B1
Authority
KR
South Korea
Prior art keywords
camera
image
prism
keyboard
key
Prior art date
Application number
KR1020180004739A
Other languages
English (en)
Other versions
KR20180008839A (ko
Inventor
이문기
Original Assignee
이문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이문기 filed Critical 이문기
Publication of KR20180008839A publication Critical patent/KR20180008839A/ko
Application granted granted Critical
Publication of KR101920176B1 publication Critical patent/KR101920176B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G02B5/045—Prism arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/12—Reflex reflectors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10C—PIANOS, HARPSICHORDS, SPINETS OR SIMILAR STRINGED MUSICAL INSTRUMENTS WITH ONE OR MORE KEYBOARDS
    • G10C3/00—Details or accessories
    • G10C3/12—Keyboards; Keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G10H1/0553—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements using optical or light-responsive means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G10H1/344—Structural association with individual keys
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/305—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors using a light beam to detect key, pedal or note actuation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Auxiliary Devices For Music (AREA)
  • Push-Button Switches (AREA)

Abstract

본 발명은 카메라를 이용한 전자 건반에 관한 것으로 재귀반사 필름이 부착된 건반,상기 재귀반사 필름에 빛을 조사하는 광원, 그 옆에 설치되어 재귀반사 필름에서 재귀 반사된 광원의 빛을 촬영하는 카메라, 상기 카메라가 촬영한 영상을 분석하여 반사된 광원의 위치를 추적하여 건반의 눌려진 상태를 알아내서 그 상태에 대응하는 악기 소리를 출력하는 것을 특징으로 한다.

Description

광각 영상 촬영 장치{WIDE ANGLE CAPTURING DEVICE}
본 발명은 긴 물체를 고해상도로 관찰 할 수 있는 행 분할(row division) 광학 모듈과 이를 이용한 전자 건반에 관한 것이다.
본 발명은 건반과 같이 좌우로 긴 물체를 한번에 고해상도로 촬영할 수 있는 행 분할 광학 모듈과 이를 이용한 전자 건반에 관한 것이다.
피아노의 다수의 건반과 같이 좌우로 긴 물체를 한눈에 관찰하려면 관찰자는 그 물체의 전체가 한 눈에 보일 정도로 멀리 떨어져야 한다. 이렇게 멀리 떨어지면 한 눈에 물체의 전제가 보이지만 물체가 작게 보여서 물체를 자세히 관찰하기 어렵다는 문제가 있다. 본 발명은 이러한 문제를 해결 할 수 있는 행 분할 광학 모듈과 이를 이용한 전자 건반을 제공하는 것을 목적으로 한다.
본 발명은 상기한 문제를 해결하기 위하여 긴 물체의 좌측(또는 우측)은 시야의 위쪽에 보이게 하고 나머지 우측(또는 좌측)은 시야의 아래쪽에 보이게 하는 프리즘과 같은 행 분할 광학 모듈을 제공한다. 이러한 광학 모듈을 카메라의 렌즈 앞에 설치하여 긴 물체를 고해상도로 한번에 물체의 전체 영역을 촬영할 수 있다. 이러한 카메라로 피아노의 좌우로 긴 다수의 건반을 한번에 고해상도로 촬영하여 영상처리 수단으로 촬영된 영상에서 건반의 움직임을 검출하여 악기 소리 또는 미디(midi) 신호를 출력할 수 있다.
기존의 디지털 피아노는 건반마다 건반의 움직임을 검출하기 위한 센서나 스위치가 설치되므로 부품 수가 많고 회로가 복잡해서 제조하기 어렵고 고장 나기 쉽고 무겁다. 그러나 본 발명에의한 행 분할 광학 모듈과 카메라를 이용한 피아노는 건반마다 설치되는 복잡한 스위치 회로를 간단하고 소형인 카메라로 대체함으로써 제조를 용이하게 하고 전자 회로의 신뢰성을 향상시킬 수 있고 소비자가 건반 부품과 카메라 모듈을 구입하여 직접 조립하여 제조할 수 도 있어서 저렴하게 디지털 피아노를 구현 할 수 있다.
또한 건반 밑에 인쇄회로기판(PCB)과 센서회로가 없으므로 건반이 가벼워지는 장점이 있고 건반을 투명한 재질로 형성하여 보석과 같은 느낌이 나도록 디자인 하여 시각적 아름다움도 제공할 수 도 있다.
도1은 본 발명의 실시예 구성도
도2는 본 발명의 실시예 구성도
도3는 행 분할 프리즘 사시도
도4는 행 분할 프리즘 측면도
도5는 행 분할 프리즘 평면도
도6은 행 분할 프리즘 분해도
도7은 프리즘 시트 분해도
도8은 행 분할 프리즘 분해도
도9는 도8의 프리즘의 측면도
도10은 도6의 구성의 변형예
도11은 행 분할 프리즘을 사용하지 않고 건반의 마크를 촬영한 영상
도12는 카메라 앞에 행 분할 프리즘을 설치하고 건반의 마크를 촬영한 영상
도13은 행 분할 프리즘 변형예
도14는 도13의 행 분할 프리즘을 카메라 앞에 설치하고 건반의 마크를 촬영한 영상
도15는 잠망경을 이용한 행 분할 광학 모듈 사시도
도16은 카메라를 건반 아래쪽에 설치한 모습
도17은 카메라를 건반 아래쪽에 비스듬히 설치한 모습
도18은 카메라를 건반 바로 밑에 설치한 모습
도19는 도17 또는 도18의 구성의 평면도
도20은 카메라를 건반 위쪽에 설치한 모습
도21은 도20의 사시도
도22는 건반의 마크 사이 간격을 다르게 조정한 모습
실시예 1
전자 피아노는 건반을 누르면 그 건반에 연결된 스위치가 눌려지고 이를 스캐닝 회로가 감지하여 그 건반에 대응하는 악기 소리를 출력하는 장치이다. 이러한 장치는 각 건반마다 스위치가 설치되므로 부품수가 많아서 고장 나기 쉽고 배선이 복잡하여 제조가 어렵다. 또한 복잡한 회로와 배선은 시각적으로 아름답지 못하므로 불투명한 케이스를 사용하여 가리고 있는 실정이다. 이러한 불투명한 케이스는 보기에 답답하다. 본 발명은 이러한 복잡한 회로를 소형이고 신뢰성 높은 카메라로 대체하여 건반 부분을 간단하고 보기 좋게 개선함으로써 불투명한 케이스를 제거할 수 있다. 또한 건반을 투명하게 보석처럼 가공하여 시각적으로 답답하지 않고 아름다운 느낌을 제공하는 것도 가능하다. 또한 스위치회로의 인쇄회로기판을 제거함으로써 제조가 용이하고 산업 폐기물의 발생을 줄이는 것도 가능하다.
이를 위하여 본 발명의 카메라를 이용한 피아노는 도1과 같이 각 건반(KE) 의 움직임이 큰 부분에 재귀반사 필름(SR)과 같은 마크를 부착하고 그 앞에 적외선 LED와 같은 광원(LS)과 카메라(CM)를 서로 말착시켜서 설치하여 광원(LS)에서 방사된 빛이 재귀반사 필름(SR)에 의해 재귀반사된 후 카메라(CM)에 도달하면 그 빛을 카메라로 촬영하고 영상처리 수단으로 촬영된 영상에서 재귀반사필름의 위치를 분석하여 건반의 눌려진 정도를 검출하여 그 정도에 대응하는 소리를 발생시키는 것을 특징으로 한다.
적외선 광원을 사용하는 경우 카메라 앞에는 적외선만 통과시키는 필터를 부착하는 것이 바람직하다. 그렇게 하면 배경은 검정이고 재귀반사 필름만 밝게 촬영되므로 건반의 움직임을 검출하기가 용이하다.
별도의 적외선 LED 를 사용하는 대신 주변광을 사용하고 별도의 재귀반사 필름 대신 일반적인 마크를 사용해도 무방하다. 현재 촬영된 영상과 그 이전 순간에 촬영된 영상의 차분 영상(difference image)을 구하면 움직임이 없는 배경은 차분 픽셀 값이 0이 되고 움직임이 있는 마크 부분만 픽셀 값이 0이 아니게 되므로 건반의 움직임을 검출하기 용이하다. 여기서 차분영상이란 그 픽셀 값이 두 영상을 겹쳐 놓은 경우 겹친 두 영상의 겹친 동일 위치의 두 픽셀의 차이값인 것을 의미한다.
도1에서 건반은 지지 막대(AX) 위에 놓여 있고 건반의 일 단을 누르면(DN) 반대쪽 일단이 지지막대(AX)를 중심으로 위로 회전(UP)한다. 이처럼 건반이 회전하면 카메라에 촬영되는 재귀반사필름의 위치가 변하게 되고 그 위치를 분석하면 건반이 회전한 정도(즉 건반이 눌려진 정도)를 알아낼 수 있다.
건반 수가 많은 경우 하나의 카메라에 모든 건반을 촬영할 수 없을 수도 있다. 모든 건반을 하나의 카메라에 촬영하기 위해서는 카메라와 건반 사이의 거리를 늘리면 되지만 재귀반사 필름이 도11과 같이 작게 촬영되어 건반의 위치를 추적하기 어렵다는 문제가 있다. 이러한 문제를 해결하기 위하여 도1과 같이 카메라 앞에는 본 발명의 행 분할(row division) 프리즘(PS)을 설치하는 것이 바람직하다. 도3은 카메라 앞에 설치된 행 분할 프리즘을 상세히 나타낸 그림이고 도4는 그 측면도이고 도5는 평면도이다. 도6는 행 분할 프리즘을 4개의 단순한 직각 프리즘으로 분해한 모습이다. 이러한 본 실시예의 행 분할 프리즘을 사용하면 하나의 카메라로 좌우로 긴 다수의 건반을 한꺼번에 크게 촬영할 수 있다.
도12는 도3과 같은 프리즘을 통해 카메라로 촬영한 건반의 재귀반사필름 (SR)들의 모습이다. 도12에는 24개의 건반 중 0번부터 11번까지 건반은 이미지의 아래 수평 영역 부분에 촬영되었고 나머지 12번부터 23번까지 건반은 이미지의 위쪽 수평 영역에 촬영되었다. 이에 비해 프리즘을 사용하지 않고 촬영한 영상은 도11과 같이 모든 건반이 하나의 수평선 위에 작게 촬영되었다. 이렇게 촬영하면 각 건반이 작게 촬영되어 영상처리 수단에서 건반의 움직임을 검출하기 어렵고 건반 촬영에 사용되지 않는 낭비되는 픽셀이 많다는 문제가 있다.
도6의 제3,제4프리즘(P3,P4)은(제3,제4광학부) 각각 좌우로 긴 1행의 건반을 카메라 시야에 2행으로 분리되어 촬영되도록 빔을 아래쪽과 위쪽으로 각각 굴절시킨다. 즉 제3 프리즘은 마크(SR)에서 약간 위쪽으로 반사된 빛을 수평이 되게 아래쪽으로 굴절시키고 제4프리즘은 마크에서 약간 아래쪽으로 반사된 빛을 수평이 되게 위쪽으로 굴절시킨다.
제1프리즘과 제2프리즘(P1,P2)(제1,제2광학부)은 제3,제4프리즘에의해 굴절되어 2개의 행으로 분할된 수평 빔을 각각 오른쪽과 왼쪽으로 굴절시키는 역할을 한다. 제1, 제2프리즘을 동일 형태로 형성하고 제3,제4프리즘도 서로 동일 형태로 형성하는 것이 바람직하다.
적외선 LED와 같은 광원(LS)은 제1 프리즘 위쪽과 제2프리즘 아래쪽에 각각 설치될 수도 있으나 이 경우 두 번 설치 작업을 해야 하고 두 개의 광원 모듈을 제작해야 하는 불편함이 있다. 따라서 광원모듈(LS)은 하나의 모듈로 만들어서 도9와 같이 제1,제2 프리즘 사이에 설치하는 것이 바람직하다. 이 경우 광원모듈이 카메라 시야를 가리지 않도록 (즉 카메라 위쪽 시야를 더 위쪽으로 이동시키고 아래쪽 시야를 더 아래쪽으로 이동시키도록) 도8과같이 제1,제2프리즘과 카메라 렌즈 사이에 제5(P5),제6(P6) 프리즘(제5,제6광학부)을 더 설치하는 것이 바람직하다. 제1프리즘과 제5프리즘의 마주보는 면 위의 점들이 서로 접촉할 수 있게 도8과 같이 제5프리즘을 비스듬히 형성하여 제1프리즘과 제5프리즘을 일체형으로 형성할 수 도 있다. 마찬가지로 제2프리즘과 제6프리즘의 마주보는 면 위의 점들이 서로 접촉할 수 있게 도8과 같이 제2프리즘을 비스듬히 형성하여 제2프리즘과 제6프리즘을 일체형으로 형성할 수 도 있다. 도9는 상기 프리즘들의 측면도이다.
이러한 프리즘은 부피를 적게 차지하도록 도7과 같이 프레넬 렌즈 형태의 프리즘 시트 또는 홀로그램으로 형성할 수도 있다. 즉 이러한 프리즘은 굴절 기능이 있는 임의의 광학 모듈로 구현 할 수 있다. 도6과 같이 제3,제4 프리즘의 직각 부분(R3,R4)은 서로 접하도록 부착하여 이등변 삼각형 프리즘이 되게 형성하고 제1,2프리즘의 직각 부분(R1,R2)은 서로 좌우로 멀리 떨어지도록 부착하여 본 실시예의 행 분할 프리즘을 형성할 수 있다. 제3,4,5,6프리즘은 생략될 수도 있다.
또한 도6의 제1,2 프리즘을 도10과 같이 직각 프리즘이 아닌 일반적인 삼각형(예를 들면 이등변 삼각형) 프리즘으로 구성해도 무방하다. 이 경우 제1 프리즘과 제3프리즘의 마주보는 면 위의 모든 점들이 서로 접촉할 수 있도록 제3프리즘을 도10과 같이 비스듬히 형성하는 것이 바람직하다. 마찬가지로 제4프리즘도 제2프리즘과 마주보는 면 위의 모든 점들이 접촉할 수 있도록 제4프리즘을 도10과 같이 비스듬히 형성하는 것이 바람직하다. 이렇게 두 프리즘의 마주보는 면을 접하게 형성하여 두 프리즘(예를 들면 아크릴 프리즘)을 접착제(예를 들면 아크릴 본드)로 부착하여 일체형 프리즘으로 제작할 수 있다.
도1은 건반의 좌우측 절반을 2개의 카메라(CM1,CM2)로 각각 촬영하는 모습이다. 건반 수가 적다면 카메라는 1개만 사용할 수도 있고 건반 수가 많다면 2개 이상 사용할 수도 있다. 각 카메라 앞에는 좌우측에서 입사되는 빔을 카메라 앞으로 굴절시키는 도3과 같은 프리즘을 설치하여 좌측의 건반들은 영상의 아래쪽(또는 위쪽) 수평선 영역에 촬영하고 나머지 건반의 우측 부분은 영상의 위쪽(또는 아래쪽) 수평선 영역에 촬영할 수 있다. 즉 원래 좌우로 긴 1행(ROW)의 건반을 영상에 짧은 2행으로 나누어 촬영하되 나누어진 두 행은 각각 카메라 시야에서 상하로 배열될 수 있다.
도13은 카메라 앞의 두 프리즘 사이에 빈공간이 있도록 설치하여 그 공간 사이로도 건반을 촬영하는 구성이다. 이러한 구성으로 촬영한 건반 영상은 도14와 같이 세개의 행으로 촬영된다. 도15는 프리즘 대신 잠망경 형태의 거울을 사용하여 건반을 세개의 행으로 촬영하는 구성이다. 이처럼 긴 물체를 고해상도로 한번에 촬영할 수 있는 광학 모듈(프리즘, 홀로그램, 잠망경 형태의 거울 모듈 등)을 본 발명에서는 행 분할(row division) 광학 모듈이라 한다.
재귀반사 필름은 3M 사에서 판매하고 있는 제품으로 입사된 광선을 광원쪽으로 반사시키는 필름이다. 건반에 재귀반사필름을 부착할 때 인접한 두 건반에 서로 다른 색의 재귀반사 필름을 부착하는 것이 영상처리수단에서 각 건반을 구별하여 움직임을 추적하는 데 편리하다. 예를 들면 검정 건반에는 빨강색 재귀반사 필름을 부착하고 흰 건반에는 파랑색 재귀반사 필름을 부착하고 칼라 카메라로 이를 촬영하고 영상처리 수단은 촬영된 영상의 색깔을 분석하여 밝은 부분을 추적하여 건반의 움직임을 더 정확히 검출 할 수 있다. 기준위치가 되는 건반을 표시하기 위하여 위의 두 색(빨강,파랑)과 다른색 (예를 들면 녹색)의 재귀반사 필름을 특정 건반(예를 들면 중간 옥타브의 시작 건반 즉 가운데 도)에 부착할 수도 있다. 이러한 특정 색을 영상처리수단이 검출하여 주변 건반이 몇 번째 건반인지 쉽게 인식할 수 있다. 또는 특정 기준 위치의 건반을 표시하기 위하여 재귀 반사 필름의 형태를 다르게 형성 할 수도 있다. 예를 들어서 보통 건반의 재귀 반사 필름은 사각형과 같은 다각형으로 하고 기준 위치의 건반의 재귀 반사 필름은 원형으로 할 수도 있다.
그리고 특정 기준 위치의 건반을 표시하기 위하여 재귀 반사 필름의 간격을 다르게 조정할 수도 있다. 예를 들어서 도22와 같이 이웃한 재귀반사 필름 사이의 간격을 작게 하거나 크게 조정할 수 있다.
건반을 누른 깊이(각도)와 촬영된 영상에서 재귀반사 필름 또는 마크의 이동 거리가 대략 비례하므로 촬영된 영상에서 각 건반의 재귀반사 필름의 위치를 추적해서 각 건반이 눌려진 깊이(정도)를 알아낼 수 있고 그 정도에 대응하는 소리를 출력시킬 수 있다. 예를 들어서 건반을 누른 깊이에 비례해서 원래 출력할 소리보다 주파수를 약간 높여서 출력할 수도 있다. 이 경우 누르는 깊이를 진동시키면 마치 기타나 바이올린의 현을 누르는 손가락을 진동시키는 연주 효과를 만들 수 있다. 또한 깊이 누른 정도에 비례해서 오르간 소리의 크기(볼륨)을 증가시킬 수도 있다. 그리고 건반을 누른 속도를 검출하여 그 속도에 비례해서 피아노 소리의 세기를 증가시킬 수도 있다.
또는 도2와 같이 건반이 좌우로 진동하는 것을 카메라로 촬영하고 영상처리 수단으로 검출하여 모듈레이션 휠이나 피치밴드 또는 애프터 터치의 기능을 구현할 수도 있다. 이 경우 촬영된 영상에서 건반에 부착된 재귀반사 필름은 좌우로 진동하는 것으로 나타난다. 이를 위하여 건반은 상하 뿐만 아니라 좌우로도 움직일 수 있도록 구성하는 것이 바람직하다.
즉 기존의 마스터 키보드의 모듈레이션 휠이나 피치밴드 또는 애프터 터치의 기능을 각 건반의 누르는 정도나 방향을 검출하여 구현 할 수 있다.
기존의 전자 건반의 경우는 건반 수에 비례하여 이러한 깊이 검출 회로가 증가하는 단점이 있다. 그러나 본 발명에의한 회로는 건반수가 늘어나더라도 카메라 수는 건반 수에 비례해서 늘어날 필요는 없다. 또한 물리적인 전기단자를 포함하는 스위치를 사용한 것이 아니라 카메라를 사용한 비접촉식 검출법이므로 전기 단자에서 발생하는 접촉 불량 문제, 마찰 문제,채터링 문제가 원천 봉쇄된다. 이러한 기능은 예를 들어서 거문고나 가야금과 같은 현악기를 연주할 때 현을 누르는 힘을 연속적으로 변화시키는 효과를 얻는데 사용될 수 있다.
장치의 부피를 줄이기 위하여 카메라와 건반 사이에 건반 만큼 긴 직각 프리즘(RP) 또는 거울을 설치하여 카메라를 도16 또는 도20과 같이 건반 아래 또는 위쪽에 설치할 수도 있다. 도21은 도20의 사시도 이다.
도16의 직각 프리즘을 생략하는 대신 도17 또는 도18과 같이 카메라를 좀더 건반 아래쪽으로 이동시키고 건반 끝부분에 막대(LB)를 L자 형태로 부착하여 그 끝에 카메라를 향하는 방향으로 재귀반사 필름(SR)을 부착할 수도 있다. 건반 개수가 많아서 카메라를 1개 이상 사용하는 경우(예를 들면 88건반인 경우 카메라 2개를 사용하는 경우)다수의 카메라는 건반 페달근처에 모아 설치하는 것이 바람직하다. 도19는 도17 또는 도18의 평면도이다. 카메라 시야의 좌우측 끝쪽에 위치한 이러한 재귀반사 필름은 왜곡되어 촬영되는 것을 완화시키기 위하여 도19와 같이 재귀반사 필름의 면은 최대한 카메라를 향하도록 곡선(예를 들면 카메라 쪽에 중심이 존재하는 타원) 위에 배치하는 것이 바람직하다. 또한 카메라에서 먼 좌우측 끝부분의 재귀반사필름(FSR)일 수록 그 크기를 크게 하고 카메라에서 가까운 정면의 재귀반사 필름(NSR)일 수록 그 크기를 작게 하여 모든 재귀반사 필름이 최대한 동일 크기로 촬영될 수 있게 조정하는 것이 바람직하다. 그리고 카메라에서 먼 좌우측 끝부분의 재귀반사필름(FSR)일 수록 이웃하는 재귀반사 필름과의 간격을 크게 하고 카메라에서 가까운 정면의 재귀반사 필름(NSR)일 수록 이웃한 재귀반사 필름과의 간격을 작게 하여 모든 재귀반사 필름의 간격이 최대한 동일 크기로 촬영될 수 있게 조정하는 것이 바람직하다.
또한 오랫동안 연주를 하지 않을 때에는 광원과 카메라가 자동으로 꺼져서 전기소모를 줄이는 것이 바람직하다. 이를 위해 영상처리프로그램에서 건반의 움직임이 검출되지 않은 시간이 임계시간 이상 되면 자동으로 광원과 카메라를 끄고 슬립모드가 되게 하는 것이 바람직하다. 여기서 슬립모드는 예를 들어서 1초동안 광원과 카메라를 켜고 촬영하고 2초동안 광원과 카메라를 끄고 촬영을 하지 않는 것을 반복할 수 있다. 이러한 슬립 모드 중에 건반의 움직임이 검출됐다면 원래의 보통 모드(항상 광원과 카메라가 켜진 모드)로 복귀할 수 있다.
CM,CM1,CM2 : 카메라
KE : 건반
DN : 건반이 눌려지는 방향
AX : 건반 지지대
SR,FSR,NSR: 재귀반사 필름
LS : 광원
PS,P1,P2,P3,P4,P5,P6 : 프리즘
up : 프리즘 위 부분
dp : 프리즘 아래 부분
UL,DL,ML : 빔
RP:긴 직각 프리즘
R1,R2,R3,R4 : 직각꼭지점

Claims (7)

  1. 광각 영상 촬영 장치에 있어서
    우측에서 입사되는 빛을 정면으로 진행하도록 광경로를 변화시키는 제1 광학부;
    좌측에서 입사되는 빛을 정면으로 진행하도록 광경로를 변화시키는 제2 광학부;
    상기 제1 및 제2 광학부에의해 입사되는 빛의 영상을 촬영하는 카메라를 포함하되
    상기 제1 및 제2 광학부는 상하로 배열되고
    상기 제1 광학부에의해 입사되는 빛의 영상과 제2 광학부에의해 입사되는 빛의 영상은 카메라의 이미지 센서의 위와 아래 또는 아래와 위의 영역에 각각 촬영되고
    제1광학부와 제2광학부 사이에 빈 공간이 형성되고 상기 빈 공간을 통해 입사되는 빛의 영상은 제1광학부와 제2 광학부를 통해 입사되는 빛에의해 촬영된 영상의 사이에 촬영되는
    것을 특징으로 하는 광각 영상 촬영 장치
  2. 제 1항에 있어서
    제1 광학부와 제2 광학부는 프리즘,프리즘 시트,홀로그램, 회절소자 또는 거울을 포함하는 것을 특징으로 하는 광각 영상 촬영 장치
  3. 제 1항에 있어서 카메라는 좌우로 나열된 건반을 촬영한 영상을 분석하여 건반의 움직임을 검출하는 영상처리 수단을 포함하는 것을 특징으로 하는 광각 영상 촬영 장치
  4. 제 3항에 있어서
    상기 건반에는 마크가 포함되고
    상기 영상처리 수단은 촬영된 영상에서 상기 마크를 검출하여 건반의 움직임을 알아내는 것을 특징으로하는 광각 영상 촬영 장치
  5. 제 4항에 있어서
    상기 마크는 재귀반사 수단이고
    상기 카메라는 상기 재귀반사 수단에 빛을 조사하는 광원을 포함하는 것을 특징으로하는 광각 영상 촬영 장치
  6. 제3항에 있어서 상기 영상처리수단은 건반이 눌려진 속도 또는 건반이 눌려진 깊이를 검출하여 그에 대응하는 신호를 출력하는 것을 특징으로하는 광각 영상 촬영 장치
  7. 삭제
KR1020180004739A 2014-08-23 2018-01-13 광각 영상 촬영 장치 KR101920176B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR1020140110154 2014-08-23
KR20140110154 2014-08-23
KR20150011636 2015-01-24
KR1020150011636 2015-01-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150118295A Division KR20160023619A (ko) 2014-08-23 2015-08-22 행 분할 광학 모듈과 이를 이용한 전자 건반

Publications (2)

Publication Number Publication Date
KR20180008839A KR20180008839A (ko) 2018-01-24
KR101920176B1 true KR101920176B1 (ko) 2018-11-19

Family

ID=55400780

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150118295A KR20160023619A (ko) 2014-08-23 2015-08-22 행 분할 광학 모듈과 이를 이용한 전자 건반
KR1020180004739A KR101920176B1 (ko) 2014-08-23 2018-01-13 광각 영상 촬영 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150118295A KR20160023619A (ko) 2014-08-23 2015-08-22 행 분할 광학 모듈과 이를 이용한 전자 건반

Country Status (5)

Country Link
US (1) US10199025B2 (ko)
JP (1) JP6729939B2 (ko)
KR (2) KR20160023619A (ko)
CN (1) CN107004401B (ko)
WO (1) WO2016032176A2 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10199025B2 (en) * 2014-08-23 2019-02-05 Moon Key Lee Image capturing device and electronic keyboard using the image capturing device
JP6836329B2 (ja) * 2016-03-31 2021-02-24 日本テレビ放送網株式会社 演奏装置及び演奏支援システム
CN109682823B (zh) * 2018-12-28 2021-04-30 新昌县馁侃农业开发有限公司 起毛程度判断平台
US10916232B1 (en) * 2019-08-29 2021-02-09 Taff Optical, Llc Acoustical optical pickup for use in stringed musical instruments
KR102095958B1 (ko) 2019-11-28 2020-04-01 주식회사 우드메탈 용접이 필요 없는 파이프 철 구조의 결합 체계를 갖는 멀티 테이블
KR102626366B1 (ko) 2023-07-28 2024-01-17 주식회사 한성넥스 테이블용 지주장치
KR102672559B1 (ko) 2023-08-31 2024-06-05 주식회사 더블엠 사용자의 결합과 분해가 용이한 슬라이드형 체결구조를 구비한 테이블

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007528028A (ja) * 2004-03-09 2007-10-04 イアティア イメージング プロプライアタリー リミティド 異なる焦点に合わせられた画像を生成する光学システム
JP2010183490A (ja) * 2009-02-09 2010-08-19 Olympus Imaging Corp 監視カメラ装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2168886A (en) * 1938-08-24 1939-08-08 Daniel A Roberts Actuating means for typewriters and other mechanisms
US4113353A (en) * 1974-04-20 1978-09-12 Akira Matsushita Information processing optical device
US3886544A (en) * 1974-06-12 1975-05-27 Leo H Narodny Keyboard using optical switching
US4379968A (en) * 1980-12-24 1983-04-12 Burroughs Corp. Photo-optical keyboard having light attenuating means
US4641026A (en) * 1984-02-02 1987-02-03 Texas Instruments Incorporated Optically activated keyboard for digital system
FR2596222B1 (fr) * 1986-03-19 1992-02-07 Souloumiac Alain Amelioration des claviers optiques
JP3096546B2 (ja) * 1993-11-22 2000-10-10 株式会社河合楽器製作所 電子楽器のタッチ検出装置
JPH0962201A (ja) * 1995-08-29 1997-03-07 Toyo Commun Equip Co Ltd キー照明部の回路基板構造
JP3552374B2 (ja) * 1995-11-30 2004-08-11 ヤマハ株式会社 信号出力装置および光センサ
US5910348A (en) 1996-12-06 1999-06-08 Mcdonnell Douglas Corporation Separator film
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
KR20020069712A (ko) * 2001-02-27 2002-09-05 이문기 건반의 누름 속도 및 깊이를 감지할 수 있는 키보드 장치
US7406245B2 (en) * 2004-07-27 2008-07-29 Lumitex, Inc. Flat optical fiber light emitters
KR20040049045A (ko) 2002-12-03 2004-06-11 삼성전자주식회사 듀얼 프리즘 및 이를 채용한 듀얼 카메라
JP2004198761A (ja) 2002-12-19 2004-07-15 Casio Comput Co Ltd 演奏教習装置および演奏教習処理のプログラム
KR100490235B1 (ko) * 2003-01-13 2005-05-19 이문기 광 스틱과 카메라를 이용한 드럼 연주장치
KR100522769B1 (ko) 2003-02-12 2005-10-20 주식회사 세원기연 가스엔진 히트펌프를 이용한 절전형 항온항습기
GB2400359B (en) 2003-04-10 2006-07-26 Advanced Transp Systems Ltd Station design for personal rapid transport systems
JP4218520B2 (ja) * 2003-12-26 2009-02-04 ヤマハ株式会社 演奏操作子用のアクチュエータユニット及び前記アクチュエータユニットを備えた鍵盤楽器及び前記アクチュエータユニットのアセンブリ
US8098290B2 (en) * 2004-01-30 2012-01-17 Siemens Corporation Multiple camera system for obtaining high resolution images of objects
KR20060077382A (ko) * 2004-12-30 2006-07-05 이문기 영상 전달 장치와 카메라를 이용한 전자 건반 연주장치
US7446677B2 (en) * 2005-11-14 2008-11-04 Avago Technologies Ecbu Ip Pte Ltd Method and apparatus for optically detecting selections made on an input device
US9477310B2 (en) * 2006-07-16 2016-10-25 Ibrahim Farid Cherradi El Fadili Free fingers typing technology
US8022942B2 (en) * 2007-01-25 2011-09-20 Microsoft Corporation Dynamic projected user interface
US7924175B2 (en) * 2007-03-26 2011-04-12 Motorola Mobility, Inc. Optical keypad for electronic device
JP2008306350A (ja) * 2007-06-06 2008-12-18 Hitachi Maxell Ltd カメラモジュール及び撮像装置
US20100149099A1 (en) * 2008-12-12 2010-06-17 John Greer Elias Motion sensitive mechanical keyboard
CN101847060B (zh) * 2009-03-27 2012-10-10 联想(北京)有限公司 光学触摸系统及光学触摸定位方法
JP2010263478A (ja) * 2009-05-08 2010-11-18 Olympus Imaging Corp カメラユニットおよびこれを用いるカメラシステム
US8860693B2 (en) * 2009-07-08 2014-10-14 Apple Inc. Image processing for camera based motion tracking
US8324488B2 (en) * 2009-09-15 2012-12-04 Yamaha Corporation Pedal apparatus of an electronic musical instrument
US8761556B2 (en) * 2010-05-07 2014-06-24 Taerok Jung Light guide device having multi channels
KR20120057916A (ko) * 2010-11-29 2012-06-07 최해용 입체 변환 확대 투사 광학계
US9542016B2 (en) * 2012-09-13 2017-01-10 Apple Inc. Optical sensing mechanisms for input devices
US9557846B2 (en) * 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US20140132516A1 (en) * 2012-11-12 2014-05-15 Sunrex Technology Corp. Optical keyboard
US20140201685A1 (en) * 2013-01-14 2014-07-17 Darren Lim User input determination
GB201315228D0 (en) * 2013-08-27 2013-10-09 Univ London Queen Mary Control methods for expressive musical performance from a keyboard or key-board-like interface
US9797752B1 (en) * 2014-07-16 2017-10-24 Apple Inc. Optical encoder with axially aligned sensor
US10199025B2 (en) * 2014-08-23 2019-02-05 Moon Key Lee Image capturing device and electronic keyboard using the image capturing device
CN104200799B (zh) * 2014-08-26 2018-07-13 杭州随身教科技有限公司 键盘类乐器琴键的动态图像检测装置及方法
US9952682B2 (en) * 2015-04-15 2018-04-24 Apple Inc. Depressible keys with decoupled electrical and mechanical functionality
CN106611672A (zh) * 2015-10-22 2017-05-03 致伸科技股份有限公司 光学式开关键盘

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007528028A (ja) * 2004-03-09 2007-10-04 イアティア イメージング プロプライアタリー リミティド 異なる焦点に合わせられた画像を生成する光学システム
JP2010183490A (ja) * 2009-02-09 2010-08-19 Olympus Imaging Corp 監視カメラ装置

Also Published As

Publication number Publication date
KR20160023619A (ko) 2016-03-03
US20170278499A1 (en) 2017-09-28
JP2017529562A (ja) 2017-10-05
CN107004401A (zh) 2017-08-01
WO2016032176A2 (ko) 2016-03-03
JP6729939B2 (ja) 2020-07-29
CN107004401B (zh) 2020-12-29
WO2016032176A3 (ko) 2017-05-18
KR20180008839A (ko) 2018-01-24
US10199025B2 (en) 2019-02-05

Similar Documents

Publication Publication Date Title
KR101920176B1 (ko) 광각 영상 촬영 장치
US7310090B2 (en) Optical generic switch panel
US6100538A (en) Optical digitizer and display means for providing display of indicated position
EP3502767B1 (en) Mobile terminal and method for controlling the same
US9251397B2 (en) Fingerprint image capturing device and fingerprint image capturing module thereof
US9454265B2 (en) Integration of a light collection light-guide with a field sequential color display
KR20120077404A (ko) 패널 형태의 면 카메라, 이를 적용한 광 터치스크린 및 디스플레이 장치
JP6230911B2 (ja) 距離測定のためのライトプロジェクタ及びビジョンシステム
US20170124375A1 (en) Fingerprint image capturing device and fingerprint image capturing module thereof
TW201643609A (zh) 非接觸輸入裝置及方法
JP2016154035A5 (ko)
JP2010287225A (ja) タッチ式入力装置
WO2013161498A1 (ja) 表示入力装置
WO2016021313A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO1996029677A1 (en) An interactive display and input device
DE50303076D1 (de) Digitale Laufbildkamera
US9229582B2 (en) Motion trajectory capturing device and motion trajectory capturing module thereof
CN102854509A (zh) 光学式位置检测装置、受光单元及带输入功能的显示系统
JP4586370B2 (ja) 投射表示装置及び投射表示方法
JP5435509B2 (ja) 操作情報入力システム及び方法
TW202219825A (zh) 取像裝置
JP2022097901A (ja) 空間浮遊映像表示装置
KR20060077382A (ko) 영상 전달 장치와 카메라를 이용한 전자 건반 연주장치
JP3782983B2 (ja) ポインティングデバイス
JP6233941B1 (ja) 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant