KR20130133709A - 입체 동영상 촬영용 장치 및 카메라 - Google Patents

입체 동영상 촬영용 장치 및 카메라 Download PDF

Info

Publication number
KR20130133709A
KR20130133709A KR1020130117169A KR20130117169A KR20130133709A KR 20130133709 A KR20130133709 A KR 20130133709A KR 1020130117169 A KR1020130117169 A KR 1020130117169A KR 20130117169 A KR20130117169 A KR 20130117169A KR 20130133709 A KR20130133709 A KR 20130133709A
Authority
KR
South Korea
Prior art keywords
moving
camera
trajectory
moving body
present
Prior art date
Application number
KR1020130117169A
Other languages
English (en)
Other versions
KR101433645B1 (ko
Inventor
김성도
Original Assignee
김성도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성도 filed Critical 김성도
Priority to KR1020130117169A priority Critical patent/KR101433645B1/ko
Publication of KR20130133709A publication Critical patent/KR20130133709A/ko
Application granted granted Critical
Publication of KR101433645B1 publication Critical patent/KR101433645B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/54—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being generated by moving a 2D surface, e.g. by vibrating or rotating the 2D surface
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 입체 동영상의 심도가 높은 입체 동영상 촬영용 장치에 관한 것으로, 전후이동궤도와 좌우이동궤도가 직교하여 설치된 수평궤도; 상기 수평궤도를 따라 전후좌우로 움직이는 이동체; 상기 이동체의 위쪽으로 연장형성된 수직궤도; 상기 수직궤도에 설치되어 상하로 움직이는 카메라 설치부를 포함한다.
본 발명은, 단일의 카메라 또는 이미지 센서를 이용함으로써, 광손실이 없으면서 입체안경과 같은 장비를 사용하지 않고 볼 수 있는 입체 동영상을 촬영할 수 있는 효과가 있다. 그리고 본 발명을 이용하여 촬영된 동영상은 깜박임과 잔상에 의한 문제가 없으며, 입체안경을 이용하지 않고 볼 수 있기 때문에 한쪽 눈을 실명한 사람도 입체 동영상을 볼 수 있다. 또한, 좌우와 전후 및 상하 등으로 움직이며 영상을 촬영하기 때문에 실제 눈으로 보는 것처럼 편안하고 자연스러우며 심도가 깊은 입체 동영상을 촬영할 수 있는 효과가 있다.

Description

입체 동영상 촬영용 장치 및 카메라{3-DIMENSIONAL MOVING PICTURE PHOTOGRAPHING APPARATUS AND CAMERA}
본 발명은 하나의 카메라로 전후 좌우 또는 전후 좌우 상하로 이동하면서 연속적인 동영상을 촬영함으로써 나안으로도 입체 동영상을 인식하도록 하는 입체 동영상 촬영 장치 및 카메라에 관한 것으로, 더욱 자세하게는 좌우뿐만 아니라 앞뒤 또는 전후 좌우 및 상하로 이동하면서 연속적인 동영상을 촬영하여 심도가 깊은 입체 동영상을 촬영하는 장치 및 카메라에 관한 것이다.
3D 입체영상 기술은 생동감 있는 영상을 구현하기 위한 것으로 차세대 영상기술로 각광받고 있다. 최근 들어 영화, 교육, 광고 등의 각종 3D 영상 콘텐츠의 제작이 활발해지고 있으며 3D TV의 보급으로 관련시장의 규모가 크게 확대될 것으로 예상되고 있다.
이러한 3D 입체 동영상을 촬영하는 기술은 인간이 두 눈을 통해 세상을 바라보는 양안시차의 원리를 이용한다. 인간의 두 눈은 약 65mm 정도 이격되어 있고, 이로 인해 좌안과 우안은 각각 서로 다른 2차원 화상을 인식하게 되며, 최종적으로 뇌가 서로 다른 두 화상을 합성하여 인식함으로써 입체감을 느끼게 된다. 따라서 입체영상을 얻기 위해서는 인간의 좌안과 우안에 해당하는 2대의 영상카메라를 이용하여 피사체를 촬영하고, 좌측 영상과 우측 영상을 동기화하여 합성하는 과정을 거치는 것이 일반적이다.
이렇게 2대의 영상카메라를 사용할 경우에, 각 카메라의 초점과 주시각을 제어하기 어려워 촬영준비에 시간이 많이 걸릴 뿐만 아니라, 2개의 영상을 조합하여 입체 영상을 제작하는 과정이 매우 복잡하여 영상 제작에도 많은 시간이 걸린다. 또한 각 카메라의 렌즈마다 구면 수차. 색수차 등 렌즈의 광학적 특성이 비록 미세하지만 다르게 표현되어 이들을 보정하기 위한 노력이 많이 드는 단점이 있다.
이러한 문제점을 해소하기 위하여, 서로 다른 방향에서 서로 다른 렌즈로 입사된 빛을 반거울(half mirror)을 이용하여 하나의 카메라로 교차 촬영함으로써 두 개의 카메라로 촬영한 것과 같은 효과를 얻는 기술(대한민국 공개특허 제2000-24767호)이 개발되었으나, 이 경우에도 2개의 렌즈의 특성 차이에 의한 문제가 있으며 반거울을 사용하기 때문에 광 손실률이 높은 단점이 있다.
이상과 같이 양안시차의 원리를 이용한 종래의 입체 동영상 촬영장치는, 좌로 이격된 영상을 조합하는 점에서 입체영상의 심도가 높지 못한 단점을 공통적으로 가지고 있다. 한편, 입체영상의 심도를 높이기 위하여 피사체를 중심에 놓고 여러 방향에서 다수의 카메라로 촬영하는 기술(대한민국 등록특허 제10-0324392호)이 개발되어 있지만, 이는 정지된 3차원 입체영상을 촬영하기 위한 기술이며, 움직이는 입체 동영상을 촬영하기 위한 기술은 아직 양안시차를 이용하는 기술을 벗어나지 못하고 있다.
이에 본 발명의 출원인은 단일의 카메라 또는 렌즈가 좌우로 왕복하며 영상을 촬영함으로써, 광손실에 따른 영상의 저하가 없으면서 1초에 수십~수백 장으로 구성된 영상의 잔상에 의해 입체안경 없이도 사람의 뇌에서 입체적인 동영상으로 인식할 수 있게 하는 입체영상 촬영장치에 대한 발명(대한민국 공개특허 제2011-0009740호)을 출원하였으나, 좌우로만 이동하며 촬영한 영상으로는 입체 동영상의 심도가 깊지 못하였다.
대한민국 공개특허 제2000-0024767호 대한민국 등록특허 제10-0324392호 대한민국 공개특허 제2011-0009740호
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서 광손실에 따른 영상의 저하가 없으면서, 입체 동영상의 심도가 높은 입체 동영상 촬영용 장치 및 입체 동영상 촬영용 카메라를 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명에 의한 입체 동영상 촬영용 장치는, 전후이동궤도와 좌우이동궤도가 직교하여 설치된 수평궤도; 상기 수평궤도를 따라 전후좌우로 움직이는 이동체; 상기 이동체의 위쪽으로 연장형성된 수직궤도; 상기 수직궤도에 설치되어 상하로 움직이는 카메라 설치부를 포함한다.
이때, 카메라 설치부에 설치된 카메라의 촬영방향이 미리 설정된 정면의 한 지점을 계속 향하도록 각도가 조절될 수 있다. 구체적으로는, 3축장치 등을 이용해서 카메라 설치부가 수직궤도의 중심보다 위쪽에 위치할 때는 카메라의 촬영방향이 수직궤도 중심을 기준으로 아래쪽을 향하도록 각도를 조절하고, 카메라 설치부가 수직궤도의 중심보다 아래쪽에 위치할 때는 카메라의 촬영방향이 수직궤도 중심을 기준으로 위쪽을 향하도록 각도를 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 계속 향하도록 할 수 있다.
또한, 카메라의 렌즈가 전후이동궤도보다 왼쪽에 위치할 때는 카메라의 촬영방향이 전후이동궤도룰 기준으로 오른쪽을 향하도록 각도를 조절하고, 카메라의 렌즈가 전후이동궤도보다 오른쪽에 위치할 때는 카메라의 촬영방향이 전후이동궤도를 기준으로 왼쪽을 향하도록 각도를 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 계속 향하도록 할 수 있다.
본 발명에 의한 입체 동영상 촬영용 카메라는, 전후이동궤도와 좌우이동궤도가 직교하여 설치된 수평궤도; 상기 수평궤도를 따라 전후좌우로 움직이는 이동체; 상기 이동체의 위쪽으로 연장형성된 수직궤도; 상기 수직궤도에 설치되어 상하로 움직이며, 렌즈와 이미지센서를 포함하는 촬영부; 및 상기 촬영부의 이미지센서에서 촬영한 이미지데이터를 유선 또는 무선으로 전달받아 저장하는 메모리부를 포함한다.
이러한 카메라의 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 각도가 조절될 수 있다.
본 발명의 발명자는 카메라 또는 촬영부가 이동하면서 심도가 깊은 입체 동영상을 촬영할 수 있도록, 전후이동궤도와 좌우이동궤도를 포함하는 수평궤도에 수직궤도를 추가함으로써, 전후 좌우 및 상하의 움직임을 다양하게 변경하여 다양한 위치에서 영상을 촬영할 수 있는 장치와 카메라를 발명하였다.
본 발명에 의한 입체 동영상 촬영용 장치는, 수평으로 배치된 원형궤도; 상기 궤도를 따라서 움직이는 이동체; 상기 이동체에 연결된 카메라 설치부를 포함하며, 상기 원형궤도의 외부에 위치하는 대상물을 촬영하기 위하여 상기 이동체가 회전하여도 상기 카메라 설치부의 앞부분이 항상 전면의 촬영방향을 향하는 것을 특징으로 한다.
이때, 상기 카메라 설치부에 설치된 카메라의 촬영방향이 미리 설정된 정면의 한 지점을 계속 향하도록 각도가 조절되는 것이 가능하다. 구체적으로는, 설치부가 원형궤도의 중심보다 왼쪽에 위치할 때는 카메라의 촬영방향이 원형궤도의 중심을 기준으로 오른쪽을 향하도록 각도를 조절하고, 카메라 설치부가 원형궤도의 중심보다 오른쪽에 위치할 때는 카메라의 촬영방향이 원형궤도의 중심을 기준으로 왼쪽을 향하도록 각도를 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 계속 향하도록 할 수 있다.
본 발명에 의한 입체 동영상 촬영용 카메라는, 수평으로 배치된 원형궤도; 상기 궤도를 따라서 움직이는 이동체; 상기 이동체에 연결되고, 상기 원형궤도의 외부에 위치하는 대상물을 촬영하기 위하여 상기 이동체가 회전하여도 앞부분이 항상 전면의 촬영방향을 향하며, 렌즈와 이미지센서를 포함하는 촬영부; 및 상기 촬영부의 이미지센서에서 촬영한 이미지데이터를 유선 또는 무선으로 전달받아 저장하는 메모리부를 포함한다.
이러한 카메라의 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 각도가 조절될 수 있다.
본 발명의 발명자는 카메라 또는 촬영부가 이동하면서 심도가 깊은 입체 동영상을 촬영할 수 있도록, 좌우이동 및 전후이동을 할 수 있도록 원형궤도를 적용함으로써, 전후 좌우의 다양한 위치에서 영상을 촬영할 수 있는 장치와 카메라를 발명하였다.
이때, 원형궤도의 전후방향과 좌우방향의 길이를 조절할 수 있는 것이 좋다. 원형궤도의 길이를 조절하여 궤도의 형태를 변경하면 카메라 또는 촬영부가 움직이는 위치를 변경할 수 있으며, 입체 동영상 촬영 시에 다양한 효과를 얻을 수 있다.
상술한 바와 같이 구성된 본 발명은, 단일의 카메라 또는 이미지 센서를 이용함으로써, 광손실이 없으면서 입체안경과 같은 장비를 사용하지 않고 볼 수 있는 입체 동영상을 촬영할 수 있는 효과가 있다.
그리고 본 발명을 이용하여 촬영된 동영상은 깜박임과 잔상에 의한 문제가 없으며, 입체안경을 이용하지 않고 볼 수 있기 때문에 한쪽 눈을 실명한 사람도 입체 동영상을 볼 수 있다.
또한, 전후 좌우 또는 전후 좌우 및 상하로 움직이며 영상을 촬영하기 때문에 실제 눈으로 보는 것처럼 편안하고 자연스러우며 심도가 깊은 입체 동영상을 촬영할 수 있는 효과가 있다.
도 1은 본 발명의 첫 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조를 나타내는 모식도이다.
도 2는 본 발명의 첫 번째 실시예에 따른 장치의 동작을 나타내는 모식도이다.
도 3은 본 발명의 첫 번째 실시예에 따른 장치의 다른 동작을 나타내는 모식도이다.
도 4는 본 발명의 두 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조를 나타내는 모식도이다.
도 5는 본 발명의 세 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조를 나타내는 모식도이다.
도 6은 본 발명의 네 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조와 동작을 나타내는 모식도이다.
도 7은 본 발명의 네 번째 실시예에서 원형궤도의 형태를 변형시킨 모습을 나타낸 모식도이다.
첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.
도 1은 본 발명의 첫 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조를 나타내는 모식도이다.
본 실시예의 입체 동영상 촬영용 장치는 전후이동궤도(110)와 좌우이동궤도(120)로 구성되는 수평궤도, 이동체(130), 수평 회전바(140) 및 카메라 설치부(150)를 포함하여 구성된다.
수평궤도는 직선으로 형성된 전후이동궤도(110)와 좌우이동궤도(120)가 서로 직교하여 배치되며, 이동체(130)는 전후이동궤도(110)와 좌우이동궤도(120)에 의해서 전후좌우로 움직인다.
본 실시예는 좌우이동궤도(120)가 전후이동궤도(110)를 따라서 앞뒤로 이동하고, 이동체(130)는 좌우이동궤도(120)를 따라서 움직이는 구조로 구성하여, 좌우이동궤도(120)의 전후 움직임과 이동체(130)의 좌우 움직임이 결합되어 이동체(130)가 전체적으로 전후좌우로 움직이는 구조이다.
그러나 본 발명이 이러한 본 실시예의 구조에 제한되는 것은 아니며, 직교하는 두 개의 궤도에 의해서 이동체가 전후좌우로 움직일 수 있는 구성이면 본 발명의 범위에 속한다.
수평 회전바(140)는 한쪽 끝이 이동체(130)에 회전축(141)으로 연결되어 평면상에서 회전하며, 반대 쪽 끝에는 카메라 설치부(150)가 연결된다. 따라서 수평 회전바(140)가 회전축(141)을 중심으로 회전하면 반대쪽의 카메라 설치부(150)에 설치된 카메라가 원운동을 한다.
카메라 설치부(150)는 동영상을 촬영할 수 있는 카메라를 설치할 수 있는 부분이며, 수평 회전바(140)의 회전에 의해서 원운동을 한다. 특히, 본 실시예의 카메라 설치부(150)는 수평 회전바(140)에 회전축(142)으로 연결되며, 수평 회전바(140)의 회전에 따라서 회전축(142)을 중심으로 수평 회전바(140)와 반대방향으로 회전하여, 카메라 설치부(150)가 항상 정면을 향하도록 한다.
또한, 카메라 설치부(150)의 회전을 조절하여 카메라 설치부(150)에 설치된 카메라의 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 한다. 구체적으로는, 설치부(150)가 전후이동궤도(110)보다 왼쪽에 위치할 때는 전후이동궤도(110)를 기준으로 오른쪽을 향하도록 조절하고, 카메라 설치부(150)가 전후이동궤도(110)보다 오른쪽에 위치할 때는 전후이동궤도(110)를 기준으로 왼쪽을 향하도록 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 향하도록 할 수 있다.
카메라 설치부(150)가 정면의 한 지점을 향하도록 동작하는 구조와 카메라 설치부(150)에 카메라가 설치되는 구조는 특별히 제한되지 않으며, 본 발명이 속하는 기술분야의 일반적인 기술자들이 적용할 수 있는 모든 구조가 가능하다.
또한, 본 실시예의 입체 동영상 촬영용 장치에 설치되는 카메라는, 1초에 수~수백 프레임의 영상을 촬영하여 사람의 뇌에서 잔상에 의해 움직이는 영상으로 인식되는 동영상을 촬영할 수 있는 카메라이면 특별히 제한되지 않는다.
이하에서는 본 실시예에 따른 입체 동영상 촬영용 장치의 동작에 대하여 설명한다.
도 2는 본 발명의 첫 번째 실시예에 따른 장치의 동작을 나타내는 모식도이다.
도 2에 도시된 동작은, 이동체(130)가 좌우이동궤도(120)를 1회 왕복운동 하는 사이에 수평 회전바(140)가 시계방향으로 1회 회전하여, 카메라 설치부(150)가 전체적으로 타원의 움직임을 보여, 전후이동궤도(110)를 따른 움직임이 없더라도 좌우 및 앞뒤의 다양한 위치에서 영상을 촬영하여 심도가 깊은 입체 동영상을 촬영할 수 있다.
이때, 수평 회전바(140)가 회전하는 동안에도, 카메라 설치부(150)에 △으로 표시된 앞부분이 계속하여 정면의 한 지점을 향하고 있으므로, 카메라 설치부(150)에 설치된 카메라는 정면의 장면을 특정한 한 지점을 중심으로 좌우 및 앞뒤의 다양한 위치에서 촬영하여 심도가 깊은 입체 동영상을 촬영할 수 있다.
이러한 이동체(130)의 좌우왕복운동과 수평 회전바(140)의 회전운동에 의해서 다양한 위치에서 1초에 여러 장의 영상을 찍을 수 있으며, 이를 순차적으로 보여주면 사람의 뇌에서 앞뒤와 좌우로 심도가 깊은 입체 동영상으로 인식된다.
도 3은 본 발명의 첫 번째 실시예에 따른 장치의 다른 동작을 나타내는 모식도이다.
도 3에 도시된 동작은, 이동체(130)가 좌우이동궤도(120)를 1회 왕복운동 하는 사이에, 수평 회전바(140)가 시계방향으로 1회 회전하며, 좌우이동궤도(120)는 전후이동궤도(110)의 중심에서 뒤쪽과 앞쪽으로 1회 왕복운동 함으로써, 카메라 설치부(150)가 전체적으로 매우 큰 원과 비슷한 움직임을 하면서, 도 2의 경우에 비하여 앞뒤의 심도가 더 깊은 입체 동영상을 촬영할 수 있다.
구체적으로 살펴보면, 도 3(a)에 도시된 시작 위치에서 이동체(130)가 가장 우측에 위치하고, 수평 회전바(140)도 우측을 향하고 있으며, 좌우이동궤도(120)는 전후이동궤도(110)의 가운데에 위치한다.
촬영을 시작한 직후인 도 3(b)에서, 이동체(130)는 좌우이동궤도(120)를 따라서 좌측으로 이동하고, 수평 회전바(140)가 시계방향으로 회전을 하면서 뒤쪽 방향으로 움직이면, 좌우이동궤도(120)가 전후이동궤도(110)의 뒤쪽으로 이동한다.
이후에 이동체(130)가 좌우이동궤도(120)의 가장 왼쪽으로 이동한 도 3(e)에 이를 동안, 수평 회전바(140)도 시계방향으로 계속 회전하여 좌측을 향하고 있으며, 좌우이동궤도(120)는 전후이동궤도(110)의 가장 뒷부분(도 3(c)참조)을 거쳐서 다시 앞으로 이동하여 전후이동궤도(110)의 가운데에 위치한다.
도 3(f) 내지 도 3(i)에서는, 이동체(130)가 좌측에서 우측으로 이동하고, 수평 회전바(140)는 시계방향으로 앞쪽의 반바퀴를 회전하며, 좌우이동궤도(120)는 전후이동궤도(110)를 따라서 앞쪽 방향으로 왕복이동 한다.
이때, 수평 회전바(140)가 회전하는 동안에도, 카메라 설치부(150)에 △으로 표시된 앞부분이 계속하여 정면의 한 지점을 향하고 있으므로, 카메라 설치부(150)에 설치된 카메라는 정면의 장면을 특정한 한 지점을 중심으로 좌우 및 앞뒤의 다양한 위치에서 촬영하여 심도가 깊은 입체 동영상을 촬영할 수 있다.
이러한 이동체(130)의 좌우왕복운동, 수평 회전바(140)의 회전운동 및 좌우이동궤도(120)의 전후왕복운동 과정에서 카메라에서 촬영된 다수의 영상이 사람의 뇌에서 앞뒤와 좌우로 심도가 깊은 입체 동영상으로 인식되는 점은 앞서 설명한 것과 같다.
본 실시예의 입체 동영상 촬영용 장치가 움직이는 동작의 범위는 도 2와 도 3에 도시된 것과 같이, 전후이동궤도(110)와 좌우이동궤도(120)의 양끝까지의 범위를 왕복하는 것으로 특정되지 않으며, 촬영목적에 따라서 궤도 내에서 다양하게 조절될 수 있다. 이러한 이동범위의 조절은 필요에 따라서 좌우왕복거리와 전후왕복거리를 각각 입력하여 조절할 수도 있으며, 특정된 경우에 최적화된 좌우왕복거리와 전후왕복거리를 미리 입력하여 각 상황에 맞추어 모드를 변경하는 방법으로 조절할 수도 있다.
또한, 본 실시예의 입체 동영상 촬영용 장치의 동작은 도 2와 도 3에 도시된 것에 한정되지 않으며, 전후운동과 좌우운동 및 회전운동을 다양하게 조합하여 다양한 효과를 얻을 수도 있을 것이다.
이러한, 본 실시예의 전후이동궤도(110)와 좌우이동궤도(120) 및 수평 회전바(140)의 크기는 사람의 양안 사이의 거리를 기준으로 설계하는 것이 일반적이다. 그러나 상기한 것과 같이 작동범위를 조절할 수 있기 때문에 더 크게 설계하여 입체 동영상의 심도를 높일 수 있을 것이다.
도 4는 본 발명의 두 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조를 나타내는 모식도이다.
본 실시예의 입체 동영상 촬영용 장치는 전후이동궤도(210)와 좌우이동궤도(220)로 구성되는 수평궤도, 이동체(230), 수직 회전바(240) 및 카메라 설치부(250)를 포함하여 구성된다.
수평궤도는 직선으로 형성된 전후이동궤도(210)와 좌우이동궤도(220)가 서로 직교하여 배치되며, 이동체(230)는 전후이동궤도(210)와 좌우이동궤도(220)에 의해서 전후좌우로 움직인다. 이러한 수평궤도는 첫 번째 실시예의 경우와 같으므로 자세한 설명은 생략한다.
본 실시예는 수직 회전바(240)가 회전할 때 전후이동궤도(210)와 충돌하지 않도록 이동체(230)에 위쪽으로 연장형성된 기둥(232)을 설치하고, 이 기둥(232)의 상부의 앞쪽 면에 수직 회전바(240)의 한쪽 끝을 회전축(241)으로 연결하였다.
수직 회전바(240)의 반대 쪽 끝에는 카메라 설치부(250)가 연결되며, 수직 회전바(240)가 회전축(241)을 중심으로 회전하면 반대쪽의 카메라 설치부(250)에 설치된 카메라가 지면에 수직한 방향으로 원운동을 한다.
카메라 설치부(250)는 동영상을 촬영할 수 있는 카메라를 설치할 수 있는 부분이며, 수직 회전바(240)의 회전에 의해서 지면에 수직한 방향으로 원운동을 한다. 특히, 본 실시예의 카메라 설치부(250)는 수직 회전바(240)에 회전축(242)으로 연결되며, 수직 회전바(240)의 회전에 따라서 회전축(242)을 중심으로 수직 회전바(240)와 반대방향으로 회전하여, 카메라 설치부(250)의 위쪽이 항상 위를 향하도록 한다.
또한 카메라 설치부(250)가 회전하는 동안 카메라 설치부(250)의 수평방향 각도를 조절하여 카메라 설치부(250)에 설치된 카메라의 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 한다. 구체적으로는, 3축장치 등을 이용해서 카메라 설치부(250)가 회전축(241)보다 위쪽에 위치할 때는 회전축(241)을 기준으로 아래쪽을 향하도록 조절하고, 카메라 설치부(250)가 회전축(241)보다 아래쪽에 위치할 때는 회전축(241)을 기준으로 위쪽을 향하도록 조절하며, 설치부(250)가 회전축(241)보다 왼쪽에 위치할 때는 회전축(241)을 기준으로 오른쪽을 향하도록 조절하고, 카메라 설치부(250)가 회전축(241)보다 오른쪽에 위치할 때는 회전축(241)을 기준으로 왼쪽을 향하도록 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 향하도록 할 수 있다.
카메라 설치부(250)의 위쪽이 항상 위를 향하면서 동시에 정면의 한 지점을 향하도록 동작하는 구조와 카메라 설치부(250)에 카메라가 설치되는 구조는 특별히 제한되지 않으며, 본 발명이 속하는 기술분야의 일반적인 기술자들이 적용할 수 있는 모든 구조가 가능하다.
또한, 본 실시예의 입체 동영상 촬영용 장치에 설치되는 카메라는, 1초에 수~수백 프레임의 영상을 촬영하여 사람의 뇌에서 잔상에 의해 움직이는 영상으로 인식되는 동영상을 촬영할 수 있는 카메라이면 특별히 제한되지 않는다.
두 번째 실시예에 따른 장치의 동작은 전후이동궤도(210)와 좌우이동궤도(220)에 의해서 이동체(230)가 좌우 또는 좌우전후로 왕복이동 하는 동안에, 수직 회전바(240)가 회전을 하여 카메라 설치부(250)에 설치된 카메라가 지면에 수직한 방향으로 원운동을 하는 것이다. 이러한 동작에 의해서 카메라는 전후/좌우 및 상하 방향의 다양한 위치에서 영상을 순차적으로 촬영할 수 있으며, 이렇게 촬영된 영상은 사람의 뇌에서 앞뒤와 좌우뿐만 아니라 상하로도 심도가 깊은 입체 동영상으로 인식된다.
본 실시예의 입체 동영상 촬영용 장치가 움직이는 동작의 범위와 동작의 형태는 특별하게 제한되지 않고 다양하게 조절될 수 있는 점은 앞서 첫 번째 실시예에서 설명한 것과 같으므로, 자세한 설명은 생략한다.
도 5는 본 발명의 세 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조를 나타내는 모식도이다.
본 실시예의 입체 동영상 촬영용 장치는 전후이동궤도(310)와 좌우이동궤도(320)로 구성되는 수평궤도, 이동체(330), 수직궤도(340) 및 카메라 설치부(350)를 포함하여 구성된다.
수평궤도는 직선으로 형성된 전후이동궤도(310)와 좌우이동궤도(320)가 서로 직교하여 배치되며, 이동체(330)는 전후이동궤도(310)와 좌우이동궤도(320)에 의해서 전후좌우로 움직인다. 이러한 수평궤도는 첫 번째 및 두 번째 실시예의 경우와 같으므로 자세한 설명은 생략한다.
본 실시예는 상하 방향의 심도를 높이기 위하여, 이동체(330)의 위쪽으로 수직하게 수직궤도(340)를 설치하고, 이 수직궤도(340)를 따라서 카메라 설치부(350)가 상하로 이동할 수 있도록 한다.
본 실시예의 입체 동영상 촬영용 장치에 설치되는 카메라는, 1초에 수~수백 프레임의 영상을 촬영하여 사람의 뇌에서 잔상에 의해 움직이는 영상으로 인식되는 동영상을 촬영할 수 있는 카메라이면 특별히 제한되지 않는다. 또한, 카메라 설치부(350)에 카메라가 설치되는 구조는 특별히 제한되지 않으며, 본 발명이 속하는 기술분야의 일반적인 기술자들이 적용할 수 있는 모든 구조가 가능하다.
세 번째 실시예에 따른 장치의 동작은 전후이동궤도(310)와 좌우이동궤도(320)에 의해서 이동체(330)가 좌우 또는 좌우전후로 왕복이동 하는 동안에, 수직궤도(340)를 따라서 카메라 설치부(350)가 상하로 이동하는 것이다.
이때, 카메라 설치부(350)가 상하로 이동하는 동안 카메라 설치부(350)에 설치된 카메라 렌즈의 각도를 조절하여 카메라의 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 한다. 구체적으로는, 3축장치 등을 이용해서 카메라 설치부(350)가 수직궤도(340)의 중심보다 위쪽에 위치할 때는 수직궤도(340) 중심을 기준으로 아래쪽을 향하도록 조절하고, 카메라 설치부(350)가 수직궤도(340)의 중심보다 아래쪽에 위치할 때는 수직궤도(340) 중심을 기준으로 위쪽을 향하도록 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 향하도록 할 수 있다.
동시에, 카메라의 렌즈가 전후이동궤도(310)보다 왼쪽에 위치할 때는 카메라의 촬영방향이 전후이동궤도(310)를 기준으로 오른쪽을 향하도록 각도를 조절하고, 카메라의 렌즈가 전후이동궤도(310)보다 오른쪽에 위치할 때는 카메라의 촬영방향이 전후이동궤도(310)를 기준으로 왼쪽을 향하도록 각도를 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 계속 향하도록 할 수 있다.
이러한 동작에 의해서 카메라는 전후/좌우 및 상하 방향의 다양한 위치에서 영상을 순차적으로 촬영할 수 있으며, 이렇게 촬영된 영상은 사람의 뇌에서 앞뒤와 좌우뿐만 아니라 상하로도 심도가 깊은 입체 동영상으로 인식된다.
본 실시예의 입체 동영상 촬영용 장치가 움직이는 동작의 범위와 동작의 형태는 특별하게 제한되지 않고 다양하게 조절될 수 있는 점은 앞서 첫 번째 및 두 번째 실시예에서 설명한 것과 같으므로, 자세한 설명은 생략한다.
도 6은 본 발명의 네 번째 실시예에 따른 입체 동영상 촬영용 장치의 구조와 동작을 나타내는 모식도이다.
본 실시예의 입체 동영상 촬영용 장치는 원형궤도(400)와 이동체(430) 및 카메라 설치부(450)를 포함하여 구성된다.
본 실시예의 이동체(430)는 원형궤도(400)를 따라서 원운동을 하며, 카메라 설치부(450)는 이동체(430)와 연결된다.
카메라 설치부(450)는 동영상을 촬영할 수 있는 카메라를 설치할 수 있는 부분이며, 이동체(430)와 함께 원운동을 한다. 특히, 본 실시예의 카메라 설치부(450)는 이동체(430)에 회전축(431)으로 연결되며, 이동체(430)의 원운동에 따라서 회전축(431)을 중심으로 이동체(430)의 원운동방향과 반대방향으로 회전하여, 카메라 설치부(450)가 정면을 향하도록 한다.
또한, 카메라 설치부(450)의 각도를 조절하여 카메라 설치부(450)에 설치된 카메라의 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 한다. 구체적으로는, 설치부(450)가 원형궤도(400)의 중심보다 왼쪽에 위치할 때는 카메라의 촬영방향이 원형궤도(400)의 중심을 기준으로 오른쪽을 향하도록 각도를 조절하고, 카메라 설치부(450)가 원형궤도(400)의 중심보다 오른쪽에 위치할 때는 카메라의 촬영방향이 원형궤도(400)의 중심을 기준으로 왼쪽을 향하도록 각도를 조절함으로써, 카메라의 렌즈가 정면의 한 지점을 향하도록 할 수 있다.
도 6에 점선으로 표시된 것과 같이, 이동체(430)가 원형궤도(400)를 따라서 원운동을 하는 동안에 카메라 설치부(450)도 회전축(431)을 중심으로 회전하여, 카메라 설치부(450)에 △으로 표시된 앞부분이 계속하여 정면의 한 지점을 향하고 있으므로, 카메라 설치부(450)에 설치된 카메라는 정면 장면을 한 지점을 기준으로 좌우 및 앞뒤의 다양한 위치에서 촬영하여 심도가 깊은 입체 동영상을 촬영할 수 있다.
카메라 설치부(450)가 정면의 한 지점을 향하도록 동작하는 구조와 카메라 설치부(450)에 카메라가 설치되는 구조는 특별히 제한되지 않으며, 본 발명이 속하는 기술분야의 일반적인 기술자들이 적용할 수 있는 모든 구조가 가능하다.
또한, 본 실시예의 입체 동영상 촬영용 장치에 설치되는 카메라는, 1초에 수~수백 프레임의 영상을 촬영하여 사람의 뇌에서 잔상에 의해 움직이는 영상으로 인식되는 동영상을 촬영할 수 있는 카메라이면 특별히 제한되지 않는다.
한편, 본 실시예의 원형궤도(400)는 탄성이 있는 재질로 구성하여, 다양한 형태의 타원으로 변형할 수 있다.
도 7은 본 발명의 네 번째 실시예에서 원형궤도의 형태를 변형시킨 모습을 나타낸 모식도이다.
도 7에는 원형궤도(400)의 형태를 변형시키는 하나의 예로서, 전후조절축(410)과 좌우조절축(420)의 길이를 조절하여 원형궤도(400)를 앞뒤로 긴 타원과 좌우로 긴 타원의 형태로 변형시킨 모습을 나타낸다. 이러한 전후조절축(410)과 좌우조절축(420)의 길이를 조절하는 방법은 리니어 모터를 이용하거나 나사산이 형성된 축을 회전시키는 방법 등 다양하게 구성할 수 있다. 또한 원형궤도의 형태를 변형시키는 방법은 특별히 한정되지 않고, 본 발명이 속하는 기술분야의 일반적인 기술자들이 적용할 수 있는 모든 구조가 가능하다.
지금까지는 본 발명에 따른 입체 동영상 촬영용 장치의 바람직한 실시예에 대하여 설명하였다. 이러한 입체 동영상 촬영용 장치는 별도로 생산된 동영상 촬영 카메라를 부착하여 사용할 수 있도록 구성된 것이다.
그러나 상기한 실시예에 따른 전후, 좌우 및/또는 상하로 움직이는 궤도를 하우징 내에 포함하는 입체 동영상 촬영용 카메라에 적용할 수도 있다.
최근 디지털 카메라 기술의 발전과 함께, 렌즈와 이미지 센서의 소형화가 가능해 졌다. 따라서 상기한 첫 번째 내지 네 번째 실시예에서 카메라 설치부(150, 250, 350, 450)의 위치에 렌즈와 이미지센서를 포함하는 촬영부를 설치하고, 이미지센서에서 촬영한 이미지데이터는 유선 또는 무선으로 메모리부에 전달하여 저장하는 카메라를 구성할 수 있다.
특히, 별도로 생산된 카메라를 이용하는 경우에는 카메라 자체에 하우징과 메모리 등이 포함되어 부피가 크지만, 렌즈와 이미지센서를 포함하는 최소한의 부품으로 촬영부를 구성하여 설치하면, 그 부피가 크지 않으므로 하나의 하우징 내에 궤도와 촬영부 및 메모리부 등을 설치한 카메라를 제작할 수 있다.
본 발명의 실시예에 따른 입체 동영상 촬영용 카메라는, 렌즈와 이미지센서를 포함하여 구성된 촬영부가 상기한 입체 동영상 촬영용 장치에 미리 장착되어, 하나의 하우징 내에 설치된 것을 특징으로 하며, 기타 카메라의 구성과 작동에 관한 부분은 일반적인 카메라의 내용을 그대로 적용할 수 있다. 따라서 카메라의 구성과 작동에 관한 자세한 설명은 생략한다.
이상에서 설명한 것과 같이, 본 발명의 입체 동영상 촬영용 장치 및 카메라는 카메라 또는 촬영부가 좌우뿐만 앞뒤로 다양한 위치에서 영상을 촬영하여 앞뒤로도 심도가 깊은 입체 동영상을 촬영할 수 있다.
특히, 일부 실시예는 좌우와 앞뒤뿐만 아니라 상하로 다양한 위치에서 영상을 촬영함으로써, 상하로 심도가 깊은 입체 동영상을 촬영할 수 있다.
이상 본 발명을 바람직한 실시예를 통하여 설명하였는데, 상술한 실시예는 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화가 가능함은 이 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 따라서 본 발명의 보호범위는 특정 실시예가 아니라 특허청구범위에 기재된 사항에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상도 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110, 210, 310: 전후이동궤도 120, 220, 320: 좌우이동궤도
130, 230, 330, 430: 이동체 140: 수평 회전바
150, 250, 350, 450: 카메라 설치부 240: 수직 회전바
340: 수직궤도 400: 원형궤도
410: 전후길이조절축 420: 좌우길이조절축

Claims (8)

  1. 전후이동궤도와 좌우이동궤도가 직교하여 설치된 수평궤도;
    상기 수평궤도를 따라 전후좌우로 움직이는 이동체;
    상기 이동체의 위쪽으로 연장형성된 수직궤도;
    상기 수직궤도에 설치되어 상하로 움직이는 카메라 설치부를 포함하는 것을 특징으로 하는 입체 동영상 촬영용 장치.
  2. 전후이동궤도와 좌우이동궤도가 직교하여 설치된 수평궤도;
    상기 수평궤도를 따라 전후좌우로 움직이는 이동체;
    상기 이동체의 위쪽으로 연장형성된 수직궤도;
    상기 수직궤도에 설치되어 상하로 움직이며, 렌즈와 이미지센서를 포함하는 촬영부; 및
    상기 촬영부의 이미지센서에서 촬영한 이미지데이터를 유선 또는 무선으로 전달받아 저장하는 메모리부를 포함하는 것을 특징으로 하는 입체 동영상 촬영용 카메라.
  3. 수평으로 배치된 원형궤도;
    상기 궤도를 따라서 움직이는 이동체;
    상기 이동체에 연결된 카메라 설치부를 포함하며,
    상기 원형궤도의 외부에 위치하는 대상물을 촬영하기 위하여, 상기 이동체가 회전하여도 상기 카메라 설치부의 앞부분이 항상 전면의 촬영방향을 향하는 것을 특징으로 하는 입체 동영상 촬영용 장치.
  4. 청구항 3에 있어서,
    상기 원형궤도의 전후방향과 좌우방향 길이를 조절할 수 있는 것을 특징으로 하는 입체 동영상 촬영용 장치.
  5. 수평으로 배치된 원형궤도;
    상기 궤도를 따라서 움직이는 이동체;
    상기 이동체에 연결되고, 상기 원형궤도의 외부에 위치하는 대상물을 촬영하기 위하여 상기 이동체가 회전하여도 앞부분이 항상 전면의 촬영방향을 향하며, 렌즈와 이미지센서를 포함하는 촬영부; 및
    상기 촬영부의 이미지센서에서 촬영한 이미지데이터를 유선 또는 무선으로 전달받아 저장하는 메모리부를 포함하는 것을 특징으로 하는 입체 동영상 촬영용 카메라.
  6. 청구항 5에 있어서,
    상기 원형궤도의 전후방향과 좌우방향 길이를 조절할 수 있는 것을 특징으로 하는 입체 동영상 촬영용 카메라.
  7. 청구항 1 또는 청구항 3에 있어서,
    상기 카메라 설치부에 설치된 카메라의 촬영방향이 미리 설정된 정면의 한 지점을 계속 향하도록 각도가 조절되는 것을 특징으로 하는 입체 동영상 촬영용 장치.
  8. 청구항 2 또는 청구항 5에 있어서,
    상기 렌즈가 미리 설정된 정면의 한 지점을 계속 향하도록 각도가 조절되는 것을 특징으로 하는 입체 동영상 촬영용 카메라.
KR1020130117169A 2013-10-01 2013-10-01 입체 동영상 촬영용 장치 및 카메라 KR101433645B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130117169A KR101433645B1 (ko) 2013-10-01 2013-10-01 입체 동영상 촬영용 장치 및 카메라

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130117169A KR101433645B1 (ko) 2013-10-01 2013-10-01 입체 동영상 촬영용 장치 및 카메라

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20120056826A Division KR101322187B1 (ko) 2012-05-29 2012-05-29 입체 동영상 촬영용 장치 및 카메라

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140090235A Division KR101578890B1 (ko) 2014-07-17 2014-07-17 입체 동영상 촬영용 장치 및 카메라

Publications (2)

Publication Number Publication Date
KR20130133709A true KR20130133709A (ko) 2013-12-09
KR101433645B1 KR101433645B1 (ko) 2014-08-25

Family

ID=49981597

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130117169A KR101433645B1 (ko) 2013-10-01 2013-10-01 입체 동영상 촬영용 장치 및 카메라

Country Status (1)

Country Link
KR (1) KR101433645B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000053872A (ko) * 2000-04-28 2000-09-05 오창근 다중 영상을 이용한 3차원 스캐닝 시스템
JP4017579B2 (ja) 2003-09-19 2007-12-05 株式会社ソニー・コンピュータエンタテインメント 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体

Also Published As

Publication number Publication date
KR101433645B1 (ko) 2014-08-25

Similar Documents

Publication Publication Date Title
JP4635403B2 (ja) 立体画像作成方法およびその装置
US20170026634A1 (en) Multi-planar camera apparatus
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
WO2017160484A1 (en) 3d display apparatus, method, and applications
US9237338B1 (en) Apparatus for image display with multi-focal length progressive lens or multiple discrete lenses each having different fixed focal lengths or a variable focal length
KR20120105495A (ko) 입체 영상 촬상 장치
KR101322187B1 (ko) 입체 동영상 촬영용 장치 및 카메라
KR20110090429A (ko) 입체이미지 촬영용 트랙
KR101821141B1 (ko) 3차원 영상 시스템 및 그 영상 재생 방법
KR101247903B1 (ko) ３ｄ 영상 촬영용 광학 모듈
EP1892558A2 (en) 3d image capture camera and non-stereoscopic 3d viewing device that does not require glasses
KR20170043791A (ko) 360 가상 현실 서비스를 위한 영상 포맷 및 그 장치
US20160011430A1 (en) Holographic 3d eyewear for video gaming
KR101578890B1 (ko) 입체 동영상 촬영용 장치 및 카메라
CN113692738A (zh) 一种用于模拟三维图像序列的方法和系统
CN202003094U (zh) 立体观片观屏装置
KR101433645B1 (ko) 입체 동영상 촬영용 장치 및 카메라
KR101549874B1 (ko) 입체 동영상 촬영용 카메라 및 이의 사용방법
JP6233870B2 (ja) 立体映像受像機
KR102306775B1 (ko) 사용자 인터렉션 정보를 반영하여 입체영상을 재생하는 방법 및 장치
Watt et al. 3D media and the human visual system
KR20170059879A (ko) 입체 영상 촬영 장치
KR102556895B1 (ko) 가상현실 입체 이미지들을 생성하기 위한 광학 배열체
US20240040220A1 (en) Camera having imaging lenses with varied inter-lens spacings
JP6036784B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170707

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180814

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190805

Year of fee payment: 6

R401 Registration of restoration