KR101244044B1 - 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법 - Google Patents

스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법 Download PDF

Info

Publication number
KR101244044B1
KR101244044B1 KR1020120027910A KR20120027910A KR101244044B1 KR 101244044 B1 KR101244044 B1 KR 101244044B1 KR 1020120027910 A KR1020120027910 A KR 1020120027910A KR 20120027910 A KR20120027910 A KR 20120027910A KR 101244044 B1 KR101244044 B1 KR 101244044B1
Authority
KR
South Korea
Prior art keywords
image
camera
spherical object
surveillance
stereo
Prior art date
Application number
KR1020120027910A
Other languages
English (en)
Inventor
정미애
Original Assignee
정미애
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정미애 filed Critical 정미애
Priority to KR1020120027910A priority Critical patent/KR101244044B1/ko
Application granted granted Critical
Publication of KR101244044B1 publication Critical patent/KR101244044B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G01P3/685—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light for projectile velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/366—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light by using diffraction of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 2대 이상의 카메라로부터 여러 시점에서의 구형물체 영상을 취득하는 방법 및 상기 2대 이상의 카메라에 의해 취득된 구형물체 영상을 이용하여 구형물체의 비행속도를 추정하는 방법에 관한 것으로, 카메라 영상 취득 시점을 알리는 별도의 트리거 신호 발생장치 및 다중노출 카메라나 고속 카메라를 사용하지 않고, 카메라 또는 영상센서가 제공하는 윈도우 기능을 활용하여 2대 이상의 카메라로부터 구형물체의 스테레오 영상을 취득하고, 구형물체의 기하학적 특성을 이용하여 상기 취득된 구형물체의 스테레오 영상으로부터 구형물체의 3차원 공간에서 위치를 수학적으로 정확히 계산하여 구형물체의 비행속도를 정밀하게 추정하는 방법을 제공하는 것을 목적으로 한다. 본 발명에서는 상기 목적을 달성하기 위해 스테레오 카메라 영상 내에 복수 개의 감시영역 쌍을 설정하고, 설정된 감시영역 쌍을 통과하는 구형물체 영상에 대해 통과 위치를 중심으로 각각의 카메라 영상에서 일정 크기만큼 영상취득영역으로 취득하고 영상취득시점을 측정한 후, 상기 영상취득영역 및 영상취득시점을 이용하여 구형물체의 비행속도를 구하였다.

Description

스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법{Method for estimating the flight velocity of a sphere-shaped object using stereo camera}
본 발명은 구형물체의 비행속도(속력 및 방향)를 추정하기 위하여 별도의 트리거 신호 발생장치 없이 2대 이상의 카메라로부터 여러 시점에서 구형물체 영상을 취득하고, 상기 2대 이상의 카메라에 의해 취득된 구형물체 영상을 이용하여 구형물체의 비행속도를 추정하는 방법에 관한 것이다.
근래 들어 비행하는 구형물체의 비행정보를 추정하기 위해 스테레오 영상을 이용하는 방법들이 제안되고 있는데, 보통 비행 중인 구형물체의 스테레오 영상을 취득하기 위해 2대 이상의 카메라와 영상촬영 시점을 알려주는 트리거 장치를 사용한다. 스테레오 영상을 이용하는 구형물체의 비행속도 추정 방법들에서는 두 시점(point of time) 이상에서 취득된 스테레오 영상들로부터 구형물체 영상 중심점 위치들을 계산하고, 이를 이용하여 구형물체의 3차원 공간에서의 위치를 계산한 후에 구형물체의 비행속도를 계산하는데 이와 관련된 선행기술을 구체적으로 살펴보면 아래와 같다.
일반적으로 두 시점 이상에서 촬영된 구형물체 스테레오 영상을 취득하기 위해 2대 이상의 고속카메라나 다중노출 카메라를 사용한다. 예를 들어, 골프공의 영상을 얻고자 하는 경우 골프공의 속도를 감안할 때 초당 1000 프레임 이상이 요구되므로 고성능의 고속카메라가 필수적이고, 따라서 장비의 가격이 높아진다는 문제점이 있다. 고속 카메라의 사용을 피하기 위하여 다중노출 카메라를 이용하는 방법들(특허 제0784967호, 특허 제0871595호, 특허 제1044887호)이 제안되었는데, 다중 노출 영상 취득 방법은 여러 시점에서 구형물체 영상을 차례로 촬영하여, 촬영된 영상들을 중첩시킨 후 최종 합성영상을 카메라 외부로 보내는 방법이다. 이 과정은 영상센서 내부에서 이루어지는데 노출 시점에 따라 물체의 영상이 중첩되어 보이는 경우가 발생하는 문제점이 있어, 이러한 문제점을 해결하기 위해서 다중 노출 카메라의 노출 시점을 알려주는 트리거 역할을 하는 장치를 별도로 필요로 하게 되었다. 한편, 골프나 야구 등과 같은 경우는 구형물체만 촬영되는 것이 아니고 골프클럽, 야구 배트 등도 공과 함께 촬영 범위에 들어오기 때문에, 공을 뒤따라 오는 골프클럽, 야구 배트 등의 영상이 첫 번째, 또는 두 번째 시점에서의 공의 영상과 중첩되어 공의 영상을 훼손시킬 가능성이 커진다. 이를 피하기 위해서는 골프클럽, 야구 배트 등이 촬영범위 내에 들어오지 못하도록 공의 타격지점보다 떨어진 영역을 촬영해야 하는데, 공이 직진하지 않고 좌측 또는 우측방향으로 치우쳐 비행하는 경우를 대비해야 하므로 카메라가 타격지점에서 멀어질수록 촬영해야 할 영역이 더 넓어지며, 넓은 범위에서 구형물체를 촬영하기 위해서는 고해상도의 카메라를 사용하든가 또는 초점거리가 작은 렌즈를 사용해야 한다. 그러나 고해상도의 고속카메라를 사용할 경우 장비의 가격이 높아지게 되며, 초점거리가 작은 렌즈를 사용하면 물체가 작게 촬영되는 문제점이 발생한다.
등록특허공보 제10-0784967호에 게재된 발명은 골프클럽 타격정보 및 골프공 비행정보를 추정하기 위한 것으로, 다중노출 카메라 4대와 레이저 검출 방식의 트리거 장치를 사용하며 다중노출 카메라의 다중 노출 기능으로 한 장의 영상에 여러 시점에서의 골프공 영상을 촬영한다. 이때 한 장에 촬영된 골프공 영상들이 중첩되지 않도록 하기 위해 레이저 검출 방식의 트리거 장치가 골프 클럽의 속도를 계측하여 노출 시점을 예측한다.
등록특허공보 제10-0871595호에 게재된 발명은 하나의 라인 스캔 카메라와 2대의 고속카메라를 이용하여 구형물체의 비행정보를 추정하는 방법에 관한 것으로, 라인 스캔 카메라를 통과하는 구형물체의 라인 영상으로부터 구형물체의 초기속도를 예측하고, 예측된 초기속도를 바탕으로 다중노출 시간 간격을 조절함으로써 다중 노출이 가능한 고속카메라를 이용하여 한 장의 영상에 세 시점에서의 구형물체가 중첩되지 않게 촬영하는 방법으로 스테레오 영상을 취득한다.
등록특허공보 제10-0937922호에 게재된 발명에서는 고속 카메라의 사용을 피하기 위해 4대의 일반 카메라와 영상취득 시점을 알리는 1대의 트리거용 카메라를 이용하여 2쌍의 스트레오 영상을 취득하고, 이들 영상에서 공에 마킹된 점들을 이용하여 골프공의 속도를 추정한다.
등록특허공보 제10-1019823호에 게재된 발명에서는 낮은 해상도의 저속 카메라 장치와 스트로브 장치를 이용하여 운동하는 물체에 대한 스테레오 영상을 취득하고, 취득된 스테레오 영상에서 물체의 이미지를 추출하여 물체 이미지의 중심점 좌표를 구하고, 이들 중심점 좌표들을 이용하여 물체의 운동궤적을 구한다.
등록특허공보 제10-1044887호에 게재된 발명에서는 트리거 역할을 하는 1대의 라인 스캔 카메라와 2대의 고속 카메라를 사용하여 골프공의 스테레오 영상을 취득하고, 취득된 영상을 이용하여 골프공의 비행거리 및 비행속도를 추정한다.
이와 같이 종래기술은 구형물체의 비행속도를 추정하기 위하여 구형물체 영상을 촬영할 때, 영상 촬영 시점을 스테레오 카메라에 알려주기 위하여 별도의 트리거 장치, 라인 스캔 카메라 또는 스트로브 장치를 사용하기 때문에 전체적인 장치가 복잡해지고 장치 간 조정이 필요한 문제점이 있다.
또한, 종래기술은 카메라 전체 영상을 스캐닝하여 구형물체 영상을 추출하기 때문에 카메라 전체 영상의 크기에 비례하여 영상처리 시간이 길어져서 전체적인 성능이 하락하는 문제점이 있다.
한편, 종래기술은 카메라 전체 영상으로부터 구형물체 영상의 중심점 위치들을 계산하고, 이를 역투영하여 구형물체의 3차원 공간에서의 위치를 계산한 후에 구형물체의 비행속도를 계산한다. 그러나, 구형물체 영상의 중심점을 카메라 좌표계 원점에서 역투영한 직선은 구형물체 중심이 카메라 시야 중심축 상에 있는 경우가 아니면 구형물체 중심을 지나지지 않는다.
도 1은 카메라 시야 방향에 따른 구형물체 영상을 도시한 것이다. 도 1(a)에 도시된 바와 같이 구형물체의 중심점이 카메라 시야 중심축 상에 있는 경우에는 카메라 영상면이 카메라 좌표계 원점과 구형물체가 이루는 원뿔의 중심축을 수직으로 절단하는 평면이 되기 때문에, 구형물체는 카메라 영상면에서 선분 AB를 지름으로 하는 원으로 보이며, 구형물체의 중심점은 구형물체 영상의 중심점 C를 카메라 좌표계 원점에서 역투영한 직선상에 위치한다.
그러나 도 1(b)에 도시된 바와 같이 구형물체의 중심점이 카메라 시야 중심축 상에 있지 않은 경우에는 카메라 영상면이 카메라 좌표계 원점과 구형물체가 이루는 원뿔의 중심축을 비스듬히 절단하는 평면이 되기 때문에, 구형물체는 카메라 영상면에서 선분 AB를 장축으로 하는 타원으로 보이며, 구형물체의 중심점은 구형물체 영상의 중심점 C를 카메라 좌표계 원점에서 역투영한 직선상에 위치하지 않는다.
즉, 종래기술은 카메라 좌표계 원점에서 역투영했을 때 실제 구형물체 중심을 지나는 점 S를 이용하지 않고 구형물체 영상의 중심점 C를 이용하여 구형물체 중심의 위치를 계산하므로, 구형물체의 중심점을 정확하게 계산하지 못하여 결과적으로 구형물체의 비행속도를 정확하게 추정할 수 없다는 문제점이 있다.
KR 10-0784967 B1 2007. 12. 11. KR 10-0871595 B1 2008. 11. 28. KR 10-0937922 B1 2010. 1. 13. KR 10-1019823 B1 2011. 2. 25. KR 10-1044887 B1 2011. 6. 21.
본 발명은 위와 같은 종래기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명이 해결하고자 하는 기술적 과제는 영상 취득 시점을 알리는 별도의 트리거 장치, 라인 스캔 카메라 또는 스트로브 장치를 사용하지 않고, 대신 일반 카메라를 사용하여 구형물체 영상을 취득하고 구형물체의 비행속도를 추정함으로써, 장치를 단순하게 하고 장치 간 조정을 간략하게 하는 데에 있다.
또한, 본 발명이 해결하고자 하는 또 다른 기술적 과제는 카메라 전체 영상을 취득하지 않고 구형물체의 형상이 온전히 취득될 만큼의 크기를 갖는 영상을 취득함으로써 영상취득 후의 구형물체의 비행속도 추정을 위한 영상처리 시간을 단축하는 데에 있다.
또한, 본 발명이 해결하고자 하는 또 다른 기술적 과제는 취득된 구형물체 영상들에 투영이론을 적용하여 구형물체의 비행속도를 정확하게 추정하는 방법을 제공하는 데에 있다.
위와 같은 과제를 해결하기 위하여 본 발명에 따른 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법은,
스테레오 카메라 영상 내에 구형물체 영상의 예상 진행 방향을 따라 제1 카메라 감시영역 및 제2 카메라 감시영역으로 구성되는 감시영역 쌍을 복수 개 설정하는 (a)단계;
상기 복수 개의 감시영역 쌍 중에서 구형물체 영상이 도달할 감시영역 쌍에 대하여 구형물체 영상이 감시영역 쌍을 통과하는지 여부를 조사하는 (b)단계;
상기 구형물체 영상의 통과가 감지되는 감시영역 쌍에 대하여 제1 카메라 감시영역 및 제2 카메라 감시영역 각각에 대하여 구형물체 영상의 통과 위치를 구하는 (c)단계;
상기 구형물체 영상의 통과 위치를 중심으로 제1 카메라 영상 및 제2 카메라 영상 각각에서 영상취득영역 크기만큼 영상을 취득하고, 영상취득시점을 측정하는 (d)단계 및
상기 취득된 각각의 영상 및 영상취득시점을 이용하여 구형물체의 비행속도를 구하는 (e)단계를 포함하는 것을 기술적 특징으로 한다.
본 발명에 따른 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법에 의하면, 2대 이상의 카메라에서 비행 중인 구형물체 영상을 취득하기 위해 영상 취득 시점을 알리는 별도의 트리거 장치, 라인 스캔 카메라 또는 스트로브 장치를 사용하지 않으므로, 장치가 단순화되고 장치와 카메라들 간의 위치 조정 과정이 생략된다.
또한, 카메라의 윈도우 기능을 이용하여 구형물체 영상 크기만큼의 영상만 취득하므로 전체 영상을 촬영하는 것보다 초당 촬영 프레임 수를 높일 수 있으며, 취득된 영상의 크기가 작아지므로 구형물체의 비행정보 추정을 위한 영상처리 시간이 단축된다.
또한, 취득된 구형물체 영상들에 투영이론을 적용하여 구형물체의 중심을 정확히 찾을 수 있으므로, 구형물체의 비행속도를 정확하게 추정할 수 있다.
도 1은 카메라 시야 방향에 따른 구형물체 영상
도 2는 제1 카메라 및 제2 카메라 배치의 예시도
도 3은 제1 카메라 및 제2 카메라의 배치에 따른 스테레오 영상 촬영가능영역
도 4는 제1 카메라 및 제2 카메라에 촬영된 3차원 공간상의 임의의 한점의 영상
도 5는 3차원 공간의 점 X에 대한 제1 카메라 영상점과 제2 카메라 영상점의 관계도
도 6은 카메라의 최대 시야각 범위의 예시도
도 7은 제1 카메라와 제2 카메라에 설정된 감시영역 및 영상취득영역의 예시도
도 8 및 도 9는 영상취득영역의 예시도
도 10은 3차원 공간상에서 구형물체와 스테레오 영상의 관계도
도 11은 2개의 원뿔 및 2개의 원뿔의 모선에 내접하는 구형물체
도 12는 카메라 좌표계 및 카메라 좌표계 원점과 타원의 중심을 이은 축이 zc축이 되도록 카메라 좌표계를 회전시킨 새로운 xc-yc-zc 좌표계
도 13은 다수의 감시영역 쌍을 복수의 스테레오 카메라 영상에 분산 설정하기 위한 스테레오 카메라 배치의 예시도
카메라 영상을 이용하여 비행하는 구형물체의 비행속도를 추정함에 있어 가장 중요한 것은 비행 중인 구형물체 영상을 취득하는 방법이다. 종래에는 카메라에서 여러 시점의 카메라 영상을 취득하기 위해 영상취득 시점을 알려주는 별도의 트리거 장치를 이용하였으나, 본 발명은 별도의 트리거 장치를 사용하는 대신 카메라 영상에 감시영역을 설정하여 구형물체 영상을 촬영할 시점을 결정하고, 카메라가 제공하는 윈도우 기능을 활용하여 구형물체 영상을 촬영한다. 카메라의 윈도우 기능이란 전체 화면이 아닌 화면 중의 일부분만을 사용자가 설정하여 촬영할 수 있는 기능으로 이러한 카메라의 윈도우 기능을 이용하면 전체 화면을 촬영하는 것보다 초당 프레임 수를 높일 수 있으며, 또한 필요한 영역만을 촬영하여 취득된 영상의 크기가 작아지므로 구형물체의 비행정보 추정을 위한 영상처리 시간이 단축된다.
본 발명에 따른 구형물체 비행속도 추정 방법은 2대 이상의 카메라에 적용할 수 있으며, 설명의 편의를 위해 먼저 2대의 카메라를 이용하는 경우에 대하여 설명한 후에 2대를 초과하는 수의 카메라를 이용하는 경우의 구형물체 비행속도 추정 방법에 대하여 설명한다. 그리고 이후의 설명에서 2대의 카메라에서 동시에 취득하는 영상을 스테레오 영상이라 한다.
도 2는 본 발명에서 제1 카메라(10) 및 제2 카메라(20)의 배치를 예시한 것이다.
본 발명에서는 제1 카메라(10)와 제2 카메라(20)를 구형물체가 비행하는 방향(이하 ‘구형물체 비행 정방향(30)’이라 한다)과 수직하는 평면(40)상에 위치시키고, 카메라 시야 중심축이 구형물체 비행 정방향에 수직하는 평면(40)상에 있고, 구형물체 비행 정방향(30)이 카메라 영상에서 수직선(또는 수평선)이 되도록 한다. 도 2(a)는 제1 카메라(10)의 시야 중심축과 제2 카메라(20)의 시야 중심축이 평행한 경우, 도 2(b)는 제1 카메라(10)의 시야 중심축과 제2 카메라(20)의 시야 중심축이 예각을 이루는 경우, 도 2(c)는 제1 카메라(10) 및 제2 카메라(20)의 위치가 구형물체 비행 정방향(30)과 수직하는 평면의 일측에 치우쳐져 있는 경우를 도시한 것인데, 세 경우 모두 제1 카메라(10) 및 제2 카메라(20)가 구형물체 비행 정방향(30)에 수직하는 평면상에 위치하고, 카메라 시야 중심축이 구형물체 비행 정방향에 수직하는 평면(40)상에 있고, 구형물체 비행 정방향(30)이 카메라 영상에서 수직선이 된다는 점에서는 동일하다.
도 3은 제1 카메라(10) 및 제2 카메라(20)의 배치에 따라 스테레오 영상 촬영가능영역(50)이 달라질 수 있음을 보인 것이다. 시야각이 각각 θ1, θ2인 2대의 카메라를 이용하여 비행하는 물체의 스테레오 영상을 취득하는 경우 도 3에 도시하였듯이 카메라의 배치에 따라 스테레오 영상 촬영가능영역(50)이 결정되므로 이를 고려하여 카메라를 배치하여야 한다. 도 3(a) 및 도 3(b)에서 스테레오 영상은 빗금 친 스테레오 영상 촬영가능영역(50)에서만 획득될 수 있으므로 가능한 스테레오 영상 촬영가능영역(50)이 크게 형성되도록 카메라를 배치해야 함을 알 수 있다.
편의를 위해 이후의 설명에서는 구형물체 비행 정방향(30)이 카메라 영상에서 수직선으로 보이는 경우로 가정한다. 그러나 본 발명에 따른 방법은 구형물체의 비행 정방향(30)이 카메라 영상을 기준으로 임의의 방향일 경우에도 적용가능하다.
도 4는 제1 카메라(10) 및 제2 카메라(20)에 촬영된 3차원 공간상의 임의의 한 점의 영상이다.
2대의 카메라에 사용된 렌즈의 초점거리가 동일하다면(통상 스테레오 카메라는 동일한 초점거리의 렌즈를 사용한다), 도 4에 도시된 바와 같이 3차원 공간상의 임의의 점에 대해 제1 카메라 영상(11)에서 제1 카메라 영상점(13)의 제1 카메라 투영 중심점(12)을 기준으로 한 위치를 (Δu1, Δv1), 제2 카메라 영상(21)에서 제2 카메라 영상점(23)의 제2 카메라 투영 중심점(22)을 기준으로 한 위치를 (Δu2, Δv2)라 할 때, 두 영상점의 수직방향 위치 차이 Δv1 - Δv2가 수평방향 위치 차이 Δu1 - Δu2보다 매우 작으며, 제1 카메라 영상점(13) 위치가 투영 중심점을 지나는 수평선에 가까워질수록, 즉 Δv1이 0에 가까워질수록 두 영상점의 수직방향 위치 차이 Δv1 - Δv2는 줄어든다. 만약 제1 카메라 영상점(13)의 위치가 제1 카메라 투영 중심점(12)을 지나는 수평선상에 위치하면 제2 카메라 영상점(23)도 제2 카메라 투영 중심점(22)을 지나는 수평선상에 위치한다.
참고로 투영 중심점이란 카메라 렌즈 중심의 카메라 영상에서의 위치를 말하는 것으로 카메라 렌즈 중심이 카메라 내부의 영상센서 중심과 정확하게 일치하면 투영 중심점은 카메라 영상의 중심점이 된다. 머신 비젼용으로 판매되는 카메라는 카메라 렌즈 중심과 카메라 내부의 영상센서 중심이 비교적 정확하게 일치되어 있으나, 일반적인 카메라의 경우는 카메라 렌즈 중심과 카메라 내부의 영상센서 중심이 다를 수도 있다. 이때는 카메라 보정(calibration) 과정을 거쳐야 한다.
상기 제1 카메라(10)와 제2 카메라(20)의 배치에 따른 현상을 설명하면 아래와 같다.
도 5는 3차원 공간의 점 X(63)에 대한 제1 카메라 영상점(13)과 제2 카메라 영상점(23)의 관계를 도시한 것이다.
투영이론에 따르면 3차원 공간의 점 X(63)에 대한 제1 카메라 영상점(13) (u1, v1)과 제2 카메라 영상점(23)(u2, v2)은 다음 식을 따른다.
Figure 112012022165227-pat00001
Figure 112012022165227-pat00002
Figure 112012022165227-pat00003
Figure 112012022165227-pat00004
여기서 (u1, v1)은 3차원 공간의 점 X(63)에 대한 제1 카메라 영상점(13)의 영상 좌표값, (u2, v2)는 3차원 공간의 점 X(63)에 대한 제2 카메라 영상점(23)의 영상 좌표값, (x1, y1, z1)은 3차원 공간의 점 X(63)의 위치를 제1 카메라 좌표계(14)로 기술한 좌표값, (x2, y2, z2)는 3차원 공간의 점 X(63)의 위치를 제2 카메라 좌표계(24)로 기술한 좌표값이다. f1, f2는 각각 제1 카메라(10)와 제2 카메라(20)의 초점거리이며 f1 = f2를 가정한다. (u01, v01) 및 (u02, v02)는 각각 제1 카메라(10)와 제2 카메라(20)의 투영 중심점 좌표값이다.
제1 카메라(10)와 제2 카메라(20)를 배치하였을 때 구형물체 비행 정방향(30)이 제1 카메라 좌표계(14)의 y축 방향이라 가정한다. 제2 카메라 좌표계(24)는 제1 카메라 좌표계(14)를 제1 카메라 좌표계(14)의 x축 방향으로 tx, z축 방향으로 tz만큼 이동시킨 후, 이동된 좌표계의 y축을 회전축으로 하여 α만큼 회전시킨 것이므로, 제1 카메라와 제2 카메라의 좌표계 사이에는 다음 식이 성립한다.
Figure 112012022165227-pat00005
상기 [수학식 5]를 이용하여 [수학식 2]를 다시 쓰면 [수학식 6]과 같다.
Figure 112012022165227-pat00006
[수학식 2]와 [수학식 6]을 이용하여 제2 카메라 투영 중심점(22)과 제2 카메라 영상점(23)의 v-방향 이격거리 Δv2 = v2 - v02를 제1 카메라 투영 중심점(12)과 제1 카메라 영상점(13)의 v-방향 이격거리 Δv1 = v1 - v01로 나타내면 [수학식 7]과 같다.
Figure 112012022165227-pat00007
[수학식 7]을 살펴보면 Δv2는 3차원 공간상에서의 y축 방향(구형물체 비행 정방향) 좌표값과 무관함을 알 수 있으며, Δv1 = 0이라면 항상 Δv2 = 0이다. [수학식 7]에서 tz, α는 설치된 제1 카메라(10)와 제2 카메라(20)의 위치 및 시야각 중심축의 방향으로부터 알 수 있는 값이며, x2/z2와 tz/z2는 스테레오 영상 촬영가능영역(50) 내에서 그 값의 범위를 구할 수 있다.
도 6은 카메라의 최대 시야각 범위를 도시한 것이다.
먼저 x2/z2의 범위를 살펴보면, 3차원 공간의 점 X(63)가 카메라 영상 내에 위치하면 x2/z2의 값이 카메라의 x방향으로의 최대 시야각 범위를 벗어날 수 없으므로 다음 식이 성립한다.
Figure 112012022165227-pat00008
여기서 f는 카메라의 초점거리이며, a는 카메라 내 이미지 센서의 x축 방향의 크기이다.
또한, 스테레오 영상 촬영가능영역(50) 내에서 3차원 공간의 점 X(63)가 가장 가까이 멀리 있을 때와 가장 가까이 있을 때 3차원 공간의 점 X(63)의 z 방향 위치를 각각 zmin, zmax라 하면 tz/z2의 범위는 다음과 같다.
Figure 112012022165227-pat00009
카메라의 초점거리 f, 이미지 센서의 x 방향의 크기 a, 스테레오 영상 촬영가능영역(50) 내에서 3차원 공간의 점 X(63)가 가장 가까이 멀리 있을 때와 가장 가까이 있을 때의 z 방향 위치 zmin과 zmax, 제1 카메라(10)와 제2 카메라(20) 위치에 따른 이동 거리 tz 및 사이각 β 값을 알 수 있으므로, [수학식 7], [수학식 8], [수학식 9]를 이용하여 주어진 제1 카메라 영상점(13)의 수직이격거리 Δv1에 대하여 제2 카메라 영상점(23)의 수직이격거리 Δv2의 범위를 예측할 수 있다.
앞서 설명에서는 제1 카메라(10)와 제2 카메라(20)를 구형물체 비행 정방향에 수직하는 평면(40)상에 위치시키고 카메라의 시야 중심축이 수직하는 평면을 벗어나지 않도록 배치함으로써 제1 카메라(10)와 제2 카메라(20) 사이의 제1 카메라(10)의 y축 방향 이동 거리 ty가 0이 되도록 하였지만, 반드시 ty = 0 인 경우에만 본 발명의 방법이 적용되는 것은 아니다. ty ≠ 0인 경우에 [수학식 7]은 다음의 [수학식 10]처럼 변경되며,
Figure 112012022165227-pat00010
s는 다음과 같다.
Figure 112012022165227-pat00011
상기 [수학식 10] 및 [수학식 11]에서 ty/z2의 범위는 스테레오 영상 촬영가능영역(50) 내에서 구형물체가 가장 가까이 멀리 있을 때와 가장 가까이 있을 때 구형물체의 z 방향 위치 zmin, zmax를 이용하여 다음과 같이 구해진다.
Figure 112012022165227-pat00012
즉, ty ≠ 0인 경우에도 [수학식 9] 내지 [수학식 12]를 이용하여 Δv2의 범위를 계산할 수 있다.
통상 스테레오 영상 취득을 위해 2대의 카메라를 설치하는 경우에 f2ty/z2 값이 작아야 한다. 만약 f2ty/z2 값이 크다면 Δv2 - Δv1 값이 크게 되고, 이것은 하나의 카메라 영상에는 구형물체가 보이는 데, 다른 카메라 영상에는 구형물체가 보이지 않는 경우가 자주 발생한다는 뜻이므로 좋지 않은 카메라 배치가 된다. 따라서 의도적으로 ty의 값이 큰 값이 되도록 배치하는 경우는 없다고 보아야 하며, 단 ty = 0가 되도록 배치하였으나 약간의 오차가 발생하여 ty가 0이 되지 않고 ty가 작은 값을 갖게 되더라도 [수학식 10]을 이용하여 주어진 Δv1 값에 대해 Δv2의 범위를 예측할 수 있다. 본 발명에서는 Δv2의 정확한 범위 값을 이용하는 것이 아니고 근사적인 범위 값을 이용하므로 ty가 zmin에 비해 매우 작다면 ty를 고려하지 않아도 무방하다. 또한, Δv2 - Δv1의 범위 예측은 상기와 같이 수학적으로 계산할 수 있지만 본 발명에서는 Δv2 - Δv1의 근사적인 범위를 이용하므로 실험을 통하거나 가상 모의실험(simulation)을 통해 구할 수도 있다.
본 발명에서는 스테레오 영상 촬영가능영역(50) 내에서 구형물체의 제1 카메라 투영 중심점(12)을 기준으로 한 수직위치 Δv1와 제2 카메라 투영 중심점(22)을 기준으로 한 수직위치 Δv2의 차이 Δv2 - Δv1의 범위를 파악하여, 제1 카메라(10)와 제2 카메라(20)에서 구형물체의 스테레오 영상을 취득하기 위한 영상취득영역의 크기 결정에 이용한다.
비행 중인 구형물체의 카메라 전체 영상이 아닌 구형물체 크기 만큼의 영상을 취득하기 위해서는 비행 중인 구형물체 영상(17)의 카메라 영상에서의 위치와 구형물체 영상(17) 크기를 알아야 한다. 본 발명에서는 비행 중인 구형물체 영상(17)의 카메라 영상에서 위치를 알아내기 위해 카메라 영상 내에 감시영역을 설정하여 구형물체 영상(17)이 상기 감시영역을 통과하는 위치를 파악하고, 상기 감지되는 구형물체 영상(17)의 통과 위치에 스테레오 영상 촬영가능영역(50) 내에서 구형물체가 영상에서 가장 크게 보일 때의 크기보다 약간 크게 영상취득영역을 설정하여 해당 영역의 영상만을 취득한다. 그러나 스테레오 영상을 취득하기 위해서는 2대의 카메라에서 동시에 영상을 취득하여야 하는데 2대의 카메라 영상에서 구형물체 영상(17)의 위치가 동일하지 않다는 문제가 있다. 본 발명에서는 이 문제를 해결하기 위해 앞서 설명한 바와 같이 카메라 배치에 따른 두 카메라 영상점 사이의 위치 관계를 수학적 또는 실험적 접근을 통해 파악하고, 이를 이용하여 영상취득영역의 넓이를 달리하였다.
이하에서는 이러한 기본 개념을 토대로 스테레오 카메라에서 비행 중인 구형물체의 스테레오 영상을 취득하는 방법에 대하여 자세히 설명한다.
도 7은 제1 카메라(10)와 제2 카메라(20)에 설정된 감시영역 및 영상취득영역을 도시한 것이다.
먼저 카메라에서 비행하는 구형물체 영상(17)을 취득하기 위해 도 7의 (15, 25) 및 (16, 26)과 같이 스테레오 카메라 영상에 2개 이상의 감시영역 쌍을 설정한다. 감시영역 쌍은 구형물체 영상(17)이 감시영역을 통과하는지를 감시하기 위해 제1 카메라 영상(11) 및 제2 카메라 영상(21)에 설정하는 영역으로, 각 카메라 영상에서 구형물체 영상(17)의 통과 여부는 이전 감시영역 영상과 현재 감시영역 영상의 명도 차 또는 색상 차를 계산한 후에 명도 차 또는 색상 차가 소정 값 이상인 연속된 픽셀 수가 소정 수 이상인지를 조사함으로써 이루어진다. 그리고 조명의 변화에 따른 영향을 감소시키기 위해 물체의 영상이 감지되지 않은 경우에는 이전 감시영역 영상을 현재 감시영역 영상과 평균하여 다음 감시 시점에 사용할 감시영역 영상으로 저장한다. 감시영역의 또 다른 역할은 구형물체 영상(17)이 감시영역을 통과할 때 통과위치를 계산하는 것으로, 상기 통과위치는 구형물체 영상(17)이 감지되는 연속된 픽셀들의 중앙점을 찾고, 상기 중앙점 위치를 카메라 영상에서 좌표값으로 환산함으로써 구해진다.
감시영역의 세로 길이(도 7에서 구형물체 진행 정방향 쪽 길이)는 임의로 설정할 수 있으나 짧은 감시시간간격(Δtm) 동안 구형물체 영상(17)의 통과 여부를 판단하기 위한 영상처리가 완료되어야 하므로 1 픽셀 내지 3 픽셀이 바람직하다. 감시영역의 가로 길이(도 7에서 카메라 영상에서 구형물체 진행 정방향에 수직한 방향의 길이)는 카메라 전체 영상의 길이에서 스테레오 영상 촬영가능영역(50) 내에서 구형물체가 카메라에서 가장 멀리 있을 때(구형물체가 가장 작게 보이는 영상)의 구형물체 영상 크기를 뺀 값으로 잡는다. 이렇게 구형물체가 가장 멀리 있을 때의 구형물체 영상(17) 크기만큼 빼는 이유는 감시영역의 크기를 가능한 작게 설정함으로 감시시간간격을 최대한 짧게 하기 위함이며, 구형물체 영상(17)이 감시영역 밖으로 벗어난다는 것은 구형물체가 좀 더 비행하면 스테레오 영상 촬영가능영역(50)을 벗어나므로 감시할 필요가 없어지기 때문이다. 그러나 감시 시간간격을 충분히 짧게 할 수 있다면 감시영역의 가로 길이는 카메라 영상의 가로 길이만큼 잡을 수 있다.
감시영역 쌍이란 스테레오 카메라, 즉 제1 카메라(10)와 제2 카메라(20)의 영상에 같은 크기, 같은 위치로 설정되는 2개의 감시영역을 의미한다. 여기서 감시영역의 위치를 설정하는 기준점은 앞서 설명한 것처럼 카메라의 투영 중심점이 되어야 한다. 예를 들면, 도 7에 도시되었듯이 첫 번째 감시영역 쌍인 제1 카메라 영상(11)에 제1 카메라(10)의 투영 중심점에서 수직방향으로 d1 만큼 떨어진 위치에 감시영역-1a(15)를 설정하였다면, 제2 카메라(20)에 설치되는 감시영역-2a(25)의 위치도 제2 카메라(20)의 투영 중심점에서 수직방향으로 d1 만큼 떨어진 위치이어야 한다. 이렇게 설정되는 제1 카메라 영상(11) 내의 감시영역-1a(15)와 제2 카메라 영상(21) 내의 감시영역-2a(25)를 감시영역 쌍이라 한다.
스테레오 카메라 영상에 설정하는 감시영역 쌍의 개수와 설정 위치는 제한이 없지만 감시영역 쌍의 개수는 최소 2개 이상이어야 하며, 감시영역 쌍들의 수평 위치는 카메라 영상의 정중앙에 위치시키며, 수직위치는 구형물체의 최대속도, 카메라의 영상취득에 걸리는 시간, 영상취득영역의 크기 등을 고려하여 설정하되, 가능한 감시영역들의 간격이 같은 간격을 유지하도록 하며, 감시영역 간 간격이 멀도록 하는 것이 바람직하다.
이후의 설명에서는 설명의 편의를 위해 감시영역 쌍이 2개인 경우로 가정한다.
다음으로, 영상취득영역의 크기 설정을 위해 제1 카메라(10)와 제2 카메라(20)의 위치 및 방향, 카메라의 초점거리, 카메라의 최대 시야각 등과 [수학식 7], [수학식 8], [수학식 9]를 이용하여 제1 카메라 영상(11)에서 감시영역-1a(15)의 투영 중심점에서의 수직이격거리 d1과 d1을 제2 카메라 영상(21)에서 환산한 수직이격거리 d1'의 차이 d1' - d1의 범위를 계산하고 그 범위에서의 최대값 Δ1 max = max(|d1' - d1|)를 계산한다. d1'을 계산하기 위해서는 [수학식 7]에서 Δv1에 d1을 대입하면 된다. 같은 방법으로 제1 카메라 영상(11)에서 감시영역-1b(16)의 투영 중심점에서의 수직이격거리 d2와 d2를 제2 카메라 영상(21)에서 환산한 수직이격거리 d2'의 차이 d2' - d2의 최대값 Δ2 max = max(|d2' - d2|)을 계산하고, 계산된 값 Δ1max와 Δ2 max의 값 중에 큰 값을 제1 카메라 영상(11)과 제2 카메라 영상(21)에서의 최대 이격거리 Δmax로 잡는다. Δmax는 [수학식 7], [수학식 8], [수학식 9]를 이용하여 계산하지 않고 제1 카메라 및 제2 카메라 영상에서 실험으로 구할 수도 있다.
도 8 및 도 9는 영상취득영역을 도시한 것이다.
다음으로, 구형물체 영상(17) 취득에 사용하기 위한 영상취득영역-A(65), 영상취득영역-B(67)의 크기를 설정한다. 영상취득영역-A(65)는 정사각형 모양으로 하되, 상기 영상취득영역-A(65)의 한 변의 길이는 도 8에 도시된 바와 같이 구형물체가 카메라 영상에서 가장 크게 보일 때(구형물체가 카메라에 가장 가까이 근접하였을 때)의 구형물체 영상(17)의 지름보다 여유간격 2d만큼 크게 한다. 그리고 영상취득영역-A(65)의 중앙점에서 구형물체 비행 정방향(30, 여기서는 위쪽)으로 구형물체 영상(17)의 반지름 크기만큼 구형물체 영상(17)이 전진하는 방향(여기서는 위쪽)에 위치설정 기준점(69)을 잡는다. 영상취득영역-B(67)는 도 9에 도시된 바와 같이 가로 길이는 영상취득영역-A(65)의 가로 길이와 동일하고, 세로 길이는 영상취득영역-A(65)의 세로 길이보다 앞서 계산한 제1 카메라 영상(11)과 제2 카메라 영상(21)에서의 최대 이격거리 Δmax 만큼 크게 잡는다. 영상취득영역-B(67)의 위치설정 기준점은 기존의 영상취득영역-A(65)의 위치설정 기준점을 그대로 유지한다.
상기와 같이 영상취득영역의 크기를 구형물체 영상(17)의 최대 크기보다 조금 더 크게 설정하면 취득되는 영상의 크기를 최소화할 수 있지만, 경우에 따라서는 카메라 전체 영상을 그대로 취득하여도 된다. 따라서 영상취득영역의 크기에 제한이 있는 것은 아니며 취득되는 영상의 크기를 작게 하면 영상처리 시간을 줄일 수 있다는 장점이 있다.
상기와 같이 카메라 영상에 감시영역들이 설정되고, 영상취득영역들의 크기가 결정되면 감시영역을 이용하여 구형물체 영상(17)을 취득한다.
도 7을 참조하면, 먼저 첫 번째 감시영역 쌍인 감시영역-1a(15)과 감시영역-2a(25)에서 모두 구형물체 영상(17)이 감지되는지를 짧은 감시시간간격(Δtm)으로 반복적으로 감시한다. 감시시간간격(Δtm)는 구형물체의 최대속도 및 통과 감지를 위한 계산 시간을 고려하여 설정하되 가능한 짧게 잡는다. 예를 들어, 골프공의 최대속도가 76m/sec일 때, 감시시간간격(Δtm)을 20㎲로 잡으면 감시시간간격당 골프공의 최대 이동거리는 1.52㎜가 되어, 20㎲는 감시시간간격(Δtm)으로 충분히 짧다고 할 수 있다.
감시영역-1a(15)와 감시영역-2a(25)에서 구형물체 영상(17)이 모두 감지되면 감지되는 순서에 따라 영상취득영역의 크기를 달리하여 감지되는 시점에 동시에 구형물체의 스테레오 영상을 취득한다. 즉, 감시영역-1a(15)에서 구형물체가 먼저 감지되는 경우에는 감시영역-1a(15)에서 구형물체 영상(17)의 통과위치에 영상취득영역-B(67)의 위치설정 기준점(69)을 일치시키고 영상취득영역-B(67) 만큼의 영상을 취득하며, 감시영역-2a(25)에서 구형물체 영상(17)의 통과위치에 영상취득영역-A(65)의 위치설정 기준점(69)을 일치시키고 영상취득영역-A(65) 만큼의 영상을 취득한다. 만약 감시영역-2a(25)에서 구형물체 영상(17)이 먼저 감지되는 경우에는 반대로 감시영역-2a(25)에서 구형물체 영상(17)의 통과위치에 영상취득영역-B(67)의 위치설정 기준점(69)을 일치시키고 영상취득영역-B(67)의 크기만큼의 영상을 취득하며, 감시영역-1a(15)에서 구형물체 영상(17)의 통과위치에 영상취득영역-A(65)의 위치설정 기준점(69)을 일치시키고 영상취득영역-A(65)의 크기만큼의 영상을 취득한다.
위와 같이 구형물체 영상(17)의 통과가 먼저 감지되는 카메라 영상에서 영상취득영역 크기를 더 크게 하는 이유는 스테레오 영상은 제1 카메라 감시영역 또는 제2 카메라 감시영역 중 구형물체 영상(17)이 늦게 감지되는 감시영역을 통과하는 시각에 동시에 취득되어야 하므로, 구형물체 영상(17)이 먼저 감지되는 카메라 영상에서는 다른 카메라 감시영역에서 구형물체 영상(17)이 감지될 때까지 구형물체 영상(17)이 구형물체 비행 정방향으로 진행하는 만큼 영상취득영역의 크기에 여유가 있어야 하기 때문이다. 상기 제1 카메라 감시영역 또는 제2 카메라 감시영역 중 구형물체 영상(17)이 늦게 감지되는 감시영역을 통과하는 시각이 영상취득시점 t1이 되고, 영상취득시점 t1에서 취득된 제1 카메라 취득영역-1a 영상(18)과 제2 카메라 취득영역-2a 영상(28)이 구형물체의 스테레오 영상이 된다.
다음으로, 두 번째 감시영역 쌍인 감시영역-1b(16)과 감시영역-2b(26)에서 모두 구형물체가 감지되는지를 감시시간간격(Δtm)으로 반복적으로 감시하여 위와 같은 방법으로 영상취득시점 t2에서 구형물체의 스테레오 영상을 취득한다. 이렇게 취득된 제1 카메라 취득영역-1b 영상(19)과 제2 카메라 취득영역-2b 영상(29)은 영상취득시점 t2에서 구형물체의 스테레오 영상이 된다.
참고로, 도 7은 감시영역-1a(15)가 먼저 구형물체 영상(17)을 감지한 후에 다시 감시영역-1b(16)가 먼저 구형물체 영상(17)을 감지한 예를 도시하고 있다.
본 발명에서는 각각의 카메라에 감시영역을 2개만 설정하였지만 3 시점 이상에서 스테레오 영상을 취득할 필요가 있을 때는 각각의 카메라에 감시영역을 3개 이상 설정할 수도 있으며, 감시영역이 3개 이상인 경우도 위에서 설명한 방법으로 스테레오 영상을 취득할 수 있다.
다음으로 취득된 카메라 스테레오 영상으로부터 구형물체의 비행속도를 추정하는 방법에 대하여 설명한다. 결론부터 말하면 구형물체의 비행속도 v는 영상취득시점 t1에서 구형물체의 3차원 공간상의 위치벡터 c 1 와 영상취득시점 t2에서 구형물체의 3차원 공간상의 위치벡터 c 2 로부터 다음의 식으로 계산된다.
Figure 112012022165227-pat00013
따라서 t1 시점에서 구형물체의 3차원 공간상의 위치벡터 c 1 과 t2 시점에서 구형물체의 3차원 공간상의 위치벡터 c 2 를 계산하는 것이 구형물체의 비행속도를 추정하는 방법의 핵심이 된다.
여기서 주의할 점은 구형물체가 카메라 영상에 투영되었을 때는 일반적으로 타원으로 보이며, 구형물체 영상(17)이 카메라 영상의 투영 중심점에 위치할 때만 원으로 보인다는 점이다. 종래에는 카메라 영상에 보이는 타원의 중심점을 구하여 이것을 역투영하는 방법으로 구형물체의 3차원 공간상의 위치를 계산하였지만 수학적 관점에서 엄밀히 말하면 구형물체 중심점(61)은 영상에 보이는 구형물체 영상(17)인 타원의 중심점을 투영한 직선상에 위치하지 않으며, 다만 구형물체가 카메라에서 비교적 원거리에 위치할 때에만 근사적으로 타원의 중심점을 투영한 직선상에 위치한다고 할 수 있다.
따라서 본 발명에서는 구형물체의 스테레오 영상으로부터 구형물체의 3차원 공간상의 위치를 정확하게 계산하기 위해 스테레오 영상 각각에 보이는 2개의 타원의 중심점을 투영하는 방법을 사용하지 않고 물체가 구형이라는 기하학적 특성을 이용한다.
도 10은 3차원 공간상에서 구형물체(60)와 스테레오 영상의 관계를 도시한 것이고, 도 11은 2개의 원뿔의 모선에 내접하는 구형물체(60)를 도시한 것이다.
투영이론에 의하면 도 10에 도시된 바와 같이 3차원 공간상의 구형물체(60)는 2차원인 카메라 영상에 타원(71, 81)으로 투영되며, 카메라 좌표계 원점과 카메라 영상에 나타난 타원을 연결하면 원뿔(70, 80)이 된다. 또한 도 11에 도시된 바와 같이 구형물체(60)는 원뿔(70, 80)에 내접하며, 원뿔의 중심축(72, 82)은 구형물체 중심점(61)을 통과한다. 상기 원뿔(70, 80)은 영상에 보이는 타원(71, 81)을 역투영하여 생성하였기 때문에 타원뿔로 생각할 수 있지만 타원뿔 중심축에 수직인 평면과 타원뿔이 만나서 생성되는 도형은 원이 되므로 실제 도형의 형상은 원뿔이다. 만약 2개의 카메라에서 동시에 취득된 스테레오 영상에서 각 카메라 영상에 보이는 타원들(71, 81)을 역투영하여 2개의 원뿔(70, 80)을 복원하면 이 원뿔들의 중심축(72, 82)은 한 점에 교차하며, 상기 교차점이 구형물체 중심점(61)이 된다. 즉, 임의의 시점에서 동시에 취득된 스테레오 영상으로부터 3차원 공간상에서의 구형물체 중심점(61)의 방향벡터(카메라 좌표계 원점을 출발점으로 하고 구형물체 중심점을 통과하는 벡터) 2개를 계산하고, 각각의 구형물체 중심점(61)의 방향벡터를 이용하여 원뿔의 중심축을 나타내는 직선 2개를 구하고, 두 직선의 교차점을 계산하면 임의의 시점에서 구형물체 중심점(61)의 3차원 공간에서 위치를 구할 수 있다.
먼저 하나의 카메라에서 취득된 구형물체 영상(17)에서 3차원 공간상의 구형물체 중심점(61)의 방향벡터를 계산하는 방법에 대하여 설명한다. 카메라 영상에 나타나는 일반적인 타원 식을 영상 좌표계 (u, v)로 기술하면 다음의 [수학식 14]와 같이 기술된다.
Figure 112012022165227-pat00014
[수학식 14]를 행렬로 나타내면 [수학식 15]와 같으며,
Figure 112012022165227-pat00015
여기서
Figure 112012022165227-pat00016
는 영상점 (u, v)의 동차좌표(homogeneous coordinates) 벡터이며, C는 타원을 나타내는 행렬로 다음과 같이 기술된다.
Figure 112012022165227-pat00017
여기서는 타원 행렬 C는 알고 있다고 가정하고, 타원 행렬 C를 구하는 방법은 추후 설명한다.
투영이론에 따르면 영상의 임의의 한 점 u(u,v)와 그에 해당하는 3차원 공간의 점 X(63)의 사이에는 다음과 같은 투영식이 성립한다.
Figure 112012022165227-pat00018
여기서 K는 카메라 렌즈의 특성을 나타내는 크기가 3×3인 카메라 특성행렬로 카메라 보정 과정을 통해 구해지며, x는 카메라 좌표계로 기술한 3차원 공간의 점의 위치벡터이고, λ는 투영에 따른 상수이다.
카메라 영상의 타원을 3차원 공간으로 역투영시키기 위해서 [수학식 17]을 [수학식 15]에 대입하면 다음의 [수학식 18]이 성립하며, 이 식은 카메라 좌표계 원점과 카메라 영상에 나타난 타원을 연결하는 원뿔 식이 된다.
Figure 112012022165227-pat00019
도 12는 카메라 좌표계 및 카메라 좌표계 원점과 타원의 중심을 이은 축이 zc축이 되도록 카메라 좌표계를 회전시킨 새로운 xc-yc-zc 좌표계를 도시한 것이다.
[수학식 18]은 일반적인 타원뿔 식으로 z축이 타원뿔의 중심축과 일치하지 않는 형태이므로 z축을 타원뿔의 중심축과 일치시켜 타원뿔 표준식(여기서는 타원뿔 표준식이 원뿔 식의 형태가 된다)으로 변환하기 위해 도 12와 같이 카메라 좌표계를 회전시켜 새로운 xc-yc-zc 좌표계를 만든다. 이때 zc축을 타원뿔의 중심축에 일치시키며, 카메라 좌표계 원점에서 zc축 방향으로 바라보았을 때에 타원의 단축이 xc축, 장축이 yc축과 겹쳐지도록 한다. 타원뿔의 표준식 형태로 변환하기 위한 좌표 변환식은 아래의 [수학식 19]과 같으며, 회전행렬 R 1 은 K T CK 행렬의 고유치 해석(eigen value analysis)을 통해 계산된다.
Figure 112012022165227-pat00020
여기서 x는 공간의 점의 위치를 카메라 좌표계로 기술한 위치벡터이고, x c 는 동일한 공간의 점의 위치를 xc-yc-zc 좌표계로 기술한 위치벡터이다.
타원뿔의 중심축 방향은 좌표 변환된 좌표계에서 zc축과 동일하므로 타원뿔의 중심축 방향벡터 m을 카메라 좌표계로 기술하면 [수학식 20]과 같다.
Figure 112012022165227-pat00021
상기 타원뿔의 중심축 방향벡터, 즉 구형물체 중심점(61)의 방향벡터 m은 카메라 좌표계로 기술된 것이므로 기준 좌표계(100)에 대한 방향벡터 n은 카메라 좌표계와 기준 좌표계(100) 사이의 좌표변환 관계를 이용하면 [수학식 21]과 같이 기술된다.
Figure 112012022165227-pat00022
여기서 R은 기준 좌표계(100)에서 카메라 좌표계로 좌표변환하는 회전행렬로, 카메라 보정 과정에서 구해진다.
상기 기준 좌표계(100)로 기술된 구형물체 중심점(61)의 방향벡터 n을 이용하여 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 원뿔 중심축을 기준 좌표계(100)에서 직선 식으로 기술하면 다음 식과 같다.
Figure 112012022165227-pat00023
여기서 t는 기준 좌표계(100)에서 카메라 좌표계로 평행이동하는 이동벡터로 카메라 보정 과정에서 구해지며, w는 직선 식의 매개변수이다.
다음으로 앞서 설명한 수학식들에 기초하여 하나의 카메라 영상에서 임의의 시점에서 취득된 영상으로부터 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 원뿔 중심축의 직선 식을 구하는 과정에 대하여 설명한다.
1) 단계-1 : 취득된 영상에 대하여 구형물체 영상(17)에서 경계선 영상점들을 추출한다.
타원 식을 구하기 위해 먼저 취득된 구형물체 영상(17)에서 경계선에 해당하는 영상점들을 추출한다. 영상점들을 추출하는 방법은 영상처리분야에서 많은 방법들이 제안되어 있으므로 이 중의 한 방법을 이용한다. 가장 간단한 방법으로는 구형물체 영상(17)의 명도와 배경의 명도 차 또는 구형물체 영상(17)의 색상과 배경의 색상 차를 이용하는 방법이 있다.
2) 단계-2 : 구형물체 영상(17)의 경계선 영상점들을 이용하여 타원 식을 구한다.
영상처리를 통해 추출된 영상점들을 이용하여 영상처리분야에서 많이 사용하는 타원 접합(ellipse-fitting) 방법 또는 허프 변환(Hough transform) 방법을 통해 타원 식을 구한다.
3) 단계-3 : 단계-2에서 계산된 타원 식으로부터 [수학식 21]을 이용하여 3차원 공간상에서의 구형물체 중심점(61)의 방향벡터를 계산한다.
4) 단계-4 : 단계-3에서 계산된 구형물체 중심점(61)의 방향벡터를 이용하여 [수학식 22]로부터 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 3차원 공간상의 원뿔 중심축의 직선 식을 계산한다.
상기 과정을 2대의 카메라에서 취득된 스테레오 영상 즉, 제1 카메라 영상(11)과 제2 카메라 영상(21)에 적용하면 제1 카메라 영상(11)에서 제1 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 직선 식 l 1 을, 제2 카메라 영상(21)에서 제2 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 직선 식 l 2 를 계산할 수 있고, l 1 과 l 2 가 교차하는 점이 구형물체 중심점(61)의 3차원 공간상의 위치가 된다. 따라서 t1 시점에서 취득된 스테레오 영상에서 구형물체의 3차원 공간상의 위치벡터 c 1 을 구하고, t2 시점에서 취득된 스테레오 영상에서 구형물체의 3차원 공간상의 위치벡터 c 2 를 구한 후에 [수학식 13]으로부터 구형물체의 비행속도 v를 계산할 수 있다.
만약 스테레오 카메라 영상에 감시영역 쌍을 3개 이상 설정한 경우에는 3개 이상의 시점에서 구형물체의 스테레오 영상을 취득할 수 있으며, 이런 경우에는 취득된 3개 이상의 스테레오 영상 중에서 2개의 스테레오 영상을 조합하여 구형물체의 비행속도를 반복 계산하고, 반복 계산된 구형물체의 비행속도들을 평균하여 비행속도 추정 결과의 신뢰성을 좀 더 높일 수 있다.
지금까지 2대의 카메라, 즉 제1 카메라와 제2 카메라 영상에 감시영역 쌍을 설정하고, 설정된 감시영역을 이용하여 비행 중인 구형물체의 스테레오 영상을 취득하는 방법 및 상기 취득된 스테레오 영상으로부터 구형물체의 비행속도를 추정하는 방법에 대하여 설명하였다.
만약 스테레오 카메라를 이용하여 촬영할 수 있는 스테레오 영상 촬영가능영역(50)이 충분히 크지 않거나 구형물체의 비행속도에 비해 카메라의 촬영 가능 프레임 수가 적어 구형물체 영상이 다수의 감시영역 쌍을 통과하는 동안 카메라 영상을 취득할 수 없는 경우에는 다수의 감시영역 쌍을 복수의 스테레오 카메라 영상에 분산 설정하여 문제를 해결할 수 있다.
도 13은 다수의 감시영역 쌍을 복수의 스테레오 카메라 영상에 분산 설정하기 위한 스테레오 카메라의 배치를 도시한 것이다.
예를 들어 제1 카메라(10)와 제2 카메라(20)에서 감시영역-1a(15), 감시영역-2a(25)를 통과하는 시점인 t1 시점과 감시영역-1b(16), 감시영역-2b(26)를 통과하는 시점인 t2 시점에서 영상취득이 어렵거나 불충분한 경우에는, 도 13과 같이 또 다른 2대의 카메라, 즉 제3 카메라(110)와 제4 카메라(120)를 각각 제1 카메라(10)와 제2 카메라(20)가 설치된 위치에서 구형물체 비행 정방향(30) 쪽으로 구형물체 비행 정방향에 수직하는 또 다른 평면(140)상에 배치하여, 제1 카메라(10)와 제2 카메라(20)에는 각각 감시영역-1a(15), 감시영역-2a(25)를 설정하고 제3 카메라(110)와 제4 카메라(120)에는 각각 감시영역-1b(16), 감시영역-2b(26)를 설정한다. 이후 제1 카메라(10)와 제2 카메라(20)에서 구형물체 영상(17)이 감시영역-1a(15) 및 감시영역-2a(25)를 통과하는 시점인 t1 시점에서 구형물체의 스테레오 영상을 취득하고, 제3 카메라(110)와 제4 카메라(120)에서 구형물체 영상(17)이 감시영역-1b(16) 및 감시영역-2b(26)를 통과하는 시점인 t2 시점에서 구형물체의 스테레오 영상을 취득한다. 이렇게 구형물체의 스테레오 영상을 카메라를 나누어 취득한 경우에도 앞서 설명한 방법을 적용하여 구형물체의 비행속도를 추정할 수 있다. 단, 모든 카메라에서 측정되는 영상취득시점은 하나의 시계로 측정되어야 한다.
결론적으로 본 발명은 스테레오 카메라로부터 비행 중인 구형물체의 스테레오 영상을 취득함에 있어, 카메라 영상 내에 다수의 감시영역을 설정하고 구형물체 영상이 상기 감시영역을 통과하는 위치에 기반하여 스테레오 영상을 취득하고, 취득된 여러 시점에서의 구형물체의 스테레오 영상으로부터 구형물체의 기하학적 특성을 이용하여 구형물체의 비행속도를 추정한다.
10 제1 카메라 11 제1 카메라 영상
12 제1 카메라 투영 중심점 13 제1 카메라 영상점
14 제1 카메라 좌표계 15 감시영역-1a
16 감시영역-1b 17 구형물체 영상
18 제1 카메라 취득영역-1a 영상 19 제1 카메라 취득영역-1b 영상
20 제2 카메라 21 제2 카메라 영상
22 제2 카메라 투영 중심점 23 제2 카메라 영상점
24 제2 카메라 좌표계 25 감시영역-2a
26 감시영역-2b 28 제2 카메라 취득영역-2a 영상
29 제2 카메라 취득영역-2b 영상 30 구형물체 비행 정방향
40 구형물체 비행 정방향에 수직하는 평면
50 스테레오 영상 촬영가능영역 60 구형물체
61 구형물체 중심점 63 3차원 공간의 점 X
65 영상취득영역-A 67 영상취득영역-B
69 위치설정 기준점 70, 80 원뿔
71, 81 타원 72, 82 원뿔의 중심축
100 기준 좌표계 110 제3 카메라
120 제4 카메라
140 구형물체 비행 정방향에 수직하는 또 다른 평면

Claims (10)

  1. 스테레오 카메라를 이용하여 구형물체의 비행속도를 추정하는 방법에 있어서,
    스테레오 카메라 영상 내에 구형물체 영상(17)의 예상 진행 방향을 따라 제1 카메라 감시영역 및 제2 카메라 감시영역으로 구성되는 감시영역 쌍을 복수 개 설정하는 (a)단계;
    상기 복수 개의 감시영역 쌍 중에서 구형물체 영상(17)이 도달할 감시영역 쌍에 대하여 구형물체 영상(17)이 감시영역 쌍을 통과하는지 여부를 조사하는 (b)단계;
    상기 구형물체 영상(17)의 통과가 감지되는 감시영역 쌍에 대하여 제1 카메라 감시영역 및 제2 카메라 감시영역 각각에 대하여 구형물체 영상(17)의 통과 위치를 구하는 (c)단계;
    상기 구형물체 영상(17)의 통과 위치를 중심으로 제1 카메라 영상(11) 및 제2 카메라 영상(21) 각각에서 영상취득영역 크기만큼 영상을 취득하고, 영상취득시점을 측정하는 (d)단계 및
    상기 취득된 각각의 영상 및 영상취득시점을 이용하여 구형물체의 비행속도를 구하는 (e)단계를 포함하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  2. 청구항 1에 있어서,
    상기 (b)단계는 제1 카메라 감시영역 및 제2 카메라 감시영역의 영상을 취득하고, 카메라별로 취득된 감시영역의 영상과 이전에 취득된 감시영역의 영상과의 명도 차 또는 색상 차를 계산한 후에 명도 차 또는 색상 차가 소정 값 이상인 연속된 픽셀 수가 소정 수 이상인지를 조사하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  3. 청구항 1에 있어서,
    상기 (b)단계는 이전 감시영역 쌍의 영상을 현재의 감시영역 쌍의 영상과 평균하여 다음 감시 시점에 사용할 감시영역 쌍의 영상으로 저장하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  4. 청구항 1에 있어서,
    상기 (c)단계는 각각의 감시영역에서 구형물체 영상(17)이 감지되는 연속된 픽셀들의 중앙점을 구하고, 상기 중앙점의 좌표를 제1 카메라 영상(11) 및 제2 카메라 영상(21)에서 위치로 환산하여 구형물체 영상(17)의 통과 위치를 구하는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  5. 청구항 1에 있어서,
    상기 (d)단계에서 구형물체 영상(17)의 통과가 먼저 감지되는 카메라 영상의 영상취득영역 크기가 나중에 감지되는 카메라 영상의 영상취득영역 크기보다 큰 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  6. 청구항 1에 있어서,
    상기 (e)단계는 취득된 스테레오 카메라 영상들로부터 구형물체 중심점의 3차원 공간상의 위치를 구하는 단계를 포함하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  7. 청구항 6에 있어서,
    상기 취득된 취득된 스테레오 카메라 영상들로부터 구형물체 중심점의 3차원 공간상의 위치를 구하는 단계는,
    제1 카메라 및 제2 카메라 영상에서 구형물체 영상(17)의 경계선 영상점들을 추출하는 단계;
    상기 추출된 경계선 영상점들로부터 2개의 타원 식을 계산하는 단계;
    상기 계산된 2개의 타원 식을 역투영하여 2개의 원뿔 식을 구하는 단계;
    상기 2개의 원뿔 식으로부터 2개의 원뿔 중심축의 방향벡터를 구하는 단계;
    상기 2개의 원뿔 중심축의 방향벡터를 이용하여 제1 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 직선 식 l1 및 제2 카메라 좌표계 원점과 구형물체 중심점(61)을 통과하는 직선 식 l2를 구하는 단계 및
    상기 구해진 2개의 직선 식 l1 및 l2의 교차점을 계산하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  8. 청구항 7에 있어서,
    상기 추출된 경계선 영상점들로부터 2개의 타원 식을 계산하는 단계는 타원 접합(ellipse-fitting) 방법 또는 허프 변환(Hough transform) 방법으로 타원 식을 계산하는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 (a)단계는 상기 복수 개의 감시영역 쌍이 1쌍의 스테레오 카메라 영상 내에 모두 설정되거나 2쌍 이상의 스테레오 카메라 영상에 분산되어 설정되는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.
  10. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 감시영역 쌍이 3개 이상인 경우에는 구형물체 영상(17)이 감시영역 쌍을 통과하는 시점에 취득된 3개 이상의 구형물체 스테레오 영상 중에서 2개의 스테레오 영상을 조합하는 방식으로 조합 가능한 모든 경우에 대하여 구형물체의 비행속도를 계산한 후, 상기 계산된 구형물체의 비행속도들을 평균하는 것을 특징으로 하는 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법.











KR1020120027910A 2012-03-19 2012-03-19 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법 KR101244044B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120027910A KR101244044B1 (ko) 2012-03-19 2012-03-19 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120027910A KR101244044B1 (ko) 2012-03-19 2012-03-19 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법

Publications (1)

Publication Number Publication Date
KR101244044B1 true KR101244044B1 (ko) 2013-03-15

Family

ID=48181950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120027910A KR101244044B1 (ko) 2012-03-19 2012-03-19 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법

Country Status (1)

Country Link
KR (1) KR101244044B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160090632A (ko) 2015-01-22 2016-08-01 주식회사 인피니전 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
KR20190067438A (ko) * 2017-12-07 2019-06-17 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
KR20200073694A (ko) * 2018-12-14 2020-06-24 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
US10796437B2 (en) 2017-11-29 2020-10-06 Electronics And Telecommunications Research Institute System and method for simultaneously reconstructing initial 3D trajectory and velocity of object by using single camera images
WO2023003237A1 (ko) * 2021-07-22 2023-01-26 주식회사 골프존 이동하는 볼의 센싱을 위한 영상분석방법 및 이를 이용한 센싱장치
KR20230071304A (ko) * 2021-11-16 2023-05-23 알바이오텍 주식회사 고정형 스테레오 카메라

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285873A (ja) * 1995-04-19 1996-11-01 Internatl Business Mach Corp <Ibm> 移動物体速度検出装置及び方法
JP2009198445A (ja) 2008-02-25 2009-09-03 Toshiba Corp 対象物検出装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285873A (ja) * 1995-04-19 1996-11-01 Internatl Business Mach Corp <Ibm> 移動物体速度検出装置及び方法
JP2009198445A (ja) 2008-02-25 2009-09-03 Toshiba Corp 対象物検出装置及び方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160090632A (ko) 2015-01-22 2016-08-01 주식회사 인피니전 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
US10796437B2 (en) 2017-11-29 2020-10-06 Electronics And Telecommunications Research Institute System and method for simultaneously reconstructing initial 3D trajectory and velocity of object by using single camera images
KR20190067438A (ko) * 2017-12-07 2019-06-17 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
KR102650217B1 (ko) 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
KR20200073694A (ko) * 2018-12-14 2020-06-24 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
WO2023003237A1 (ko) * 2021-07-22 2023-01-26 주식회사 골프존 이동하는 볼의 센싱을 위한 영상분석방법 및 이를 이용한 센싱장치
KR20230071304A (ko) * 2021-11-16 2023-05-23 알바이오텍 주식회사 고정형 스테레오 카메라
KR102581507B1 (ko) * 2021-11-16 2023-09-21 알바이오텍 주식회사 고정형 스테레오 카메라

Similar Documents

Publication Publication Date Title
KR101244044B1 (ko) 스테레오 카메라를 이용하는 구형물체의 비행속도 추정 방법
US10810847B2 (en) Method and camera system combining views from plurality of cameras
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
CN106370884B (zh) 基于双目相机计算机视觉技术的车辆测速方法
CN109922251A (zh) 快速抓拍的方法、装置及系统
US9025009B2 (en) Method and systems for obtaining an improved stereo image of an object
US20200134849A1 (en) Device and method for obtaining depth information from a scene
US20170351924A1 (en) Crowd Monitoring System
CN104154898B (zh) 一种主动测距方法及系统
JP5007863B2 (ja) ３次元物体位置計測装置
KR101231387B1 (ko) 카메라 영상을 이용하는 구형물체의 비행속도 추정 방법
CN110136047B (zh) 一种车载单目图像中静止目标三维信息获取方法
CN109074480A (zh) 用于检测机动车辆的环境区域的图像中的滚动快门效应的方法、计算装置、驾驶员辅助系统以及机动车辆
JP6694234B2 (ja) 距離測定装置
CN104918031B (zh) 深度恢复设备和方法
CN204944450U (zh) 深度数据测量系统
JP2008275366A (ja) ステレオ３次元計測システム
CN108122244B (zh) 一种视频图像的视频测速方法及装置
KR101649181B1 (ko) 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
JP2004226134A (ja) ボール弾道計測装置
JP2001116527A (ja) 立体物検出方法及び装置
JP3253328B2 (ja) 距離動画像入力処理方法
JP7154841B2 (ja) 撮像システム、画像処理装置、画像処理方法およびプログラム
Singh et al. Stereo system based distance calculation of an object in image
JP6625284B1 (ja) 表面の２つのオーバーラップした画像の切断縁部を検知する方法および装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170419

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180106

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190129

Year of fee payment: 7