KR20230039190A - 비전 처리 장치 및 이를 이용한 다방향 영상 처리 방법 - Google Patents
비전 처리 장치 및 이를 이용한 다방향 영상 처리 방법 Download PDFInfo
- Publication number
- KR20230039190A KR20230039190A KR1020210122190A KR20210122190A KR20230039190A KR 20230039190 A KR20230039190 A KR 20230039190A KR 1020210122190 A KR1020210122190 A KR 1020210122190A KR 20210122190 A KR20210122190 A KR 20210122190A KR 20230039190 A KR20230039190 A KR 20230039190A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- incident light
- combiner
- processing device
- change
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000010287 polarization Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000208140 Acer Species 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
본 발명은 다방향(multi-direction)에서 획득된 영상 정보를 처리하는 기술에 관한 것으로, 비전(vision) 처리 장치는, 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키고, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner), 컴바이너의 대향 각도를 조절하는 구동부, 컴바이너를 통해 투과된 제 1 입사광과 반사된 제 2 입사광을 동시에 입력받는 센서 및 센서를 통해 입력된 제 1 입사광 및 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 구동부를 제어하여 컴바이너의 대향 각도를 조절함으로써 오버랩 영상 내의 변화를 이용하여 제 1 방향의 영상 및 제 2 방향의 영상을 각각 분리하는 처리부를 포함한다.
Description
본 발명은 광학 센서를 통해 수집된 시각 정보를 사용, 해석 또는 가공하는 비전 처리(vision processing) 기술에 관한 것으로, 특히 컴퓨팅 요소 기술과 영상 처리 기술을 활용하여 다양한 방향에서 획득된 영상 정보를 동시에 처리하는 비전 처리 장치 및 이를 이용한 다방향의 영상을 처리하는 방법에 관한 것이다.
영상 처리 기술의 발달에 따라 다양한 영상을 수집하여 목적에 따라 가공하여 새로운 영상을 생성하는 응용 기술이 등장하고 있다. 특히 전방의 특정 각도만을 볼 수 있는 인간과는 달리 다양한 방향 및 각도에서 획득된 다수의 영상을 함께 처리하여 사용자에게 제시하고자 하는 수요가 증가하고 있다. 예를 들어, 간단하게는 차량의 후방 카메라가 존재하며, 나아가 다수의 카메라를 활용하여 차량의 사각을 방지하는 어라운드 뷰(around view) 시스템도 널리 활용되고 있다.
이와 같이, 차량이나 로봇의 자율 주행을 구현하기 위해 요구되는 비전 시스템은 시각 센서가 설치된 방향에 따라서 볼 수 있는 시야가 결정된다. 따라서, 시야 밖의 시각 정보를 얻기 위해서는 시각 센서의 방향을 조정하여 새로운 시야를 확보해야만 한다. 예를 들어, 휴머노이드 로봇의 비전 시스템의 경우 카메라가 설치된 로봇의 머리나 몸체를 회전시켜 시야를 변경할 수 있고, 자율주행 차량의 비전 시스템의 경우 팽이처럼 회전하면서 연속적으로 전/후/좌/우의 시야를 확보할 수 있다. 또한, 비용의 증가를 감수하면서도 시각 센서를 전/후/좌/우의 4방향으로 설치할 수도 있을 것이다. 이하의 선행기술문헌에는 다방향의 감시 내지 추적을 위한 카메라 시스템이 소개되어 있다.
본 발명이 해결하고자 하는 기술적 과제는, 종래의 다방향 영상을 획득하기 위한 기술이 물리적인 카메라의 개수를 증가시키는 형태로 구현되어 있기에 구성 및 제어가 복잡해지며 비용이 증가하는 문제를 해결하고, 종래이 비전 시스템이 카메라가 설치된 물리적인 지향 방향 외에는 시야를 확보하지 못하는 한계를 극복하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 비전(vision) 처리 장치는, 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키고, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner); 상기 컴바이너의 대향 각도를 조절하는 구동부; 상기 컴바이너를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 센서; 및 상기 센서를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 상기 구동부를 제어하여 상기 컴바이너의 대향 각도를 조절함으로써 상기 오버랩 영상 내의 변화를 이용하여 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리하는 처리부;를 포함한다.
일 실시예에 따른 비전 처리 장치에서, 상기 처리부는, 상기 구동부를 통해 상기 컴바이너의 대향 각도를 변화시키고, 상기 오버랩 영상 내에서 상기 대향 각도의 변화에 따라 움직이는 화소(pixel) 및 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 각각 상기 제 2 방향의 영상 및 상기 제 1 방향의 영상으로 추출할 수 있다.
일 실시예에 따른 비전 처리 장치에서, 상기 처리부는, 상기 구동부를 통해 상기 컴바이너를 미리 설정된 진동수에 따라 진동시키고, 상기 진동수를 고려하여 상기 오버랩 영상 내에서 변화하는 화소를 식별할 수 있다. 또한, 상기 처리부는, 상기 진동수에 따른 상기 구동부의 움직임 주기 내에서 변위가 가장 크게 나타나는 적어도 2개 시점을 기준으로 화소의 변화를 식별할 수 있다.
일 실시예에 따른 비전 처리 장치에서, 상기 처리부는, 비전 처리 장치 자체의 움직임 정보를 입력받고, 입력된 상기 움직임 정보를 고려하여 제 1 시간에서의 영상 및 상기 제 1 시간에 연속하는 제 2 시간에서의 영상 간의 변화를 예측하되, 예측된 상기 영상 간의 변화와 상이한 변화가 나타나는 화소를 식별하여 상기 제 2 방향의 영상을 추출할 수 있다. 또한, 상기 제 1 시간에서의 영상 및 상기 제 2 시간에서의 영상 간의 변화는 영상 내의 특징점 매칭을 이용하여 예측할 수 있다. 나아가, 상기 제 1 시간 및 상기 제 2 시간의 차이는 상기 진동수에 따라 화소의 변화를 식별하기 위한 시간의 차이와 서로 상이하도록 설정될 수 있다.
일 실시예에 따른 비전 처리 장치에서, 상기 처리부는, 상기 대향 각도의 변화에 따라, 상기 오버랩 영상 내에서 새롭게 나타나는 객체, 상기 오버랩 영상 내에서 사라지는 객체, 및 객체의 기하학적 변형(geometric transform) 중 적어도 하나를 이용하여 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 각각 상기 제 2 방향의 영상 및 상기 제 1 방향의 영상을 추출할 수 있다.
일 실시예에 따른 비전 처리 장치에서, 상기 센서는, 상기 컴바이너를 투과하여 상기 제 1 입사광이 입력되는 방향을 지향하되, 상기 컴바이너의 표면을 통해 반사되는 상기 제 2 입사광이 입력될 수 있도록 지향 각도가 형성될 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 비전(vision) 처리 장치는, 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키며, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner); 상기 컴바이너를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 센서; 및 상기 센서를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 미리 설정된 파장을 이용하여 상기 오버랩 영상으로부터 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리하는 처리부;를 포함한다.
다른 실시예에 따른 비전 처리 장치에서, 상기 컴바이너는, 파장에 따라 투과 또는 반사의 성질을 갖는 소재로 형성됨으로써 상기 컴바이너를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 파장을 가질 수 있다.
다른 실시예에 따른 비전 처리 장치에서, 상기 처리부는, 투과 또는 반사의 성질이 구분되어 나타나는 기준 파장을 중심으로 설정된 파장 대역으로 획득된 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출할 수 있다.
다른 실시예에 따른 비전 처리 장치에서, 상기 센서는, 상기 컴바이너를 투과하여 상기 제 1 입사광이 입력되는 방향을 지향하되, 상기 컴바이너의 표면을 통해 반사되는 상기 제 2 입사광이 입력될 수 있도록 지향 각도가 형성될 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 또 다른 실시예에 따른 비전(vision) 처리 장치는, 제 1 방향으로부터 입사되는 제 1 입사광 및 제 2 방향으로부터 입사되는 제 2 입사광 중 적어도 하나를 편광시키는 편광 필터; 상기 편광 필터를 통과한 빛의 진행 경로 상에 위치하여, 상기 제 1 입사광을 투과시키고, 상기 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner); 상기 컴바이너를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받되, 편광 특성에 따라 차별적으로 반응하는 센서; 및 상기 센서를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 상기 편광 특성을 이용하여 상기 오버랩 영상으로부터 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리하는 처리부;를 포함한다.
또 다른 실시예에 따른 비전 처리 장치에서, 상기 편광 필터는, 상기 컴바이너의 일측 표면에 형성되어, 상기 제 1 방향으로부터 입사되는 제 1 입사광을 편광시킨 후 투과시키거나, 상기 제 2 방향으로부터 입사되는 제 2 입사광을 편광시킨 후 반사시키고, 상기 컴바이너를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 편광 특성을 가질 수 있다.
또 다른 실시예에 따른 비전 처리 장치에서, 상기 컴바이너는, 빛의 입사각에 따라 투과 또는 반사의 성질을 갖는 소재로 형성될 수 있다.
또 다른 실시예에 따른 비전 처리 장치에서, 상기 처리부는, 상기 센서를 통해 편광 방향에 따라 차별적으로 획득된 감지 성분을 이용하여 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출할 수 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 입사각에 따라 투과 또는 반사의 성질을 갖는 컴바이너(combiner)를 구비하는 비전 처리 장치가 다방향(multi-direction) 영상을 처리하는 방법은, 비전 처리 장치가 상기 컴바이너를 통해 서로 다른 적어도 2개 방향에서 입사되는 입사광들을 수용하는 단계; 상기 비전 처리 장치가 수용된 상기 입사광들을 센서를 통해 동시에 입력받아 오버랩(overlap) 영상을 생성하는 단계; 상기 비전 처리 장치가 상기 컴바이너에 연결된 구동부를 제어하여 상기 컴바이너의 대향 각도를 조절하는 단계; 및 상기 비전 처리 장치가 상기 대향 각도의 조절에 따른 상기 오버랩 영상 내의 변화를 이용하여 서로 다른 방향의 영상들을 분리하는 단계;를 포함한다.
일 실시예에 따른 다방향 영상 처리 방법에서, 상기 컴바이너의 대향 각도를 조절하는 단계는, 상기 구동부를 통해 미리 설정된 진동수에 따라 진동시킴으로써 상기 컴바이너의 대향 각도를 변화시키고, 상기 서로 다른 방향의 영상들을 분리하는 단계는, 상기 진동수를 고려하여 상기 오버랩 영상 내에서 상기 대향 각도의 변화에 따라 움직이는 화소(pixel) 및 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 식별하여 분리함으로써 서로 다른 방향의 영상들을 각각 추출할 수 있다.
일 실시예에 따른 다방향 영상 처리 방법에서, 상기 서로 다른 방향의 영상들을 분리하는 단계는, 상기 진동수에 따른 상기 구동부의 움직임 주기 내에서 변위가 가장 크게 나타나는 적어도 2개 시점을 기준으로 화소의 변화를 식별할 수 있다.
일 실시예에 따른 다방향 영상 처리 방법은, 상기 비전 처리 장치가 자신의 움직임 정보를 입력받는 단계;를 더 포함하고, 상기 서로 다른 방향의 영상들을 분리하는 단계는, 입력된 상기 움직임 정보를 고려하여 제 1 시간에서의 영상 및 상기 제 1 시간에 연속하는 제 2 시간에서의 영상 간의 변화를 예측하되, 예측된 상기 영상 간의 변화와 상이한 변화가 나타나는 화소를 식별하여 서로 다른 방향의 영상들을 각각 추출하고, 상기 제 1 시간 및 상기 제 2 시간의 차이는 상기 진동수에 따라 화소의 변화를 식별하기 위한 시간의 차이와 서로 상이하도록 설정될 수 있다.
일 실시예에 따른 다방향 영상 처리 방법에서, 상기 서로 다른 방향의 영상들을 분리하는 단계는, 상기 대향 각도의 변화에 따라, 상기 오버랩 영상 내에서 새롭게 나타나는 객체, 상기 오버랩 영상 내에서 사라지는 객체, 및 객체의 기하학적 변형(geometric transform) 중 적어도 하나를 이용하여 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 서로 다른 방향의 영상들을 각각 추출할 수 있다.
본 발명의 실시예들은, 컴바이너의 움직임 또는 파장에 따라 투과 및 반사의 성질이 달라지는 특성 내지 편광 특성을 활용하여 서로 다른 방향에 위치한 시각 정보를 동시에 입력받고 하나의 센서를 통해 오버랩 영상을 생성한 후 분리함으로써 최소한의 하드웨어만으로 지향 방향 외의 추가적인 시야를 확보하여 다방향 영상을 획득할 수 있으며, 물리적인 카메라의 개수를 최소화함으로써 제어의 부담 및 비전 처리 장치의 운용 비용을 감소시킬 수 있다.
도 1은 다방향 영상을 획득하기 위한 카메라를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 도 2의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다.
도 4a 및 도 4b는 각각 서로 다른 방향의 영상을 나타냈고, 도 4c는 서로 다른 방향의 영상으로부터 생성된 오버랩 영상을 예시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 도 5의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 편광 필터 및 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 도 7의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 도 2의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다.
도 4a 및 도 4b는 각각 서로 다른 방향의 영상을 나타냈고, 도 4c는 서로 다른 방향의 영상으로부터 생성된 오버랩 영상을 예시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 도 5의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 편광 필터 및 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 도 7의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다.
도 9는 본 발명의 또 다른 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
본 발명의 실시예들을 구체적으로 설명하기에 앞서, 본 발명이 구현되는 환경에서 활용되고 있는 기술에서 지적되는 약점을 간략히 소개하도록 한다.
도 1은 다방향 영상을 획득하기 위한 카메라를 예시한 도면이다. 앞서 소개한 바와 같이 다양한 각도에서 영상을 동시에 획득하기 위해, 또한 350도 전방향의 시야를 확보하기 위해, 도 1에 예시된 바와 같은 다방향 카메라가 활용되고 있다. 예시된 카메라 제품에는 4개 방향으로 각각 카메라가 서로 90도의 각도를 이루며 배치되어 있으며, 하나의 카메라가 확보할 수 있는 시야각을 중첩시킴으로써 전방향에 대한 영상과 시야를 보장할 수 있다. 그러나, 이러한 다방향 카메라가 차량이나 로봇 등에 설치될 경우 물리적인 카메라의 개수로 인해 제품 단가가 상승하는 문제가 있으며, 각각의 카메라 소자를 제어하기 위한 신호 처리의 부담이 가중될 우려가 존재한다.
따라서, 본 발명의 실시예들은 이러한 물리적인 카메라 개수의 증가 없이도 최소화된 장치를 이용하여 적어도 카메라의 개수보다 많은 방향으로부터 영상을 획득할 수 있는 기술적 수단을 제안하고자 한다. 이를 위해, 본 발명의 실시예들은 투과 및 반사의 2가지 성질을 갖는 광학 매체인 컴바이너(combiner)를 활용하여 적어도 카메라의 개수보다 많은 수의 영상을 동시에 획득하고, 영상 처리 요소 기술을 활용하여 동시에 획득된 영상들로부터 필요로 하는 정보를 추출하는 기술적 수단을 제안한다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 2는 본 발명의 일 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면이다.
컴바이너(combiner)(11)는 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키고, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 성질을 갖는 구성으로서 적어도 하나 이상 구비될 수 있다. 이러한 컴바이너(11)는 투명한 반사판을 통해 전방에서 입시되는 빛을 통과시키면서, 후방이나 측방에서 입사되는 빛을 반사시키는 구성이다. 즉, 컴파이너(11)를 사용하여 적어도 2개 이상의 방향의 시각 정보를 동시에 획득할 수 있다. 구현의 관점에서, 컴바이너(11)는 차량이나 항공기의 조종석에 마련되는 헤드-업 디스플레이(head-up display, HUD)와 유사한 재질과 구성으로 형성될 수 있다.
구동부(13)는 상기 컴바이너(13)의 대향 각도를 조절하는 구성으로서, 센서(15)의 대향 방향에서 볼 수 없는 각도의 시야로부터의 영상을 확보할 수 있도록 도와준다. 이와 더불어, 구동부(13)는 서로 다른 방향의 영상을 분리하기 위해 일정한 시간 간격으로 좌우로 미세한 각도를 회전하여 조절하는 진동 운동을 수행할 수도 있다. 편의상 구동부(13)는 센서(15)가 부착된 몸체(19)로부터 연장된 지지대를 통해 컴바이너(11)를 지지하면서 컴바이너(11)의 대향 각도를 변화시킬 수 있는 가장 간단한 구조를 도시하였으나, 이는 설명의 편의를 위한 예시일뿐이며, 센서(15)의 앞쪽에 위치한 컴바이너(11)의 대향 각도를 조절할 수 있는 다양한 지지 구조 내지 구동 수단이 마련될 수 있음은 당연하다.
센서(15)는 상기 컴바이너(11)를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 구성으로서 상기 제 1 입사광 및 상기 제 2 입사광으로부터 오버랩(overlap) 영상을 생성하게 된다. 또한, 센서(15)는, 상기 컴바이너(11)를 투과하여 상기 제 1 입사광이 입력되는 방향을 지향하되, 상기 컴바이너(11)의 표면을 통해 반사되는 상기 제 2 입사광이 입력될 수 있도록 지향 각도가 형성된다. 따라서, 센서(15)가 바라보는 대향 각도를 통해 확보할 수 있는 시야각 이외에, 추가적인 시야를 확보하기 위해 요구되는 각도에 따라 제 2 입사광이 입력될 수 있도록 구동부(13)를 통해 대향 각도의 조절이 수행될 수 있다. 이러한 센서(15)는 카메라와 같은 광학 센서로 구현될 수도 있고, 특정한 파장 대역의 영상을 수신할 수 있는 별도의 카메라로 구현될 수도 있으며, 컴바이너를 통해 투과 및 반사된 적어도 2개 방향의 입사광을 수용할 수 있는 다양한 센서가 활용될 수 있다. 즉, 센서가 감지할 수 있는 대상은 단지 가시광선 영역뿐만 아니라 적외선 영역 등과 같은 다양한 대역의 신호가 포함될 수 있다.
처리부(17)는 상기 센서(15)를 통해 입력된 상기 입사광들로부터 생성된 오버랩(overlap) 영상을 획득하고, 상기 구동부(13)를 제어하여 상기 컴바이너(11)의 대향 각도를 변화시키도록 조절함으로써 상기 오버랩 영상 내의 변화를 이용하여 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리한다. 이를 위해, 처리부(17)는 상기 오버랩 영상 내에서 상기 대향 각도의 변화에 따라 움직이는 화소(pixel) 및 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 각각 상기 제 2 방향의 영상 및 상기 제 1 방향의 영상으로 추출할 수 있다. 예를 들어, 컴바이너(11)의 대향 각도의 변화에도 불구하고 센서를 통해 획득된 전방(제 1 방향)의 영상은 변화가 없지만, 후방(제 2 방향)의 영상은 반사 영상이기 때문에 컴바이너(11)의 대향 각도의 영향을 받는다. 따라서, 오버랩 영상 내에 포함된 움직이는 화소가 후방(제 2 방향)의 영상이라고 판단할 수 있다.
이때, 처리부(17)는, 구동부(13)를 통해 상기 컴바이너(11)를 미리 설정된 진동수에 따라 진동시키고, 상기 진동수를 고려하여 상기 오버랩 영상 내에서 변화하는 화소를 식별할 수 있다. 예를 들어, 처리부(17)는 상기 진동수에 따른 상기 구동부(13)의 움직임 주기 내에서 변위가 가장 크게 나타나는 적어도 2개 시점을 기준으로 화소의 변화를 식별할 수 있다. 즉, 컴바이너(11)가 좌측으로 가장 큰 각도로 회전한(기울어진) 시점과 우측으로 가장 큰 각도로 회전한(기울어진) 시점 각각에서 획득한 영상을 비교함으로써 후방(제 2 방향)의 영상의 변화를 크게 유도할 수 있다. 즉, 후방(제 2 방향)의 영상에서 화소의 변화를 크게 함으로써 화소의 변화가 없는 전방(제 1 방향)의 영상과의 대비를 극대화할 수 있다.
한편, 상기된 비전 처리 장치가 움직이는 상황을 고려하면 영상 처리에 추가적인 고려 사항이 발생한다. 예를 들어, 본 발명의 실시예들이 제안하는 비전 처리 장치가 로봇에 구비되어 로봇이 주행하고 있는 상황을 가정하자. 이때, 전방(제 1 방향)의 영상은 로봇의 움직임에 따라 대응하여 영상이 변화하지만, 후방(제 2 방향)의 영상은 로봇의 움직임에 더하여 컴바이너(11)의 각도 변화에 따른 영상 변화가 나타나게 된다. 따라서, 로봇의 주행 상황에 대한 정보를 획득하여 움직임 정보를 예측 내지 판단하여 전방 및 후방의 시각 정보를 분리하여야 한다.
이러한 이동 상황을 고려하여, 처리부(17)는, 비전 처리 장치 자체의 움직임 정보를 입력받고, 입력된 상기 움직임 정보를 고려하여 제 1 시간에서의 영상 및 상기 제 1 시간에 연속하는 제 2 시간에서의 영상 간의 변화를 예측하되, 예측된 상기 영상 간의 변화와 상이한 변화가 나타나는 화소를 식별하여 상기 제 2 방향의 영상을 추출할 수 있다. 이때, 상기 제 1 시간에서의 영상 및 상기 제 2 시간에서의 영상 간의 변화는 영상 내의 특정 화소 내지 특정 객체들에 대한 특징점 매칭과 같은 영상 간의 비교에 활용되는 요소 기술을 이용하여 예측할 수 있다. 또한, 상기 제 1 시간 및 상기 제 2 시간의 차이는 상기 진동수에 따라 화소의 변화를 식별하기 위한 시간의 차이와 서로 상이하도록 설정됨으로써 컴바이너(11)의 움직임에 따른 후방(제 2 방향) 영상의 변화와의 혼동을 피할 수 있다. 나아가, 전자식 손떨림 방지 장치의 원리를 차용하여 진동에 의해 변화하는 후방(제 2 방향)의 영상을 식별할 수도 있다. 추가적으로, 머신러닝을 활용하여 컴바이너(11)의 움직임에 의해서 변화하는 영상을 학습시키고, 학습된 머신러닝 모델에 오버랩 영상을 입력함으로써 제 1 방향과 제 2 방향으로부터 획득된 각각의 시각 정보를 분리할 수도 있다.
나아가, 비록 비전 처리 장치 스스로가 이동하는 상황이 아니더라도 비전 처리 장치 주위의 사물이 이동하는 상황에서는 시간의 흐름에 따라 오버랩 영상 내에 감지되는 객체가 변화할 수 있다. 이때, 처리부(17)는, 컴바이너(11)의 대향 각도의 변화에 따라, 상기 오버랩 영상 내에서 새롭게 나타나는 객체, 상기 오버랩 영상 내에서 사라지는 객체, 및 객체의 기하학적 변형(geometric transform) 중 적어도 하나를 이용하여 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 각각 상기 제 2 방향의 영상 및 상기 제 1 방향의 영상을 추출할 수 있다. 예를 들어, 후방(제 2 방향) 영상 내에 직사각형을 포함하는 건물이 존재하는 경우 컨바이너(11)의 대향 각도의 변화에 따라 오버래 영상 내에 포함된 건물이 직사각형, 평행사변형, 사다리꼴 등의 형태로 변화하게 되는데, 시계열적으로 획득된 오버랩 영상 내에서 추적된 객체의 기하학적 변형으로부터 후방(제 2 방향)의 영상을 식별할 수 있다.
구글(google)에서 만든 자율 주행 차량의 경우, 차량 지붕에 부착되어 회전함으로써 360도 전방향을 관찰할 수 있는 라이다(Light Detection and Ranging, LiDAR) 센서가 구비된다. 이와 같이 회전하는 방식의 센서에 상기된 본 발명의 실시예를 적용할 경우, 컴바이너를 반사하여 입사된 시각 정보는 라이다 센서가 특정 각도를 회전한 후에 컴바이너를 관통하여 획득된 시각 정보와 같은 방향/위치에서 획득된 시각 정보이다. 이때, 공통의 시각 정보를 제거하면, 전자의 시각 정보에는 컴바이너를 통과해서 들어온 정보가 남게 되고, 후자의 시각 정보에는 컴바이너를 반사해서 들어온 정보가 남게 된다. 만약 후자의 시각 정보에 자전거가 갑자기 등장했다면, 자전거가 컴바이너를 통과해서 들어온 이미지인지 아니면 컴바이너를 반사해서 들어온 이미지인지 모를 상황에 놓일 수 있다. 따라서, 본 발명의 실시예를 통해 컴바이너 각도가 능동적으로 진동하는 경우, 자전거가 흔들린다면 컴바이너를 반사해서 들어온 이미지라는 것을 판단할 수 있고, 반면 자전거가 흔들리지 않는다면 컴바이너를 관통해서 들어온 이미지라는 것을 용이하게 판단할 수 있다.
한편, 도 2에서 처리부(17)는 센서(15)가 구비된 몸체(19)와 분리하여 도시하였으나, 이는 설명의 편의를 위한 예시일뿐이며, 몸체(19)의 구현 방식이나 처리부(17)의 구현 위치는 본 발명의 실시예들이 구현되는 환경에 따라 다양하게 선택 가능하다. 또한, 상기된 컴바이너 장치가 포함된 비전 처리 장치는 차량, 비행체, 로봇 등과 같은 다양한 이동 수단 내지 이동체에 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 도 2의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다. 따라서, 도 3은 도 2의 하드웨어 구성의 기능 내지 동작을 시계열적인 처리 과정을 중심으로 재구성한 것으로, 여기서는 설명의 중복을 피하고자 각 단계의 개요만을 약술하도록 한다. 우선, 도 3의 방법은 비전 처리 장치가 다방향(multi-direction) 영상을 처리하기 위하여 입사각에 따라 투과 또는 반사의 성질을 갖는 컴바이너(combiner)를 구비한다는 사실을 전제로 한다.
S110 단계에서, 비전 처리 장치는 컴바이너를 통해 서로 다른 적어도 2개 방향에서 입사되는 입사광들을 수용한다.
S120 단계에서, 상기 비전 처리 장치는 S110 단계를 통해 수용된 상기 입사광들을 센서를 통해 동시에 입력받아 오버랩(overlap) 영상을 생성한다.
S130 단계에서 상기 비전 처리 장치는 상기 컴바이너에 연결된 구동부를 제어하여 상기 컴바이너의 대향 각도를 조절한다. 이 과정에서는, 상기 구동부를 통해 미리 설정된 진동수에 따라 진동시킴으로써 상기 컴바이너의 대향 각도를 변화시킬 수 있다.
S140 단계에서, 상기 비전 처리 장치는 상기 대향 각도의 조절에 따른 상기 오버랩 영상 내의 변화를 이용하여 서로 다른 방향의 영상들을 분리한다. 이 과정에서는, 상기 진동수를 고려하여 상기 오버랩 영상 내에서 상기 대향 각도의 변화에 따라 움직이는 화소(pixel) 및 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 식별하여 분리함으로써 서로 다른 방향의 영상들을 각각 추출할 수 있다. 이때, 상기 진동수에 따른 상기 구동부의 움직임 주기 내에서 변위가 가장 크게 나타나는 적어도 2개 시점을 기준으로 화소의 변화를 식별할 수 있다.
한편, S140 단계에 앞서, 상기 비전 처리 장치는 자신의 움직임 정보를 입력받는 단계를 더 포함할 수 있다. 이 과정은 비전 처리 장치가 이동하는 경우를 가정한 것으로, S140 단계에서는, 이상에서 입력된 상기 움직임 정보를 고려하여 제 1 시간에서의 영상 및 상기 제 1 시간에 연속하는 제 2 시간에서의 영상 간의 변화를 예측하되, 예측된 상기 영상 간의 변화와 상이한 변화가 나타나는 화소를 식별하여 서로 다른 방향의 영상들을 각각 추출할 수 있다. 이때, 상기 제 1 시간 및 상기 제 2 시간의 차이는 상기 진동수에 따라 화소의 변화를 식별하기 위한 시간의 차이와 서로 상이하도록 설정되는 것이 바람직하다.
나아가, S140 단계에서는, 상기 대향 각도의 변화에 따라, 상기 오버랩 영상 내에서 새롭게 나타나는 객체, 상기 오버랩 영상 내에서 사라지는 객체, 및 객체의 기하학적 변형(geometric transform) 중 적어도 하나를 이용하여 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 서로 다른 방향의 영상들을 각각 추출할 수 있다.
도 4a 및 도 4b는 각각 서로 다른 방향의 영상을 나타냈고, 도 4c는 서로 다른 방향의 영상으로부터 생성된 오버랩 영상을 예시한 도면이다.
예를 들어, 비전 처리 장치의 전방(제 1 방향)에는 도 4a에 예시된 바와 같이 단풍 숲의 풍경이 펼쳐져 있고, 후방(제 2 방향)에는 도 4b에 예시된 바와 같이 폭포의 풍경이 펼쳐져 있다고 가정하자. 본 발명의 실시예들에 따른 비전 처리 장치는 컴바이너를 통해 전/후방의 풍경에 대한 영상이 함께 병합되어 오버랩 영상을 생성하게 되고, 이러한 오버랩 영상은 도 4c에 예시된 바와 같다. 이제, 비전 처리 장치는 컴바이너의 대향 각도를 조절하여 영상의 변화를 감지하고 후방의 폭포 이미지에 해당하는 영상을 추출하여 전방의 단풍 숲과 분리할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면으로서, 도 2의 구성에 비해 컴바이너를 진동시키는 수단(구동부)이 생략되었다. 즉, 오버랩 영상의 분리를 위해 도 2의 비전 처리 장치가 컴바이너의 대향 각도의 변화를 활용하는데 반해, 도 5의 비전 처리 장치에서는 컴바이너의 파장(주파수) 특성을 활용하고자 한다.
컴바이너(21)는 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키며, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 구성으로서 적어도 하나 이상 구비될 수 있다. 이때, 컴바이너(21)는, 파장에 따라 투과 또는 반사의 성질을 갖는 소재로 형성됨으로써 상기 컴바이너(21)를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 파장을 갖는다. 예를 들어, 컴바이너(21)는 가시광선 영역은 투과시키고, 적외선 영역은 반사시키도록 형성될 수 있으며, 이때의 제 1 입사광은 가시광선 성분만이 남아 센서(25)로 입력되고, 제 2 입사광은 적외선 성분만이 남아 센서(25)로 입력될 수 있다.
센서(25)는 상기 컴바이너(21)를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 구성이다. 이때, 센서(25)는 적어도 2개 대역 이상의 다파장 신호를 인식할 수 있는 구성이어야 한다. 상기 센서(25)는, 상기 컴바이너(21)를 투과하여 상기 제 1 입사광이 입력되는 방향을 지향하되, 상기 컴바이너(21)의 표면을 통해 반사되는 상기 제 2 입사광이 입력될 수 있도록 지향 각도가 형성된다.
처리부(27)는 상기 센서(25)를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 미리 설정된 파장을 이용하여 상기 오버랩 영상으로부터 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리한다. 이를 위해, 처리부(27)는, 투과 또는 반사의 성질이 구분되어 나타나는 기준 파장을 중심으로 설정된 파장 대역으로 획득된 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출할 수 있다. 따라서, 기준 파장은 투과 및 반사의 성질이 상이하게 나타나는 경계 파장에 인접하여 설정되는 것이 바람직하다.
도 6은 본 발명의 다른 실시예에 따른 도 5의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다. 따라서, 도 6은 도 5의 하드웨어 구성의 기능 내지 동작을 시계열적인 처리 과정을 중심으로 재구성한 것으로, 여기서는 설명의 중복을 피하고자 각 단계의 개요만을 약술하도록 한다. 우선, 도 5의 방법은 비전 처리 장치가 다방향(multi-direction) 영상을 처리하기 위하여 파장에 따라 투과 또는 반사의 성질을 갖는 컴바이너(combiner)를 구비한다는 사실을 전제로 한다.
S210 단계에서, 비전 처리 장치는 컴바이너를 통해 서로 다른 적어도 2개 방향에서 입사되는 입사광들을 수용한다. 이때, 컴바이너를 통해 서로 다른 방향에서 입사된 입사광들은 서로 다른 파장을 갖는다.
S220 단계에서, 상기 비전 처리 장치는 S210 단계를 통해 수용된 상기 입사광들을 센서를 통해 동시에 입력받아 오버랩(overlap) 영상을 생성한다.
S230 단계에서, 상기 비전 처리 장치는 미리 설정된 파장을 이용하여 상기 오버랩 영상으로부터 서로 다른 방향의 영상들을 분리한다. 이 과정에서는, 투과 또는 반사의 성질이 구분되어 나타나는 기준 파장을 중심으로 설정된 파장 대역으로 획득된 상기 오버랩 영상을 필터링함으로써 서로 다른 방향의 영상들을 각각 추출할 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 편광 필터 및 컴바이너를 이용한 비전 처리 장치를 도시한 도면으로서, 도 2의 구성에 비해 컴바이너를 진동시키는 수단(구동부)이 생략되었다. 즉, 오버랩 영상의 분리를 위해 도 2의 비전 처리 장치가 컴바이너의 대향 각도의 변화를 활용하는데 반해, 도 7의 비전 처리 장치에서는 편광 특성을 활용하고자 한다.
이를 위해, 도 7의 비전 처리 장치는 편광 필터(32)를 더 포함한다. 편광 필터(32)는 제 1 방향으로부터 입사되는 제 1 입사광 및 제 2 방향으로부터 입사되는 제 2 입사광 중 적어도 하나를 편광시키는 구성이다. 이때, 편광 필터가 각각의 입사광에 대응하여 구비되는 경우 복수 개의 편광 필터들의 편광 방향은 서로 달라야만 한다. 또한, 편광 필터(32)는 입사광의 진행 경로 상에 존재하되 입사광이 컴바이너(31)에 도달하기 전에 위치하는 것이 바람직하다.
또한, 편광 필터(32)는 도 7에 예시된 바와 같이, 컴바이너(31)와 물리적으로 분리되어 형성될 수도 있고, 또는 상기 컴바이너(31)의 일측 표면에 형성되어, 상기 제 1 방향으로부터 입사되는 제 1 입사광을 편광시킨 후 투과시키거나, 또는 상기 제 2 방향으로부터 입사되는 제 2 입사광을 편광시킨 후 반사시킬 수 있다. 물론, 상기 컴바이너를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 편광 특성을 가지며, 만약 일부 입사광이 편광 필터를 통과하지 않았다면 편광 특성을 전혀 갖지 않을수도 있다. 예를 들어, 도 7에 예시된 편광 필터(32)가 별도로 분리된 구성이 아닌 컴바이너(31)의 제 1 방향 측 표면에 부착되어 형성되었다고 가정하면, 제 1 방향으로부터 입사되는 제 1 입사광은 편광되어 컴바이너(31)를 통과하게 되고, 반면 제 2 방향으로부터 입사되는 제 2 입사광은 온전한 방향 성분이 유지된 채로 컴바이너(32)에서 반사되어 센서(35)로 전달될 수 있다.
컴바이너(31)는 상기 편광 필터(32)를 통과한 빛의 진행 경로 상에 위치하여, 상기 제 1 입사광을 투과시키고, 상기 제 2 입사광을 반사시키는 구성으로서 적어도 하나 이상 구비될 수 있다. 이러한 컴바이너(31)는, 빛의 입사각에 따라 투과 또는 반사의 성질을 갖는 소재로 형성될 수 있다. 앞서, 컴바이너(31)에 앞서 편광 필터(32)를 통해 일부 입사광이 편광 특성을 갖게 되었으므로, 컴바이너(31)를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 편광 특성을 갖는다. 예를 들어, 제 1 입사광은 가로 방향으로 편광되어 가로 방향의 성분만이 센서(35)로 입력되고, 제 2 입사광은 세로 방향이나 또는 온전한 빛의 성분이 센서(35)로 입력될 수 있다.
센서(35)는 상기 컴바이너(31)를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 구성이다. 이때, 센서(35)는 편광 특성에 따라 차별적으로 반응하도록 구현된다. 예를 들어, 소니(SONY)의 polarsens 센서는 편광된 방향에 따라 빛을 선택적으로 감지할 수 있다. 상기 센서(35)는, 상기 컴바이너(31)를 투과하여 상기 제 1 입사광이 입력되는 방향을 지향하되, 상기 컴바이너(31)의 표면을 통해 반사되는 상기 제 2 입사광이 입력될 수 있도록 지향 각도가 형성된다.
처리부(37)는 상기 센서(35)를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 상기 편광 특성을 이용하여 상기 오버랩 영상으로부터 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리한다. 이를 위해, 처리부(37)는, 상기 센서(35)를 통해 편광 방향에 따라 차별적으로 획득된 감지 성분을 이용하여 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출할 수 있다. 예를 들어, 편광 필터(32)를 통해 제 1 입사광이 세로 방향으로 편광되어 있다고 가정하자. 이때, 센서(35)는 세로 방향으로 편광된 빛을 선택적으로 감지할 수 있으므로, 오버랩 영상으로부터 세로 방향 성분이 차별적으로 감지된 성분을 이용하여 제 1 방향의 영상을 추출할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 도 7의 비전 처리 장치를 이용하여 다방향 영상을 처리하는 방법을 도시한 흐름도이다. 따라서, 도 8은 도 7의 하드웨어 구성의 기능 내지 동작을 시계열적인 처리 과정을 중심으로 재구성한 것으로, 여기서는 설명의 중복을 피하고자 각 단계의 개요만을 약술하도록 한다. 우선, 도 8의 방법은 비전 처리 장치가 다방향(multi-direction) 영상을 처리하기 위하여 빛을 특정 방향으로 편광시키는 편광 필터를 구비한다는 사실을 전제로 한다.
S310 단계에서, 비전 처리 장치는 편광 필터를 통해 서로 다른 방향에서 입사되는 입사광 중 적어도 하나를 편광시킨다. 이때 편광 필터가 복수 개 구비된 경우 각각의 편광 필터가 편광시키는 방향을 서로 상이하며, 편광 필터를 통과한 입사광의 편광 방향 또한 서로 상이하다.
S320 단계에서, 상기 비전 처리 장치는 컴바이너를 통해 서로 다른 방향에서 입사되는 입사광들을 수용한다. 앞서 편광 필터를 통해 적어도 하나의 입사광을 편광시켰으므로, 컴바이너에 도달한 입사광들 역시 서로 다른 편광 특성을 갖는다.
S330 단계에서, 상기 비전 처리 장치는 S320 단계를 통해 수용된 상기 입사광들을 센서를 통해 동시에 입력받아 오버랩(overlap) 영상을 생성한다. 여기서 센서는 입사광들의 편광 특성에 따라 차별적으로 반응하는 구성이다.
S340 단계에서, 상기 비전 처리 장치는 편광 특성을 이용하여 상기 오버랩 영상으로부터 서로 다른 방향의 영상들을 분리한다. 이 과정에서는, S330 단계의 센서를 통해 편광 방향에 따라 차별적으로 획득된 감지 성분을 이용하여 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 컴바이너를 이용한 비전 처리 장치를 도시한 도면으로서, 2개의 센서(15a, 15b)를 구비하고, 2개의 컴바이너(11a, 11b)가 각각 센서에 대응하여 전방에 위치한다. 따라서, 총 4개의 방향에서 입사하는 입사광을 동시에 처리할 수 있으며, 센서의 위치 및 대향 각도에 따라 360도 전방향의 시야각을 확보할 수 있다. 또한, 환경에 따라 하나의 컴바이너는 진동시킴으로써 움직임에 따른 변화를 감지하도록 구현하고, 다른 하나의 컴바이너는 파장에 따라 영상을 분리할 수 있도록 구현함으로써 다양한 시각 정보에 유연하게 대응할 수 있도록 구성할 수도 있다. 예시된 2개의 센서 및 컴바이너 외에, 비전 처리 장치에 3개 이상의 센서 및 컴바이너가 활용되거나 1개의 센서에 대향 각도를 달리하는 2개 이상의 컴바이너가 함께 결합되어 구현될 수 있음은 당연하다. 예를 들어, 1개의 센서에 서로 다른 대향 각도를 갖는 2개의 컴바이너가 결합된 경우, 적어도 3개 방향의 영상을 얻을 수 있다. 즉, 전방, 제 1 각도의 후방 및 제 2 각도의 후방의 영상이 동시에 획득될 수 있다.
상기된 본 발명의 실시예들에 따르면, 컴바이너의 움직임 또는 파장에 따라 투과 및 반사의 성질이 달라지는 특성 내지 편광 특성을 활용하여 서로 다른 방향에 위치한 시각 정보를 동시에 입력받고 하나의 센서를 통해 오버랩 영상을 생성한 후 분리함으로써 최소한의 하드웨어만으로 지향 방향 외의 추가적인 시야를 확보하여 다방향 영상을 획득할 수 있으며, 물리적인 카메라의 개수를 최소화함으로써 제어의 부담 및 비전 처리 장치의 운용 비용을 감소시킬 수 있다.
한편, 본 발명의 실시예들은 이상에서 기술된 하드웨어를 제어하여 다방향 영상을 처리함에 있어서, 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
11, 21, 31: 컴바이너
13: 구동부
15, 15a, 15b, 25, 35: 센서
17, 27, 37: 처리부
19, 29, 39: 몸체
32: 편광 필터
13: 구동부
15, 15a, 15b, 25, 35: 센서
17, 27, 37: 처리부
19, 29, 39: 몸체
32: 편광 필터
Claims (20)
- 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키고, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner);
상기 컴바이너의 대향 각도를 조절하는 구동부;
상기 컴바이너를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 센서; 및
상기 센서를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 상기 구동부를 제어하여 상기 컴바이너의 대향 각도를 조절함으로써 상기 오버랩 영상 내의 변화를 이용하여 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리하는 처리부;를 포함하는, 비전(vision) 처리 장치. - 제 1 항에 있어서,
상기 처리부는,
상기 구동부를 통해 상기 컴바이너의 대향 각도를 변화시키고,
상기 오버랩 영상 내에서 상기 대향 각도의 변화에 따라 움직이는 화소(pixel) 및 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 각각 상기 제 2 방향의 영상 및 상기 제 1 방향의 영상으로 추출하는, 비전 처리 장치. - 제 2 항에 있어서,
상기 처리부는,
상기 구동부를 통해 상기 컴바이너를 미리 설정된 진동수에 따라 진동시키고, 상기 진동수를 고려하여 상기 오버랩 영상 내에서 변화하는 화소를 식별하는, 비전 처리 장치. - 제 3 항에 있어서,
상기 처리부는,
상기 진동수에 따른 상기 구동부의 움직임 주기 내에서 변위가 가장 크게 나타나는 적어도 2개 시점을 기준으로 화소의 변화를 식별하는, 비전 처리 장치. - 제 2 항에 있어서,
상기 처리부는,
비전 처리 장치 자체의 움직임 정보를 입력받고,
입력된 상기 움직임 정보를 고려하여 제 1 시간에서의 영상 및 상기 제 1 시간에 연속하는 제 2 시간에서의 영상 간의 변화를 예측하되, 예측된 상기 영상 간의 변화와 상이한 변화가 나타나는 화소를 식별하여 상기 제 2 방향의 영상을 추출하는, 비전 처리 장치. - 제 5 항에 있어서,
상기 제 1 시간에서의 영상 및 상기 제 2 시간에서의 영상 간의 변화는 영상 내의 특징점 매칭을 이용하여 예측하고,
상기 제 1 시간 및 상기 제 2 시간의 차이는 상기 진동수에 따라 화소의 변화를 식별하기 위한 시간의 차이와 서로 상이하도록 설정되는, 비전 처리 장치. - 제 1 항에 있어서,
상기 처리부는,
상기 대향 각도의 변화에 따라, 상기 오버랩 영상 내에서 새롭게 나타나는 객체, 상기 오버랩 영상 내에서 사라지는 객체, 및 객체의 기하학적 변형(geometric transform) 중 적어도 하나를 이용하여 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 각각 상기 제 2 방향의 영상 및 상기 제 1 방향의 영상을 추출하는, 비전 처리 장치. - 제 1 방향으로부터 입사되는 제 1 입사광을 투과시키며, 제 2 방향으로부터 입사되는 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner);
상기 컴바이너를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받는 센서; 및
상기 센서를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 미리 설정된 파장을 이용하여 상기 오버랩 영상으로부터 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리하는 처리부;를 포함하는, 비전(vision) 처리 장치. - 제 8 항에 있어서,
상기 컴바이너는,
파장에 따라 투과 또는 반사의 성질을 갖는 소재로 형성됨으로써 상기 컴바이너를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 파장을 갖는, 비전 처리 장치. - 제 8 항에 있어서,
상기 처리부는,
투과 또는 반사의 성질이 구분되어 나타나는 기준 파장을 중심으로 설정된 파장 대역으로 획득된 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출하는, 비전 처리 장치. - 제 8 항에 있어서,
상기 센서는,
상기 컴바이너를 투과하여 상기 제 1 입사광이 입력되는 방향을 지향하되, 상기 컴바이너의 표면을 통해 반사되는 상기 제 2 입사광이 입력될 수 있도록 지향 각도가 형성되는, 비전 처리 장치. - 제 1 방향으로부터 입사되는 제 1 입사광 및 제 2 방향으로부터 입사되는 제 2 입사광 중 적어도 하나를 편광시키는 편광 필터;
상기 편광 필터를 통과한 빛의 진행 경로 상에 위치하여, 상기 제 1 입사광을 투과시키고, 상기 제 2 입사광을 반사시키는 적어도 하나의 컴바이너(combiner);
상기 컴바이너를 통해 투과된 상기 제 1 입사광과 반사된 상기 제 2 입사광을 동시에 입력받되, 편광 특성에 따라 차별적으로 반응하는 센서; 및
상기 센서를 통해 입력된 상기 제 1 입사광 및 상기 제 2 입사광으로부터 생성된 오버랩(overlap) 영상을 획득하고, 상기 편광 특성을 이용하여 상기 오버랩 영상으로부터 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 분리하는 처리부;를 포함하는, 비전(vision) 처리 장치. - 제 12 항에 있어서,
상기 편광 필터는,
상기 컴바이너의 일측 표면에 형성되어, 상기 제 1 방향으로부터 입사되는 제 1 입사광을 편광시킨 후 투과시키거나, 상기 제 2 방향으로부터 입사되는 제 2 입사광을 편광시킨 후 반사시키고,
상기 컴바이너를 통해 입사된 상기 제 1 입사광과 반사된 상기 제 2 입사광은 서로 다른 편광 특성을 갖는, 비전 처리 장치. - 제 12 항에 있어서,
상기 컴바이너는,
빛의 입사각에 따라 투과 또는 반사의 성질을 갖는 소재로 형성되는, 비전 처리 장치. - 제 12 항에 있어서,
상기 처리부는,
상기 센서를 통해 편광 방향에 따라 차별적으로 획득된 감지 성분을 이용하여 상기 오버랩 영상을 필터링함으로써 상기 제 1 방향의 영상 및 상기 제 2 방향의 영상을 각각 추출하는, 비전 처리 장치. - 입사각에 따라 투과 또는 반사의 성질을 갖는 컴바이너(combiner)를 구비하는 비전 처리 장치가 다방향(multi-direction) 영상을 처리하는 방법에 있어서,
비전 처리 장치가 상기 컴바이너를 통해 서로 다른 적어도 2개 방향에서 입사되는 입사광들을 수용하는 단계;
상기 비전 처리 장치가 수용된 상기 입사광들을 센서를 통해 동시에 입력받아 오버랩(overlap) 영상을 생성하는 단계;
상기 비전 처리 장치가 상기 컴바이너에 연결된 구동부를 제어하여 상기 컴바이너의 대향 각도를 조절하는 단계; 및
상기 비전 처리 장치가 상기 대향 각도의 조절에 따른 상기 오버랩 영상 내의 변화를 이용하여 서로 다른 방향의 영상들을 분리하는 단계;를 포함하는, 다방향 영상 처리 방법. - 제 16 항에 있어서,
상기 컴바이너의 대향 각도를 조절하는 단계는,
상기 구동부를 통해 미리 설정된 진동수에 따라 진동시킴으로써 상기 컴바이너의 대향 각도를 변화시키고,
상기 서로 다른 방향의 영상들을 분리하는 단계는,
상기 진동수를 고려하여 상기 오버랩 영상 내에서 상기 대향 각도의 변화에 따라 움직이는 화소(pixel) 및 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 식별하여 분리함으로써 서로 다른 방향의 영상들을 각각 추출하는, 다방향 영상 처리 방법. - 제 17 항에 있어서,
상기 서로 다른 방향의 영상들을 분리하는 단계는,
상기 진동수에 따른 상기 구동부의 움직임 주기 내에서 변위가 가장 크게 나타나는 적어도 2개 시점을 기준으로 화소의 변화를 식별하는, 다방향 영상 처리 방법. - 제 17 항에 있어서,
상기 비전 처리 장치가 자신의 움직임 정보를 입력받는 단계;를 더 포함하고,
상기 서로 다른 방향의 영상들을 분리하는 단계는,
입력된 상기 움직임 정보를 고려하여 제 1 시간에서의 영상 및 상기 제 1 시간에 연속하는 제 2 시간에서의 영상 간의 변화를 예측하되, 예측된 상기 영상 간의 변화와 상이한 변화가 나타나는 화소를 식별하여 서로 다른 방향의 영상들을 각각 추출하고,
상기 제 1 시간 및 상기 제 2 시간의 차이는 상기 진동수에 따라 화소의 변화를 식별하기 위한 시간의 차이와 서로 상이하도록 설정되는, 다방향 영상 처리 방법. - 제 16 항에 있어서,
상기 서로 다른 방향의 영상들을 분리하는 단계는,
상기 대향 각도의 변화에 따라, 상기 오버랩 영상 내에서 새롭게 나타나는 객체, 상기 오버랩 영상 내에서 사라지는 객체, 및 객체의 기하학적 변형(geometric transform) 중 적어도 하나를 이용하여 상기 대향 각도의 변화와 무관하게 고정되어 있는 화소를 분리하여 서로 다른 방향의 영상들을 각각 추출하는, 다방향 영상 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210122190A KR102539105B1 (ko) | 2021-09-14 | 2021-09-14 | 비전 처리 장치 및 이를 이용한 다방향 영상 처리 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210122190A KR102539105B1 (ko) | 2021-09-14 | 2021-09-14 | 비전 처리 장치 및 이를 이용한 다방향 영상 처리 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230039190A true KR20230039190A (ko) | 2023-03-21 |
| KR102539105B1 KR102539105B1 (ko) | 2023-06-02 |
Family
ID=85800999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210122190A KR102539105B1 (ko) | 2021-09-14 | 2021-09-14 | 비전 처리 장치 및 이를 이용한 다방향 영상 처리 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102539105B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000214526A (ja) * | 1999-01-20 | 2000-08-04 | Mitsubishi Electric Corp | 広範囲および多方向撮影システム |
| JP2003158650A (ja) * | 2001-11-20 | 2003-05-30 | Minolta Co Ltd | 撮像装置および衝突記録システム |
| JP2006154144A (ja) * | 2004-11-26 | 2006-06-15 | Olympus Corp | マルチビジョンプロジェクターシステム |
| WO2018092540A1 (ja) * | 2016-11-15 | 2018-05-24 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| KR20190122341A (ko) | 2018-04-20 | 2019-10-30 | 엘에스케이전자통신(주) | 다방향 감시 추적을 위한 통합형 또는 분리형 겸용 감시 카메라시스템 |
| JP2020048199A (ja) * | 2014-11-19 | 2020-03-26 | パナソニックＩｐマネジメント株式会社 | 撮像装置および分光システム |
-
2021
- 2021-09-14 KR KR1020210122190A patent/KR102539105B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000214526A (ja) * | 1999-01-20 | 2000-08-04 | Mitsubishi Electric Corp | 広範囲および多方向撮影システム |
| JP2003158650A (ja) * | 2001-11-20 | 2003-05-30 | Minolta Co Ltd | 撮像装置および衝突記録システム |
| JP2006154144A (ja) * | 2004-11-26 | 2006-06-15 | Olympus Corp | マルチビジョンプロジェクターシステム |
| JP2020048199A (ja) * | 2014-11-19 | 2020-03-26 | パナソニックＩｐマネジメント株式会社 | 撮像装置および分光システム |
| WO2018092540A1 (ja) * | 2016-11-15 | 2018-05-24 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| KR20190122341A (ko) | 2018-04-20 | 2019-10-30 | 엘에스케이전자통신(주) | 다방향 감시 추적을 위한 통합형 또는 분리형 겸용 감시 카메라시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102539105B1 (ko) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11749026B2 (en) | Automotive and industrial motion sensory device | |
| US11600075B2 (en) | Nighttime sensing | |
| EP3288259B1 (en) | Array detector for depth mapping | |
| KR100879623B1 (ko) | Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법 | |
| EP0137845B1 (en) | Dual field of view sensor | |
| US20170032195A1 (en) | Image display system | |
| US9025819B2 (en) | Apparatus and method for tracking the position of a peripheral vehicle | |
| EP3608717A1 (en) | Wide-field of view (fov) imaging devices with active foveation capability | |
| US11188175B1 (en) | Display system with integrated depth detection | |
| EP3286056B1 (en) | System and method for a full lane change aid system with augmented reality technology | |
| US11093034B2 (en) | Eye tracking method and system and integration of the same with wearable heads-up displays | |
| US11301678B2 (en) | Vehicle safety system with no-control operation | |
| JP7254072B2 (ja) | 虚像表示装置 | |
| CN109415018A (zh) | 用于数字后视镜的方法和控制单元 | |
| CN109714533B (zh) | 电子设备 | |
| KR102222599B1 (ko) | 도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법 | |
| JPH11142784A (ja) | 位置検出機能付きヘッドマウントディスプレイ | |
| KR102539105B1 (ko) | 비전 처리 장치 및 이를 이용한 다방향 영상 처리 방법 | |
| JP3731303B2 (ja) | 車両周辺監視装置 | |
| US11165217B2 (en) | Laser beam irradiation detection device, laser beam irradiation detection method, and laser beam irradiation detection system | |
| US20080317471A1 (en) | Apparatus and system for remote control | |
| KR20210150881A (ko) | 전자 장치 및 그 동작 방법 | |
| KR20240026457A (ko) | 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라 | |
| CN114684020A (zh) | 驾驶员辅助装置、车辆以及控制车辆的方法 | |
| US10798332B1 (en) | Dual pass-through imaging system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |