KR101610512B1 - Stereoscopic camera and method for operating the same - Google Patents

Stereoscopic camera and method for operating the same Download PDF

Info

Publication number
KR101610512B1
KR101610512B1 KR1020140127118A KR20140127118A KR101610512B1 KR 101610512 B1 KR101610512 B1 KR 101610512B1 KR 1020140127118 A KR1020140127118 A KR 1020140127118A KR 20140127118 A KR20140127118 A KR 20140127118A KR 101610512 B1 KR101610512 B1 KR 101610512B1
Authority
KR
South Korea
Prior art keywords
camera
region
image
interest
information
Prior art date
Application number
KR1020140127118A
Other languages
Korean (ko)
Other versions
KR20160035473A (en
Inventor
윤일용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140127118A priority Critical patent/KR101610512B1/en
Publication of KR20160035473A publication Critical patent/KR20160035473A/en
Application granted granted Critical
Publication of KR101610512B1 publication Critical patent/KR101610512B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking

Abstract

본 발명은 스테레오 카메라 및 그 작동 방법에 관한 것으로, 본 발명에 따른 스테레오 카메라는 제1카메라 및 제2카메라가 서로 상이한 셔터 방식으로 영상을 획득하고, 상기 제1카메라를 통해 획득한 영상에서 특정영역을 추출한 후 상기 특정영역의 위치 정보에 근거하여 상기 제2카메라의 관심영역으로 설정하고, 상기 특정영역의 영상정보 및 상기 제2카메라의 관심영역의 영상정보에 근거하여 3차원 정보를 추출한다.The present invention relates to a stereo camera and a method of operating the same. In a stereo camera according to the present invention, a first camera and a second camera acquire images using different shutter methods, Extracts three-dimensional information based on the positional information of the specific region, sets the region of interest as the region of interest of the second camera, and extracts three-dimensional information based on the image information of the specific region and the image information of the region of interest of the second camera.

Description

스테레오 카메라 및 그 작동 방법{STEREOSCOPIC CAMERA AND METHOD FOR OPERATING THE SAME}STEREOSCOPIC CAMERA AND METHOD FOR OPERATING THE SAME

본 발명은 셔터 방식이 상이한 두 카메라를 이용하여 획득한 영상에서 특정영역의 3차원 정보를 추출하는 스테레오 카메라 및 그 작동 방법에 관한 것이다.The present invention relates to a stereo camera for extracting three-dimensional information of a specific region in an image obtained by using two cameras having different shuttering methods, and an operation method thereof.

일반적으로, 스테레오 카메라는 3차원 영상 처리 기술의 다양한 분야에서 활용되고 있다. 예를 들어, 스테레오 카메라는 운전자 상태 모니터링(DSM: Driver State Monitoring)이나 시선 추적기, 제스쳐 인식 기술 등에 적용되고 있다.In general, stereo cameras are utilized in various fields of 3D image processing technology. For example, stereo cameras are being applied to driver state monitoring (DSM), eye tracker, gesture recognition technology, and so on.

이러한 스테레오 카메라는 적외선 조명을 플래시(flash) 구동하며, 전역 셔터(global shutter) 카메라를 사용한다. 또한, 3차원 좌표를 측정해야 하는 경우, 스테레오 카메라를 모두 전역 셔터(=Synchronous shutter) 기능을 가진 카메라로 구성해야 한다.These stereo cameras flash the infrared light and use a global shutter camera. In addition, if it is necessary to measure three-dimensional coordinates, all of the stereo cameras should be configured with cameras having a function of a synchronous shutter.

전역 셔터는 메모리를 위해 픽셀별로 추가적인 트랜지스터(transistor)를 사용해야 하므로 상대적으로 고가이며 선택의 폭이 좁고 일반적으로 해상도 및 노이즈 성능에서 롤링 셔터(rolling shutter) 방식의 카메라보다 뒤쳐진다.Global shutters are relatively expensive, have a narrow selection and typically outperform rolling-shutter cameras in resolution and noise performance because they use additional transistors per pixel for memory.

본 발명은 상기한 종래기술을 해결하기 위하여 안출된 것으로, 셔터 방식이 상이한 두 카메라를 이용하여 특정영역의 3차원 정보를 추출하는 스테레오 카메라 및 그 작동 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a stereoscopic camera for extracting three-dimensional information of a specific region using two cameras having different shutter types and an operation method thereof.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 스테레오 카메라는 전역 셔터(global shutter) 방식으로 한 프레임의 영상을 획득하는 제1카메라와, 롤링 셔터(rolling shutter) 방식으로 한 프레임 중 설정된 관심영역의 영상을 획득하는 제2카메라와, 상기 제1카메라를 통해 획득한 영상에서 특정영역을 검출하고, 그 검출한 특정영역의 위치정보에 근거하여 상기 제2카메라의 관심영역을 재설정하며, 상기 검출한 특정영역과 상기 설정된 관심영역의 영상을 이용하여 3차원 정보를 추출하는 제1영상처리부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a stereo camera including a first camera for acquiring an image of one frame in a global shutter manner, a second camera for capturing an image of a frame in a rolling shutter manner, A second camera for acquiring an image of a predetermined region of interest; a second region for detecting a specific region in the image acquired through the first camera and for re-establishing a region of interest of the second camera based on the detected location information of the specific region; And a first image processor for extracting three-dimensional information using the detected specific region and the image of the set region of interest.

또한, 상기 제2카메라의 관심영역은, 상기 제2카메라에 내장된 레지스터 값의 변경으로 실시간으로 조절되는 것을 특징으로 한다.The area of interest of the second camera may be adjusted in real time by changing a register value built in the second camera.

또한, 본 발명은 상기 제1카메라가 한 프레임의 영상을 획득할 때, 상기 제2카메라의 관심영역의 설정 이력을 기반으로 상기 관심영역을 예측하는 제2영상처리부를 더 포함하는 것을 특징으로 한다.The present invention further includes a second image processor for predicting the ROI based on a setting history of the ROI of the second camera when the first camera acquires an image of one frame .

본 발명의 일 실시예에 따른 스테레오 카메라의 작동방법은 제1카메라 및 제2카메라가 서로 상이한 셔터 방식으로 영상을 획득하는 단계와, 상기 제1카메라를 통해 획득한 영상에서 특정영역을 추출하는 단계와, 상기 특정영역의 위치 정보에 근거하여 상기 제2카메라의 관심영역으로 설정하는 단계와, 상기 특정영역의 영상정보 및 상기 제2카메라의 관심영역의 영상정보에 근거하여 3차원 정보를 추출하는 단계를 포함하는 것을 특징으로 한다.A method of operating a stereoscopic camera according to an embodiment of the present invention includes steps of acquiring an image using a shutter scheme different from that of a first camera and a second camera, extracting a specific region from an image acquired through the first camera, And setting a region of interest of the second camera based on position information of the specific region; extracting three-dimensional information based on the image information of the specific region and the image information of the region of interest of the second camera; The method comprising the steps of:

또한, 상기 제1카메라 및 제2카메라는 전역 셔터 방식 및 롤링 셔터 방식으로 각각 영상을 획득하는 것을 특징으로 한다.In addition, the first camera and the second camera acquire images using a global shutter method and a rolling shutter method, respectively.

또한, 상기 제2카메라의 관심영역 설정 단계는, 상기 제2카메라에 내장된 레지스터 값을 변경하여 상기 관심영역을 실시간으로 조절하는 것을 특징으로 한다.In addition, the step of setting the region of interest of the second camera may change the register value stored in the second camera to adjust the region of interest in real time.

또한, 상기 제2카메라의 관심영역 설정 단계는, 상기 제2카메라의 다음 프레임의 관심영역을 설정하는 것을 특징으로 한다.In addition, the step of setting a region of interest of the second camera sets a region of interest of a next frame of the second camera.

본 발명은 스테레오 카메라를 전역 셔터(global shutter) 카메라와 롤링 셔터(rolling shutter) 카메라로 구성하고, 전역 셔터 카메라에 의한 영상의 영상 처리로 롤링 셔터 카메라의 관심영역(Region of Interest, ROI)을 설정하여 그 관심영역의 3차원 정보를 추출할 수 있다.In the present invention, a stereo camera is constituted by a global shutter camera and a rolling shutter camera, and a region of interest (ROI) of the rolling shutter camera is set by the image processing of the image by the global shutter camera So that three-dimensional information of the region of interest can be extracted.

또한, 본 발명은 스테레오 카메라를 구성하는 카메라 중 하나를 저렴한 롤링 셔터 방식의 카메라로 대체하여 스테레오 카메라의 원가를 절감할 수 있게 한다.In addition, the present invention can reduce the cost of a stereo camera by replacing one of the cameras constituting the stereo camera with an inexpensive rolling shutter type camera.

또한, 본 발명은 노이즈(noise)에 강한 롤링 셔터 카메라를 적용하므로, 이미지 품질을 향상시킨다.Further, the present invention applies a rolling shutter camera which is resistant to noise, thereby improving image quality.

또한, 본 발명은 롤링 셔터 카메라의 프레임 레이트(frame rate)를 증가시켜 이전 프레임의 인식 정보로 현재 프레임의 관심영역이 설정되는 한계를 완화할 수 있다. In addition, the present invention can alleviate the limitation of setting the region of interest of the current frame as the recognition information of the previous frame by increasing the frame rate of the rolling shutter camera.

또한, 본 발명은 롤링 셔터 카메라의 프레임 레이트가 증가하므로 취득된 중간 프레임으로 관심영역의 이동 추세에 대한 더 많은 정보를 얻을 수 있다.Further, since the frame rate of the rolling shutter camera is increased, the present invention can obtain more information about the movement trend of the ROI with the acquired intermediate frame.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라의 블록구성도.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라의 작동 방법을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 스테레오 카메라의 작동 과정을 도시한 타이밍도.
도 4는 본 발명의 다른 실시예에 따른 스테레오 카메라의 작동 과정을 도시한 타이밍도.
도 5는 본 발명의 또다른 실시예에 따른 스테레오 카메라의 작동 과정을 도시한 타이밍도.1 is a block diagram of a stereo camera according to an embodiment of the present invention;
2 is a flowchart illustrating a method of operating a stereo camera according to an embodiment of the present invention.
3 is a timing diagram showing an operation process of a stereo camera according to an embodiment of the present invention.
4 is a timing diagram illustrating an operation process of a stereo camera according to another embodiment of the present invention.
5 is a timing diagram illustrating an operation process of a stereo camera according to another embodiment of the present invention.

이하, 본 발명에 따른 실시예는 첨부된 도면들을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 스테레오 카메라의 블록구성도를 도시한다.1 shows a block diagram of a stereo camera according to an embodiment of the present invention.

도 1을 참조하면, 스테레오 카메라는 제1카메라(10), 제2카메라(20), 영상 처리부(30), 출력부(40)를 포함한다.Referring to FIG. 1, a stereo camera includes a first camera 10, a second camera 20, an image processing unit 30, and an output unit 40.

제1카메라(10)는 전역 셔터(global shutter) 방식으로 한 프레임의 영상을 획득한다. 다시 말해서, 제1카메라(10)는 플래시 조명을 온(ON)시키고 이미지 센서의 모든 행을 노출시키고 셔터의 다음 노출까지 행별로 데이터를 판독한다.The first camera 10 acquires an image of one frame in a global shutter manner. In other words, the first camera 10 turns on the flash illumination, exposes all the rows of the image sensor, and reads the data row by row until the next exposure of the shutter.

제2카메라(20)는 롤링 셔터(rolling shutter) 방식으로 설정된 관심영역(Region of Interest, ROI)의 영상을 획득한다. 제2카메라(20)는 이미지 센서에 내장된 레지스터(register) 값을 변경하여 관심영역을 실시간으로 조절한다. 여기서, 관심영역의 픽셀수(사이즈)가 제1카메라(10)를 통해 획득한 프레임의 픽셀수의 1/2이하인 경우 제2카메라(20)의 프레임 레이트(frame rate)를 일정 배수로 증가시킬 수 있다. 그리고, 일정 배수는 floor(전체 픽셀수/ROI 픽셀수)이고, 전체 픽셀수는 제1카메라(10)의 프레임 사이즈이고, ROI 픽셀수는 제2카메라(20)에 설정된 관심영역의 사이즈이다.The second camera 20 acquires a region of interest (ROI) image set in a rolling shutter manner. The second camera 20 changes the register value stored in the image sensor to adjust the region of interest in real time. Here, when the number of pixels (size) of the region of interest is equal to or less than 1/2 of the number of pixels of the frame acquired through the first camera 10, the frame rate of the second camera 20 may be increased by a certain multiple have. The total number of pixels is the frame size of the first camera 10, and the number of ROI pixels is the size of the ROI set in the second camera 20.

또한, 관심영역은 과거 관심영역 변화의 추세를 기반으로 관심영역을 추정할 수도 있다. 즉, 관심영역의 설정 이력에 근거하여 제2카메라(20)의 관심영역을 설정한다.In addition, the ROI may estimate the ROI based on the trend of the ROI change in the past. That is, the region of interest of the second camera 20 is set based on the setting history of the region of interest.

제2카메라(20)는 플래시 조명이 켜진 시간 동안 노출된 관심영역의 영상을 취득한다. 즉, 제2카메라(20)는 한 프레임 중 관심영역으로 설정된 일정 영역의 데이터를 판독한다.The second camera 20 acquires the image of the region of interest exposed during the time when the flash illumination is turned on. That is, the second camera 20 reads data of a predetermined area set as a region of interest in one frame.

제2카메라(20)는 롤링 셔터를 이용하므로, 이미지 센서의 각 행마다 노출과 판독이 동시에 일어나기 때문에 전체 행의 스캔(scan)시간 동안 조명이 계속 켜져 있어야 한다.Since the second camera 20 uses a rolling shutter, the illumination must remain on during the scan time of the entire row, because exposure and reading occur simultaneously for each row of the image sensor.

앞에서 언급한 플래시 조명은 적외선 조명으로 구현된다. 또한, 이미지 센서는 CCD(Charge-coupled Device) 이미지 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서로 구현된다.The above-mentioned flash light is realized by infrared light. The image sensor is also implemented as a charge-coupled device (CCD) image sensor or a complementary metal-oxide semiconductor (CMOS) image sensor.

영상처리부(30)는 제1카메라(10)를 통해 획득한 N번째 프레임에서 특정영역을 검출하고, 검출한 특정영역의 위치정보에 근거하여 제2카메라의 (N+1)번째 프레임의 관심영역을 조절한다. 예컨대, 제1카메라(10)는 눈 영역, 입 영역, 얼굴 영역, 팔 영역 등을 특정영역으로 검출한다.The image processing unit 30 detects a specific region in the Nth frame acquired through the first camera 10 and generates a region of interest of the (N + 1) th frame of the second camera based on the detected position information of the specific region . For example, the first camera 10 detects the eye region, the mouth region, the face region, the arm region, and the like as specific regions.

영상처리부(30)는 특정영역 및 관심영역의 정보를 이용하여 관심영역의 3차원 정보를 추출한다. 여기서, 3차원 정보는 3차원 좌표 및 3차원 영상 등일 수 있다. 예를 들어, 영상처리부(30)는 제1카메라(10)를 통해 획득한 영상에서 눈 영역을 추출하고, 제2카메라(20)의 관심영역을 눈 주위에 매칭되는 프레임의 행 영역으로 설정하여 관심영역의 정보를 획득한다. 그리고, 영상처리부(30)는 추출한 눈 영역의 정보와 관심영역의 정보에 근거하여 동공 중심점의 3차원 좌표를 추출한다.The image processing unit 30 extracts three-dimensional information of a region of interest using information of a specific region and a region of interest. Here, the three-dimensional information may be three-dimensional coordinates, three-dimensional images, and the like. For example, the image processing unit 30 extracts an eye region from an image acquired through the first camera 10, sets an ROI of a frame matched around the eye to an ROI of the second camera 20 Obtain information of the region of interest. Then, the image processing unit 30 extracts the three-dimensional coordinates of the pupil center point based on the information of the extracted eye region and the information of the ROI.

출력부(40)는 영상처리부(30)로부터 출력되는 3차원 정보를 타단말기로 전송하는 인터페이스 역할을 담당한다. 여기서, 타단말기는 DSM(Driver State Monitoring) 시스템, 시선 추적기, 제스쳐 인식기 등일 수 있다.The output unit 40 serves as an interface for transmitting the three-dimensional information output from the image processing unit 30 to another terminal. Here, the other terminal may be a DSM (Driver State Monitoring) system, a gaze tracker, a gesture recognizer, and the like.

한편, 출력부(40)는 영상처리부(30)로부터 출력되는 3차원 정보를 표시하는 디스플레이로 구현될 수도 있다.Alternatively, the output unit 40 may be implemented as a display for displaying three-dimensional information output from the image processing unit 30.

도 2는 본 발명의 일 실시예에 따른 스테레오 카메라의 작동 방법을 도시한 흐름도이다.2 is a flowchart illustrating an operation method of a stereo camera according to an embodiment of the present invention.

도 2를 참조하면, 영상처리부(30)는 제1카메라(10) 및 제2카메라(20)를 통해 영상을 획득한다(S11). 여기서, 제1카메라(10)는 전역 셔터 방식을 이용하고, 제2카메라(20)는 롤링 셔터 방식을 이용한다.Referring to FIG. 2, the image processing unit 30 acquires an image through the first camera 10 and the second camera 20 (S11). Here, the first camera 10 uses a global shutter system, and the second camera 20 uses a rolling shutter system.

영상처리부(30)는 제1카메라(10)을 통해 획득한 영상(프레임)에서 특정영역을 검출한다(S12). 예컨대, 영상처리부(30)는 제1카메라(10)를 통해 획득한 영상에서 눈 영역을 검출한다.The image processing unit 30 detects a specific region in an image (frame) acquired through the first camera 10 (S12). For example, the image processing unit 30 detects an eye region in an image acquired through the first camera 10. [

영상처리부(30)는 검출한 특정영역의 위치정보에 근거하여 제2카메라(20)의 관심영역으로 설정(set-up)한다(S13). 이때, 영상처리부(30)는 제2카메라(20)에 내장된 레지스터 값을 변경하여 관심영역을 조절한다. 그리고, 제2카메라(20)는 셔터의 다음 노출 시 설정한 관심영역의 영상을 획득한다.The image processing unit 30 sets (sets up) the area of interest of the second camera 20 based on the detected location information of the specific area (S13). At this time, the image processing unit 30 changes the register value stored in the second camera 20 to adjust the region of interest. Then, the second camera 20 acquires the image of the region of interest set at the next exposure of the shutter.

영상처리부(30)는 제1카메라(10) 및 제2카메라(20)를 통해 획득한 영상 정보를 이용하여 관심영역의 3차원 정보를 추출한다(S14). 다시 말해서, 영상처리부(30)는 제1카메라(10)를 통해 취득한 영상으로부터 추출한 특정영역 및 제2카메라(20)의 관심영역의 정보에 근거하여 관심영역의 3차원 정보를 추출한다. 여기서, 3차원 정보는 3차원 좌표 또는 3차원 영상 등일 수 있다.The image processing unit 30 extracts three-dimensional information of the ROI using the image information acquired through the first camera 10 and the second camera 20 (S14). In other words, the image processing unit 30 extracts the three-dimensional information of the ROI based on the information of the specific region extracted from the image acquired through the first camera 10 and the ROI of the second camera 20. [ Here, the three-dimensional information may be a three-dimensional coordinate or a three-dimensional image.

도 3은 본 발명의 일 실시예에 따른 스테레오 카메라의 작동 과정을 도시한 타이밍도이다. 본 실시예는 눈 영역을 관심영역으로 트래킹하여 시선정보를 추출하는 것을 예로 들어 설명한다.3 is a timing diagram illustrating an operation process of a stereo camera according to an exemplary embodiment of the present invention. In the present embodiment, the eye region is tracked as an area of interest and eye line information is extracted.

제1카메라(10)과 제2카메라(20)는 영상처리부(30)의 요청에 따라 영상을 획득한다. 이때, 제1카메라(10)는 전역 셔터를 통해 한번에 한 프레임을 스캔하고, 제2카메라(20)는 롤링 셔터를 통해 설정된 관심영역의 픽셀들(한 프레임의 일부)을 노출시키며 동시에 스캔한다.The first camera 10 and the second camera 20 acquire an image according to a request from the image processing unit 30. [ At this time, the first camera 10 scans one frame at a time through the global shutter, and the second camera 20 simultaneously exposes pixels (a part of one frame) set in the ROI through the rolling shutter and simultaneously scans the pixels.

영상처리부(30)는 제1카메라(10)를 통해 취득한 N번째 프레임에서 눈 영역을 검출한다. 그리고, 영상처리부(30)는 검출한 눈 영역의 위치정보(프레임 내 위치)에 근거하여 제2카메라(20)의 관심영역을 재설정한다. 이때, 제1카메라(10)는 눈영역 검출시간 및 관심영역 설정 시간 동안 휴지한다.The image processing unit (30) detects the eye region in the Nth frame acquired through the first camera (10). Then, the image processing unit 30 resets the region of interest of the second camera 20 based on the detected position of the eye region (the position in the frame). At this time, the first camera 10 stops for the eye area detection time and the ROI setting time.

이후, 제2카메라(20)는 재설정한 관심영역의 (N+1)번째 프레임을 취득하고, 제1카메라(20)는 전역 셔터 방식으로 (N+1)번째 프레임을 취득한다.Thereafter, the second camera 20 acquires the (N + 1) th frame of the reset interest area, and the first camera 20 acquires the (N + 1) th frame using the global shutter scheme.

영상처리부(30)는 제1카메라(10)과 제2카메라(20)가 (N+1)번째 프레임을 취득하는 동안 제1카메라(10)의 N번째 프레임으로부터 검출한 눈 영역 정보과 제2카메라(20)의 N번째 프레임의 관심영역 정보로부터 시선 정보를 추출한다. 즉, 영상처리부(30)는 1 프레임 전에 제2카메라(20)를 통해 획득한 관심영역의 영상을 이용한다. 여기서, 관심영역은 관심영역의 설정이력에 근거하여 칼만 필터(kalman filter) 등을 통해 통계적으로 추정된 값일 수 있다.The image processing unit 30 may compare the eye area information detected from the Nth frame of the first camera 10 while the first camera 10 and the second camera 20 acquire the (N + 1) The gaze information is extracted from the region of interest information of the Nth frame of the frame 20. That is, the image processing unit 30 uses the image of the ROI acquired through the second camera 20 one frame before. Here, the ROI may be a statistically estimated value based on a Kalman filter or the like based on the setting history of the ROI.

도 4는 본 발명의 다른 실시예에 따른 스테레오 카메라의 작동 과정을 도시한 타이밍도이다. 본 실시예는 눈 영역을 관심영역으로 트래킹하여 시선정보를 추출하는 것을 예로 들어 설명한다.4 is a timing diagram illustrating an operation process of a stereo camera according to another embodiment of the present invention. In the present embodiment, the eye region is tracked as an area of interest and eye line information is extracted.

먼저, 제1카메라(10)과 제2카메라(20)는 영상처리부(30)의 요청에 따라 영상을 획득한다. 이때, 제1카메라(10)는 전역 셔터 방식을 통해 영상을 취득하고, 제2카메라(20)는 롤링 셔터 방식으로 설정된 관심영역(ROI)의 영상을 취득한다.First, the first camera 10 and the second camera 20 acquire an image according to a request from the image processing unit 30. At this time, the first camera 10 acquires an image through a global shutter method, and the second camera 20 acquires an image of a ROI set in a rolling shutter manner.

영상처리부(30)는 제1카메라(10)를 통해 취득한 N번째 프레임에서 눈 영역을 검출한다. 이때, 제1카메라(10)과 제2카메라(20)는 각각 영상을 취득한다. 즉, 제1카메라(10)의 전역 셔터는 휴지시간 없이 최대 프레임 레이트로 작동할 수 있다.The image processing unit (30) detects the eye region in the Nth frame acquired through the first camera (10). At this time, the first camera 10 and the second camera 20 acquire images respectively. That is, the global shutter of the first camera 10 can operate at the maximum frame rate without a pause time.

그리고, 영상처리부(30)는 검출한 눈 영역의 위치정보에 근거하여 제2카메라(20)의 관심영역을 재설정한다.Then, the image processing unit 30 resets the region of interest of the second camera 20 based on the detected position information of the eye region.

또한, 영상처리부(30)는 N번째 프레임에서 검출한 눈 영역 정보와 2 프레임 전 제2카메라(20)의 관심영역 정보에 근거하여 시선정보를 추출한다.In addition, the image processing unit 30 extracts gaze information based on the eye area information detected in the N-th frame and the interest area information of the second camera 20 two frames before.

도 5는 본 발명의 또 다른 실시예에 따른 스테레오 카메라의 작동 과정을 도시한 타이밍도이다. 본 실시예는 눈 영역을 관심영역으로 트래킹하여 시선정보를 추출하는 것을 예로 들어 설명한다.5 is a timing diagram illustrating an operation process of a stereo camera according to another embodiment of the present invention. In the present embodiment, the eye region is tracked as an area of interest and eye line information is extracted.

도 5에 도시된 바와 같이, 스테레오 카메라는 제1카메라(10), 제2카메라(20), 제1영상처리부(31), 제2영상처리부(32)를 포함한다.As shown in FIG. 5, the stereo camera includes a first camera 10, a second camera 20, a first image processing unit 31, and a second image processing unit 32.

제1영상처리부(31)는 제1카메라(10)를 통해 획득한 N번째 프레임에서 눈 영역을 검출한다. 제1영상처리부(31)가 눈 영역을 검출하는 동안 제1카메라(10)와 제2카메라에 장착된 전역 셔터와 롤링 셔터의 노출이 발생한다. 그리고, 제2카메라(20)는 제1카메라(10)가 모든 픽셀(프레임)의 정보를 판독하는 동안 롤링 셔터의 노출이 발생시킨다. 즉, 롤링 셔터의 프레임 레이트는 전역 셔터의 2배이다.The first image processing unit 31 detects the eye region in the Nth frame acquired through the first camera 10. [ Exposure of the global shutter and the rolling shutter mounted on the first camera 10 and the second camera occurs while the first image processing unit 31 detects the eye region. Then, the second camera 20 causes exposure of the rolling shutter while the first camera 10 reads information of all the pixels (frames). That is, the frame rate of the rolling shutter is twice the global shutter.

제2영상처리부(32)는 제1카메라(10)가 모든 픽셀의 정보를 판독하는 동안 과거의 관심영역 변화 추세(관심영역의 설정이력)를 고려하여 관심영역을 예측한다. 따라서, 제1영상처리부(31)는 검출한 눈 영역의 정보와 1.5 프레임 전 제2카메라(20)의 관심영역 정보에 근거하여 시선정보를 추출한다.The second image processor 32 predicts a region of interest in consideration of past trends of ROIs (setting history of ROIs) while the first camera 10 reads information of all pixels. Accordingly, the first image processing unit 31 extracts gaze information based on the detected eye region information and the interest region information of the second camera 20 1.5 frames before.

10: 제1카메라
20: 제2카메라
30: 영상처리부
40: 출력부10: First camera
20: Second camera
30:
40: Output section

Claims (7)

전역 셔터(global shutter) 방식으로 영상을 획득하는 제1카메라와,
롤링 셔터(rolling shutter) 방식으로 설정된 관심영역의 영상을 획득하는 제2카메라와,
상기 제1카메라를 통해 획득한 영상에서 특정영역을 검출하고, 상기 특정영역과 상기 관심영역의 영상을 이용하여 3차원 정보를 추출하는 영상처리부를 포함하고,
상기 영상처리부는 상기 제1카메라를 통해 획득한 이전 프레임의 영상에서 검출한 특정영역의 위치정보에 근거하여 상기 관심영역을 재설정하는 것을 특징으로 하는 스테레오 카메라.A first camera for acquiring an image using a global shutter scheme,
A second camera for acquiring an image of a region of interest set in a rolling shutter mode,
And an image processor for detecting a specific region in the image obtained through the first camera and extracting the three-dimensional information using the image of the specific region and the region of interest,
Wherein the image processor resets the region of interest based on position information of a specific region detected from an image of a previous frame acquired through the first camera. 제1항에 있어서,
상기 제2카메라의 관심영역은,
상기 제2카메라에 내장된 레지스터 값의 변경을 통해 실시간으로 조절되는 것을 특징으로 하는 스테레오 카메라.The method according to claim 1,
Wherein the region of interest of the second camera comprises:
And the second camera is controlled in real time by changing a register value stored in the second camera. 제1항에 있어서,
상기 영상처리부는,
상기 제1카메라가 한 프레임의 영상을 획득할 때, 상기 제2카메라의 관심영역의 설정 이력을 기반으로 상기 관심영역을 예측하는 것을 특징으로 하는 스테레오 카메라.The method according to claim 1,
Wherein the image processing unit comprises:
Wherein when the first camera acquires an image of one frame, the camera predicts the region of interest based on a setting history of the region of interest of the second camera. 제1카메라 및 제2카메라가 서로 상이한 셔터 방식으로 영상을 획득하는 단계와,
상기 제1카메라를 통해 획득한 영상에서 특정영역을 추출하는 단계와,
상기 특정영역의 영상정보 및 상기 제2카메라를 통해 획득한 영상정보에 근거하여 3차원 정보를 추출하는 단계를 포함하며,
상기 영상을 획득하는 단계에서,
상기 제2카메라가 설정된 관심영역의 영상정보를 획득하고,
상기 관심영역은 상기 제1카메라를 통해 획득한 이전 프레임의 영상정보에서 검출한 특정영역의 위치정보에 근거하여 설정되는는 것을 특징으로 하는 스테레오 카메라의 작동 방법.The first camera and the second camera acquiring images in a shutter mode different from each other,
Extracting a specific region from an image acquired through the first camera;
Extracting three-dimensional information based on the image information of the specific area and the image information acquired through the second camera,
In the step of acquiring the image,
The second camera acquires image information of a set region of interest,
Wherein the area of interest is set based on position information of a specific area detected from image information of a previous frame acquired through the first camera. 제4항에 있어서,
상기 제1카메라 및 제2카메라는 전역 셔터 방식 및 롤링 셔터 방식으로 각각 영상을 획득하는 것을 특징으로 하는 스테레오 카메라의 작동 방법.5. The method of claim 4,
Wherein the first camera and the second camera acquire images using a global shutter method and a rolling shutter method, respectively. 제4항에 있어서,
상기 관심영역은,
상기 제2카메라에 내장된 레지스터 값 변경을 통해 실시간으로 조절되는 것을 특징으로 하는 스테레오 카메라의 작동 방법.5. The method of claim 4,
Wherein the region of interest comprises:
Wherein the second camera is controlled in real time by changing a register value stored in the second camera. 삭제delete
KR1020140127118A 2014-09-23 2014-09-23 Stereoscopic camera and method for operating the same KR101610512B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140127118A KR101610512B1 (en) 2014-09-23 2014-09-23 Stereoscopic camera and method for operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140127118A KR101610512B1 (en) 2014-09-23 2014-09-23 Stereoscopic camera and method for operating the same

Publications (2)

Publication Number Publication Date
KR20160035473A KR20160035473A (en) 2016-03-31
KR101610512B1 true KR101610512B1 (en) 2016-04-07

Family

ID=55652171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140127118A KR101610512B1 (en) 2014-09-23 2014-09-23 Stereoscopic camera and method for operating the same

Country Status (1)

Country Link
KR (1) KR101610512B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210408A1 (en) * 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Camera system with different shutter modes
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102347653B1 (en) 2017-12-15 2022-01-06 현대자동차주식회사 Preemptive Response type Chassis Integration Control Method and Vehicle thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101176A1 (en) 2011-10-25 2013-04-25 Samsung Electronic Co.,Ltd. 3d image acquisition apparatus and method of calculating depth information in the 3d image acquisition apparatus
KR101355976B1 (en) * 2012-11-13 2014-02-03 재단법인대구경북과학기술원 Method and apparatus for object tracking using stereo feature matching
US20140198184A1 (en) * 2013-01-15 2014-07-17 Mobileye Technologies Ltd. Stereo assist with rolling shutters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130101176A1 (en) 2011-10-25 2013-04-25 Samsung Electronic Co.,Ltd. 3d image acquisition apparatus and method of calculating depth information in the 3d image acquisition apparatus
KR101355976B1 (en) * 2012-11-13 2014-02-03 재단법인대구경북과학기술원 Method and apparatus for object tracking using stereo feature matching
US20140198184A1 (en) * 2013-01-15 2014-07-17 Mobileye Technologies Ltd. Stereo assist with rolling shutters

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210408A1 (en) * 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Camera system with different shutter modes
WO2018233733A1 (en) * 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Camera system having different shutter modes
US11146719B2 (en) 2017-06-21 2021-10-12 Conti Temic Microelectronic Gmbh Camera system having different shutter modes
US11527053B2 (en) 2018-12-12 2022-12-13 Samsung Electronics Co., Ltd. Method and apparatus of processing image
US11830234B2 (en) 2018-12-12 2023-11-28 Samsung Electronics Co., Ltd. Method and apparatus of processing image

Also Published As

Publication number Publication date
KR20160035473A (en) 2016-03-31

Similar Documents

Publication Publication Date Title
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
CN109842753B (en) Camera anti-shake system, camera anti-shake method, electronic device and storage medium
EP3320676B1 (en) Image capturing apparatus and method of operating the same
GB2553178A (en) Video processing apparatus, video processing method, and program
US20200175282A1 (en) Image processing device, image processing method, and image processing system
US11036966B2 (en) Subject area detection apparatus that extracts subject area from image, control method therefor, and storage medium, as well as image pickup apparatus and display apparatus
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
KR101610512B1 (en) Stereoscopic camera and method for operating the same
EP3235240B1 (en) Noise level based exposure time control for sequential subimages
US20120120285A1 (en) Method and apparatus for reconfiguring time of flight shot mode
WO2016031403A1 (en) Image capture control device, image capture device, and method for controlling image capture device
KR102216505B1 (en) Face tracking camera module and method
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP2016213616A5 (en) Imaging apparatus and imaging control method
US11394869B2 (en) Imaging device with focusing operation based on subject and predetermined region
US10943103B2 (en) Human body detection apparatus, human body detection method, information processing apparatus, information processing method, and storage medium
JP2017038281A5 (en)
US9716819B2 (en) Imaging device with 4-lens time-of-flight pixels and interleaved readout thereof
JP2020067534A (en) Imaging apparatus
KR20210023859A (en) Image processing device, mobile device and method, and program
WO2017208991A1 (en) Image capturing and processing device, electronic instrument, image capturing and processing method, and image capturing and processing device control program
US11880991B2 (en) Imaging apparatus including depth information at first or second spatial resolution at different regions in the image
US9854177B2 (en) Imaging apparatus
JP2007173914A (en) Imaging apparatus
JP2020088748A (en) Imaging apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 4