KR20130024504A - 삼차원 카메라 시스템 및 주시각 조정 방법 - Google Patents

삼차원 카메라 시스템 및 주시각 조정 방법 Download PDF

Info

Publication number
KR20130024504A
KR20130024504A KR1020110087990A KR20110087990A KR20130024504A KR 20130024504 A KR20130024504 A KR 20130024504A KR 1020110087990 A KR1020110087990 A KR 1020110087990A KR 20110087990 A KR20110087990 A KR 20110087990A KR 20130024504 A KR20130024504 A KR 20130024504A
Authority
KR
South Korea
Prior art keywords
image
line
binocular
reference line
unit
Prior art date
Application number
KR1020110087990A
Other languages
English (en)
Inventor
김주현
강순석
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020110087990A priority Critical patent/KR20130024504A/ko
Priority to US13/569,571 priority patent/US9041777B2/en
Publication of KR20130024504A publication Critical patent/KR20130024504A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Abstract

본 발명은 양안 이미지의 촬영이 가능한 카메라 유닛; 상기 양안 이미지 중 어느 하나의 이미지에 대하여 라인별로 라인방향을 따라 픽셀의 신호값을 필터링하여 상기 어느 하나의 이미지의 기준라인을 검출하는 필터 유닛; 상기 기준라인과 이와 대응되는 다른 하나의 이미지의 기준라인에 대한 데이터를 저장하는 라인 메모리 유닛; 상기 기준라인들에 대한 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성하는 주시각 조정 유닛;을 포함하는 삼차원 카메라 시스템 및 주시각 조정 방법을 개시한다.
본 발명에 따르면, 라인 이동 방식으로 주시각 보정 과정을 수행하여 연산량을 줄임으로써 영상 구현 속도 향상 및 영상 끊김 방지 등의 시스템 성능을 개선할 수 있으며, 기존 프레임 메모리를 라인 메모리로 대체 가능하여 시스템을 간소화할 수 있다.

Description

삼차원 카메라 시스템 및 주시각 조정 방법{Stereo Camera System and Method for Controlling Convergence}
본 발명은 삼차원 카메라 시스템 및 주시각 조정 방법에 관한 것으로서, 보다 자세하게는 주시각 조정에 따른 연산량을 줄이고 라인 메모리의 적용이 가능하여 영상 구현 속도 향상 및 영상 끊김 방지 등의 시스템 성능을 개선할 수 있으며 시스템을 간소화할 수 있는 삼차원 카메라 시스템 및 주시각 조정 방법에 관한 것이다.
삼차원(3D) TV 등의 보급화로 인하여 다양한 컨텐츠의 제작이 소비자로부터 요구되고 있으며, 이를 위한 삼차원 카메라 개발이 활발히 진행 중에 있다.
현재, 모바일에서 사용되는 가장 효율적인 방법은 양안식 카메라(스테레오 카메라)를 사용하는 것이나, 사용자의 주시각(수렴각)과 카메라의 주시각이 틀려 어지러움 및 눈의 피로감을 주는 문제점이 있다.
보다 상세하게, 도 1의 영상은 양안식 카메라를 픽셀 바이 픽셀로 좌 이미지와 우 이미지를 순차적으로 배열한 것으로 무안경식 삼차원 디스플레이 패널에서 사용하는 포맷 방식을 나타낸 화면으로, 도 1에 도시된 바와 같이, 주시각이 잘 맞는 경우에는 중심 사물의 좌우 영상이 동일하여 삼차원 디스플레이 기기에 수렴함으로써 사용자가 동일한 거리를 인식 가능하여 어지러움 및 피로감이 덜하다.
만약, 사용자가 카메라를 다른 사물에 고정하였거나 이동하였을 경우 사물의 위치가 바뀌게 되므로 중심 사물의 주시 위치가 변하게 되며, 이때 주시각(수렴각) 보정을 하지 않으면 도 2에 도시된 바와 같이, 중심 사물의 양안 차이가 심하게 발생하여 삼차원 디스플레이 기기보다 튀어 나와 보이거나 들어가 보이게 되며, 이에 따라 디스플레이 기기의 화면 중심에 초점이 맞춰져 있는 사용자에게 어지러움 및 피로감을 발생시키는 문제점이 있다.
이를 개선하기 위해, 종래 주시각(수렴각) 보정 방법은 한국 공개특허공보 제2007-0030501호에 개시된 바와 같이, 양안 카메라로 촬영한 양안 이미지를 프레임 메모리에 저장하고, 상기 저장된 양안 이미지를 좌우로 이동시켜 주시각을 보정하는 방법을 사용한다.
그러나, 상기 프레임 메모리를 사용한 이미지 전체 이동 방식은 저장된 양안 이미지 전체를 크로핑(cropping)하여 좌우 이미지의 상관 관계를 계산하는 방법이기 때문에, 연산량이 많아 동영상 촬영 등의 실시간 보정에는 사용하기 어렵고 사용되는 전력소모가 크며, 용량이 큰 외부 프레임 메모리를 사용함으로써 하드웨어적으로 복잡하고 시스템 사이즈를 크게 하는 문제점이 있었다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은 라인 이동 방식으로 양안 이미지의 주시각 보정 과정을 수행하여 삼차원 영상을 제공함으로써 주시각 조정에 따른 연산량을 줄여 영상 구현 속도를 향상할 수 있고 영상 끊김 방지 등 시스템 성능을 높일 수 있는 삼차원 카메라 시스템 및 주시각 조정 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 다른 목적은 주시각 보정시 라인 이동 방식을 적용하여 기존 프레임 메모리를 라인 메모리로 대체 가능함으로써 저전력 및 소형화 등 시스템을 간소화할 수 있는 삼차원 카메라 시스템 및 주시각 조정 방법을 제공하기 위한 것이다.
상기한 목적을 달성하기 위하여, 본 발명은: 양안 이미지의 촬영이 가능한 카메라 유닛; 상기 양안 이미지 중 어느 하나의 이미지에 대하여 라인별로 라인방향을 따라 픽셀의 신호값을 필터링하여 상기 어느 하나의 이미지의 기준라인을 검출하는 필터 유닛; 상기 기준라인과 이와 대응되는 다른 하나의 이미지의 기준라인에 대한 데이터를 저장하는 라인 메모리 유닛; 상기 기준라인들에 대한 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성하는 주시각 조정 유닛;을 포함하는 삼차원 카메라 시스템을 제공한다.
상기 카메라 유닛은, 상기 양안 이미지 중 좌안 이미지를 촬영하는 좌측 카메라와 우안 이미지를 촬영하는 우측 카메라를 포함할 수 있다.
상기 필터 유닛은; 상기 어느 하나의 이미지에 대하여 라인별로 각 픽셀에 해당되는 신호값을 입력받아 출력값을 생성하는 하이패스필터(High Pass Filter:HPF)와, 상기 출력값의 절대값을 상기 라인별로 누적하여 최대누적값을 산출함으로써 상기 어느 하나의 이미지의 기준라인을 검출하는 검출부를 포함할 수 있다.
상기 라인 메모리 유닛은; 상기 어느 하나의 이미지의 기준라인에 대한 데이터를 저장하는 제1 라인 메모리와, 상기 다른 하나의 이미지의 기준라인에 대한 데이터를 저장하는 제2 라인 메모리를 포함할 수 있다.
이때, 상기 데이터는 상기 각 기준라인의 각 픽셀에 해당되는 신호값을 포함할 수 있다.
상기 주시각 조정 유닛은; 상기 이미지 조정량을 산출하는 주시각 연산부와, 상기 양안 이미지의 최적 합성 이미지를 생성하는 이미지 조정부를 포함할 수 있다.
여기서, 상기 주시각 연산부는, 상기 다른 하나의 이미지의 기준라인 중 일정영역의 각 픽셀에 해당되는 신호값과 상기 어느 하나의 이미지의 기준라인 중 상기 일정영역과 대응되는 개수의 각 픽셀에 해당되는 신호값과의 차이에 대한 절대값의 누적값을 상기 어느 하나의 이미지의 기준라인을 따라 상기 일정영역 단위로 한픽셀씩 이동시켜 연산함으로써, 상기 절대값의 누적값이 최소가 되는 지점까지의 이동 픽셀수에 해당하는 상기 이미지 조정량을 산출할 수 있으며; 상기 이미지 조정부는 상기 다른 하나의 이미지를 기준으로 상기 어느 하나의 이미지를 상기 이미지 조정량에 해당하는 상기 이동 픽셀수만큼 이동시켜 상기 최적 합성 이미지를 생성할 수 있다.
한편, 상기 삼차원 카메라 시스템은, 상기 최적 합성 이미지를 외부로 표시하는 디스플레이 유닛을 포함할 수도 있다.
상기한 목적을 달성하기 위한 다른 형태로서, 본 발명은: 양안 이미지를 촬영하는 이미지 촬영단계; 상기 양안 이미지의 기준라인을 검출하는 라인 검출단계; 상기 양안 이미지의 기준라인에 대한 데이터를 저장하는 데이터 저장단계; 및 상기 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성하는 주시각 조정단계;를 포함하는 삼차원 카메라 시스템의 주시각 조정 방법을 제공한다.
상기 이미지 촬영단계는, 좌측 카메라와 우측 카메라로 좌안 이미지와 우안 이미지를 각각 촬영하는 단계로 이루어질 수 있다.
상기 라인 검출단계는; 상기 양안 이미지 중 어느 하나의 이미지에 대하여 라인별로 각 픽셀에 해당하는 신호값을 하이패스필터로 입력시켜 출력값을 생성하는 필터링단계와, 상기 출력값의 절대값을 상기 라인별로 누적하여 최대누적값을 산출하여 상기 최대누적값에 해당되는 기준라인을 검출하는 연산단계를 포함할 수 있다.
상기 저장단계는, 상기 양안 이미지의 기준라인에 대한 데이터를 제1 라인 메모리와 제2 라인 메모리에 각각 저장하는 단계로 이루어질 수 있다.
상기 주시각 조정단계는; 상기 양안 이미지의 기준라인에 대한 데이터를 상호 비교 연산하여 상기 이미지 조정량을 산출하는 산출단계와, 상기 이미지 조정량에 따라 상기 양안 이미지를 매칭시켜 상기 최적 합성 이미지를 생성하는 조정단계를 포함할 수 있다.
여기서, 상기 산출단계는, 상기 양안 이미지 중 다른 하나의 이미지의 기준라인 중 일정영역의 각 픽셀에 해당되는 신호값과 상기 어느 하나의 이미지의 기준라인 중 상기 일정영역과 대응되는 개수의 각 픽셀에 해당되는 신호값과의 차이에 대한 절대값의 누적값을 상기 어느 하나의 이미지의 기준라인을 따라 상기 일정영역 단위로 한픽셀씩 이동시켜 연산하여 상기 이미지 조정량을 산출하는 단계로 이루어질 수 있으며; 상기 조정단계는, 상기 다른 하나의 이미지를 기준으로 상기 어느 하나의 이미지를 상기 이미지 조정량에 해당하는 이동 픽셀수만큼 이동시켜 상기 최적 합성 이미지를 생성하는 단계로 이루어질 수 있다.
한편, 상기 삼차원 카메라 시스템의 주시각 조정 방법은, 상기 최적 합성 이미지를 외부로 표시하는 디스플레이 단계를 포함할 수도 있다.
이상에서 설명한 바와 같이, 본 발명에 따른 삼차원 카메라 시스템 및 주시각 조정 방법에 의하면, 라인 이동 방식으로 주시각 보정 과정을 수행하여 연산량을 줄임으로써 영상 구현 속도 향상 및 영상 끊김 방지 등의 시스템 성능을 개선할 수 있는 이점이 있다.
또한, 본 발명에 따른 삼차원 카메라 시스템 및 주시각 조정 방법에 의하면, 기존 프레임 메모리를 라인 메모리로 대체 가능하여 시스템을 간소화할 수 있는 이점이 있다.
도 1은 삼차원 카메라 시스템을 통해 구현된 영상으로 양안 이미지의 주시각이 일치하였을 경우의 삼차원 영상을 개략적으로 나타낸 도면이다.
도 2는 삼차원 카메라 시스템을 통해 구현된 영상으로 양안 이미지의 주시각이 일치하지 않았을 경우의 삼차원 영상을 개략적으로 나타낸 도면이다.
도 3은 본 발명에 따른 삼차원 카메라 시스템을 개략적으로 나타낸 구성도이다.
도 4는 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법을 개략적으로 나타낸 순서도이다.
도 5는 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법 중 주시각 조정단계를 설명하기 위한 도면이다.
도 6은 종래 이미지 이동 방식을 이용한 이동 차이 누적값을 나타낸 그래프이다.
도 7은 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법을 이용한 이동 차이 누적값을 나타낸 그래프이다.
이하 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예가 첨부된 도면을 참조하여 설명된다. 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 하기에서 생략된다.
먼저, 첨부된 도 3 내지 도 5를 참조하여, 본 발명에 따른 삼차원 카메라 시스템의 일실시예를 설명하면 다음과 같다.
도 3은 본 발명에 따른 삼차원 카메라 시스템을 개략적으로 나타낸 구성도이고, 도 4는 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법을 개략적으로 나타낸 순서도이며, 도 5는 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법 중 주시각 조정단계를 설명하기 위한 도면이다.
도 3 내지 도 5를 참조하면, 본 발명에 따른 삼차원 카메라 시스템의 일실시예는, 크게 카메라 유닛(110)과, 필터 유닛(130)과, 라인 메모리 유닛(140), 그리고 주시각 조정 유닛(150)을 포함하여 구성될 수 있다.
그리고, 본 실시예에 따른 삼차원 카메라 시스템은, 상기 카메라 유닛(110)과 상기 필터 유닛(130) 사이에 구비되는 이미지 보정부(120)를 포함하여 구성될 수도 있다.
또한, 본 실시예에 따른 삼차원 카메라 시스템은, 상기 주시각 조정 유닛(150)을 거쳐 주시각이 보정된 최적의 합성 이미지 즉 주시각이 보정된 삼차원 이미지를 외부로 표시하는 디스플레이 유닛(160)을 포함하여 구성될 수 있다.
보다 상세하게, 상기 카메라 유닛(110)은 양안 이미지의 촬영이 가능하며, 상기 양안 이미지 중 좌안 이미지를 촬영하는 좌측 카메라(111)와, 우안 이미지를 촬영하는 우측 카메라(112)를 포함할 수 있다.
상기 이미지 보정부(120)는, 상기 카메라 유닛(110) 즉 좌측 카메라(111)와 우측 카메라(112)를 통해 취득된 양안 이미지를 분석하여 좌우 영상의 왜곡, 뒤틀림 및 색감 오차 등을 보정할 수 있다. 이때, 상기 보정은 Annika Kuhl의 "모바일 로봇을 위한 입체 매칭 알고리즘의 비교(Comparison of Stereo Matching Algorithms for Mobile Robots)" 등의 방법을 이용하여 수행할 수 있다.
상기 필터 유닛(130)은, 상기 양안 이미지 중 어느 하나의 이미지(이하, 좌안 이미지로 통칭함)에 대하여 라인별로 라인방향을 따라 픽셀의 신호값을 필터링하여 상기 좌안 이미지의 기준라인을 검출할 수 있다.
이를 위해, 상기 필터 유닛(130)은, 상기 좌안 이미지에 대하여 라인별로 각 픽셀에 해당되는 신호값을 입력받아 출력값을 생성하는 하이패스필터(High Pass Filter:HPF:131)와, 상기 출력값의 절대값을 상기 라인별로 누적하여 최대누적값을 산출함으로써 상기 좌안 이미지의 기준라인을 검출하는 검출부(132)를 포함하여 구성될 수 있다.
상기 라인 메모리 유닛(140)은, 상기 좌안 이미지의 기준라인과 이와 대응되는 다른 하나의 이미지(이하, 우안 이미지라 통칭함)의 기준라인에 대한 데이터를 저장할 수 있다.
이를 위해, 상기 라인 메모리 유닛(140)은, 상기 좌안 이미지의 기준라인에 대한 데이터를 저장하는 제1 라인 메모리와, 상기 우안 이미지의 기준라인에 대한 데이터를 저장하는 제2 라인 메모리를 포함할 수 있다. 이때, 상기 데이터는 상기 각 기준라인의 각 픽셀에 해당되는 신호값을 포함할 수 있다.
상기 주시각 조정 유닛(150)은, 상기 기준라인들에 대한 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고, 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성할 수 있다.
여기서, 상기 주시각 조정 유닛(150)은, 상기 이미지 조정량을 산출하는 주시각 연산부(151)와, 상기 양안 이미지의 최적 합성 이미지를 생성하는 이미지 조정부(152)를 포함할 수 있다.
이때, 상기 주시각 연산부(151)는, 상기 우안 이미지의 기준라인 중 일정영역의 각 픽셀에 해당되는 신호값과 상기 좌안 이미지의 기준라인 중 상기 일정영역과 대응되는 개수의 각 픽셀에 해당되는 신호값과의 차이에 대한 절대값의 누적값을 상기 좌안 이미지의 기준라인을 따라 상기 일정영역 단위로 한픽셀씩 이동시켜 연산함으로써, 상기 절대값의 누적값이 최소가 되는 지점까지의 이동 픽셀수에 해당하는 상기 이미지 조정량을 산출할 수 있다.
또한, 상기 이미지 조정부(152)는 상기 우안 이미지를 기준으로 상기 좌안 이미지를 상기 이미지 조정량에 해당하는 상기 이동 픽셀수만큼 이동시켜 상기 최적 합성 이미지 즉, 라인 이동 방식으로 주시각이 조정된 삼차원 영상을 생성할 수 있다.
상기와 같이 구성된 주시각이 조정된 삼차원 영상은 LCD 또는 LED와 같은 상기 디스플레이 유닛(160)을 통해 외부로 표시될 수 있다.
다음으로, 상기와 같이 구성된 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법을 설명하면 다음과 같다.
도 3 내지 도 5를 참조하면, 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법은, 양안 이미지를 촬영하는 이미지 촬영단계(S111, S112)와, 상기 양안 이미지의 기준라인을 검출하는 라인 검출단계(S121~S124)와, 상기 양안 이미지의 기준라인에 대한 데이터를 저장하는 데이터 저장단계(S131, S132)와, 상기 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성하는 주시각 조정단계(S141~S144, S150)를 포함할 수 있다.
보다 상세하게, 먼저 좌측 카메라(111)로 좌안 이미지를 촬영하고(S111), 우측 카메라(112)로 우안 이미지를 촬영한다(S112).
그리고, 상기 좌·우측 카메라로 촬영된 양안 이미지는 이미지 보정부(stereo calibration:120)에서 좌우 영상의 왜곡, 뒤틀림 및 색감 오차 등을 보정할 수 있다.
이때, 상기 이미지 보정부(120)에 의한 영상 보정후 상기 좌안 이미지 및 우안 이미지는 상호 평행축이 일치될 수 있으며, 이는 동일 라인 선상에 있는 좌우 신호는 동일한 데이터를 가지고 있는 것을 의미할 수 있다.
그 다음, 하이패스필터(131)는 상기 양안 이미지 중 어느 하나의 이미지 즉, 좌안 이미지의 중심 부분을 크롭핑(cropping)하고 수평방향의 라인별로 각 픽셀에 해당하는 신호값을 입력받아 출력값을 생성하는 필터링과정을 수행한다(S121).
본 실시예에서는 상기 좌안 이미지를 이용하여 필터링과정을 수행하는 것을 개시하였으나, 이에 한정되는 것은 아니며 상기 우안 이미지를 이용하여 필터링과정을 수행할 수도 있다.
그리고, 검출부(132)는 상기 출력값의 절대값을 상기 라인별로 누적하여 최대누적값을 산출하고, 상기 최대누적값에 해당되는 라인을 기준라인으로 검출하는 연산과정을 수행한다(S122~S123). 즉, 상기 출력값의 절대값에 대한 누적값이 가장 큰 라인이 기준라인이 되며, 상기 누적값이 가장 크다는 것은 크로핑된 이미지에서 가장 엣지 성분이 많은 즉 가장 데이터 정보가 많은 라인이라는 것이며, 본 실시예에서는 상기 데이터 정보가 가장 많은 라인을 기준라인으로 사용하여 좌안 이미지 및 우안 이미지의 주시각 조정을 수행하는 것을 개시한다.
일 예로, 아래 표 1에 도시된 바와 같이, 상기 좌안 이미지의 영상신호의 명암 신호가 아래 입력값(Input)과 같이 하이패스필터에 입력되면 출력값은 상기 하이패스필터의 상관계수(coefficient)를 [-1, 0, 1]을 사용한다고 가정하였을 때 아래 출력값(Output)과 같다. 이때, 상기 하이패스필터의 상관계수는 공개된 어떠한 것을 사용해도 무방하다.
Figure pat00001
즉, 하이패스필터의 출력값은 다음과 같이 계산될 수 있다.
순번 1의 Output = (0번 입력값 * 상관계수의 첫번째값) + (1번 입력값 * 상관계수의 두번째값) + (0번 입력값 * 상관계수의 세번째값) = {10*(-1)} + {10*0} + {10*1} = 0
다시 말하면, 상기 표 1에서와 같이 입력값 즉, 상기 좌안 이미지의 크로핑된 이미지 부분 중 어느 하나의 라인의 각 픽셀에 해당하는 신호값이 모두 10인 경우 입력 이미지에 엣지 정보가 없는 평탄한 벽면같은 대상을 촬영했을 경우이며, 이는 고주파 성분인 엣지 정보가 없기 때문에 하이패스필터의 출력값은 모두 0이 되는 것이다.
이와 같은 경우를 제외하고, 아래 표 2에서와 같이, 상기 좌안 이미지의 임의의 한 라인의 각 픽셀에 해당하는 신호값이 아래 표 2와 같을 경우 상기 하이패스필터의 출력값은 아래 표 2와 같은 값을 가질 수 있다.
Figure pat00002
그리고, 상기 하이패스필터의 출력값의 절대값을 모두 누적하면 누적값은 600이 되며, 상기 좌안 이미지의 크로핑된 부분의 모든 라인별로 상기 하이패스필터의 출력값의 절대값에 대한 누적값을 산출할 수 있다.
그 다음, 상기 누적값 중 가장 큰 누적값 즉, 최대누적값(Max)을 갖는 라인이 상기 좌안 이미지에서 가장 엣지 정보가 많은 라인인 것을 알 수 있으며, 상기 라인이 바로 기준라인이 되는 것이다.
이때, 상기 최대누적값(Max)이 설정값(Thr)이하이면 그 최대누적값은 유효하지 않은 값 즉, 엣지 정보가 너무 적어 주시각을 조정하기에는 부적절하므로 수행을 안하는 것을 의미한다.
이후, 상기 양안 이미지의 기준라인에 대한 데이터를 제1 라인 메모리 및 제2 라인 메모리에 각각 저장한다(S131, S132).
즉, 상기 좌안 이미지 중 최대누적값을 갖는 라인을 좌안 이미지의 기준라인으로 상기 제1 라인 메모리에 저장하고, 상기 좌안 이미지의 기준라인과 대응되는 우안 이미지의 라인을 상기 우안 이미지의 기준라인으로 상기 제2 라인 메모리에 저장한다.
다음, 상기 양안 이미지의 기준라인에 대한 데이터를 상호 비교 연산하여 상기 이미지 조정량을 산출하는 과정을 수행하고, 상기 이미지 조정량에 따라 상기 양안 이미지를 매칭시켜 주시각이 일치하는 최적 합성 이미지를 생성하는 과정을 수행하여 상기 양안 이미지의 주시각을 실시간으로 보정할 수 있다.
여기서, 상기 이미지 조정량은, 상기 우안 이미지의 기준라인의 일정영역(112a)의 각 픽셀에 해당하는 신호값과 상기 좌안 이미지의 기준라인 중 상기 일정영역(112a)과 대응되는 영역(111a)의 각 픽셀에 해당되는 신호값과의 차이에 대한 절대값의 누적값을 계산하고, 이와 같은 과정을 상기 우안 이미지의 기준라인의 일정영역(112a)을 고정한 상태에서 상기 좌안 이미지의 기준라인의 일정영역(111a)을 상기 좌안 이미지의 기준라인을 따라 한 픽셀씩 이동시켜 각각의 누적값을 계산한 후(S141, S142), 누적값이 최소값을 갖는 이동지점까지의 픽셀 이동량을 검출하여 산출할 수 있다. 물론, 상기 우안 이미지와 상기 좌안 이미지를 변경하여 적용할 수도 있다.
일 예로, 상기 우안 이미지의 기준라인의 일정영역(112a)의 각 픽셀에 해당하는 신호값(Right)과, 상기 좌안 이미지의 기준라인의 일정영역(111a)의 각 픽셀에 해당하는 신호값(Left)이 아래 표 3과 같이 입력되면, 차이값(Diff.) 및 상기 차이값의 절대값은 아래 표 3과 같은 값을 가질 수 있으며, 그 절대값의 누적값은 8이 될 수 있다.
Figure pat00003
그리고, 상기 좌안 이미지의 기준라인의 일정영역(111a)의 각 픽셀에 해당하는 신호값(Left)을 우측으로 한 픽셀씩 이동시켜 차이값에 대한 절대값의 누적값을 계산한 후, 누적값이 최소가 되는 시점까지의 픽셀 이동량이 전술한 좌안 이미지와 우안 이미지의 주시각을 일치시키기 위한 이미지 조정량이 되는 것이다.
즉, 아래 표 4는 상기 표 3의 상태에서 상기 좌안 이미지의 기준라인의 일정영역(111a)의 각 픽셀에 해당하는 신호값(Left)을 우측으로 3 픽셀 이동시켜 차이값(Diff.) 및 상기 차이값의 절대값을 계산한 것으로서, 차이값(Diff.) 및 차이값의 절대값은 아래 표 4에서와 같으며, 결국 차이값에 대한 절대값의 누적값은 0이 됨으로써, 이와 같은 상태에서 상기 우안 이미지에 대한 상기 좌안 이미지의 이미지 조정량은 3 픽셀이 될 수 있다.
이에 따라, 상기 우안 이미지를 기준으로 상기 좌안 이미지를 상기 3 픽셀만큼 이동시키면 상기 우안 이미지 및 좌안 이미지의 주시각이 일치하는 최적 합성 이미지 즉, 양안 이미지의 주시각이 일치하는 삼차원 영상을 얻을 수 있다(S150).
Figure pat00004
이후, 상기 디스플레이 유닛을 통해 상기 최적 합성 이미지 즉, 상기 양안 이미지의 주시각이 일치하는 삼차원 이미지를 외부로 표시하면 주시각이 일치하는 삼차원 영상을 구현할 수 있다.
한편, 도 6은 종래 이미지 이동 방식을 이용한 이동 차이 누적값을 나타낸 그래프이며, 도 7은 본 발명에 따른 삼차원 카메라 시스템의 주시각 조정 방법을 이용한 이동 차이 누적값을 나타낸 그래프이다. 이때, X축은 이미지의 이동 픽셀수를 나타내고, Y축은 양안 이미지 중 고정된 이미지와 이동한 이미지의 차이값의 절대값에 대한 누적값을 나타낸 것이다.
도 6의 경우 158 픽셀 이동에서 가장 작은 누적값을 가지며, 도 7의 경우 역시 158 픽셀 이동에서 가장 작은 누적값을 가진다.
즉, 본 실시예에 따른 라인 이동 방식을 통한 삼차원 카메라 시스템 및 주시각 조정 방법은, 종래 이미지 전체 이동 방식과 비교하여 정확성은 유지하면서, 라인 이동 방식으로 양안 이미지의 주시각 보정 과정을 수행함으로써 주시각 조정에 따른 연산량을 줄여 영상 구현 속도를 향상할 수 있고 영상 끊김 방지 등 시스템 성능을 높일 수 있으며, 나아가 동영상 촬영 등의 실시간 보정에도 적용 가능하다.
또한, 본 실시예에 따른 삼차원 카메라 시스템 및 주시각 조정 방법은, 라인 메모리의 대체가 가능하여 저전력 및 소형화 등 시스템을 간소화할 수 있다.
이상에서 설명한 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능할 것이나, 이러한 치환, 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
110: 카메라 유닛 111: 좌측 카메라
112: 우측 카메라 120: 이미지 보정부
130: 필터 유닛 131: 하이패스필터
132: 검출부 140: 라인 메모리 유닛
150: 주시각 조정 유닛 151: 주시각 연산부
152: 이미지 조정부 160: 디스플레이 유닛

Claims (15)

  1. 양안 이미지의 촬영이 가능한 카메라 유닛;
    상기 양안 이미지 중 어느 하나의 이미지에 대하여 라인별로 라인방향을 따라 픽셀의 신호값을 필터링하여 상기 어느 하나의 이미지의 기준라인을 검출하는 필터 유닛;
    상기 기준라인과 이와 대응되는 다른 하나의 이미지의 기준라인에 대한 데이터를 저장하는 라인 메모리 유닛;
    상기 기준라인들에 대한 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성하는 주시각 조정 유닛;
    을 포함하는 삼차원 카메라 시스템.
  2. 제1항에 있어서,
    상기 카메라 유닛은, 상기 양안 이미지 중 좌안 이미지를 촬영하는 좌측 카메라와 우안 이미지를 촬영하는 우측 카메라를 포함하는 삼차원 카메라 시스템.
  3. 제1항에 있어서,
    상기 필터 유닛은;
    상기 어느 하나의 이미지에 대하여 라인별로 각 픽셀에 해당되는 신호값을 입력받아 출력값을 생성하는 하이패스필터(High Pass Filter:HPF)와,
    상기 출력값의 절대값을 상기 라인별로 누적하여 최대누적값을 산출함으로써 상기 어느 하나의 이미지의 기준라인을 검출하는 검출부를 포함하는 삼차원 카메라 시스템.
  4. 제1항에 있어서,
    상기 라인 메모리 유닛은;
    상기 어느 하나의 이미지의 기준라인에 대한 데이터를 저장하는 제1 라인 메모리와,
    상기 다른 하나의 이미지의 기준라인에 대한 데이터를 저장하는 제2 라인 메모리를 포함하는 삼차원 카메라 시스템.
  5. 제4항에 있어서,
    상기 데이터는 상기 각 기준라인의 각 픽셀에 해당되는 신호값을 포함하는 삼차원 카메라 시스템.
  6. 제1항에 있어서,
    상기 주시각 조정 유닛은;
    상기 이미지 조정량을 산출하는 주시각 연산부와,
    상기 양안 이미지의 최적 합성 이미지를 생성하는 이미지 조정부를 포함하는 삼차원 카메라 시스템.
  7. 제6항에 있어서,
    상기 주시각 연산부는, 상기 다른 하나의 이미지의 기준라인 중 일정영역의 각 픽셀에 해당되는 신호값과 상기 어느 하나의 이미지의 기준라인 중 상기 일정영역과 대응되는 개수의 각 픽셀에 해당되는 신호값과의 차이에 대한 절대값의 누적값을 상기 어느 하나의 이미지의 기준라인을 따라 상기 일정영역 단위로 한픽셀씩 이동시켜 연산함으로써, 상기 절대값의 누적값이 최소가 되는 지점까지의 이동 픽셀수에 해당하는 상기 이미지 조정량을 산출하며;
    상기 이미지 조정부는 상기 다른 하나의 이미지를 기준으로 상기 어느 하나의 이미지를 상기 이미지 조정량에 해당하는 상기 이동 픽셀수만큼 이동시켜 상기 최적 합성 이미지를 생성하는 삼차원 카메라 시스템.
  8. 제1항에 있어서,
    상기 최적 합성 이미지를 외부로 표시하는 디스플레이 유닛을 포함하는 삼차원 카메라 시스템.
  9. 양안 이미지를 촬영하는 이미지 촬영단계;
    상기 양안 이미지의 기준라인을 검출하는 라인 검출단계;
    상기 양안 이미지의 기준라인에 대한 데이터를 저장하는 데이터 저장단계; 및
    상기 데이터를 상호 비교 연산하여 상기 양안 이미지의 주시각을 일치시키는 이미지 조정량을 산출하고 상기 이미지 조정량을 적용하여 상기 양안 이미지의 최적 합성 이미지를 생성하는 주시각 조정단계;
    를 포함하는 삼차원 카메라 시스템의 주시각 조정 방법.
  10. 제9항에 있어서,
    상기 이미지 촬영단계는, 좌측 카메라와 우측 카메라로 좌안 이미지와 우안 이미지를 각각 촬영하는 삼차원 카메라 시스템의 주시각 조정 방법.
  11. 제9항에 있어서,
    상기 라인 검출단계는;
    상기 양안 이미지 중 어느 하나의 이미지에 대하여 라인별로 각 픽셀에 해당하는 신호값을 하이패스필터로 입력시켜 출력값을 생성하는 필터링단계와,
    상기 출력값의 절대값을 상기 라인별로 누적하여 최대누적값을 산출하여 상기 최대누적값에 해당되는 기준라인을 검출하는 연산단계를 포함하는 삼차원 카메라 시스템의 주시각 조정 방법.
  12. 제9항에 있어서,
    상기 저장단계는, 상기 양안 이미지의 기준라인에 대한 데이터를 제1 라인 메모리와 제2 라인 메모리에 각각 저장하는 삼차원 카메라 시스템의 주시각 조정 방법.
  13. 제9항에 있어서,
    상기 주시각 조정단계는;
    상기 양안 이미지의 기준라인에 대한 데이터를 상호 비교 연산하여 상기 이미지 조정량을 산출하는 산출단계와,
    상기 이미지 조정량에 따라 상기 양안 이미지를 매칭시켜 상기 최적 합성 이미지를 생성하는 조정단계를 포함하는 삼차원 카메라 시스템의 주시각 조정 방법.
  14. 제13항에 있어서,
    상기 산출단계는, 상기 양안 이미지 중 다른 하나의 이미지의 기준라인 중 일정영역의 각 픽셀에 해당되는 신호값과 상기 어느 하나의 이미지의 기준라인 중 상기 일정영역과 대응되는 개수의 각 픽셀에 해당되는 신호값과의 차이에 대한 절대값의 누적값을 상기 어느 하나의 이미지의 기준라인을 따라 상기 일정영역 단위로 한픽셀씩 이동시켜 연산하여 상기 이미지 조정량을 산출하며;
    상기 조정단계는, 상기 다른 하나의 이미지를 기준으로 상기 어느 하나의 이미지를 상기 이미지 조정량에 해당하는 이동 픽셀수만큼 이동시켜 상기 최적 합성 이미지를 생성하는 삼차원 카메라 시스템의 주시각 조정 방법.
  15. 제9항에 있어서,
    상기 최적 합성 이미지를 외부로 표시하는 디스플레이 단계를 포함하는 삼차원 카메라 시스템의 주시각 조정 방법.
KR1020110087990A 2011-08-31 2011-08-31 삼차원 카메라 시스템 및 주시각 조정 방법 KR20130024504A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110087990A KR20130024504A (ko) 2011-08-31 2011-08-31 삼차원 카메라 시스템 및 주시각 조정 방법
US13/569,571 US9041777B2 (en) 2011-08-31 2012-08-08 Stereo camera system and method for controlling convergence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087990A KR20130024504A (ko) 2011-08-31 2011-08-31 삼차원 카메라 시스템 및 주시각 조정 방법

Publications (1)

Publication Number Publication Date
KR20130024504A true KR20130024504A (ko) 2013-03-08

Family

ID=47743149

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087990A KR20130024504A (ko) 2011-08-31 2011-08-31 삼차원 카메라 시스템 및 주시각 조정 방법

Country Status (2)

Country Link
US (1) US9041777B2 (ko)
KR (1) KR20130024504A (ko)

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414709B1 (en) * 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
DE69733233T2 (de) * 1996-09-11 2006-01-19 Canon K.K. Bildverarbeitung zur dreidimensionalen Wiedergabe von Bilddaten auf der Anzeige eines Bildaufnahmegeräts
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
WO2004106858A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラシステム及びステレオ光学モジュール
WO2004106857A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオ光学モジュール及びステレオカメラ
KR100818155B1 (ko) 2005-09-13 2008-03-31 (주)브이쓰리아이 모바일 기기용 스테레오 입체카메라 시스템 및 주시각조절방법
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR101313740B1 (ko) * 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
JP4856612B2 (ja) * 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
JP5073548B2 (ja) * 2008-03-27 2012-11-14 富士重工業株式会社 車両用環境認識装置および先行車追従制御システム
WO2009149413A1 (en) * 2008-06-06 2009-12-10 Real D Blur enhancement of stereoscopic images
CN102293001B (zh) * 2009-01-21 2014-05-14 株式会社尼康 图像处理装置、图像处理方法及记录方法
KR20110126518A (ko) * 2009-02-19 2011-11-23 파나소닉 주식회사 기록매체, 재생장치 및 집적회로
US8436918B2 (en) * 2009-02-27 2013-05-07 Deluxe Laboratories, Inc. Systems, apparatus and methods for subtitling for stereoscopic content
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5415217B2 (ja) * 2009-10-02 2014-02-12 パナソニック株式会社 三次元映像処理装置
US8704932B2 (en) * 2009-10-23 2014-04-22 Broadcom Corporation Method and system for noise reduction for 3D video content
KR101759943B1 (ko) * 2010-01-11 2017-07-20 엘지전자 주식회사 방송 수신기 및 3ｄ 이미지 디스플레이 방법
JP5446949B2 (ja) * 2010-02-03 2014-03-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5018980B2 (ja) * 2010-04-08 2012-09-05 カシオ計算機株式会社 撮像装置、長さ測定方法、及びプログラム
JP5683025B2 (ja) * 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
US20120236128A1 (en) * 2010-05-14 2012-09-20 Panasonic Corporation Camera body, method for controlling camera body, program, and storage recording medium to store program
EP2386998B1 (en) * 2010-05-14 2018-07-11 Honda Research Institute Europe GmbH A Two-Stage Correlation Method for Correspondence Search
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
JP5140210B2 (ja) * 2010-08-31 2013-02-06 パナソニック株式会社 撮影装置および画像処理方法
US8768044B2 (en) * 2010-09-14 2014-07-01 Texas Instruments Incorporated Automatic convergence of stereoscopic images based on disparity maps
JP2012129768A (ja) * 2010-12-15 2012-07-05 Seiko Epson Corp 書画カメラ、書画カメラの制御方法、プログラムおよび表示処理システム
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
US9020241B2 (en) * 2011-03-03 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image providing device, image providing method, and image providing program for providing past-experience images
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
JP5629642B2 (ja) * 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP5914838B2 (ja) * 2011-05-23 2016-05-11 パナソニックＩｐマネジメント株式会社 画像表示装置
KR20130035422A (ko) * 2011-09-30 2013-04-09 삼성전기주식회사 카메라 모듈의 보정 장치
KR20130094626A (ko) * 2012-02-16 2013-08-26 한국전자통신연구원 스테레오 매칭 방법 및 장치

Also Published As

Publication number Publication date
US9041777B2 (en) 2015-05-26
US20130050435A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
US11388385B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US8648917B2 (en) Imaging apparatus, image processing apparatus, and image processing method, and program
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US8629870B2 (en) Apparatus, method, and program for displaying stereoscopic images
US8908011B2 (en) Three-dimensional video creating device and three-dimensional video creating method
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
US20070248260A1 (en) Supporting a 3D presentation
US9501828B2 (en) Image capturing device, image capturing device control method, and program
US20130141550A1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
KR20140108078A (ko) 논-스테레오스코픽 카메라를 이용하여 스테레오스코픽 이미지를 생성하는 방법과 기기 및 장치
JP2012019399A (ja) 立体視映像補正装置と立体視映像補正方法と立体視映像補正システム
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
US20150288949A1 (en) Image generating apparatus, imaging apparatus, and image generating method
US8711208B2 (en) Imaging device, method and computer readable medium
KR20130024504A (ko) 삼차원 카메라 시스템 및 주시각 조정 방법
JP5838775B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
JP5950197B2 (ja) 映像信号処理装置
US9076215B2 (en) Arithmetic processing device
JP2014102265A (ja) ３ｄ撮像装置
JP2013223203A (ja) ステレオ３ｄｄ撮影装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application