KR101205428B1

KR101205428B1 - 타겟 위치 특정 장치

Info

Publication number: KR101205428B1
Application number: KR1020107029747A
Authority: KR
Inventors: 요시히로 나카무라; 에츠오 야마다; 게이지 다카기; 마사타카 치바
Original assignee: 아이신세이끼가부시끼가이샤
Priority date: 2008-08-05
Filing date: 2009-07-17
Publication date: 2012-11-27
Also published as: WO2010016379A1; CN102113321B; JPWO2010016379A1; EP2309746A4; US20110102581A1; EP2309746A1; US8077199B2; CN102113321A; JP4725821B2; KR20110015033A

Abstract

본 발명에 따른 타겟 위치 특정 장치는, 제1색과 제2색의 조합으로 이루어진 타겟을 환경광의 영향하에서 촬영함으로써 얻어진 촬영화상의 화소값을 처리하여 제1색 성분값과 제2색 성분값 및 휘도값을 생성하는 색차 변환부; 휘도값에 기초한 판정 조건을 이용하여 제1색 성분값과 제2색 성분값을 기초로 제1색과 제2색의 영역을 판정하는 색 영역 판정부; 그 판정 결과를 기초로 제1색과 제2색의 경계를 검출하는 경계 검출부; 및 이 경계 검출 결과를 기초로 타겟의 위치를 산정하는 타겟 위치 산정부를 구비한다.

Description

타겟 위치 특정 장치{TARGET POSITION IDENTIFYING APPARATUS}

본 발명은 제1색과 제2색의 조합으로 이루어진 타겟의 촬영화상 데이터를 화상 처리함으로써, 타겟의 촬영화상상에서의 위치를 특정하는 타겟 위치 특정 장치에 관한 것이다.

최근, 차량 운전자가 차량의 측방이나 후방 등의 정경을 차량 내 모니터를 통해 볼 수 있도록 카메라가 탑재된 차량이 증가하고 있다. 또한, 이 카메라의 촬영화상을 이용하여 화상 처리 등을 수행하고, 주차 등의 운전을 지원하는 장치도 개발되고 있다. 특히, 차량의 위치결정 등에 이용되는 정보를 만들어내기 위한 베이스가 되는 촬영화상을 받아들이는 카메라에 관해서는 광축 조절 등의 교정이 높은 정밀도로 수행될 것이 요구된다. 상기 타겟 위치 특정 장치는 그와 같은 차량탑재 카메라의 교정 처리를 위해 이용된다. 예를 들면, 카메라 시야 내 2군데에 배치된 흑백의 체크무늬 패턴을 갖는 마커(타겟)를 차량탑재 카메라로 촬영하고, 화상 처리를 통해 마커의 중심점(교정점)을 검출하여 차량탑재 카메라를 교정하는 기술이 알려져 있다(예를 들면, 특허문헌 1 참조). 이 기술에서는 흑백의 체크무늬의 중심점을 정확하게 검출할 필요가 있지만, 조명광이나 태양광의 상태에 따라서는 흑백 영역의 에지 검출 정밀도가 불안정해져, 마커 중심점의 검출 정밀도가 저하되는 문제가 있다.

또한, 원고의 위치맞춤을 위해 미리 원고에 기입된 타겟의 위치를 정확하게 검출하는 이미지 스캐너의 기술분야에 있어서, 적색, 청색, 녹색의 동심원 패턴으로 이루어진 타겟의 촬영화상 신호를 색차 신호로 변환하고, 색차 신호를 이용하여 타겟의 위치 검출을 수행하는 영상 신호 처리 장치가 알려져 있다(예를 들면, 특허문헌 2 참조). 이 기술에서는 색차 신호를 타겟의 검출에 이용하므로, 타겟의 촬영화상 신호에 미리 결정되어 있는 타겟 패턴의 색 정보(색차 성분)가 충분히 보존되어 있을 것이 정확한 위치 검출의 전제 조건이 된다. 이미지 스캐너에서는, 외란광의 영향을 무시할 수 있으므로, 타겟의 촬영화상 신호에 정확한 색차 성분이 보존된다고 볼 수 있다. 이에 비해, 차량탑재 카메라에 의한 타겟 촬영 등에서는, 타겟을 환경광, 즉 자연광의 영향하에서 촬영함으로써, 단순하게 색차 신호를 이용하는 것만으로 정확한 타겟의 위치 검출은 어렵다. 또한, 타겟의 모양과 유사한 것을 카메라 시야 내에 배치한 경우 등에서도 잘못된 인식을 하게 되며, 이를 방지하려면 작업장 관리가 번거로워진다.

일본공개특허공보 제2008-131250호(단락번호 00232-00402, 도 1) 일본공개특허공보 평9-153139호(단락번호 0017-0030, 도 1)

상기 실정을 감안하여, 본 발명의 목적은 여러 색의 조합 패턴으로 이루어진 타겟을 환경광의 영향하에서 촬영하여 얻어진 촬영화상 데이터로부터도 타겟의 정확한 검출과 위치 산정이 가능해지는 타겟 위치 특정 장치를 제공하기 위한 것이다.

상기 목적을 달성하기 위해, 본 발명에 따른 타겟 위치 특정 장치의 특징 구성은, 제1색과 제2색의 조합으로 이루어진 타겟을 환경광의 영향하에서 촬영함으로써 얻어진 촬영화상의 화소값을 처리하여 제1색 성분값과 제2색 성분값 및 휘도값을 생성하는 색차 변환부; 상기 촬영화상의 휘도 또는 상기 휘도값에 기초한 판정 조건을 이용하여 상기 제1색 성분값과 상기 제2색 성분값을 기초로 상기 제1색 영역과 상기 제2색 영역을 판정하는 색 영역 판정부; 상기 색 영역 판정부에 의한 판정 결과를 기초로 상기 타겟에 있어서의 상기 제1색과 상기 제2색의 경계를 검출하는 경계 검출부; 및 상기 경계 검출부에 의한 경계 검출 결과를 기초로 상기 타겟의 상기 촬영화상상에서의 위치를 산정하는 타겟 위치 산정부를 구비하고 있는 것이다.

이러한 특징 구성에서는, 타겟을 촬영함으로써 얻어진 촬영화상 데이터는 제1색 성분값과 제2색 성분값 및 휘도값으로 이루어진 색차 정보로 변환되지만, 얻어진 제1색 성분값과 제2색 성분값으로부터 단순하게 타겟의 제1색 영역과 제2색 영역을 판정하는 것은 아니다. 타겟의 제1색 또는 제2색의 영역을 판정하기 위해, 촬영화상 그 자체의 휘도 또는 색차 정보에 포함되는 휘도값을 기초로 설정되는 판정 조건이 사용된다. 또, 촬영화상이 RGB 표색계라면, 그 휘도를 간단히 구하기 위해서는 단순히 R?G?B 값을 가산하여 3으로 나누기만 해도 된다. 예를 들면, 어둑한 환경하에서 촬영하여 얻어진 타겟 화상에서는 전체의 휘도 또는 색차 정보의 휘도값이 저하되는 동시에 타겟을 구성하는 색 성분은 무채색측으로 이행된다. 이것을 고려할 때, 본 발명에서는, 특정 색의 검출 판정에 이용되는 판정 조건이 촬영화상 그 자체의 휘도 또는 색차 정보에 포함되는 휘도값을 기초로 설정된다. 이에 따라, 타겟을 조명하는 환경광이 변동해도 안정된 타겟을 구성하는 제1색 영역과 제2색 영역의 검출 및 그들 영역의 경계 검출에 기초한 타겟 위치의 산정이 실현된다. 이와 같이 함으로써, 카메라 시야 내에 유사한 색의 조합이 존재하지 않도록 주의하기만 하면 된다는 점에서 잘못된 인식에 대한 작업장 관리가 용이해진다.

또한, 본 발명에 따른 타겟 위치 특정 장치에 있어서의 특징 구성으로서, 상기 제1색이 청색이고, 상기 제2색이 적색이며, 상기 휘도값 및 상기 제1색 성분값과 상기 제2색 성분값이 각각 YCbCr 표색계에 있어서의 Y값 및 Cb값과 Cr값으로 하는 것도 바람직하다. Cb값(청색 성분)과 Cr값(적색 성분)은 대극 관계에 있으므로, Cb값과 Cr값의 차분으로부터 정확하게 청색 판정과 적색 판정을 수행하는 것도 가능해진다. 또한, YCbCr 표색계는 TV 방송 등의 비디오 신호로 이용되고 있어, 그 처리계 디바이스를 저렴하고 용이하게 입수할 수 있다. 또한, 청색과 적색으로 조합된 타겟은 사람에게 있어서도 시각적으로 인식하기 쉬워 안성맞춤이다.

또한, 본 발명에 따른 타겟 위치 특정 장치에 있어서의 특징 구성으로서, 상기 판정 조건은 상기 촬영화상의 휘도 또는 상기 휘도값에 따라 변동하고, 상기 촬영화상의 휘도 또는 상기 휘도값이 커지면, 상기 촬영화상의 화소가 상기 색 영역 중 어느 것에 속한다고 판정하기 위한 색 성분값의 범위가 좁혀지도록 구성하는 것도 바람직하다. 촬영화상의 휘도 또는 휘도값이 크다는 것은 타겟의 조명광량이 많다는 것이며, 각각의 색차 성분의 차이가 커지지만, 동시에 노이즈 성분도 커질 가능성이 있다. 따라서, 판정 조건을 엄격하게 함으로써, 즉 촬영화상의 화소가 상기 색 영역 중 어느 것에 속한다고 판정하기 위한 색 성분값의 범위가 좁혀지도록 함으로써, 노이즈를 제거할 수 있다. 반대로, 촬영화상의 휘도 또는 휘도값이 작다는 것은 타겟의 조명광량이 적다는 것이며, 각각의 색차 성분의 차이가 작아지지만, 동시에 노이즈 성분도 작아질 가능성이 있다. 따라서, 판정 조건을 완화시킴으로써, 즉 촬영화상의 화소가 상기 색 영역 중 어느 것에 속한다고 판정하기 위한 색 성분값의 범위가 확대됨으로써, 보다 안정된 특정 색의 검출이 가능해진다.

이러한 판정 조건의 바람직한 구체적인 예의 하나로서, 본 발명에서는 특정 색 검출 문턱값(TH)이 제안된다. 또한, 이 특정 색 검출 문턱값(TH)은 다음 식으로 구해진다.

TH＝VA_avg＋K×(VH_avg－VA_avg)

여기서, VA_avg는 상기 촬영화상에 있어서의 전체 화소의 판정 대상이 되는 색 성분값의 평균값, VH_avg는 상기 촬영화상에 있어서의 전체 화소 중 판정 대상이 되는 색 성분값이 상위 레벨에 속하는 화소의 색 성분값의 색 성분 대응 적색 영역에 대응하는 상위 레벨의 평균값, K는 미리 설정된 일정값이다. 또, 색 성분값이 상위 레벨에 속하는 화소의 구체적인 예로서는, 예를 들면 그 색 성분값이 위에서부터 소정 순위까지의 화소이고, 최대 색 성분값의 소정 ％ 내에 들어가는 색 성분값을 갖는 화소이다. 혹은 색 성분값의 히스토그램으로부터 상위 레벨의 범위를 설정하고, 이 범위에 들어가는 화소를 성분값이 상위 레벨에 속하는 화소로 할 수도 있다. 이와 같이 해서 산정된 문턱값(TH)은 촬영화상에 있어서의 휘도 레벨이 높으면 커지고(판정 조건이 엄격해짐), 휘도가 낮으면 작아진다(판정 조건은 완화됨).

또한, 본 발명에 따른 타겟 위치 특정 장치에 있어서의 특징 구성으로서, 상기 타겟을 체크무늬로 형성하는 것도 바람직하다. 체크무늬는 적어도 2개의 서로 다른 색을 갖는 직사각형면의 반복적인 패턴에 의해 만들어지는 것이다. 따라서, 체크무늬로서 촬영화상에서의 상기 서로 다른 색을 위한 화소값이 현저히 다른 색을 선택함으로써, 그 패턴 배치가 간단한 화상 처리를 통해 검출하기 쉬워지고, 그 검출 신뢰성이 향상된다. 특히, 서로 다른 색끼리의 경계는 간단한 에지 검출 기술에 의해 검출될 수 있으므로, 상기 체크무늬가 서로 다른 색 영역을 경계짓고 있는 2개의 방향이 서로 다른 경계선의 교점의 좌표를 상기 타겟 위치로 이용하면 바람직하다. 이에 따라, 하나의 점이 타겟 위치로서 산정되므로, 정밀도가 높은 타겟 위치 특정이 실현된다. 그때, 상기 타겟의 위치 좌표가 이미 알려져 있다면, 촬영화면상에서의 카메라와의 위치 관계가 산정될 수 있으므로, 타겟의 배치는 임의로 배치할 수 있다.

또한, 본 발명에 따른 타겟 위치 특정 장치에 있어서의 특징 구성으로서, 상기 타겟의 표면이 무광 처리되어 있는 것도 바람직하다. 이에 따라, 조명광 등의 반사에 기초한 촬영화상상의 외란을 억제할 수 있다.

상술한 본 발명의 타겟 위치 특정 장치의 바람직한 적용 형태의 하나는, 차량에 탑재된 카메라 설치 위치의 교정이다. 즉, 상기 촬영화상으로서 차량에 탑재된 카메라에 의해 촬영된 것이 이용되고, 상기 타겟 위치 산정부에 의해 산정된 상기 타겟의 상기 촬영화상상에서의 위치로부터 카메라 설치 위치의 평가가 수행된다. 그와 같은 적용 예에 있어서, 타겟은 차량이 주행하는 노면에 도장 등에 의해 배치되는 것이 바람직하다. 그런데, 그와 같은 경우, 차량의 차륜에 의해 타겟이 밟힐 가능성이 있어, 타겟의 식별 특성이 떨어질 가능성이 있다. 이러한 문제를 억제하기 위해, 상기 타겟으로서 상기 차량의 좌우방향으로 나열된 2개의 타겟이 마련된 경우, 상기 차량의 좌우 차륜이 상기 2개의 타겟을 걸치도록 상기 차량의 트레드 폭보다도 좁은 간격으로 배치되는 방법, 또는 상기 2개의 타겟 사이를 상기 차량이 통과할 수 있도록 상기 2개의 타겟은 상기 차량의 트레드 폭보다도 넓은 간격으로 배치되는 방법을 채용하는 것이 제안된다. 이와 같은 방법을 통해 차량의 좌우 차륜이 타겟을 밟을 가능성이 적어지기 때문이다.

도 1은 카메라 교정을 위해 이용되는 타겟과 차량의 배치 관계의 일례를 나타낸 설명도이다.
도 2는 타겟의 일례를 나타낸 설명도이다.
도 3은 타겟 위치 특정 수단의 각 기능을 나타낸 기능 블럭도이다.
도 4a 및 도 4b는 YCbCr 표색계에서의 타겟 화상에 대한 주사 결과를 나타낸 그래프이다.
도 5는 문턱값을 산정하기 위한 연산 방법을 설명하는 설명도이다.
도 6은 타겟 위치 특정 처리를 나타낸 플로우차트이다.

이하, 본 발명의 실시형태를 도면에 기초하여 설명한다.

도 1은 교정용 타겟(2)(교정지표)과 차량(1)의 배치 관계의 일례를 나타낸 설명도이다. 카메라(11)(차량탑재 카메라)는 차량(1) 후방의 넘버플레이트의 상방에 차체 길이 축심으로부터 측방으로 오프셋한 위치에서, 카메라 광축을 하방(예를 들면 수평으로부터 30° 하방)을 향하게 하여 설치된다. 또, 이 도시된 예에서는 차체 길이 축심과 카메라 광축은 평행하지는 않다. 카메라(11)는 예를 들면 수평방향의 시야각 110～120°의 광각 카메라이고, 후방 약 8m 정도까지의 영역을 촬영할 수 있다. 이 카메라(11)는 차량의 생산 공장 등에서 차량(1)에 설치될 때에 설치 오차를 흡수하도록 교정된다. 또한, 수리 공장 등에서 주행에 의한 진동의 누적이나 충격 등에 의한 카메라(11)의 어긋남을 수정하도록 교정된다. 이하, 자동차 생산 공장의 카메라 교정을 위한 카메라 설치 정밀도의 판정 작업을 일례로 설명한다.

도 1에 나타낸 바와 같이, 카메라(11)의 교정은 차량(1)을 소정 위치에 정차시킨 상태에서 수행된다. 예를 들면, 차량(1)을 후진(back) 또는 전진시키고, 소정 위치에 설치된 타이어 홈이나 타이어 스톱에 의해 차륜이 정지하도록 하면, 정확한 위치에서 정지시키는 것이 가능하다. 도 1에 나타낸 예에서는, 2개의 타겟(2(2a, 2b))이 바닥면상에 배치되어 있다. 도면에서 알 수 있듯이, 2개의 타겟(2a, 2b)의 간격은 차량(1)의 트레드 폭에 비해 좁고, 타겟(2)이 차량(1)의 차륜에 밟히기 어려운 배치로 이루어져 있다. 이 배치와는 반대로, 2개의 타겟(2a, 2b)의 간격을 차량(1)의 트레드 폭에 비해 넓게 취하여, 타겟(2)이 차량(1)의 차륜에 밟히기 어려운 배치를 채용할 수도 있다.

도 1에 있어서, 차량(1)은 후단부 중앙의 바닥면이 월드 좌표계(기준 좌표계, X_W, Y_W, Z_W)의 원점(O_W)이 되도록 정차되어 있다. 여기서는, 카메라(11)의 광학 중심(O_C)을 중심으로 하는 카메라 좌표계(X_C, Y_C, Z_C)가 월드 좌표계에 대해 각 축이 평행하게 되어 있지는 않다. 월드 좌표계, 카메라 좌표계 모두 오른손계 좌표계이고, 도면 중에는 지면에 대해 연직방향인 X_W축, 및 대략 연직방향인 X_C축은 도시하지 않았다. 월드 좌표계와 카메라 좌표계간 좌표 변환은 잘 알려진 연산법을 이용하여 수행할 수 있다.

타겟(2)은 카메라(11)의 시야 범위 내에서 적어도 2군데에 배치된다. 또한, 타겟(2)은 월드 좌표계에서 그 좌표가 이미 알려지게 되도록 배치된다. 본 예에서 타겟(2)은 도 2에 나타낸 바와 같이 청색과 적색의 체크무늬 패턴을 갖고 있다. 패턴 중앙의 점(Q)이 교정점이고, 카메라(11) 교정의 기준이 된다. 즉, 타겟(2)은 이 교정점(Q)의 좌표가 월드 좌표계에서 그 좌표가 이미 알려지게 되도록 배치되어 있다. 또, 여기서는 청색 직사각형 2개, 적색 직사각형 2개의 총 4개의 직사각형의 예를 나타냈지만, 총 4개 이상일 수도 있고, 그 수나 형상은 여기서 도시된 것에 한정되지 않는다.

타겟(2)은 형광등으로부터의 빛이나 창유리로부터 입사되는 햇빛 등의 환경광에 노출되는 바닥면에 직접적 또는 간접적으로 배치되지만, 어느쪽으로 해도 환경광의 반사 상황에 따라서는 화상 인식이 어려워진다. 따라서, 본 발명에서는, 철판에 무광 새틴 같은 도료를 2번 칠하는 도장법을 채용함으로써 타겟(2)의 표면을 무광 상태로 하여, 환경광 반사 등의 영향을 받기 어려운 촬영화상이 얻어지도록 하고 있다.

도 1에 나타낸 예에서는, 2개의 타겟(2)이 바닥 위에 차량의 주축(월드 좌표계의 Z_W축)에 대해 좌우 대칭으로 배치되어 있다(D₁＝D₂, W₁＝W₂). 단, 항상 좌우 대칭일 필요는 없고, 카메라(11)의 시야 내이며, 좌표값이 이미 알려져 있다면 그 배치는 자유이다. 즉, 공장에서 확보될 수 있는 넓이나 다른 설비와의 관계에 따라 타겟(2)의 배치를 임의로 설정하는 것이 가능하다.

타겟(2)의 치수는 카메라(11)의 해상도나 카메라(11)에 의한 촬영화상을 처리하는 화상 처리 기능의 성능, 마커의 배치 위치 등에 따라 정밀하게 교정점(Q)을 검출할 수 있도록 적절하게 정해진다. 일례로, D₁과 D₂가 1～2m, W₁과 W₂가 0.5m 정도일 경우에는, 도 2에 나타낸 바와 같은 각 흑백이 10～15㎝ 사방, 전체가 20～30㎝ 사방인 타겟(2)이 이용된다.

이러한 실시형태에서는, 본 발명에 따른 타겟 위치 특정 장치로서의 타겟 위치 특정 수단은 화상 처리 유닛(3)에 내장되어 있다. 도 3은 화상 처리 유닛(3)에서 본 발명에 특히 관계되는 기능을 모식적으로 나타낸 블럭도이다. 도 3에 나타낸 바와 같이, 이 화상 처리 유닛(3)에는 화상 입력부(31), 프레임 메모리(32), 타겟 위치 특정 수단(4) 및 설치 정밀도 판정부(33)가 포함되어 있다. 화상 입력부(31)는 카메라(11)에 의해 획득된 타겟(2)을 포함한 촬영화상을 입력하여 프레임 메모리(32)로 확장한다. 타겟 위치 특정 수단(4)은 프레임 메모리(32)로 확장된 촬영화상으로부터 타겟(2)의 위치, 특히 타겟(2)의 교정점(Q)의 위치를 구한다. 설치 정밀도 판정부(33)는 타겟 위치 특정 수단(4)에 의해 특정된 타겟(2)의 교정점(Q)의 위치와 목표가 되는 교정점 위치의 차이로부터 카메라(11)의 설치 정밀도의 판정을 수행한다.

타겟 위치 특정 수단(4)은 전처리부(41), 색차 변환부(42), 문턱값 설정부(43), 색 영역 판정부(44), 경계 검출부(45) 및 타겟 위치 산정부(46)를 포함하고 있다. 전처리부(41)는 필요에 따라 카메라(11)의 렌즈 특성에 기인한 화상왜곡의 보정이나 레벨 조절(농도 보정이나 콘트라스트 보정 등)을 수행한다.

색차 변환부(42)는 RGB 화상 데이터로서 프레임 메모리(32)로 확장되어 있는 촬영화상의 RGB 화소값을 연산하여 청색 성분값과 적색 성분값 및 휘도값을 구하여 색차 화상 데이터를 생성한다. 이러한 변환에는 RGB 표색계로부터 YCbCr 표색계로의 변환에서 사용되고 있는, 예를 들면 다음 식을 이용할 수 있다.

Y＝0.299×R＋0.587×G＋0.114×B

Cb＝0.564×(B－Y)

Cr＝0.713×(R－Y)

여기서, Y는 휘도값, Cb는 청색 성분값, Cr은 적색 성분값, R은 R 화소값, G는 G 화소값, B는 B 화소값이다. 이러한 식으로부터 이해할 수 있듯이, 제1색 성분값이나 제2색 성분값, 예를 들면 청색 성분값(Cb), 적색 성분값(Cr)은 촬영화상의 휘도(밝기)에 따라 변화하는 것이다.

문턱값 설정부(43)는 색차 변환부(42)에 의해 생성된 색차 화상 데이터에 포함되어 있는 휘도값(Y)을 기초로 대상 화소(대상 영역)가 적색인지 또는 청색인지를 판정하기 위한 판정 조건으로서의 특정 색 검출 문턱값을 설정한다. 이것은 YCbCr 표색계에 있어서의 청색 성분값이나 적색 성분값에는 휘도값의 영향이 들어가 있고, 촬영화상이 밝을수록 그 성분값이 커지고, 화상이 어두울수록 그 성분값이 작아진다. 도 4a 및 도 4b에는 타겟(2)을 포함한 색차 화상을 횡방향으로 주사했을 때의 청색 성분값(Cb)과 적색 성분값(Cr)의 변동 양상이 나타나 있다. 도 4a는 밝은 환경하에서 획득된 촬영화상에 기초한 것으로, 그 휘도값 Y의 값은 상대적으로 높아지고, 청색 성분값 Cb와 적색 성분값 Cr의 레벨도 상대적으로 높아졌다. 도 4b는 어두운 환경하에서 획득된 촬영화상에 기초한 것으로, 그 휘도값 Y의 값은 상대적으로 낮아지고, 그 휘도값 Y의 값은 상대적으로 낮아졌다. 따라서, 색차 화상 데이터로부터 타겟(2)의 청색 영역 또는 적색 영역을 정밀하게 검출하기 위해서는, 도 4a에 나타낸 바와 같이 휘도값이 높을 경우에는 그 검출 조건으로서의 문턱값(THb, THr)의 레벨을 상대적으로 높게 하면 된다. 반대로, 도 4b에 나타낸 바와 같이 휘도값이 낮을 경우에는 그 검출 조건으로서의 문턱값의 레벨을 상대적으로 낮게 하면 된다.

이와 같이 화상의 밝기(휘도 레벨)에 따라 동적으로 문턱값 레벨을 변동시키기 위한 바람직한 방법의 하나로서, 도 5에서 모식적으로 나타내고 있는 바와 같이, 촬영화상에 있어서의 전체 화소의 판정 대상이 되는 색 성분값의 평균값(VA_avg)과, 촬영화상에 있어서의 전체 화소 중 판정 대상이 되는 색 성분값이 상위 레벨에 속하는 화소(예를 들면 최대 색 성분값의 95％ 이상의 색 성분값을 갖는 화소)의 색 성분값의 색 성분 대응 적색 영역에 대응하는 상위 레벨의 평균값(VH_avg)과, 그들의 차분값(ΔV_avg(＝VH_avg－VA_avg))으로부터, 촬영화상의 화소가 특정 색 영역(여기서는 청색 또는 적색) 중 어느 것에 속한다고 판정하기 위한 특정 색 문턱값(TH(THb, THr))을 다음 식으로 구할 수 있다.

TH＝VA_avg＋K×ΔV_avg

여기서, K는 일정값이고, 미리 실험적으로 구해진 값이다.

이와 같이 해서 산정된 문턱값(TH)은 촬영화상에 있어서의 휘도 성분을 포함한 Cb(청색 성분값) 또는 Cr(적색 성분값)을 파라미터로 하는 함수에 의해 도출되어 있으므로, 촬영화상에 있어서의 휘도 레벨이 높으면 커지고, 휘도 레벨이 낮으면 작아진다. 또, 이 문턱값을 구하는 연산 처리를 간단히 하기 위해서는, 청색의 문턱값(THb) 또는 적색의 문턱값(THr) 중 하나를 구하고, 이것을 다른 하나의 문턱값으로 하는 문턱값의 공통화를 이루면 된다.

촬영화상의 밝기(휘도 레벨)에 따라 동적으로 문턱값 레벨을 변동시키는 방법은 상술한 것 이외에도 여러 가지 연산 방법을 생각할 수 있지만, 상위 개념적으로는 다음과 같이 설명할 수 있다. 예를 들면, 청색 영역 판정을 위한 문턱값(THb)은 촬영화상의 휘도(Y) 또는 색차 정보의 휘도값의 통계학적(평균값, 중앙값 등) 수치(f(Y))와 청색 성분값(Cb)의 통계학적 수치(f(Cb))를 파마리터로 하는 이하의 함수(Fb)로 구할 수 있다.

THb＝Fb(f(Y), f(Cb)), 또는 THb＝Fb(Y, f(Cb))

적색 영역 판정을 위한 문턱값(THr)은 촬영화상의 휘도(Y) 또는 색차 정보의 휘도값의 통계학적 수치(f(Y))와 적색 성분값(Cb)의 통계학적 수치(f(Cr))를 파라미터로 하는 이하의 함수(Fr)로 구할 수 있다.

THr＝Fr(f(Y), f(Cr)), 또는 THr＝Fr(Y, f(Cr))

또, 여기서는 청색 영역 판정을 위한 문턱값(THb)과 적색 영역 판정을 위한 문턱값(THr)의 2개의 문턱값을 구했지만, 하나의 문턱값을 겸용해서 사용하는 것도 가능하다.

색 영역 판정부(44)는 문턱값 설정부(43)에 의해 동적으로, 즉 촬영화상마다 설정된 문턱값을 이용하여 타겟(2)을 포함한 색차 화상을 순차적으로 주사하고, 청색 영역과 적색 영역을 판정한다. 그때, 청색 영역을 판정하기 위한 판정 조건으로서 청색 성분값이 문턱값을 웃도는 것과 적색 성분값이 문턱값을 밑도는 것을 AND 조건으로 하면 된다. 마찬가지로, 적색 영역을 판정하기 위한 판정 조건으로서 적색 성분값이 문턱값을 웃도는 것과 청색 성분값이 문턱값을 밑도는 것을 AND 조건으로 하면 된다. 즉, 색차 신호에서는 청색 성분값과 적색 성분값이 대극 관계에 있으므로, 그 차분을 이용함으로써 보다 정확한 청색 영역 판정이 가능해지기 때문이다. 그런데, 본 발명에서는, 청색 영역과 적색 영역을 판정할 때, 하나의 색 성분값이 문턱값을 웃도는 것과 다른 하나의 색 성분값이 문턱값을 밑도는 것을 AND 조건으로 하는 것에 한정되어 있는 것은 아니다. 청색 영역을 판정하기 위한 판정 조건으로서 청색 성분값이 문턱값을 웃도는 것만을 채용할 수도 있으며, 적색 영역을 판정하기 위한 판정 조건으로서 적색 성분값이 문턱값을 웃도는 것만을 채용할 수도 있다. 본 발명에서 중요한 점은 휘도 정보를 이용하여 특정 색 영역의 판정 조건을 변경하는 것이다.

경계 검출부(45)는 색 영역 판정부(44)에 의한 청색 영역과 적색 영역의 판정 결과를 이용하여 타겟의 청색 영역과 적색 영역의 경계를 검출한다. 경계 검출부(45)에 의해 검출된 경계, 즉 2개의 경계선의 교점이 교정점(Q)이 되므로, 타겟 위치 산정부(46)는 경계 검출부(45)에 의한 경계 검출 결과를 기초로 촬상화상에 있어서의 타겟(2)의 위치, 즉 교정점(Q)을 산정할 수 있다.

상술한 화상 처리 유닛(3)에 있어서의 각 기능부는 기능으로서의 분담을 나타내는 것으로, 반드시 독립적으로 설치될 필요는 없다. 마이크로컴퓨터 등의 하드웨어와, 하드웨어상에서 실행되는 프로그램 등의 소프트웨어의 협동에 의해 각 기능이 실현되는 것이어도 물론 상관없다.

카메라(11)에 의해 획득되고 프레임 메모리(32)로 확장된 촬영화상이나 타겟 위치 특정 수단(4)에 의해 특정된 교정점(Q)과 목표 교정점 위치의 어긋남 등을 나타내는 화상은 화상 신호 생성부(6)를 통해 모니터(5)에 표시하는 것도 가능하다.

상술한 바와 같이 구성된 타겟 위치 특정 수단(4)을 이용한 타겟 위치 특정 제어의 일례를 도 6의 플로우차트를 이용하여 이하에 설명한다.

먼저, 차량(1)은 검사장의 소정 위치로 정확하게 위치결정되어 정차된다(#01). 정차 확인 후, 카메라(11)를 동작시켜 차량 주변을 촬영한다(#02). 소정 위치에 정차한 차량(1)의 카메라(11)에 의한 촬영화상에는 카메라(11)의 설치 정밀도가 다소 떨어져도 2개의 타겟(2)의 화상이 포함되도록 카메라 설정되어 있다. 화상 입력부(31)를 통해 입력된 촬영화상(RGB 컬러 화상 데이터)은 렌즈 특성에 기인한 화상왜곡의 보정이나 필요에 따라 콘트라스트 보정과 농도 보정(레벨 보정) 등의 전처리가 가해진다(#03). 이어서 촬영화상에 대해 RGB 컬러 화상 데이터로부터 YCbCr 컬러(색차) 화상 데이터로의 변환을 수행한다(#04).

이어서, 문턱값 설정부(43)가 YCbCr 컬러 화상 데이터의 Cb(청색 성분값) 또는 Cr(적색 성분값)을, 상술한 식 [TH＝VA_avg＋K×ΔV_avg]에 적용하여 타겟(2)의 청색 영역에 대한 검출 문턱값의 설정과(#05), 타겟(2)의 적색 영역에 대한 검출 문턱값을 설정한다(#06). 획득된 촬영화상에 따라 #08 스텝에서의 연산 처리를 통해 설정된 문턱값을 이용하여 YCbCr계 촬상화상을 순차적으로 주사하고, 타겟(2)의 청색 영역의 판정(#07)과 적색 영역의 판정(#08)을 수행한다. 청색 영역의 판정에 있어서는, 청색 성분값이 청색 검출 문턱값을 웃도는 동시에 적색 성분값이 적색 검출 문턱값을 밑도는 것을 그 판정 조건으로 하고 있다. 마찬가지로, 적색 영역의 판정에 있어서는 적색 성분값이 문턱값을 웃도는 동시에 청색 성분값이 문턱값을 밑도는 것을 그 판정 조건으로 하고 있다.

이어서, 청색 영역과 적색 영역의 판정 결과로부터, 타겟(2)의 청색 영역과 적색 영역의 경계선을 검출한다(#09). 물론, 타겟(2)의 청색 영역과 적색 영역의 판정 및 청색 영역과 적색 영역의 경계선 검출을 동시에 실시하는 것도 가능하다. 어느 쪽이든 검출된 청색 영역과 적색 영역의 경계선은 거의 2개의 선이 직교하는 형태를 나타내게 되므로, 그 교점을 교정점으로 하여 교정점 좌표를 산정한다(#10).

이상의 처리 스텝에 의해 타겟(2)의 위치, 즉 교정점의 좌표 위치를 구할 수 있다. 따라서, 이어서 미리 설정되어 있는 목표 교정점과 #10 스텝에서 산정된 교정점간 어긋남량을 산정하고(#11), 이 어긋남량으로부터 카메라(11) 설치 정밀도의 판정이 수행된다(#12).

[다른 실시형태]

(1) 상기 실시형태의 설명에서는, 여러 색 성분값과 휘도값으로 구성되는 색차 표색계로서 YCbCr계 표색계를 채용했지만, 그 밖의 색차 표색계를 채용할 수도 있다. 본 발명의 중요한 점은 휘도 정보를 이용하여 특정 색 영역의 판정 조건을 변경하는 것이다.

(2) 목표 교정점과 산정 교정점간 어긋남량으로부터 카메라 설치 정밀도의 판정을 하는 처리를, 모니터(5)에 목표 교정점과 산정 교정점을 표시하고, 육안으로 그 판정을 수행할 수도 있다.

(3) 카메라(11)측에서 YCbCr 신호를 출력할 수 있는 경우에는 RGB 컬러 화상 데이터로부터 YCbCr 컬러로의 변환 스텝을 생략할 수 있다.

[산업상 이용가능성]

본 발명에 따른 타겟 위치 특정 장치는, 타겟을 촬영한 촬영화상으로부터 타겟 위치를 산정하는 여러 가지 화상 처리 응용기술 분야에 적용될 수 있다.

Claims

제1색과 제2색의 조합으로 이루어진 타겟을 환경광의 영향하에서 촬영함으로써 얻어진 촬영화상의 화소값을 처리하여 제1색 성분값과 제2색 성분값 및 휘도값을 생성하는 색차 변환부;
상기 촬영화상의 휘도 또는 상기 휘도값에 따라 상기 촬영화상마다 판정 조건으로 설정된 문턱값을 상기 제1색 성분값이 웃도는지 여부에 기초하여 상기 제1색의 영역을 판정하고, 상기 문턱값을 상기 제2색 성분값이 웃도는지 여부에 기초하여 상기 제2색의 영역을 판정하는 색 영역 판정부;
상기 색 영역 판정부에 의한 판정 결과를 기초로 상기 타겟에 있어서의 상기 제1색과 상기 제2색의 경계를 검출하는 경계 검출부; 및
상기 경계 검출부에 의한 경계 검출 결과를 기초로 상기 타겟의 상기 촬영화상상에서의 위치를 산정하는 타겟 위치 산정부를 구비하는
타겟 위치 특정 장치.
제1항에 있어서,
상기 제1색이 청색이고, 상기 제2색이 적색이며, 상기 휘도값 및 상기 제1색 성분값과 상기 제2색 성분값이 각각 YCbCr 표색계에 있어서의 Y값 및 Cb값과 Cr값인
타겟 위치 특정 장치.
제1항 또는 제2항에 있어서,
상기 판정 조건은 상기 촬영화상의 휘도 또는 상기 휘도값에 따라 변동하며, 상기 촬영화상의 휘도 또는 상기 휘도값이 커지면, 상기 촬영화상의 화소가 상기 색 영역 중 어느 것에 속한다고 판정하기 위한 색 성분값의 범위가 좁혀지는
타겟 위치 특정 장치.
제3항에 있어서,
상기 판정 조건은 상기 촬영화상의 화소가 상기 색 영역 중 어느 것에 속한다고 판정하기 위한 특정 색 검출 문턱값(TH)으로, 다음 식으로 구해지는
타겟 위치 특정 장치.
TH＝VA_avg＋K×(VH_avg－VA_avg)
(여기서, VA_avg는 상기 촬영화상에 있어서의 전체 화소의 판정 대상이 되는 색 성분값의 평균값, VH_avg는 상기 촬영화상에 있어서의 전체 화소 중 판정 대상이 되는 색 성분값이 상위 레벨에 속하는 화소의 색 성분값의 상위 레벨의 평균값, K는 미리 설정된 일정값이다.)
제1항 또는 제2항에 있어서,
상기 타겟은 체크무늬인
타겟 위치 특정 장치.
제5항에 있어서,
상기 체크무늬가 서로 다른 색 영역을 경계짓고 있는 2개의 방향이 서로 다른 경계선의 교점의 좌표를 상기 타겟 위치로 이용하는
타겟 위치 특정 장치.
제1항 또는 제2항에 있어서,
상기 타겟의 위치 좌표가 이미 알려져 있는
타겟 위치 특정 장치.
제1항 또는 제2항에 있어서,
상기 타겟의 표면이 무광 처리되어 있는
타겟 위치 특정 장치.
제1항 또는 제2항에 있어서,
상기 촬영화상은 차량에 탑재된 카메라에 의해 촬영된 것이고, 상기 타겟 위치 산정부에 의해 산정된 상기 타겟의 상기 촬영화상상에서의 위치가 상기 카메라의 설치 위치 교정에 이용되는
타겟 위치 특정 장치.
제9항에 있어서,
상기 타겟으로서 상기 차량의 좌우 방향으로 나열된 2개의 타겟이 마련되어 있고, 상기 차량의 좌우 차륜이 상기 2개의 타겟을 걸치도록 상기 차량의 트레드 폭보다도 좁은 간격으로 배치되어 있는
타겟 위치 특정 장치.
제9항에 있어서,
상기 타겟으로서 차량의 좌우 방향으로 나열된 2개의 타겟이 마련되어 있고, 상기 2개의 타겟 사이를 상기 차량이 통과할 수 있도록 상기 2개의 타겟은 상기 차량의 트레드 폭보다도 넓은 간격으로 배치되어 있는
타겟 위치 특정 장치.