KR101923239B1 - 유리 용융로내 감시 방법, 유리 용융로 조작 방법, 유리 용융로내 감시 시스템 - Google Patents

Abstract

유리 용융로 내의 일정 영역의 관찰을 양호하게 계속할 수 있는 유리 용융로내 감시 방법을 제공한다. 유리 용융로 내에 설치된 기준 패턴과, 용해된 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영한다. 그리고, 촬영된 화상 내에서, 화상 내에 찍힌 기준 패턴에 기초하여, 일정 범위에 해당하는 영역을 추출한다. 이어서, 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 배치산의 배경이 되는 배경 화상을 작성한다. 그리고, 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 배치산 및 배경이 찍힌 상태의 추출 화상으로부터 배경을 제외한 배경 제외 화상을 생성한다. 그리고, 배경 제외 화상에 기초하여, 배치산에 관한 관찰 데이터를 산출한다.

Description

유리 용융로내 감시 방법, 유리 용융로 조작 방법, 유리 용융로내 감시 시스템{INTERNAL INSPECTION METHOD FOR GLASS-MELTING FURNACE, OPERATION METHOD FOR GLASS-MELTING FURNACE, AND INTERNAL INSPECTION SYSTEM FOR GLASS-MELTING FURNACE}

본 발명은 유리 용융로내 감시 방법, 유리 용융로 조작 방법, 유리 용융로내 감시 시스템 및 유리 물품의 제조 방법에 관한 것이다.

유리의 제조 공정에는, 유리의 원료를 유리 용융로에 투입하고, 그 원료를 유리 용융로 내에서 용해시키는 공정이 있다. 유리 용융로 내에 투입되는 원료는 고체이며, 유리 용융로 내에서 서서히 용해한다. 투입되어 유리 용융로 내에서 쌓인 원료를 배치산(batch pile)이라고 칭한다. 배치산은 용해된 원료인 용융 유리의 흐름에 따라(즉, 유리 용융로의 상류에서 하류로) 서서히 이동한다. 또한, 배치산은 열에 의해 용해되어 가기 때문에 서서히 작아져 간다. 배치산의 거동은, 유리 용융로의 조작의 지침이 되므로, 유리 용융로 내의 배치산을 유리 용융로 내에 설치된 관찰 창으로 육안에 의해 관찰하거나 스케치하는 것이 행해지고 있었다. 배치산을 관찰할 경우, 용융 유리의 표면(즉, 액면)보다 위의 부분이 관찰 대상이 된다.

또한, 육안에 의한 관찰이나 스케치에 의존하지 않고, 유리 용융로 내의 관찰 창에 카메라를 배치하여 배치산을 감시하는 방법이 다양하게 제안되어 있다.

예를 들어, 비특허문헌 1에 기재된 기술에서는, 감시 영역의 결정에, 직선 검출이 가능한 허프(Hough) 변환을 이용하고 있다. 또한, 비특허문헌 1에는, 배치산의 점유율을 구하는 것이 기재되어 있다.

또한, 특허문헌 1에는, 배치산을 촬영하고, 각 촬영 시각에 배치산과 액면의 경계선의 위치나 형상 또는 최하류 위치를 비교하는 것이 기재되어 있다.

또한, 특허문헌 2에는, 로 내의 액면을 주사하여 화상을 촬영하고, 그 화상으로부터 위치 대 휘도 특성선을 얻고, 위치 대 휘도 특성선에 기초하여 배치산의 존재 위치를 판정하는 방법이 기재되어 있다.

또한, 특허문헌 3에는, 유리 용융로 내에서 용해한 원료에 관한 파라미터의 측정이나 조절 방법이 기재되어 있다.

또한, 화상으로부터 특정 물체를 추출하는 기본적인 방법으로서, 화소를 2치화하는 방법이 있다. 2치화에도 다양한 방법이 있어, 예를 들어 휘도값에 따른 화소의 히스토그램의 골짜기를 특정하여 화소를 2개의 클래스로 나누는 방법이 있다. 휘도값에 따른 화소의 히스토그램의 골짜기를 특정하는 방법으로서, 모드법이나 판별 분석 2치화법 등이 알려져 있다. 모드법은 비특허문헌 2, 3에 기재되어 있다. 판별 분석 2치화법은 비특허문헌 3에 기재되어 있다. 판별 분석 2치화법에서는, 히스토그램을 2개의 클래스로 분할할 때에, 2개의 클래스간의 분리가 가장 좋아지도록 임계값을 결정한다. 구체적으로는, 화상에서의 배경 영역과 특정 물체의 영역에 관한 클래스 내 분산과 클래스간 분산의 분산비가 최대가 되는 임계값을 결정한다.

일본 특허 공개 제2009-161396호 공보 일본 특허 공개 소 59-44606호 공보 미국 특허 출원 공개 제2004/0079113호 명세서

Emmanuel Obser, Stephane Lepert, Sylvie Lelandais, "IMAGE PROCESSING FOR GLASS INDUSTRY", "Proceedings 4th International Conference on Quality Control by Artificial Vision": QCAV 87, ISBN: 4-921073-01-5, 1998년 11월 10일 "역(임계)치 처리", [online], 평성16년 6월 14일, SUGIMOTO Yoshitaka, [평성22년 10월 1일 검색], 인터넷 <URL:http://www.mm.media.kyoto-u.ac.jp/education/DIP/WEBPAGE_ SECTION/section7/node2.html> "2치화 처리", [online], 무라카미·이즈미다 연구실 HP 제작 위원회(2001), [평성22년 10월 4일 검색], 인터넷 <URL:http://ipr20.cs.ehime-u.ac.jp/column/gazo_syori/chapter4.html>

유리 용융로의 관찰 창에 카메라를 배치하여 배치산을 감시할 경우, 유리 용융로 내의 일정한 영역의 관찰을 계속하여, 그 영역에서의 배치산의 상태를 정확하게 감시할 수 있도록 하는 것이 바람직하다.

그러나, 관찰 창의 청소 등의 유지 보수 작업시에 카메라의 위치 및 방향이 어긋나버리는 경우가 있다. 그러면, 카메라의 촬영 범위도 어긋나버린다. 이와 같이, 카메라의 위치나 방향이 변화해버리면, 배치산의 상태의 경시 변화의 평가의 정밀도가 저하되어버린다.

또한, 용해된 원료의 액면에는, 원료가 가열됨으로써 기포가 발생한다. 그로 인해, 유리 용융로 내의 배치산을 촬영했을 경우, 기포를 배경으로 하는 배치산의 화상이 얻어진다. 배치산의 상태를 정확하게 감시하기 위해서는, 화상 내에서의 기포와 배치산을 나누어 화상 내에서 배치산의 부분을 추출하는 것이 바람직하다.

또한, 배치산을 감시했을 때에, 그 감시 결과에 따라, 유리 용융로의 어느 운전 파라미터를 조절하면 좋은지를 적절하게 파악하여, 유리 용융로를 조작하는 것이 바람직하다.

따라서, 본 발명은 유리 용융로 내의 일정 영역의 관찰을 양호하게 계속할 수 있는 유리 용융로내 감시 방법 및 유리 용융로내 감시 시스템을 제공하는 것을 목적으로 한다. 또한, 그러한 양호한 관찰 상태를 실현하면서 유리 물품을 제조하는 유리 물품의 제조 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 감시한 배치산의 상태에 따라, 유리 용융로의 어느 운전 파라미터를 조절하면 좋은지를 명확화할 수 있는 유리 용융로 조작 방법을 제공하는 것을 목적으로 한다.

본 발명에 의한 유리 용융로내 감시 방법은, 화상 촬영 수단이, 유리 용융로 내에 설치된 기준 패턴과, 유리 용융로 내에서 용해한 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영하는 화상 촬영 스텝과, 화상 내에 찍힌 기준 패턴의 위치의 어긋남을 사용하여 계산되는 화상 촬영 수단의 자세에 따라, 촬영된 화상 내에서 일정 범위에 해당하는 영역을 추출하는 영역 추출 스텝과, 일정 범위에 해당하는 영역으로서 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 유리 용융로 내에 쌓인 유리 원료인 배치산의 배경이 되는 배경 화상을 작성하는 배경 화상 작성 스텝과, 촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 배치산 및 배경이 찍힌 상태의 추출 화상으로부터 배경을 제외한 배경 제외 화상을 생성하는 배경 제외 화상 생성 스텝과, 배경 제외 화상에 기초하여, 배치산에 관한 관찰 데이터를 산출하는 관찰 데이터 산출 스텝을 포함하는 것을 특징으로 한다.

배경 화상 작성 스텝에서, 복수의 추출 화상의 대응 화소마다 또는 대응하는 영역마다 각 휘도값에 해당하는 화소의 수를 카운트하고, 각 휘도값에 해당하는 화소의 카운트 결과에 기초하여 배경을 나타내는 휘도값을 결정함으로써, 배경 화상을 작성하는 방법이어도 된다.

배경 제외 화상 생성 스텝에서, 촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값으로부터, 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행하고, 화소마다의 감산 결과를 2치화함으로써 배경 제외 화상을 생성하는 방법이어도 된다.

배경 화상을, 일정 범위를 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하는 배경 화상 변환 스텝과, 일정 범위에 해당하는 영역으로서 추출된 추출 화상을, 당해 일정 범위를 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하는 추출 화상 변환 스텝을 포함하고, 배경 제외 화상 생성 스텝에서는, 추출 화상 변환 스텝에 의한 변환 후의 추출 화상의 휘도값에서 배경 화상 변환 스텝에 의한 변환 후의 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 행하고, 관찰 데이터 산출 스텝에서는, 배경 제외 화상 생성 스텝에서 생성된 배경 제외 화상에 기초하여 관찰 데이터를 산출하는 방법이어도 된다.

배경 제외 화상을, 일정 범위를 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하는 배경 제외 화상 변환 스텝을 포함하고, 관찰 데이터 산출 스텝에서는, 배경 제외 화상 변환 스텝에 의한 변환 후의 배경 제외 화상에 기초하여 관찰 데이터를 산출하는 방법이어도 된다.

화상 촬영 스텝에서 얻어진 각 화상에 대하여 화상 내의 명암의 콘트라스트를 나타내는 양을 산출하고, 콘트라스트를 나타내는 양에 관해서 미리 정해진 조건을 만족하는 화상을 선택하는 전처리 스텝을 포함하는 방법이어도 된다.

전처리 스텝에서, 콘트라스트를 나타내는 양으로서, 화상 내의 엣지수를 산출하고, 엣지수가 미리 정해진 임계값 이상이라는 조건을 만족하는 복수의 화상을 선택하여, 선택한 복수의 화상에 기초해서, 일정 범위에 해당하는 영역을 추출하는 대상이 되는 화상을 생성하는 방법이어도 된다.

또한, 본 발명에 의한 유리 용융로 조작 방법은, 상기의 유리 용융로내 감시 방법에서의 관찰 데이터 산출 스텝에서 산출되는 관찰 데이터에 대하여 유리 용융로의 운전 파라미터가 끼치는 영향의 정도를 도출하는 영향도 도출 스텝과, 관찰 데이터가 소정의 조건을 만족한 경우에, 당해 관찰 데이터에 대한 영향의 정도의 절댓값이 미리 정해진 값 이상으로 되어 있는 운전 파라미터를 변경하는 용융로 제어 스텝을 포함하는 것을 특징으로 한다.

또한, 본 발명에 의한 유리 용융로내 감시 시스템은, 유리 용융로 내에 설치된 기준 패턴과, 유리 용융로 내에서 용해한 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영하는 화상 촬영 수단과, 화상 내에 찍힌 기준 패턴의 위치의 어긋남을 사용하여 계산되는 화상 촬영 수단의 자세에 따라, 촬영된 화상 내에서 일정 범위에 해당하는 영역을 추출하는 화상 교정 수단과, 일정 범위에 해당하는 영역으로서 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 유리 용융로 내에 쌓인 유리 원료인 배치산의 배경이 되는 배경 화상을 작성하는 배경 화상 작성 수단과, 촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 배치산 및 배경이 찍힌 상태의 추출 화상으로부터 배경을 제외한 배경 제외 화상을 생성하는 차분 연산 수단과, 배경 제외 화상에 기초하여, 배치산에 관한 관찰 데이터를 산출하는 관찰 데이터 산출 수단을 구비하는 것을 특징으로 한다.

배경 화상 작성 수단이, 복수의 추출 화상의 대응 화소마다 또는 대응하는 영역마다 각 휘도값에 해당하는 화소의 수를 카운트하고, 각 휘도값에 해당하는 화소의 카운트 결과에 기초하여 배경을 나타내는 휘도값을 결정함으로써, 배경 화상을 작성하는 구성이어도 된다.

차분 연산 수단이, 촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행하고, 화소마다의 감산 결과를 2치화함으로써 배경 제외 화상을 생성하는 구성이어도 된다.

화상 교정 수단이, 배경 화상을, 일정 범위를 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하고, 일정 범위에 해당하는 영역으로서 추출한 추출 화상을, 당해 일정 범위를 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하고, 차분 연산 수단이, 화상 교정 수단에 의한 변환 후의 추출 화상의 휘도값에서, 화상 교정 수단에 의한 변환 후의 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 행하고, 관찰 데이터 산출 수단이, 차분 연산 수단에 생성된 배경 제외 화상에 기초하여 관찰 데이터를 산출하는 구성이어도 된다.

화상 교정 수단이, 차분 연산 수단에 의해 생성된 배경 제외 화상을, 일정 범위를 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하고, 관찰 데이터 산출 수단이, 화상 교정 수단에 의한 변환 후의 배경 제외 화상에 기초하여 관찰 데이터를 산출하는 구성이어도 된다.

화상 촬영 수단에 의해 얻어진 각 화상에 대하여 화상 내의 명암의 콘트라스트를 나타내는 양을 산출하고, 콘트라스트를 나타내는 양에 관해서 미리 정해진 조건을 만족하는 화상을 선택하는 전처리 수단을 구비하는 구성이어도 된다.

전처리 수단이, 콘트라스트를 나타내는 양으로서, 화상 내의 엣지수를 산출하고, 엣지수가 미리 정해진 임계값 이상이라는 조건을 만족하는 복수의 화상을 선택하여, 선택한 복수의 화상에 기초해서, 일정 범위에 해당하는 영역을 추출하는 대상이 되는 화상을 생성하는 구성이어도 된다.

관찰 데이터 산출 수단에 의해 산출되는 관찰 데이터에 대하여, 유리 용융로의 운전 파라미터가 끼치는 영향의 정도를 도출하는 관찰 데이터 해석 수단을 구비하는 구성이어도 된다.

관찰 데이터가 소정의 조건을 만족한 경우에, 당해 관찰 데이터에 대한 영향의 정도의 절댓값이 미리 정해진 값 이상으로 되어 있는 운전 파라미터를 변경하는 용융로 제어 수단을 구비하는 구성이어도 된다.

또한, 본 발명에 의한 유리 물품의 제조 방법은, 유리 용융로 내에서 용융 유리를 제조하는 유리 용융 스텝과, 청징조 내에서 용융 유리의 기포를 제거하는 청징 스텝과,

기포가 제거된 용융 유리를 성형하는 성형 스텝과, 성형된 용융 유리를 서냉하는 서냉 스텝을 포함함과 함께, 화상 촬영 수단이, 유리 용융로 내에 설치된 기준 패턴과, 유리 용융로 내에서 용해한 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영하는 화상 촬영 스텝과, 화상 내에 찍힌 기준 패턴의 위치의 어긋남을 사용하여 계산되는 화상 촬영 수단의 자세에 따라, 촬영된 화상 내에서 일정 범위에 해당하는 영역을 추출하는 영역 추출 스텝과, 일정 범위에 해당하는 영역으로서 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 유리 용융로 내에 쌓인 유리 원료인 배치산의 배경이 되는 배경 화상을 작성하는 배경 화상 작성 스텝과, 촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 배치산 및 배경이 찍힌 상태의 추출 화상으로부터 배경을 제외한 배경 제외 화상을 생성하는 배경 제외 화상 생성 스텝과, 배경 제외 화상에 기초하여, 배치산에 관한 관찰 데이터를 산출하는 관찰 데이터 산출 스텝을 포함하는 것을 특징으로 한다.

본 발명의 유리 용융로내 감시 방법 및 유리 용융로내 감시 시스템에 의하면, 유리 용융로 내의 일정 영역의 관찰을 계속하고, 그 일정 영역에서의 배치산의 상태를 양호하게 감시할 수 있다. 또한, 유리 물품의 제조 방법에 의하면, 그러한 양호한 감시 상태를 실현하면서 유리 물품을 제조할 수 있다.

또한, 본 발명의 유리 용융로 조작 방법에 의하면, 감시한 배치산의 상태에 따라, 유리 용융로의 어느 운전 파라미터를 조절하면 되는지를 명확히 할 수 있다.

도 1은 본 발명의 유리 용융로내 감시 시스템이 적용되는 유리 용융로의 예를 도시하는 평면도이다.
도 2는 본 발명의 제1 실시 형태의 유리 용융로내 감시 시스템의 구성예를 도시하는 블록도이다.
도 3은 카메라(11_a)에 의한 촬영 화상의 예를 나타내는 설명도이다.
도 4는 기준 패턴의 화상의 예 및 기준 패턴을 사용한 매칭의 예를 나타내는 설명도이다.
도 5는 자세 특정 수단(14)이 행하는 자세 추정 동작의 예를 나타내는 흐름도이다.
도 6은 카메라(11_a)에 의한 촬영 화상 중, 용해한 원료의 액면에 해당하는 범위를 뽑아낸 모식도이다.
도 7은 시점을 일정 영역(9_a)의 바로 위로 변화시키도록 변환한 변환 결과의 예를 나타내는 설명도이다.
도 8은 카메라의 자세 판단 처리의 처리 경과의 예를 나타내는 흐름도이다.
도 9는 관찰 데이터 도출까지의 처리 경과의 예를 나타내는 흐름도이다.
도 10은 배경 화상 작성 처리(스텝 S11)의 처리 경과의 예를 나타내는 흐름도이다.
도 11은 스텝 S24의 결과 얻어진 히스토그램이다.
도 12는 스텝 S24의 결과 얻어진 히스토그램이다.
도 13은 스텝 S13의 변환 후의 화상의 예를 나타내는 설명도이다.
도 14는 스텝 S12의 변환 후의 배경 화상의 예를 나타내는 설명도이다.
도 15는 스텝 S14의 처리를 행한 결과의 화상의 예를 나타내는 설명도이다.
도 16은 2치화 처리 후의 화상의 예를 나타내는 설명도이다.
도 17은 일정 영역(9_a, 9_b)을 측벽(6)측의 영역과 유리 용융로의 중앙측의 영역으로 이등분한 영역을 도시하는 설명도이다.
도 18은 제1 실시 형태의 변형예에서의 유리 용융로내 감시 시스템의 구성예를 도시하는 블록도이다.
도 19는 제1 실시 형태의 변형예에서의 관찰 데이터 도출까지의 처리 경과의 예를 나타내는 흐름도이다.
도 20은 본 발명의 제2 실시 형태의 유리 용융로내 감시 시스템의 구성예를 도시하는 블록도이다.
도 21은 1개의 관찰 데이터에 대한 운전 파라미터의 영향도를 계산한 결과의 예를 나타내는 그래프이다.
도 22는 1개의 품질 데이터에 대한 관찰 데이터 A, B 및 온도 A 내지 D의 영향도를 계산한 결과를 나타내는 그래프이다.
도 23은 관찰 데이터와 품질 데이터의 상관이 상실되거나 새롭게 나타나는 상황의 변화를 나타내는 그래프이다.
도 24는 제3 실시 형태의 유리 물품의 제조 방법에서 사용하는 유리 물품의 제조 라인의 일례를 도시하는 모식도이다.
도 25는 제3 실시 형태의 유리 물품의 제조 방법의 예를 나타내는 흐름도이다.

이하, 본 발명의 실시 형태를 도면을 참조하여 설명한다.

우선, 본 발명의 유리 용융로내 감시 시스템이 적용되는 유리 용융로의 예에 대하여 설명한다. 도 1은 그러한 유리 용융로의 예를 도시하는 평면도이다. 유리 용융로(1)는 저면, 상류벽(상류측의 벽)(7), 측벽(6), 하류벽(하류측의 벽)(8) 및 천장(도시 생략)에 둘러싸인 공간 내에서, 열에 의해 유리 원료를 용해시킨다. 상류벽(7)에는 원료를 투입하는 투입구(3_a, 3_b)가 설치되고, 하류벽(8)에는 용해시킨 유리 원료를 배출하는 배출구(4)가 설치되어 있다. 또한, 측벽(6)에는, 각각 관찰 창(2)과 버너(5)가 설치되어 있다. 도 1에서는, 투입구(3_a, 3_b)가 설치되어 있는 경우를 나타냈는데, 투입구의 수는 2개에 한정되지 않는다.

투입구(3_a, 3_b)로부터는, 고체 상태의 유리 원료가 투입된다. 유리 용융로 내가 버너(5)로부터 분출된 불꽃으로 가열되기 때문에, 이 원료는 서서히 용해되고, 용해한 원료는 서서히 하류측으로 이동하여 배출구(4)로부터 배출된다. 유리 용융로(1) 내에서 고체 상태로 쌓여 있는 원료가 배치산(10)이다. 배치산(10)은 시간 경과와 함께 하류측으로 이동하면서 용해되어 간다.

본 발명의 유리 용융로내 감시 시스템은, 카메라(11_a, 11_b)를 구비하고, 유리 용융로 내에서의 액면의 일정 영역(9_a, 9_b)을 감시한다. 도 1에서는, 2개의 일정 영역(9_a, 9_b)에 의해, 로 내의 액면 중 각 카메라의 정면 방향에서의 측벽간의 영역이 커버되도록, 2개의 일정 영역(9_a, 9_b)을 정한 경우를 예시하고 있다. 카메라(11_a)는 상류측에서 보아 우측의 일정 영역(9_a)(이하, 간단히 일정 영역(9_a)이라 기재함)을 촬영하고, 카메라(11_b)는 상류측에서 보아 좌측의 일정 영역(9_b)(이하, 간단히 일정 영역(9_b)이라 기재함)을 촬영한다. 본 발명에서는, 유리 용융로내 감시 시스템이 2대의 카메라(11_a, 11_b)를 구비하는 경우를 예로 들어 설명하지만, 유리 용융로내 감시 시스템이 구비하는 카메라의 대수는 2대에 한정되지 않는다.

또한, 일정 영역(9_a, 9_b)은 투입구(3_a, 3_b) 부근으로부터 이격하여 정한다. 투입구(3_a, 3_b)의 바로 근처의 영역을 일정 영역으로서 촬영했을 경우, 촬영 화상 내에서 일정 영역에 해당하는 부분이 모두 배치산이 되어, 배경이 되는 기포가 찍히지 않을 가능성이 높고, 그 경우 배치산에 관한 데이터를 산출할 수 없기 때문이다.

[실시 형태 1]

도 2는 본 발명의 제1 실시 형태의 유리 용융로내 감시 시스템의 구성예를 도시하는 블록도이다. 제1 실시 형태의 유리 용융로내 감시 시스템은 카메라(11_a)와, 카메라(11_b)와, 화상 처리 장치(13)를 구비한다. 유리 용융로내 감시 시스템은, 카메라(11_a, 11_b)가 촬영한 화상에 대하여 각각 마찬가지의 처리를 행한다. 따라서, 이하 카메라(11_a)에 대하여 설명하고, 카메라(11_b)에 관한 설명은 적절히 생략한다.

카메라(11_a)는, 유리 용융로의 관찰 창(2)(도 1 참조)을 통해, 액면의 일정 영역(9_a)의 화상을 반복 촬영한다. 이 화상은 정지 화상이다. 마찬가지로, 카메라(11_b)도, 유리 용융로의 관찰 창(2)(도 1 참조)을 통해, 액면의 일정 영역(9_b)의 정지 화상을 반복 촬영한다. 카메라(11_a, 11_b)의 촬영 간격은 미리 정해 두면 된다.

또한, 카메라(11_a)의 촬영 범위(시야의 범위)에는, 일정 영역(9_a)뿐만 아니라, 일정 영역(9_a) 부근의 액면이나, 카메라(11_a)에 대향하는 측벽도 수용할 수 있다. 따라서, 카메라(11_a)의 촬영 화상에는, 일정 영역(9_a) 및 그 근방의 액면이나, 대향하는 측벽도 찍히고 있다. 카메라(11_b)에 대해서도 마찬가지이다.

카메라(11_a, 11_b)로 촬영된 화상은 화상 처리 장치(13)에 입력된다.

화상 처리 장치(13)는, 카메라(11_a)로 촬영된 화상에 대하여 화상 처리를 행하고, 일정 영역(9_a)에서의 배치산에 관한 다양한 데이터(예를 들어, 배치나 움직임에 관한 데이터)를 산출한다. 마찬가지로, 화상 처리 장치(13)는, 카메라(11_b)로 촬영된 화상에 대하여 화상 처리를 행하고, 일정 영역(9_b)에서의 배치산에 관한 다양한 데이터를 산출한다. 카메라(11_a, 11_b)가 촬영한 화상에 기초하여 산출된 배치산의 데이터를 이하, 관찰 데이터라고 기재한다.

화상 처리 장치(13)는, 전처리 수단(19)과, 화상 기억 수단(12)과, 자세 특정 수단(14)과, 배경 화상 작성 수단(15)과, 화상 교정 수단(16)과, 차분 연산 수단(17)과, 관찰 데이터 산출 수단(18)을 구비한다.

전처리 수단(19)은, 카메라(11_a)가 촬영한 화상에 기초하여, 원료분이나 프레임(버너(5)로부터 분출된 불꽃)이 찍히지 않은 상태의 화상을 생성한다. 유리 용융로 내에 부유하는 원료분이나 프레임이 화상에 찍히면, 배치산의 화상이 불선명해진다. 전처리 수단(19)은, 카메라(11_a)가 촬영한 복수의 화상을 사용하여, 원료분이나 프레임 등의 외란의 영향을 받지 않고 배치산이 선명하게 찍힌 상태의 화상을 생성한다. 전처리 수단(19)은, 카메라(11_b)가 촬영한 화상에 대해서도 마찬가지의 처리를 행한다. 이와 같이, 원료분이나 프레임의 영향을 제거한 화상을 생성하는 것을 전처리라고 기재한다. 또한, 전처리 수단(19)이 카메라에 의해 촬영된 복수의 화상으로 생성한 화상을, 이하 전처리 화상이라 기재하는 경우가 있다. 단, 전처리 화상은, 원료분이나 프레임의 영향을 제거하여 배치산을 보다 선명하게 했다는 점을 제외하면, 각 카메라가 촬영한 화상과 마찬가지이며, 전처리 화상을 간단히 촬영 화상이라 기재하는 경우도 있다. 즉, 카메라가 촬영한 화상 그 자체와 마찬가지로 촬영 화상이라 칭하는 경우가 있다. 전처리 수단(19)은, 카메라(11_a)에 기초하여 얻어진 전처리 화상, 및 카메라(11_b)에 기초하여 얻어진 전처리 화상을, 각각 화상 기억 수단(12)에 기억시킨다.

또한, 유리 용융로에 따라서는, 전처리가 전혀 필요 없거나, 또는 일부 필요 없는 경우도 있다. 예를 들어, 프레임의 영향이 적거나, 부유하는 원료분이 적은 유리 용융로에서는, 전처리를 행하지 않아도 된다. 그 경우, 화상 처리 장치(13)는 각 카메라(11_a, 11_b)로부터 입력된 화상을 그대로 화상 기억 수단(12)에 기억시키면 된다.

화상 기억 수단(12)은 화상을 기억하는 기억 장치이다. 상술한 바와 같이, 전처리 수단(19)이 각 카메라(11_a, 11_b)로부터 입력된 화상에 대하여 전처리를 행한 경우에는, 그 전처리에 의해 얻어진 전처리 화상을 기억한다. 또한, 전처리를 행하지 않은 경우에는, 각 카메라(11_a, 11_b)로부터 입력된 화상을 그대로 기억한다.

이하, 전처리 수단(19)이 전처리를 행하고, 화상 기억 수단(12)이 전처리 화상을 기억하는 경우를 예로서 설명한다.

자세 특정 수단(14)은 카메라(11_a)에 의한 촬영 화상(본 예에서는 전처리 화상)으로부터, 카메라(11a)의 자세를 특정한다. 여기서, 자세란 카메라의 위치 및 방향을 의미한다. 자세 특정 수단(14)은 카메라(11_b)에 대해서도 마찬가지의 처리를 행한다.

도 3은 카메라(11_a)에 의한 촬영 화상(본 예에서는, 카메라(11_a)가 촬영한 화상에 기초하여 생성된 전처리 화상)의 예를 나타내는 설명도이다. 이 촬영 화상은 일정 영역(9_a) 방향을 찍은 화상이다. 카메라(11_a)에 의한 촬영 화상에는, 배치산(10)에서의 액면(25)보다 위의 부분 외에, 대향하는 측벽(6)이나 관찰 창(2)의 일부도 찍혀 있다. 측벽(6)이나 관찰 창(2)의 화상은 카메라의 방향 및 위치(카메라의 자세)를 특정하기 위해 이용된다. 즉, 측벽(6)을 형성하는 벽돌끼리의 경계선(홈), 그 경계선끼리의 교차부 및 관찰 창(2)의 모서리부(코너부)는, 촬영 화상 내에서 특징적인 패턴으로서 나타난다. 이하, 이러한 특징적인 패턴을 기준 패턴이라 기재한다. 기준 패턴은, 촬영했을 때에 동일 화상 중에 닮은 패턴이 존재하지 않는 패턴일 필요가 있다. 예를 들어, 창 등의 코너의 형상, 선이나 점 등의 조합이 특징적인 패턴이 되는 것이라면, 그러한 조합을 기준 패턴으로 해도 된다. 또한, 후술하는 바와 같이, 자세 특정 수단(14)이 기준 패턴의 화상으로서 기억하는 화상을 순차 갱신해도 된다. 카메라의 자세가 변화하지 않으면, 기준 패턴은 촬영 화상 내에서의 거의 일정한 위치(좌표)에 나타난다. 한편, 청소시 등에 카메라의 자세가 변화하면, 촬영 화상 내에서의 기준 패턴의 위치도 변화한다. 자세 특정 수단(14)은 카메라(11_a)에 의한 촬영 화상에서의 기준 패턴의 위치에 기초하여, 카메라(11_a)의 자세의 어긋남 유무를 판정한다. 즉, 기준 패턴은 카메라의 자세의 어긋남이 발생했는지 여부를 판정하기 위해 사용된다. 또한, 화상 내에서의 위치를 나타내는 좌표를, 이하 화상 좌표라고 기재한다.

또한, 카메라의 자세 어긋남 판정의 신뢰성을 높이는 관점에서, 화상 내에 기준 패턴이 복수 개 존재하고 있는 것이 바람직하다.

자세 특정 수단(14)은 기준 패턴의 화상 및 촬영 화상 내에서의 기준 패턴의 화상 좌표를 기억한다. 기준 패턴의 화상 좌표는, 예를 들어 기준 패턴의 중심 위치의 화상 좌표이어도 된다. 자세 특정 수단(14)은, 예를 들어 관찰 창(2)의 코너부의 점(21_a) 및 그 주변의 화상을 기준 패턴의 화상으로서 기억함과 함께, 그 위치의 화상 좌표를 기억한다. 이 경우의 기준 패턴의 화상의 예 및 기준 패턴을 사용한 매칭의 예를 도 4에 도시한다. 도 4의 (a)는 기준 패턴의 화상의 예를 나타낸다. 도 4의 (b)는 기준 패턴과의 매칭을 행하는 촬영 화상의 예를 나타낸다. 도 4의 (b)에서는, 도 3과 마찬가지의 촬영 화상을 예시하고 있다. 도 4의 (b)에서, 도 3에 도시하는 요소와 동일한 요소에 대해서는, 동일한 부호를 부여하고 설명을 생략한다. 또한, 도 4의 (a)에서는, 기준 패턴을 이해하기 쉽게 하기 위해서, 촬영 화상과 비교하여 크게 도시하고 있다. 자세 특정 수단(14)은, 촬영 화상과, 기억하고 있는 각 기준 패턴의 화상의 사이에서 패턴 매칭을 행하고, 기억하고 있는 각 기준 패턴의 화상에 해당하는 촬영 화상 내의 부분의 화상 좌표를 특정한다. 자세 특정 수단(14)은, 그 화상 좌표와, 기억하고 있는 화상 좌표를 비교하여, 카메라(11_a)의 자세에 어긋남이 발생했는지 여부를 판정한다. 또한, 패턴 매칭에서는, 유사한 정도의 지표값이 되는 유사도를 계산한다.

예를 들어, 자세 특정 수단(14)은, 도 4의 (a)에 예시하는 기준 패턴의 화상과, 도 4의 (b)에 나타내는 촬영 화상의 사이에서 패턴 매칭을 행하여, 촬영 화상 내의 부분(81)(도 4의 (b) 참조)을 특정하고, 그 부분(81)의 화상 좌표(예를 들어, 촬영 화상 내의 부분(81)의 중심 좌표)를 특정한다. 그리고, 자세 특정 수단(14)은, 그 좌표와, 미리 기억하고 있는 화상 좌표를 비교하여, 카메라(11_a)의 자세에 어긋남이 발생했는지 여부를 판정하면 된다.

또한, 카메라의 자세 추정에 사용하는 특징적인 점을 기준점이라 기재한다. 기준점군 중에, 기준 패턴 내의 점(예를 들어, 관찰 창(2)의 코너부의 점(21_a))이 포함되어 있어도 된다. 도 3에서는, 점(21_a 내지 21_e)을 기준점으로 하는 경우를 예시하고 있다. 자세 특정 수단(14)은, 기준점에 관한 정보로서, 기준점의 화상 좌표와, 실공간에서의 기준점의 3차원 좌표를 기억한다. 자세 특정 수단(14)은, "기준 패턴의 화상 및 그 화상 좌표"와 "기준점의 화상 좌표 및 3차원 좌표"를 기억하고 있으므로, 화상 상에서의 기준 패턴과 기준점의 상대적인 위치 관계를 판단할 수 있다.

카메라(11_a)가 기준 패턴 및 일정 영역(9_a)을 포함하는 화상을 촬영하고, 카메라(11_b)가 기준 패턴 및 일정 영역(9_b)을 포함하는 화상을 촬영하는 처리는, 화상 촬영 스텝에 상당한다.

도 5는, 자세 특정 수단(14)이 행하는 자세 추정 동작의 예를 나타내는 흐름도이다. 자세 특정 수단(14)은, 상술한 바와 같이 촬영 화상 내에서의 기준 패턴의 화상 좌표와, 기억하고 있는 화상 좌표를 비교하여, 카메라(11_a)의 자세에 어긋남이 발생했다고 판정했을 경우, 그것들의 화상 좌표를 사용하여, 자세의 어긋남량을 계산한다(스텝 S51). 즉, 자세 특정 수단(14)은 기준 패턴이 촬영 화상 내에서 어느 만큼 어긋났는지를 계산한다.

그리고, 자세 특정 수단(14)은 촬영 화상 내에서의 기준 패턴의 어긋난 양을 기억하고 있는 기준점의 화상 좌표에 반영한다(스텝 S52). 즉, 자세 특정 수단(14)은, 카메라(11_a)의 자세에 어긋남이 발생함으로써 촬영 화상 내에서의 기준 패턴의 화상 좌표가 어긋난 분만큼, 각 기준점의 화상 좌표를 어긋나게 한다(기준점의 화상 좌표의 값을 변화시킨다).

그리고, 자세 특정 수단(14)은, 그 기준점의 화상 좌표와, 실공간에서의 기준점의 3차원 좌표를 사용해서, 카메라 캘리브레이션 처리를 행하여, 카메라(11_a)의 자세를 추정한다. 구체적으로는, 자세 특정 수단(14)은, 카메라(11_a)의 각종 자세에서의 개개의 기준점의 화상 좌표를, 실공간에서의 각 기준점의 3차원 좌표로부터 산출한다(스텝 S53). 그리고, 자세 특정 수단(14)은, 각 기준점의 3차원 좌표로부터 산출한 화상 좌표가, 상기와 같이 기준 패턴의 화상 좌표의 어긋남에 맞춰서 변화시킨 기준점의 화상 좌표에 가장 가까운 좌표가 될 때의 자세를, 카메라(11_a)의 자세라고 판정한다(스텝 S54).

여기에서는, 카메라(11_a)를 예로서 설명했지만, 자세 특정 수단(14)은, 카메라(11_b)에 관한 자세의 어긋남 유무의 판정이나 자세 추정도 마찬가지로 행한다.

화상 교정 수단(16)은, 자세 특정 수단(14)이 특정한 카메라(11_a)의 자세에 따라, 촬영 화상 내(본 예에서는, 전처리 화상 내)에서 일정 영역(9_a)에 해당하는 범위를 특정한다. 도 6은, 카메라(11_a)에 의한 촬영 화상 중, 용해한 원료의 액면(25)에 해당하는 범위를 뽑아낸 모식도이다. 또한, 도 6의 우측 및 좌측은 각각 유리 용융로의 상류 및 하류이다. 이 액면(25)의 화상 중, 굵은 실선으로 둘러싼 범위(31_a)가, 실공간에서의 일정 영역(9_a)에 해당한다. 화상 교정 수단(16)은, 카메라(11_a)의 자세에 따라서, 일정 영역(9_a)에 해당하는 범위(31_a)를 특정하여 추출한다.

단, 유리 용융로 내에서의 액면의 높이는 일정한 것으로 한다. 이 높이에서의 일정 영역(9_a)의 범위는 미리 정해져 있다. 즉, 일정 영역(9_a)의 범위(위치)는 실공간 내에서의 일정한 높이의 면 내에서의 영역이 위치로서 미리 규정되어 있다. 따라서, 카메라(11_a)의 자세가 특정되면, 그 카메라(11_a)에 의한 촬영 화상 내에서의 일정 영역(9_a)에 해당하는 범위도 정할 수 있다. 즉, 화상 교정 수단(16)은, 실공간에서 일정한 높이에서의 일정 영역(9_a)을, 자세가 기지인 카메라(11_a)의 촬영 화상에 사영했을 때의 화상 내에서의 범위(31_a)를 특정하면 된다.

또한, 유리 용융로 내에서의 액면의 높이가 일정하다고 했을 경우, 촬영 화상에서의 하나의 화소분의 어긋남이, 실공간에서 몇 mm 어긋나 있는지를 조사함으로써, 촬영 화상에서의 화소 분해능(mm/pixel)을 파악할 수 있다.

또한, 화상 교정 수단(16)은 화상 내에서 일정 영역(9_a)에 해당하는 범위(31_a)를 특정하는 처리 이외에, 그 범위(31_a)의 화상을, 일정 영역(9_a)을 바로 위(환언하면, 액면에 대향하는 상방)에서 관찰했을 때의 화상으로 변환하는 처리도 행한다. 즉, 도 6에 예시하는 화상은, 카메라(11_a)의 시점(액면에 대하여 경사 방향)에서 일정 영역(9_a)을 관찰한 경우의 화상인데, 화상 내의 범위(31_a)에 관해서, 시점을 일정 영역(9_a)의 바로 위로 변화시킨 경우의 화상으로 변환한다. 이 변환 결과의 예를 도 7에 예시한다. 이와 같이, 화상 교정 수단(16)은, 화상 내에서 일정 영역(9_a)에 해당하는 범위(31_a)에 관해서, 시점을 일정 영역(9_a)의 바로 위로 변화시키는 시점 변환 처리를 행하고, 그 시점에서 관찰되는 화상을 생성하면 된다.

또한, 화상 교정 수단(16)이 일정 영역(9_a)을 바로 위에서 관찰했을 때의 화상으로 변환하는 대상이 되는 것은, 카메라(11_a)에 의한 촬영 화상으로부터 추출된 범위(31_a)에 제한하지 않는다. 예를 들어, 화상 처리(예를 들어, 후술하는 배경 화상 작성 처리)에 의해 얻어진 화상에 대해서도, 화상 교정 수단(16)은 마찬가지의 변환을 행한다.

화상 교정 수단(16)은 카메라(11_b)에 의한 촬영 화상(본 예에서는, 전처리 화상)에 관해서도 마찬가지의 처리를 행한다.

배경 화상 작성 수단(15)은, 전처리 수단(19)에 의해 순차 생성되는 복수의 전처리 화상으로부터 화상 교정 수단(16)에 의해 추출된 범위(31_a)(일정 영역(9_a)에 해당하는 범위(31_a))의 화상을 사용하여, 배치산이 존재하지 않는 경우의 액면의 화상을 작성한다(배경 화상 작성 처리). 이 범위(31_a)는 일정 영역(9_a)에 해당하는 화상이므로, 기포를 배경으로 하여 배치산을 찍은 화상이 된다. 또한, 배치산의 이동 속도나 용해 속도는 완만하므로, 범위(31_a)에는, 항상(또는, 높은 빈도로) 배치산이 찍혀 있다. 그로 인해, 일정 영역(9_a)에 해당하는 범위(31_a)로서, 기포(배경)만이 찍힌 상태의 화상을 직접 촬영하는 것은 곤란하다. 따라서, 배경 화상 작성 수단(15)은, 복수의 화상으로부터 추출된 범위(31_a)를 사용하여, 배치산이 존재하지 않는 배경 화상을 작성한다.

액면에서 배치산이 존재하지 않는 개소에는 기포가 존재한다. 또한, 배치산은, 서서히 하류 방향으로 이동하면서 용해되어 간다. 따라서, 임의의 화상으로부터 추출된 범위(31_a)에서 배치산에 해당한 화소도, 다른 화상으로부터 추출된 범위(31_a)에서는 기포를 나타내게 된다. 배경 화상 작성 수단(15)은, 복수의 화상으로부터 추출된, 일정 영역(9_a)에 해당하는 범위(31_a)에서의 대응하는 화소의 조마다(환언하면, 일정 영역(9_a) 내의 동일 위치에 해당하는 화소의 조마다), 기포에 해당하는 휘도를 특정함으로써, 배치산이 존재하지 않고 배치산의 배경만을 나타낸 화상을 작성한다. 또한, 여기에서는, 복수의 화상으로부터 추출된 범위(31_a)에서의 대응 화소의 조마다 처리를 행하는 경우를 예로 했지만, 복수의 화상으로부터 추출된 범위(31_a)에서의 대응하는 영역마다 기포에 해당하는 휘도를 특정해도 된다. 영역은 연속하는 화소가 모여서 형성하는 영역이다.

배경 화상 작성 수단(15)은 카메라(11_b)에 의한 촬영 화상(본 예에서는, 전처리 화상)에 관해서도 마찬가지의 처리를 행한다.

차분 연산 수단(17)은, 2장의 화상간의 대응하는 화소간의 차분을 계산한다. 구체적으로는, 배치산을 찍은 화상의 각 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산한다. 이 감산 처리에 의해, 배치산을 찍은 화상으로부터 배경 부분이 제거된 화상이 얻어진다. 단, 기포의 휘도에도 다소의 변화는 있다. 따라서, 배치산을 찍은 화상 내에서의 기포에 해당하는 화소의 휘도에서, 배경 화상에서의 대응 화소의 휘도값을 감산한 결과가 0이 된다고는 할 수 없다. 따라서, 차분 연산 수단(17)은, 배치산을 찍은 화상의 각 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산한 후, 화소마다의 감산 결과를 "0" 또는 "1"로 2치화하는 처리를 행하는 것이 바람직하다. 이 2치화 처리에서는, 차분 연산 수단(17)은, 화소마다 감산 결과가 소정값 이상이면, 감산 결과를 "1"로 절상하고, 감산 결과가 그 소정값 미만이면 감산 결과를 "0"으로 절하하면 된다. 이 2치화 처리를 행함으로써, 배치산에 해당하는 영역(휘도값이 "1"인 영역)과, 배경에 해당하는 영역(휘도값이 "0"인 영역)을 보다 명확하게 구별할 수 있다.

관찰 데이터 산출 수단(18)은, 배경 부분이 제거되고, 배치산에 해당하는 부분이 남겨진 화상으로부터, 배치산의 관찰 데이터를 산출한다. 관찰 데이터의 예로서, 예를 들어 배치산의 선단 위치, 배치산의 이동 속도, 배치산의 용해 속도(배치산의 감소율), 일정 영역(9_a, 9_b) 각각에서의 배치산의 점유율 등을 들 수 있다. 또한, 이들의 관찰 데이터에 관해서, 일정 영역(9_a)에서의 값과, 일정 영역(9_b)에서의 값의 차를 산출하고, 그 차를 관찰 데이터로 해도 된다.

또한, 일정 영역(9_a)을 측벽측의 영역과, 유리 용융로의 폭 방향의 중앙측의 영역으로 이등분하고, 그 2개의 영역에서의 배치산의 점유율의 비(이하, 내외비라고 기재함)를 관찰 데이터로 해서 계산해도 된다. 마찬가지로, 일정 영역(9_b)에 관해서도, 측벽측의 영역과, 유리 용융로의 내측의 영역으로 이등분하고, 그 2개의 영역에서의 배치산의 점유율의 비(내외비)를 관찰 데이터로 해서 계산해도 된다.

전처리 수단(19), 자세 특정 수단(14), 배경 화상 작성 수단(15), 화상 교정 수단(16), 차분 연산 수단(17) 및 관찰 데이터 산출 수단(18)은, 예를 들어 프로그램에 따라서 동작하는 컴퓨터의 CPU에 의해 실현된다. 이 경우, 예를 들어 컴퓨터의 프로그램 기억 장치(도시 생략)에 기억된 프로그램을 CPU가 판독하고, CPU가 그 프로그램에 따라, 전처리 수단(19), 자세 특정 수단(14), 배경 화상 작성 수단(15), 화상 교정 수단(16), 차분 연산 수단(17) 및 관찰 데이터 산출 수단(18)으로서 동작하면 된다.

이어서, 동작에 대하여 설명한다.

우선, 전처리 수단(19)에 의한 전처리에 대하여 설명한다. 카메라(11_a)는, 정기적으로 일정 영역(9_a) 방향을 촬영하고, 그 화상을 순차, 전처리 수단(19)에 입력한다. 전처리 수단(19)은, 일정한 주기(예를 들어, 수초의 주기)마다, 그 주기 내에 카메라(11_a)로부터 입력된 복수의 화상에 기초하여 전처리 화상을 생성한다. 구체적으로는, 전처리 수단(19)은, 1 주기 내에서 입력된 개개의 화상에 관해서, 화상 내의 엣지의 수를 카운트한다. 또한, 엣지란 화상 내에 나타나는 선이다. 화상 내에서의 엣지의 수의 카운트 대상으로 하는 영역을, 예를 들어 벽면에 상당하는 영역 및 일정 영역(9_a)에 상당하는 영역에 한정해도 된다. 전처리 수단(19)에 의한 처리 주기는 짧아, 그 주기 내에서 카메라(11_a)로부터 입력되는 각 화상에서, 찍혀 있는 배치산의 수의 양이 변화하지 않는 경우가 많다. 또한, 화상에 찍히는 배치산의 수량이 변화하지 않는다는 것은, 프레임이나 원료분의 영향이 없으면, 엣지의 수도 어느 정도의 양을 유지하고 있다는 것이다. 이것을 이용하여, 전처리 수단(19)은, 1 주기 내에서 카메라(11_a)로부터 입력된 복수의 화상 중에서, 엣지의 수의 카운트 결과가 많은 상태를 유지하고 있는 연속하는 복수의 화상을 선택한다. 또한, 화상 내에서의 엣지의 수의 카운트 결과의 다과를 판단하는 기준으로서, 예를 들어 미리 정해진 임계값을 사용해도 된다. 구체적으로는, 전처리 수단(19)은, 카운트 결과로서 얻어진 엣지수가, 엣지수에 관해서 미리 정해진 임계값 이상이라는 조건을 만족하고 있는 경우에, 화상 내의 엣지수가 많다고 판정하고, 엣지수가 임계값 이상인 화상을 선택하면 된다. 또한, 전처리 수단(19)은, 카운트 결과로서 얻어진 엣지수가 임계값 미만일 경우에, 화상 내의 엣지수가 적다고 판정하고, 엣지수가 임계값 미만인 화상을 선택하지 않는다. 또는, 입력된 각 화상에서의 엣지의 수의 카운트 결과에 따라, 엣지의 수의 다과의 판단 기준을 변동시켜도 된다.

또한, 상기의 설명에서는, 전처리 수단(19)이 연속하는 복수의 화상을 선택하는 경우를 예로서 설명했지만, 전처리 수단(19)이 선택하는 복수의 화상은 연속하는 화상이 아니어도 된다.

또한, 전처리 수단(19)은, 화상 내의 명암의 콘트라스트를 나타내는 양을 산출하고, 그 콘트라스트를 나타내는 양에 관해서 미리 정해진 조건을 만족하는 화상을 선택하면 된다. 상술한 엣지수는 화상 내의 명암의 콘트라스트를 나타내는 양의 일례이다. 또한, 엣지수가 임계값 이상이라는 조건은 명암의 콘트라스트를 나타내는 양에 관해서 미리 정해진 조건의 일례이다. 전처리 수단(19)이 엣지수에 기초하는 화상 선택 방법 이외의 방법으로 화상을 선택하는 예를 이하에 나타내었다. 예를 들어, 전처리 수단(19)은, 카메라(11_a)로부터 입력된 화상마다, 화상의 명암의 콘트라스트를 나타내는 양으로서 휘도값의 표준 편차를 산출해도 된다. 이때, 전처리 수단(19)은 화상 전체에 포함되는 각 화소의 휘도값의 표준 편차를 산출해도 된다. 또는, 화상 내에서, 벽돌끼리의 경계선이 찍히는 영역을 미리 정해 두고, 전처리 수단(19)은, 화상 내의 그 영역에서의 휘도값의 표준 편차를 산출해도 된다. 또한, 화상을 선택하는 조건의 일례로서, 화상의 콘트라스트를 나타내는 양이 그 전의 화상의 콘트라스트를 나타내는 양보다 일정 값 이상 저하되는 사상의 발생시부터 그 일정 시간 경과 후까지의 화상을 제외하고, 제외되지 않고 남은 화상을 선택한다는 조건을 들 수 있다. 예를 들어, 이 조건을 채용하여, 명암의 콘트라스트를 나타내는 양으로서 휘도값의 표준 편차를 산출할 경우, 전처리 수단(19)은, 임의의 화상에서, 휘도값의 표준 편차가 앞의 화상의 휘도값의 표준 편차보다 일정 값 이상 저하된 경우, 그 시점부터 일정 기간이 경과할 때까지 생성된 화상을 그 후의 처리의 대상으로부터 제외하고, 제외되지 않고 남은 화상을 선택하면 된다. 그리고, 전처리 수단(19)은 선택한 복수의 화상으로부터 전처리 화상을 생성한다. 또한, 화상 내의 명암의 콘트라스트를 나타내는 양이 일정 값 이상 저하되었다는 것은, 콘트라스트가 갑자기 저하되었다는 것으로, 원료분이 날아오르는 등의 현상이 발생한 것으로 간주할 수 있다.

이하의 설명에서는, 전처리 수단(19)이 화상 내의 엣지수에 기초하여 화상을 선택하는 경우를 예로서 설명한다.

전처리 수단(19)은, 선택한 복수의 화상을 사용하여, 전처리 화상에서의 개개의 화소의 휘도값을 결정함으로써 전처리 화상을 생성한다. 선택한 복수의 화상에서, 대응하는 화소(동일한 화상 좌표의 화소)에 착안하여, 그 화소 중에서 최소가 되는 휘도값을 특정한다. 그리고, 전처리 수단(19)은 그 휘도값을 전처리 화상에서의 대응 화소의 휘도값으로서 정한다. 예를 들어, 전처리 수단(19)은 선택한 각 화상에서의 화상 좌표(x₁, y₁)의 휘도값을 읽어들여, 화상 좌표(x₁, y₁)에서의 휘도값 중 최소값을 특정한다. 그리고, 전처리 수단(19)은, 그 최소로 되어 있는 휘도값을, 전처리 화상의 화상 좌표(x₁, y₁)에서의 휘도값으로서 정한다. 전처리 수단(19)은 이 처리를 화소마다 행한다. 그리고, 전처리 수단(19)은 생성한 전처리 화상을 화상 기억 수단(12)에 기억시킨다. 전처리 수단(19)은 이 처리를 일정 주기로 반복한다. 따라서, 카메라(11_a)가 촬영한 화상에 기초하여 생성된 전처리 화상이 순차, 화상 기억 수단(12)에 축적되어 간다.

또한, 전처리에서, 카메라(11_a)로부터 입력된 복수의 화상 중, "엣지의 카운트 결과가 많은 상태를 유지하고 있는 연속하는 복수의 화상" 이외의 화상에 대해서는 무시해도 좋다.

여기에서는, 카메라(11_a)가 촬영한 화상을 사용하는 경우를 예로서 설명했지만, 카메라(11_b)도, 정기적으로 일정 영역(9_b) 방향을 촬영하고, 그 화상을 순차, 전처리 수단(19)에 입력한다. 전처리 수단(19)은, 카메라(11_b)가 촬영한 화상으로부터도, 마찬가지로 전처리 화상을 생성하여, 화상 기억 수단(12)에 기억시켜 나간다.

엣지의 카운트 결과가 많은 상태를 유지하고 있는 연속하는 복수의 화상은, 프레임이나 원료분이 그다지 찍혀 있지 않은 화상이라고 할 수 있다. 프레임이나 부유하는 원료분이 많이 찍힌 화상에서는, 배치산이나 측벽이 불선명해져, 화상 내의 엣지수가 감소하기 때문이다. 또한, 프레임이 찍혀 있는 경우, 화상 내에서 프레임에 해당하는 개소의 휘도값은 높은 값이 된다. 따라서, 상기한 바와 같이 프레임이나 원료분이 그다지 찍혀 있지 않은 화상을 복수 선택하고, 또한 그것들의 화상에서의 대응 화소 중, 최소의 휘도값을 특정함으로써, 프레임이나 원료분이 찍혀 있지 않은 상태의 화상에서의 휘도값을 선택할 수 있다. 그러한 휘도값을 갖는 화상으로서 전처리 화상을 정하므로, 카메라(11_a)가 촬영한 화상의 일부에, 로 내에서 부유하는 원료분이나 프레임이 찍혀도, 그러한 원료분이나 프레임을 배제한 전처리 화상을 생성할 수 있다. 즉, 감시 대상으로 하는 배치산이 선명하게 찍힌 화상을 얻을 수 있다. 전처리 수단(19)이 전처리 화상을 생성하는 동작은 전처리 스텝에 상당한다.

또한, 이미 설명한 바와 같이, 프레임의 영향이 적거나, 부유하는 원료분이 적은 유리 용융로에서는, 상기와 같은 전처리를 행할 필요는 없다. 그 경우에는, 화상 처리 장치(13)는, 카메라(11_a, 11_b)가 촬영한 화상을 그대로 화상 기억 수단(12)에 기억시키면 된다.

이어서, 자세 특정 수단(14)이, 카메라의 자세를 판단하는 동작에 대하여 설명한다. 여기에서는, 카메라(11_a)의 자세를 판단하는 경우를 예로 들지만, 카메라(11_b)의 자세 판단 처리도 마찬가지이다. 도 8은 카메라의 자세 판단 처리의 처리 경과의 예를 나타내는 흐름도이다. 또한, 본 예에서는, 자세 특정 수단(14)이 복수의 기준 패턴의 화상 및 그 화상 좌표를 기억하고 있는 경우를 예로 들어 설명한다.

상술한 바와 같이, 전처리 수단(19)은, 일정한 주기(예를 들어, 수초의 주기)마다, 카메라(11_a)가 촬영한 화상으로부터 전처리 화상을 생성하고, 그 화상을 화상 기억 수단(12)에 기억시킨다.

자세 특정 수단(14)은, 화상 기억 수단(12)에 기억된 복수의 촬영 화상(본 예에서는, 카메라(11_a)가 촬영한 화상에 기초하여 생성된 전처리 화상)을 읽어들여, 카메라(11_a)의 자세에 어긋남이 발생했는지 여부를 판단하는 처리를 정기적으로 행한다. 단, 전처리 수단(19)의 처리 주기가 예를 들어 수초인 것에 비해, 자세 특정 수단(14)의 처리 주기는, 전처리 수단(19)에 의한 처리 주기보다 길다. 예를 들어, 자세 특정 수단(14)의 처리 주기는 수 시간일 수도 있다.

자세 특정 수단(14)은, 처리 개시 타이밍이 되었다고 판단하면, 화상 기억 수단(12)에 기억된 바로 근처의 소정 매수의 촬영 화상(카메라(11_a)가 촬영한 화상에 기초하여 생성된 전처리 화상)을 읽어들인다. 이 소정 매수는 미리 정해 두면 된다. 자세 특정 수단(14)은, 읽어들인 바로 근처의 소정 매수의 촬영 화상(전처리 화상)의 평균 화상을 생성한다(스텝 S1). 구체적으로는, 자세 특정 수단(14)은, 읽어들인 소정 매수의 촬영 화상에 관해서, 대응하는 화소마다 휘도값의 평균값을 계산하고, 그 평균값을 휘도값으로 하는 화상을 생성하여, 그 화상을 평균 화상으로 하면 된다. 본 예에서는, 평균 화상을 생성하는 경우를 예시했지만, 대응하는 화소마다 휘도값의 중간값을 계산하고, 그 중간값을 휘도값으로 하는 화상(중간값 화상)을 생성해도 된다.

또한, 본 예에서는, 스텝 S1에서 복수의 화상으로부터 평균 화상을 생성하는 경우를 예시했지만, 화상 기억 수단(12)에 기억된 1장의 화상에 대하여 스텝 S2 이후의 처리를 행해도 된다. 즉, 스텝 S1의 처리를 생략해도 된다.

자세 특정 수단(14)은, 스텝 S1에서 생성한 평균 화상에 대하여 자세 특정 수단(14)이 미리 기억하고 있는 복수의 기준 패턴에 관한 패턴 매칭을 행한다(스텝 S2). 본 예에서는, 화상끼리 유사한 정도가 높을수록, 계산되는 유사도의 값이 작아지는 경우를 예로서 설명한다. 스텝 S2에서, 자세 특정 수단(14)은, 미리 기억하고 있는 기준 패턴의 화상과 평균 화상 내의 각 부에서 유사도를 계산한다. 그리고, 유사한 정도가 가장 높은(본 예에서는, 유사도가 가장 작은 값이 된다) 화상 내의 위치를 특정한다. 예를 들어, 도 4에 예시하는 기준 패턴의 화상 및 그 화상 좌표를 미리 기억하고 있었다고 하면, 자세 특정 수단(14)은, 평균 화상 내에서, 도 4에 예시하는 기준 패턴의 화상과의 유사도의 값이 임계값 이하로 되어 있는 개소를 특정하고, 또한 그것들의 개소 중에서 유사도의 값이 가장 작은 개소를 특정한다. 이 개소가, 평균 화상 내에서 기준 패턴에 상당하는 부분이다. 또한, 자세 특정 수단(14)은, 예를 들어 특정한 개소의 중심 화소의 화상 좌표를 특정한다. 즉, 자세 특정 수단(14)은, 도 4에 예시하는 기준 패턴의 화상에 가장 유사한 개소를 평균 화상으로부터 특정하고, 예를 들어 그 중심 화소의 화상 좌표를 특정한다. 자세 특정 수단(14)은, 이 처리를, 미리 기억하고 있었던 기준 패턴의 화상마다 행한다.

유사도의 계산은, 공지의 방법으로 행하면 된다. 예를 들어, 유사도의 예로서, SSD(Sum of Squared Difference)나 SAD(Sum of Absolute Difference)를 들 수 있다. SSD는, 유사도 산출 대상이 되는 한 쌍의 화상에서의 대응하는 화소끼리의 휘도값의 차의 제곱의 합계값이다. 따라서, 자세 특정 수단(14)은, 유사도 산출 대상이 되는 한 쌍의 화상에서의 대응하는 화소끼리의 조마다, 휘도값의 차의 제곱을 계산하고, 또한 그 합계값을 계산함으로써 SSD를 산출하면 된다. 또한, SAD는, 유사도 산출 대상이 되는 한 쌍의 화상에서의 대응하는 화소끼리의 휘도값의 차의 절댓값의 합계값이다. 따라서, 자세 특정 수단(14)은, 유사도 산출 대상이 되는 한 쌍의 화상에서의 대응하는 화소끼리의 조마다, 휘도값의 차의 절댓값을 계산하고, 또한 그 합계값을 계산함으로써 SAD를 산출하면 된다. 또한, 유사도 산출 대상이 되는 화상이 2치 화상일 경우에는, 자세 특정 수단(14)은, 유사도 산출 대상이 되는 한 쌍의 화상에서의 대응하는 화소끼리의 조마다, XOR(eXclusive OR: 배타적 논리합)을 계산하고, 또한 그 합계값을 계산하여, 그 계산 결과를 유사도로 해도 된다. SSD, SAD 및 화소끼리의 조마다의 XOR의 합계값은 모두, 화상끼리가 유사한 정도가 높을수록 값이 작아지는 유사도이다.

또한, 본 예에서는, 화상끼리 유사한 정도가 높을수록 값이 작아지는 유사도를 사용하는 경우를 예로서 설명하고 있지만, 다른 유사도를 사용해도 된다. 예를 들어, 자세 특정 수단(14)은, 유사도로서, 정규화 상호 상관(NCC: Normalized Cross-Correlation)을 계산해도 된다. 정규화 상호 상관은, 화상끼리 유사한 정도가 높을수록 값이 1에 가까워진다. 따라서, 자세 특정 수단(14)은, 유사도로서 정규화 상호 상관을 산출할 경우에는, 그 유사도(정규화 상호 상관)의 값이 1에 가장 가까운 개소를 특정하면 된다.

이어서, 자세 특정 수단(14)은, 기준 패턴마다, 스텝 S2에서 특정한, 유사한 정도가 가장 높은 개소(본 예에서는, 유사도의 값이 가장 작아지는 개소)의 화상 좌표와, 미리 기억하고 있었던 기준 패턴의 화상 좌표의 차(즉, 거리)를 계산하고, 그 거리에 기초하여, 카메라(11_a)의 자세에 어긋남이 발생했는지 여부를 판정한다(스텝 S3). 자세 특정 수단(14)은, 스텝 S2에서 특정한 화상 좌표와 미리 기억하고 있었던 특징 좌표의 거리와, 임계값을 비교하여, 좌표간의 거리가 임계값 이상이면, 카메라의 자세에 어긋남이 발생했다고 판정하고, 좌표간의 거리가 임계값 미만이면 카메라의 자세에 어긋남이 발생하지 않았다고 판정하면 된다. 또한, 자세 특정 수단(14)은, 미리 복수의 기준 패턴을 기억하고 있으므로, 기준 패턴마다 좌표간의 거리(스텝 S2에서 특정한 화상 좌표와, 미리 기억하고 있었던 특징 좌표의 차)를 계산한다. 이 복수의 거리와 임계값을 비교하여, 카메라의 자세에 어긋남이 발생하였는지 여부를 판정하는 기준은, 특별히 한정되지 않는다. 예를 들어, 기준 패턴마다 계산하여 얻어진 복수의 좌표간 거리 중, 소정 개수 이상이 임계값 이상으로 되어 있는 것을 조건으로, 카메라의 자세에 어긋남이 발생했다고 판정해도 된다. 또는, 모든 좌표간 거리가 임계값 이상으로 되어 있는 것을 조건으로, 카메라의 자세에 어긋남이 발생했다고 판정해도 된다. 여기에서는 2개의 기준을 예시했지만, 다른 기준에 따라서 카메라의 자세에 어긋남이 발생했는지 여부를 판정해도 된다.

카메라의 자세에 어긋남이 발생했다고 판정했을 경우(스텝 S3에서의 "예"), 자세 특정 수단(14)은, 미리 기억하고 있었던 기준 패턴의 화상 및 그 화상 좌표의 조에서의 화상 좌표를, 스텝 S2에서 특정한 화상 좌표로 치환함으로써, 기억해 두는 기준 패턴의 화상 및 화상 좌표의 조에서의 화상 좌표를 갱신한다(스텝 S4). 즉, 자세 특정 수단(14)은, 평균 화상 내에서 기준 패턴에 해당하는 개소로서 특정한 개소의 화상 좌표(상기의 예에서는, 그 개소의 중심 화소의 화상 좌표)를 그 기준 패턴의 화상과 한 쌍이 되는 화상 좌표로 해서, 기억하는 화상 좌표를 갱신한다. 스텝 S4의 처리에 의해, 카메라의 자세의 어긋남에 맞춰서, 평균 화상 내에서의 기준 패턴의 좌표(화상 좌표)가 갱신되게 된다. 단, 자세 특정 수단(14)은, 갱신 전의 화상 좌표에 관해서도, 스텝 S5의 처리에서 사용한다. 스텝 S5에서 사용할 때까지, 갱신 전의 화상 좌표도 기억해 둔다.

스텝 S4 후에, 자세 특정 수단(14)은, 기준점을 사용하여 카메라(11_a)의 자세를 추정한다(스텝 S5). 스텝 S5에서, 자세 특정 수단(14)은 이하의 처리를 행하면 된다. 자세 특정 수단(14)은, 갱신 전의 기준 패턴의 화상 좌표(미리 기억하고 있었던 기준 패턴의 화상 좌표)와, 갱신 후의 기준 패턴의 화상 좌표에 기초하여, 기준 패턴이 화상 내에서 얼마만큼, 어느 방향으로 어긋났는지를 계산한다. 기준 패턴이 복수 존재하는 경우에는, 예를 들어 기준 패턴마다의 어긋난 양의 평균이나, 어긋난 방향의 평균을 계산하고, 그 평균값을 기준 패턴의 어긋난 양 및 어긋난 방향으로 하면 된다. 또는 다른 기준으로, 갱신 전후의 기준 패턴의 어긋난 양 및 어긋난 방향을 정해도 된다. 자세 특정 수단(14)은, 기준 패턴의 어긋난 방향 및 어긋난 양에 맞춰서, 미리 기억하고 있는 기준점의 화상 좌표를 변화시킨다. 즉, 갱신 전후의 기준 패턴의 어긋남에 맞춰서, 기준점의 화상 좌표의 좌표값을 갱신한다. 그리고, 자세 특정 수단(14)은, 카메라(11_a)의 각종 자세에서의 개개의 기준점의 화상 좌표를, 실공간에서의 각 기준점의 3차원 좌표로부터 산출한다. 그리고, 자세 특정 수단(14)은, 각 기준점의 3차원 좌표로부터 산출한 화상 좌표가, 갱신 후의 각 기준점의 화상 좌표에 가장 가까워지는 자세를 특정하고, 그 자세가 카메라(11_a)의 자세라고 판정한다. 그리고, 지정 추정 처리(즉, 스텝 S5의 처리)를 종료한다.

또한, 카메라의 자세에 어긋남이 발생하지 않았다고 판정했을 경우(스텝 S3에서의 "아니오"), 자세 특정 수단(14)은, 스텝 S2에서 특정한, 평균 화상 내에서의 기준 패턴에 상당하는 개소의 화상으로, 미리 기억하고 있었던 기준 패턴의 화상을 갱신한다(스텝 S6). 즉, 스텝 S2에서, 평균 화상 내에서 기준 패턴에 상당하는 개소로서 특정한 부분의 화상을 추출하고, 그 화상을 새로운 기준 패턴이 화상으로서 기억한다. 자세 특정 수단(14)은, 이 처리를 기준 패턴마다 행한다. 이 스텝 S6의 처리에 의해, 자세 특정 수단(14)이 미리 기억하고 있었던 기준 패턴의 화상 및 그 화상 좌표의 조에서의 기준 패턴의 화상이 갱신된다.

유리 용융로 내에서의 측벽의 상태가 서서히 변화하여, 화상 내에서 기준 패턴에 상당하는 개소와, 자세 특정 수단(14)이 기억하고 있는 기준 패턴의 화상과의 유사한 정도가 저하되는 경우가 있다. 예를 들어, 도 4에 도시한 바와 같이 관찰 창의 코너 부근의 패턴을 기준 패턴으로 하고 있는 경우에도, 코너 부분에 원료분이 서서히 부착되어 감으로써, 촬영 화상 내에서의 기준 패턴 부분의 화상은, 직각인 코너의 화상에서, 둥그스름한 코너의 화상으로 서서히 변화하는 경우가 있다. 기억하고 있는 기준 패턴의 화상을 갱신하지 않는다고 가정하면, 이 변화가 커져서, 새로운 화상이 촬영되었을 때에, 그 화상과, 도 4에 예시하는 기준 패턴의 화상의 매칭을 행할 수 없게 된다. 그러나, 스텝 S5에서, 평균 화상에서의 패턴 매칭의 결과에 기초하여, 기억해 두는 기준 패턴의 화상을 갱신함으로써, 다음번의 패턴 매칭을 고정밀도로 행할 수 있다. 예를 들어, 미리 기억하고 있었던 도 4에 예시하는 기준 패턴의 화상을, 코너 부분이 둥그스름한 기준 패턴의 화상으로 서서히 갱신해 나갈 수 있다. 그 결과, 다음번의 패턴 매칭을 고정밀도로 행할 수 있고, 카메라의 자세 판정도 고정밀도로 행할 수 있다.

자세 특정 수단(14)은, 카메라(11_a)가 촬영한 화상에 기초하여 생성되고, 화상 기억 수단(12)에 기억된 전처리 화상에 관해서, 일정한 주기마다 스텝 S1 이후의 처리를 행하면 된다. 마찬가지로, 카메라(11_b)가 촬영한 화상에 기초하여 생성되어, 화상 기억 수단(12)에 기억된 전처리 화상에 관해서도, 일정한 주기마다 스텝 S1 이후의 처리를 행하면 된다.

또한, 전처리가 행해지지 않고, 카메라(11_a, 11_b)가 촬영한 화상이, 그대로 화상 기억 수단(12)에 기억되는 경우에도, 자세 특정 수단(14)은, 카메라(11_a)가 촬영한 화상에 대하여 일정한 주기마다 스텝 S1 이후의 처리를 행하면 된다. 그리고, 마찬가지로, 카메라(11_b)가 촬영한 화상에 대하여 일정한 주기마다, 스텝 S1 이후의 처리를 행하면 된다.

이어서, 바로 위에서 관찰했을 때의 일정 영역에서의 배치산의 배치 화상(도 7 참조)을 작성하여, 관찰 데이터를 산출하는 동작에 대해 설명한다. 도 9는 이 동작의 처리 경과의 예를 나타내는 흐름도이다. 여기에서는, 카메라(11_a)에 의한 촬영 화상(본 예에서는, 카메라(11_a)가 촬영한 화상에 기초하여 생성된 전처리 화상)에 대하여 화상 처리 장치(13)가 처리를 행하는 경우를 예로서 설명하지만, 화상 처리 장치(13)는, 카메라(11_b)에 의한 촬영 화상(본 예에서는, 카메라(11_b)가 촬영한 화상에 기초하여 생성된 전처리 화상)에 대해서도 마찬가지의 처리를 행한다.

우선, 화상 교정 수단(16)은, 화상 기억 수단(12)에 기억되어 있는 카메라(11_a)에 의한 촬영 화상(본 예에서는, 전처리 화상)을 새로운 것부터 순서대로 복수 장 읽어들인다. 이때 읽어들이는 촬영 화상의 매수는 미리 정해 두면 된다. 그리고, 화상 교정 수단(16)은, 그 각 촬영 화상으로부터, 실공간에서의 일정 영역(9_a)에 해당하는 범위(31_a)(도 6 참조)를 추출한다(스텝 S10). 추출된 범위(31_a)가 나타내는 화상(이하, 추출 화상이라 기재함)은 기포를 배경으로 하는 배치산의 화상이다. 여기에서는 편의적으로, 카메라(11_a)의 자세가 변화하지 않은 경우를 예로서 설명하지만, 카메라(11_a)의 자세가 변화한 경우, 화상 교정 수단(16)은, 화상 촬영시의 카메라(11_a)의 자세에 기초하여, 촬영 화상으로부터, 실공간에서의 일정 영역(9_a)에 해당하는 범위(31_a)를 추출하면 된다.

또한, 전처리가 행해지지 않고, 카메라(11_a, 11_b)가 촬영한 화상이, 각각 그대로 화상 기억 수단(12)에 기억되었을 경우, 화상 교정 수단(16)은, 스텝 S10에서, 카메라(11_a)가 촬영하여 그대로 화상 기억 수단(12)에 기억된 촬영 화상을, 새로운 것부터 순서대로 복수 장 읽어들여, 각 촬영 화상으로부터 추출 화상을 추출하면 된다. 또한, 카메라(11_b)가 촬영하여 그대로 화상 기억 수단(12)에 기억된 촬영 화상에 대해서도 마찬가지이다. 다른 점에 대해서는, 전처리를 행한 경우나 행하지 않은 경우나 마찬가지이다. 스텝 S10은 영역 추출 스텝에 상당한다.

이어서, 배경 화상 작성 수단(15)은, 복수 장의 촬영 화상으로부터 각각 추출된 추출 화상에 기초하여, 배치산이 존재하지 않는 경우의 화상을 작성한다. 즉, 배치산의 배경이 되는 배경 화상을 작성한다(스텝 S11). 스텝 S11에서는, 최신의 촬영 화상으로부터 추출된 추출 화상과 공통인 화상 좌표의 화소를 갖고, 그 화소의 휘도값이 기포를 나타내는 배경 화상을 작성한다. 스텝 S11은 배경 화상 작성 스텝에 상당한다.

도 10은 스텝 S11의 배경 화상 작성 처리의 처리 경과의 예를 나타내는 흐름도이다.

배경 화상 작성 처리에서, 배경 화상 작성 수단(15)은, 최신의 촬영 화상으로부터 추출된 추출 화상에서의 개개의 화소를 선택하고, 선택한 화소 및 그 화소에 대응하는 다른 추출 화상 내의 화소의 휘도값에 기초하여, 선택한 화소에서 배경을 나타내는 휘도값을 결정한다. 그 결과, 배치산이 존재하지 않는 경우의 배경 화상을 얻는다. 이하, 도 10을 참조하여 이 처리를 설명한다. 또한, 여기에서는, 화소마다 배경을 나타내는 휘도값을 결정하는 경우를 예로서 설명하지만, 배경 화상 작성 수단(15)은, 추출 화상에서의 개개의 영역마다 배경을 나타내는 휘도값을 결정해도 된다.

배경 화상 작성 수단(15)은 최신의 촬영 화상으로부터 추출된 추출 화상의 화소 중에서 1개의 화소를 선택한다(스텝 S21). 이어서, 배경 화상 작성 수단(15)은, 스텝 S10(도 9 참조)에서 다른 촬영 화상으로부터 추출된 각 추출 화상으로부터, 선택한 화소에 대응하는 화소(즉, 일정 영역(9_a) 내의 동일 위치에 해당하는 화소)를 추출한다(스텝 S22).

이어서, 배경 화상 작성 수단(15)은, 스텝 S21에서 선택한 화소 및 그 화소에 대응하는 다른 추출 화상 내의 화소(즉, 스텝 S22에서 얻은 화소)를 대상으로 하여, 휘도값마다, 그 휘도값에 해당하는 화소수를 카운트한다(스텝 S24). 스텝 S24의 처리는 히스토그램 작성 처리라고 할 수 있다.

계속해서, 배경 화상 작성 수단(15)은, 화소의 카운트수(도수)가 많아진 휘도값의 범위 내에서의 휘도값의 편차를 평가한다(스텝 S25). 카운트수가 많아진 휘도값의 범위란, 예를 들어 카운트수가 임계값(카운트수에 대하여 정해진 임계값) 이상이 되는 휘도값이 연속해서 계속되는 범위이다. 도 11 및 도 12는 스텝 S24의 결과 얻어진 히스토그램이다. 도 11에 도시하는 예에서는, 화소의 카운트수가 많아진 휘도값의 범위는, k₁ 내지 k₂이다. 도 12에 나타내는 예에서는, 화소의 카운트수가 많아진 휘도값의 범위는, k₃ 내지 k₄이다. 편차를 평가하는 평가값으로서, 예를 들어 이러한 범위 내에서 카운트된 화소의 휘도값의 표준 편차나 분산을 사용하면 된다. 또는, 화소의 카운트수가 많아진 휘도값의 범위의 폭을 평가값으로서 사용하면 된다. 스텝 S25에서는, 이러한 평가값을 산출하면 된다. 예시한 표준 편차, 분산, 또는 화소의 카운트수가 많아진 휘도값의 범위의 폭 등을 평가값으로서 산출하는 경우, 평가값이 작을수록, 휘도값의 편차가 작아지게 된다. 또한, 다른 지표값을 편차의 평가값으로서 사용해도 된다.

스텝 S25 후에, 배경 화상 작성 수단(15)은, 스텝 S25에서 산출한 평가값에 기초하여, 화소의 카운트수가 많아진 휘도값의 범위 내에서의 휘도값의 편차가 큰지 여부를 판정한다(스텝 S26). 스텝 S26에서는, 미리 정해진 임계값(편차의 평가값에 대한 임계값)과 평가값을 비교함으로써, 편차가 큰지 여부를 판정하면 된다. 예를 들어, 휘도값의 표준 편차를 평가값으로 해서 계산했을 경우, 평가값이 임계값(평가값에 대하여 정해진 임계값) 이상이면, 편차가 크다고 판정하고, 평가값이 임계값 미만이면 편차가 작다고 판정하면 된다. 임계값의 값은, 평가값으로서 채용하는 지표값(표준 편차, 분산 등)에 따라서 미리 정해 두면 된다.

휘도값의 편차가 작다고 판정했을 경우(스텝 S26에서의 "아니오"), 배경 화상 작성 수단(15)은, 카운트값이 많아진 휘도값의 범위 내에서의 최빈 휘도값을 판정한다(스텝 S28). 도 11은 휘도값의 편차가 작은 경우의 히스토그램의 예이다. 도 11을 예로 하면, 카운트값이 많아진 휘도값의 범위는 k₁ 내지 k₂이며, 이 범위 내에서의 최빈 휘도값(화소의 카운트수가 최대로 되어 있는 휘도값)은 S이다. 따라서, 배경 화상 작성 수단(15)은 스텝 S28에서 S의 값을 특정한다. 그리고, 그 S의 값을, 스텝 S21에서 선택한 좌표의 화소에서의 휘도값으로서 결정한다. 선택한 좌표에서, 휘도값의 편차가 작다는 것은, 그 좌표에는 배치산은 찍히지 않고, 배경이 계속해서 찍혔다고 할 수 있다. 따라서, 편차가 작은 경우에는, 상기와 같이 최빈 휘도값(S)을, 배경이 되는 기포의 휘도값으로서 결정할 수 있다. 또한, 상기와 같이 최빈 휘도값(S) 대신에 카운트값이 많아진 휘도값의 범위(k₁ 내지 k₂)에 해당하는 화소의 휘도값의 평균값을 산출하고, 그 평균값을, 배경을 나타내는 휘도값으로서 결정해도 된다. 또는, 휘도값의 범위(k₁ 내지 k₂)의 중앙값을, 배경을 나타내는 휘도값으로서 결정해도 된다.

한편, 휘도값의 편차가 크다고 판정했을 경우(스텝 S26에서의 "예"), 배경 화상 작성 수단(15)은, 카운트값이 많아진 휘도값의 범위 내에서의 판별 기준값보다 큰 휘도값에 해당하는 각 화소의 휘도값의 평균값을 산출한다(스텝 S27). 도 12는 휘도값의 편차가 큰 경우의 히스토그램의 예이다. 도 12를 예로 하면, 카운트값이 많아진 휘도값의 범위는 k₃ 내지 k₄이다. 또한, 판별 기준값이 T라고 한다. 이때, 배경 화상 작성 수단(15)은, 휘도값이 T보다 크고, k₄까지의 범위에 해당하는 화소의 휘도값의 평균값을 계산한다. 그리고, 배경 화상 작성 수단(15)은, 그 평균값을, 스텝 S21에서 선택한 좌표의 화소에서의 휘도값으로서 결정한다. 선택한 좌표에서, 휘도값의 편차가 크다는 것은, 그 좌표에 배치산이 찍히거나, 배경이 되는 기포가 찍혔다고 할 수 있다. 그리고, 기포의 휘도값은, 배치산의 휘도값보다 크다. 따라서, 상기와 같이 판별 기준값보다 큰 범위에 해당하는 화소의 휘도값의 평균을, 배경이 되는 기포의 휘도값으로서 결정할 수 있다. 또한, 상기와 같이 평균값을 산출하는 대신에, 카운트값이 많아진 휘도값의 범위 내에서의 판별 기준값보다 큰 범위(도 12에 나타내는 예에서는 T 내지 k₄의 범위)에서의 최빈 휘도값을 판정하고, 그 최빈 휘도값을, 선택한 좌표의 화소에서의 휘도값으로서 결정해도 된다. 또는, T 내지 k₄의 범위에서의 중앙값을, 선택한 좌표의 화소에서의 휘도값으로서 결정해도 된다.

또한, 판별 기준값은 편차가 큰 범위(본 예에서는, 휘도값의 범위)를 2개로 분리하기 위한 임계값이며, 비특허문헌 3에 기재된 판별 분석 2치화법에서의 임계값에 해당한다. 따라서, 배경 영역과 배치산 영역에 관한 클래스내 분산과 클래스간 분산의 분산비가 최대가 되는 임계값을 판별 기준값(T)으로 하면 된다.

여기에서는, 판별 분석 2치화법으로 휘도값의 범위(k₃ 내지 k₄)를 2개의 클래스로 분할하는 경우를 나타냈지만, 다른 방법으로, 휘도값의 범위(k₃ 내지 k₄)를 2개의 클래스로 분할해도 된다. 예를 들어, 모드법이나, 2개의 정규 분포를 적용시키는 방법 등으로 휘도값의 범위(k₃ 내지 k₄)를 2개의 클래스로 분할해도 된다. 그리고, 휘도값이 높은 쪽의 클래스부터, 상기와 마찬가지로, 선택한 좌표의 화소에서의 휘도값을 결정하면 된다.

배경 화상 작성 수단(15)은, 도 10의 흐름도를 사용하여 설명한 상기의 처리를, 화소마다 행하고, 스텝 S27 또는 스텝 S28에서 구한 휘도값을, 스텝 S21에서 선택한 화소에 대응하는 배경 화상의 화소의 휘도값으로서 결정한다. 그 결과, 최신의 촬영 화상으로부터 추출된 추출 화상에서, 배치산을 제거한 화상이 얻어진다. 또한, 이 화상은 카메라(11_a)의 시점에서 관찰한 경우의 배경 화상이다.

또한, 배경 화상 작성 수단(15)은 추출 화상을 분할하여 얻어지는 개개의 영역마다 배경을 나타내는 휘도값을 결정해도 된다. 이 경우, 스텝 S21에서, 배경 화상 작성 수단(15)은, 최신의 촬영 화상으로부터 추출된 추출 화상에서 1개의 영역을 선택한다. 영역을 정하는 방법은 특별히 한정되지 않는다. 그리고, 배경 화상 작성 수단(15)은, 스텝 S22에서는, 다른 촬영 화상으로부터 추출된 각 추출 화상으로부터, 선택한 영역에 대응하는 영역(일정 영역(9_a) 내의 동일한 부분에 해당하는 영역)을 추출한다. 그리고, 스텝 S24 이후에서는, 스텝 S21에서 선택한 영역 및 그 영역에 대응하는 영역(스텝 S22에서 얻은 영역)에 속하는 각 화소를 대상으로 하여 히스토그램을 작성하고, 휘도값의 편차의 평가값을 산출하여, 편차가 큰지 여부에 따라 휘도값을 산출하면 된다(스텝 S24 내지 S28). 배경 화상 작성 수단(15)은, 이 처리를, 추출 화상을 분할하여 얻어지는 개개의 영역마다 행하고, 스텝 S27 또는 스텝 S28에서 구한 휘도값을, 스텝 S21에서 선택한 영역에 대응하는 배경 화상의 영역 내의 각 화소의 휘도값으로서 결정하면 된다.

배경 화상 작성 처리 후에, 스텝 S12(도 9 참조)로 이행한다. 스텝 S12에서, 화상 교정 수단(16)은, 배경 화상 작성 처리(스텝 S11)에서 얻어진 배경 화상을, 일정 영역(9_a)을 바로 위에서 관찰했을 때의 화상으로 변환한다(스텝 S12). 즉, 스텝 S11에서 얻어진 배경 화상에 관해서, 시점을 카메라(11_a)의 위치에서 일정 영역(9_a)의 바로 위로 변화시키는 시점 변환 처리를 행하고, 그 시점에서 관찰한 경우의 배경 화상을 작성한다. 그 결과, 일정 영역(9_a)에 배치산이 존재하지 않는 상태에서, 일정 영역(9_a)을 바로 위에서 관찰한 경우의 화상이 얻어진다. 스텝 S12는 배경 화상 변환 스텝에 상당한다.

이어서, 화상 교정 수단(16)은, 스텝 S10에서, 최신의 촬영 화상으로부터 추출된 추출 화상을, 일정 영역(9_a)을 바로 위에서 관찰했을 때의 화상으로 변환한다(스텝 S13). 즉, 최신의 촬영 화상으로부터 추출된 추출 화상에 관해서, 시점을 카메라(11_a)의 위치에서 일정 영역(9_a)의 바로 위로 변화시키는 시점 변환 처리를 행하고, 그 시점에서 관찰한 경우의 화상으로 변환한다. 이 변환 후의 화상에는, 배치산 및 배경이 찍혀 있다. 스텝 S12, S13에서의 변환 처리는, 마찬가지의 변환 처리이다. 스텝 S13은 추출 화상 변환 스텝에 상당한다.

또한, 스텝 S12, S13에서의 변환 후의 화상의 크기가 상이한 경우, 화상 교정 수단(16)은 스텝 S12, S13에서의 변환 후의 화상의 크기를 정렬할 수 있게 보정을 행해도 좋다.

스텝 S12, S13에서 얻은 변환 후의 화상을 그대로 사용하여, 후술하는 스텝 S14 이후의 처리를 실행해도 된다.

또는, 최신의 촬영 화상을 검출할 때마다, 화상 처리 장치(13)는, 스텝 S10부터 스텝 S13까지의 처리를 실행하고, 화상 교정 수단(16)은, 스텝 S12에서 얻어지는 화상(일정 영역(9_a)을 바로 위에서 관찰했을 때의 배경 화상)과, 스텝 S13에서 얻어지는 화상(일정 영역(9_a)을 바로 위에서 관찰했을 때의 화상)을 각각 복수 장 기억해도 된다. 그리고, 화상 교정 수단(16)은, 스텝 S12를 실행할 때마다 얻어지는 화상을, 최신의 소정 매수분 선택하여, 선택한 화상을 합성하고(예를 들어, 평균 화상을 생성하고), 마찬가지로 스텝 S13을 실행할 때마다 얻어지는 화상을, 최신의 소정 매수분 선택하여, 선택한 화상을 합성해도 된다. 그리고, 스텝 S12를 실행할 때마다 얻어지는 화상의 합성 화상(일정 영역(9_a)을 바로 위에서 관찰했을 때의 배경 화상)과, 스텝 S13을 실행할 때마다 얻어지는 화상의 합성 화상(일정 영역(9_a)을 바로 위에서 관찰했을 때의 화상)을 사용하여, 후술하는 스텝 S14 이후의 처리를 실행해도 된다.

고체 상태의 원료의 대부분은 액면보다 아래에 존재한다. 그로 인해, 스텝 S12, S13에서 각각 1장씩 얻은 화상을 사용하여, 다음의 스텝 S14 이후의 처리를 행하는 것보다, 스텝 S12마다 얻은 복수 장의 화상의 합성 화상과, 스텝 S13마다 얻은 복수 장의 화상의 합성 화상을 사용하여, 다음의 스텝 S14 이후의 처리를 행하는 것이, 얻어지는 관찰 데이터로부터, 고체 상태의 원료의 전체 형상을 파악하기 쉽다. 따라서, 상기한 바와 같이 스텝 S12를 실행할 때마다 얻어지는 화상을 복수 장 합성하고, 마찬가지로, 스텝 S13을 실행할 때마다 얻어지는 화상을 복수 장 합성하여, 그것들의 합성 화상을 사용해서, 스텝 S14 이후의 처리를 실행하는 것이 바람직하다.

스텝 S13을 실행할 때마다 얻어지는 복수 장의 화상을 합성하는 경우, 화상 교정 수단(16)은, 예를 들어 복수의 화상에서 대응하는 각 화소의 휘도값의 평균값을 계산하고, 그 평균값을 합성 화상에서의 대응 화소의 휘도값으로 하면 된다. 이 처리를 화소마다 행하고, 합성 화상의 각 휘도값을 정함으로써 합성 화상을 생성하면 된다. 또한, 대응하는 각 화소의 휘도값의 평균값 대신에 대응하는 각 화소의 휘도값에 최소값을 특정하고, 그 휘도값의 최소값을, 합성 화상에서의 대응 화소의 휘도값으로 해도 된다.

화상 교정 수단(16)은 스텝 S12를 실행할 때마다 얻어지는 복수 장의 화상을 합성하는 경우에도 마찬가지의 처리를 행함으로써 합성 화상을 생성하면 된다.

또한, 관찰 데이터로서 배치산의 이동 속도를 산출하는 경우에는, 상기와 같은 합성 화상을 생성하지 않고, 스텝 S12, S13에서 얻어진 각 화상을 사용하여, 스텝 S14 이후의 처리를 행하면 된다. 또한, 배치산의 이동 속도를 산출하는 경우에는, 카메라(11_a, 11_b)가 촬영한 화상 그 자체를 사용하여, 스텝 S10 이후의 처리를 행한다.

이어서, 차분 연산 수단(17)은, 스텝 S13의 변환 후의 화상과 스텝 S12의 변환 후의 배경 화상의 사이에서, 대응하는 화소끼리의 휘도값의 차를 산출한다(스텝 S14). 여기서, 스텝 S13의 변환 후의 화상이란, 스텝 S13에서 얻어진 1장의 화상이거나, 스텝 S13의 실행마다 얻어진 복수 장의 화상의 합성 화상이어도 된다. 마찬가지로, 스텝 S12의 변환 후의 배경 화상이란, 스텝 S12에서 얻어진 1장의 화상이거나, 스텝 S12의 실행마다 얻어진 복수 장의 화상의 합성 화상이어도 된다.

스텝 S14에서, 차분 연산 수단(17)은, 스텝 S13의 변환 후의 화상(배치산 및 배경이 찍힌 화상)의 화소의 휘도값에서, 스텝 S12의 변환 후의 배경 화상의 화소의 휘도값을 감산한다. 차분 연산 수단(17)은, 이 감산 처리를, 대응하는 화소끼리의 조마다 행한다.

도 13은 스텝 S13의 변환 후의 화상의 예를 나타낸다. 이 화상에는, 배경과 배치산(10)이 찍혀 있다. 도 14는 스텝 S12의 변환 후의 배경 화상의 예를 나타낸다. 도 15는 이 2개의 화상에 대하여 스텝 S14의 처리를 행한 결과의 화상의 예를 나타낸다. 이미 설명한 바와 같이, 기포의 휘도에도 다소의 변화가 있기 때문에, 스텝 S14의 처리 후에, 배경에 해당하는 화소의 휘도값이 0이 된다고는 할 수 없다.

스텝 S14 후에, 차분 연산 수단(17)은, 스텝 S14에서 얻은 화상(도 15 참조)에 대하여 2치화 처리를 행한다(스텝 S15). 즉, 차분 연산 수단(17)은, 화상 내의 화소마다, 2치화 처리용으로 미리 정한 임계값 이상의 휘도값을 "1"로 치환하고, 그 임계값 미만의 휘도값을 "0"으로 치환하는 처리를 행한다. 배경에 해당하는 화소의 휘도값은, 스텝 S14의 감산 처리에 의해 0 부근의 값으로 되어 있으므로, 2치화 처리에 의해 "0"이 된다. 또한, 배치산(10)에 해당하는 화소의 휘도값은, 스텝 S14의 감산 처리에서 값이 크게 감소하지는 않으므로, 2치화 처리에 의해 "1"이 된다. 그 결과, 배경에 해당하는 화소의 휘도값은 "0"이 되고, 배치산(10)에 해당하는 화소의 휘도값은 "1"이 된다. 2치화 처리 후의 화상의 예를 도 16에 나타내었다. 2치화 처리 후의 화상은, 최신의 촬영 화상으로부터 추출된 추출 화상에 기초하여 작성된 일정 영역(9_a)에서의 배치산의 위치를 나타내고 있다. 또한, 이 화상은, 일정 영역(9_a)의 바로 위의 시점에서 관찰한 상태를 나타내고 있어, 배치산의 높이의 정보는 포함하고 있지 않다. 차분 연산 수단(17)은 스텝 S15에서 생성한 화상(이하, 2치화 화상)을 기억한다. 스텝 S14, S15는 배경 제외 화상 생성 스텝에 상당한다.

스텝 S15 후에, 관찰 데이터 산출 수단(18)은, 스텝 S15에서 생성된 2치화 화상을 사용하여, 일정 영역(9_a) 내에 존재하는 배치산의 관찰 데이터를 산출한다(스텝 S16). 단, 스텝 S16에서는, 바로 근처에 생성된 2치화 화상뿐만 아니라, 과거로 거슬러 올라가서 연속하는 2치화 화상도 사용하여 관찰 데이터를 산출해도 된다. 또한, 여기서는, 일정 영역(9_a)에 관한 2치화 화상의 생성에 대하여 설명했지만, 화상 처리 장치(13)는, 카메라(11_b)에 의한 촬영 화상에 기초하여, 일정 영역(9_b)에 관한 2치화 화상도 생성한다. 관찰 데이터 산출 수단(18)은, 일정 영역(9_a, 9_b) 각각의 2치화 화상에 기초하여 관찰 데이터를 산출해도 된다. 스텝 S16은 관찰 데이터 산출 스텝에 상당한다.

이하, 스텝 S16에서 산출하는 관찰 데이터의 예를 나타낸다. 관찰 데이터의 예로서, 일정 영역(9_a, 9_b) 각각의 내외비를 들 수 있다. 도 17은, 일정 영역(9_a, 9_b)을 측벽(6)측의 영역과 유리 용융로의 중앙측의 영역으로 이등분한 영역을 도시하는 설명도이다. 도 1에 도시하는 요소와 마찬가지의 요소에 대해서는, 도 1과 동일한 부호를 부여하고 설명을 생략한다. 영역(51, 52)은, 일정 영역(9_a)을 측벽(6)측의 영역과 중앙측의 영역으로 이등분한 영역이며, 영역(51)이 측벽(6)측의 영역이고, 영역(52)이 중앙측의 영역이다. 마찬가지로, 영역(41, 42)은, 일정 영역(9_b)을 측벽(6)측의 영역과 중앙측의 영역으로 이등분한 영역이며, 영역(41)이 측벽(6)측의 영역이고, 영역(42)이 중앙측의 영역이다. 관찰 데이터 산출 수단(18)은, 일정 영역(9_a)에 관한 내외비로서, 영역(51) 내의 배치산의 점유율과, 영역(52) 내의 배치산의 점유율의 비를 나타내는 평가값을 계산하면 된다. 또한, 마찬가지로, 일정 영역(9_b)에 관한 내외비로서, 영역(41) 내의 배치산의 점유율과, 영역(42) 내의 배치산의 점유율의 비를 나타내는 평가값을 계산하면 된다.

예를 들어, 측벽(6)측의 영역(즉, 영역(51)이나 영역(41))에서의 배치산의 점유율을 Q라 하고, 중앙측의 영역(즉, 영역(52)이나 영역(42))에서의 배치산의 점유율을 R이라 했을 경우, 관찰 데이터 산출 수단(18)은, 이하의 식 (1)로 표현되는 평가값을 내외비로서 계산해도 된다. 단, Q, R은 백분율로 표현되고, 각각 0 내지 100의 범위의 값이다.

내외비=(R-Q)/(R+Q+α) 식 (1)

식 (1)에서 α는 상수이며, 예를 들어 α=100일 수도 있다. 이 경우, 내외비는, -0.5 내지 0.5의 범위의 값이 된다. 관찰 데이터 산출 수단(18)은, 일정 영역(9_a, 9_b)에 대하여 각각 내외비를 산출하면 된다.

고체 상태의 원료가 측벽(6)측에 너무 접근해 있으면, 원료가 미용해인 상태로 유리 용융로로부터 흘러나는 경우가 있으며, 그 경우, 유리의 품질이 떨어진다. 내외비에 의해, 고체 상태의 원료가 측벽(6)측에 너무 접근해 있지 않은지 여부를 확인할 수 있다. 고체 상태의 원료가 측벽(6)측에 너무 접근해 있다고 판단되는 경우에는, 배치산이 중앙으로 접근하도록, 유리 용융로를 조작하면 된다.

또한, 관찰 데이터 산출 수단(18)은 일정 영역(9_a, 9_b) 각각에서의 배치산의 점유율을 산출해도 된다.

또한, 관찰 데이터 산출 수단(18)은 일정 영역(9_a, 9_b) 각각에서의 배치산의 선단 위치(예를 들어, 배치산의 선단 위치의 좌표)를 산출해도 된다.

또한, 배치산의 상태나, 프레임의 확대 등이 원인이 되어, 2치화 화상에 배치산의 선단 위치가 찍히지 않은 경우가 있다. 이 경우, 관찰 데이터 산출 수단(18)은, 일정 영역(9_a)을 용해한 원료의 진행 방향에 수직인 방향으로 분할하고, 각 분할 영역에서의 배치산의 면적을 산출한다. 그리고, 상류측의 분할 영역으로부터 하류측의 분할 영역 방향으로의 배치산의 면적의 변화가 선형 변화인 것으로 하여, 배치산의 면적이 0이 되는 위치를 산출하고, 그 위치를 배치산의 선단 위치라고 판정해도 된다. 일정 영역(9_b)에 대해서도 마찬가지이다.

배치산의 선단 위치가 하류측으로 너무 연장되면, 미용해인 상태로 흘러나올 가능성이 발생한다. 관찰 데이터 산출 수단(18)이 산출한 배치산의 선단 위치가 하류측으로 너무 연장되어 있는 경우에는, 배치산의 선단 위치가 상류측으로 복귀되도록 유리 용융로를 조작하면 된다.

또한, 관찰 데이터 산출 수단(18)은, 상류측에서 보아 우측의 일정 영역(9_a)에서의 관찰 데이터의 값과, 상류측에서 보아 좌측의 일정 영역(9_b)에서의 관찰 데이터의 값의 차를, 관찰 데이터로서 산출해도 된다. 예를 들어, 관찰 데이터 산출 수단(18)은, 일정 영역(9_a)에서의 배치산의 점유율과, 일정 영역(9_b)에서의 배치산의 점유율의 차를 산출해도 된다. 또한, 관찰 데이터 산출 수단(18)은, 일정 영역(9_a)에서의 배치산의 선단 위치와, 일정 영역(9_b)에서의 배치산의 선단 위치의 차를 산출해도 된다. 이하, 일정 영역(9_a, 9_b)에서의 관찰 데이터의 값의 차를 좌우차라고 기재한다. 이 좌우차도 관찰 데이터의 하나로서 산출함으로써, 상류측에서 보아 우측과 좌측에서 고체 원료의 상태에 치우침이 없는지를 확인할 수 있다. 예를 들어, 상류측에서 보아 우측과 좌측 중 어느 한쪽에서만 용해가 진행되고, 다른 쪽에서는 용해가 느리다는 등의 상황을 확인할 수 있고, 그 상황에 따라, 유리 용융로를 조작하도록 판단할 수 있다.

예를 들어, 스텝 S16에서 산출된 좌우차에 의해, 일정 영역(9_a, 9_b) 중 어느 한쪽에서의 원료의 용해가 느리다고 판단되는 경우에는, 원료의 용해가 느린 쪽의 일정 영역에 가까운 측벽의 버너에 대한 연료 투입량을 증가시키는(즉, 버너의 화력을 강화하는) 등의 조작을 행하면 된다.

또한, 상기의 예에서는, 배치산의 점유율이나 선단 위치에 관한 좌우차를 산출하는 경우를 설명했지만, 관찰 데이터 산출 수단(18)은 다른 관찰 데이터에 관한 좌우차를 산출해도 된다.

또한, 배치산의 점유율, 선단 위치 및 그러한 좌우차는 바로 근처의 1장의 2치화 화상으로부터 산출해도 되지만, 바로 근처의 복수의 2치화 화상의 합성 화상으로부터 산출해도 된다. 또한, 이미 설명한 바와 같이, 고체 상태의 원료의 전체 형상을 파악하는 관점에서는, 스텝 S12마다 얻어지는 각 화상을 합성하고, 또한 스텝 S13마다 얻어지는 각 화상을 합성하여, 그것들의 합성 화상을 사용해서 스텝 S14 이후의 처리를 행하여, 2치화 화상을 생성하는 것이 바람직하다.

또한, 관찰 데이터 산출 수단(18)은, 연속하는 복수의 2치화 화상에서의 동일한 배치산의 위치와, 카메라의 촬영 간격에 기초하여, 배치산 전체의 이동 속도를 산출해도 된다. 배치산 전체의 이동은 완만하므로, 연속하는 복수의 2치화 화상에서, 동일한 배치산의 위치의 변화는 적다. 따라서, 관찰 데이터 산출 수단(18)은, 연속하는 복수의 2치화 화상에서, 위치 좌표가 가장 가까운 배치산끼리가 동일한 배치산이라고 판정하면 된다. 그리고, 동일한 배치산의 좌표의 변화로부터, 그 배치산의 이동 거리를 산출하고, 그 이동 거리와 촬영 간격으로부터 배치산 전체의 이동 속도를 산출하면 된다. 본 예에서는, 하나의 배치산의 이동 속도를, 배치산 전체의 이동 속도로 간주하게 된다. 또한, 관찰 데이터로서 배치산의 속도를 산출하는 경우에는, 카메라(11_a, 11_b)가 촬영한 화상 그 자체를 사용하여, 스텝 S10 이후의 처리를 행한다. 또한, 스텝 S12에서 얻어진 1장의 화상과, 스텝 S13에서 얻어진 1장의 화상을 사용하여, 스텝 S14 이후의 처리를 행한다.

또한, 관찰 데이터 산출 수단(18)은, 연속하는 복수의 2치화 화상에서의 동일한 배치산의 위치에 기초하여, 배치산의 이동 방향을 산출해도 된다.

또한, 관찰 데이터 산출 수단(18)은, 연속하는 복수의 2치화 화상으로부터, 배치산의 감소율을 산출해도 된다. 예를 들어, 관찰 데이터 산출 수단(18)은, 연속하는 각 2치화 화상에서, 동일한 배치산을 판정하고, 각 2치화 화상에서, 배치산의 면적이나 길이의 감소율을 산출해도 된다. 또한, 길이의 감소율을 산출할 때, 원료가 흐르는 방향을 따른 길이에 기초하여 감소율을 산출해도 되고, 또는 원료가 흐르는 방향에 수직인 방향을 따른 길이에 기초하여 감소율을 산출해도 된다.

또한, 관찰 데이터 산출 수단(18)은, 배치산 전체의 이동 속도, 배치산의 이동 방향, 배치산의 감소율 등을 산출할 때, 연속하는 복수의 2치화 화상을 사용하는 것이 바람직하지만, 연속하지 않은 복수의 2치화 화상을 사용해도 된다.

이 배치산의 감소율은, 배치산의 높이의 감소율과의 사이에 상관을 갖고 있는 것으로 생각되며, 배치산의 감소율에 의해 배치산의 높이를 판단할 수 있다. 배치산이 너무 높으면, 용해하는데 시간이 걸려, 선단 위치가 신장되어버린다.

또한, 관찰 데이터 산출 수단(18)은, 2치화 화상으로부터, 개개의 배치산의 방향(배치산이 연장되어 있는 방향)을 산출해도 된다. 이러한 방향은, 미리 기준이 되는 방향을 정해 두고, 그 기준 방향이 이루는 각도에 의해 나타내면 된다.

또한, 관찰 데이터 산출 수단(18)은 2치화 화상으로부터 개개의 배치산의 크기를 산출해도 된다.

또한, 관찰 데이터 산출 수단(18)은, 2치화 화상과, 스텝 S13에서 얻어진 화상에 기초하여, 배치산에서의 가스의 분출 상태를 평가하는 평가값을 계산해도 된다. 배치산으로부터 가스가 분출하고 있으면, 화상 내에서 배치산의 표면에 함몰된 구멍이 관찰되어 거칠게 보인다. 따라서, 관찰 데이터 산출 수단(18)은, 스텝 S13에서 얻어진 화상 중, 배치산에 상당하는 영역을 2치화 화상을 사용하여 판정하고, 그 영역에서의 휘도값의 표준 편차를 계산해서, 그 표준 편차를, 가스의 분출 상태의 평가값으로 해도 된다.

또한, 가스의 분출에 의해 함몰된 부분은 검은 영역으로서 관찰된다. 따라서, 관찰 데이터 산출 수단(18)은, 스텝 S13에서 얻어진 화상 중, 배치산에 상당하는 영역을 2치화 화상을 사용하여 판정하고, 그 영역 내에서의 흑색 화소의 총 수를 카운트하여, 그 카운트 결과를, 가스의 분출 상태의 평가값으로 해도 된다.

비특허문헌 1이나 특허문헌 1에서는, 배치산의 점유율이나 배치산의 선단 위치(최하류 위치)를 평가하는 것이 기재되어 있었지만, 본 발명에서는 그것에 한하지 않고, 내외비, 좌우차, 배치산의 속도나 이동 방향, 배치산의 감소율, 개개의 배치산의 방향이나 크기, 배치산에서의 가스의 분출 상태의 평가값 등의 다양한 관찰 데이터를 측정함으로써, 배치산의 정량적 평가를 안정적으로 행할 수 있다. 또한, 그 결과에 기초하여, 유리 용융로를 적절하게 운전함으로써 고품질의 유리를 제조할 수 있다.

또한, 본 발명에 따르면, 자세 특정 수단(14)이, 촬영 화상(보다 구체적으로는 촬영 화상의 평균 화상)에 대하여 기준 패턴의 패턴 매칭을 행하고, 촬영 화상 내에서의 기준 패턴의 화상 좌표에 기초하여, 카메라의 자세의 어긋남의 유무를 판정하여, 어긋남이 발생했다고 판정했을 경우에는, 자세의 어긋난 양을 사용하여, 카메라의 자세(위치 및 방향)를 특정한다. 그리고, 화상 교정 수단(16)이, 카메라의 자세에 기초하여, 실공간에서의 일정 영역(9_a, 9_b)에 해당하는 범위를 촬영 화상으로부터 추출한다. 또한, 배경 화상 작성 수단(15)이, 그 추출 화상으로부터 배경 화상을 작성하고, 화상 교정 수단(16)이, 추출 화상 및 배경 화상을, 시점을 카메라의 위치에서 일정 영역의 바로 위로 변화시키는 시점 변환 처리를 행하고, 차분 연산 수단(17)이 양자의 휘도값의 차분을 계산한다. 따라서, 청소시 등에 카메라의 자세가 변화되어버려도, 유리 용융로 내의 일정한 영역의 관찰을 양호하게 계속할 수 있다.

또한, 전처리 수단(19)은, 전처리로서, 카메라로부터 입력된 복수의 화상 중에서, 엣지의 카운트 결과가 많은 상태를 유지하고 있는 연속하는 복수의 화상을 선택한다. 그리고, 전처리 수단(19)은, 선택한 복수의 화상에서, 대응하는 화소에 착안하여, 그 화소 중에서 최소가 되는 휘도값을 특정하고, 그 휘도값을, 전처리 화상에서의 대응 화소의 휘도값으로서 정한다. 전처리 수단(19)은 이 처리를 대응 화소마다 행한다. 카메라가 촬영한 화상에 따라서는, 로 내에서 부유하는 원료분이 찍히거나 프레임이 찍혀서, 배경이나 배치산이 불선명해지는 경우도 있는데, 상기와 같이 전처리를 행함으로써, 프레임이나 원료분 등의 외란의 영향이 적은 화상을 작성할 수 있다. 그리고, 이러한 화상을 사용하여, 스텝 S10 이후의 처리(도 9 참조)를 행함으로써, 외란의 영향이 적은 양호한 배경 화상이나, 배치산만을 나타내는 화상도 양호한 화상을 얻을 수 있어, 일정 영역에서의 배치산의 상태를 정확하게 감시할 수 있다.

따라서, 본 실시 형태에 따르면, 유리 용융로 내의 일정한 영역의 관찰을 계속하여, 그 일정 영역에서의 배치산의 상태를 양호하게 감시할 수 있다. 또한, 이미 설명한 바와 같이, 원료분이나 프레임의 영향이 적은 유리 용융로를 감시하는 경우에는, 전처리를 행하지 않아도 된다. 그 경우, 카메라가 로 내를 촬영하여 생성한 화상 그 자체를 사용하여, 스텝 S10 이후의 처리(도 9 참조)를 행해도 된다.

또한, 본 실시 형태에서, 자세 특정 수단(14)이, 촬영 화상에 대하여 복수의 기준 패턴의 패턴 매칭을 행하여, 카메라의 자세를 특정한다. 이와 같이, 복수의 기준 패턴을 사용하므로, 카메라의 자세 어긋남 판정의 신뢰성이 증가한다.

이어서, 제1 실시 형태의 변형예에 대하여 설명한다. 상기의 제1 실시 형태에서는, 배경 화상 및 최신의 촬영 화상으로부터 추출된 추출 화상에 대해서, 각각 변환 처리(스텝 S12, S13. 도 9 참조)를 행하고나서, 차분을 계산하는 처리(스텝 S14. 도 9 참조)를 행하는 경우를 나타냈다. 먼저, 화소끼리의 차분을 계산하는 처리를 행하고나서 변환 처리를 행해도 된다. 도 18은 이러한 제1 실시 형태의 변형예에서의 유리 용융로내 감시 시스템의 구성예를 도시하는 블록도이다. 도 18에 나타내는 각 수단은 도 2에 도시하는 각 수단과 마찬가지의 수단이며, 도 2와 동일한 부호로 나타낸다. 단, 본 변형예에서는, 각종 화상의 흐름이, 상기의 제1 실시 형태와는 일부 상이하므로, 각종 화상의 흐름을 나타내는 화살표가 도 2와는 상이하다. 또한, 도 19는 이러한 제1 실시 형태의 변형예에서의 관찰 데이터 산출까지의 처리 경과의 예를 나타내는 흐름도이다. 제1 실시 형태에서 설명한 처리와 마찬가지의 처리에 대해서는, 도 9와 동일한 부호를 부여하고 설명을 생략한다.

본 변형예에서는, 스텝 S10, S11 후에, 차분 연산 수단(17)이, 최신의 촬영 화상으로부터 추출된 추출 화상과, 스텝 S11에서 작성된 배경 화상의 사이에서, 대응하는 화소끼리의 휘도값의 차를 산출한다(스텝 S31). 이때, 차분 연산 수단(17)은, 최신의 촬영 화상으로부터 추출된 추출 화상(배치산 및 배경이 찍힌 화상)의 화소의 휘도값에서 배경 화상의 화소의 휘도값을 감산한다. 차분 연산 수단(17)은, 이 감산 처리를, 대응하는 화소끼리의 조마다 행한다. 그 결과, 카메라의 시점에서 본 일정 영역의 화상이며, 배경이 제거된 화상이 얻어진다. 단, 상기의 감산 결과에서, 배경에 해당하는 화소의 휘도값이 0으로 되어 있다고는 할 수 없다.

그로 인해, 차분 연산 수단(17)은, 스텝 S31 후에, 스텝 S31에서 얻어진 화상에 대하여 2치화 처리를 행한다(스텝 S32). 그 결과, 카메라의 시점에서 본 일정 영역의 화상으로, 배경에 해당하는 화소의 휘도값이 "0"이며, 배치산(10)에 해당하는 화소의 휘도값이 "1"이 되는 2치화 화상이 얻어진다. 스텝 S31, S32는 배경 제외 화상 생성 스텝에 상당한다.

스텝 S32 후에, 화상 교정 수단(16)은, 스텝 S32에서 생성된 2치화 화상에 대해서, 시점을 카메라의 위치에서 일정 영역의 바로 위로 변화시키는 시점 변환 처리를 행한다(스텝 S33). 그 결과, 이미 설명한 스텝 S15(도 9 참조)에서 얻은 2치화 화상과 마찬가지의 2치화 화상이 얻어진다. 스텝 S33은 배경 제외 화상 변환 스텝에 상당한다.

스텝 S32 후에, 관찰 데이터 산출 수단(18)은, 스텝 S32에서의 변환 처리 후의 2치화 화상을 사용하여, 일정 영역 내에 존재하는 배치산의 관찰 데이터를 산출한다(스텝 S16). 이 처리는, 이미 설명한 스텝 S16의 처리와 마찬가지이다.

[실시 형태 2]

도 20은 본 발명의 제2 실시 형태의 유리 용융로내 감시 시스템의 구성예를 도시하는 블록도이다. 제1 실시 형태와 마찬가지의 구성 요소는, 도 2와 동일한 부호를 부여하고 설명을 생략한다. 제2 실시 형태의 유리 용융로내 감시 시스템은, 카메라(11_a)와, 카메라(11_b)와, 화상 처리 장치(13_a)를 구비한다. 화상 처리 장치(13_a)는, 전처리 수단(19), 화상 기억 수단(12), 자세 특정 수단(14), 배경 화상 작성 수단(15), 화상 교정 수단(16), 차분 연산 수단(17) 및 관찰 데이터 산출 수단(18) 외에, 관찰 데이터 해석 수단(61)과, 용융로 제어 수단(62)을 구비한다. 또한, 화상 처리 장치(13_a)는, 도 18에 나타내는 유리 용융로내 감시 시스템의 화상 처리 장치에 관찰 데이터 해석 수단(61) 및 용융로 제어 수단(62)을 추가한 구성이어도 된다.

관찰 데이터 해석 수단(61)은, 관찰 데이터 산출 수단(18)에 의해 값이 산출되는 다양한 관찰 데이터와, 유리 용융로의 다양한 운전 파라미터의 상관의 정도를 판정한다. 바꾸어 말하면, 관찰 데이터 해석 수단(61)은, 유리 용융로의 다양한 운전 파라미터가, 관찰 데이터 산출 수단(18)에 의해 값이 산출되는 다양한 관찰 데이터에 미치는 영향의 정도를 도출한다. 관찰 데이터의 예로서, 일정 영역(9_a, 9_b) 각각에서의 배치산의 점유율, 배치산의 선단 위치 및 그러한 관찰 데이터의 좌우차, 일정 영역(9_a, 9_b)에서의 내외비, 배치산의 이동 속도, 배치산의 감소율 등을 들 수 있지만, 관찰 데이터는 이것들에 한정되지 않는다. 또한, 운전 파라미터로서, 버너 연료의 연소 조건(예를 들어, 연소량 등), 원료의 투입 조건 (예를 들어, 투입량 등), 배치·깨진 유리비 등을 들 수 있지만, 운전 파라미터도 이것들에 한정되지 않는다.

관찰 데이터 해석 수단(61)은, 예를 들어 주성분 분석 및 다변량 해석(예를 들어, 다중 회귀 분석)에 의해, 관찰 데이터와 운전 파라미터의 상관의 정도를 판정한다. 예를 들어, 관찰 데이터 해석 수단(61)은, 주성분 분석을 행하여 주성분을 구하고, 그 주성분을 이용해서 다변량 해석을 행한다. 그리고, 관찰 데이터 해석 수단(61)은, 상기의 과정에서 사용하고 있는 계수를 이용함으로써, 각 파라미터의 영향도를 도출한다. 파라미터의 영향도란, 구체적으로는 운전 파라미터가 관찰 데이터에 미치는 영향의 정도다. 관찰 데이터 해석 수단(61)이 파라미터의 영향도를 도출하는 처리는, 영향도 도출 스텝에 상당한다.

도 21은 1개의 관찰 데이터(여기서는, 관찰 데이터 A라고 함)에 대한 운전 파라미터의 영향도를 계산한 결과의 예를 나타내는 그래프이다. 도 21에서는, 관찰 데이터 A와, 운전 파라미터인 투입 조건 A(원료의 투입량으로 함), 투입 조건 B, 연소 파라미터 A 내지 D와의 상관을 나타내고 있다. 도 21의 종축은, 각 운전 파라미터의 영향도이다. 연소 파라미터 A 내지 D는 각 장소의 버너에서의 연소량이다. 운전 파라미터의 영향도의 값이 플러스이면, 관찰 데이터와의 사이에 플러스의 상관이 있고, 운전 파라미터의 영향도의 값이 마이너스이면, 관찰 데이터와의 사이에 마이너스의 상관이 있다. 또한, 영향도의 값의 절댓값이 클수록, 운전 파라미터와 관찰 데이터의 상관의 정도가 강한 것을 나타낸다.

예를 들어, 도 21에 나타내는 결과로부터, 투입 조건 A(원료의 투입량)를 증가시키면, 관찰 데이터 A의 값도 늘어나는 것을 의미한다. 또한, 연소 파라미터 A를 증가시키면, 관찰 데이터 A의 값은 감소하는 것을 의미한다.

용융로 제어 수단(62)은, 관찰 데이터 산출 수단(18)에 의해 산출된 관찰 데이터를 참조하여, 그 관찰 데이터가, 유리 용융로의 운전 상황을 변경해야 하는 값에 달하고 있으면, 그 관찰 데이터와의 사이에 상관성을 갖는 운전 파라미터를 변경한다. 여기서, 관찰 데이터와의 사이에 상관성을 갖는 운전 파라미터란, 예를 들어 관찰 데이터에 대한 영향도의 절댓값이 미리 정해진 값 이상으로 되어 있는 운전 파라미터이다. 예를 들어, 관찰 데이터의 값이 상한값을 초과하여, 너무 높아진 경우에는, 그 관찰 데이터와의 사이에 플러스의 상관을 갖는 운전 파라미터의 값을 감소시키거나, 또는 그 관찰 데이터와의 사이에 마이너스의 상관을 갖는 운전 파라미터의 값을 증가시킨다. 또한, 예를 들어 관찰 데이터의 값이 하한값 미만이 되어, 너무 낮아진 경우에는, 그 관찰 데이터와의 사이에 플러스의 상관을 갖는 운전 파라미터의 값을 증가시키거나, 또는 그 관찰 데이터와의 사이에 마이너스의 상관을 갖는 운전 파라미터의 값을 감소시킨다. 구체예로는, 관찰 데이터인 배치산의 점유율과, 운전 파라미터인 로내 온도와의 사이에 마이너스의 상관이 있다고 판정되고, 배치산의 점유율이 상한값을 초과한 경우, 용융로 제어 수단(62)은, 로내 온도를 상승시키도록 유리 용융로를 조작하면 된다. 즉, 버너의 화력을 상승시키면 된다. 이렇게 용융로 제어 수단(62)이 운전 파라미터를 변경하는 처리는, 용융로 제어 스텝에 상당한다.

또한, 용융로 제어 수단(62)은, 관찰 데이터의 값이 상한값을 초과하거나, 하한값 미만이 되었을 때에 경보를 출력해도 된다.

또한, 유리 용융로의 운전 파라미터의 변경은, 오퍼레이터가 행해도 된다. 이 경우, 용융로 제어 수단(62)은 구비되어 있지 않아도 된다. 또한, 이 경우, 오퍼레이터가, 관찰 데이터 산출 수단(18)에 의해 산출된 관찰 데이터와, 관찰 데이터 해석 수단(61)에 의해 산출된 관찰 데이터와 운전 파라미터의 사이의 영향도를 참조하여, 어느 운전 파라미터를 어떻게 변경할지를 판단하면 된다.

본 실시 형태에 따르면, 관찰 데이터 해석 수단(61)이, 관찰 데이터에 대한 운전 파라미터의 상관의 정도를 나타내는 영향도를 산출하므로, 감시한 배치산의 상태에 따라, 유리 용융로의 어느 운전 파라미터를 조절하면 되는지를 명확화할 수 있다.

또한, 용융로 제어 수단(62)을 설치함으로써, 오퍼레이터에 의존하지 않고, 자동으로 유리 용융로를 적절한 상태로 제어할 수 있다.

상기의 설명에서는, 관찰 데이터 해석 수단(61)이 관찰 데이터에 대한 운전 파라미터의 영향도를 산출하는 경우를 나타냈다. 그 밖에, 원료의 상태의 품질을 나타내는 품질 데이터(예를 들어, 기포 개수 등)가 얻어지는 경우에는, 관찰 데이터 해석 수단(61)은, 품질 데이터에 대한 관찰 데이터나 운전 파라미터의 상관의 정도를 나타내는 영향도를 산출해도 된다. 이 영향도도, 예를 들어 주성분 분석 및 다변량 해석에 의해 행하면 된다. 또한, 기포 개수가 많을수록, 가마의 상태가 나쁜 것을 의미한다.

도 22는, 1개의 품질 데이터인 기포 개수에 대한 관찰 데이터 A, B 및 운전 파라미터인 온도 A 내지 D의 영향도를 계산한 결과를 나타내는 그래프이다. 관찰 데이터 A, B는, 촬영 화상에 기초하여 생성한 2치화 화상에 의해 관찰 데이터 산출 수단(18)이 산출한 데이터이다. 온도 A 내지 D는, 유리 용융로의 각 장소의 온도를 계측함으로써 얻어진 값이다. 도 22에 나타내는 예에서도, 영향도의 값이 플러스이면, 관찰 데이터나 온도와 품질 데이터의 사이에는 플러스의 상관이 있고, 영향도의 값이 마이너스이면, 관찰 데이터나 온도와 품질 데이터의 사이에는 마이너스의 상관이 있다. 또한, 영향도의 값의 절댓값이 클수록, 상관의 정도가 큰 것을 나타낸다.

예를 들어, 도 22에 나타내는 결과로부터, 관찰 데이터 A, B의 값이 클수록, 기포 개수가 증가하고 있음(품질이 나빠지고 있음)을 알 수 있다. 또한, 온도 A의 값이 낮을수록, 기포 개수가 증가하고 있음을 알 수 있다.

또한, 임의의 조건하에서, 임의의 관찰 데이터와 품질 데이터의 사이에 상관이 있다고 판정되어도, 다른 조건하에서는, 다른 관찰 데이터와 그 품질 데이터의 사이에 상관이 있다고 판정되는 경우도 있다. 도 23은, 관찰 데이터와 품질 데이터의 상관이 상실되거나 새롭게 나타나는 상황의 변화를 나타내는 그래프이다. 도 23에 나타내는 좌측의 종축은 관찰 데이터의 값을 나타낸다. 우측의 종축은 품질 데이터(여기서는 기포 개수)의 값을 나타낸다. 횡축은 시간의 경과를 나타낸다. 도 23에 나타내는 예에서는, 계측 기간의 도중까지는, 관찰 데이터 A와 품질 데이터의 사이에 상관이 나타났지만, 후반이 되면, 그 상관은 상실되었다. 또한, 계측 기간의 도중까지는, 관찰 데이터 B와 품질 데이터의 사이에 상관은 없었지만, 후반이 되면, 관찰 데이터 B와 품질 데이터의 상관이 나타났다.

따라서, 관찰 데이터 해석 수단(61)은, 반복해서 관찰 데이터와 품질 데이터의 사이의 영향도를 산출하는 것이 바람직하다.

또한, 제2 실시 형태에서는, 관찰 데이터 해석 수단(61)이 산출한 영향도에 기초하여, 관찰 데이터와 상관을 갖는 운전 파라미터를 판정하고, 관찰 데이터에 따라서 그 운전 파라미터를 변경하는 경우를 나타냈다. 오퍼레이터가, 2치화 화상을 참조하여, 어느 운전 파라미터를 조작해야 하는지를 판단할 수 있는 경우, 오퍼레이터가 2치화 화상을 참조로 해서 운전 파라미터를 증감시켜도 된다. 예를 들어, 2치화 화상으로부터, 상류벽에서 보아 우측의 배치산의 용해가 느리다고 판단한 경우, 오퍼레이터는, 상류벽에서 보아 우측의 버너의 화력을 상승시켜도 된다.

또한, 상기의 각 실시 형태에서, 카메라(11_a)가 일정 영역(9_a)을 바로 위에서 촬영하는 위치에 배치되고, 카메라(11_b)가 일정 영역(9_b)을 바로 위에서 촬영하는 위치에 배치되어 있어도 된다. 이 경우에도, 특징적인 것(예를 들어, 측벽, 버너 등)이 촬영 범위에 포함되고, 기준 패턴이나 기준점도 촬영되는 것으로 한다. 이와 같이, 카메라(11_a)가 일정 영역(9_a)을 바로 위에서 촬영하는 위치에 배치되고, 카메라(11_b)가 일정 영역(9_b)을 바로 위에서 촬영하는 위치에 배치되는 경우, 시점을 일정 영역(9_a)이나 일정 영역(9_b)의 바로 위로 변화시키는 시점 변환 처리를 행하지 않아도 된다. 즉, 스텝 S12, S13(도 9 참조)의 시점 변환 처리를 행하지 않아도 된다. 또한, 실시 형태의 변형예로서 나타낸 처리 경과(도 19 참조)에서, 스텝 S33의 시점 변환 처리를 행하지 않아도 된다.

[실시 형태 3]

이어서, 본 발명의 제3 실시 형태로서, 유리 물품의 제조 방법에 대하여 설명한다. 본 발명의 유리 물품의 제조 방법에는, 제1 실시 형태에서 설명한 유리 용융로내 감시 방법이 적용된다. 또한, 본 발명의 유리 물품의 제조 방법에, 제2 실시 형태에서 설명한 관찰 데이터와 운전 파라미터의 상관의 정도의 판정 및 운전 파라미터의 변경 처리를 적용해도 된다. 도 24는, 본 실시 형태의 유리 물품의 제조 방법에서 사용하는 유리 물품의 제조 라인의 일례를 도시하는 모식도이다. 또한, 도 24에서는, 카메라(11_a, 11_b) 및 화상 처리 장치(13)의 도시를 생략하고 있지만, 유리 용융로(1)의 근방에는 카메라(11_a, 11_b)가 배치된다. 또한, 화상 처리 장치(13)도 배치된다. 단, 화상 처리 장치(13)의 배치 위치는 한정되지 않는다. 또한, 제2 실시 형태에서 설명한 화상 처리 장치(13_a)를 배치해도 된다.

유리 물품의 제조 라인에는, 유리 용융로(1)와, 청징조(30)가 설치된다. 또한, 청징조(30)의 종류는 한정되지 않는다. 청징조(30)는, 조의 내부를 감압 상태로 하여 기포를 제거하는 감압 타입의 청징조이어도 된다. 또는, 청징조(30)는 조의 내부를 고온으로 해서 기포를 제거하는 고온 타입의 청징조이어도 된다.

유리 용융로(1)(도 24 및 도 1 참조)는 유리의 원료를 용해시켜서, 용융 유리(71)로 변화시킨다. 도 24에서는 배치산의 도시를 생략하고 있다. 청징조(30)는 용융 유리(71)에 발생한 기포를 제거한다. 기포가 제거된 용융 유리는, 성형 스텝, 서냉 스텝으로 이행한다.

도 25는 본 실시 형태의 유리 물품의 제조 방법의 예를 나타내는 흐름도이다. 우선, 유리 용융로(1)에 유리의 원료가 투입된다. 유리 용융로(1)는, 버너(5)(도 1 참조)를 구비하여, 유리 용융로(1)의 내부를 고온으로 유지하고 있다. 그리고, 유리 용융로(1)에서 유리의 원료를 가열함으로써, 용융 유리(71)를 제조한다(스텝 S91, 유리 용융 스텝).

스텝 S91에서는, 카메라(11_a, 11_b)가 유리 용융로(1)의 내부를 촬영하고, 그 결과 얻어진 화상에 대하여 화상 처리 장치(13)가 제1 실시 형태와 마찬가지의 처리를 행한다. 즉, 스텝 S51 내지 S54(도 5 참조), 스텝 S1 내지 S6(도 8 참조), 스텝 S10 내지 S16(도 9 또는 도 19 참조), 스텝 S21 내지 S28(도 10 참조) 등의 처리를 행한다. 이 처리에 의해 관찰 데이터가 얻어지고, 유리 용융로(1)의 내부를 양호하게 감시할 수 있다. 또한, 제2 실시 형태에서 설명한 화상 처리 장치(13_a)가, 제2 실시 형태와 마찬가지로, 관찰 데이터와 유리 용융로(1)의 운전 파라미터와의 상관 정도를 판정하여, 유리 용융로(1)의 운전 파라미터를 변경해도 된다.

스텝 S91에서 제조된 용융 유리(71)는, 청징조(30)로 흘려진다. 이 용융 유리(71)에는 기포가 존재하고, 용융 유리(71)의 표면에 기포층(도시 생략)이 발생한다. 청징조(30)의 내부에서, 용융 유리(71)의 기포를 제거한다(스텝 S92, 청징 스텝).

스텝 S92 후에, 기포가 제거된 용융 유리를 성형한다(스텝 S93, 성형 스텝). 성형 스텝에서는, 예를 들어 플로트법에 의해 용융 유리를 성형하면 된다. 구체적으로는, 기포가 제거된 용융 유리(71)를 용융 주석(도시하지 않음) 위에 띄어, 반송 방향으로 진행시킴으로써 연속한 판상의 유리 리본으로 한다. 이때, 소정의 판 두께의 유리 리본을 성형하기 위해서, 유리 리본의 양쪽 사이드 부분에 회전하는 롤을 가압하고, 유리 리본을 폭 방향(반송 방향에 직각인 방향) 외측으로 잡아늘인다.

이어서, 스텝 S93에서 성형된 유리 리본을 서냉한다(스텝 S94, 서냉 스텝). 서냉 스텝에서는, 유리 리본을 용융 주석으로부터 인출하고, 서냉로(도시하지 않음)의 내부에서 서서히 유리 리본을 냉각한다. 서냉로의 외부로 반송한 후에도, 상온 근방까지 유리 리본을 더 서냉한다.

서냉 스텝 후에, 서냉 스텝에서 고화한 유리 리본을 필요에 따라서 가공한다(스텝 S95, 가공 스텝). 스텝 S95에서의 가공의 예로서, 예를 들어 절단이나 연마를 들 수 있다. 단, 절단이나 연마에 한정되지 않고, 다른 가공 처리를 행해도 된다.

본 실시 형태의 유리 물품의 제조 방법에 의하면, 유리 용융로 내의 일정한 영역의 관찰을 양호하게 계속하면서, 유리 물품을 제조할 수 있다. 특히, 화상 처리 장치(13_a)가, 제2 실시 형태와 마찬가지로, 관찰 데이터와 유리 용융로(1)의 운전 파라미터와의 상관 정도를 판정하여, 유리 용융로(1)의 운전 파라미터를 변경하면, 로 내의 관찰 결과에 따른 적절한 운전 파라미터로 유리 용융로(1)를 운전하여, 유리 물품을 제조할 수 있다.

본 출원을 상세하면서도 또한 특정한 실시 형태를 참조하여 설명했지만, 본 발명의 정신과 범위를 일탈하지 않고 다양한 변형이나 수정을 가할 수 있음은 당업자에게 있어서 명확하다.

본 출원은, 2011년 5월 6일 출원인 일본 특허 출원(일본 특허 출원 제2011-103601호)에 기초하는 것으로, 그의 내용은 여기에 참조로서 도입된다.

본 발명은 유리 용융로 내의 배치산을 감시하는 유리 용융로내 감시 시스템에 적절하게 적용된다.

11_a, 11_b : 카메라 12 : 화상 기억 수단
13, 13_a : 화상 처리 장치 14 : 자세 특정 수단
15 : 배경 화상 작성 수단 16 : 화상 교정 수단
17 : 차분 연산 수단 18 : 관찰 데이터 산출 수단
19 : 전처리 수단 61 : 관찰 데이터 해석 수단
62 : 용융로 제어 수단

Claims (18)

1. 화상 촬영 수단이, 유리 용융로 내에 설치된 기준 패턴과, 유리 용융로 내에서 용해된 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영하는 화상 촬영 스텝과,
   화상 내에 찍힌 기준 패턴의 위치 어긋남을 사용하여 계산되는 상기 화상 촬영 수단의 자세에 따라, 촬영된 화상 내에서 상기 일정 범위에 해당하는 영역을 추출하는 영역 추출 스텝과,
   상기 일정 범위에 해당하는 영역으로서 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 유리 용융로 내에 쌓인 유리 원료인 배치산(batch pile)의 배경이 되는 배경 화상을 작성하는 배경 화상 작성 스텝과,
   촬영된 화상으로부터 상기 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 상기 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 상기 배치산 및 상기 배경이 찍힌 상태의 상기 추출 화상으로부터 상기 배경을 제외한 배경 제외 화상을 생성하는 배경 제외 화상 생성 스텝과,
   상기 배경 제외 화상에 기초하여 상기 배치산에 관한 관찰 데이터를 산출하는 관찰 데이터 산출 스텝을 포함하는
   것을 특징으로 하는 유리 용융로내 감시 방법.
2. 제1항에 있어서,
   상기 배경 화상 작성 스텝에서,
   복수의 추출 화상의 대응 화소마다 또는 대응하는 영역마다 각 휘도값에 해당하는 화소의 수를 카운트하고, 각 휘도값에 해당하는 화소의 카운트 결과에 기초하여 배경을 나타내는 휘도값을 결정함으로써 배경 화상을 작성하는
   유리 용융로내 감시 방법.
3. 제1항 또는 제2항에 있어서,
   상기 배경 제외 화상 생성 스텝에서,
   촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행하고, 화소마다의 감산 결과를 2치화함으로써 배경 제외 화상을 생성하는
   유리 용융로내 감시 방법.
4. 제1항 또는 제2항에 있어서,
   배경 화상을, 일정 범위를 상기 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하는 배경 화상 변환 스텝과,
   상기 일정 범위에 해당하는 영역으로서 추출된 추출 화상을 당해 일정 범위를 상기 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하는 추출 화상 변환 스텝을 포함하고,
   배경 제외 화상 생성 스텝에서는, 상기 추출 화상 변환 스텝에 의한 변환 후의 추출 화상의 휘도값에서 상기 배경 화상 변환 스텝에 의한 변환 후의 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 행하고,
   상기 관찰 데이터 산출 스텝에서는, 상기 배경 제외 화상 생성 스텝에서 생성된 배경 제외 화상에 기초하여 관찰 데이터를 산출하는
   유리 용융로내 감시 방법.
5. 제1항 또는 제2항에 있어서,
   상기 배경 제외 화상을, 일정 범위를 상기 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하는 배경 제외 화상 변환 스텝을 포함하고,
   관찰 데이터 산출 스텝에서는, 상기 배경 제외 화상 변환 스텝에 의한 변환 후의 배경 제외 화상에 기초하여 관찰 데이터를 산출하는
   유리 용융로내 감시 방법.
6. 제1항 또는 제2항에 있어서,
   화상 촬영 스텝에서 얻어진 각 화상에 대하여 화상 내의 명암의 콘트라스트를 나타내는 양을 산출하고, 상기 콘트라스트를 나타내는 양에 대해서 미리 정해진 조건을 만족하는 화상을 선택하는 전처리 스텝을 포함하는
   유리 용융로내 감시 방법.
7. 제6항에 있어서,
   전처리 스텝에서, 콘트라스트를 나타내는 양으로서 화상 내의 엣지수를 산출하고, 상기 엣지수가 미리 정해진 임계값 이상이라는 조건을 만족하는 복수의 화상을 선택하고, 선택한 상기 복수의 화상에 기초하여, 일정 범위에 해당하는 영역을 추출하는 대상이 되는 화상을 생성하는
   유리 용융로내 감시 방법.
8. 제1항 또는 제2항의 유리 용융로내 감시 방법에서의 관찰 데이터 산출 스텝에서 산출되는 관찰 데이터에 대하여 유리 용융로의 운전 파라미터가 끼치는 영향의 정도를 도출하는 영향도 도출 스텝과,
   관찰 데이터가 소정의 조건을 만족한 경우에, 당해 관찰 데이터에 대한 상기 영향의 정도의 절댓값이 미리 정해진 값 이상으로 되어 있는 운전 파라미터를 변경하는 용융로 제어 스텝을 포함하는
   것을 특징으로 하는 유리 용융로 조작 방법.
9. 유리 용융로 내에 설치된 기준 패턴과, 유리 용융로 내에서 용해된 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영하는 화상 촬영 수단과,
   화상 내에 찍힌 기준 패턴의 위치의 어긋남을 사용하여 계산되는 상기 화상 촬영 수단의 자세에 따라, 촬영된 화상 내에서 상기 일정 범위에 해당하는 영역을 추출하는 화상 교정 수단과,
   상기 일정 범위에 해당하는 영역으로서 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 유리 용융로 내에 쌓인 유리 원료인 배치산의 배경이 되는 배경 화상을 작성하는 배경 화상 작성 수단과,
   촬영된 화상으로부터 상기 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 상기 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 상기 배치산 및 상기 배경이 찍힌 상태의 상기 추출 화상으로부터 상기 배경을 제외한 배경 제외 화상을 생성하는 차분 연산 수단과,
   상기 배경 제외 화상에 기초하여 상기 배치산에 관한 관찰 데이터를 산출하는 관찰 데이터 산출 수단을 구비하는
   것을 특징으로 하는 유리 용융로내 감시 시스템.
10. 제9항에 있어서,
    상기 배경 화상 작성 수단은, 복수의 추출 화상의 대응 화소마다 또는 대응하는 영역마다 각 휘도값에 해당하는 화소의 수를 카운트하고, 각 휘도값에 해당하는 화소의 카운트 결과에 기초하여 배경을 나타내는 휘도값을 결정함으로써 배경 화상을 작성하는
    유리 용융로내 감시 시스템.
11. 제9항 또는 제10항에 있어서,
    상기 차분 연산 수단은, 촬영된 화상으로부터 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행하고, 화소마다의 감산 결과를 2치화함으로써 배경 제외 화상을 생성하는
    유리 용융로내 감시 시스템.
12. 제9항 또는 제10항에 있어서,
    상기 화상 교정 수단은, 배경 화상을, 일정 범위를 상기 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하고, 상기 일정 범위에 해당하는 영역으로서 추출한 추출 화상을, 당해 일정 범위를 상기 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하고,
    상기 차분 연산 수단은, 상기 화상 교정 수단에 의한 변환 후의 추출 화상의 휘도값에서 화상 교정 수단에 의한 변환 후의 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 행하고,
    상기 관찰 데이터 산출 수단은, 상기 차분 연산 수단에 생성된 배경 제외 화상에 기초하여 관찰 데이터를 산출하는
    유리 용융로내 감시 시스템.
13. 제9항 또는 제10항에 있어서,
    상기 화상 교정 수단은, 상기 차분 연산 수단에 의해 생성된 배경 제외 화상을, 일정 범위를 상기 액면에 대향하는 상방에서 관찰했을 때의 화상으로 변환하고,
    상기 관찰 데이터 산출 수단은, 상기 화상 교정 수단에 의한 변환 후의 배경 제외 화상에 기초하여 관찰 데이터를 산출하는
    유리 용융로내 감시 시스템.
14. 제9항 또는 제10항에 있어서,
    화상 촬영 수단에 의해 얻어진 각 화상에 대하여 화상 내의 명암의 콘트라스트를 나타내는 양을 산출하고, 상기 콘트라스트를 나타내는 양에 대하여 미리 정해진 조건을 만족하는 화상을 선택하는 전처리 수단을 구비하는
    유리 용융로내 감시 시스템.
15. 제14항에 있어서,
    전처리 수단은, 콘트라스트를 나타내는 양으로서 화상 내의 엣지수를 산출하고, 상기 엣지수가 미리 정해진 임계값 이상이라는 조건을 만족하는 복수의 화상을 선택하고, 선택한 상기 복수의 화상에 기초하여 일정 범위에 해당하는 영역을 추출하는 대상이 되는 화상을 생성하는
    유리 용융로내 감시 시스템.
16. 제9항 또는 제10항에 있어서,
    상기 관찰 데이터 산출 수단에 의해 산출되는 관찰 데이터에 대하여 유리 용융로의 운전 파라미터가 끼치는 영향의 정도를 도출하는 관찰 데이터 해석 수단을 구비하는
    유리 용융로내 감시 시스템.
17. 제16항에 있어서,
    상기 관찰 데이터가 소정의 조건을 만족한 경우에, 당해 관찰 데이터에 대한 상기 영향의 정도의 절댓값이 미리 정해진 값 이상으로 되어 있는 운전 파라미터를 변경하는 용융로 제어 수단을 구비하는
    유리 용융로내 감시 시스템.
18. 유리 용융로 내에서 용융 유리를 제조하는 유리 용융 스텝과,
    청징조 내에서 상기 용융 유리의 기포를 제거하는 청징 스텝과,
    기포가 제거된 용융 유리를 성형하는 성형 스텝과,
    성형된 용융 유리를 서냉하는 서냉 스텝을 포함함과 함께,
    화상 촬영 수단이, 유리 용융로 내에 설치된 기준 패턴과 유리 용융로 내에서 용해된 유리 원료의 액면에서의 일정 범위를 포함하는 화상을 촬영하는 화상 촬영 스텝과,
    화상 내에 찍힌 기준 패턴의 위치의 어긋남을 사용하여 계산되는 상기 화상 촬영 수단의 자세에 따라, 촬영된 화상 내에서 상기 일정 범위에 해당하는 영역을 추출하는 영역 추출 스텝과,
    상기 일정 범위에 해당하는 영역으로서 복수의 화상으로부터 추출된 복수의 추출 화상에 기초하여, 유리 용융로 내에 쌓인 유리 원료인 배치산의 배경이 되는 배경 화상을 작성하는 배경 화상 작성 스텝과,
    촬영된 화상으로부터 상기 일정 범위에 해당하는 영역으로서 추출된 추출 화상의 화소의 휘도값에서 상기 배경 화상에서의 대응 화소의 휘도값을 감산하는 처리를 화소마다 행함으로써, 상기 배치산 및 상기 배경이 찍힌 상태의 상기 추출 화상으로부터 상기 배경을 제외한 배경 제외 화상을 생성하는 배경 제외 화상 생성 스텝과,
    상기 배경 제외 화상에 기초하여 상기 배치산에 관한 관찰 데이터를 산출하는 관찰 데이터 산출 스텝을 포함하는
    것을 특징으로 하는 유리 물품의 제조 방법.

Images