KR20230071057A

KR20230071057A - 영상을 이용한 정보 분석 시스템 및 그에 관한 방법

Info

Publication number: KR20230071057A
Application number: KR1020220129797A
Authority: KR
Inventors: 최인호
Original assignee: 렉스젠(주)
Priority date: 2021-11-15
Filing date: 2022-10-11
Publication date: 2023-05-23
Also published as: KR102542175B1

Abstract

본 문서에 개시된 일 실시 예에 따른 영상을 이용한 정보 분석 시스템은 영상으로부터 차량의 전면 유리 영역을 검출하고, 상기 영상으로부터 획득되는 차량 정보에 기초하여 상기 전면 유리 영역의 일부분에 인식 영역을 설정하고, 상기 인식 영역을 통해 탑승자에 대한 안전 운행 여부를 판단하는 데이터 처리부를 포함할 수 있다.

Description

영상을 이용한 정보 분석 시스템 및 그에 관한 방법{SYSTEM FOR ANALYZING INFORMATION USING VIDEO AND METHOD THEREOF}

본 문서에 개시된 실시 예들은 영상을 이용한 정보 분석 시스템 및 그에 관한 방법에 관한 것이다.

영상을 이용한 정보 분석 시스템은, 인도(예: 보행자 전용 도로), 도로, 교차로, 고속도로, 터널, 교각 및 골목 등과 같은 실외 공간 및 실내 공간에 설치되어 차량, 사람 또는 동물과 같은 객체를 모니터링할 수 있다.

뿐만 아니라, 정보 분석 시스템은 카메라를 통해 획득된 차량 영상을 분석하여 탑승자의 안전 운행 여부를 판단할 수도 있다. 예를 들어, 탑승자의 안전 운행 여부는 안전벨트 착용 여부, 졸음 운전 여부, 음주 운전 여부, 주행 중 휴대 전화의 사용 여부 중 적어도 하나와 연관될 수 있다.

일반적으로, 영상을 이용하여 안전 운행 여부를 판단하는 방법은 영상을 분석하여 차량의 전면 유리 영역을 추출하고, 추출된 전면 유리 영역 내의 탑승자 영역(예: 운전자 영역과 동승자 영역)을 분석함으로써 수행될 수 있다.

하지만, 카메라의 화각, 차량의 주행 위치 및/또는 카메라의 장착 위치에 의해 영상 내의 적어도 일부 영역(예: 전면 유리 영역)에 왜곡이 발생될 수 있으며, 이로 인하여 탑승자 영역에 대한 분석 정확도가 낮아지는 문제점이 발생된다.

또한, 영상 내에서 점유되는 운전자 영역과 동승자 영역은 차량의 종류에 따라 상이할 수 있으나, 영상 내에서 운전자 영역과 동승자 영역을 구분함에 있어서 차량의 종류를 고려하지 않고 있다. 이에, 영상에서 추출된 운전자 영역 및 동승자 영역이 실제 영상에 점유된 운전자 영역 및 동승자 영역과 일치하지 않아 탑승자 영역 추출 성능 및 탑승자 영역에 대한 분석 성능이 저하될 수 있다.

본 문서에 개시된 다양한 실시 예들 중 적어도 하나는 안전 운행 판단 성능을 향상시키기 위한 정보 분석 시스템 및 그에 관한 방법을 제공하는데 있다.

본 문서에 개시된 실시 예들의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들도 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 문서에 개시된 일 실시 예에 따른 영상을 이용한 정보 분석 방법은 영상으로부터 차량의 전면 유리 영역을 검출하는 단계, 상기 영상으로부터 획득되는 차량 정보에 기초하여 상기 전면 유리 영역의 일부분에 인식 영역을 설정하는 단계 및 상기 인식 영역을 통해 탑승자에 대한 안전 운행 여부를 판단하는 단계를 포함할 수 있다.

본 문서에 개시된 실시 예들에 따른 정보 분석 시스템은 영상에 대한 운전자 영역과 동승자 영역의 분할을 통해 탑승자 영역에 대한 분석 성능을 향상시킬 수 있다.

또한, 본 문서에 개시된 실시 예들에 따른 정보 분석 시스템은 차량 정보에 기초하여 영상 내의 탑승자 영역 중 일부 영역(예: 영상 내의 탑승자 영역 중 안전벨트가 위치하는 영역)에서만 분석 동작을 수행하고 나머지 영역에 대하여는 분석 동작을 배제함으로써 안전 운행 여부에 대한 판단 성능을 향상시킬 수 있다.

또한, 본 문서에 개시된 실시 예들에 따른 정보 분석 시스템은 영상 내의 탑승자 영역을 다수의 영역으로 분할하고, 왜곡 영역에 대응하는 적어도 하나의 분할 영역의 위치를 보정함으로써 안전 운행 여부를 정확하게 분석할 수 있다.

또한, 본 문서에 개시되는 실시 예들에 따르면, 정보 분석 시스템은 차량 및 보행자의 통행 정보, 교통 법규 위반 정보, 및 방범 정보 등을 수집함으로써 다양한 교통 관련 서비스를 제공할 수 있다.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.

도 1은 다양한 실시 예에 따른 영상을 이용한 정보 분석 시스템을 개념적으로 보여준다.
도 2는 다양한 실시 예에 따른 영상을 이용한 정보 분석 시스템의 통행 정보 획득 장치를 보여주는 블록도이다.
도 3a는 다양한 실시 예에 따른 탑승자 영역을 확인하는 동작을 설명하기 위한 도면이다.
도 3b 및 도 3c는 다양한 실시 예에 따른 탑승 영역 중 내부 상황이 인식될 수 있는 인식 영역을 설명하기 위한 도면이다.
도 4a 및 도 4b는 다양한 실시 예에 따른 영상에 발생된 왜곡을 설명하기 위한 도면이다.
도 4c 및 도 5는 다양한 실시 예에 따른 데이터 처리부의 왜곡 보정 동작을 설명하기 위한 도면이다.
도 7은 다양한 실시 예에 따른 정보 분석 시스템에서 영상에 발생된 왜곡을 보정하는 동작을 도시한 흐름도이다.
도 8은 다양한 실시 예에 따른 정보 분석 시스템에서 영상에 발생된 왜곡을 보정하는 다른 동작을 도시한 흐름도이다.
도 9는 다양한 실시 예들에 따른 통행 정보 획득 장치 및 운영 장치를 포함하는 정보 분석 시스템의 기능적 블록도를 나타낸다.

이하, 본 문서에 개시된 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 문서에 개시된 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 문서에 개시된 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 문서에 개시된 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 문서에 개시된 실시 예들이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 다양한 실시 예에 따른 영상을 이용한 정보 분석 시스템을 개념적으로 보여준다.

도 1을 참조하면, 영상을 이용한 정보 분석 시스템(10)은 통행 정보 획득 장치(100) 및 운영 장치(1000)를 포함할 수 있다.

통행 정보 획득 장치(100)는 특정 지역(예를 들어, 보행자 전용 도로, 차량 전용 도로, 교차로, 고속도로, 터널, 교각 및 골목 등)에 설치되어 영상을 촬영 및 분석할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)는 촬영 영상을 분석하여 탑승자에 대한 안전 운행 여부를 판단할 수 있다. 예를 들어, 통행 정보 획득 장치(100)는 영상 분석을 통해 주행 중인 차량의 내부 상황을 파악하고 이를 기초로 하여 탑승자의 안전 운행 여부를 판단할 수도 있다. 예컨대, 탑승자의 안전벨트 착용 여부, 졸음 운전 여부, 음주 운전 여부 또는 주행 중 휴대 전화의 사용 여부 중 적어도 하나가 내부 상황의 적어도 일부로 파악될 수 있다. 추가적으로, 운전자가 유아 또는 애완동물을 안고 운전장치(예: 스티어링 휠)를 조작하는지 여부, 탑승자의 흡연 여부, 운전자의 전방 주시 태만 등과 같이 안전 운행에 방해되는 다양한 상황이 내부 상황의 적어도 일부로 파악될 수도 있다.

일 실시 예에 따르면, 통행 정보 획득 장치(100)는 영상으로부터 차량 및 차량의 전면 유리 영역을 추출(또는 검출)하고, 추출된 전면 유리 영역으로부터 탑승자 영역(예: 운전자 영역과 동승자 영역)을 확인할 수 있다. 또한, 통행 정보 획득 장치(100)는 탑승자 영역을 분석하여 내부 상황(예: 안전벨트 존재 여부, 휴대 전화의 존재 여부 또는 졸음 및 음주 운전과 관련된 움직임 등)을 검출하고, 검출 결과에 기초하여 운전자 및/또는 동승자에 대한 운전 운행 여부를 판단할 수 있다.

통행 정보 획득 장치(100)는 검출되는 차량의 식별 정보를 획득할 수 있다. 예를 들어, 차량의 식별 정보는 검출된 차량과 다른 차량을 구분하기 위한 정보로, 차량의 번호를 포함할 수 있으며, 차량의 색상, 차량의 모델 정보, 차량의 종류, 차량 번호판의 색상, 차량의 크기 중 적어도 어느 하나를 더 포함할 수도 있다. 그러나, 이는 예시적일 뿐, 본 문서가 이에 한정되는 것은 아니다. 예컨대, 통행 정보 획득 장치(100)는 차량 외관에 형성된 레터링 정보 및 차량의 외관을 꾸미기 위해 차량에 부착된 부착물의 정보 등과 같이 차량 식별이 가능한 다양한 종류의 정보가 차량의 식별 정보로 획득될 수도 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)는 차량의 식별 정보 및/또는 탑승자에 대한 분석 결과를 포함하는 결과 데이터를 생성하고, 생성된 결과 데이터를 운영 장치(1000)에 전달할 수 있다. 또한, 통행 정보 획득 장치(100)는 이하의 도 2를 통해 설명하는 통행 정보를 결과 데이터의 적어도 일부로 하여 운영 장치(1000)에 전달할 수도 있다.

운영 장치(1000)는 통행 정보 획득 장치(100)로부터 수신되는 결과 데이터에 기초하여 탑승자에 대한 안전 운행 여부를 확인할 수 있다. 따라서, 운영 장치(1000)는 특정 지역을 주행하는 차량들에 대하여, 탑승자의 안전 운행 여부를 확인할 수 있고, 차량의 식별 정보 및/또는 통행 정보를 이용하여 안전 운행 의무를 위반한 차량들을 단속할 수 있다.

다양한 실시 예에 따르면, 운영 장치(1000)(예: 관제 센터)는 지방자치단체, 도로공사, 시설공단, 또는 경찰청과 같은 공공기관에 의하여 운영될 수 있다. 운영 장치(1000)는 통행 정보 획득 장치(100)를 통해 획득된 정보를 데이터 베이스에 저장 및 관리하고, 저장된 정보를 이용하여 운영 장치(1000)의 사용자(예: 관제 요원)가 실시간으로 도로 상황을 관제할 수 있는 인터페이스를 출력할 수 있다. 또한, 운영 장치(1000)는 분석된 도로 상황에 기반하여 신호를 제어하거나 차량에게 다른 경로를 제공하도록 통행 정보 획득 장치(100)에게 명령을 전달할 수 있다.

이하에서는 통행 정보 획득 장치(100)의 구성 및 동작에 대해 구체적으로 설명한다.

도 2는 다양한 실시 예에 따른 영상을 이용한 정보 분석 시스템의 통행 정보 획득 장치를 보여주는 블록도이다. 도 3a는 다양한 실시 예에 따른 탑승자 영역을 확인하는 동작을 설명하기 위한 도면이고, 도 3b 및 도 3c는 다양한 실시 예에 따른 탑승 영역 중 내부 상황이 인식될 수 있는 인식 영역을 설명하기 위한 도면이다. 또한, 도 4a 및 도 4b는 다양한 실시 예에 따른 영상에 발생된 왜곡을 설명하기 위한 도면이고, 도 4c 및 도 5는 다양한 실시 예에 따른 데이터 처리부의 왜곡 보정 동작을 설명하기 위한 도면이다.

도 2를 참조하면, 통행 정보 획득 장치(100)는 촬영부(110), 센서부(120), 데이터 처리부(130), 및 통신 인터페이스(140)를 포함할 수 있다. 그러나, 이는 예시적일 뿐, 다양한 실시 예들이 이에 한정되는 것은 아니다. 예컨대, 전술한 통행 정보 획득 장치(100)의 구성 요소 중 적어도 하나가 생략되거나 또는 하나 이상의 다른 구성 요소가 통행 정보 획득 장치(100)의 구성으로 추가될 수도 있다.

촬영부(110)는 영상을 촬영할 수 있는 적어도 하나의 카메라를 포함할 수 있다. 촬영부(110)는 특정 지역에 설치되어 관심 영역을 촬영할 수 있다. 예를 들어, 관심 영역은 도로 및 차선을 포함하는 영역으로 설정될 수 있다.

다양한 실시 예에 따르면, 촬영부(110)는 도로의 일 측에 차량의 진행 방향에 대향하는 방향으로 설치될 수 있다. 일 실시 예에 따르면, 촬영부(110)는 적어도 하나 이상의 차로를 주행하는 차량의 정면과 차량의 번호판을 동시에 촬영할 수 있는 화각을 갖도록 설치될 수 있다. 그러나, 이는 예시적일 뿐, 본 문서가 이에 한정되는 것은 아니다. 예컨대, 촬영부(110)는 차량의 진행 방향으로 설치되어 주행하는 차량의 후면과 차량 후면에 구비되는 번호판을 촬영하도록 구성될 수도 있다.

센서부(120)는 차량, 사람(예: 차량 탑승자, 보행자 등) 및 동물 등과 같은 객체를 검출하고, 객체의 이동을 추적함으로써 객체의 위치 또는 이동 거리를 측정할 수 있는 센서(예: 레이더(radio detection and ranging, RADAR), 라이다(light detection and ranging, LIDAR), 영상 센서 및 레이다(laser detection and ranging, LADAR) 중 적어도 하나)를 포함할 수 있다. 또한, 객체는 신호등, 전광판, 가로등, 시선유도 표지, 고가 도로, 램프, 톨게이트 등과 같은 도로 상의 시설물 등을 포함할 수도 있다. 다양한 실시 예들에 따라, 통행 정보 획득 장치(100)는 촬영부(110) 및 센서부(120)를 상호 협력적으로 사용할 수 있다. 예를 들어, 통행 정보 획득 장치(100)는 객체의 이동 위치, 거리, 방향, 또는 속도를 보다 정확하게 검출하기 위하여 센서부(120)를 우선적으로 사용할 수 있으며, 객체의 형태를 식별할 필요가 있는 경우에는 촬영부(110)를 이용할 수 있다. 다양한 실시 예에 따르면, 촬영부(110) 및 센서부(120)는 하나의 통합된 모듈로 구현될 수 있다.

데이터 처리부(130)는 촬영부(110) 또는 센서부(120) 중 적어도 어느 하나를 통해 다양한 정보를 획득할 수 있다. 예를 들어, 데이터 처리부(130)는 통행 정보를 획득할 수 있으며, 통행 정보는 도로 영상을 포함할 수 있다. 또한, 통행 정보는 차량 영상, 차량의 수, 차량의 주행 속도, 차량의 주행 방향, 차량의 주행 차로, 차량의 이동 거리, 차량의 통행량, 차량의 대기 길이, 차량의 점유율, 보행자 영상, 보행자의 수, 보행 속도, 보행자의 외형, 또는 보행 방향 중 적어도 하나를 더 포함할 수 있다. 또한, 통행 정보는 식별 정보, 차량 전면 유리 크기, 또는 차량의 내부 구조 중 적어도 하나를 포함하는 차량 정보를 포함할 수 있다. 추가적으로, 데이터 처리부(130)는 촬영부(121)를 통해 방범 정보를 획득할 수 있으며, '방범 정보'는 생활 방범 정보 또는 교통 방범 정보 중 적어도 하나를 포함할 수 있다.

데이터 처리부(130)는 통행 정보(예: 영상)를 이용하여 객체 및/또는 이벤트를 검출할 수 있다. 전술한 바와 같이, 객체는 차량, 사람(예: 차량 탑승자, 보행자 등) 및 동물 등을 포함할 수 있다. 또한, '이벤트'는 도로 상에 발생한 위험 상황으로써 차량이나 보행자에게 알릴 필요가 있는 상태를 의미할 수 있다. 예를 들어, 데이터 처리부(130)는 차량의 정지, 차량 사고, 역주행, 보행자/야생동물의 출현, 낙하물, 로드킬, 산사태, 안개, 또는 포트홀과 같은 이벤트 종류와, 해당 이벤트가 발생한 위치를 검출할 수 있다. 이벤트의 종류 또는 이벤트의 위치를 나타내는 정보는 '이벤트 정보'로 참조될 수 있다.

데이터 처리부(130)는 통행 정보 외에도 적어도 하나의 센서로부터 획득된 데이터를 통해서 이벤트를 검출할 수 있다. 예를 들어, 데이터 처리부(130)는 도로 위의 충격을 감지하기 위한 가속도 센서, 도로 인접 비탈면에서 산사태를 감지하기 위한 측위 센서, 온/습도와 같은 기상 변화를 감지하기 위한 온/습도 센서, 로드킬을 감지하기 위한 동작 감지 센서, 또는 음향 센서 중 적어도 하나로부터 수신된 데이터에 기반하여 이벤트 정보를 획득할 수 있다.

데이터 처리부(130)는 분석 결과를 포함하는 결과 데이터(예: 통행 정보, 방범 정보, 및 이벤트 정보 중 적어도 하나)를 통신 인터페이스(140)를 통해 연결된 통신 중계기 또는 운영 장치(1000)에 전달함으로써 해당 구역에 대한 교통 상황을 제공할 수 있다.

다양한 실시 예에 따르면, 데이터 처리부(130)는 촬영부(110)에 의해 촬영(또는 획득)된 영상을 분석하여 탑승자에 대한 안전 운행 여부를 판단할 수 있다. 예를 들어, 데이터 처리부(130)는 영상 분석을 통해 차량 탑승자에 대한 안전벨트 착용 여부, 운전자의 음주 운전 여부, 운전자의 졸음 운전 여부, 운전자의 휴대 전화 사용 여부, 운전자가 유아 또는 애완동물을 안고 운전장치(예: 스티어링 휠)를 조작하는지 여부, 탑승자의 흡연 여부 또는 운전자의 전방 주시 태만 여부 중 적어도 하나와 관련된 차량의 내부 상황을 판단할 수 있다.

일 실시 예에 따르면, 도 3a에 도시된 바와 같이, 데이터 처리부(130)는 영상(300)으로부터 탑승자 영역(예: 운전자 영역 및/또는 동승자 영역)을 확인하고, 탑승자 영역을 분석함으로써 차량의 내부 상황을 판단할 수 있다. 이와 관련하여, 데이터 처리부(130)는, 차량(302)의 전면 유리 영역(304)의 상단 중심점(HP)과 하단 중심점(LP)을 연결한 가상의 선(305)을 기준으로, 제 1 방향(예: 좌측 방향)의 전면 유리 영역을 동승자 영역(306)으로 확인하고, 제 1 방향과 반대인 제 2 방향(예: 우측 방향)의 전면 유리 영역을 운전자 영역(308)으로 확인할 수 있다. 그러나, 이는 예시적일 뿐, 본 문서가 이에 한정되는 것은 아니다. 예컨대, 제 1 방향(예: 좌측 방향)의 전면 유리 영역이 운전자 영역(308)일 수 있고, 제 1 방향과 반대인 제 2 방향(예: 우측 방향)의 전면 유리 영역은 동승자 영역(306)일 수도 있다. 또한, 데이터 처리부(130)는, 운전자 영역(308)과 동승자 영역(306)을 구분함에 있어서, 전면 유리 영역(304)에서 확인되는 운전장치(예: 스티어링 휠)의 위치를 고려할 수도 있다. 예컨대, 국가별 교통 체계에 따라 운전자 영역(308)과 동승자 영역(306)이 서로 상이할 수 있으나, 운전 장치의 위치를 고려한다면 운전자 영역(308)과 동승자 영역(306)을 명확하게 구분할 수 있다. 또한, 운전자 영역(308)과 동승자 영역(306)을 구분하는데 기준이 되는 가상의 선이 차량(302)의 전면 유리 영역(304)의 상단 중심점(HP)과 하단 중심점(LP)을 기준으로 형성되는 것으로 한정되는 것은 아니다. 예를 들어, 승합차, 화물차 등과 같은 특정 차량의 1열 구조는 한 명이 아닌 복수의 동승자(예: 두 명의 동승자)가 탑승하도록 구성된 구조를 가질 수도 있다. 이러한 경우, 데이터 처리부(130)는 전면 유리 영역(304)의 상단 중심점(HP)이 아닌 다른 지점과 하단 중심점(LP)이 아닌 다른 지점을 연결한 가상의 선을 기준으로, 운전자 영역(308)과 동승자 영역(306)을 구분할 수도 있다.

전술한 바와 같이, 전면 유리 영역(304)은 운전자 영역(308)과 동승자 영역(306)으로 구분될 수 있다. 하지만, 탑승자의 안전 운행 여부를 판단하는데 고려되는 내부 상황이 인식되는 인식 영역은 운전자 영역(308)의 일부(예: 운전자 좌석) 및/또는 동승자 영역(306)의 일부(예: 동승자 좌석)로 제한될 수 있다. 인식 영역은 영상 내에서, 안전벨트가 인식될 수 있는 영역, 졸음 운전 및 음주 운전과 관련된 운전자의 움직임이 인식될 수 있는 영역, 휴대 전화가 인식될 수 있는 영역, 유아 또는 애완 동물이 인식될 수 있는 영역, 흡연 중인 탑승자가 인식될 수 있는 영역, 또는 전방 주시 의무를 행하지 않는 탑승자가 인식될 수 있는 영역 중 적어도 하나를 포함할 수 있다. 예를 들어, 탑승자(예: 운전자 및/또는 동승자)가 좌석에 착석한 상태에서 안전벨트를 착용하는 경우, 안전벨트는 탑승자의 신체 일부(예: 어깨, 골반뼈 등)에 밀착될 수 있다. 이에, 도 3a를 통해 전술한 운전자 영역(308)과 동승자 영역(306)은 실질적으로 안전벨트가 인식될 수 있는 인식 영역(예: 탑승자의 신체의 적어도 일부가 포함되는 영역)과 인식 영역을 제외한 비인식 영역으로 구분될 수 있다. 다른 예로, 운전자가 좌석에 착석한 상태에서 휴대 전화를 사용하는 경우, 휴대 전화는 신체의 다른 일부(예: 귀, 볼 및 입 등)에 위치할 수 있다. 이에, 운전자 영역은 실질적으로 휴대 전화가 인식될 수 있는 인식 영역(예: 신체의 다른 일부가 포함되는 영역)과 인식 영역을 제외한 비인식 영역으로 구분될 수 있다. 또 다른 예로, 유아 또는 애완 동물과 함께 운전자가 운전석에 착석하는 경우, 유아 또는 애완 동물은 운전장치(예: 스티어링 휠) 주변에 위치할 수 있다. 이에, 운전자 영역은 실질적으로 유아 또는 애완 동물이 인식될 인식 영역(예: 스티어링 휠이 포함되는 영역)과 인식 영역을 제외한 비인식 영역으로 구분될 수 있다. 또 다른 예로, 졸음 운전 및 음주 운전과 관련된 운전자의 움직임은 운전자의 눈 깜박임, 운전자의 하품 주기, 운전자의 얼굴 끄덕임 주기, 운전자의 얼굴 각도 등에 의해 확인될 수 있으며, 전방 주시 의무를 행하지 않은 운전자의 움직임은 운전자의 얼굴 주변에서 확인될 수 있다. 이에, 운전자 영역은 실질적으로 운전 및 음주 운전과 관련된 운전자의 움직임이 인식될 수 있는 인식 영역(예: 얼굴이 포함된 영역)과 인식 영역을 제외한 비인식 영역으로 구분될 수 있다. 또 다른 예로, 탑승자가 좌석에 착석한 상태에서 흡연하는 경우 흡연 제품은 손, 입 및 얼굴 등과 같은 신체의 일부에 위치할 수 있으며, 이러한 신체의 일부에 대응되는 영역이 인식 영역으로 구분될 수도 있다.

이러한 비인식 영역에서의 차량의 내부 상황을 인식하는 동작은 탑승자의 안전 운행 여부를 판단하는데 요구되는 연산량을 증가시키는 요인으로 작용될 수 있다.

이를 방지하기 위하여, 다양한 실시 예에 따른 데이터 처리부(130)는 비인식 영역이 배제된 탑승자 영역을 인식 영역으로 지정할 수 있다. 이에, 탑승 영역에 포함된 비인식 영역에서의 내부 상황 인식 동작이 배제되어, 탑승자의 안전 운행 여부를 판단하는데 요구되는 연산량이 감소될 수 있다.

일 실시 예에 따르면, 데이터 처리부(130)는 차량(302) 내부의 구조적 특징에 기초하여 인식 영역을 지정할 수 있다.

예를 들어, 차량(302) 내부의 적어도 일부는 차량(302)의 전면 유리를 통해 노출될 수 있다. 예컨대, 기어 레버, 콘솔 박스 등이 배치될 수 있는 중앙 공간을 기준으로 운전자 좌석과 동승자 좌석이 이격되어 배치된 차량의 1열 구조가 전면 유리를 통해 노출될 수 있다.

이에, 차량(302)이 촬영된 영상(300)에는 동승자 좌석, 중앙 공간 및 운전자 좌석이 노출된 전면 유리 영역(304)이 포함될 수 있다.

이와 관련하여, 데이터 처리부(130)는 동승자 좌석(또는 동승자) 및 운전자 좌석(또는 운전자)을 제외한 나머지 영역을 비인식 영역으로 지정할 수 있다.

예를 들어, 운전자 영역(308)과 동승자 영역(306) 사이에 형성된 중앙 공간은 실제로 사람이 탑승하는 공간이 아니므로 탑승자의 안전 운행 여부를 판단하는데 고려되는 유의미한 내부 상황이 인식되지 않는 비인식 영역일 수 있다. 이에, 데이터 처리부(130)는 전술한 중앙 공간에 대응되는 전면 유리 영역(304)의 적어도 일부를 비인식 영역으로 지정하고, 지정된 비인식 영역의 적어도 일부에 대하여는 내부 상황 인식 동작이 배제되도록 처리할 수 있다.

다른 예로, 탑승자의 특정 신체 부위에 대응되는 전면 유리 영역(304)의 일부가 인식 영역일 수 있다. 다시 말해서, 탑승자의 얼굴이나 머리 등의 부위에 대응되는 전면 유리 영역(304)의 일부는 휴대 전화 및/또는 졸음 운전 및 음주 운전과 관련된 운전자의 움직임이 인식될 수 있다. 이에, 데이터 처리부(130)는 운전자 영역(308)과 동승자 영역(306) 중 특정 신체 부위에 대응되는 일부에 대하여만 내부 상황을 인식하는 동작이 수행되도록 처리할 수 있다.

또 다른 예로, 운전 장치(예: 스티어링 휠)에 대응되는 전면 유리 영역(304)의 일부가 인식 영역일 수도 있다. 다시 말해서, 운전 장치(예: 스티어링 휠)에 대응되는 전면 유리 영역(304)의 일부에서는 운전장치에 대한 운전자 조작을 방해하는 애완 동물, 유아 또는 적재물이 인식될 수도 있다. 이에, 데이터 처리부(130)는 운전자 영역(308) 중 운전 장치에 대응되는 일부에 대하여만 내부 상황을 인식하는 동작이 수행되도록 처리할 수도 있다.

다른 실시 예에 따르면, 데이터 처리부(130)는 센서부(120)를 통해 획득되는 차량 정보의 적어도 일부를 이용하여 비인식 영역을 지정할 수도 있다.

예를 들어, 전술한 중앙 공간(예: 중앙 공간의 폭)은 차량의 종류(예: 차종)에 따라 달라질 수 있다. 예컨대, 승용차와 같은 제 1 차폭(또는 윤거, 전폭 등)을 가지는 제 1 타입 차량은 제 1 폭을 가지는 중앙 공간을 포함할 수 있다. 이와 다르게, 화물차와 같이 제 2 차폭을 가지는 제 2 타입 차량에는 제 1 폭보다 큰 제 2 폭을 가지는 중앙 공간이 형성될 수 있다. 이와 관련하여, 데이터 처리부(130)는 영상(300)을 통해서 제 1 타입 차량이 검출되는 경우, 제 2 타입 차량이 검출되는 경우보다 좁은 비인식 영역을 지정할 수 있다. 또한, 데이터 처리부(130)는 영상(300)을 통해 제 2 타입 차량이 검출되는 경우에는, 제 1 타입 차량이 검출되는 경우보다 넓은 비인식 영역을 지정할 수도 있다.

이를 달리 설명하면, 도 3b의 (a)에 도시된 바와 같이, 제 1 타입 차량에 대응되는 전면 유리 영역(310)에서 제 1 폭만큼 이격된 운전자 영역(312)과 동승자 영역(314)이 지정되고, 도 3b의 (b)에 도시된 바와 같이, 제 2 타입 차량에 대응되는 전면 유리 영역(320)에서는 제 2 폭만큼 이격된 운전자 영역(322)과 동승자 영역(324)이 지정될 수 있다.

다른 예로, 버스와 같은 제 3 타입 차량의 경우에는 동승자 좌석은 배제되고 운전자 좌석만 배치된 차량 1열의 구조를 가질 수 있다. 이와 관련하여, 데이터 처리부(130)는 영상(300)을 통해서 제 3 타입 차량이 검출되는 경우, 도 3b의 (c)에 도시된 바와 같이, 전면 유리 영역(330)의 중심을 기준으로 제 1 방향 또는 제 2 방향 중 하나의 방향에 대응되는 전면 유리 영역(330)의 일부(332)를 인식 영역으로 지정할 수 있다. 또한, 제 1 방향 또는 제 2 방향 중 다른 하나의 방향에 대응되는 전면 유리 영역(330)에 대하여는 비인식 영역으로 지정할 수 있다.

또한, 전술한 인식 영역의 크기(또는 비인식 영역의 크기)는 차량에 구비된 전면 유리의 크기에 따라 달라질 수도 있다. 예를 들어, 제 1 타입 차량에 구비되는 전면 유리의 크기는 제 2 타입 차량에 구비되는 전면 유리의 크기보다 상대적으로 작을 수 있다. 이와 관련하여, 데이터 처리부(130)는 도 3c의 (a)에 도시된 바와 같이, 제 1 크기를 가지는 전면 유리가 구비된 차량이 영상(300)을 통해서 검출되는 경우, 전면 유리 영역(342)에 대해 제 1 지정된 가로-세로 비율을 가지는 인식 영역(344)을 지정할 수 있다. 또한, 데이터 처리부(130)는 도 3c의 (b)에 도시된 바와 같이, 제 2 크기를 가지는 전면 유리가 구비된 차량이 영상을 통해서 검출되는 경우에는, 전면 유리 영역(352)에 대해 제 2 지정된 가로-세로 비율을 가지는 인식 영역(354)을 지정할 수도 있다.

전술한 바와 같이, 데이터 처리부(130)는 영상(300)을 분석하여 차량의 내부 상황을 판단할 수 있다. 하지만, 카메라(예: 도 2의 촬영부(220))의 화각, 차량의 주행 위치 및/또는 카메라의 장착 위치 등에 의해 영상(300) 내에 왜곡이 발생되는 상황을 배제할 수 없다.

예를 들어, 도 4a에 도시된 바와 같이, 촬영부(400)는 차량의 진행 방향에 대향하는 방향으로 설치될 수 있으며, 복수의 차로(예: 3개의 차로)를 주행하는 차량(410, 420, 430)을 촬영할 수 있는 화각을 가질 수 있다.

이러한 상황에서 촬영부(400)는 제 1 차로 및 제 3 차로를 주행하는 차량(410, 430)에 대하여 왜곡이 발생된 영상을 획득하고, 제 2 차로를 주행하는 차량(420)에 대하여는 왜곡이 발생되지 않거나 왜곡되는 정도가 작은 영상을 획득할 수 있다.

구체적으로, 영상 내의 왜곡은 차량의 일 부분으로부터 촬영부(400)(또는 렌즈)를 통과하는 광과 다른 부분으로부터 촬영부(400)를 통과하는 광의 길이가 동일하지 않은 경우에 발생될 수 있으며, 두 광의 길이 차이가 적을수록 영상 내의 왜곡 정도는 줄어들 수 있다.

예를 들어, 제 1 차로를 주행하는 차량(410)의 일 부분(예: 주행 방향을 기준으로 우측 전방 측면)으로부터 촬영부(400)를 통과하는 제 1 광의 길이(L1)가 다른 부분(예: 주행 방향을 기준으로 좌측 전방 측면)으로부터 촬영부(400)를 통과하는 제 2 광의 길이(L2) 보다 긴 경우에는, 도 4b의 (a)에 도시된 바와 같이 영상(412)의 일축에 대하여 길이(d1)가 짧아지고 다른 축에 대하여 길이(d2)가 길어지는 왜곡이 발생될 수 있다. 이와 유사하게 제 3 차로를 주행하는 차량(430)의 일 부분으로부터 촬영부(400)를 통과하는 제 5 광(L5)의 길이가 다른 부분으로부터 촬영부(400)를 통과하는 제 6 광(L6)의 길이 보다 짧은 경우에는, 도 4b의 (c)에 도시된 바와 같이 영상(432)의 일축에 대하여 길이(d1)가 길어지고 다른 축에 대하여 길이(d2)가 짧아지는 왜곡이 발생될 수 있다.

또한, 제 2 차로를 주행하는 차량(420)의 일 부분으로부터 촬영부(400)를 통과하는 제 3 광(L3)의 길이와 다른 부분으로부터 촬영부(400)를 통과하는 제 4 광(L4)의 길이가 실질적으로 동일한 경우에는, 도 4b의 (b)에 도시된 바와 같이 영상(422)의 일축의 길이(d1)와 다른 축의 길이(d2)가 실질적으로 동일한 영상(422), 다시 말해서, 왜곡이 발생되지 않은 영상이 획득될 수 있다. 영상 내에 발생되는 왜곡은 차량의 내부 상황에 대한 인식률을 저하시키는 요인으로 작용될 수 있다.

이를 방지하기 위하여, 다양한 실시 예에 따른 데이터 처리부(130)는 영상 내(또는 전면 유리 영역)에서 발생된 왜곡을 보정함으로써 내부 상황에 대한 인식률을 향상시킬 수 있다.

일 실시 예에 따르면, 데이터 처리부(130)는 전면 유리 영역을 다수의 영역으로 분할하고, 분할된 영역 중 적어도 일부에 대한 위치를 변화시킴으로써 왜곡을 보정할 수 있다. 이와 관련하여, 데이터 처리부(130)는 전면 유리 영역에서 추출되는 복수의 특징점들을 서로 연결함으로써 전면 유리 영역을 분할할 수 있다.

예를 들어, 데이터 처리부(130)는 전면 유리 영역의 밝기 정보(예를 들어, 전면 유리 영역에 포함된 픽셀들의 밝기)에 기초하여 전면 유리 영역에 대한 경계선을 검출할 수 있다. 영상 내의 전면 유리 영역은 유리를 포함하며, 유리 주변에는 루프, 프론트 휀더, 보닛 등과 같은 다른 구성이 존재할 수 있다. 이러한 유리와 다른 구성 사이에는 밝기 차이가 존재하므로, 데이터 처리부(130)는 전면 유리 영역에 대한 밝기 차이를 이용하여 유리의 테두리를 따르는 경계선(L1)을 검출할 수 있다.

전술한 바와 같이, 전면 유리 영역에 대한 경계선이 검출되면, 데이터 처리부(130)는 검출된 경계선의 적어도 일부에 대한 특징점을 추출할 수 있다.

예를 들어, 도 4c의 (a)를 참조하면, 특징점은 전면 유리 영역(412)의 상단 경계선 일단에서 추출되는 제 1 특징점(P1), 상단 경계선의 타단에서 추출되는 제 2 특징점(P2), 전면 유리 영역(412)의 하단 경계선 일단에서 추출되는 제 3 특징점(P3) 및 하단 경계선의 타단에서 추출되는 제 4 특징점(P4)을 포함할 수 있다. 다른 예로, 특징점은 경계선을 따라, 제 1 특징점(P1)과 제 2 특징점(P2) 사이에서 추출되는 제 5 특징점(P5), 제 1 특징점(P1)과 제 3 특징점(P3) 사이에서 추출되는 제 6 특징점(P6), 제 3 특징점(P3)과 제 4 특징점(P4) 사이에서 추출되는 제 7 특징점(P7), 그리고 제 2 특징점(P2)과 제 4 특징점(P4) 사이에서 추출되는 제 8 특징점(P8)을 더 포함할 수도 있다. 또 다른 예로, 특징점은 전면 유리 영역(412) 내부에서 추출되는 제 9 특징점(P9)을 더 포함할 수도 있다. 제 9 특징점(P9)은 제 6 특징점(P6)과 제 8 특징점(P8) 사이의 평균 거리를 제 1 좌표(예: X축 좌표)로 하고 제 5 특징점(P9)과 제 7 특징점 사이의 평균 거리를 제 2 좌표(예: Y축 좌표)로 하여 설정될 수 있다. 그러나, 이는 예시적일 뿐, 추출되는 특징점의 개수와 위치가 이에 한정되는 것은 아니다.

전술한 바와 같이, 경계선의 적어도 일부에 대한 특징점이 추출되면, 데이터 처리부(130)는 제 1 특징점(P1) 내지 제 9 특징점(P9)의 연결에 기초하여 전면 유리 영역을 복수의 영역으로 분할할 수 있다. 예를 들어, 도 4c의 (b)에 도시된 바와 같이, 전면 유리 영역은 복수의 삼각형 영역(T1 내지 T8)으로 분할될 수 있다.

전술한 바와 같이, 전면 유리 영역이 복수의 영역으로 분할되면, 데이터 처리부(130)는 분할된 복수의 영역 중 적어도 일부의 위치를 보정함으로써 왜곡을 보정할 수 있다. 분할된 복수의 영역 중 적어도 일부의 위치를 보정하는 것은 전면 유리 영역에 대한 경계선(L1)을 미리 정의된 기준 경계선(L2)에 정합시키는 것을 포함할 수 있다. 기준 경계선(L2)는 왜곡이 발생되지 않은 상태의 전면 유리 영역에 형성될 수 있는 경계선으로, 왜곡이 발생되지 않은 상태의 전면 유리 영역의, 상단을 따르는 상단 기준 경계선, 하단을 따르는 하단 기준 경계선, 좌측을 따르는 좌측 기준 경계선 및 우측을 따르는 우측 기준 경계선 중 적어도 하나를 포함할 수 있다. 예를 들어, 도 4c의 (b)에 도시된 바와 같이, 제 2 특징점(P2), 제 4 특징점(P4), 제 5 특징점(P5) 및 제 7 특징점(P7) 각각의 위치는 제 2' 특징점(P2'), 제 4' 특징점(P4'), 제 5' 특징점(P5') 및 제 7' 특징점(P7')으로 보정될 수 있다. 이와 관련하여, 데이터 처리부(130)는 차량 종류에 대응되는 복수의 기준 경계선(L2)을 저장할 수 있으며, 영상을 통해 검출되는 차량에 대응되는 기준 경계선(L2)을 획득하여 경계선(L1)을 정합시키는데 사용할 수 있다.

이때, 위치 보정은 구간적 아핀 워핑(piecewise affine warping) 방법을 이용하여 수행될 수 있다. 이는 삼각형 영역 각각을 회전시켜 위치를 보정하는 것으로, 전면 유리 영역 자체를 회전시키는 경우보다 정교한 왜곡 보정을 가능하게 할 수 있다. 그러나, 이는 예시적일 뿐, 다양한 실시 예가 이에 한정되는 것은 아니다. 예컨대, 다양한 문서를 통해 공지된 다양한 방법에 의해 위치 보정이 수행될 수도 있다.

정리하면, 데이터 처리부(130)는 왜곡을 보정하여 정규화된 전면 유리 영역을 생성할 수 있다. 또한, 데이터 처리부(130)는 정규화된 전면 유리 영역으로부터 인식 영역을 지정할 수 있다. 그러나, 이는 다양한 실시 예에 따른 것으로, 본 문서가 이에 한정되는 것은 아니다. 예컨대, 데이터 처리부(130)는 전면 영상으로부터 인식 영역을 지정한 후에, 인식 영역에 대한 왜곡을 보정할 수도 있다. 이러한 경우, 전면 유리 영역의 일부에 대하여만 왜곡 보정이 이루어져 왜곡 보정에 요구되는 연산량을 줄일 수 있다.

보다 구체적으로 설명하면, 데이터 처리부(130)는 차량 정보에 기초하여 전면 유리 영역에 대한 왜곡 보정 영역을 확인하고, 왜곡 보정 영역에 대하여 왜곡 보정 동작을 수행할 수 있다. 왜곡 보정 영역은 전술한 탑승자 영역에 대응될 수 있다.

예를 들어, 영상을 통해서 제 1 타입 차량(예: 승용차)이 검출되는 경우, 데이터 처리부(130)는 도 5의 (a)에 도시된 바와 같이, 제 1 폭만큼 이격된 동승자 영역(512)과 운전자 영역(514)에서 특징점을 추출할 수 있다. 또한, 데이터 처리부(130)는 추출되는 특징점에 기초하여 왜곡 보정 동작을 수행한 후 왜곡이 보정된 영역에서 차량의 내부 상황을 인식할 수 있다.

다른 예로 들어, 영상을 통해서 제 2 타입 차량(예: 화물차)이 검출되는 경우, 데이터 처리부(130)는 도 5의 (b)에 도시된 바와 같이, 제 2 거리 이격된 동승자 영역(522)과 운전자 영역(524)에서 왜곡 보정에 이용되는 특징점을 추출할 수 있다.

또 다른 예로 들어, 영상을 통해서 제 3 타입 차량(예: 버스)이 검출되는 경우, 데이터 처리부(130)는 도 5의 (c)에 도시된 바와 같이, 운전자 영역(534)에서 왜곡 보정에 이용되는 특징점을 추출할 수도 있다.

도 6은 다양한 실시 예에 따른 정보 분석 시스템의 동작 방법을 도시한 흐름도이다.

도 6을 참조하면, 다양한 실시 예에 따른 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 610에서, 전면 유리 영역을 포함하는 영상을 획득할 수 있다. 일 실시 예에 따르면, 통행 정보 획득 장치(100)는 주행 중인 차량과 관련된 영상을 획득할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 620에서, 전면 유리 영역에서 탑승자 영역을 추출할 수 있다. 탑승자 영역은 운전자 영역과 동승자 영역을 포함할 수 있다. 이와 관련하여, 통행 정보 획득 장치(100)는 영상(300)으로부터 전면 유리 영역(304)을 추출하고, 전면 유리 영역(304)의 상단 중심점(HP)과 하단 중심점(LP)을 연결한 가상의 직선(305)을 기준으로, 운전자 영역(308)과 동승자 영역(306)을 추출할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 630에서, 차량 정보에 기초하여 탑승자 영역의 일부를 인식 영역으로 지정할 수 있다. 전술한 바와 같이, 전면 유리 영역(304)은 운전자 영역(308)과 동승자 영역(306)으로 구분될 수 있다. 하지만, 탑승자의 안전 운행 여부를 판단하는데 고려되는 내부 상황이 인식되는 인식 영역은 탑승자 영역의 일부로 제한될 수 있다. 이에, 통행 정보 획득 장치(100)는 차량 정보(예: 차종, 차량의 크기(또는 차량 전면 유리의 크기) 또는 내부 구조 중 적어도 하나)에 기초하여, 탑승자 영역 중 실질적으로 내부 상황이 인식될 수 있는 영역을 지정할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 640에서, 인식 영역에 기초하여 안전 운행 여부를 판단할 수 있다. 일 실시 예에 따르면, 통행 정보 획득 장치(100)는 탑승자 영역 전체가 아닌 지정된 일부 영역을 통해서 차량의 내부 상황을 파악하고 이를 기초로 하여 탑승자의 안전 운행 여부를 판단할 수도 있다. 예컨대, 탑승자의 안전벨트 착용 여부, 졸음 운전 여부, 음주 운전 여부 또는 주행 중 휴대 전화의 사용 여부 중 적어도 하나가 내부 상황의 적어도 일부로 파악될 수 있다. 추가적으로, 운전자가 유아 또는 애완동물을 안고 운전장치(예: 스티어링 휠)를 조작하는지 여부, 탑승자의 흡연 여부, 운전자의 전방 주시 태만 여부 등과 같이 안전 운행에 방해되는 다양한 상황이 내부 상황의 적어도 일부로 파악될 수도 있다.

전술한 실시 예에서의 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 또한, 이하의 동작들 중 적어도 하나의 동작은 실시 예에 따라 생략될 수도 있다.

일 실시 예에 따르면, 전술한 정보 분석 시스템의 동작 방법에서 전면 유리 영역에서 탑승자 영역을 추출하는 620 동작은 생략될 수 있다. 이러한 경우, 정보 분석 시스템은 차량 정보에 기초하여, 전면 유리 영역에서 인식 영역을 지정한 후 안전 운행 여부를 판단할 수 있다.

도 7은 다양한 실시 예에 따른 정보 분석 시스템에서 영상에 발생된 왜곡을 보정하는 동작을 도시한 흐름도이다. 이하에서 설명되는 도 7의 동작들은, 도 6의 620 동작에 대한 다양한 실시 예를 나타낸 것일 수 있다.

도 7을 참조하면, 다양한 실시 예에 따른 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 710에서, 전면 유리 영역에 대한 특징점을 획득할 수 있다. 전면 유리 영역은 차량의 유리를 포함할 수 있다. 일 실시 예에 따르면, 통행 정보 획득 장치(100)는 유리의 테두리를 따르는 경계선(예: 도 4c의 경계선(L1))의 적어도 일부에 대한 특징점을 추출할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 720에서, 제 1 그룹의 특징점의 거리와 제 2 그룹의 특징점의 거리 비율을 확인할 수 있다.

일 실시 예에 따르면, 제 1 그룹의 특징점은 전면 유리 영역의 상단 경계선 일단에서 추출되는 제 1 특징점(예: 도 4c에 도시된 제 1 특징점(P1))과 전면 유리 영역의 하단 경계선 일단에서 추출되는 제 3 특징점(예: 도 4c에 도시된 제 3 특징점(P3))으로 구성될 수 있다. 또한, 제 2 그룹의 특징점은 전면 유리 영역의 상단 경계선 타단에서 추출되는 제 2 특징점(예: 도 4c에 도시된 제 2 특징점(P2))과 전면 유리 영역의 하단 경계선 타단에서 추출되는 제 4 특징점(예: 도 4c에 도시된 제 4 특징점(P4))으로 구성될 수 있다. 예를 들어, 통행 정보 획득 장치(100)는 제 1 특징점과 제 3 특징점 사이의 제 1 거리와 제 2 특징점과 제 4 특징점 사이의 제 2 거리의 비율을 확인할 수 있다. 그러나, 이는 예시적일 뿐, 본 문서가 이에 한정되는 것은 아니다. 예컨대, 제 1 그룹의 특징점 및 제 2 그룹의 특징점이 전면 유리 영역의 상단 경계선 일단 및 타단 그리고, 하단 경계선 일단 및 타단에서 추출되는 것으로 제한되지 않는다.

예를 들어, 제 1 그룹의 특징점은 전면 유리 영역의 상단 경계선 일단에서 추출되는 제 1 특징점(예: 도 4c에 도시된 제 1 특징점(P1))과 전면 유리 영역의 하단 경계선 일단과 타단 사이에서 추출되는 제 3 특징점으로 구성될 수 있다. 또한, 제 2 그룹의 특징점은 전면 유리 영역의 상단 경계선 타단에서 추출되는 제 2 특징점(예: 도 4c에 도시된 제 2 특징점(P2))과 전면 유리 영역의 하단 경계선 일단과 타단 사이에서 추출되는 제 4 특징점으로 구성될 수 있다. 이러한 경우, 통행 정보 획득 장치(100)는 제 1 특징점과 제 3 특징점 사이의 제 1 거리(예: 도 4b에 도시된, 전면 유리 영역의 일축 길이(d1))와 제 2 특징점과 제 4 특징점 사이의 제 2 거리(예: 도 4b에 도시된, 전면 유리 영역의 일축 길이(d2))의 비율을 확인할 수도 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 730에서, 제 1 거리와 제 2 거리의 비율에 기초하여 전면 유리 영역에 대한 왜곡 발생 여부를 판단할 수 있다. 일 실시 예에 따르면, 제 1 거리와 제 2 거리가 실질적으로 동일한 경우(예: 거리 비율이 지정된 범위에 포함되는 경우), 통행 정보 획득 장치(100)는 도 4b의 (b)에 도시된 바와 같이 전면 유리 영역에 대해 왜곡이 발생되지 않은 것으로 판단할 수 있다. 하지만, 제 1 거리와 제 2 거리가 일정 거리 이상 차이가 나는 경우(예: 거리 비율이 지정된 범위를 벗어난 경우), 통행 정보 획득 장치(100)는 도 4b의 (a) 또는 (c)에 도시된 바와 같이 전면 유리 영역에 대해 왜곡이 발생되었다고 판단할 수 있다.

다양한 실시 예에 따르면, 제 1 거리와 제 2 거리의 비율이 지정된 범위를 벗어나는 경우, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 740에서, 왜곡 보정을 통해 정규화된 전면 유리 영역을 획득할 수 있다. 일 실시 예에 따르면, 통행 정보 획득 장치(100)는 적어도 하나의 특징점에 대한 위치를 보정하여 경계선(L1)을 미리 정의된 기준 경계선(예: 도 4c의 기준 경계선(L2))에 정합시키는 왜곡 보정 동작을 수행함으로써 정규화된 전면 유리 영역을 획득할 수 있다.

이에, 통행 정보 획득 장치(100)는, 왜곡이 보정된 전면 유리 영역에서 탑승자 영역을 추출할 수 있다.

다양한 실시 예에 따르면, 제 1 거리와 제 2 거리의 비율이 지정된 범위에 포함되는 경우, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 왜곡이 발생되지 않은 전면 유리 영역에서 탑승자 영역을 추출할 수 있다.

도 8은 다양한 실시 예에 따른 정보 분석 시스템에서 영상에 발생된 왜곡을 보정하는 다른 동작을 도시한 흐름도이다. 이하에서 설명되는 도 7의 동작들은, 도 6의 630 동작에 대한 다양한 실시 예를 나타낸 것일 수 있다.

도 8을 참조하면, 다양한 실시 예에 따른 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 810에서, 전면 유리 영역으로부터 추출된 탑승자 영역에 대한 특징점을 획득할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 820에서, 추출된 특징점에 기초하여 정규화된 탑승자 영역을 획득할 수 있다.

다양한 실시 예에 따르면, 통행 정보 획득 장치(100)(또는 데이터 처리부(130))는, 동작 830에서, 정규화된 탑승자 영역의 일부를 인식 영역으로 지정할 수 있다. 다시 말해서, 통행 정보 획득 장치(100)는 전면 유리 영역의 일부에 대하여만 왜곡 보정을 수행하여 왜곡 보정에 요구되는 연산량을 줄일 수 있다.

도 9는 본 문서에 개시된 다양한 실시 예들에 따른 통행 정보 획득 장치 및 운영 장치를 포함하는 정보 분석 시스템의 기능적 블록도를 나타낸다.

도 9를 참조하면, 정보 분석 시스템(10)은 네트워크(200)를 통해 연결되는 적어도 하나의 통행 정보 획득 장치(예: 100-1, 100-2, 100-3)와 운영 장치(1000)를 포함할 수 있다. 예를 들어, 통행 정보 획득 장치(100-1)는 특정 지역(예: 고속도로, 일반도로 등) 단위로 설치될 수 있다. 통행 정보 획득 장치 (100-1)는 운영 장치(1000)와 통신할 수 있는 통신 인터페이스(140)를 포함할 수 있다. 통신 인터페이스(140)는 유선 또는 무선 중 적어도 하나를 포함할 수 있다.

운영 장치(1000)는 데이터 처리부(130)의 부족한 하드웨어 성능을 보완할 수 있다. 예를 들어, 운영 장치(1000)의 데이터 처리부(1100)는 데이터 처리부(130) 보다 고성능의 영상 처리를 구현할 수 있는 하드웨어(예: GPU(graphic processing unit))를 포함할 수 있다.

데이터 처리부(1100)는 통행 정보 획득 장치(100-1)에서 수행되는 탑승자에 대한 안전 운행 여부에 대한 분석을 포함하여 데이터 처리부(130)의 기능과 실질적으로 동일한 기능을 수행할 수 있다. 이 경우, 통행 정보 획득 장치(100-1)의 데이터 처리부(130)는 제거 또는 비활성화되는 것이 가능하다. 운영 장치(1000)는 정보 분석 시스템 유닛(100-1, 100-2, 100-3)으로부터 전달되는 결과 데이터에 기초하여 탑승자에 대한 안전 운행 여부를 확인할 수 있고, 차량의 식별 정보를 함께 이용하여 안전 운행 의무를 위반한 차량들을 단속할 수 있다. 운영 장치(1000)는 분석된 도로 상황에 기반하여 신호를 제어하거나 차량에게 다른 경로를 제공하도록 데이터 처리부(130)에게 명령을 전달할 수 있다.

이상의 설명은 본 문서에 개시된 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 문서에 개시된 실시 예들이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 문서에 개시된 실시 예들의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.

따라서, 본 문서에 개시된 실시 예들은 본 문서에 개시된 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 문서에 개시된 기술 사상의 범위가 한정되는 것은 아니다. 본 문서에 개시된 기술 사상의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 문서의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 정보 분석 시스템
100: 통행 정보 획득 장치
110: 촬영부
120: 센서부
130: 데이터 처리부
140: 통신 인터페이스

Claims

영상으로부터 획득되는 차량의 전면 유리 영역에 기초하여 탑승자 영역을 검출하고, 상기 영상으로부터 획득되는 차량 정보에 기초하여 상기 탑승자 영역의 일부분에 인식 영역을 설정하고, 상기 인식 영역을 통해 탑승자에 대한 안전 운행 여부를 판단하는 데이터 처리부를 포함하며,
상기 데이터 처리부는,
적어도 운전자 영역과 동승자 영역을 포함하는 상기 탑승자 영역을 검출하고,
상기 차량 정보에 기초하여, 상기 운전자 영역의 일부분과 상기 동승자 영역의 일부분을 각각의 인식 영역으로 설정하고,
상기 운전자 영역의 일부분과 상기 동승자 영역의 일부분에 설정되는 상기 인식 영역을 통해 상기 안전 운행 여부를 판단하고,
상기 인식 영역을 제외한 상기 운전자 영역과 상기 동승자 영역의 다른 부분에 대해서는 상기 안전 운행 여부를 판단하는 동작의 수행을 배제하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는,
상기 전면 유리 영역에서 상기 차량 정보에 대응하는 폭을 가지는 중앙 공간을 검출하고,
상기 중앙 공간을 기준으로 서로 이격된 상기 운전자 영역과 상기 동승자 영역을 검출하고,
상기 검출된 운전자 영역과 동승자 영역에서 상기 인식 영역을 설정하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는,
상기 차량 정보에 기초하여 상기 운전자 영역과 상기 동승자 영역 내에서의 상기 인식 영역의 크기 및 상기 인식 영역의 위치 중 적어도 하나를 결정하는, 영상을 이용한 정보 분석 시스템.
제 3 항에 있어서,
상기 차량 정보는 상기 차량의 타입을 포함하며,
상기 데이터 처리부는,
상기 차량 정보를 통해 제1 타입의 차량이 확인되면, 상기 탑승자 영역에 대하여 제1 크기 또는 제1 위치 중 적어도 하나에 기초하여 상기 인식 영역을 설정하고,
상기 차량 정보를 통해 상기 제1 타입과 다른 제2 타입의 차량이 확인되면, 상기 탑승자 영역에 대하여 상기 제1 크기와 다른 제2 크기 또는 상기 제1 위치와 다른 제2 위치 중 적어도 하나에 기초하여 상기 인식 영역으로 설정하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는 상기 전면 유리 영역에 대한 왜곡을 보정하고, 상기 왜곡이 보정된 전면 유리 영역에서 상기 탑승자 영역을 검출하는, 영상을 이용한 정보 분석 시스템.
제 5 항에 있어서,
상기 데이터 처리부는 상기 전면 유리 영역의 경계선 일부분에 설정되는 제 1 그룹의 특징점들의 제 1 거리와 상기 경계선의 다른 부분에 설정되는 제 2 그룹의 특징점들의 제 2 거리의 비율에 기초하여 상기 전면 유리 영역에 대한 왜곡 발생을 판단하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는 상기 전면 유리 영역을 복수의 영역으로 분할하고, 상기 분할된 영역 중 상기 탑승자 영역에 대응하는 적어도 하나의 영역을 보정하고, 상기 보정된 영역의 일부를 상기 인식 영역으로 설정하는, 영상을 이용한 정보 분석 시스템.
제 7 항에 있어서,
상기 데이터 처리부는 상기 적어도 하나의 영역에 대한 위치를 상기 차량 정보에 대응되는 기준 경계선에 정합시키는, 영상을 이용한 정보 분석 시스템.
제 7 항에 있어서,
상기 데이터 처리부는 상기 전면 유리 영역의 경계선에 설정되는 특징점들의 연결에 기초하여 상기 전면 유리 영역을 복수의 영역으로 분할하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는 상기 인식 영역에 대한 왜곡을 보정하는, 영상을 이용한 정보 분석 시스템.
제 10 항에 있어서,
상기 데이터 처리부는 상기 인식 영역을 복수의 영역으로 분할하고, 상기 분할된 영역 중 적어도 하나의 위치를 보정하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 차량 정보는, 식별 정보, 전면 유리의 크기 정보, 차량 내부 구조 정보 중 적어도 어느 하나와 관련된, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 안전 운행 여부는, 탑승자의 안전벨트 착용 여부, 졸음 운전 여부, 음주 운전 여부, 주행 중 휴대 전화의 사용 여부, 운전자가 유아 또는 애완동물을 안고 운전장치를 조작하는지 여부, 탑승자의 흡연 여부 또는 운전자의 전방 주시 태만 여부 중 적어도 하나를 포함하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는 상기 영상으로부터 상기 차량의 식별 정보를 검출하고,
상기 식별 정보와 상기 탑승자에 대한 안전 운행 여부의 판단 결과를 포함하는 결과 데이터를 생성하는, 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 데이터 처리부는 통행 정보, 방범 정보, 및 이벤트 정보 중 적어도 하나를 포함하는 결과 데이터를 생성하는, 영상을 이용한 정보 분석 시스템.
제 14 항 또는 제 15 항에 있어서,
상기 결과 데이터를 운영 장치에 전송하는 통신 인터페이스를 더 포함하는 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 영상을 촬영하도록 설정된 촬영부를 더 포함하는 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 차량을 포함하는 영상 내의 객체의 위치 또는 이동 거리를 측정하는 센서부를 더 포함하는 영상을 이용한 정보 분석 시스템.
제 1 항에 있어서,
상기 영상을 분석하여 획득된 정보를 통해 도로 상황을 관제하도록 설정된 운영 장치를 더 포함하는 영상을 이용한 정보 분석 시스템.
영상으로부터 획득되는 차량의 전면 유리 영역에 기초하여 탑승자 영역을 검출하는 단계;
상기 영상으로부터 획득되는 차량 정보에 기초하여 상기 탑승자 영역의 일부분에 인식 영역을 설정하는 단계; 및
상기 인식 영역을 통해 탑승자에 대한 안전 운행 여부를 판단하는 단계를 포함하며,
상기 탑승자 영역은 적어도 운전자 영역과 동승자 영역을 포함하며,
상기 인식 영역을 설정하는 단계는,
상기 차량 정보에 기초하여, 상기 운전자 영역의 일부분과 상기 동승자 영역의 일부분을 각각의 인식 영역으로 설정하는 단계;
상기 운전자 영역의 일부분과 상기 동승자 영역의 일부분에 설정되는 상기 인식 영역을 통해 상기 안전 운행 여부를 판단하는 단계; 및
상기 인식 영역을 제외한 상기 운전자 영역과 상기 동승자 영역의 다른 부분에 대해서는 상기 안전 운행 여부를 판단하는 동작의 수행을 배제하는 단계를 더 포함하는, 영상을 이용한 정보 분석 방법.