KR102505519B1 - 차트축감지방법 및 장치 - Google Patents

Abstract

본 발명은, 차트(chart)의 이미지(image)를 입력 받는 단계; 상기 이미지에서 사용된 색(color)을 감지하는 단계; 및 상기 색을 이용하여 차트축(axis of chart)을 감지하는 단계를 포함하되, 상기 차트축을 감지하는 단계는, 행과 열에 대한 픽셀 카운팅 회수가 상위에 분포하는 행과 열을 이용하여 x축 및 y축을 감지하는 것을 특징으로 축감지방법을 개시한다. 본 발명에 따르면, 정보와 데이터의 종합적 비판을 위해 시각화 자료인 차트에서 역으로 데이터가 자동으로 추출될 수 있다.

Description

차트축감지방법 및 장치{METHOD AND DEVICE FOR DETECTING AXIS OF CHART}

본 발명은 차트축감지방법 및 장치에 관한 것으로, 더욱 상세하게는 차트로부터 정보 추출에 있어서 차트의 축을 감지하는 방법 및 이를 이용하는 장치에 관한 것이다.

결과 데이터를 요약한 시각적 정보를 효과적으로 전달하기 위해 차트가 사용된다. 차트를 비판적으로 검토하고 관련 논문 전반에 걸쳐 디지털 방식으로 접근하는 가능한 대규모 차트를 합성하려면 차트의 시각적 정보에서 데이터를 추출하는 효율적이고 효과적인 방법이 필요하다. 차트 중에서 특히 인기 있는 차트로 선차트와 막대차트가 많이 이용된다.

막대차트와 선차트를 정확하게 디지털화하는 문제가 과학계의 관심이 되면서 축감지를 포함하여 정보를 추출하는 모델을 구축하는 데 중점을 둔 다양한 작업이 있었다.

일부 작업에서는 정보의 구문 분석 도구로서 심층 신경망(deep neutral networks, DNN)이 사용되었다. 종래 기술에 따른 작업은 내부의 다른 그래픽 특징을 분리하지 않고 차트와 값의 전체를 감지하여 전체적으로 수행되거나, 서로 다른 영역들에 대해 분리하여 수행되었다. DNN은 감지해야 할 타입의 객체에 대한 아이디어를 제공받고, 축(axes)과 막대(bars)를 서로 다른 주제(subject)로 취급한다. Siegal et al(2016)은 정보 추출 프로세스에서 축을 감지하기 위해 CNN(Convolutional Neural Network)을 사용한다. 그들의 축 감지는 PDF에서 추출한 그림이 실제로 참인지 이해하기 위해 위치와 크기를 이해하는 것과 관련이 있다.

그러나 이전에 반복되었듯이 종래 기술의 방법은 축감지가 아니라 종이에서 그림을 추출하는 데 중점을 두었다. Zhang et al(2021)도 DNN을 사용하여 핵심 포인트 탐지 기술인 Cornernet을 사용하여 객체 탐지를 목적으로 한다. 종래 기술의 방법은, 패턴인식을 사용하여 차트의 구조적 요소를 예측하고 디지털화된 형태로 재생성한다. 모든 유형의 차트에서 축감지 정확도가 90% 이상으로 평균 2.4초의 구문 분석이 가능했다.

Rane et al(2021)은 ChartReader 알고리즘을 사용하여 그림을 구문 분석하는 단계의 일부에서 축을 감지한다. 그들의 탐지는 입력 수치를 이진 그레이 스케일 이미지로 통합하고 임계값을 구현하는 단계를 따른다. 임계값은 관측 데이터를 기반으로 200으로 결정된다. 그런 다음 이 매트릭스를 수직으로 스캔하여 연속적으로 검은색 라인 픽셀을 식별한다. 축은 연속적인 검은색 픽셀의 최대 개수가 가장 긴 행으로 식별된다.

그러나 DNN 또는 규칙 기반 방법만 사용될 필요는 없다. Luo et al(2021)은 후자에 초점을 맞춰 이 둘(DNN 및 규칙 기반 방법)의 조합을 사용한다. 그들은 범위 추출을 통해 키워드를 추출한 후 각 유형과 관련된 규칙을 기반으로 유형별 감지를 사용하여 정보를 구문 분석한다. 이 둘을 조합하면 숫자 값이 생성됩니다.

점의 값과 막대의 길이는 기준, 즉 2D 좌표계의 축을 기준으로 측정된다. 따라서 축감지는 차트에서 효율적이고 효과적인 데이터 추출의 핵심이다. 규칙을 학습하는 복잡한 알고리즘보다는 간단한 규칙이 이를 처리할 수 있다. 따라서 간단한 픽셀 카운팅을 사용하여 계산적으로 저렴하고 더 정확한 규칙 기반의 축감지알고리즘이 이용될 수 있다.

본 발명과 관련된 기술로서, 대한민국 등록특허 공보는, 3D 화면의 부가 정보의 누계 정보 표시 영역에, 데이터를 발생 지역별 및 탐지 장비별로 누계하여, 공격측과 피해측을 구분한 막대차트를 표시하는 네트워크 보안 상황 시각화 방법 및 그 장치를 개시한다. 이 관련 기술은, 시각화 방법으로서 막대차트를 이용하는 점에서, 차트로부터 정보를 추출하는 본 발명의 구성과 비교하여 발명의 목적, 구성 및 효과가 모두 구별된다.

대한민국 등록특허 제10-1868893호 (2018.06.19 공고)

본 발명이 해결하고자 하는 일 과제는, 정보와 데이터의 종합적 비판을 위해 차트에서 데이터를 추출하는 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 일 과제는, 차트에서 데이터 추출을 위해 차트의 축을 감지하는 방법 및 장치를 제공하는 것이다.

본 발명의 일 실시 예에 따른 차트축감지방법은, 차트(chart)의 이미지(image)를 입력 받는 단계; 이미지에서 사용된 색(color)을 감지하는 단계; 및 색에 관한 색정보를 이용하여 차트축(axis of chart)을 감지하는 단계를 포함하되, 차트축을 감지하는 단계는, 행과 열에 대한 픽셀 카운팅 회수가 상위에 분포하는 행과 열을 이용하여 x축 및 y축을 감지하는 것을 특징으로 한다.

또한, 차트축감지방법은, 이미지에서 사용된 색을 감지하는 단계가 이미지의 픽셀정보(pixel information)를 추출하는 단계; 및 픽셀정보를 이용하여 상기 이미지의 색(color)을 감지하는 단계를 포함하도록 구성될 수 있다.

또한, 차트축감지방법은, 색정보를 이용하여 상기 이미지의 위치값을 보다 구체화하는 단계를 더 포함하도록 구성될 수 있다.

또한, 차트축감지방법은, 색정보를 이용하여 상기 차트축을 감지하는 단계가 이미지의 위치값 정보를 이용하여 차트축을 구성하는 픽셀의 차트색을 예상하는 단계; 차트색의 픽셀정보 임계값을 설정하는 단계; 및 추출된 픽셀정보와 상기 픽셀정보 임계값을 비교하여 임계범위 내의 행과 열을 선별하는 단계를 포함하도록 구성될 수 있다.

또한, 차트축감지방법은, 임계범위 내의 행과 열을 선별하는 단계가 임계범위 내에 있는 픽셀을 카운팅하는 단계; 카운팅의 회수의 최대값을 이용하여 차트축을 구성하는 행과 열을 감지하는 단계를 포함하도록 구성될 수 있다.

본 발명의 일 실시 예에 따른 차트축감지장치는, 차트(chart)의 이미지(image)를 입력 받는 입력부; 이미지에서 사용된 색(color)을 감지하는 색감지부; 및 색에 관한 색정보를 이용하여 차트축(axis of chart)을 감지하는 축감지부를 포함하되, 축감지부는, 행과 열에 대한 픽셀 카운팅 회수가 상위에 분포하는 행과 열을 이용하여 x축 및 y축을 감지하는 것을 특징으로 한다.

기타 실시 예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시 예를 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 각 실시 예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시 예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명에 의하면, 정보와 데이터의 종합적 비판을 위해 시각화 자료인 차트에서 역으로 데이터가 자동으로 추출될 수 있다.

또한, 인공지능 기술에 의하지 않더라도 차트에서 데이터의 효율적 추출을 위해 차트의 축이 감지될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 차트축감지장치의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 차트축감지방법의 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 차트축감지방법의 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 차트축감지방법의 흐름도이다.
도 5는 감지 대상인 축을 포함하는 선차트이다.
도 6은 감지 대상인 축을 포함하는 막대차트이다.
도 7은 본 발명의 일 실시 예에 따른 차트축감지방법의 알고리즘이다.
도 8은 본 발명의 일 실시 예에 따른 차트축감지방법의 예시도이다.
도 9는 축을 구성하는 픽셀의 예시도이다.
도 10은 유사한 RGB값을 갖는 픽셀의 예시도이다.
도 11은 본 발명의 일 실시 예에 따라 축의 색을 감지하는 방법을 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시 예에 따라 축을 구성하는 픽셀의 위치를 감지하는 방법을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 차트축감지방법 및 장치에 의한 차트축감지 결과를 나타내는 예시도이다.
도 14는 본 발명의 일 실시 예에 따른 차트축감지방법 및 장치의 효과를 나타내는 표이다.
도 15는 본 발명의 일 실시 예에 다른 차트축감지방법 및 장치의 효과를 나타내는 표이다.
도 16은 Y축이 암시적으로 표시된 선차트이다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니 되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시 예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"라고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결하기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대해 상세한 설명은 생략될 수도 있다.

이하, 본 발명의 실시 예에 대해 관련 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 차트축감지장치의 블록도이다.

도 1을 참조하면, 차트축감지장치(100)는, 제어부(110), 입력부(120), 색감지부(130), 현지화부(140), 축감지부(150) 및 입출력 인터페이스(160)를 포함하도록 구성될 수 있다.

제어부(110)는, 입력부(120), 색감지부(130), 현지화부(140), 축감지부(150) 및 입출력 인터페이스(160)의 전체 동작을 제어하는 기능을 갖는다. 차트축감지방법의 알고리즘을 구성하는 코드를 실행하는 프로세서를 포함하도록 구성될 수 있다.

입력부(120)는 차트이미지를 입력 받는 기능을 갖는다. 입력 받은 차트이미지에 대한 차트축감지 과정이 종료되면, 차기 차트이미지를 입력 받는다.

색감지부(130)는 차트이미지에서 사용된 색을 감자하는 기능을 갖는다. 색감지부(130)는 차트이미지의 픽셀정보를 추출해서, 차트이미지의 픽셀정보를 이용하여 차트이미지의 색을 감지할 수 있다. 차트이미지의 픽셀정보로서 RGB값과 같은 파라미터가 사용될 수 있다.

현지화부(140)는 차트이미지에서 사용된 색에 관한 색정보를 이용하여 차트이미지를 현지화하는 기능을 갖는다. 현지화를 통해 차트이미지의 구성에 관한 현지화 정보가 수집될 수 있다.

축감지부(150)는 색정보를 이용하여 차트축을 감지하는 기능을 갖는다. 축감지부(150)는 차트축감지방법의 알고리즘을 저장하는 메모리를 포함하도록 구성될 수 있다.

입출력 인터페이스(160)는, 사용자 입력을 통해 사용자 지령을 입력 받고, 처리 결과를 출력하는 기능을 갖는다. 입출력 인터페이스(160)는 키보드, 마우스, 터치스크린 및 디스플레이장치를 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 차트축감지방법의 흐름도이다.

도 2를 참조하면, 차트축감지방법(S100)은, 차트이미지를 입력 받는 단계(S110), 차트이미지에서 사용된 색을 감지하는 단계(S130), 색에 관한 색정보를 이용하여 차트이미지를 현지화하는 단계(S150) 및 색정보를 이용하여 차트축을 감지하는 단계(S170)를 포함하도록 구성될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 차트축감지방법의 흐름도이다.

도 3을 참조하면, 색정보를 이용하여 차트축을 감지하는 단계(S170)는, 현지화 정보를 이용하여 차트축을 구성하는 픽셀의 차트축색을 예상하는 단계(S171), 차트축색의 픽셀정보 임계값을 설정하는 단계(S173), 및 차트이미지의 픽셀정보와 픽셀정보 임계값을 비교하여 임계범위 내의 행과 열을 선별하는 단계(S175)를 포함하도록 구성될 수 있다.

도 4는 본 발명의 일 실시 예에 따른 차트축감지방법의 흐름도이다.

도 4를 참조하면, 차트이미지의 픽셀정보와 픽셀정보 임계값을 비교하여 임계범위 내의 행과 형을 선별하는 단계(S175)는, 임계범위 내에 있는 픽셀을 카운팅하는 단계(S176), 및 카운팅의 회수의 최대값을 이용하여 차트축을 구성하는 행과 열을 감지하는 단계(S177)를 포함하도록 구성될 수 있다.

이하 본 발명의 일 실시 예에 따른 차트축감지장치(100) 및 차트축감지방법(S100)의 근간을 이루는 차트축감지방법의 알고리즘에 대해 설명하기로 한다.

축은 독자와 필자 모두에게 차트에서 중요한 부분이다. 독자는 차트를 해석하고 축을 기반으로 효율적으로 정보를 이해한다. 필자는 데이터를 데이터 시각화의 그래픽 표현인 차트로 변환한다. 필자는 실험에서 생성된 원시 데이터, 수치 결과를 보여주기 보다는 일부 정보를 요약하여 독자에게 효과적으로 전달할 수 있다. 필자는 정보를 전달할 수 있는 적절한 유형의 차트를 선택한다. 두 가지 인기 있는 차트는 선차트(line chart)와 막대차트(bar chart)이다.

선차트는 가로 및 세로 눈금에 대해 점을 연결한다. 선차트는 x에 대한 y의 변화를 보여준다. 독자는 먼저 축을 살펴본 다음 선차트의 선에 있는 점을 본다. 독자는 추세, 상승 및 하락, 반복 및 교차를 포함한 패턴을 찾을 수 있다. 막대차트는 막대를 설정하여 다양한 범주의 수량을 나타낸다. 독자는 먼저 막대에 수직인 축을 보고 그것이 무엇인지 식별한 다음 막대와 평행한 축을 보고 수량을 식별한다. 독자는 각 막대의 절대량과 막대의 분포를 식별할 수 있을 뿐만 아니라 모든 막대를 비교할 수도 있다.

많은 경우 차트가 전달하는 정보를 파악하는 것으로 충분할 수 있다. 그러나 많은 경우에 관련 연구를 위해 정보와 데이터의 종합이 비판적으로 고려될 필요가 있다. 그런 다음, 예를 들어 원시 데이터 형식으로 결과가 자세히 이해되야 한다.

종래 기술에 따르면 차트에서 데이터가 수동으로 추출되곤 했다. 어떤 사람들은 차트를 보고 선차트의 점과 막대차트의 막대 길이에 해당하는 수량을 추측할 수 있다. 다른 사람들은 연구 논문의 필자에게 원시 데이터를 요청할 수 있다. 이제 우리는 자동 데이터 추출이 가능하도록 이미지 형식의 차트와 첨단 컴퓨터 비전 기술을 보유하고 있다.

차트에서 자동 데이터 추출 시, 고려해야 할 주요 성능 측정 기준은, 사용되는 머신 러닝 알고리즘의 새로움이 아니라 올바른 데이터 추출의 정확도와 데이터 추출 시간이다. 알고리즘은 규칙을 기반으로 하거나 규칙을 생성할 수 있다. 어떤 경우든 성능 측정은 축 감지에 따라 달라진다. 축이 잘못 구문 분석되면 값이 잘못 추출된다. 따라서 본 발명에서는 축을 인식하기 위한 효율적이고 효과적인 규칙 기반 차트축감지방법의 알고리즘을 제안한다.

대부분의 선차트는 축 감지에 사용할 수 있는 공통 구조를 공유한다.

선차트에는 제목, x축, 값 선이 있는 y축이 포함된다. 차트 내에는 축선이 아니지만 사람이 읽기 쉽게 배치된 선이 있다는 점에 유의해야 한다.

도 5는 감지 대상인 축을 포함하는 선차트이다.

도 5는 이러한 선을 x축의 각 값을 가로지르는 회색 수평선으로 보여준다. 이 선은 축으로 간주되지 않는다. 값선(value lines)은 정보를 제공하는 차트의 데이터 요소를 나타낸다.

선차트는 축(axes), 그래픽 정보(graphical information), 범례(legend) 및 텍스트(text)의 4가지 요소를 포함한다. 축은 일반적으로 자체 및 차트 가장자리에 수직인 x축 및 y축이다. X축 및 y축 사이의 공간에는 값과 데이터 포인트가 있는 그래픽 정보가 포함된다. 범례는 선차트의 값을 나타내는 색상을 표시한다. 텍스트는 차트의 제목, x축과 y축의 제목에 대한 정보 및 차트 내부의 정보가 따르는 값 포인트를 포함한다.

도 6은 감지 대상인 축을 포함하는 막대차트이다.

도 6을 참조하면, 선차트와 마찬가지로 대부분의 막대차트는 축 감지에 사용할 수 있는 공통 구조를 공유한다. 막대차트는 축, 그래픽 정보, 범례 및 텍스트의 4개 요소를 포함한다. 막대차트에 대한 설명은 값이 막대로 세로 방식으로 표시된다는 점을 제외하고는 선차트의 설명과 대동소이하다.

앞서 언급한 바와 같이 차트 디지털화에 대한 종래 기술은 수동 입력을 기반으로 하며 다음과 같이 작동한다.

제1단계로 사용자가 플롯(plot)의 이미지 파일을 입력하면, 제2단계로 프로그램은 사용자에게 x축 및 y축의 위치를 감지하라는 메시지를 표시하고, 제3단계로 프로그램은 사용자에게 x축 및 y축에 값을 할당하라는 메시지를 표시한다.

종래 기술에 따른 프로그램은 사용자에게 그래픽 정보에 대한 데이터 포인트를 제출하라는 메시지를 표시하므로 대부분의 작업은 느리고 확장 불가능한 방식으로 수동으로 수행된다. 즉 종래 기술은 사용자의 정확성에 의존하고 시간을 소비한다. 본 발명의 일 실시 예에 따른 차트축감지방법 및 장치의 접근 방식은 프로그램이 수동으로 감지하여 사용자에게 x축 및 y축의 위치를 감지하도록 프롬프트를 표시하는 제2단계를 개선하는 것을 목표로 하고, 자율적인 대규모 디지털화 사용을 지원한다.

본 발명에서 새로운 요소는 다음과 같다.

축 감지를 위한 더 빠르고 덜 집중적인 프로그램, RGB값 기반의 컬러 감지 시스템 사용, 및 축 검출을 위한 픽셀 카운팅 방법의 사용이다.

도 7은 본 발명의 일 실시 예에 따른 차트축감지방법의 알고리즘이다.

도 8은 본 발명의 일 실시 예에 따른 차트축감지방법의 예시도이다.

도 9는 축을 구성하는 픽셀의 예시도이다.

앞서 언급했듯이 선차트는 축, 그래픽 정보, 범례 및 텍스트의 네 가지 요소로 구성된다. 이러한 요소는 값을 나타내기 위해 다양한 색상으로 표시된다.

도 9를 참조하면, 차트는 바탕색에 검정색, 회색과 같은 무채색과, 빨간색, 파란색 등과 같은 유채색으로 표시될 수 있다.

이와 같은 경우에 색상 스케일(color scale) 기반 감지 방법이 필요하다. 이러한 감지를 수행하기 위해 몇 가지 주의 사항이 발생한다. 먼저 이미지의 맥락(context of the image)이 이해될 수 있어야 합니다. 모든 그래픽 특징은 사람의 눈에는 비슷할 수 있지만 RGB 수치가 크게 다른 다양한 색 구성(color schemes)을 포함하므로 감지 임계값(detection shreshold)은 각 그림 인스턴스(picture instance)에 대해 지역화된 방식(localised manner)으로 최적화되어야 한다. 따라서 검출할 특정 색상을 설정하는 대신 그림의 각 행과 열에서 유사 색상(RGB값) 픽셀의 최대 수를 찾아 감지할 색상이 탐색된다. 이전 접근 방식과 달리 차트축감지는 주로 회색 또는 이진 대신 컬러 스케일로 수행될 수 있다.

도 7 및 도 8을 참조하면, 사용자가 선차트 또는 막대차트를 입력하면 이 차트이미지가 픽셀 값의 행렬로 변환된다. 차트축감지장치에 의해 픽셀 값은 RGB값으로 표시된다. 특정의 RGB값을 임계값으로 설정함으로써 차트축감지장치는 인간이 식별할 수 있는 검정과 회색의 색 구성에 있는 색들을 선택한다. 선택된 색의 픽셀은 축으로 선택되고 강조 표시된다. 다음으로 도 3은 본 발명의 일실시 예에 따른 차트축감지방법의 알고리즘의 의사코드(pseudocode)이며 RGB 감지에서 축에 대한 두 줄 그리기까지 알고리즘 프로세스를 설명한다.

일반적으로 LaTeX와 같은 소프트웨어에서 계산된 선차트의 축에 대한 색상 스케일은 유사한 스케일을 따른다. 가장 어두운 색상인 검정은 (0,0,0)으로 표시되고 흰색은 (255, 255, 255)로 표시되는 반면 회색과 같은 중간 색상은 두 값 사이의 값으로 표시될 수 있다. 그러나 사람의 눈에는 식별할 수 없지만 흑백의 색상은 표준 척도와 크게 다른 값을 가질 수 있다.

RGB 색상 간의 이러한 불일치는 회색 색상에 접근하는 것보다 더 커질 수 있다. 회색 색상은 그라디언트(gradient)가 검정과 흰색 둘 사이의 모든 스케일에 있을 수 있고 패턴을 공유하지 않기 때문이다.

RGB는 말 그대로 Red, Green, Blue로 색을 구분하는데, 흑백은 이러한 RGB 값을 흑과 백 양 쪽의 스케일이 모두 포함되는 구조라서, 도 9에 보듯이 사람의 눈으로 보이는 Grey는 같은 색상 한 줄로 보이지만, 막상 RGB 값은 서로 모두 다른 값으로 표현되는 것을 확인할 수 있다.

도 10에 보듯이 RGB에서 숫자 1 차이가 사람의 눈에는 엄청난 차이로 보일 수도 있다. Grey가 이런 상황이면, RGB 색상간의 불일치는 더욱 심각할 수 있다.

도 10은 유사한 RGB값을 갖는 픽셀의 예시도이다.

도 10을 참조하면, RGB 색상선택기를 이미지에 적용하기 전까지는 유사 범위에 있는 색이 눈에 띄거나 서로 구별될 수 없다. 왼쪽 픽섹의 색은 RGB(192, 192, 192)를 나타내고 왼쪽 픽셀의 색은 RGB(192, 192, 191)를 나타낸다. 두 픽셀 값의 차이는 B값의 차이 1에 불과하다. Red, Green, Blue의 값이 서로 달라도 두 픽셀은 유사한 음영을 공유한다. 따라서 지역화된 컨텍스트 없이 임계값을 적용하고 보편적인 컨텍스트를 기반으로 한 숫자에만 적용하면 높은 오차 범위가 발생할 수 있다. 임계값을 보편적으로 적용하면 특히 세 개의 RGB값이 서로 일치하는 경우에 오류가 발생할 수 있다. 각 R, G, B 값에 대해 임계값을 지정해야 하므로 각 회색 픽셀의 입계값이 각 픽셀의 중앙값 ± 10을 갖도록 설정될 수 있다.

<현지화>

축감지의 정확도를 높이기 위해 현지화(localization)가 사용될 수 있다. 현지화라는 것은 인공지능을 이용하여 사물을 인지하는 경우, 그 사물이 이미지에서 위치하는 위치값을 알아내는 것을 의미한다. 즉, 챠트에서 여러 개의 선/색 등을 가지는 경우, 각 선/색을 인지하여 각각을 영역화한다는 것이다. 이 경우의 현지화는 이미지의 컨텍스트(context of the image)를 수집하여 모델의 기반 구축(foundation of the model)으로 정의되며, 오류 마진을 줄이기 위해 규칙 기반 실행(rule-based execution)을 구현하는 데 도움이 된다. 현지화를 수행하려면 선 색상(line color) 감지를 위한 임계값(threshold)을 탐색해야 한다. 임계값 탐색은, 차트에서 초기 감지 영역을 명확히(clarifying the area for the initial detection) 함으로써 가장 쉽게 수행될 수 있다.

그래픽 영역에 x축이 아닌 여러 선이 있는 경우가 도 6에 묘사되어 있다. 빨간색으로 강조 표시된 선은 차트의 유일한 x축이지만 차트에는 연속적이고 한 가지 색상인 회색 선이 거의 없다. 위쪽과 아래쪽을 포함한 전체 이미지에서 y축에 상관관계가 있는 각 값에 대해 회색 값선(value lines)이 자주 나타난다.

y축에 상관관계가 있는 각 값에 대해 회색 값선(value lines)이 자주 나타나는 것은 본 발명의 일 실시 예에 따른 차트축감지장치가 각 행과 열에서 발생하는 색상의 빈도를 감지하기 때문에 감지의 요소일 수 있으므로 동일한 RGB값을 포함하는 다른 연속선이 있는 경우 대신 축과 같은 선이 감지되기 어려울 수 있다. 이를 방지하기 위해 유채색(고주파색)의 강도를 확인함으로써 현지화가 사용될 수 있다. x축 또는 y축 차트 레이블이 있는 위치 근처에 있는 것을 찾기 위해 유채색의 RGB값의 인덱스가 후보목록(shortlist)에서 사용될 수 있다.

이미지는 서로 다른 RGB값의 다양한 픽셀로 구성되고, 전체 그림으로 인식된다. 이미지는 처리를 위해 픽셀로 분해된다. 본 발명의 일 실시 예에 따른 차트축감지장치는 이미지의 모든 픽셀에 대한 인덱스를 생성하고 각 행과 열의 현지화 및 임계값을 기반으로 설정된 규칙과 일치하는 픽셀을 선정한다. 이 픽셀은 다른 인덱스로 이동되고 값이 지정된다. 이 값은 규칙과 조건을 모델의 다음 단계로 따르기 위해 사용되는 임계값과 일치시키기 위해 임의로 1로 설정된다. 1이 설정된 픽셀은 차트축감지장치가 행과 열로 픽셀을 다시 한 번 카운트하는 마스크(mask)가 된다.

도 11은 본 발명의 일 실시 예에 따라 축의 색을 감지하는 방법을 설명하기 위한 예시도이다.

각 R, G, B의 동일하거나 유사한 값이 감지되면 값이 조건과 일치하면 R, G, B가 감지된 픽셀 위치에 값 1이 할당된다. 값이 일치하지 않으면 값 0이 할당된다. 할당된 값 0, 1은 축을 구성하는 색상이 될 가능성이 있는 픽셀의 지표이다

<감지>

이전 계산 픽셀 위상의 마스크는 "1" 값을 갖는 픽셀로 결과를 남긴다. 이 값은 차트의 축인 픽셀을 나타낸다. 각 행과 열에 있는 모든 값의 합계를 포함하는 이전 단계에서 설정한 규칙 및 조건을 기반으로 두 개의 수직 및 수평선을 그려 축이 있는 위치를 시각적으로 알리기 위해 색상을 다시 한 번 마스킹하여 축으로 명확히 할 수 있다. 도 12는 세로선과 가로선이 이제 성공적으로 감지된 두 축을 묘사한다.

도 12는 본 발명의 일 실시 예에 따라 축을 구성하는 픽셀의 위치를 감지하는 방법을 설명하기 위한 예시도이다.

모델은 각 행과 열의 모든 1, 0 값을 계산한다. 값의 합은 축을 구성하는 색상이 될 가능성이 있는 픽셀 수를 나타낸다. 합계를 정렬하고, 행과 열에 대해서 합이 가장 높은 1위~10위까지 10개가 각각 선정되고, 각 10개 중에서 열에 대해서는 맨 왼쪽 값이 행에 대해서는 맨 아래 값이 최종 선택될 수 있다.

평가를 위해 본 발명의 일 실시 예에 따른 데이터 세트는 다음과 같은 방식으로 컴파일되었다. 본 발명의 일 실시 예에서 700개의 그림(figures)을 얻기 위해 구글에서 "line-graphs"와 "bar-graphs"가 검색되었다. 명확한 x축과 y축이 있고 올바른 차트 유형인 올바른 데이터 세트를 포함하도록 그림이 수동으로 검사되었다. 1400개 차트의 이 합계를 전체 데이터 세트라고 한다. 이 1400개의 숫자에서 암시적 축이 있는 것과 같이 본 발명의 일 실시 예에 따른 차트축감지장치에 맞지 않는 것이 제거되었다. 본 발명에서 634개의 선차트와 597개의 막대차트의 제한된 데이터 세트가 제공되었다.

도 13은 본 발명의 일 실시 예에 따른 차트축감지방법 및 장치에 의한 차트축감지 결과를 나타내는 예시도이다.

도 14는 본 발명의 일 실시 예에 따른 차트축감지방법 및 장치의 효과를 나타내는 표이다.

도 15는 본 발명의 일 실시 예에 다른 차트축감지방법 및 장치의 효과를 나타내는 표이다.

도 14를 참조하면, 전체 데이터 세트의 정확도가 요약되어 있다. 정확도 및 속도 매개변수 내에서 두 가지 다른 유형의 차트에서 x축 및 y축 감지를 테스트했다. 정확도는 차트축감지장치가 얼마만큼의 정확도로 축을 감지할 수 있는지와 관련이 있다. 각 그림의 평균 정확도를 집계함으로써 정확도가 측정될 수 있다. 정확도는 차트축감지에 걸린 시간을 축이 성공적으로 추출된 회수로 나눈 값에서 파생된다. 차트축감지의 결과가 도 10에 묘사되어 있다.

Rane(2021)이 제안한 ChartReader의 방법과 Chartreader에서 제공하는 데이터 세트를 갖는 AxesDetector가 비교되었다. 두 모델을 비교하는 데 ChartReader가 제공한 두 개의 데이터 세트가 사용되었다. 제한된(constrained) 데이터 세트는 모델이 수행할 수 있는 가장 높은 정확도와 올바른 조건을 나타내기 때문에 선택되었다. ChartReader의 제한된 데이터 세트는, 회색조, 패턴화된 또는 총 516개의 다양한 차트를 포함하는 막대플롯(bar-plots), 즉 막대차트가 제외된 것이다. 막대차트의 두 개의 제한된 데이터 세트 간의 비교가 도 11에 표시되어 있다.

도 15의 결과는, 앞서 언급한 논문에 대한 프로세스의 다른 단계가 아니라 축 감지 단계에 대해서만 축 감지 및 ChartReader와 관련된 데이터에 대한 결과이다. 시간 및 정확도 측정을 위한 측정항목은 이전 매개변수와 동일하다. AxesDetector는 시간 및 평균 시간에 대한 모든 메트릭에 대해 더 높게 확장된다. 이 증가된 정확도는 AxesDetector가 픽셀 색상을 기반으로 축을 확인하는 기능을 기반으로 한다. ChartReader와 같은 연속선(continuous line)이 아니다. 본 발명의 일 실시 예에 따른 차트축감지장치의 구문 분석은 존재할 수 있는 RGB값의 차이를 고려하기 위해 임계값을 임의로 설정하는 대신 현지화를 채택하였다. 이점은 최적화되지 않은(not conditioned) 다른 데이터 세트에 사용된 본 발명의 견고성을 나타낸다.

도 16은 Y축이 암시적으로 표시된 선차트이다.

본 발명의 일 실시 예에 따른 차트축감지장치의 특성은 그림의 픽셀 수를 세어 색상 강도를 기반으로 축을 감지하므로, 축이 암시되면 축이 그려지지 않은 것처럼 감지되지 못한다는 것이다. 도 16은 y축이 y축 값 옆에 암시적으로, 즉 단색 선으로 명시적으로 그려지지 않은 차트를 표시한다. 전체 제약 조건은 정확도가 요인에 따라 어떻게 달라지는지 보여준다. 다른 부정확성은 세 가지 경우에 발생한다.

1) 축선의 색상(color of the axis lines)

2) 배경색(color of the background)

3) 축선 부분의 동색 화소의 빈도

부정확성은 모델의 규칙 기반 프로세스로 인해 발생한다. 본 발명의 일 실시 예에 따른 차트축감지장치는 RGB값이 유사한 방식으로 검정-회색 범위 색상을 감지한다. 따라서 검출해야 하는 축 주변에 유사한 색상의 픽셀이 있으면 검출 정확도가 떨어질 수 있다. 차트축감지는 선 자체의 색상에 따라 달라지므로 값이 높은 열의 빈도는 차트축감지에 영향을 미칠 수 있다. 여기에는 차트에 배경색이 있는 경우가 포함된다. 배경도 동일한 RGB값으로 인해 동일한 픽셀의 높은 빈도가 있는 경우 차트축감지장치는 RGB 강도 색상을 감지할 수 없다. 본 발명의 일 실시 예에 따른 차트축감지장치는 각 RGB값이 같거나 유사한 맨 왼쪽 열과 맨 아래 행을 감지하도록 구성될 수 있다. 따라서 축 자체에 밀접하게 쓰여진 축의 레이블(label)이 있거나 축에 닿는 범례(legend)가 있는 경우 축 감지 프로세스가 중단될 수 있다.

축선, 즉 가로나 세로의 단위 기준선은 대부분 데이터값을 라벨링을 하지 않은 경우, 챠트의 위치값을 가늠할 수 있게 해준다.

배경색은 일정하게 흑백으로만 나타나는 것이 아니므로, RGB로 인지해야 하는 챠트의 임계값의 정확도를 측정하기 위한 비교 값으로 사용될 수 있다.

위에서 Grey 값의 사례에서 보였듯이 같은 선상에서 나타나는 값도 서로 다른 값으로 보이기 때문에, 같은 값을 나타내는 화소의 빈도에 따라서 각 값을 연결하여 챠트를 표현할 수 있다.

OpenCV와 행렬을 사용하여 막대차트와 선차트의 축을 자동으로 구문 분석하고 감지하기 위해 만들어진 모델에서 일련의 알고리즘을 구현하는 프레임워크가 제작되었다. 본 발명의 일 실시 예에 따른 차트축감지장치의 전반적인 성능은 더 큰 효율성으로 향상되었습니다. 이 효율성은 이러한 영역의 이전 모델이 제안한 신경망이나 딥 러닝을 사용하지 않았기 때문에 발생한다. 이러한 기계 학습의 부족은 알고리즘의 효율성에 매우 중요하다. 컨볼루션 계산에 대한 관심 증가는 과학적 발전의 원동력 중 하나였지만 문제를 해결하는 데 항상 필요한 것은 아니다. 본 발명의 일 실시 예에 따른 차트축감지장치는 그러한 사실을 증명한다. 가장 최적화된 방식으로 목적이 달성될 수 있었다.

제한된 데이터 세트와 전체 데이터 세트에서 차트축감지장치의 한계가 해결되었다. 그러나 상한선 실행에 필요한 모든 조건을 충족하지 못하더라도 일반적으로 본 발명의 일 실시 예에 따른 차트축감지장치는 속도와 정확도 면에서 커뮤니티의 현재 모델보다 높은 성능을 보인다. 따라서 본 발명의 일 실시 예에 따른 차트축감지장치는 그림에서 축을 자동으로 감지하기 위한 강력한 기반을 제공한다.

플롯 디지털화(plot digitization)는 프로세스의 기초이므로 축을 감지하는 것이 중요합니다. 플롯 디지털화의 마지막 단계에는 스칼라화가 포함된다. 차트에서 정보를 추출하려면 차트에서 제공된 값을 스칼라하여 디지털 형식의 값 형식으로 표시해야 한다. 이것은 차트에 기록된 값을 플롯 가능한 값으로 변환한다. 본 발명은, 본 발명의 발전을 이해하는 데 도움이 되는 과학 저널이나 연구 기사의 수치를 분석하는 데 도움이 되기를 바란다.

이와 같이 본 발명의 일 실시 예에 따르면, 정보와 데이터의 종합적 비판을 위해 시각화 자료인 차트에서 역으로 데이터가 자동으로 추출될 수 있다.

또한, 인공지능 기술에 의하지 않더라도 차트에서 데이터의 효율적 추출을 위해 차트의 축이 감지될 수 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시 예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시 예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

100: 차트축감지장치
110: 제어부
120: 입력부
130: 색감지부
140: 현지화부
150: 축감지부
160: 입출력 인터페이스

Claims (6)

1. 차트축감지장치에 의해 실행되는 방법으로서,
   차트이미지(chart image)를 입력 받는 단계;
   상기 차트이미지에서 사용된 색(color)을 감지하여 상기 차트이미지의 색정보를 수집하는 단계;
   상기 차트이미지의 색정보를 이용하여 상기 차트이미지를 현지화하는 단계; 및
   상기 차트이미지의 색정보를 이용하여 차트축(axis of chart)을 감지하는 단계를 포함하되,
   상기 현지화하는 단계는,
   상기 차트이미지에서 복수의 선 및 색을 인지하여 각각을 영역화하되, 이진스케일 대신 컬러스케일로 색의 강도를 확인하는 것을 특징으로 하고,
   상기 차트축을 감지하는 단계는,
   행과 열에 대한 픽셀 카운팅 회수가 상위에 분포하는 행과 열의 후보들 중에서 열에 대해서 가장 왼쪽의 픽셀을 이용하여 x축을 감지하고, 행에 대해서 가장 아래의 픽셀을 이용하여 y축을 감지하는 것을 특징으로 하는,
   차트축감지방법.
2. 청구항 1에 있어서, 상기 차트이미지의 색정보를 수집하는 단계는,
   상기 차트이미지의 픽셀정보(pixel information)를 추출하는 단계; 및
   상기 차트이미지의 픽셀정보를 이용하여 상기 차트이미지의 색(color)을 감지하는 단계를 포함하도록 구성되는,
   차트축감지방법.
3. 삭제
4. 청구항 1에 있어서, 상기 차트이미지의 색정보를 이용하여 상기 차트축을 감지하는 단계는,
   상기 현지화 정보를 이용하여 차트축을 구성하는 픽셀의 차트축색을 예상하는 단계;
   상기 차트축색의 픽셀정보 임계값을 설정하는 단계 및
   상기 차트이미지의 픽셀정보와 상기 차트축색의 픽셀정보 임계값을 비교하여 임계범위 내의 행과 열을 선별하는 단계를 포함하도록 구성되는,
   차트축감지방법.
5. 청구항 4에 있어서,
   상기 임계범위 내의 행과 열을 선별하는 단계는,
   상기 임계범위 내에 있는 픽셀을 카운팅하는 단계;
   상기 카운팅의 회수의 최대값을 이용하여 차트축을 구성하는 행과 열을 감지하는 단계를 포함하도록 구성되는,
   차트축감지방법.
6. 차트이미지(chart image)를 입력 받는 입력부;
   상기 차트이미지에서 사용된 색(color)을 감지하여 상기 차트이미지의 색정보를 수집하는 색감지부;
   상기 차트이미지에서 복수의 선 및 색을 인지하여 각각을 영역화하되, 이진스케일 대신 컬러스케일로 색의 강도를 확인하는 현지화부; 및
   상기 차트이미지의 색정보 및 유채색의 강도를 이용하여 차트축(axis of chart)을 감지하는 축감지부를 포함하되,
   상기 축감지부는,
   행과 열에 대한 픽셀 카운팅 회수가 상위에 분포하는 행과 열의 후보들 중에서 열에 대해서 가장 왼쪽의 픽셀을 이용하여 x축을 감지하고, 행에 대해서 가장 아래의 픽셀을 이용하여 y축을 감지하는 것을 특징으로 하는,
   차트축감지장치.

Images