KR101744123B1 - 의약품 식별 장치 및 그 방법 - Google Patents

Abstract

본 발명은 의약품 식별 장치 및 그 방법에 관한 것으로, 휴대용 단말기로 사용자가 자신이 처방받은 알약(정제) 또는 캡슐약을 포함한 의약품이 무슨 약인지 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있도록, 먼저 참조물체에 대한 크기, 색상, 인쇄 또는 이들을 조합한 정보를 토대로 의약품의 크기정보를 측정하거나, 의약품의 색상정보를 추출하거나, 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하거나, 또는 이들의 조합을 통해서 간단하면서도 정확하게 의약품을 식별하는 장치 및 그 식별 방법에 관한 것이다.

Description

의약품 식별 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING MEDICINAL PRODUCTS}

본 발명은 의약품 식별 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 휴대용 단말기로 사용자가 자신이 처방받은 알약(정제) 또는 캡슐약을 포함한 의약품이 무슨 약인지 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있도록, 먼저 참조물체에 대한 크기, 색상, 인쇄 또는 이들을 조합한 정보를 토대로 의약품의 크기정보를 측정하거나, 의약품의 색상정보를 추출하거나, 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하거나, 또는 이들의 조합을 통해서 간단하면서도 정확하게 의약품을 식별하는 장치 및 그 식별 방법에 관한 것이다.

의약품은 환자의 질병을 치료하거나 예방하여 생명을 연장시키고 삶의 질을 개선시키는 중요한 역할을 한다. 특히 현대인의 식습관이나 생활습관의 다양화로 인해서 새로운 질병이나 만성질환이 유행함에 따라 의약품의 사용량이 점점 증가하고 있을 뿐만 아니라 그 종류도 점점 다양해지고 있는 실정이다. 또한 의약품 중에서 의사의 처방에 의해 판매될 수 있는 전문의약품의 수도 매년 급격히 늘어나는 추세에 있다. 이러한 현상은 처방약에 대한 관리의 중요성이 어느 때보다 증가하고 있음을 시사하는 것이다.

의약품은 매우 다양한 성분과 함량, 제형을 가지고 있어, 동일한 성분이라 할지라도 오리지널 약과 제네릭 약으로 구분되는 다양한 상품명들이 있다. 각각의 의약품은 복용량과 복용방법이 다르기 때문에, 개개인이 복용하는 의약품의 이름을 인지하고 어떤 질병에 사용되는 의약품인지 확인하고, 특정 의약품에 대한 적절한 용량과 용법에 따라 약물을 복용하는 것이 매우 중요하다.

의약품의 정보는 대부분 약 봉투나 약병에 레이블의 형태로 명시되어 있으나, 낱알의 형태일 경우 의약품 식별이 어려워 약의 정보를 알 수 없는 경우가 많다. 이런 이유로 대부분의 환자들은 본인이 복용하고 있는 의약품의 이름 및 용도나 주의사항과 같은 정보를 알지 못한 채 의약품을 복용하고 있다. 특히 의약품의 복용 개수와 종류가 많은 노인 환자나 의약품 레이블을 읽고 이해하기 어려울 수 있는 사회경제적 취약 계층 소비자의 경우 의약품의 정보를 확인할 수 있는 방법이 매우 제한적이다.

의약품은 양날의 칼과 같아서 건강한 삶을 영위하고 질병을 치료하는 순기능이 있지만, 다른 한편으로는 유해반응 및 안전사고의 위험성 또한 항상 잠재되어 있다. 따라서 전 세계적으로 의약품 유해사례가 매년 증가하고 있는 것으로 보고되고 있으므로, 의약품의 유효성을 극대화하고 위험성을 최소화해야 하며 이를 위해서는 기본적으로 의약품의 용도와 용법, 용량 등의 정보를 인지하는 것이 매우 중요하다고 할 수 있다.

한편, 의료진의 의약품 식별 서비스에 대한 수요도 점점 증가하고 있는데, 환자 개개인이 복용하는 의약품에 대한 정보 부재는 약물중독(drug poisoning) 또는 약화사고(Fatal Adverse Drug Reaction) 발생 시 심각한 문제를 일으킬 수 있으므로, 특히 다른 병원에서 복용하는 의약품에 의한 사고가 발생할 경우 어떤 의약품을 복용했는지 알 수 있는 방법이 전혀 없는 실정이다. 따라서 의약품 식별 및 정보를 빠르게 제공할 수 있는 서비스를 개발하는 것은 환자의 약물 관련 문제를 파악함으로써, 질병을 치료하고 생명을 구하는데 필수적이라고 하겠다.

그러나 의약품 식별 서비스에 대한 일반인 및 전문인의 수요(needs)가 증대된 상황에도 불구하고 현재 의약품 식별과 관련한 기술이 매우 취약한 실정이다. 현재 의약품 식별 웹사이트는 존재하나 의약품과 관련한 다양한 정보를 입력해야 하므로 시간이 많이 소요되어, 곧바로 의약품 정보를 얻을 수 없는 단점이 있다. 또한 검색할 수 있는 의약품의 개수도 제한적이다. 따라서 일반 수요자나 의료기관의 의료진들에게도 의약품을 빠르고 정확하게 식별할 수 있는 도구에 대한 필요성이 매우 증대되어 있다.

따라서 본 발명에서는 환자가 간편하고 빠르게 현재 복용하는 약물을 확인하고 약물과 관련한 종합적인 정보(약물 이름, 성분명, 약물 용량, 용법, 부작용, 복용 시 주의점, 저장 방법 등)을 제공하고자 하며, 의약품 식별서비스를 필요로 하는 보건의료인에 대해서도 편의성을 제공할 수 있도록 의약품, 특히 알약(정제)과 캡슐의 식별 장치 및 그 방법을 제공하고자 한다.

다음으로 본 발명의 기술 분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2011-0124931호(2011.11.18.)는 낱알 또는 포장 상태의 정제나 캡슐 등과 같은 약품의 이미지를 온라인을 통해 전달받아 그 종류를 파악한 후에 용법과 용량, 효능 또는 부작용 등과 같은 정보를 온라인을 통해 제공함으로써 약품 정보 부재에 따른 오남용이나 폐기처분 행태를 방지할 수 있도록 한 약품 정보 제공 서비스 방법에 관한 것이다.

상기 선행기술에 의한 약품 정보 제공 서비스 방법은 사용자 단말기와 유/무선 통신망을 통해 연결된 약품정보제공 서버에 의해 수행되며, 사용자 단말기로부터 약품의 이미지를 전달받는 (a) 단계; 상기 (a) 단계에서 전달받은 약품 이미지를 자체에 구비된 약품이미지 데이터베이스에서 조회하여 일치하는 약품 이미지가 존재하는지를 판단하는 (b) 단계 및 상기 (b) 단계에서의 판단 결과, 일치하는 약품이미지가 존재하는 경우에는 해당 약품이미지에 링크된 약품정보를 약품정보 데이터베이스에서 추출하여 사용자 단말기로 전송하는 (c) 단계를 포함하여 이루어지는 것으로, 영상인식 알고리즘과 관련하여서는 이미 널리 공지되어 있기에 더 이상의 상세한 설명은 생략한다고 하여, 그 구체적인 의약품의 인식에 대해서는 언급하고 있지 않다. 그러나 의약품을 인식하는 과정은 그냥 간단하게 수행되는 일이 아님은 당연한 사실이다.

또한 한국공개특허 제2010-0020877호(2010.02.23.)는 의사나 약사에게 환자가 먹던 약을 확인해야 하는 경우에 있어, 이미지 인식기능이 가능한 이미지인식 프로그램으로 해당 약품의 이미지를 인식, 판단하고. 입력방법으로는 해당약품의 정보를 웹 카메라로 이미지를 찍어서 약품에 대한 정보입력과정을 대신하고, 그 판단을 위하여 인터넷 환경에서 약품데이터에 저장된 약품정보와 웹 카메라의 이미지정보를 비교하여 약품을 확인하도록 하는 것을 특징으로 한다.

상기 선행기술은 단지 이미지 인식기술을 사용하여 웹 카메라로 촬영한 약품에 대한 정보를 확인하고 이를 사용자에게 제공하여 그 대가를 받는 비즈니스 모델을 제시하고 있을 뿐, 구체적으로 어떻게 의약품을 인식하는지에 대해서 아무런 기술적 해결내용을 포함하고 있지 않아 현실적으로 적용할 수 없는 문제가 있다.

또한 미국등록특허 제9111357호(2015. 08. 18.)는 디지털 영상에서 각각의 정제의 사이즈와 형상을 결정함으로써 정제를 식별하기 위한 시스템과 방법에 관한 것이다. 이 시스템은 프로세서를 포함하고, 상기 프로세서가 디지털 카메라에 의해 찍힌 디지털 이미지로부터 정제를 추출하기 위한 윤곽을 결정하는데, 여기서 윤곽 결정은 각각의 정제를 위한 사이즈와 형태 정보를 결정하기 위해 사용된다.

상기 선행기술은 고밀도의 컬러 체커보드 패턴을 배경으로 사용하는데, 그 이유는 알약 이미지와 배경 사이의 콘트라스트를 생성하기 위한 것이고, 이로부터 알약 이미지의 사이즈와 모양을 판단할 수 있으나, 이러한 구성은 사용자가 별도의 컬러체커보드를 구비하고 있어야 하는 문제가 있으며, 일반적으로 사용자는 알약과 휴대용 기기만 소지할 뿐 별도의 체커보드를 구비하고 있지 않으므로, 이의 사용이 매우 불편하고 또한 소지하고 있지 않은 경우 알약을 식별할 수 없는 문제가 있다.

또한 본 발명은 상기 선행기술과 달리 카메라에 대한 초기 보정(calibration) 과정에서 카메라(camera)의 광학적 특성에 대한 정보와 해당 참조물체에 대한 촬영 영상과 실물의 기하학적 정보를 활용하여 카메라와 물체 사이의 거리 및 촬영각에 따른 픽셀(pixel) 보정 정보를 확보하는 방법을 사용한다. 아울러 본 발명은 주변에서 흔히 구할 수 있는 하얀색 종이를 배경으로 사용해서 효과적인 화이트밸런스를 수행하고, 의약품에 사용되는 먼셀표색계의 제한된 색을 사용하는 것을 특징으로 하는 것이 또한 상기 선행기술과의 차이점이다.

또한 미국공개특허 제2015-0302255호(2015. 10. 22.)는 자동화된 정제 식별 시스템에 관한 것으로, 약제 조성물의 이미지로부터 약제 조성물에 대한 알약 타입을 식별하는 것이다. 정제 이미지로부터 추출된 특징은 알약의 컬러, 사이즈, 형상과 표면 특징을 포함한다. 각각의 이미지를 위한 정제 식별은 약제 조성물에 대한 식별을 위해 스코어링되어 결정된다.

상기 선행기술은 정제 이미지와 사이즈를 사용하여 다양한 모양과 사이즈 구성을 생성하는데, 사이즈와 모양을 계산하기 위해서 알약에 대한 다양한 정보(외곽선의 길이, 면적, 가로세로비 등)를 추출하여야 하나, 실제 이러한 정보를 정확하게 알기 위해서는 복잡한 처리과정을 거쳐야 하므로, 본 발명에서는 참조물체를 사용하고자 하는 것이다.

상기 선행기술들과는 달리 본원 발명은 휴대용 기기로 처방받은 알약(정제), 캡슐약을 포함한 의약품이 무슨 약인지 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있도록, 먼저 참조물체에 대한 크기, 색상, 인쇄 또는 이들의 조합을 토대로 알약의 크기를 측정하거나, 다음으로 알약의 색상정보를 추출하거나, 마지막으로 알약에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하거나, 또는 이들의 조합을 통해서 간단하면서도 정확하게 의약품 알약(정제), 캡슐, 또는 이들의 조합을 포함하는 의약품을 식별하는 장치 및 그 식별 방법을 제시하고자 한다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 휴대용단말기로 촬영한 참조물체에 대한 크기, 색상, 인쇄 또는 이들의 조합을 포함하는 정보를 토대로 자신이 처방받은 의약품의 크기와 모양을 측정하여 해당 의약품의 이름, 성분, 용량, 용법, 부작용, 저장법, 효능, 부작용 또는 이들의 조합을 포함한 약품정보를 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있도록 하는 장치와 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 상기 참조물체에 대해서 크기와 모양을 포함한 기하정보뿐만 아니라 색상과 인쇄정보를 포함한 레퍼런스 정보를 저장하고 있다가, 해당 참조물체와 함께 촬영된 의약품의 실제 크기와 모양, 색상, 인쇄(문자, 로고, 기호, 제조사 정보 또는 이들의 조합) 정보 또는 이들의 조합을 간단하지만 정확하게 추출하여 해당 의약품의 정보를 사용자에게 제공하는 것을 목적으로 한다.

또한 본 발명은 상기 참조물체를 의약품과 항상 함께 촬영해야 하는 문제점을 해결하기 위해서 참조물체를 사람의 신체의 일부와 함께 촬영하여 해당 신체의 일부에 대해 크기, 색상, 인쇄 또는 이들의 조합을 포함하는 정보를 먼저 획득한 다음, 그 다음부터는 해당 신체의 일부에 의약품을 올려놓고(예를 들어 손바닥에 의약품을 올려놓음) 휴대용단말기로 촬영함으로써, 간편하게 의약품의 실제 크기와 모양, 색상, 인쇄(문자, 로고, 기호, 제조사 정보 또는 이들의 조합) 정보 또는 이들의 조합을 측정할 수 있도록 하는 장치와 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 상기 참조물체를 사람이 반드시 소지하고 다녀야 하는 물건으로 지정하여 미리 그 크기, 색상, 인쇄 또는 이들의 조합을 포함하는 정보를 저장하고 있다가 참조물체로 활용하고자 한다. 즉, 참조물체에 대한 접근성을 강화하고자 한다. 예를 들어, 이러한 참조물체에는 신용카드, 교통카드, 노인카드, 복지카드, 볼펜, 라이터, 지갑, 명함, 휴대폰커버, 자동차 키 등이 될 수 있다.

또한 본 발명은 동일한 크기와 모양을 가진 의약품이 복수개 검출된 경우나, 상기 크기나 모양을 포함한 기하학적 정보를 알 수 없는 경우에, 의약품의 색상정보를 추출함으로써, 보다 정확하게 알약을 검출할 수 있는 장치와 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 의약품의 크기와 모양을 포함한 기하학적 정보 및 색상 이외에도 의약품에 새겨져 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하여 간단하면서도 정확하게 의약품을 식별하는 장치 및 그 식별 방법을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 의약품 식별 장치는, 사용자가 카메라로 촬영한 의약품의 영상으로부터 실제 의약품을 인식하는 의약품 인식부 및 상기 인식된 의약품에 대해서 의약품 정보를 추출하여 제공하는 의약품 식별부를 포함하며, 상기 의약품을 인식하는 것은 참조물체의 크기, 색상 또는 이들의 조합을 이용하여 수행되는 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 상기 의약품 인식부는 상기 의약품의 크기, 모양 또는 이들의 조합을 포함하는 기하정보를 인식하는 기하정보 인식부 상기 의약품의 색상을 인식하는 색상정보 인식부 및 상기 의약품에 표시되어 있는 인쇄정보를 인식하는 인쇄정보 인식부를 포함하는 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 상기 참조물체는 동전, 지폐, 자, 신용카드, 종이컵, 모눈종이, 프린트 용지, 노트, 또는 모니터를 포함하여 일상생활용품이나 소지품 중에서 미리 알려진 크기, 색상, 인쇄 또는 이들의 조합 중 적어도 하나 이상에 대한 크기정보가 미리 알려져 있는 것이거나, 또는 미리 알려진 참조물체를 사람의 인체 중 일부와 함께 촬영하여 그 크기에 대한 정보를 획득한 상기 인체 중 일부인 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 의약품 식별 장치는, 미리 알려진 참조물체의 실물크기를 참조물체의 영상에 투사하여 해당 참조물체의 영상의 크기에 대비하여, 카메라에서 참조물체를 처음 촬영할 당시의 화면크기, 렌즈의 확대비 및 초점거리에 대한 카메라 설정정보의 관계를 이용하여, 다음부터는 참조물체를 의약품과 함께 촬영하지 않더라도 카메라의 설정정보를 이용하여 참조물체에 대한 가상의 영상과 실물크기를 추출하여 의약품의 실물크기에 대한 정보를 추출하는 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 상기 기하정보 인식부는 적어도 하나 이상의 카메라를 이용하여 의약품을 촬영함으로써, 입체영상을 추출하여 의약품의 부피 정보를 더 추출하는 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 상기 색상정보 인식부는 상기 의약품의 색상으로부터 의약품을 인식하되, 화이트밸런스 및 의약품 성상표기 가이드라인 중 의약품의 색상과 관련한 기준을 적용하여 인식하는 것을 특징으로 한다.

또한 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 상기 인쇄정보 인식부는 상기 의약품에 표시되어 있는 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 포함한 인쇄정보를 인식하는 것이며, 주성분분석 또는 확률적 인공신경망을 활용하여 인식하는 것을 특징으로 한다.

한편 본 발명의 또 다른 일 실시예에 따른 의약품 식별 방법은 사용자가 카메라로 촬영한 의약품의 영상으로부터 실제 의약품을 인식하는 의약품 인식 단계 및 상기 인식된 의약품에 대해서 의약품 정보를 추출하여 제공하는 의약품 식별 단계를 포함하며, 상기 의약품을 인식하는 것은 참조물체의 크기, 색상 또는 이들의 조합을 이용하여 수행되는 것을 특징으로 한다.

또한 본 발명의 또 다른 일 실시예에 따른 의약품 식별 방법에서, 상기 의약품 인식 단계는 상기 의약품의 크기, 모양 또는 이들의 조합을 포함하는 기하정보를 인식하거나, 상기 의약품의 색상을 인식하거나, 상기 의약품에 표시되어 있는 인쇄정보를 인식하거나, 또는 이들의 조합을 수행하는 것을 특징으로 한다.

본 발명은 의약품 식별 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 휴대용단말기로 사용자가 자신이 처방받은 알약(정제) 또는 캡슐약을 포함한 의약품이 무슨 약인지 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있도록 하는 효과가 있다.

본 발명에서는 이를 위해서 먼저 참조물체에 대한 크기, 색상, 인쇄 또는 이들을 조합한 정보를 토대로 의약품의 크기를 측정하거나, 의약품의 색상정보를 추출하거나, 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하거나, 또는 이들의 조합을 통해서 간단하면서도 정확하게 의약품을 식별할 수 있는 효과가 있다.

더욱 구체적으로, 본 발명은 휴대용단말기로 참조물체에 대한 크기, 색상, 인쇄 또는 이들을 조합한 정보를 토대로 자신이 처방받은 의약품의 크기정보를 측정하거나, 의약품의 색상정보를 추출하거나, 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하거나, 또는 이들의 조합을 통해서 해당 의약품을 인식하고, 상기 인식한 의약품의 이름, 성분, 용량, 용법, 부작용, 저장법, 효능, 부작용 또는 이들의 조합을 포함한 약품정보를 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있으며, 이를 위해서 본 발명에서는 상기 참조물체를 의약품과 항상 함께 촬영해야 하는 불편함을 해소하기 위해서 상기 참조물체를 사람의 신체의 일부와 함께 촬영하여 해당 신체의 일부를 참조물체로 하여 이에 대한 정보를 먼저 획득한 다음, 다음부터는 해당 신체의 일부에 의약품을 올려놓고(예를 들어 손바닥에 의약품을 올려놓음) 휴대용단말기로 촬영함으로써, 간편하고 정확하게 의약품의 실제 크기와 모양, 색상, 인쇄 또는 이들의 조합을 포함하는 정보를 측정할 수 있는 효과가 있다.

또한 본 발명은 동일한 크기와 모양을 가진 의약품이 복수개 검출된 경우나, 상기 크기나 모양이 불명확한 경우에, 의약품의 색상정보를 더 추출함으로써, 보다 정확하게 의약품을 인식할 수 있으며, 또한 의약품의 크기와 모양 혹은 색상 이외에도 의약품에 새겨져 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 포함하는 인쇄정보를 추가로 인식하여 간단하면서도 정확하게 의약품을 식별할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 의약품 식별 장치 및 그 방법의 서비스 개념도이다.
도 2는 본 발명의 일 실시예에 따른 의약품 식별 장치에서 참조물체에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 의약품 식별 장치에서 (a) 동전을 1차적인 참조물체로 사용하여, (b) 손바닥을 2차적인 참조물체로 이용하는 방법에 대한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 의약품 식별 장치에서, (a) 의약품의 크기와 모양정보를 토대로 선정된 후보 의약품의 정보를 사용자단말기에 출력하고, 또한 (b) 의약품 정보를 상세하게 제공하는 사용자단말기 화면의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 참조물체를 이용한 의약품의 크기와 모양에 대한 정보를 추출하여 의약품을 식별하는 처리 흐름도이다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 기하정보, 색상정보, 인쇄정보 또는 이들의 조합을 이용하여 의약품을 식별하는 과정에 대한 처리 흐름도를 보인 것이다.
도 9는 본 발명의 일 실시예에 따른 의약품 식별 장치의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 참조물체의 영상으로부터 프로젝션 벡터를 구해서, 참조물체의 실물크기를 산출하고, 이를 통해서 의약품의 크기를 산출하는 과정을 보인 예시도이다.
도 11은 본 발명의 의약품 식별 장치에 있어서, 의약품 성상 가이드라인 중에서 의약품의 색상과 관련한 기준을 설명하기 위한 예시도이다.
도 12는 본 발명의 의약품 식별 장치에 있어서, 의약품 성상 가이드라인 중에서 의약품의 형태와 관련한 기준을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 확률 신경망을 이용한 의약품의 문자, 기호 또는 로고 인식 방법을 설명하기 위한 개념도이다.
도 14는 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 의약품 이미지의 로고위치와 마크정보, 이미지명, 색상 등을 통해서 의약품을 식별하는 예시도이다.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 의약품 식별 장치 및 그 방법의 서비스 개념도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 의약품 식별장치(100)는 인터넷에 연결되어 있으면서 사용자단말기(200)와 언제든지 상호 교신이 가능한 상태이다. 사용자단말기(200)에서 의약품에 대한 영상을 촬영하여 의약품 식별장치(100)로 보내면, 의약품 식별장치(100)는 해당 영상으로부터 의약품의 영상을 추출하여 인식한 다음, 인식한 의약품에 대한 정보를 의약품 정보 시스템(300)으로부터 읽어와 사용자에게 제공한다.

여기서 의약품 식별 장치(100)는 의약품 식별을 위해서 처리해야 할 내용이 많으므로, 보통 사용자단말기(200)에 상기 의약품 식별 장치를 구현하여 처리하기에는 곤란할 수 있다. 따라서 별도의 서버를 두어 처리하도록 하는 것이 바람직하다. 그러나 사용자단말기의 성능이나 네트워크 성능에 따라서 사용자단말기에서 상기 의약품 식별 장치를 구성하는 것을 배제하지는 않는다. 아무튼 의약품의 식별을 위해서는 고속의 알고리즘과 대량의 저장 공간을 필요로 하기 때문에, 이를 모두 사용자단말기에서 처리하기에는 부하가 너무 크다고 할 것이다. 그러나 간단한 처리나 이전에 이미 식별한 경험이 있는 경우에는 사용자단말기에서 의약품 식별 장치를 거치지 않고도 바로 처리할 수 있도록 히스토리나 처리 결과를 메타데이터로 보관하는 것도 가능하다. 그러나 그 데이터 량은 사용자단말기가 수용할 수 있는 정도에 그쳐야 할 것이다.

또한 의약품 식별 장치(100)는 로컬 데이터베이스에 식별정보를 저장하고 있다가, 사용자단말기에서 입력되는 영상을 바탕으로 과거의 검색 이력이나 사용이력을 바탕으로 학습한 결과를 곧바로 제공하는 것이 가능하다. 예를 들면 사용자별로 사용자단말기를 통해서 식별한 과거의 정보(만성질환, 나이, 성별, 가족력, 신체적인 특징 등에 대한 정보)를 데이터베이스에 저장하여 두었다가 해당 사용자의 질병이나 검색이력 및 투약정보를 바탕으로 더욱 간단하게 식별할 수 있도록 한다.

또한 상기 의약품 정보 시스템(300)은 의약품에 대한 종합적인 규약(법)이나 각 의약품에 대한 사양을 중앙에서 집중적으로 관리하고 있는 공공기관에서 관리하는 시스템을 말하는 것이고, 의약품 식별 장치(100)는 지속적으로 의약품 정보 시스템(300)으로부터 필요한 정보를 취득하거나 업데이트 되는 대로 제공받도록 구성되는 것이 바람직하다.

한편 의약품 정보 데이터베이스(400)는 의약품 정보 시스템(300)의 로컬 데이터베이스로 구현될 수 있으며, 또는 클라우드상에 접속되어 있는 것일 수 있다. 본 발명에서는 유무선 네트워크를 통해서 의약품 정보에 접근할 수 있으면 족하다.

이하에서는 본 발명의 일 실시예에 따른 참조물체를 이용한 다양한 의약품 식별 방법에 대해서 논의하기로 한다.

도 2는 본 발명의 일 실시예에 따른 의약품 식별 장치에서 참조물체에 대한 예시도이다.

도 2는 도시된 바와 같이, 본원 발명의 일 실시예에 따른 의약품 식별 장치(100)는 이미 그 크기정보가 규격화되어 있기 때문에 카메라에서 촬영된 영상의 상대적인 비율만으로도 해당 참조물체의 크기를 식별할 수 있다. 또한 상기 참조물체는 크기정보뿐만 아니라 색상이나 인쇄정보에 대해서도 기준(레퍼런스)을 제공할 수 있다. 상기 참조물체에 의약품을 올려놓거나 바로 옆에 두고 사용자단말기로 사진을 촬영함으로써, 의약품의 크기와 모양, 색상, 인쇄정보 또는 이들의 조합에 대한 정보를 추출할 수 있다.

먼저 (a) A4/Letter 용지, (b) 약봉투/봉지, (c) 동전, (d) 신용카드, (e) 자 등을 생각해 볼 수 있다. 이러한 이미 규격화된 물체들은 참조물체로 사용하기에 적합하다. 즉 사용자는 사용자단말기로 상기 참조물체위에 의약품을 올려놓거나 바로 인접하게 위치한 다음 촬영하면 의약품의 크기와 모양을 쉽고 정확하게 감지할 수 있다. 이 중에서 동전은 점점 사라지고 있어 사용될 가능성이 조금 희박하나, 신용카드는 한 사용자가 하나씩 구비하고 있는 실정이어서 사용될 가능성이 높은 편이며, 앞으로 사용자단말기(예: 스마트폰)로 결재하는 경우 신용카드마저도 소지할 필요가 없을 가능성이 높다. 따라서 사람들이 생활하는 공간에서 자주 그리고 쉽게 접근할 수 있는 물건을 참조물체로 등록하는 것이 바람직하다. 따라서 도 2에 예시한 참조물체는 단지 예시에 불과한 것이고 이에 더하여 더욱 다양한 참조물체가 선택되고 사용될 수 있다.

한편, 참조물체의 색상에 대해서도 미리 결정하여 저장해 두었다가 필요에 따라 사용할 수 있다. 그 방법으로는 일단 참조물체를 촬영하고, 해당 참조물체의 색상에 대한 정보를 해당 참조물체의 메이커로부터 제공받거나 사용자와의 상호작용(interaction)을 통해서 해당 참조물체의 색상을 미리 등록해 두는 것이 바람직하다. 즉, 사용자단말기에서 참조물체를 촬영하면 사용자단말기에 구비된 앱에서 사용자가 상기 참조물체에 대한 색상정보를 입력할 수 있도록 인터페이스를 제공할 수 있다. 이로부터 참조물체의 크기에 대한 정보뿐만 아니라 색상에 대한 정보도 미리 지정하여 저장해 둘 수 있다.

다만 참조물체의 색상은 변질될 가능성이 있고, 하얀색처럼 그 구성색인 빨강(R), 초록(G), 파랑(B), 각각의 최대값(full scale)에 대한 정보를 가지고 있지 않을 수도 있으므로 색상대조용으로 사용하기에 부적절한 경우가 있을 수 있다. 따라서 참조물체의 색상으로 활용하기 위해서는 변질될 가능성이 없는 항구성을 가진 물체임이 바람직하다. 참조물체에 대해서 기준영상을 처음 촬영하여 기준이 되는 색상을 인식할 때와 의약품을 식별하기 위해서 의약품과 함께 기준물체를 촬영할 때에, 상기 참조물체가 색상의 동일성을 유지하는 것이 매우 중요하다.

물론, 기준이 되는 색상은 참조물체의 색상이므로 색상정보에 대한 보정은 하얀색 배경을 사용하는 것이 더욱 바람직하다. 화이트밸런스를 위해서도 하얀색에 대한 참조가 반드시 필요하다. 이 경우에도 특정 참조물체의 색상을 기준색상으로 인식한 당시의 색상과 의약품 식별당시에 촬영한 참조물체의 색상이 서로 차이가 나면 기준색상의 역할을 수행할 수 없으므로 주의하여야 한다.

또한 인쇄정보의 경우에 있어서도, 참조물체에 인쇄된 문자나 그래픽 정보(폰트정보, 문자나 그래픽의 크기 등)를 미리 저장해 두고 의약품에 인쇄된 문자, 로고, 기호, 제조사 정보 또는 이들의 조합과 비교하여 인쇄정보에 대한 인식의 정확도를 높일 수 있고, 또한 해당 인쇄정보를 간편하게 인식할 수도 있다.

즉, 참조물체의 표면정보에 대한 패턴인식은 해당 참조물체가 무엇인지를 인식하면 그 절대 크기 정보를 참조물체에 대한 별도의 데이터베이스에서 얻어낼 수 있도록 하는 것이 가능하다.

한편, 각 의약품에 인쇄된 문자, 로고, 기호, 제조사 정보 또는 이들의 조합에 대한 영상을 규격화된 크기와 색상으로 미리 촬영하여 저장하고 있다가, 실제 의약품을 식별할 당시에 해당 저장하고 있던 영상과 비교하여 분석함으로써, 보다 정확한 인쇄정보를 인식할 수 있다.

본 발명의 일 실시예로서 사용자단말기에서 앱을 구동하여 본 발명에 따른 의약품 식별 장치를 통해 의약품의 인식하기 전에 미리 사용자가 참조물체를 촬영하여 입력하면, 사용자단말기에서 해당 참조물체의 색상에 대해서 후보가 되는 몇 가지 색상을 제공하고, 이를 바탕으로 사용자는 참조물체의 실물을 선택함으로써 해당 참조물체의 색상정보를 미리 앱에서 설정해 두었다가 나중에 실제 의약품 식별 장치를 통해서 의약품을 식별하여야 할 경우에 이 색상정보를 이용하여 의약품의 색상을 간단하고 정확하게 추출하고자 한다.

따라서 본 발명에서는 참조물체의 크기, 색상, 인쇄 또는 이들의 조합을 포함한 정보를 토대로 의약품의 크기나 모양정보를 측정하거나, 의약품의 색상정보를 추출하거나, 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 포함한 정보를 인식하거나, 또는 이들의 조합을 추출하는 것이 보다 간략하고 정확하게 수행될 수 있도록 한다.

또한 사용자는 보통 이러한 참조물체를 소지하고 있지 않을 수 있으며, 이러한 참조물체위에 의약품을 올려놓고 촬영할 정도로 꼼꼼하거나 신중하지 않을 수 있다. 즉 대충 손바닥위에 올려놓고 사용자단말기로 촬영하면 바로 식별 결과를 출력해 주기를 바랄 것이다. 본원 발명에서는 이러한 요구에 부응할 수 있도록 하고자 한다. 이하에서는 그 설명을 계속하고자 한다. 도 2에서 상기 참조물체와 의약품은 서로 포개서 촬영되어도 무방하다.

손을 활용하여 의약품의 크기에 대한 보정을 하는 방법의 경우, 손을 카메라에 제시하는 방향에 따라 가로세로비의 왜곡이 나타날 수 있고 기울임 정도에 따라 측면이 보이는 정도가 달라지고, 손바닥면과 측면이 직각이 아니어서 적절한 윤곽선 인식이 가능하지 않아 크기의 보정이 부정확할 수도 있다. 이를 위해서 본 발명에서는 손바닥위의 손가락 마디에 대한 길이 정보를 토대로 참조물체의 크기 정보를 환산할 수도 있다. 이밖에도 지문의 골 사이의 간격에 대한 정보를 활용하여 크기에 대한 보정을 수행할 수도 있다. 상기 지문의 골 사이의 간격은 사람에 따른 편차가 거의 없이 일정한 것으로 알려져 있다.

도 3은 본 발명의 일 실시예에 따른 의약품 식별 장치에서 (a) 동전을 1차적인 참조물체로 사용하고, (b) 손바닥을 2차적인 참조물체로 이용하는 방법에 대한 블록도이다.

도 3에 도시된 바와 같이, 최근 사용자의 대부분은 동전, 자 등을 소지하고 있지 않을 가능성이 매우 높으며, 특히 의약품을 시급하게 판독할 필요가 있을 경우에는 인간의 생체를 이용하는 것이 가장 편리하게 접근할 수 있는 수단이 될 수 있다.

따라서 동전, 지폐, 신용카드, 자 등을 손바닥, 손가락, 손등을 포함한 임의의 신체 일부에 올려놓고 먼저 본 발명에 따른 의약품 식별 장치의 앱이 동작하는 사용자단말기를 이용하여 촬영한 다음 해당 신체의 일부에 대한 크기 정보를 미리 인식해 둔다. 다음으로 해당 신체의 일부에 의약품을 올려놓고 사용자단말기로 촬영하여 의약품 식별 장치(100)로 전송하면, 의약품 식별 장치는 해당 신체의 미리 측정된 크기, 색상 또는 이들을 조합한 정보를 참조물체의 크기, 색상 또는 이들을 조합한 정보로 이용하여 해당 의약품의 크기와 모양, 색상 또는 이들의 조합을 식별할 수 있게 된다.

즉, 의약품을 인간의 신체 일부에 올려놓고 편하게 촬영할 수 있다. 언제 어디서나 필요할 때는 즉시 의약품과 신체의 일부가 같은 평면에서 촬영되어 이미지화된 다음 전송될 수 있다. 이렇게 전송된 이미지로부터 의약품 식별 장치는 해당 의약품의 실물크기와 모양, 색상, 인쇄 또는 이들의 조합한 정보를 추출할 수 있다.

예를 들어 도 3의 (a)와 같이, 500원짜리 동전을 손바닥에 올려놓고 사용자단말기의 카메라로 촬영할 경우, 손바닥의 폭은 이미 알려진 500원짜리 동전의 크기를 이용하여 동전의 좌우공간에 대한 알려지지 않은 길이를 계산하여 동전의 크기정보를 더하여 손바닥의 폭의 사이즈를 인식하고 이를 저장할 수 있다.

이렇게 하여 도3의 (b)에 보듯이, 손바닥의 크기정보를 미리 알고 있는 상태에서 사용자가 자신의 손바닥에 의약품을 올려놓고 사용자단말기로 손바닥과 의약품을 포함한 영상을 촬영하여, 손바닥의 실물크기에 대한 정보로부터 의약품의 실물크기를 측정할 수 있다. 또한 의약품의 실물크기와 의약품의 윤곽선을 검출하여 의약품의 실제 모양을 추출하고, 이로부터 의약품 데이터베이스에 존재하는 의약품의 크기 및 모양정보와 일치하는 의약품을 추출하여 사용자가 원하는 의약품을 식별하게 된다.

도 4는 본 발명의 일 실시예에 따른 의약품 식별 장치에서, (a) 의약품의 크기와 모양정보를 토대로 선정된 후보 의약품의 정보를 사용자단말기에 출력하고, 또한 (b) 의약품 정보를 상세하게 제공하는 사용자단말기 화면의 예시도이다.

도 4에 도시된 바와 같이, 일단 사용자가 사용자단말기로 촬영한 의약품과 참조물체를 포함한 영상을 의약품 식별 장치에 제공하면, 상기 의약품 식별 장치는 해당 의약품을 식별하여 해당 의약품의 정보를 사용자단말기의 화면에 의약품의 명칭, 사진, 코드, 성분, 함량, 효능, 효과, 성상 또는 이들의 조합에 대해서 표시해 준다. 이 과정에서 복수의 유사한 후보 의약품을 출력하여 사용자에게 자신이 소지하고 있는 의약품을 스스로 식별하도록 할 수도 있다. 즉, 도 4의 (a)와 같이 복수의 유사한 의약품에 대해서 표시할 수도 있다. 이 경우에 사용자가 자신이 소지하고 있는 의약품이 식별되지 않는 경우가 생길 수 있다. 그러나 의약품은 오용될 경우 매우 치명적인 결과를 초래할 수 있으므로, 보다 정확하게 일치하는 의약품을 추출할 필요도 있다.

아울러 해당 의약품의 구체적인 정보를 출력해서 디스플레이할 수 있다. 즉, 해당 의약품의 명칭, 용량, 제조회사, 성상, 전문의약품여부, 저장(보관)방법, 효능, 주의정보, 및 의약품 처방ㆍ조제 시 의약품 안전성과 관련된 정보를 실시간으로 제공하여 부적절한 약물 사용을 사전에 점검할 수 있도록 하는 의약품 안심 서비스(DUR: Drug Utilization Review)를 제공할 수도 있다.

도 5는 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 참조물체를 이용한 의약품의 크기와 모양에 대한 정보를 추출하여 의약품을 식별하는 처리 흐름도이다.

도 5에 도시된 바와 같이, 일단 사용자는 자신의 사용자단말기에 본 발명에 따른 의약품 식별용 어플리케이션(앱) 프로그램을 상기 의약품 식별 장치로부터 다운로드 받는다. 상기 다운로드 받은 의약품 식별용 어플리케이션 프로그램을 설치한 후 참조물체를 촬영하여 의약품의 기하정보, 색상정보, 인쇄정보를 식별하기 위한 기준정보의 준비를 한다(S110). 이 과정은 전처리 과정으로 참조물체로부터 신체의 일부 등에 대한 사이즈를 인식하고, 이때 신체의 일부 등은 2차적인 참조물체가 되어, 앞으로 의약품의 크기와 모양을 인식하는데 참조물체로 사용되는 것을 포함한다. 또한 참조물체의 크기뿐만 아니라 색상과 인쇄정보에 대한 기준정보를 추출하여 미리 축적하고 있다가, 사용자단말기에서 촬영된 영상이 입력되면 상기 기준정보를 이용하여 보다 정확하고 편리하게 해당 의약품의 기하, 색상, 인쇄 또는 이들의 조합을 포함하는 정보를 얻을 수 있게 된다.

다음으로 사용자는 자신의 사용자단말기로 참조물체와 의약품을 포함한 영상을 촬영하여 의약품 식별 장치(100)로 전송한다(S120). 이어서 상기 의약품 식별 장치(100)는 촬영한 영상으로부터 참조물체와 의약품에 대한 영상을 분리 및 비교한다(S130). 이어서 상기 비교한 크기 및 색상정보를 토대로 의약품의 실물에 대한 기하(크기 및 모양)정보, 색상정보, 인쇄정보 또는 이들의 조합을 포함하는 정보를 추출한다(S140).

이렇게 측정된 실물의 기하(크기 및 모양)정보, 색상정보, 인쇄정보 또는 이들의 조합을 포함하는 정보를 이용하여 자체 데이터베이스나 의약품 정보 시스템에 저장된 정보를 검색하여, 해당 의약품을 식별한다(S150).

다음으로 식별된 의약품에 대해서 사용자단말기의 화면에 해당 의약품의 명칭, 사진, 코드, 성분, 함량, 효능, 효과 및 성상에 대해서 출력한다(S160). 아울러 해당 의약품의 구체적인 정보를 출력해서 디스플레이할 수도 있다. 즉, 해당 의약품의 명칭, 용량, 제조회사, 성상, 전문의약품여부, 저장(보관)방법, 효능, 주의정보, 및 의약품 처방ㆍ조제 시 의약품 안전성과 관련된 정보를 실시간으로 제공하여 부적절한 약물 사용을 사전에 점검할 수 있도록 하는 의약품 안심 서비스(DUR)를 제공한다.

도 6 내지 도 8은 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 기하정보, 색상정보, 인쇄정보 또는 이들의 조합을 이용하여 의약품을 식별하는 과정에 대한 처리 흐름도를 보인 것이다.

도 6에 도시된 바와 같이, 본 발명에 따른 의약품 식별 장치를 통해서 의약품을 식별하는 과정은, 먼저 사용자단말기에서 촬영된 의약품과 참조물체를 포함한 영상으로부터 참조물체와 의약품의 윤곽선을 인식하고, 참조물체의 실물크기를 도출하며, 이로부터 의약품의 크기정보와 모양정보를 포함한 기하정보를 추출한다(S210).

상기 추출한 기하정보(크기정보, 모양정보 또는 이들의 조합)와 일치하는 의약품이 존재하는지 검색하여 체크한다(S220). 먼저 일치하는 의약품이 존재하는지 체크하고, 이어서 복수개의 의약품이 존재한다면, 다시 설정조건을 변경하여(S230) 다시 상기 추출과정과 의약품 존재여부를 체크하는 과정을 반복하며, 단일의 의약품만이 일치하는 것으로 인식되면 사용자가 원하는 의약품이 인식되었다고 볼 수 있다.

만약 하나의 의약품만이 일치하는 것으로 인식되었다면, 해당 의약품에 대한 정보를 추출한다(S240). 이어서 상기 추출한 해당 의약품의 정보를 사용자단말기로 출력한다(S250).

그러나 상기 기하정보(크기와 모양)가 정확하게 일치하지 않고 유사한 크기와 모양을 가진 복수개의 후보 의약품이 검출될 수 있을 것이다. 이 경우에는 사용자단말기로 해당 복수개의 후보 의약품에 대한 리스트를 출력하여 우선 사용자에게 제공할 수 있다. 그리하여 사용자가 제공된 의약품 중에서 자신이 촬영한 의약품과 일치하는 것을 발견한 경우, 사용자의 선택에 따라 상호작용을 통해 해당 의약품의 정보를 추출하여 사용자단말기로 출력한다. 그러나 후보 의약품이 너무 많거나 사용자가 판단하기 어려워 사용자가 의약품의 인식하는 조건을 좀 더 강화하여 설정조건정보를 변경하고(S230) 재식별을 요청하면, 새로운 설정조건정보를 이용하여 다시 의약품의 인식과정을 반복한다.

아울러 이와 동시에 설정조건변경에 따라 의약품의 색상정보를 인식하는 단계로 넘어 갈 수 있다. 사용자가 반드시 상호작용을 통해 재식별을 요청하여야 하는 것은 아니며, 미리 설정된 오차범위 내에서 크기와 모양이 일치하는 것이 발견되면 일치하는 것으로 판단하도록 하는 것도 가능하다. 여기서 상기 의약품의 정보는 해당 의약품에 대한 주의사항, 용법, 제약 회사명 또는 이들의 조합을 포함한 사용자가 해당 의약품에 대해서 알아야 할 정보를 모두 포함한다. 상기 사용자의 개념은 의약품과 관련한 전문가를 포함하는 개념이다.

만약에 상기 조합과 일치하는 의약품이 복수개 존재하는 경우, 사용자단말기에서 촬영된 의약품의 색상정보를 추가로 추출하여, 상기 색상정보를 기하정보(크기와 모양)가 일치하는 복수개의 의약품이 가지는 색상정보와 비교하여 일치여부를 판단할 수 있다. 또한 일치하는 의약품이 존재하지 않는 경우에도, 설정조건정보를 변경하여 다시 의약품을 인식하도록 반복하거나, 색상정보로부터 의약품을 인식하는 과정을 수행할 수 있다. 즉, 만약에 상기 조합과 일치하는 의약품이 존재하지 않는다면, 사용자단말기에서 촬영된 의약품의 색상정보를 추출하여, 상기 색상정보로부터 일치하는 의약품을 추출하여 색상정보를 인식한다.

도 6에서 알 수 있듯이, 상기 기하정보로부터 의약품이 인식되지 않거나 처음부터 색상정보로부터 의약품을 인식하고자 하는 경우에는 색상정보를 인식하여 의약품을 인식하는 과정을 수행한다. 이하에서는 색상정보를 이용하여 의약품을 인식하는 과정을 설명하고자 한다.

도 7에 도시된 바와 같이, 먼저 사용자단말기에서 촬영된 의약품의 색상정보를 추출한다(S310). 상기 추출한 색상정보와 일치하는 의약품이 존재하는지 검색하여 체크한다(S320). 먼저 일치하는 의약품이 존재하는지 체크하고, 이어서 복수개의 의약품이 존재한다면, 다시 설정조건을 변경하여(S330) 다시 상기 추출과정과 의약품 존재여부를 체크하는 과정을 반복하며, 단일의 의약품만이 일치하는 것으로 인식되면 사용자가 원하는 의약품이 인식되었다고 볼 수 있다.

만약 하나의 의약품만이 일치하는 것으로 인식되었다면, 해당 의약품에 대한 정보를 추출한다(S340). 이어서 상기 추출한 해당 의약품의 정보를 사용자단말기로 출력한다(S350).

그러나 상기 색상정보가 정확하게 일치하지 않고 유사한 크기와 모양을 가진 복수개의 후보 의약품이 검출될 수 있을 것이다. 이 경우에는 사용자단말기로 해당 복수개의 후보 의약품에 대한 리스트를 출력하여 우선 사용자에게 제공할 수 있다. 그리하여 사용자가 제공된 의약품 중에서 자신이 촬영한 의약품과 일치하는 것을 발견한 경우, 사용자의 선택에 따라 상호작용을 통해 해당 의약품의 정보를 추출하여 사용자단말기로 출력한다. 그러나 후보 의약품이 너무 많거나 사용자가 판단하기 어려워 사용자가 의약품의 인식하는 조건을 좀 더 강화하여야 하는 경우에는 상기 설정조건정보를 변경하고(S330) 재식별을 요청하면, 새로운 설정조건정보를 이용하여 다시 의약품의 인식과정을 반복한다.

아울러 이와 동시에 설정조건변경에 따라 의약품의 인쇄정보를 인식하는 단계로 넘어갈 수 있다. 사용자가 반드시 상호작용을 통해 재식별을 요청하여야 하는 것은 아니며, 미리 설정된 오차범위 내에서 크기와 모양이 일치하는 것이 발견되면 일치하는 것으로 판단하도록 하는 것도 가능하다. 여기서 상기 의약품의 정보는 해당 의약품에 대한 주의사항, 용법, 제약 회사명 또는 이들의 조합을 포함한 사용자가 해당 의약품에 대해서 알아야 할 정보를 모두 포함한다.

만약에 상기 조합과 일치하는 의약품이 복수개 존재하는 경우, 사용자단말기에서 촬영된 의약품의 기하정보나 인쇄정보를 추가로 추출하여, 상기 인쇄정보나 기하정보를 색상정보가 일치하는 복수개의 의약품이 가지는 인쇄정보나 기하정보와 비교하여 일치여부를 판단할 수 있다. 또한 일치하는 의약품이 존재하지 않는 경우에도, 설정조건정보를 변경하여 다시 의약품을 인식하도록 반복하거나, 기하정보 또는 인쇄정보 중 하나로부터 의약품을 인식하는 과정을 수행할 수 있다. 즉, 만약에 상기 조합과 일치하는 의약품이 존재하지 않는다면, 사용자단말기에서 촬영된 의약품의 기하정보나 인쇄정보를 추출하여, 상기 기하정보나 인쇄정보로부터 일치하는 의약품을 추출하여 기하정보나 인쇄정보를 인식한다.

도 8에 도시된 바와 같이, 먼저 사용자단말기에서 촬영된 의약품의 인쇄정보를 추출한다(S410). 상기 추출한 인쇄정보와 일치하는 의약품이 존재하는지 검색하여 체크한다(S420). 먼저 일치하는 의약품이 존재하는지 체크하고, 이어서 복수개의 의약품이 존재한다면, 다시 설정조건을 변경하여(S430) 다시 상기 추출과정과 의약품 존재여부를 체크하는 과정을 반복하며, 단일의 의약품만이 일치하는 것으로 인식되면 사용자가 원하는 의약품이 인식되었다고 볼 수 있다.

만약 하나의 의약품만이 일치하는 것으로 인식되었다면, 해당 의약품에 대한 정보를 추출한다(S440). 이어서 상기 추출한 해당 의약품의 정보를 사용자단말기로 출력한다(S450).

그러나 상기 인쇄정보가 정확하게 일치하지 않고 유사한 크기와 모양을 가진 복수개의 후보 의약품이 검출될 수 있을 것이다. 이 경우에는 사용자단말기로 해당 복수개의 후보 의약품에 대한 리스트를 출력하여 우선 사용자에게 제공할 수 있다. 그리하여 사용자가 제공된 의약품 중에서 자신이 촬영한 의약품과 일치하는 것을 발견한 경우, 사용자의 선택에 따라 상호작용을 통해 해당 의약품의 정보를 추출하여 사용자단말기로 출력한다. 그러나 후보 의약품이 너무 많거나 사용자가 판단하기 어려워 사용자가 의약품의 인식하는 조건을 좀 더 강화하여야 하는 경우에는 상기 설정조건정보를 변경하고(S430) 재식별을 요청하면, 새로운 설정조건정보를 이용하여 다시 의약품의 인식과정을 반복한다.

아울러 이와 동시에 설정조건변경에 따라 의약품의 인쇄정보를 인식하는 단계로 넘어 갈 수 있다. 사용자가 반드시 상호작용을 통해 재식별을 요청하여야 하는 것은 아니며, 미리 설정된 오차범위 내에서 크기와 모양이 일치하는 것이 발견되면 일치하는 것으로 판단하도록 하는 것도 가능하다. 여기서 상기 의약품의 정보는 해당 의약품에 대한 주의사항, 용법, 제약 회사명 또는 이들의 조합을 포함한 사용자가 해당 의약품에 대해서 알아야 할 정보를 모두 포함한다.

만약에 상기 조합과 일치하는 의약품이 복수개 존재하는 경우, 사용자단말기에서 촬영된 의약품의 기하정보나 색상정보를 추가로 추출하여, 상기 기하정보나 색상정보를 상기 인쇄정보가 일치하는 복수개의 의약품이 가지는 기하정보나 생상정보와 비교하여 일치여부를 판단할 수 있다. 또한 일치하는 의약품이 존재하지 않는 경우에도, 설정조건정보를 변경하여 다시 의약품을 인식하도록 반복하거나, 기하정보 또는 색상정보 중 하나로부터 의약품을 인식하는 과정을 수행할 수 있다. 즉, 만약에 상기 조합과 일치하는 의약품이 존재하지 않는다면, 사용자단말기에서 촬영된 의약품의 기하정보나 색상정보를 추출하여, 상기 기하정보나 색상정보로부터 일치하는 의약품을 추출하여 기하정보나 색상정보를 인식한다.

이렇게 인식된 의약품에 대한 정보를 토대로 의약품 정보 데이터베이스로부터 해당 의약품을 검색하고, 해당 의약품에 대한 정보를 액세스한 다음 사용자에게 그 결과를 제공한다. 이로써 사용자단말기로부터 입력된 의약품에 대한 영상으로부터 실제 영상에 포함된 실제 의약품을 인식하고, 해당 의약품의 용법, 주의사항을 포함한 의약품 정보를 사용자에게 제공할 수 있다.

도 9는 본 발명의 일 실시예에 따른 의약품 식별 장치의 블록도를 보인 것이다.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 의약품 식별 장치(100)는 네트워크 인터페이스부(110), 데이터베이스 인터페이스부(130), 의약품 식별부(120) 및 의약품 인식부(140)를 포함하여 구성된다. 여기서 의약품 인식부(140)는 다시 기하정보 인식부(141), 색상정보 인식부(142) 및 인쇄정보 인식부(143)를 포함하여 구성된다.

상기 의약품 식별부(120)는 본 발명에 따른 의약품 식별장치(100)의 전체적인 기능을 제어하는 주제어부(main controller)의 역할을 수행하는 것으로서, 사용자단말기(200)에서 획득된 참조물체와 의약품의 이미지가 유무선 네트워크로 전송되면, 이를 네트워크 인터페이스(110)를 통해서 입력받아, 식별정보를 토대로 의약품 인식부(140)를 통해서 인식한 의약품에 대해서 해당 의약품 정보를 검색한 다음 사용자 단말기에 제공하는 역할을 수행한다.

물론 상기 의약품 식별 장치(100)는 참조물체와 의약품에 대한 이미지를 네트워크로부터 수신하기 위한 네트워크 인터페이스부(120)를 구비하며, 로컬 데이터베이스나 의약품 정보 시스템으로부터 식별정보나 의약품 정보를 액세스하는 데이터베이스 인터페이스부(130)를 구비하는 것이 바람직하다.

또한 사용자단말기로부터 입력받은 참조물체와 의약품에 대한 영상으로부터 의약품의 크기, 색상, 인쇄 또는 이들의 조합을 포함하는 정보를 인식하는 의약품 인식부(140)를 구비한다. 특히 본 발명에서는 의약품의 크기나 모양에 대해서는 의약품의 크기를 참조물체와 비교함으로써 인식하는 것을 특징으로 한다.

여기서 상기 참조물체는 미리 알려진 물체의 규격을 통해서 획득되며, 동전, 지폐, 자, 신용카드, 종이컵, 모눈종이, 프린트 용지, 노트, 또는 모니터를 포함하여 일상생활용품이나 소지품 중에서 크기에 대한 규격이 존재하는 물체는 모두 그 대상이 된다. 특히 미리 저장해 둔 사람의 신체 중 일부의 크기나 물체의 크기 정보를 통해서 획득되며, 상기 신체는 손가락 마디, 손바닥, 손톱 또는 발을 포함하며, 사용자가 임의로 미리 설정한 물체의 크기에 대한 정보를 말한다.

따라서 본 발명의 참조물체는 미리 알려진 특정 참조물체를 사람의 인체 중 일부와 함께 촬영하여 그 크기에 대한 정보를 획득한 상기 인체 중 일부가 될 수 있다. 이러한 과정을 통하면 별도로 참조물체를 소지하여야 할 필요가 없다.

만약에 카메라로 참조물체를 촬영할 경우 해당 참조물체를 카메라가 촬영하는 화면크기와 렌즈의 확대비(줌 비율)와 초점거리를 기억해 둠으로써, 향후 참조물체와 의약품이 촬영될 때 해당 촬영에 사용된 카메라 렌즈의 확대비와 초점거리를 이용하여 의약품의 크기를 환산하는데 활용할 수도 있다. 즉, 본 발명의 일 실시예에 따른 의약품 식별 장치는, 미리 알려진 참조물체의 실물크기를 참조물체의 영상에 투사하여 해당 참조물체의 영상의 크기에 대비하여, 카메라에서 참조물체를 처음 촬영할 당시의 화면크기, 렌즈의 확대비 및 초점거리에 대한 카메라 설정정보의 관계를 이용하여, 다음부터는 참조물체를 의약품과 함께 촬영하지 않더라도 카메라의 설정정보를 이용하여 참조물체에 대한 가상의 영상과 실물크기를 추출하여 의약품의 실물크기에 대한 정보를 추출하는 것이 가능하다.

상기 기하정보 인식부(141)는 사용자단말기를 통해서 입력받은 의약품과 참조물체가 포함된 영상으로부터 의약품의 크기와 모양을 인식하는 역할을 수행한다. 이를 위해서 우선 참조물체와 의약품의 윤곽선 정보를 추출하며, 이어서 해당 이미지에 포함되어 있는 참조물체와 의약품의 외곽선을 인식한다. 다음으로 의약품의 크기를 인식하는데, 참조물체의 실물크기를 미리 알고 있으므로, 참조물체의 실물크기를 참조물체의 이미지에 투사하여, 의약품의 실제 크기정보를 추출함으로써, 실제 의약품의 실물크기를 추출하게 된다.

이어서 상기 추출된 크기정보를 토대로, 의약품의 모양을 추출할 수 있다. 상기 윤곽선을 따라서 실제 의약품에 대한 윤곽선상의 각 점에 대한 위치정보를 실제 데이터베이스에 저장되어 있는 모양에 대한 정보와 비교하여 해당 모양의 정보를 추출한다. 이때 촬영된 의약품의 윤곽선에 대한 벡터와 각 의약품에 대한 식별정보로써 저장되어 있는 윤곽선에 대한 벡터를 비교하여 보면 일치여부를 알 수 있다.

주지하다시피, 의약품의 크기와 모양만으로 해당 의약품을 완벽하게 식별할 수 있지 않는 경우도 있기 때문에, 본 발명에서는 색상정보와 인쇄정보를 통해서 해당 의약품을 식별하는 방법을 추가로 적용하는 방법을 제시하고자 한다.

상기 색상정보 인식부(142)는 화이트밸런스를 수행하여, 조명광원으로부터 색상의 왜곡이 생기는 현상을 제거함으로써, 의약품의 정확한 색상정보를 획득할 수 있다.

또한 상기 색상정보 인식부(142)는 상기 화이트밸런스에 활용된 광원의 색을 실제 의약품의 색상을 인식하는 과정에서 학습을 수행하도록 구성한다. 즉, 특정 의약품의 색상을 올바르게 추정하거나 잘못 추정하더라도 의약품의 크기나 모양을 통해서 배경에 대한 컬러의 오차를 인식하였다면, 해당 배경에 대한 색상을 지속적으로 업데이트하여 추정 오차를 감소시켜 나가도록 구성한다.

즉, 상기 기하정보 인식부(141)와 색상정보 인식부(142)에서는 의약품 성상 가이드라인을 활용하여 의약품의 색상에 대한 추정의 정확도를 더욱 높이고 또한 추정과정을 단순화한다. 이러한 과정은 이 후 더욱 상세하게 설명하고자 한다.

상기 인쇄정보 인식부(143)는 의약품의 윤곽선 내부의 픽셀별 영상신호 정보에 포함된 문자, 기호 및 제약사 고유 로고정보를 인식함으로써 보다 정확한 의약품을 식별하는 역할을 수행한다. 본 발명에서는 확률적인공신경망(PNN)이 활용되며, 여기에 주성분분석(PCA) 방법을 추가적으로 활용하여 보다 정확한 인식을 수행하도록 한다. 즉, 의약품의 문자, 기호 또는 로고의 인식을 위한 입력변인의 개수를 줄이기 위해서, PCA 알고리즘을 포함한 개수 축약 알고리즘에 사용될 수 있으며, 로고의 경우 제약사명, 문자의 경우 문자열 정보를 산출하여 인식을 수행한다. 의약품 이미지에서 로고의 위치와 마크정보, 이미지명, 색상 등을 통해서 해당 로고의 이에 대한 식별을 수행하는 과정은 이 후 더욱 상세하게 설명하고자 한다.

도 10은 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 참조물체의 영상으로부터 프로젝션 벡터를 구해서, 참조물체의 실물크기를 산출하고, 이를 통해서 의약품의 크기를 산출하는 과정을 보인 예시도이다.

본 발명에서는 참조물체와 의약품의 기하, 색상 또는 인쇄정보를 추출하기 위해서, 먼저 참조물체의 윤곽선을 인식하며, 참조물체의 윤곽선을 정면에서 본 실물 형태로 변환하기 위한 벡터를 산출한다. 이어서 의약품에 대한 촬영영상을 실물크기로 변환하여, 의약품의 윤곽선 인식 및 실물의 장축과 단축에 대한 크기를 확인한다.

도 5에 도시된 바와 같이, 일단 참조물체와 의약품의 윤곽선을 추출한다. 참조물체와 의약품을 분리한 다음 해상도를 조정할 필요가 있으면 비닝(binning)을 통해서 해상도를 조정할 수 있다. 여기서 픽셀 비닝(Pixel Binning)은 리사이즈(resize)와 같은 개념으로 2x2 비닝은 가로세로 두 픽셀을 하나의 픽셀로 사용해서 촬영하는 것이다. 비닝은 데이터 량을 줄일 수 있어, 속도를 증가시킬 수 있고, 하나의 픽셀을 표현할 때 4개 픽셀을 사용하여 감광도를 증가시킬 수 있으나, 영상의 세부묘사는 반으로 감소하여 해상도가 낮아지게 된다.

또한 평활화(smoothing)를 통해서 너무 많은 윤곽선의 출현을 억제할 수 있다. 즉, 2차원 디지털 필터를 사용하여 윤곽선을 추출할 때 평활화를 수행하면 영상의 고주파 성분이 제거되어 윤곽선을 선명하게 추출할 수 있다. 즉, 의약품에 대한 관심영역(ROI: Region of Interest)을 추출하고 ROI영상을 정규화하여 리사이징하고, 영상크기 변화에 따른 블록킹(blocking) 잡음을 제거한다.

또한 윤곽선을 인식하는 알고리즘으로 해당 컬러 영상을 그래이 영상으로 변환한 다음 Canny, LoG(Laplacian of Gaussian), Prewitt, Roberts, Sobel, ZeroCross 등의 알고리즘을 통해서 윤곽선을 추출한다. 또한 이러한 알고리즘은 상호 결합을 통해서 복합적으로 사용될 수 있으며, 복잡도에 따라서 적절한 절충(trade-off) 과정을 거치게 됨이 바람직하다.

다음은 기하학적 보정의 과정으로 프로젝션 벡터를 산출하는 과정을 살펴보고자 한다.

먼저 참조물체의 종횡비(aspect ratio)를 이미 알려진 크기로부터 추출하고, 영상을 실제 참조물체의 종횡비와 동일하게 보정한다(예: 동전은 1:1, 신용카드는 1:1.618 등). 상기 보정을 통해서 프로젝션 벡터에 반영하여 환산하고, 행렬식을 구성한다. 즉, 촬영영상의 의약품영역에 대해 프로젝션 벡터를 적용하여 기하학적 보정을 수행한다. 이어서 기하학적 보정이 이루어진 의약품 영역에 대한 윤곽선 인식을 수행한다.

참조물체가 동전인 경우에 대해서 더욱 자세하게 설명하면, 의약품의 윤곽선을 추출하기 전에 먼저 의약품을 정 위치로 보정하고, 해당 의약품의 영역에 대해 윤곽선을 인식하도록 프로젝션 벡터를 산출하고 이를 의약품에 반영하는 과정이 필요하다. 즉, 참조물체의 윤곽선에 대한 장축의 길이

과 참조물체의 이미 알고 있는 가로길이

에서 픽셀 축척을 구한다.

에 직교하는

을 구한다. 이어서 벡터

를 구해서,

가 실물축척으로 그 비가 1이 되도록 하는 참조물체를 구하고, 이에 비례하여 의약품의 크기를 산출한다.

이하에서는 색상을 통한 의약품의 식별에 대해서, 먼저 화이트밸런스에 대해서 설명하고자 한다. 화이트밸런스는 하얀색의 물체가 사진을 찍었을 때도 하얀색으로 보이도록 하여야 하는 것을 말하는데, 하얀색이 파란색이나 노란색으로 보인다면 의약품의 색상도 왜곡되게 인식하게 된다. 특히 실내 촬영에서 컬러(형광색, 백열등 등)가 가미된 조명에서 의약품을 촬영하였다면, 의약품의 색상도 원래 색상과 달리 인식되게 된다.

좀 더 자세히 설명하면, 물체의 색은 물체에 비치는 조명의 파장에 물체가 반사하는 파장이 사람의 눈이나 카메라의 센서에 들어오면서 물체의 색으로 인식되고 촬영되는데, 사람의 눈은 광원에 관계없이 물체가 가지는 고유한 색을 인식하는 기능이 있어 물체에 대해 다양한 광원이 들어오게 되더라도 고유한 색을 인식하는 기능(색 향상성이라고 함)이 있으나, 카메라의 경우에는 물체의 고유한 색을 인식하는 것이 아니라 물체에 반사된 왜곡된 색 자체를 받아들이게 된다. 이러한 차이를 보정하기 위해 화이트밸런스를 수행하는 것이 바람직하다. 즉, 화이트밸런스는 광원의 색을 추정하고, 이에 의한 효과를 없앰으로써 색 향상성을 얻는 것을 말한다. 따라서 화이트밸런스 알고리즘은 상기 광원을 어떻게 추정하느냐에 따라서 결정된다.

본 발명에서는 카메라에서 자체적으로 제공되는 자동 화이트밸런스 기능을 의약품 식별용 앱에서 자동으로 실행되도록 한다. 본 발명에서 사용될 수 있는 주요 화이트밸런스 알고리즘으로 그래이 월드 가정(gray world assumption), Max-RGB, 화이트패치(white patch), Gray-edge 알고리즘 등을 사용할 수 있으며, 또한 반복 화이트밸런스(iterative white balance), 일루미넌트 보팅(illuminant voting), 컬러 바이 코릴레이션(color by correlation)을 포함한 자동 화이트밸런스(AWB) 알고리즘을 추가로 부가하여 사용할 수도 있다.

이러한 바탕 위에서, 본 발명에서는 배경이 되는 컬러를 미리 알고 있는 상황(예를 들어 A4/Letter 용지의 경우 하얀색)이거나 화이트밸런스에 활용된 광원의 색을 실제 의약품의 색상을 인식하는 과정에서 학습을 수행하도록 구성한다. 즉, 특정 의약품의 색상을 올바르게 추정하거나 잘못 추정하더라도 의약품의 크기나 모양을 통해서 배경에 대한 컬러의 오차를 인식하였다면, 해당 배경에 대한 색상을 지속적으로 업데이트하여 추정 오차를 감소시켜 나가도록 구성한다.

아울러 본 발명에서는 의약품 성상 가이드라인을 활용하여 의약품의 색상에 대한 추정의 정확도를 더욱 높이고 또한 추정과정을 간략화 하고자 한다.

도 11은 본 발명의 의약품 식별 장치에 있어서, 의약품 성상 가이드라인 중에서 의약품의 색상과 관련한 기준을 설명하기 위한 예시도이다.

도 11에 도시된 바와 같이, 본 발명에서는 (a) KS A 0062에 의한 표기방법에 기초하여 (b) 먼셀표색계에 따른 표시방법을 사용한다. 즉, 의약품에 사용되는 색상은 한정적으로 사용되고 있으며, 본 발명에서는 이를 이용함으로써, 색상의 추정에 대한 정확도를 더욱 높일 수 있을 뿐만 아니라 추정도 간단하게 수행할 수 있는 장점이 있다.

의약품의 색상은 빨강, 주황, 노랑, 연두, 초록, 청록, 파랑, 남색, 보라, 자주, 분홍, 갈색 등 유채색 기본색 12종, 하양, 회색, 검정의 무채색 기본색 3종 및 기타 투명 1종 등 총 16종 기본색으로 분류하고 있다. 또한 명도와 채도를 감안하여 선명한, 흐린, 탁한, 밝은, 어두운, 진(한), 연(한)의 유채색의 수식형용사와 무채색의 수식형용사 밝음, 어두움을 이용하여 색채를 세분하여 표현할 수 있다. 기본색을 수식어로 하여 다른 기본색 앞에 삽입하여 표현하는 것을 원칙으로 한다.

의약품의 색상은 계통색이름에 따르는 것을 원칙으로 하고 필요한 경우 관용색이름을 표기할 수 있다. 또한 의약품의 색상을 더 세부적으로 표기하기 위하여 필요시 색의 3속성(H(색상), V(명도), C(채도))에 의한 표시 또는 다른 공인된 표준색상표에 따른 번호로 표기할 수 있다. 이 때 색의 3속성에 의한 표기법은 KS A 0062에 의한 표기방법에 기초하여 먼셀표색계에 따른 표시방법을 따른다. 색상은 빨강(R), 노랑(Y), 초록(G), 파랑(B) 및 보라(P)을 포함한 기준색 5색에 주황(YR), 연두(GY), 청록(BG), 남색(PB) 및 자주(RP)의 중간색 5색을 더하여 총 10색을 동일간격으로 배열하여 사용한다.

전체색은 R-TR-Y-GY-G-B-PB-P-RP의 순서로 100등분하고, 데이터베이스를 활용하여 sRGB 참조표를 구성하여 색상을 인식하도록 한다. 무채색은 하양(W), 회색(Gy), 검정(Bk)의 3가지 색이다.

의약품의 정보를 데이터베이스의 색상정보로 변환할 때는 데이터베이스의 색상정보의 대부분은 KS 색상이름으로 표시하며, 색상코드로 변환을 수행한다.

도 12는 본 발명의 의약품 식별 장치에 있어서, 의약품 성상 가이드라인 중에서 의약품의 형태와 관련한 기준을 설명하기 위한 예시도이다.

도 12의 (a) 내지 도 12의 (c)에 도시된 바와 같이, 의약품의 형태는 한정적이므로, 규정된 형태에서 추정함으로써 보다 정확하고 간단하게 추정할 수 있다.

의약품의 형태에 대해서 설명하면, 먼저 크기에 대한 기준으로 장축과 단축 각각의 길이 및 장축과 단축 사이의 비율(화면비, 종횡비)을 활용한다. 기준 형태로는 원형(장축=단축), 달걀형(장축 < 2x단축), 타원형(장축 ≥ 2x단축, 장축 방향 윤곽선 곡선), 반원형, 장방형(장타원형, 장축 ≥ 2x단축, 장축방향 윤곽선 직선), 정사각형(장축=단축), 직사각형(장축≠단축), 마름모형(대각선 직교), 삼각형, 오각형, 육각형, 팔각형, 심장형(♡) 등이 사용된다.

따라서 본 발명에서는 기준형태에 해당되는 기하함수로 생성한 참조 픽셀 정보(X, Y 좌표값)와 윤곽선 인식으로 얻어진 픽셀 정보를 대조함으로써, 의약품의 형태를 간단하면서도 정확하게 추정할 수 있다.

이하에서는 본 발명에서 적용하는 의약품의 크기, 모양, 색상을 토대로 의약품을 식별하는 것에 더하여 의약품에 새겨져 있는 문자, 기호 및 제약사의 고유 로고 등에 대한 인식방법에 대해서 설명하고자 한다.

도 13은 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 확률 신경망을 이용한 의약품의 문자, 기호 또는 로고 인식 방법을 설명하지 위한 개념도이다.

의약품을 인식하기 위한 영상자료에는 의약품의 크기(장축 및 단축), 가로세로비, 형태정보, 색상정보, 의약품의 윤곽선 내부의 픽셀별 영상신호 정보가 있다. 여기서 형태정보는 기하학적 형태의 보정과 참조물체의 활용을 통한 형태정보를 포함하고, 색상정보는 KS A 0062 먼셀표색계, 화이트밸런스 및 sRGB를 통해 표현된다. 특히 의약품의 윤곽선 내부의 픽셀별 영상신호 정보에는 문자, 기호 및 제약사 고유 로고정보가 있으며, 이를 인식함으로써 보다 정확한 의약품 식별이 가능하다.

도 13에 도시된 바와 같이, 본 발명에서는 확률 신경망을 이용한 의약품의 문자, 기호 또는 로고 인식 방법에는, (a) 확률적인공신경망(PNN, Probabilistic Neural Network)이 활용될 수 있으며, 여기에 주성분분석(PCA, Principal Component Analysis) 방법을 추가적으로 활용하여 보다 정확한 인식을 수행할 수 있다. 즉, 의약품의 문자, 기호 또는 로고의 인식을 위한 PNN 입력단에서의 입력 변인의 개수를 줄이면서도 정보 콘텐츠의 양은 유지하기 위하여 PCA로 얻어지는 고유벡터(새로운 변인)의 적정 개수를 얻고, 그에 따른 스코어(score)값을 얻는 것이다. (b) PNN에서는 흔히 사용되는 가우시안(Gaussian) 이외에도 다른 통계적 확률분포모델을 활용할 수 있으며, 특정 제약사의 로고 또는 문자정보로의 패턴 판정을 위한 군집인식 한계선의 값(

)에 대한 최적화가 각 제약사별 패턴에 대해 이루어지게 된다.

도 14는 본 발명의 일 실시예에 따른 의약품 식별 장치에서, 의약품 이미지의 로고위치와 마크정보, 이미지명, 색상 등을 통해서 의약품을 식별하는 예시도이다.

도 14에 도시된 바와 같이, 먼저 의약품 이미지에서 로고의 위치와 마크정보, 이미지명, 색상 등을 통해서 해당 로고의 이에 대한 식별을 수행할 수 있다. 의약품의 앞면과 뒷면에 대해서 각각 이미지 위치가 위, 아래, 중간 중에서 어느 곳인지, 마크정보, 색깔 등에 대한 정보를 비교하여 식별할 수 있다. 또한 공통적으로 제형(필름코팅형 등), 모양, 크기 정보를 이용하여 의약품을 보다 용이하게 식별할 수 있다.

또한 본 발명은 근적외선 영역(파장: 800 ~ 2500 nm)의 여러 파장 대역의 근적외선 발광다이오드의 조합 또는 텅스텐할로겐램프를 광원으로 하고, 근적외선촬상소자 또는 필터가 장치된 카메라를 활용하여 복수의 서로 다른 근적외선 파장 대역들에 대한 영상을 획득하고, 각 파장에 따른 영상을 의사색상(pseudocolor)의 값으로 변환하고 결합함으로써, 상기 획득한 근적외선 영상을 이용하여, 외관상으로는 구분되지 않을 정도로 정교하게 위조된 가짜약의 구분을 가능하게 하는 기능을 더 포함한다.

또한 본 발명에서는 의약품의 기하정보를 추출하여 원하는 의약품을 인식하거나 식별함에 있어서, 의약품의 크기나 모양만으로는 해당 의약품의 평면에 대한 형상밖에 인식할 수 없게 되어, 동일한 평면을 가진 의약품에 대해서는 구분이 되지 않는 문제를 해결하고자 한다. 따라서 본 발명에서는 두 개의 카메라를 구비한 사용자단말을 사용하거나, 하나의 카메라로 촬영한 영상(예: 좌영상)에서 우영상을 추출하여 깊이영상을 추출(별도의 깊이카메라를 사용하는 것을 포함)함으로써, 입체영상을 구성하여 의약품의 부피정보를 추출하는 것을 더 포함한다.

이상에서 설명하였듯이, 본 발명은 휴대용단말기로 사용자가 자신이 처방받은 알약(정제) 또는 캡슐약을 포함한 의약품이 무슨 약인지 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있도록, 먼저 참조물체에 대한 크기정보를 토대로 의약품의 크기를 측정하거나, 의약품의 색상정보를 추출하거나, 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하거나, 또는 이들의 조합을 통해서 간단하면서도 정확하게 의약품을 식별할 수 있는 효과가 있다.

더욱 구체적으로는 본 발명은 휴대용단말기로 참조물체에 대한 크기정보를 토대로 자신이 처방받은 의약품의 크기와 모양을 측정하여 해당 의약품의 성분이나 주의정보를 포함한 약품정보를 의약품 데이터베이스와 연계하여 손쉽게 확인할 수 있으며, 이를 위해서는 본 발명에서는 상기 참조물체를 의약품과 항상 함께 촬영해야 하는 문제점을 해결하기 위해서 참조물체를 사람의 신체의 일부와 함께 촬영하여 해당 신체의 일부에 대한 크기 정보를 먼저 획득한 다음, 그 다음부터는 해당 신체의 일부에 의약품을 올려놓고(예를 들어 손바닥에 알약을 올려놓음) 휴대용단말기로 촬영함으로써, 간편하게 알약의 크기와 모양을 측정할 수 있는 효과가 있다.

또한 본 발명은 동일한 크기와 모양을 가진 의약품이 복수개 검출된 경우나, 상기 크기나 모양이 불명확한 경우에, 의약품의 색상정보를 추출함으로써, 보다 정확하게 의약품을 인식할 수 있으며, 또한 의약품의 크기와 모양 혹은 색상 이외에도 의약품에 새겨져 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 인식하여 간단하면서도 정확하게 의약품을 식별할 수 있는 효과가 있다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100 : 의약품 식별 장치 200 : 사용자단말기
300 : 의약품 정보 시스템 400 : 의약품 정보 데이터베이스
110 : 네트워크 인터페이스부 120 : 의약품 식별부
130 : 데이터베이스 인터페이스부 140 : 의약품 인식부
141 : 기하정보 인식부 142 : 색상정보 인식부
143 : 인쇄정보 인식부

Claims (14)

1. 사용자가 카메라로 촬영한 의약품의 영상으로부터 실제 의약품을 인식하는 의약품 인식부; 및
   상기 인식된 의약품에 대해서 의약품 정보를 추출하여 제공하는 의약품 식별부;를 포함하고,
   상기 의약품을 인식하는 것은,
   참조물체의 크기, 색상 또는 이들의 조합을 이용하여 인식하되,
   상기 의약품의 크기, 모양 또는 이들의 조합을 포함하는 기하정보, 상기 의약품의 색상정보, 상기 의약품에 표시되어 있는 인쇄정보, 또는 이들의 조합 중 적어도 하나 이상을 이용하여 인식하며,
   상기 기하정보를 통해서 복수의 인식결과가 나타나면, 상기 색상정보나 인쇄정보를 추가로 이용하여 상기 의약품을 인식하는 것을 특징으로 하는 의약품 식별 장치.
2. 삭제
3. 청구항 1에 있어서,
   상기 참조물체는, 동전, 지폐, 자, 신용카드, 종이컵, 모눈종이, 프린트 용지, 노트, 또는 모니터를 포함하여 일상생활용품이나 소지품 중에서 미리 알려진 크기, 색상, 인쇄 또는 이들의 조합 중 적어도 하나 이상에 대한 크기정보가 미리 알려져 있는 것이거나,
   또는 미리 알려진 참조물체를 사람의 인체 중 일부와 함께 촬영하여 그 크기에 대한 정보를 획득한 상기 사람의 인체 중 일부인 것을 특징으로 하는 의약품 식별 장치.
4. 청구항 1에 있어서,
   미리 알려진 참조물체의 실물크기를 참조물체의 영상에 투사하여 해당 참조물체의 영상의 크기에 대비하여, 카메라에서 참조물체를 처음 촬영할 당시의 화면크기, 렌즈의 확대비 및 초점거리에 대한 카메라 설정정보의 관계를 이용하여, 다음부터는 참조물체를 의약품과 함께 촬영하지 않더라도 카메라의 설정정보를 이용하여 참조물체에 대한 가상의 영상과 실물크기를 추출하여 의약품의 실물크기에 대한 정보를 추출하는 것을 특징으로 하는 의약품 식별 장치.
5. 청구항 1에 있어서,
   상기 기하정보는,
   적어도 하나 이상의 카메라를 이용하여 의약품을 촬영함으로써, 입체영상을 추출하여 의약품의 부피 정보를 더 추출하여 인식하는 것을 특징으로 하는 의약품 식별 장치.
6. 청구항 1에 있어서,
   상기 색상정보는,
   상기 의약품의 색상으로부터 의약품을 인식하되, 화이트밸런스 및 의약품 성상표기 가이드라인 중 의약품의 색상과 관련한 기준을 적용하여 인식하는 것을 특징으로 하는 의약품 식별 장치.
7. 청구항 1에 있어서,
   상기 인쇄정보는,
   상기 의약품에 표시되어 있는 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 포함하며, 주성분분석 또는 확률적 인공신경망을 활용하여 인식하는 것을 특징으로 하는 의약품 식별 장치.
8. 사용자가 카메라로 촬영한 의약품의 영상으로부터 실제 의약품을 인식하는 의약품 인식 단계; 및
   상기 인식된 의약품에 대해서 의약품 정보를 추출하여 제공하는 의약품 식별 단계;를 포함하고,
   상기 의약품을 인식하는 것은,
   참조물체의 크기, 색상 또는 이들의 조합을 이용하여 인식하되,
   상기 의약품의 크기, 모양 또는 이들의 조합을 포함하는 기하정보, 상기 의약품의 색상정보, 상기 의약품에 표시되어 있는 인쇄정보, 또는 이들의 조합 중 적어도 하나 이상을 이용하여 인식하며,
   상기 기하정보를 통해서 복수의 인식결과가 나타나면, 상기 색상정보나 인쇄정보를 추가로 이용하여 상기 의약품을 인식하는 것을 특징으로 하는 의약품 식별 방법.
9. 삭제
10. 청구항 8에 있어서,
    상기 참조물체는 동전, 지폐, 자, 신용카드, 종이컵, 모눈종이, 프린트 용지, 노트, 또는 모니터를 포함하여 일상생활용품이나 소지품 중에서 미리 알려진 크기, 색상, 인쇄 또는 이들의 조합 중 적어도 하나 이상에 대한 크기정보가 미리 알려져 있는 것이거나,
    또는 미리 알려진 참조물체를 사람의 인체 중 일부와 함께 촬영하여 그 크기에 대한 정보를 획득한 상기 사람의 인체 중 일부인 것을 특징으로 하는 의약품 식별 방법.
11. 청구항 8에 있어서,
    미리 알려진 참조물체의 실물크기를 참조물체의 영상에 투사하여 해당 참조물체의 영상의 크기에 대비하여, 카메라에서 참조물체를 처음 촬영할 당시의 화면크기, 렌즈의 확대비 및 초점거리에 대한 카메라 설정정보의 관계를 이용하여, 다음부터는 참조물체를 의약품과 함께 촬영하지 않더라도 카메라의 설정정보를 이용하여 참조물체에 대한 가상의 영상과 실물크기를 추출하여 의약품의 실물크기에 대한 정보를 추출하는 것을 특징으로 하는 의약품 식별 방법.
12. 청구항 8에 있어서,
    상기 기하정보를 인식하는 것은,
    적어도 하나 이상의 카메라를 이용하여 의약품을 촬영함으로써, 입체영상을 추출하여 의약품의 부피 정보를 더 추출하여 인식하는 것을 포함하는 것을 특징으로 하는 의약품 식별 방법.
13. 청구항 8에 있어서,
    상기 색상정보를 인식하는 것은,
    상기 의약품의 색상으로부터 의약품을 인식하되, 화이트밸런스 및 의약품 성상표기 가이드라인 중 의약품의 색상과 관련한 기준을 적용하여 인식하는 것을 포함하는 것을 특징으로 하는 의약품 식별 방법.
14. 청구항 8에 있어서,
    상기 인쇄정보를 인식하는 것은,
    상기 의약품에 표시되어 있는 의약품에 표시되어 있는 문자, 로고, 기호, 제조사 정보 또는 이들의 조합을 포함한 인쇄정보를 인식하는 것이며, 주성분분석 또는 확률적 인공신경망을 활용하여 인식하는 것을 포함하는 것을 특징으로 하는 의약품 식별 방법.
    

Images