KR20150053075A - 객체 확인 시스템 - Google Patents

객체 확인 시스템 Download PDF

Info

Publication number
KR20150053075A
KR20150053075A KR1020130134819A KR20130134819A KR20150053075A KR 20150053075 A KR20150053075 A KR 20150053075A KR 1020130134819 A KR1020130134819 A KR 1020130134819A KR 20130134819 A KR20130134819 A KR 20130134819A KR 20150053075 A KR20150053075 A KR 20150053075A
Authority
KR
South Korea
Prior art keywords
objects
identification system
object identification
image
analysis module
Prior art date
Application number
KR1020130134819A
Other languages
English (en)
Inventor
최호진
정영섭
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130134819A priority Critical patent/KR20150053075A/ko
Publication of KR20150053075A publication Critical patent/KR20150053075A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 객체 확인 시스템은 기판 상에 위치한 하나 이상의 객체의 이미지를 촬영하는 적어도 두 개 이상의 촬상 소자; 상기 하나 이상의 객체를 분류하고 각각의 분류된 객체의 종류 및 수량을 인식하는 이미지 분석 모듈: 및 상기 하나 이상의 객체의 종류 및 각 종류별 수량을 디스플레이하는 스크린을 포함한다.

Description

객체 확인 시스템{OBJECT RECOGNITION SYSTEM}
본 발명은 객체 확인 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 처방에 따라 제공되는 의약품의 종류와 수량을 확인할 수 있도록 하는 시스템 및 방법에 관한 것이다.
일반적으로 의약품 확인을 위해 의료업계 종사자들은 약학정보원, 드러그인포(druginfo) 등의 웹페이지를 이용한다. 이러한 웹페이지를 통한 서비스는 의약품 각각의 특징을 입력받아 그와 유사한 특징을 가지는 의약품 후보들의 사진을 제시하고, 사용자들로 하여금 직접 눈으로 비교하여 찾도록 하는 방식을 따르고 있다. 하지만, 이러한 방식은 의약품 검색 또는 확인을 위해 웹페이지를 방문해야 하고 의약품마다 특징을 모두 입력해야 하는 불편함이 존재한다. 더욱이, 제공된 의약품 후보 사진들로부터 사용자가 직접 눈으로 비교하여 동일한 의약품을 찾아야 하므로 빠르고 정확한 의약품 확인 및 제공에 있어서 비효율적이다. 또한, 처방된 의약품 제공시 의사 또는 약사의 실수로 인해 잘못된 약품이 환자에게 전달될 문제점도 존재한다.
의약품이 처방 또는 요청된 내역과 달리 고객에게 잘못 전달되는 사고 발생의 빈도를 줄일 수 있는 기술이 요구되고 있다.
본 발명은 종래의 필요성을 충족시키기 위해 안출된 것으로써, 의약품이 처방 또는 요청된 내역과 달리 고객에게 잘못 전달되는 사고 발생의 빈도를 줄일 수 있도록 하는 객체 확인 시스템 및 객체 확인 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 객체 확인 시스템은 기판 상에 위치한 하나 이상의 객체의 이미지를 촬영하는 적어도 두 개 이상의 촬상 소자; 상기 하나 이상의 객체를 분류하고 각각의 분류된 객체의 종류 및 수량을 인식하는 이미지 분석 모듈: 및 상기 하나 이상의 객체의 종류 및 각 종류별 수량을 디스플레이하는 스크린을 포함할 수 있다.
본 발명에 따르면 종래의 필요성을 충족시키기 위해 안출된 것으로써, 의약품이 처방 또는 요청된 내역과 달리 고객에게 잘못 전달되는 사고 발생의 빈도를 줄일 수 있도록 하는 객체 확인 시스템 및 객체 확인 방법을 제공할 수 있다.
본 발명에 따르면 처방받은 의약품을 정확하고 빠르게 전달받을 수 있다. 따라서, 본 발명에 따르면 의약품을 전달받는 고객의 만족도와 의약품 제공자의 수익을 증가시킬 수 있다.
도1은 본 발명의 실시형태에 따른 객체 확인 시스템의 구성도이다.
도2는 본 발명의 실시형태에 따른 객체 확인 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명이 첨부된 도면들을 참조하여 설명된다. 그러나, 본 발명의 실시형태는 여러 가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시형태로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면들 중 인용부호들 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 인용부호들로 표시됨을 유의해야 한다. 참고로 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하에서는 본 발명의 실시형태에 따른 객체 확인 시스템 및 객체 확인 방법에 대해서 설명한다. 보다 구체적으로 본 발명의 실시형태에 따른 객체 확인 시스템은 의약품 확인 시스템 및 의약품 확인 방법에 적용될 수 있다.
의약품은 병원 또는 약국에서 의료에 쓰이는 약품으로서 사람이나 동물의 질병 진단, 치료 또는 예방의 목적으로 하는 것으로 기구나 기계가 아닌 모든 것을 포함할 수 있다. .
도1은 본 발명의 실시형태에 따른 객체 확인 시스템(100)의 구성도이다. 본 발명의 실시형태에 따른 객체 확인 시스템(100)은 촬상 소자(121, 122), 이미지 분석 모듈(130) 및 스크린(140)을 포함할 수 있다.
또한, 본 발명의 실시형태에 따른 객체 확인 시스템(100)은 기판(110)을 더 포함할 수 있다. 객체 확인 시스템(100)을 통해 확인될 수 있는 하나 이상의 객체는 기판(110) 상에 놓인 후 객체 확인 시스템(100) 내부로 이동할 수 있다. 또한, 객체 확인 시스템(100)에서 확인 절차가 종료된 후 기판(110)을 통해 하나 이상의 객체가 객체 확인 시스템(100) 외부로 배출될 수 있다. 도1에서 객체 확인 시스템(100)에 기판(110)이 출입할 수 있는 입구가 하나인 것이 도시되나, 기판(110)이 들어가는 입구와 나가는 출구를 별개로 구성하여 기판(110)이 이동하면서 연속적으로 하나 이상의 객체가 객체 확인 시스템(100)에 출입할 수 있다.
또는, 기판(110)은 객체 확인 시스템(100)에 고정되고 로딩/언로딩을 위한 기구를 통해 기판(110) 상에 하나 이상의 객체가 확인을 위해 배치될 수 있다.
촬상 소자(121, 122)는 기판(110) 상에 위치하는 하나 이상의 객체의 이미지를 촬영할 수 있는 구성이다. 예컨대, 촬상 소자(121, 122)는 카메라(camera)를 포함할 수 있다. 도1에 도시된 바와 같이, 본 발명의 실시형태에 따른 객체 확인 시스템(100)은 두 개의 촬상 소자(121, 122)를 포함할 수 있으며, 이때, 두 개의 촬상 소자(121, 122) 각각은 기판(110) 상에 위치하는 객체의 윗면 및 아랫면의 이미지를 촬영할 수 있다.
실시예에 따라 객체 확인 시스템(100)에서 확인할 수 있는 객체는 의약품일 수 있다. 이때, 2개의 촬상 소자(121, 122)가 기판(110)의 넓은 면에 대해서 상부 및 하부에 위치하여 의약품의 기판(110)에 접촉한 하면(lower surface) 및 상기 하면의 맞은면, 즉 상면(upper surface)을 촬영할 수 있다. 촬영 소자(121, 122)의 개수는 객체의 모양 또는 실시예에 따라 변경될 수 있다. 기판(110)에 접촉한 객체의 하면을 촬영할 수 있도록 기판(110)은 투명한 물질로 이루어질 수 있다.
이때, 하나 이상의 객체에 대한 촬영은 객체 별로 수행되거나 하나 이상의 객체 전체에 대해서 이루어질 수 있다. 하나 이상의 객체 전체를 포함하여 이미지가 촬영되는 경우 이미지 분석 모듈(130)에서 하나의 이미지에 포함된 하나 이상의 객체 각각을 구분하여 객체에 대한 분석을 수행할 수 있다.
이미지 분석 모듈(130)은 기판(110) 상에 위치하여 촬상 소자(121, 122)를 통해 촬영된 하나 이상의 객체를 분류하고 각각의 분류된 객체의 종류 및 수량을 인식할 수 있다. 이미지 분석 모듈(130)은 예컨대, 두 개의 촬상 소자(121, 122)를 통해서 촬영된 두 개의 이미지를 분석하여 기판(110) 상에 위치한 하나 이상의 객체의 종류와 각 종류별 수량을 파악할 수 있다.
이미지 분석 모듈(130)은 촬상 소자(121, 122)를 통해 촬영된 이미지를 통해서 상기 하나 이상의 객체 각각에 대한 특징점을 추출할 수 있다.
문서 데이터와는 달리 이미지 데이터는 곧바로 해석 가능한 상태가 아니므로 특징점이 우선 추출되어야 한다. 예컨대, 원과 다각형을 구분하는 경우, 꼭지점을 표현할 수 있는 특징점을 사용하여 꼭지점이 3개이면 삼각형, 꼭지점이 전혀 없는 경우에는 원과 같이 객체를 구분할 수 있는 것이다. 꼭지점 이외에도 특징점은 다양한 패턴을 잡도록 추출될 수 있다. 특징점은 이미지 상에서 급격한 변화를 보이는 포인트를 잡아내는 것이다. 예컨대, 주사위의 ?? 부분은 주사위와는 색이나 명도의 관점에서 주사위의 나머지 몸체와 다른 값을 가질 수 있다. 이러한 부분을 특징점으로 추출할 수 있는 것이다.
이미지 분석 모듈(130)은 이미지로부터 각각의 객체의 특징점을 추출하기 위해 다양한 방법을 이용할 수 있다. 예컨대, SIFT(Scale-Invariant Feature Transform) 또는 SURF(Speeded-Up Robust Feature)가 이용될 수 있다.
SIFT는 이미지 크기에 상관없이 특징점을 추출할 수 있는 알고리즘이다. 예컨대, 꼭지점을 표현하는 특징점을 사용할 경우 이미지의 크기에 따라 꼭지점을 이루는 크기 또한 다를 것이다. 이러한 경우 특정 크기의 이미지에서 꼭지점은 추출할 수 있지만 상대적으로 크거나 작은 이미지에서 꼭지점은 추출할 수 없는 문제점이 발생할 수 있다. SIFT는 이러한 문제점을 해결하여 이미지의 크기에 상관없이 특정 패턴을 특징점을 추출할 수 있도록 하는 알고리즘이다.
SURF는 SIFT에 비해 상대적으로 빠르게 이미지의 특징점을 찾아낼 수 있도록 하는 알고리즘이다. SURF는 SIFT와 마찬가지로 이미지의 크기에 상관없이 특징점을 찾아내면서도 그 속도 면에서 우수하다. SURF는 큰 이미지나 동영상을 분석하는데도 이용될 수 있다.
이상에서는 SIFT와 SURF가 이미지로부터 하나 이상의 객체 각각에 대한 특징점을 추출하는 알고리즘으로 설명되었으나 이는 단지 예시일 뿐이며 다양한 방법이 이용될 수 있다.
이미지 분석 모듈(130)은 하나 이상의 객체 각각에 대한 특징점을 근거로 동일한 객체끼리 분류하여 그룹을 형성할 수 있다. 이미지 분석 모듈(130)은 하나 이상의 객체 중 동일한 특징점을 구비하는 객체끼리 분류할 수 있다. 예컨대, 5개의 객체 중 삼각형을 나타내는 특징점을 구비하는 2개의 객체끼리 묶어 제1그룹으로 분류하고 원을 나타내는 특징점을 구비하는 3개의 객체끼리 묶어 제2그룹으로 분류할 수 있다. 그룹별로 분류시에 각 그룹에 포함된 객체의 수량이 카운트(count)될 수 있다. 이때, 하나의 그룹에 포함되는 객체는 모두 동일할 수 있다.
이미지 분석 모듈(130)은 하나 이상의 객체가 분류된 그룹 별로 그룹에 포함된 객체의 종류를 인식할 수 있다. 각 그룹에는 하나의 종류의 객체만이 포함될 수 있다. 이미지 분석 모듈(130)은 다양한 방법을 통해서 객체를 인식할 수 있으며, 예컨대 SVM(Support Vector Machine) 또는 NN(Neural Networks)와 같은 알고리즘을 통해서 객체의 종류를 인식할 수 있다.
객체의 종류를 인식한다 함은 예컨대 객체의 이름 및/또는 객체가 어떤 물건인지에 대해서 알아내는 것을 의미할 수 있다. 예컨대, 객체가 의약품인 경우 의약품의 이름을 알아내거나 의약품이 어떤 의약품인지에 대해서 알아낼 수 있다. 이때, 이미지 분석 모듈(130)은 기존에 각각의 의약품에 대한 정보를 저장하고 있는 데이터를 참조할 수 있다. 의약품에 대한 정보라 함은 의약품의 이미지와 이름 등을 함께 저장하고 있는 데이터일 수 있다. 따라서, 객체 확인 시스템(100)에 확인되어야 하는 객체의 이미지와 기존 데이터를 비교하여 해당 객체와 동일한 이미지를 가지는 의약품을 상기 기존 데이터로부터 찾아 해당 객체의 종류, 예컨대 이름을 찾아낼 수 있다.
SVM은 주어진 데이터를 가장 잘 구분할 수 있는 하이퍼플레인(hyperplane)을 찾아내는 알고리즘으로서 데이터들 중 서로 다른 클래스(class) 사이의 경계에 위치한 서포트 벡터(support vector)만을 이용한다.
NN은 에너지(energy)를 통해 정의된 라이클리후드(likelihood)를 최대화하고 에러(error)를 최소화하는 방향으로 가중치(weight)를 학습하는 알고리즘으로서 모든 데이터를 사용하여 레이어(layer) 사이의 가중치 행렬(weight matrix)를 모두 학습한다.
이때, 객체 종류 인식을 위한 알고리즘의 실행시 교사 방법(supervised method), 비교사 방법(unsupervised method) 그리고 반교사 방법(semi-supervised method)이 적용될 수 있다.
교사 방법은 데이터가 정답과 함께 제공될 때 학습을 수행하는 방식이고 비교사 방법은 정답이 없는 경우 데이터만을 가지고 학습을 수행하는 방식이다. 예컨대, A라는 약품의 이미지(데이터)와 해당 약품의 이름(정답)을 사용하여 학습이 수행되는 경우 교사 방법이다. 대조적으로, A라는 약품의 이미지(데이터)만을 가지고 다른 이미지들과의 차이점을 자동으로 찾아내어 학습하는 경우 비교사 방법이다. 반교사 방법은 전체 데이터들 중 일부 데이터만 정답이 존재하는 경우 해당 일부 데이터의 정답을 참고하여 나머지 정답이 없는 데이터들을 학습하는 방식이다.
객체 종류 인식을 위한 알고리즘의 학습이 교사 방법 또는 반교사 방법에 따라 이루어지는 경우라면 학습용 데이터는 본 발명의 실시형태에 따른 객체 확인 시스템(100)에 포함된 촬상 소자(121, 122)로부터 촬영된 이미지를 이용함으로써 인식률이 안정적으로 달성될 수 있다.
이상에서 살펴본 바와 같이, 이미지 분석 모듈(130)은 객체 확인 시스템(100)의 타겟이 되는 하나 이상의 객체에 포함되는 객체의 종류 및 수량을 인식할 수 있다.
스크린(140)은 이미지 분석 모듈(130)로부터 획득된 결과를 전달받아 객체 확인 시스템(100)에서 확인되어야 하는 타겟인 하나 이상의 객체의 종류 및 각 종류별 수량을 디스플레이할 수 있다. 즉, 스크린(140)은 이미지 분석 모듈(130)의 처리 결과 출력 화면일 수 있다.
사용자는 스크린(140)을 통해 객체 확인 시스템(100)에 확인을 위해 들어간 하나 이상의 객체의 종류 및 수량을 확인할 수 있다. 예컨대, 약사 또는 환자는 스크린(140)에 표시된 의약품의 종류와 수량을 환자의 처방전에 표시된 의약품의 종류와 수량과 비교함으로써 최종적으로 환자에게 제공될 의약품의 구성을 체크할 수 있다.
도2는 본 발명의 실시형태에 따른 객체 확인 방법의 흐름도이다. 예컨대, 본 발명의 실시형태에 따른 객체 확인 시스템(100)을 통한 객체 확인 방법은 기판(110)을 통해 하나 이상의 객체를 시스템(100) 내부로 이동하는 단계(S210)를 포함할 수 있다. 객체 확인 시스템(100) 내부로 이동된 하나 이상의 객체에 대해서 촬상 소자(121, 122)를 통해서 이미지가 촬영되는 단계(S220)가 수행될 수 있다. 이후, 이미지 분석 모듈(130)은 이미지를 통해 상기 하나 이상의 객체마다 특징점을 추출하는 단계(S230)를 수행하고 동일한 특징점을 구비하는 객체끼리 묶어 그룹별로 분류하는 단계(S240)를 수행할 수 있다. 이미지 분석 모듈(130)은 그룹마다 포함된 객체의 종류를 인식하는 단계(S250)를 수행할 수 있다. 이미지 분석 모듈(130)로부터 획득된 객체의 종류와 수량을 스크린(140)을 통해 디스플레이하는 단계(S260)가 수행될 수 있다. 확인이 완료된 하나 이상의 객체는 기판(110)을 통해 시스템(100) 외부로 이동될 수 있으며(S270), 이상의 단계는 반복적으로 수행될 수 있다.
또한, 도2를 참조하여 설명된 객체 확인 방법의 각 단계에 대한 구체적인 설명은 도1을 참조한 객체 확인 시스템(100)에 대한 설명으로부터 확인할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 객체 확인 시스템
110: 기판
121, 122: 촬상 소자
130: 이미지 분석 모듈
140: 스크린

Claims (4)

  1. 기판 상에 위치한 하나 이상의 객체의 이미지를 촬영하는 적어도 두 개 이상의 촬상 소자;
    상기 하나 이상의 객체를 분류하고 각각의 분류된 객체의 종류 및 수량을 인식하는 이미지 분석 모듈: 및
    상기 하나 이상의 객체의 종류 및 각 종류별 수량을 디스플레이하는 스크린을 포함하는,
    객체 확인 시스템.
  2. 제1항에 있어서,
    상기 이미지 분석 모듈은 상기 이미지를 통해서 상기 하나 이상의 객체 중 동일한 특징점을 구비한 객체끼리 그룹을 형성하는,
    객체 확인 시스템.
  3. 제1항에 있어서,
    상기 이미지 분석 모듈은 SVM(support vector machine) 또는 NN(Neural Networks)을 통해 상기 그룹 각각에 포함된 객체의 종류를 인식하는,
    객체 확인 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 하나 이상의 객체는 상기 기판을 통해 상기 객체 확인 시스템의 내부 및 외부로 이동하는,
    객체 확인 시스템.
KR1020130134819A 2013-11-07 2013-11-07 객체 확인 시스템 KR20150053075A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130134819A KR20150053075A (ko) 2013-11-07 2013-11-07 객체 확인 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130134819A KR20150053075A (ko) 2013-11-07 2013-11-07 객체 확인 시스템

Publications (1)

Publication Number Publication Date
KR20150053075A true KR20150053075A (ko) 2015-05-15

Family

ID=53389760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130134819A KR20150053075A (ko) 2013-11-07 2013-11-07 객체 확인 시스템

Country Status (1)

Country Link
KR (1) KR20150053075A (ko)

Similar Documents

Publication Publication Date Title
Tan et al. Comparison of RetinaNet, SSD, and YOLO v3 for real-time pill identification
US20240169564A1 (en) Tracking Surgical Items With Prediction Of Duplicate Imaging Of Items
Tan et al. Comparison of yolo v3, faster r-cnn, and ssd for real-time pill identification
AU2018204543B2 (en) Automated Pharmaceutical Pill Identification
US9672409B2 (en) Apparatus and computer-implemented method for fingerprint based authentication
US20190236614A1 (en) Artificial intelligence counterfeit detection
Kao et al. Visual aesthetic quality assessment with a regression model
Durga et al. A ResNet deep learning based facial recognition design for future multimedia applications
US20170351905A1 (en) Learning model for salient facial region detection
Kim et al. A data driven approach to cervigram image analysis and classification
Alonso‐Fernandez et al. Facial masks and soft‐biometrics: Leveraging face recognition CNNs for age and gender prediction on mobile ocular images
Gwon et al. Robust eye and pupil detection method for gaze tracking
KR101834782B1 (ko) 약품 검색 장치 및 방법
Hossain et al. Facial expression recognition based on active region of interest using deep learning and parallelism
Hatua et al. Early detection of diabetic retinopathy from big data in hadoop framework
Cheng et al. An automatic segmentation and classification framework for anti-nuclear antibody images
JP6547626B2 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム
Yang et al. Ddanet: Dual-path depth-aware attention network for fingerspelling recognition using rgb-d images
Masaki et al. Distant traffic light recognition using semantic segmentation
KR20150053075A (ko) 객체 확인 시스템
Haroon et al. Human hand gesture identification framework using SIFT and knowledge‐level technique
un Park et al. The Design and Implementation of Medicine Recognition System Using the TensorFlow Lite
KR102550769B1 (ko) 인공지능을 이용한 의약품 오토 레이블링 방법 및 장치
US11823488B1 (en) System for training embedding network
Amirgaliyev et al. Pedestrian detection algorithm for overlapping and non-overlapping conditions

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20131107

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141030

Patent event code: PE09021S01D

PG1501 Laying open of application
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20150528

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20141030

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20150629

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20150528

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Appeal identifier: 2015101003683

Request date: 20150629

J301 Trial decision

Free format text: TRIAL NUMBER: 2015101003683; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20150629

Effective date: 20160930

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20160930

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20150629

Decision date: 20160930

Appeal identifier: 2015101003683