KR102587911B1 - 가상 의류시스템의 활용을 위한 인체 이미지 획득 방법 및 이를 위한 애플리케이션 프로그램 - Google Patents

가상 의류시스템의 활용을 위한 인체 이미지 획득 방법 및 이를 위한 애플리케이션 프로그램 Download PDF

Info

Publication number
KR102587911B1
KR102587911B1 KR1020220094174A KR20220094174A KR102587911B1 KR 102587911 B1 KR102587911 B1 KR 102587911B1 KR 1020220094174 A KR1020220094174 A KR 1020220094174A KR 20220094174 A KR20220094174 A KR 20220094174A KR 102587911 B1 KR102587911 B1 KR 102587911B1
Authority
KR
South Korea
Prior art keywords
shooting
guide
silhouette
camera
subject
Prior art date
Application number
KR1020220094174A
Other languages
English (en)
Other versions
KR20230052806A (ko
Inventor
박주연
김현욱
김서우
조예성
이소현
박용철
이재원
Original Assignee
호전실업 주식회사
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호전실업 주식회사, 서울대학교 산학협력단 filed Critical 호전실업 주식회사
Publication of KR20230052806A publication Critical patent/KR20230052806A/ko
Application granted granted Critical
Publication of KR102587911B1 publication Critical patent/KR102587911B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

가상 의류시스템의 활용을 위한 인체 이미지 획득 방법이 개시된다. 이 방법은 피사체의 적어도 키와 몸무게 정보를 포함하는 기본정보를 입력받아 저장하고, 설정된 촬영조건에 관한 가이드를 출력한다. 카메라에 포착된 피사체의 이미지가 상기 설정된 촬영조건을 충족하는지 여부를 판별하여, 그 촬영조건이 충족된 것으로 판단될 때, 카메라의 촬영 기능을 활성화시켜 설정된 촬영모드에 따라 피사체가 촬영되도록 한다. 카메라에 의해 촬영된 피사체의 이미지 데이터를 제공받아 저장한다.

Description

가상 의류시스템의 활용을 위한 인체 이미지 획득 방법 및 이를 위한 애플리케이션 프로그램 {Human body image acquisition method for use of virtual clothing system and application program therefor}
본 발명은 의류 관련 기술분야에 관한 것으로, 보다 상세하게는 가상 의류시스템 활용에 필요한 인체의 이미지를 정확하게 획득하기 위한 기술에 관한 것이다.
제4차 산업혁명 시대의 도래로 온라인 플랫폼으로의 접근이 각광받고 있다. 특히, 패션 분야에 있어서, 온라인 환경에서 의복을 착용하는 개인의 인체 사이즈를 손쉬우면서도 정확하게 획득하는 방법에 대한 고안이 필요한 실정이다.
인체 치수를 획득하기 위한 방법 중 소비자의 상황을 고려할 때, 1) 사진을 촬영하여 입력하고, 2) 알고리즘을 통해 추출 하는 방법은 간편하며 카메라를 가진 누구나 활용 가능하다는 장점이 있다. 그러나 인공지능(artificial intelligence: AI)을 이용한 알고리즘 설계에 있어 동일 조건에서 입력 데이터를 수집하는 것은 매우 중요하다. 왜곡된 데이터가 입력 데이터로 주어지는 경우, AI 기반 인체 사이즈의 예측의 정확도가 떨어진다. 예컨대 카메라로 인체를 촬영 시, 카메라의 촬영각도가 변함에 따라 인체 비율도 변하게 된다. 또한 카메라의 촬영높이, 카메라와 피사체인 인체 간의 거리에 따라 촬영된 인체 사진의 결과가 달라진다. 따라서 인체를 잘 촬영하여 촬영 이미지의 왜곡을 최소화하여 인체 사이즈에 대한 정확한 데이터를 획득할 필요가 있다. 또한, 인체에 대한 촬영 이미지로부터 인체 사이즈를 정확하게 추정하려면 신경망 기반 학습에 사용될 많은 양의 촬영 이미지와 실제 신체 계측 데이터를 입력 데이터로 확보할 필요가 있다. 이를 위해서는 카메라 전문가가 아닌 일반 사용자 누구나 용이하게 최적 조건으로 신체에 대한 정확한 촬영을 할 수 있도록 하는 것이 중요하다. 누가 촬영하든 촬영된 인체 이미지들의 품질이 균일하게 유지되는 것도 중요하다. 그럼에도 불구하고 이러한 요구들을 만족시킬 수 있고 정제된 인체 이미지 데이터를 획득할 수 있는 기술은 잘 알려져 있지 않은 실정이다.
본 발명의 일 목적은 AI를 활용한 알고리즘 설계 과정에서 더 고도화 되고 정밀한 결과물을 위한 기초 연구로서, 일반적인 환경에서 왜곡이 최소화된 이미지를 촬영할 수 있는 정확한 촬영 조건을 탐색하고, 이를 바탕으로 왜곡 없는 정확한 인체 이미지 획득을 위한 방법과 이를 위한 애플리케이션 프로그램을 제공하는 것이다.
본 발명의 다른 목적은 카메라 사용자에 상관없이 누구나 최적의 조건에 맞춘 정확한 사진 촬영을 하여 촬영된 이미지를 저장할 수 있게 하는 인체 이미지 획득을 위한 방법과 이를 위한 애플리케이션 프로그램을 제공하는 것이다.
또한, 본 발명의 다른 목적은 사용자 스스로 조건을 충족시켜 손쉽게 전신사진 촬영을 하여 저장할 수 있게 하는 인체 이미지 획득을 위한 방법과 이를 위한 애플리케이션 프로그램을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 일정한 품질의 사진을 추출할 수 있도록 보조하는 인체 이미지 획득을 위한 방법과 이를 위한 애플리케이션 프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 상술한 과제들에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
상기 본 발명의 일 목적을 실현하기 위한 실시예들에 따른 인체 이미지 획득 방법은 카메라와 통신가능하게 연결된 컴퓨팅 장치, 피사체의 적어도 키와 몸무게 정보를 포함하는 기본정보를 입력받아 저장하는 단계; 설정된 촬영조건에 관한 가이드를 출력하는 단계; 카메라에 포착된 피사체의 이미지가 상기 설정된 촬영조건을 충족하는지 여부를 판별하는 단계; 상기 촬영조건이 충족된 것으로 판단될 때, 상기 카메라의 촬영 기능을 활성화시켜 설정된 촬영모드에 따라 피사체가 촬영되도록 하는 단계; 및 상기 카메라에 의해 촬영된 피사체의 이미지 데이터를 제공받아 저장하는 단계를 포함한다.
예시적인 실시예에 있어서, 상기 촬영조건에 관한 가이드는 촬영용 의복, 상기 카메라와 피사체 간의 이격거리로 정의되는 촬영거리, 피사체가 딛고 서있는 바닥면으로부터 상기 카메라의 높이로 정의되는 촬영높이, 그리고 수평면을 기준으로 카메라 렌즈의 주시방향의 각도로 정의되는 촬영각도, 그리고 촬영자세(pose)에 관한 가이드를 포함할 수 있다.
예시적인 실시예에 있어서, 상기 설정된 촬영조건은 2.5m 이상 4m 이하의 범위 내에서 정해지는 촬영거리, 75cm 이상 125cm 이하의 범위 내에서 정해지는 촬영높이, 카메라의 주시방향이 수평면을 기준으로 -5°이상 5°이하의 범위 내에서 정해지는 촬영각도에 관한 조건을 포함할 수 있다.
예시적인 실시예에 있어서, 상기 인체 이미지 획득 방법은 자동 촬영모드와 수동 촬영모드 중 어느 하나를 선택할 수 있는 촬영모드선택버튼을 포함하는 UI를 제공하여 사용자의 선택에 따라 촬영모드를 설정하는 단계를 더 포함할 수 있다.
예시적인 실시예에 있어서, 상기 판별하는 단계는 가이드 실루엣을 디스플레이 화면에 표시되게 하고, 사용자로 하여금 카메라에 의해 포착된 피사체 이미지가 상기 가이드 실루엣 안에 맞춰지도록 자세를 취할 수 있도록 유도하는 단계를 포함할 수 있다.
예시적인 실시예에 있어서, 피사체와 카메라 간의 실제 촬영거리가 설정된 촬영거리 조건을 만족하는지 여부는 가이드 실루엣을 피사체와 겹쳐놓았을 때 상기 가이드 실루엣에 대한 피사체의 크기를 비교하여 판단하고, 피사체에 대한 카메라의 실제 촬영높이가 설정된 촬영높이 조건을 만족하는지 여부는 상기 가이드 실루엣을 피사체와 겹쳐놓았을 때 피사체의 위치를 비교하여 판단할 수 있다.
예시적인 실시예에 있어서, 상기 카메라의 피사체에 대한 촬영거리가 3m일 때의 가이드 실루엣을 내포하는 제1 가이드 실루엣 박스와 상기 촬영거리가 4m일 때의 가이드 실루엣을 내포하는 제2 가이드 실루엣 박스가 동심 배치된 상태에서, 상기 카메라로 촬영된 피사체 이미지의 머리, 몸통, 발의 경계선이 상기 제1 가이드 실루엣 박스와 상기 제2 가이드 실루엣 박스 사이에 들어왔을 때, 상기 촬영거리와 촬영높이에 관한 촬영조건이 만족되는 것으로 판단할 수 있다.
예시적인 실시예에 있어서, 상기 가이드 실루엣은 표준 사이즈의 인체의 테두리를 딴 모양의 인체 가이드 실루엣일 수 있다.
예시적인 실시예에 있어서, 상기 가이드 실루엣은 적어도 인체의 머리와 발은 면적을 가지도록 표시되고 팔과 다리 및 몸통은 선으로 표시된 스켈레톤 타입 가이드 실루엣일 수 있다.
예시적인 실시예에 있어서, 상기 카메라에 의해 포착된 피사체의 이미지에서 머리와 발이 상기 스켈레톤 타입 가이드 실루엣의 머리 영역과 발 영역 내에 위치할 때, 상기 촬영거리와 촬영높이에 관한 촬영조건이 만족되는 것으로 판단할 수 있다.
예시적인 실시예에 있어서, 상기 스켈레톤 타입 가이드 실루엣의 전체 높이는 상기 카메라의 이미지 프레임의 높이의 65% 이상 70% 이하의 범위 내일 수 있다.
예시적인 실시예에 있어서, 상기 스켈레톤 타입 가이드 실루엣의 중심은 상기 카메라의 이미지 프레임의 중앙에서 위쪽으로 2%-4% 범위 내에 위치할 수 있다.
예시적인 실시예에 있어서, 위에서 기재된 인체 이미지 획득 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 실행가능 프로그램이 제공될 수 있다.
본 발명의 예시적인 실시예들에 따르면, 일반적인 환경에서 왜곡이 최소화된 이미지를 촬영할 수 있는 정확한 촬영 조건을 탐색하고 최적의 촬영 조건을 제시할 수 있다. 또한 이를 기반으로 구현되는 애플리케이션 프로그램은 인체 치수획득을 위한 온라인 플랫폼에 활용되어 소비자로 하여금 인체 계측 없이 2D 이미지 촬영만으로 자신의 인체 치수를 획득할 수 있도록 해줄 수 있다. 정확한 촬영조건에 부합할 때에만 촬영되므로 인체 치수의 측정 정확도가 향상될 수 있다. 따라서 본 발명은 사진 촬영에 전문적인 지식이 없는 일반 사용자가 자신의 신체 사이즈를 정확하게 획득하여 자신의 신체 사이즈에 잘 맞는 의복을 선택할 수 있도록 지원할 수 있다.
도 1은 본 발명의 예시적인 실시예에 따라 최적의 촬영 조건을 탐색하기 위한 테스트 촬영의 조건을 도식적으로 나타낸다.
도 2는 촬영거리와 촬영높이가 각각 3m와 100cm인 조건에서, 촬영각도가 -10°, -5°, 0°, 5°로 변할 때 인체 실루엣의 변화를 보여준다.
도 3은 촬영각도에 따른 젖가슴, 허리, 엉덩이 높이 변화를 나타낸다.
도 4는 본 발명의 예시적인 실시예에 따른 인체 이미지 획득 시스템의 구성을 예시한다.
도 5는 본 발명의 예시적인 실시예에 따른 애플리케이션 프로그램이 인체 사진 촬영을 사용자 인터페이스(UI)를 통해 지원하는 절차를 나타내는 흐름도이다.
도 6은 도 5의 흐름도에 표시된 각 단계의 구체적인 처리 내용을 보여준다.
도 7은 기본 정보 입력 화면을 예시한다.
도 8은 촬영복에 관한 가이드 화면을 예시한다.
도 9는 촬영거리에 관한 가이드 화면을 예시한다.
도 10은 촬영높이에 관한 가이드 화면을 예시한다.
도 11은 촬영각도에 관한 가이드 화면을 예시한다.
도 12는 도 6에서의 정면 자동 촬영 단계의 구체적인 실행 절차를 보여준다.
도 13은 사용자가 자동 촬영 모드로 자신의 신체를 정면에서 촬영하는 페이지를 예시한다.
도 14는 인체 정면에 관한 가이드 실루엣 박스를 예시한다.
도 15는 사용자가 자동 촬영 모드로 자신의 신체를 측면에서 촬영하는 페이지를 예시한다.
도 16은 촬영모드의 인체 측면 모양 가이드 실루엣 박스들을 예시한다.
도 17은 사용자가 직접 수동촬영모드로 자신의 신체를 정면과 측면에서 각각 촬영하는 절차를 도시한다.
도 18과 도 19는 수동촬영모드로 신체의 정면과 측면을 촬영하는 페이지를 예시한다.
도 20은 사진 촬영 시 촬영 에러가 발생한 경우 표시되는 에러 페이지를 예시한다.
도 21은 촬영된 사진을 확인할 수 있는 화면을 예시한다.
도 22는 본 발명의 다른 실시예에 따른 스켈레톤 타입의 정면 및 측면 가이드 실루엣을 예시한다.
도 23은 인체의 각 영역이 스켈레톤 타입의 가이드 실루엣 내에 올바르게 위치하였는지 여부를 스켈레톤의 색상으로 나타낸 도면이다.
도 24는 촬영거리에 관한 조건과 스켈레톤 타입의 가이드 실루엣의 크기의 관계를 설명하기 위한 도면이다.
도 25는 촬영높이에 관한 조건과 스켈레톤 타입의 가이드 실루엣의 위치의 관계를 설명하기 위한 도면이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
예시적인 실시예에서, 최적의 신체 촬영 조건을 구하기 위한 테스트 촬영을 수행할 수 있다. 구체적으로, 다양한 조건에서의 2D 이미지를 분석하기 위하여, 일예로 다수의 20대 - 30대 여성들을 대상으로 촬영을 진행할 수 있다. 촬영 전, 측정 조건에 따른 2D 이미지의 인체의 비율파악을 위한 랜드마크를 피사체 인체에 부착한다. 그런 다음, 예컨대 마틴 측정기를 이용하여 인체의 각 부위에 대한 랜드마크 부착지점을 이용하여 인체의 각 부위의 치수에 대하여 직접측정(예컨대, 마틴 측정기를 이용)을 실시하여 '직접측정 데이터'를 얻을 수 있다. 랜드 마크 부착위치는 목앞점, 어깨점, 젖꼭지점, 젖가슴아래점, 허리옆점, 엉덩이돌출점, 무릎뼈가운데점, 가쪽복사점, 머리마루점을 포함할 수 있다.
인체 촬영에 사용할 수 있는 카메라는 디지털 이미지를 출력으로 생성할 수 있는 디지털 카메라이며 다른 특별한 제한은 없으며, 예컨대 상용되는 다양한 디지털 카메라, 또는 휴대폰이나 다른 전자기기에 장착된 디지털 카메라 등을 사용할 수 있다. 후술하는 실제 촬영 테스트에서, 예컨대 I-phone11 모델과 Galaxy note 20 모델의 두 종류의 휴대폰 카메라가 사용되었다.
도 1은 본 발명의 예시적인 실시예에 따라 최적의 촬영 조건을 탐색하기 위한 테스트 촬영의 조건을 도식적으로 나타낸다.
촬영 조건은 카메라와 피사체(인체) 간에 떨어진 거리(촬영거리), 피사체가 딛고 서있는 바닥면으로부터 카메라(렌즈)의 높이(촬영높이), 수평면을 기준으로 카메라 렌즈의 주시방향의 각도(촬영각도)를 포함할 수 있다. 도 1을 참조하면, 실제 촬영 테스트에서, 촬영거리는 2m, 2.5m, 3m의 세 가지를 적용하였고, 촬영높이는 75cm, 100cm, 125cm의 세 가지를 적용하였으며, 촬영각도는 -10°, -5°, 0°, 5°, 10°의 다섯 가지를 적용하였다. 이들 3가지 촬영조건 요소들의 각 값들을 조합하면 45가지의 측정(촬영) 조건이 얻어질 수 있다. 각 측정(촬영) 조건에서 정면, 측면, 후면의 2D이미지를 촬영할 수 있다.
일예로, 45개의 측정 조건 중, 피사체의 '목앞점-가쪽복사점'이 화면 안에 위치한 22가지 조건에서 측정된 데이터만을 분석에 사용할 수 있다. 측정된 신체 치수에 대응하여, 촬영된 2D 이미지로부터 신체 치수 데이터를 추출할 수 있다. 일 실시예에서, 신체 치수 데이터의 추출은 2D 이미지 데이터에서 치수 산출 대상인 각 신체 부위별 높이와 두께, 너비를 측정한 후, 동일 기준의 크기(예: 목앞높이-가쪽복사높이)로 환산하는 방식으로 이루질 수 있다. 이렇게 추출된 '이미지 기반 계측 데이터'를 소정의 검증 프로그램을 이용하여 검증할 수 있다. 그 검증 프로그램의 예로는 SPSS 25.0 프로그램을 들 수 있다. SPSS 25.0 프로그램을 실행하여 비모수적 양측 검정을 이용하면 95% 신뢰수준에서 분석할 수 있다.
먼저, 실제 촬영에 사용된 2종의 휴대폰 카메라 즉, I-phone11 모델과 Galaxy note 20 모델의 카메라들 간의 유의차(significant difference)를 확인하고 조건별 촬영 데이터 분석을 수행할 수 있다. 그 분석에 따르면, 2종의 휴대폰 카메라 사이에는 95% 수준에서 통계적으로 유의한 차이(significant difference)가 발견되지 않았다. 이는 그 2종의 휴대폰 카메라로 촬영된 이미지들을 구별하지 않고 사용할 수 있음을 의미한다. 휴대폰 카메라로 촬영된 이미지로부터 추출된 신체 치수 데이터('이미지 기반 계측 데이터')와 인체 사이즈를 직접 측정하여 얻은 신체 치수 데이터('직접 측정 데이터')와의 비교 분석에는 두 종류의 휴대폰 카메라에서 얻어진 이미지 기반 계측데이터를 분류하지 않고 비교분석에 사용하였다.
비교 분석에 따르면, 촬영거리, 촬영높이, 촬영각도 중 가장 큰 결과를 나타낸 조건은 촬영각도였다. 특히, 높이 항목에서 큰 차이를 나타냈다.
구체적으로, 휴대폰 2종의 촬영데이터로부터 얻은 이미지 기반 계측 데이터와 직접 측정 데이터를 비교 분석한 결과, 높이항목은 0.05 수준에서, 너비·두께 항목은 0.01 수준에서 이미지 기반 계측 데이터와 직접측정 데이터 간 유의차가 나타나지 않는 조건이 확인되었다.
22가지 전 조건에서, 높이항목 중 목앞점높이, 어깨높이, 젖가슴높이, 허리높이는 대체적으로 이미지 기반 계측 데이터와 직접측정 데이터 사이의 유의차가 없었다. 그러나 엉덩이높이, 샅높이 및 무릎높이의 경우 촬영각도 -10°, -5°의 조건에서는 이미지 기반 계측 데이터와 직접측정 데이터 사이에 유의차를 나타냈다. 이는 75cm-125cm의 촬영높이에서 각도 -10°, -5° 인 경우, 상반신의 높이보다 하반신의 높이에 큰 왜곡이 나타날 수 있다는 것을 의미한다.
도 2는 촬영거리와 촬영높이가 각각 3m와 100cm인 조건에서, 촬영각도가 -10°, -5°, 0°, 5°로 변할 때 즉, 밑으로 내려다보는 방향에서 점점 위로 올려다보는 방향으로 촬영하였을 때 인체 실루엣의 변화를 보여준다.
또한, 도 3은 촬영각도에 따른 젖가슴, 허리, 엉덩이 높이 변화를 나타낸다. 즉, 촬영각도가 -10°, -5°, 0°, 5°로 변할 때 젖가슴, 허리, 엉덩이의 높이 또한 증가하는 추세를 보인다. 높이는 피사체 인체의 발목 높이를 기준으로 측정한 값(단위: cm)이다.
의복의 맞음새와 큰 관련성을 가지는 인체 부위는 토르소 부분이다. 그 토르소 부분을 살펴보면, 토르소를 구성하는 목앞, 가슴, 허리, 엉덩이, 샅점 사이의 측정치가 조건에 따라 다양한 결과 값을 보였다. 그러나 토르소 길이(목앞점높이-샅높이)를 기준으로 나눈 비율은 몇 가지 조건을 제외하고는 이미지 기반 계측 데이터와 직접측정 데이터 간 유의차를 나타내지 않았다.
아래 표 2는 각 조건별 주요 높이 항목의 이미지 기반 계측 데이터와 직접측정 데이터 간의 유의차를 비교한 것을 정리한 것이다.
조건에 따라 이미지 기반 계측 데이터와 직접측정 데이터 간에 가장 큰 차이가 나타나는 경우는 너비와 두께였다. 0.01수준에서 이미지 기반 계측 데이터와 직접측정 데이터 간 유의차가 나타난 경우는 각도 -10°에 해당하는 경우에서 가장 많이 나타났으며, 각도 0°, 5°에서는 모든 경우에서 유의차를 나타내지 않았다. 이는 인체의 돌출된 부위가 각 조건(촬영거리, 촬영높이, 촬영각도)에 따라 다르게 촬영되었기 때문일 것으로 추정된다.
이상의 실험을 통해 얻은 결과에 따르면, 가장 왜곡 없는 이미지를 획득할 수 있는 최상의 촬영 조건은 다음 두 가지 경우라고 할 수 있다: (i) 촬영거리 3m, 촬영높이 100cm, 촬영각도 0°인 경우와, (ii) 촬영거리 3m, 촬영높이 125cm, 촬영각도 0°인 경우. 제시된 촬영높이에서 촬영이 불가능할 경우, 상기 동일 조건에서 촬영높이는 75cm 이상 125m 이하의 범위 내에서 적절히 조정할 수 있다. 그 범위의 촬영높이에서는 100m의 촬영높이에서 촬영한 것과 유사한 결과를 얻을 수 있다. 또한, 촬영 공간이 협소할 경우, 촬영거리는 2.5m, 촬영높이는 100cm 에서 촬영을 진행하더라도 최적의 조건과 유사한 결과를 얻을 수 있다. 촬영거리는 3m보다 정도 더 길어도 최적의 조건과 유사한 결과를 얻을 수 있는데, 후속 실험을 통해 대략 4m까지는 그러함을 확인하였다. 즉, 촬영거리는 2.5m 이상 4m 이하의 범위 내에서 정해질 수 있다. 촬영각도는 세 가지 촬영 조건 중 인체의 왜곡에 가장 큰 영향을 미치는 요소이다. 촬영각도는 0°에서 촬영하는 것이 가장 적합하며, 추가적인 실험을 통해 확인한 바에 의하면 -5°이상 5°이하의 범위까지는 수용할 수 있는 품질 수준의 이미지를 촬영할 수 있다.
다음으로, 도 4는 본 발명의 예시적인 실시예에 따른 인체 이미지 획득 시스템의 구성을 예시한다.
도 4를 참조하면, 인체 이미지 획득 시스템(50)은 인체(10)를 촬영하는 카메라(20)와, 그 카메라(20)와 데이터 통신 가능하게 연결된 이미지 처리부(30)를 포함할 수 있다. 이미지처리부(30)는 통신부(31), 프로세서부(32), 저장부(34), 디스플레이부(36)를 포함하는 컴퓨팅 장치일 수 있다. 오디오출력부(38)를 더 포함할 수 있다. 통신부(31)는 프로세서부(32)와 카메라(20) 간의 데이터 통신을 지원할 수 있다. 프로세서부(32)는 본 발명의 예시적인 실시예에 따른 인체 이미지 획득 방법을 수행하기 위한 애플리케이션 프로그램(40)을 실행하여 그 애플리케이션 프로그램(40)이 지시하는 여러 가지 명령들을 수행하기 위한 처리를 하여 인체 이미지를 획득할 수 있다. 또한, 저장부(34)는 프로세서부(32)와 연결되어 프로세서부(32)가 지시하는 데이터 등의 저장공간을 제공할 수 있다. 디스플레이부(36)는 프로세서부(32)와 연결되어 상호작용을 통해 후술하는 사용자 인터페이스(User Interface: UI) 화면을 출력하고 그 UI 화면을 통해 사용자가 입력하는 정보를 받아들여 프로세서부(32)로 제공할 수 있다. 오디오출력부(38)는 프로세서부(32)가 제공하는 오디오 데이터를 음성으로 출력할 수 있다.
이미지 처리부(30)는 범용의 컴퓨터 장치이거나 본 발명 전용의 프로세서장치로 구현될 수 있고, 카메라(20)는 일반적인 범용 디지털 카메라일 수 있다. 이미지 처리부(30)의 하드웨어와 디지털 카메라는 통신케이블로 연결될 수 있다. 인체 이미지 획득 시스템(50)의 하드웨어의 다른 예로는 이미지 처리부(30)의 기능을 수행할 수 있는 컴퓨팅 자원들과 카메라를 함께 내장하고 있는 스마트폰 장치일 수 있다. 이 경우, 애플리케이션 프로그램(40)은 스마트폰용 앱으로 만들어져 스마트폰에서 실행될 수 있다.
예시적인 실시예에서, 애플리케이션 프로그램(40)은 프로세서부(32)에서 실행되어 그 프로세서부(32)로 하여금 통신부(31), 저장부(34), 디스플레이부(36), 오디오 출력부(38) 등을 통해 사용자가 카메라(20)로 인체를 자동모드 또는 수동모드로 촬영할 수 있고, 촬영된 이미지를 저장할 수 있게 지원하는 여러 가지 기능들을 제공할 수 있다. 이 때, 애플리케이션 프로그램(40)은 위에서 언급한 최적의 촬영 조건을 정확하고 용이하게 만족시키면서 촬영이 이루어질 수 있도록 지원하는 기능들을 제공할 수 있다. 예컨대, 애플리케이션 프로그램(40)은 촬영 가이드라인을 제공하는 기능, 최적 촬영조건 충족 여부 판별 기능, 최적 촬영조건 충족 시 촬영 기능, 촬영된 사진 이미지를 휴대폰 내 사진 앨범에 저장하는 기능 등을 주요 기능으로 포함할 수 있다.
애플리케이션 프로그램(40)은 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다. 이의 예로는 저장부(34) 또는 휴대용 비휘발성 메모리에 저장되거나, 또는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장될 수 있다.
애플리케이션 프로그램(40)은 사용자 인터페이스(User Interface: UI) 모듈을 포함할 수 있다. 애플리케이션 프로그램(40)의 UI 모듈은 사용자가 직접 자동 또는 수동으로 인체 사진을 촬영하는 것을 지원하기 위한 여러 가지 화면을 디스플레이부(36)를 통해 제공할 수 있다. 예컨대, UI 모듈은 (i) 촬영복 조건, (ii) 촬영거리· 촬영높이· 촬영각도 조건, (iii) 촬영자세 조건에 관한 가이드용 UI화면을 디스플레이부(36) 또는 디스플레이부(36) 및 오디오 출력부(38)를 통해 제공하는 기능을 포함할 수 있다. 나아가, 애플리케이션 프로그램(40)의 UI 모듈은 가이드된 여러 가지 촬영 조건이 모두 만족할 때, 사진 촬영을 자동 모드 또는 수동 모드로 실행할 수 있는 가이드용 UI 화면을 제공하고, 그렇게 촬영된 인체 이미지들이 저장부(34)에 저장되도록 하는 기능을 포함할 수 있다.
일 실시예에 따른 애플리케이션 프로그램(40)은 앞서 분석한 실제 인체 비율과 형태의 변화가 없는 촬영 조건(3m, 100cm, 0°/ 3m, 125cm, 0°)을 기본으로 적합한 거리, 각도, 조건에 해당될 경우에만 촬영기능이 자동으로 활성화 되도록 구성될 수 있다. 애플리케이션 프로그램(40)은 일예로서 사진 촬영 애플리케이션 프로그램으로 만들어질 수 있다.
도 5는 본 발명의 예시적인 실시예에 따른 애플리케이션 프로그램이 인체 사진 촬영을 UI를 통해 지원하는 절차를 나타내는 흐름도이다. 도 6은 도 5의 흐름도에 표시된 각 단계의 구체적인 처리 내용을 보여준다.
도 5와 6을 참조하면, 애플리케이션 프로그램(40)이 프로세서부(32)에 의해 실행되면, 먼저 사용자가 기본정보를 입력할 수 있는 UI 화면을 디스플레이부(36)에 표시하고, 사용자가 그 UI 화면을 통해 입력한 기본 정보를 읽어 들여 저장부(34)에 저장되도록 할 수 있다(S10).
도 7은 기본 정보 입력 화면을 예시한다. 도 7을 참조하면, 사용자는 자신의 ID, 키, 몸무게, 나이 등을 기본정보로 직접 입력하고, Next 버튼을 누르면 된다. 설정된 키의 입력 범위(예: 100-210cm), 몸무게 입력 범위(예: 30-130kg) 내에서만 값의 입력을 허용하도록 할 수 있다. 적어도 키와 몸무게는 필수입력항목으로 하여, 이 두 항목이 모두 입력될 때 Next 버튼을 활성화하여 다음 페이지로 이동할 수 있다. 신체 사이즈 측정 알고리즘의 테스트 데이터 수집을 위해, 가슴둘레, 허리둘레, 엉덩이 둘레, 다리길이(인심), 어깨길이 등과 같은 추가 데이터의 입력이 필요할 수 있다.
다음으로, 촬영복, 촬영거리/촬영높이/촬영각도, 그리고 촬영자세(pose) 등과 같은 촬영조건에 관한 가이드(guide)를 출력할 수 있다(S20).
도 8은 촬영복에 관한 가이드 화면을 예시한다. 도 8을 참조하면, 촬영복 가이드에 관한 이미지를 보여주고, 팁(Tip) 박스 안의 예시 버튼이 클릭되었을 때 우측 화면과 같은 '촬영복 TIP' 창이 팝업될 수 있다. Next 버튼과 Back 버튼은 다음 화면과 이전 화면으로 이동하기 위한 버튼으로 제공될 수 있다. 촬영복은 몸매 라인이 드러나는 의복을 입고, 목선, 손목, 발목이 노출되며, 신발이나 액세서리를 착용하지 않은 것 등이 가이드로 제공될 수 있다.
도 9는 촬영거리에 관한 가이드 화면을 예시한다. 최적 촬영거리가 예컨대 2.5m 또는 다섯 걸음 이상이고, 배경은 민무늬 벽이어야 하며, 정면에는 신체를 가리는 사물이 없어야 한다는 등의 가이드가 제공될 수 있다.
도 10은 촬영높이에 관한 가이드 화면을 예시한다. 최적 촬영높이는 예컨대 75cm 또는 키의 1/2의 높이에 카메라가 위치되어야 한다는 등의 가이드가 제공될 수 있다.
도 11은 촬영각도에 관한 가이드 화면을 예시한다. 최적 촬영각도는 0도인 점등이 가이드될 수 있다. 이렇게 도 9 내지 도 11에 도시된 것과 같이, 촬영거리, 촬영높이, 촬영각도에 관한 가이드를 위한 예시 이미지와 설명 문구를 각각 보여주고 Next 버튼과 Back 버튼을 제공할 수 있다.
촬영 자세에 관한 가이드 화면에서는 올바른 촬영 자세에 관한 이미지와 설명 문구를 보여주고, 팁 박스 안의 예시 버튼을 클릭하면 발 위치를 예시하는 기준점 표시창이 팝업될 수 있다.
그 밖에 복잡한 배경, 색상이 다채로운 배경에서는 촬영이 어렵고 단색 배경에서 촬영할 것 등을 가이드 하는 화면이 더 제공될 수 있다.
위와 같이 촬영 조건에 관한 가이드를 제공한 후, 촬영 절차를 진행할 수 있다. 촬영은 두 가지 촬영모드 즉, 자동 촬영 모드와 수동 촬영 모드가 모두 가능할 수 있다. 사용자가 카메라를 실행하여 설정에서 자동 촬영모드와 수동 촬영모드 중 어느 하나를 선택하여 설정할 수 있는 UI를 제공하여 사용자의 선택에 따라 촬영모드를 설정할 수 있다.
먼저, 애플리케이션 프로그램(40)은 자동 촬영을 위해 정면 자동 촬영 모드가 실행되면(S30), 프로세서부(32)로 하여금 단계 S20에서 가이드된 촬영조건들이 충족되는지 여부를 확인하게 할 수 있다(S40).
도 12는 도 6에서의 정면 자동 촬영 단계의 구체적인 실행 절차를 보여준다. 도 13은 사용자가 자동 촬영 모드로 자신의 신체를 정면에서 촬영하는 페이지를 예시한다.
도 12와 도 13을 참조하면, 사용자는 카메라를 실행하여 카메라 전환 아이콘을 UI에 제공하여 전방 촬영모드와 후방촬영모드를 설정할 수 있게 한다. 자동 촬영모드와 수동 촬영모드 중 어느 하나를 선택하여 설정할 수 있는 기능을 UI를 통해 제공하여 사용자의 선택에 따라 촬영모드가 설정되게 할 수 있다. 상단 중앙의 삼선 버튼(62) 누르면 자동 촬영 모드에 관한 설명 페이지가 팝업될 수 있고, 설명 페이지의 아무 곳이나 클릭하면 꺼질 수 있다. 정면 자동 촬영을 위해서, 도 13에 예시된 것처럼 프로세서부(32)는 우선 입력된 키값에 대응하여 인체의 정면 촬영용 가이드 실루엣(점선으로 표시)(60)을 디스플레이부(36)를 통해 촬영용 화면에 표시되게 할 수 있다. 일예로, 가이드 실루엣(60)은 키값의 크기에 무관하게 한 가지로 제공될 수 있다. 다른 예로 가이드 실루엣은 키값의 크기에 따라 복수 종류로 제공될 수도 있을 것이다. 사용자는 카메라(20)에 의해 포착된 피사체 이미지가 가이드 실루엣(60)안에 맞춰지도록 자세를 취할 수 있다.
예시적인 일 실시예에 있어서, 촬영조건의 만족 여부는 다음과 같이 판단할 수 있다. 피사체와 카메라 간의 촬영거리의 만족 여부는 가이드 실루엣을 피사체와 겹쳐놓았을 때 가이드 실루엣에 대한 피사체의 크기를 비교하여 판단할 수 있다. 피사체에 대한 카메라의 촬영높이 조건의 만족 여부는 가이드 실루엣을 피사체와 겹쳐놓았을 때 피사체의 위치를 비교하여 판단할 수 있다. 또한, 자세 조건의 만족 여부는 인체 가이드 실루엣을 피사체와 겹쳐놓았을 때 피사체가 얼마나 벗어나 있는지를 체크하여 판단할 수 있다. 인체 모양의 가이드 실루엣선 안에 정확히 피사체가 들어올 때, 촬영거리와 촬영높이에 관한 촬영조건이 만족된 것으로 판단할 수 있다. 또한, 피사체에 대한 카메라의 촬영각도의 만족 여부는 카메라의 주시각도가 설정된 각도범위 즉, 수평면을 기준으로 -5°부터 +5° 사이(바람직하게는 0도)에 들어오는지 여부로 판단할 수 있다. 예컨대, 카메라가 휴대폰에 장착된 경우에는, 그 휴대폰의 각도가 연직방향을 기준으로 -5°부터 +5° 사이, 바람직하게는 0도 일 때 촬영각도에 관한 촬영조건이 만족된 것으로 판단할 수 있다. 카메라가 장착된 휴대폰에 내장된 가속도 센서를 통해 휴대폰 즉, 카메라의 기움임 각을 측정하는 것으로 통해 판단할 수 있다.
일 실시예에서, 촬영거리와 촬영높이에 관한 촬영조건이 만족하였는지 여부는 가이드 실루엣 박스를 이용하여 판단할 수 있다. 여기서, 가이드 실루엣의 몸통, 머리, 발을 내포하는 최소 사이즈 박스를 가이드 실루엣 박스라 하며, 정면촬영과 측면촬영에 각각 제공될 수 있다.
도 14는 인체(피사체) 정면에 관한 가이드 실루엣 박스를 예시한다. 도 14를 참조하면, 상대적으로 큰 사이즈의 제1 가이드 실루엣 박스(70)와 상대적으로 작은 사이즈의 제2 가이드 실루엣 박스(72)를 서로의 중심이 일치되게 배치하면, 제2 가이드 실루엣 박스(72)가 제1 가이드 실루엣 박스(70)에 의해 포위되어 그 두 박스 사이에 소정의 간격이 확보될 수 있다. 제1 가이드 실루엣 박스(70)는 촬영거리가 3m일 때 가이드 실루엣(60-1)을 내포하는 가이드 실루엣 박스이고, 제2 가이드 실루엣 박스(72)는 촬영거리가 4m일 때 가이드 실루엣선(60-2)을 내포하는 가이드 실루엣 박스이다. 큰 박스(70)와 작은 박스(72)는 중심이 서로 일치되게 배치된다. 여기서 '내포하는' 상태는 가이드 실루엣(60-1, 60-2)의 머리 상단과 발끝하단이 가이드 실루엣 박스(70, 72)의 상단과 하단에 각각 접한 상태를 의미한다. 가이드 실루엣 박스(70, 72)의 위치는 그것의 중앙점이 이미지 프레임(화면)의 상변으로부터 45%, 좌변으로부터 50%인 지점이 위치할 수 있다. 제1 가이드 실루엣 박스(70)의 높이와 너비는 각각 이미지 화면의 높이와 너비의 70%와 16.5%일 수 있고, 제2 가이드 실루엣 박스(72)의 높이와 너비는 각각 이미지 프레임의 높이와 너비의 66.5%와 15%일 수 있다. 최적 촬영거리가 3m-4m의 범위 내이므로, 피사체가 두 박스(70, 72) 사이 크기로 머리부터 발끝까지 꽉 차게 들어오면, 즉 카메라로 촬영된 피사체 이미지의 머리 몸통 발의 경계선이 제1 가이드 실루엣 박스(70)와 제2 가이드 실루엣 박스(72) 사이에 위치하면 촬영거리와 촬영높이에 관한 촬영조건이 만족된 것으로 볼 수 있다. 이 때, 팔은 충분히 벌려서 제1 및 제2 가이드 실루엣 박스(70, 72) 안에 들어오지 않도록 하고, 너비 보다는 높이 충족 여부를 중요하게 고려한다.
지정된 촬영조건들이 모두 충족된 것으로 판단되면, 애플리케이션 프로그램(40)은 프로세서부(32)로 하여금 카메라(20)를 제어하여 피사체의 정면을 자동으로 촬영하게 할 수 있다(S50).
촬영 조건이 만족될 때, 프로세서부(32)는 디스플레이부(36)에서 가이드 실루엣의 색이 파란색 점선으로 변하게 하고, 오디오 출력부(38)를 통해 3번의 신호음(삐 소리)을 출력되게 한 다음, 카메라(20)로 하여금 피사체를 자동으로 촬영하도록 제어할 수 있다. 프로세서부(32)는 카메라(20)로부터 촬영된 이미지 데이터를 전달받아 소정의 해상도의 이미지 파일 형태로 저장부(34)에 저장되게 할 수 있다.
만약 촬영조건이 충족되지 않은 것으로 판단되면, 프로세서부(32)는 가이드 실루엣의 색을 빨간색 점선으로 표시되게 하고, 불 만족된 촬영조건을 디스플레이부(36)에 표시되게 할 수 있다.
이와 같은 피사체 정면의 자동 촬영이 끝나면, 프로세서부(32)는 동일한 절차에 따라 피사체 측면에 대한 자동 촬영 모드가 수행되게 제어할 수 있다(S60).
도 15는 사용자가 자동 촬영 모드로 자신의 신체를 측면에서 촬영하는 페이지를 예시한다. 측면 촬영 과정은 인체 가이드 실루엣이 인체 측면 모양 가이드 실루엣(64)으로 변경되는 것만 차이가 날뿐, 정면을 촬영하는 과정과 동일하다. 도 15를 참조하면, 프로세서부(32)는 자동촬영모드에서 인체 측면 모양 가이드 실루엣(64)을 디스플레이부(36)에 표시되게 할 수 있다. 카메라(20)에 의해 캡처된 사용자의 피사체 이미지가 인체 측면 모양 가이드 실루엣(64) 안에 정확히 들어오고, 촬영각도 조건이 만족되면 모든 촬영조건들이 모두 충족된 것으로 판단할 수 있다(S70). 모든 촬영조건들이 충족된 경우, 프로세서부(32)는 카메라(20)를 제어하여 측면에 대한 자동 촬영을 수행하도록 제어할 수 있다(S80). 그리고 촬영된 이미지 데이터를 카메라(20)로부터 전달받아 소정의 해상도의 이미지 파일 형태로 저장부(34)에 저장되게 할 수 있다(S90).
도 16은 촬영모드의 인체 측면 모양 가이드 실루엣 박스들을 예시한다. 도 16을 참조하면, 측면 촬영 시에도 촬영거리 3m에 대응되는 인체 측면 모양 가이드 실루엣(64-1)이 내접하는 큰 사이즈의 가이드 실루엣 박스(80)와 촬영거리 4m에 대응되는 측면 가이드 실루엣(64-2)이 내접하는 작은 사이즈의 가이드 실루엣 박스(82)를 이용할 수 있다. 두 박스(80, 82)를 동심 배치하였을 때, 카메라(20)로 촬영된 피사체 이미지의 머리, 몸통, 발의 경계선이 그 두 박스(80, 82) 사이에 위치될 때, 촬영거리와 촬영높이에 관한 설정된 최적 촬영조건이 만족된 것으로 판단할 수 있다.
다음으로, 도 17은 사용자가 직접 수동촬영모드로 자신의 신체를 정면과 측면에서 각각 촬영하는 절차를 도시하고, 도 18과 도 19는 그 수동촬영모드로 신체의 정면과 측면을 촬영하는 페이지를 예시한다.
도 17 내지 19를 참조하면, 자동촬영모드와 같은 방식으로, 수동촬영모드에서도 인체의 정면과 측면을 각각 촬영할 수 있고, 인체 정면 모양 가이드 실루엣(62)과 인체 측면 모양 가이드 실루엣(64)을 각각 제공할 수 있다. 촬영거리, 촬영높이, 촬영각도가 설정된 촬영조건을 모두 충족하는지 여부를 판별하는 방법은 자동촬영모드에서의 그것과 동일하다. 다만, 촬영조건이 모두 충족될 때, 사용자가 직접 카메라(20)를 이용하여 인체의 정면과 측면을 촬영하는 점에서 자동촬영모드와 차이가 있다. 그리고 프로세서부(32)가 촬영된 피사체 이미지 데이터를 카메라(20)로부터 제공받아 저장부(34)에 파일 형태로 저장하는 점은 자동촬영모드에서와 같다.
좀 더 구체적으로 설명하면, 사용자는 카메라(20)를 실행하여 카메라 전환 아이콘으로 전면/후면 전환하고, 설정에서 촬영모드(자동/수동)를 수동으로 변경을 할 수 있다. 상단 중앙의 삼선 버튼(62) 누르면 수동 촬영 모드에 관한 설명 페이지가 팝업될 수 있고, 설명 페이지의 아무 곳이나 클릭하면 꺼질 수 있다. 하단 좌측에 제공된 정면버튼(65)을 클릭하여 인체 가이드 실루엣을 정면 모양 가이드 실루엣으로 변경할 수 있다. 인체 모양의 가이드 실루엣 안에 정확히 피사체가 들어오고(이에 관한 판단은 자동촬영모드에서 설명하였듯이, 큰 사이즈와 작은 사이즈의 가이드 실루엣 박스를 이용함) 휴대폰 각도가 수직인 경우에 촬영 조건이 만족된다. 그 촬영 조건이 만족되면 가이드 실루엣(60, 64)의 점선이 파란색으로 변한다. 그 때, 프로세서부(32)는 화면 하단 중앙의 촬영버튼(66)을 활성화하여, 사용자가 그 촬영 버튼(66)을 누르면 사진이 촬영되도록 제어할 수 있다. 촬영된 이미지는 소정의 해상도를 가진 파일로 저장될 수 있다.
도 19의 수동 촬영 모드로 측면을 직접 촬영하는 과정은, 페이지의 우측 하단에 제공된 측면 버튼(67)을 클릭하여 인체 가이드 실루엣을 측면 실루엣(64)으로 변경하는 것만 차이가 날뿐, 정면을 직접 촬영하는 과정과 동일하다.
도 20은 사진 촬영 시 촬영 에러가 발생한 경우 표시되는 에러 페이지를 예시한다. 도시된 에러 페이지는 촬영 모드에 상관없이 사진 촬영 페이지에서 촬영 조건 불만족 시 나타나는 팝업 페이지다. 예컨대, 피사체가 지속적으로 가이드 실루엣 안에 들어오지 못하는 경우, 배경이 불투명해지며 가이드 실루엣이 붉은 색으로 표시된다. 피사체가 가이드 실루엣 안에 들어오면 다시 촬영 페이지로 된다. 소정 시간 이상, 예컨대 15초 이상 에러 페이지가 지속될 경우, 사진을 촬영할 수 없음과 필요한 조치 등에 관한 안내 메시지가 팝업될 수 있다.
도 21은 촬영된 사진을 확인할 수 있는 화면을 예시한다. 도 21을 참조하면, 이 화면 페이지에서 사용자는 촬영된 사진을 확인하고 저장할 수 있다. 화면을 슬라이드해서 2장의 사진 확인이 가능할 수 있다. 화면의 하단에 제공된 버튼들은(좌에서 우로 가면서), 사진을 저장하지 않고 다시 촬영 페이지로 돌아가기, 휴대폰의 갤러리 폴더에 사진을 저장하기, 첫 페이지로 돌아가기 버튼이다.
한편, 도 22 내지 도 25는 본 발명의 다른 실시예에 따른 이미지화면 내 인체 피사체를 검출하는 방법을 도시한다.
이 실시예에서는 실험을 통하여 애플리케이션 프로그램을 이용하여 이미지를 촬영을 위한 최적 조건을 도출하고, 이를 활용하여 우리나라 여성 평균 키 160cm 기준으로 ± 5cm 키(155~165cm)의 여성이 세 조건에 위치하였을 때의 평균적인 위치, 높이를 도출하여 애플리케이션 프로그램 내 인체 검출 기능을 설정하고 조건의 충족여부를 판단할 수 있다. 애플리케이션 프로그램 내 인체영역 검출기능을 활용하여 앞서 선정한 최적 촬영 조건 중 촬영거리와 촬영높이 조건의 충족 여부를 판단할 수 있다.
정면과 측면의 촬영은 동일한 프로세스로 진행될 수 있다. 앞의 실시에서는 표준 사이즈 인체의 테두리를 딴 인체 모양 가이드 실루엣을 사용하였지만, 본 실시예에서는 가이드 실루엣의 부피감을 삭제한 스켈레톤 타입의 가이드 실루엣을 이용한다.
도 22는 스켈레톤 타입의 정면 및 측면 가이드 실루엣(80, 82)을 예시한다. (a)로 표시된 부분은 검출이 실시되는 세 영역이고(회색 박스, 실제 어플리케이션에서는 표시되지 않음), (b)로 표시된 것은 촬영자 가이드를 위한 가이드 실루엣 (붉은색 스켈레톤)을 나타낸다.
도 22를 참조하면, 스켈레톤 타입의 정면 및 측면 가이드 실루엣(80, 82)의 크기는 입력된 키값과 관계없이 동일하게 적용될 수 있으며, 사용자의 신체가 화면의 동일한 지점에 위치할 수 있도록 도울 수 있다. 검출은 도면에서 (a)로 표시된 머리, 발, 몸통의 세 영역에서 실시할 수 있다. PoseNet 모델을 활용하여 피사체인 인체의 포즈를 예측하고 그 피사체의 머리, 발, 몸통을 탐색하여 그 탐색된 인체 부위가 지정한 영역 내에 존재하는지 판별 후 촬영 진행할 수 있다. 즉, 촬영 시 사용자는 디스플레이부(36)의 화면에 노출되는 스켈레톤 형태의 머리, 몸통(인체 중앙 선), 발의 실루엣과 자신의 신체를 동일하게 맞추어 촬영을 진행할 수 있다. 이때 스켈레톤 형태의 실루엣은 사용자의 촬영 자세, 위치, 이미지 내 인체의 크기를 가이드 하는 역할을 할 수 있다.
촬영 단계에서 프로세서부(32)는 정면 촬영과 측면 촬영을 위해 디스플레이부(36)에 카메라(20)의 이미지 프레임 내 가이드를 위한 스켈레톤 타입의 정면 가이드 실루엣(80)과 측면 가이드 실루엣(82)이 각각 표시되게 한다. 사용자가 그 표시된 가이드 실루엣(80, 82)의 머리와 발 영역 내에 자신의 머리와 발이 위치하도록 자세를 취할 수 있다. 표시된 가이드 실루엣(80, 82)의 손 영역에도 자신의 손을 위치시킨다.
도 23은 인체의 각 영역이 스켈레톤 타입의 가이드 실루엣 내에 올바르게 위치하였는지 여부를 스켈레톤의 색상으로 표시한 것인데, (a)는 촬영조건이 충족되어 촬영이 진행되는 경우, (b)는 촬영조건이 미 충족되어 촬영이 진행되지 않는 경우를 예시한다.
프로세서부(32)는 카메라(20)로 포착된 피사체 인체의 머리와 발을 검출하고, 그 검출된 머리와 발이 가이드 실루엣(80, 82)의 머리 영역과 발 영역 내에 위치하는지 여부를 판별할 수 있다. 더 정확한 판별을 위해, 인체의 어깨 라인이 가이드 실루엣(80, 82)의 어깨라인과 일치하는지도 추가적으로 검토할 수 있다. 판별 결과, 도 23의 (a)에 예시된 것처럼 머리와 발이 해당 영역 내에 위치할 때 촬영거리와 촬영높이에 관한 촬영조건이 충족된 것으로 판단할 수 있다. 촬영조건이 충족된 것으로 판단되면, 최초 붉은 색으로 표시된 가이드 실루엣(80, 82)을 초록색으로 변색시켜 촬영이 가능한 상태임을 사용자가 알 수 있도록 하고 카메라(20)를 활성화시켜 촬영이 가능한 상태로 전환할 수 있다. 만약 촬영조건이 충족되지 않으면, 도 23의 (b)에 표시된 것처럼, 충족되지 않은 조건을 화면에 표시하고 가이드 실루엣(80, 82)은 붉은색으로 표시되게 한다. 또한, 카메라(20)를 활성화시키지 않아 촬영이 진행되지 않도록 한다.
도 24는 촬영거리에 관한 조건과 스켈레톤 타입의 가이드 실루엣의 크기의 관계를 설명하기 위한 도면이다.
도 24를 참조하면, 머리, 발, 몸통 세 블록을 합친 영역의 크기를 바탕으로 정면 가이드 실루엣(80)의 전체 크기를 결정할 수 있다. 앞에서도 언급하였듯이, 최적의 촬영 거리를 예컨대 2.5m-3m로 설정한 경우, 정면 가이드 실루엣(80)의 전체 높이가 카메라(20)의 이미지 프레임의 높이의 스켈레톤 타입 가이드 실루엣에 존재하여야 한다. 이 높이 범위는 우리나라 여성 평균 키 160cm 기준 ±5cm 키의 여성이(155~165cm) 3m 거리에 위치할 때의 영역(66.5.%), 2.5m 거리에 위치할 때의 영역(70%)으로 결정된 것이다. 이때의 66.5%, 70% 값은 실험을 통한 평균값으로 도출될 수 있다. 만약 촬영거리가 예컨대 4m인 경우에는 66.5%보다 더 작은 값이 된다. 카메라의 이미지 프레임 사이즈 대비 상기 합친 영역의 크기가 차지하는 비율은 너비보다는 높이의 충족이 더 중요하다. 높이 조건을 충족하면 너비가 영역을 다소 벗어나더라도 촬영 가능하다고 판단할 수 있다. 너비는 동일 키에서 촬영자의 BMI 수준(비만도)의 영향을 크게 받는 요인이며 인체 비율과 상관관계가 낮은 요인이므로 그 중요도가 높이에 비해 낮다. 팔과 손은 개인 편차가 커 위치를 특정하기 어려우며, 인체 크기 보다는 자세의 영향을 더 많이 받으므로, 별도의 검출 없이 촬영에 앞선 자세 가이드를 제시하도록 한다.
도 25는 촬영높이에 관한 조건과 스켈레톤 타입의 가이드 실루엣의 위치의 관계를 설명하기 위한 도면이다.
도 25를 참조하면, 최적의 촬영높이는 75cm - 125cm의 범위로 설정될 수 있다. 전체 가이드 실루엣, 머리, 몸통, 발의 위치로 촬영높이 조건의 충족 여부를 판단할 수 있다. 전체 정면 가이드 실루엣(80)의 중심은 카메라(20)의 이미지 프레임의 중앙에서 위쪽으로 약 2%-4% 범위 내에 위치하고, 가장 바람직하게는 약 3%정도 위쪽 지점에 위치할 수 있다. 해당 위치는 우리나라 여성 평균 키 160cm 기준 ±5cm 키(155cm - 165cm)의 여성이 카메라(20)로부터 3m의 촬영거리, 피사체가 딛고 있는 바닥면으로부터 100cm의 높이에 위치할 때, 카메라의 이미지 프레임 내 인체 높이의 평균값을 이용하여 도출한 값이다. 촬영자 스스로 높이요건 충족여부 판별을 용이하게 하기 위해, 육안으로 허리위치(인체높이의 중간지점)를 확인할 수 있는 허리보조선을 추가적으로 표시되게 할 수 있다. 다만, 허리보조선이 정확히 허리위치에 놓이는지 여부는 기술적조건 충족 여부 판단에 영향을 주지 않게 처리할 수 있다.
촬영각도 조건에 관해선, 선행 실시예에서 언급하였듯이 휴대폰(카메라) 내 자이로스코프 센서를 활용하여 각도조건(0°) 충족 여부로 판단할 수 있다.
이상에서는 본 발명의 실시예들을 설명하였다. 본 발명은 카메라로 촬영한 2D 이미지로부터 인체의 사이즈 정보를 획득하는 알고리즘 개발의 이전 단계이자 정확한 로우 데이터 습득을 위한 기초가 되는 기술로서, 일반적인 환경에서 왜곡이 최소화된 이미지를 촬영할 수 있는 정확한 촬영 조건을 탐색하고 최적의 촬영 조건을 제시하는 기술이다.
또한 이를 바탕으로 개발한 애플리케이션 프로그램은 인체 치수획득을 위한 온라인 플랫폼에 활용되어 소비자로 하여금 인체 계측 없이 2D 이미지 촬영만으로 자신의 인체 치수를 획득할 수 있도록 해줄 수 있다. 정확한 촬영조건에 부합할 때에만 촬영되므로 인체 치수의 측정 정확도가 향상될 수 있다.
본 발명은 인체 정보를 기반으로 한 의류 서비스에 응용될 수 있다. 이는 더 나아가 2D 데이터를 이용한 아바타 구현, AR미러와 같은 증강 현실 플랫폼 등의 영역으로 확장 가능할 것이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
20: 카메라 30: 이미지처리부
32: 프로세서부 34: 저장부
36: 디스플레이부 40: 애플리케이션 프로그램
50: 인체 이미지 획득 시스템
60: 인체 정면 모양 가이드 실루엣
64: 인체 측면 모양 가이드 실루엣
70, 72: 가이드 실루엣 박스
80: 스켈레톤 타입 정면 가이드 실루엣
82: 스켈레톤 타입 측면 가이드 실루엣

Claims (14)

  1. 카메라와 통신가능하게 연결된 프로세서부에서 실행되는 컴퓨터 프로그램을 이용하여 수행되는 방법으로서,
    설정된 촬영조건에 관한 가이드를 디스플레이부에 출력하는 단계, 여기서, 상기 설정된 촬영조건에 관한 가이드는 상기 카메라와 피사체 간의 이격거리로 정의되며 2.5m 이상 4m 이하의 범위 내에서 정해지는 촬영거리, 피사체가 딛고 서있는 바닥면으로부터 상기 카메라의 높이로 정의되며 75cm 이상 125cm 이하의 범위 내에서 정해지는 촬영높이, 수평면을 기준으로 카메라의 렌즈의 주시방향의 각도로 정의되는 카메라의 주시방향이 수평면을 기준으로 -5° 이상 5° 이하의 범위 내에서 정해지는 촬영각도, 그리고 촬영용 의복 및 촬영자세(pose)에 관한 가이드를 포함함;
    설정된 촬영모드가 실행되어, 인체 촬영용 가이드 실루엣을 상기 디스플레이부의 화면에 표시되게 하여 사용자로 하여금 상기 카메라에 의해 포착된 자신의 이미지가 상기 가이드 실루엣 안에 맞춰지게 자세를 취하도록 가이드하는 단계;
    상기 촬영모드 동안 상기 프로세서부에서, 카메라에 포착된 피사체 이미지가 가이드 된 대로 상기 가이드 실루엣 안에 맞춰져 있는지 및 상기 카메라의 각도가 연직방향을 기준으로 -5°부터 +5° 사이에 들어오는지를 체크하여 상기 피사체의 이미지가 상기 설정된 촬영조건을 충족하는지 여부를 판별하는 단계;
    상기 프로세서부는, 상기 촬영조건이 충족된 것으로 판단될 때, 상기 카메라의 촬영 기능을 활성화시켜 상기 설정된 촬영모드에 따라 피사체가 촬영되도록 하는 단계; 및
    상기 카메라에 의해 촬영된 피사체의 이미지 데이터를 상기 프로세서부가 제공받아 저장부에 저장하는 단계를 포함하는 것을 특징으로 하는 인체 이미지 획득 방법.
  2. 제1항에 있어서, 상기 출력하는 단계 전에, 피사체인 사용자의 적어도 키와 몸무게 정보를 포함하는 신체 사이즈에 관한 기본정보를 입력받아 저장부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 인체 이미지 획득 방법.
  3. 제2항에 있어서, 상기 인체 촬영용 가이드 실루엣은 사용자가 입력한 키 값에 대응하는 크기로 제공되는 것을 특징으로 하는 인체 이미지 획득 방법.
  4. 제1항에 있어서, 상기 판별하는 단계 이전에, 자동 촬영모드와 수동 촬영모드 중 어느 하나를 선택할 수 있는 촬영모드선택버튼을 포함하는 UI를 제공하여 사용자의 선택에 따라 촬영모드를 설정하는 단계를 더 포함하는 것을 특징으로 하는 인체 이미지 획득 방법.
  5. 제1항에 있어서, 상기 인체 이미지 획득 방법은 상기 카메라와 상기 프로세서부를 포함하고, 상기 컴퓨터 프로그램이 설치 된 스마트폰을 이용하여 수행되고, 상기 카메라의 각도는 상기 스마트폰에 내장된 각도 측정용 센서를 이용하여 측정되는 것을 특징으로 하는 인체 이미지 획득 방법.
  6. 제1항에 있어서, 피사체와 카메라 간의 실제 촬영거리가 설정된 촬영거리 조건을 만족하는지 여부는 가이드 실루엣을 피사체와 겹쳐놓았을 때 상기 가이드 실루엣에 대한 피사체의 크기를 비교하여 판단하고, 피사체에 대한 카메라의 실제 촬영높이가 설정된 촬영높이 조건을 만족하는지 여부는 상기 가이드 실루엣을 피사체와 겹쳐놓았을 때 피사체의 위치를 비교하여 판단하는 것을 특징으로 하는 인체 이미지 획득 방법.
  7. 제1항에 있어서, 상기 카메라의 피사체에 대한 촬영거리가 3m일 때의 가이드 실루엣을 내포하는 제1 가이드 실루엣 박스와 상기 촬영거리가 4m일 때의 가이드 실루엣을 내포하는 제2 가이드 실루엣 박스가 동심 배치된 상태에서, 상기 카메라로 촬영된 피사체 이미지의 머리, 몸통, 발의 경계선이 상기 제1 가이드 실루엣 박스와 상기 제2 가이드 실루엣 박스 사이에 들어왔을 때, 상기 촬영거리와 촬영높이에 관한 촬영조건이 만족되는 것으로 판단하는 것을 특징으로 하는 인체 이미지 획득 방법.
  8. 제1항에 있어서, 상기 가이드 실루엣은 표준 사이즈의 인체의 테두리를 딴 모양의 인체 가이드 실루엣인 것을 특징으로 하는 인체 이미지 획득 방법.
  9. 제1항에 있어서, 상기 가이드 실루엣은 적어도 인체의 머리와 발은 면적을 가지도록 표시되고 팔과 다리 및 몸통은 선으로 표시된 스켈레톤 타입 가이드 실루엣인 것을 특징으로 하는 인체 이미지 획득 방법.
  10. 제9항에 있어서, 상기 카메라에 의해 포착된 피사체의 이미지에서 머리와 발이 상기 스켈레톤 타입 가이드 실루엣의 머리 영역과 발 영역 내에 위치할 때, 상기 촬영거리와 촬영높이에 관한 촬영조건이 만족되는 것으로 판단하는 것을 특징으로 하는 인체 이미지 획득 방법.
  11. 제9항에 있어서, 상기 스켈레톤 타입 가이드 실루엣의 전체 높이는 상기 카메라의 이미지 프레임의 높이의 65% 이상 70% 이하의 범위 내인 것을 특징으로 하는 인체 이미지 획득 방법.
  12. 제9항에 있어서, 상기 스켈레톤 타입 가이드 실루엣의 중심은 상기 카메라의 이미지 프레임의 중앙에서 위쪽으로 2%-4% 범위 내에 위치하는 것을 특징으로 하는 인체 이미지 획득 방법.
  13. 제1항, 제4항 내지 제12항 중 어느 하나의 항에 기재된 인체 이미지 획득 방법을 수행하기 위하여 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 실행가능 프로그램.
  14. 제1항, 제4항 내지 제12항 중 어느 하나의 항에 기재된 인체 이미지 획득 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020220094174A 2021-10-13 2022-07-28 가상 의류시스템의 활용을 위한 인체 이미지 획득 방법 및 이를 위한 애플리케이션 프로그램 KR102587911B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210135718 2021-10-13
KR20210135718 2021-10-13

Publications (2)

Publication Number Publication Date
KR20230052806A KR20230052806A (ko) 2023-04-20
KR102587911B1 true KR102587911B1 (ko) 2023-10-12

Family

ID=86143540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220094174A KR102587911B1 (ko) 2021-10-13 2022-07-28 가상 의류시스템의 활용을 위한 인체 이미지 획득 방법 및 이를 위한 애플리케이션 프로그램

Country Status (1)

Country Link
KR (1) KR102587911B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514346B1 (ko) 2014-02-14 2015-04-22 한국기술교육대학교 산학협력단 합성 사진 촬영 장치 및 방법
KR102132721B1 (ko) * 2019-01-03 2020-07-10 (주) 아이딕션 신체 사이즈 측정용 사진 획득 방법 및 이를 이용한 신체 사이즈 측정 방법, 서버 및 프로그램
KR102228663B1 (ko) * 2020-10-23 2021-03-16 주식회사 포즈 촬영 가이드 제공 방법 및 이를 수행하는 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
KR102049015B1 (ko) * 2017-12-19 2019-11-26 박조은 구도 가이드 설정을 통한 모바일 단말기의 촬영 방법
KR102159803B1 (ko) * 2018-10-11 2020-09-24 강산 촬영 가이드 제공 장치 및 프로그램
KR102261893B1 (ko) * 2019-03-18 2021-06-04 범영순 이미지를 이용한 신체 사이즈 측정 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101514346B1 (ko) 2014-02-14 2015-04-22 한국기술교육대학교 산학협력단 합성 사진 촬영 장치 및 방법
KR102132721B1 (ko) * 2019-01-03 2020-07-10 (주) 아이딕션 신체 사이즈 측정용 사진 획득 방법 및 이를 이용한 신체 사이즈 측정 방법, 서버 및 프로그램
KR102228663B1 (ko) * 2020-10-23 2021-03-16 주식회사 포즈 촬영 가이드 제공 방법 및 이를 수행하는 시스템

Also Published As

Publication number Publication date
KR20230052806A (ko) 2023-04-20

Similar Documents

Publication Publication Date Title
US10979624B2 (en) Methods and devices for establishing photographing template database and providing photographing recommendation information
JP6490430B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US10380794B2 (en) Method and system for generating garment model data
JP6523925B2 (ja) 生体情報を用いた認証装置及び認証方法
US9491370B2 (en) Methods and apparatuses for providing guide information for a camera
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN105373929B (zh) 提供拍照推荐信息的方法及装置
CN110570460B (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
KR20100075167A (ko) 얼굴인식 기능을 이용한 디지털 영상 촬영 장치 및 방법
CN108090463B (zh) 对象控制方法、装置、存储介质和计算机设备
JP5613741B2 (ja) 画像処理装置、方法、及びプログラム
CN106331491A (zh) 一种拍照方法及装置
CN104170371B (zh) 实现自助合影的方法和照相设备
CN112749613B (zh) 视频数据处理方法、装置、计算机设备及存储介质
JP2021520577A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
US11386586B2 (en) Method and electronic device for adding virtual item
CN113570614A (zh) 图像处理方法、装置、设备及存储介质
CN114519866A (zh) 人体测量数据的获取方法、处理方法及设备
CN112740227A (zh) 导件辅助的材料数据捕获
KR102587911B1 (ko) 가상 의류시스템의 활용을 위한 인체 이미지 획득 방법 및 이를 위한 애플리케이션 프로그램
CN111800574B (zh) 成像方法、装置和电子设备
JP6608311B2 (ja) 画像評価装置及び画像評価プログラム
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
JP6175583B1 (ja) 画像処理装置、実寸法表示方法、及び実寸法表示処理プログラム
JP2017068468A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right