KR20040036730A - 전시품에 관한 관심을 평가하는 방법 및 장치 - Google Patents

전시품에 관한 관심을 평가하는 방법 및 장치 Download PDF

Info

Publication number
KR20040036730A
KR20040036730A KR10-2004-7002650A KR20047002650A KR20040036730A KR 20040036730 A KR20040036730 A KR 20040036730A KR 20047002650 A KR20047002650 A KR 20047002650A KR 20040036730 A KR20040036730 A KR 20040036730A
Authority
KR
South Korea
Prior art keywords
exhibit
people
image data
interest
identified
Prior art date
Application number
KR10-2004-7002650A
Other languages
English (en)
Inventor
구타스리니와스브이.알.
필로민바산쓰
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040036730A publication Critical patent/KR20040036730A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

전시품(202)에 관한 관심을 자동으로 평가하는 방법이 제공된다. 그 방법은, 전시품의 소정 부근내에서 영상 데이터를 포착하는 단계와, 포착된 영상 데이터에서 사람들을 식별하는 단계와, 식별된 사람들에 기초하여 전시품에 관한 관심을 평가하는 단계를 포함한다. 제 1 실시예에서, 식별하는 단계는 포착된 영상 데이터에서 사람들의 수를 식별하고, 평가하는 단계는 식별된 사람들의 수에 기초하여 전시품에 관한 관심을 평가한다. 제 2 실시예에서, 식별하는 단계는 포착된 영상 데이터에서 사람들의 거동을 인식하고, 평가하는 단계는 인식된 사람들의 거동에 기초하여 전시품에 관한 관심을 평가한다. 그 방법은 또한 식별된 사람들의 적어도 하나의 특성을 인식하는 단계를 포함할 수 있다.

Description

전시품에 관한 관심을 평가하는 방법 및 장치{Method and apparatus for assessing interest in a displayed product}
종래 기술에서, 전시품에 관한 관심을 평가하는 몇 가지 방법들이 알려져 있다. 그러나, 알려진 모든 방법들은 수동으로 실행된다. 예를 들어, 설문 카드(questionnaire card)들은 전시품 근처를 지나가는 사람들이 기재하여 이용할 수 있다. 대안적으로, 가게 점원 또는 세일즈맨이 사람들에게 전시품에 관한 일련의 질문들을 함으로써 전시품에 관한 사람들의 관심을 끌 수 있다. 그러나, 어떤 방법이든지, 사람들이 그 설문에 기꺼이 참여해야 한다. 설사 사람들이 기꺼이 참여한다 하더라도, 수동적인 설문을 끝마칠 때까지는 시간이 걸리게 되며, 종종 사람들이 자진하여 보내려고 한 시간보다 훨씬 더 많은 시간이 들게 된다. 게다가, 수동적인 설문은 참여하는 사람의 진실성에 의존한다.
따라서, 전시품의 제조업자들 및 판매자들은 종종 어느 정도 참여자들을 드러내지 않는 정보, 예를 들어 성별 및 민족성과 같은 특성들을 원한다. 그들의 제품들을 마케팅할 때 이러한 타입의 정보는 제조업자들과 판매자들에게 매우 유용할 수 있다. 그러나, 제조업자들은 참여자들이 이러한 정보를 공급하기를 원치 않거나 이와 같은 설문에 감정이 상하게 되는 것을 알기 때문에, 제조업자들과 판매자들은 그들 제품의 설문지에 이와 같은 질문들을 하지 못한다.
본 발명은 일반적으로 컴퓨터 비전 시스템들 및 다른 감성 기술들에 관한 것으로, 특히 컴퓨터 비전 및 다른 감성 기술들을 통해 전시품에 관한 관심(interest)을 자동으로 평가하는 방법 및 장치에 관한 것이다.
도 1은 전시품에 관한 관심을 평가하기 위한 본 발명의 방법의 양호한 구현예의 흐름도.
도 2는 전시품에 관한 관심을 평가하기 위한 본 발명의 다른 방법의 양호한 구현예의 흐름도.
도 3은 도 1의 양호한 방법을 실행하기 위한 장치를 개략적으로 도시한 도면.
그러므로, 본 발명의 목적은 이와 같은 평가에 참여할 때 참여자들의 관심과 무관하게 전시품에 관한 관심을 자동으로 평가하는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 평가에서 참여자들의 어떠한 시간도 이용하지 않고 전시품에 관한 관심을 자동으로 평가하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 참여하는 사람들의 진실성에 의존하지 않고 전시품에 관한 관심을 자동으로 평가하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 전시품에 관심을 보인 사람들에 관한 감성 마케팅 정보를 비강제적으로 수집하는 방법 및 장치를 제공하는 것이다.
따라서, 전시품에 관한 관심을 평가하는 방법이 제공된다. 그 방법은 일반적으로, 전시품의 소정 부근내에서 영상 데이터를 포착하는 단계와, 포착된 영상 데이터에서 사람들을 식별하는 단계와, 식별된 사람들에 기초하여 전시품에 관한 관심을 평가하는 단계를 포함한다.
본 발명의 방법의 제 1 실시예에서, 식별하는 단계는 포착된 영상 데이터에서 사람들의 수를 식별하고, 평가하는 단계는 식별된 사람들의 수에 기초하여 전시품에 관한 관심을 평가한다.
본 발명의 방법의 제 2 실시예에서, 식별하는 단계는 포착된 영상 데이터에서 사람들의 거동(behavior)을 인식하고, 평가하는 단계는 인식된 사람들의 거동에 기초하여 전시품에 관한 관심을 평가한다. 인식된 거동은 전시품의 소정 부근에서 소요되는 평균 시간, 전시품을 구경하는데 소요되는 평균 시간, 전시품을 만지는데 소요되는 평균 시간, 및 식별된 사람들의 얼굴 표정 중 적어도 하나가 바람직하다.
바람직하게, 본 발명의 방법은 포착된 영상 데이터에서 식별된 사람들의 적어도 하나의 특성을 인식하는 단계를 더 포함한다. 이와 같은 특성들은 성별과 민족성을 포함하는 것이 바람직하다.
또한, 전시품에 관한 관심을 자동으로 평가하는 장치가 제공된다. 그 장치는 전시품의 소정 부근내에서 영상 데이터를 포착하는 적어도 하나의 카메라와, 포착된 영상 데이터에서 사람들을 식별하는 식별 수단과, 식별된 사람들에 기초하여 전시품에 관한 관심을 평가하는 수단을 포함한다.
제 1 실시예에서, 식별 수단은 포착된 영상 데이터에서 사람들의 수를 식별하는 수단을 포함하며, 평가하는 수단은 식별된 사람들의 수에 기초하여 전시품에 관한 관심을 평가한다.
제 2 실시예에서, 식별 수단은 포착된 영상 데이터에서 식별된 사람들의 거동을 인식하는 수단을 포함하며, 평가하는 수단은 인식된 거동에 기초하여 전시품에 관한 관심을 평가한다.
바람직하게, 장치는 포착된 영상 데이터에서 식별된 사람들의 적어도 하나의특성을 인식하는 인식 수단을 더 포함한다.
본 발명의 방법을 실행하는 컴퓨터 프로그램 제품이 더 제공된다.
본 발명의 장치 및 방법의 이러한 특징, 양상, 이점, 및 다른 특징, 양상, 이점은 상세한 설명, 첨부된 청구항들, 및 첨부한 도면들을 참조하면 보다 완전히 이해할 수 있을 것이다.
우선 도 1을 참조하면, 전시품에 관한 관심을 자동으로 평가하는 방법의 양호한 구현예를 도시하는 흐름도가 도시되어 있으며, 그 방법을 일반적으로 참조 번호 100으로 나타낸다. 단계 102에서, 전시품의 소정 부근내에서 영상 데이터가 포착된다. 단계 104에서, 포착된 영상 데이터에서 사람들이 식별된다.
포착된 영상 데이터에서 사람들이 식별된 후, 전시품에 관한 관심이 식별된 사람들에 기초하여 단계 106에서 평가된다. 본 발명의 방법(100)의 제 1 양호한 구현예에서, 식별 단계(104)는 포착된 영상 데이터에서 사람들의 수를 식별하는 단계(단계 104a로 도시됨)를 포함한다. 어떤 경우에, 평가 단계(106)는 식별된 사람들의 수에 기초하여 전시품에 관한 관심을 평가한다. 본 발명의 방법(100)의 제 2 양호한 구현예에서, 식별 단계(104)는 포착된 영상 데이터에서 사람들의 거동을 인식하는 단계(단계 104b로 도시됨)를 포함한다. 어떤 경우에, 평가 단계(106)는 인식된 사람들의 거동에 기초하여 전시품에 관한 관심을 평가한다.
대안적으로, 단계 108에서, 본 발명의 방법(100)은 또한 포착된 영상 데이터에서 식별된 사람들의 적어도 하나의 특성을 인식할 수 있다. 단계 110에서, 인식된 특성들은 데이터베이스를 만드는데 사용될 수 있으며, 그 특성들은 전시품이나 제품 타입과 관련된다. 단계들 108 및 110은 도 1의 흐름도에 도시된 다른 방법 단계들을 양자 택일하며, 또한 전시품의 소정 부근내에서 영상 데이터가 포착되고 그 영상 데이터에서 사람들이 식별되는 단계들 102 및 104을 제외하고 다른 단계들과 독립적으로 실행될 수 있다.
이제 도 2를 참조하면, 전시품에 관한 관심을 평가하는 다른 실시예가 도시되며, 그 방법을 일반적으로 참조 번호 150으로 나타낸다. 그 방법(150)은 단계 152에서 전시품의 소정 부근내에서 사람들의 음성을 인식하는 단계를 포함한다. 이후, 전시품에 관한 관심의 평가는 인식된 음성에 기초하여 단계 156에서 이루어진다. 바람직하게, 단계 154에서, 인식된 음성은 인식된 음성에 대응하는 관심 정도(degrees of interest designations)를 갖는 데이터베이스 엔트리들과 비교된다.
본 발명의 방법(100)을 실행하는 장치는 이제 도 3을 참조하여 기술될 것이며, 도 3은 전시품에 관한 관심을 자동으로 평가하는 장치의 양호한 구현예를 도시하고 있으며, 그 장치를 일반적으로 참조 번호 200으로 나타낸다. 전시품(202)은 여기서 벽(203)이 받치고 있는 ½피라미드로 쌓여진 제품들로서 도시된다. 그러나, 전시품(202)은 예로써 이러한 구조로 도시된 것이며, 본 발명의 범위 또는 정신은 이에 한정되지 않는다. 예를 들어, 전시품(202)은 임의의 모양으로 쌓여있을 수 있으며, 버팀목 없이 쌓여있을 수 있고, 선반 또는 탁자 위에 배치될 수 있다.
장치(200)는 전시품의 소정 부근내에서 영상 데이터를 포착하는 적어도 하나의 카메라(204)를 포함한다. 용어 카메라(204)는 임의의 영상 포착 장치를 의미하는 것이다. 카메라(204)는 스틸 카메라이거나 팬(pan), 틸트(tilt), 및 줌(zoom)(PTZ) 능력들을 가질 수 있다. 게다가, 카메라(204)는 비디오 영상 데이터 또는 일련의 스틸 영상 데이터 프레임들을 포착할 수 있다. 전시품(202)이 한 측면에서 접근하기 쉬운 경우에, 일반적으로 전시품(202)에 접근하거나 이 전시품을 응시하는 임의의 사람들이 영상 데이터에서 포착되도록 하기 위해 단지 한 대의 카메라(204)에는 충분한 시야(field of view)(FOV)가 필요하게 된다. 그러나, 버팀목 없는 피라미드 또는 타워와 같은 몇몇 제품 전시 구조들은 하나 보다 많은 카메라(204)를 필요로 할 수 있다. 이러한 경우에, 하나 보다 많은 영상 데이터 포착 장치로부터 영상 데이터간의 오버랩을 제거하거나 무시하기 위해 영상 데이터를 처리하는 방법이 해당 기술 분야에서 잘 알려져 있다.
영상 데이터가 포착되는 소정 부근(206)은 임의의 수의 수단에 의해 고정될 수 있다. 바람직하게, 소정 부근(206)은 카메라(204)의 FOV로 고정된다. 그러나, 소정 부근(206)을 결정하는 다른 수단이 제공될 수 있다. 예를 들어, 광학센서들(도시되지 않음)이 전시품(202) 주위의 영역을 "맵(map)"하는데 이용될 수 있다.
장치(200)는 또한 포착된 영상 데이터에서 사람들을 식별하는 식별 모듈(208)을 포함한다. 바람직하게, 포착된 영상 데이터는 중앙 처리기(CPU)(210)를 통해 식별 모듈(208)로 입력되지만, 식별 모듈(208)로 직접 입력될 수 있다. 포착된 영상 데이터는 실시간으로 "빨리(on the fly)" 그 영상 데이터에서 사람들을 식별하기 위해 분석될 수 있으며, 또는 우선 메모리(212)에 저장되어 CPU에 동작적으로 접속될 수 있다. 포착된 영상 데이터가 아날로그 데이터라면, 아날로그 디지털(A/D) 변환기(214)를 통해 우선 디지털화되어야 한다. 물론, A/D 변환기(214)는 포착된 영상 데이터가 디지털 데이터인 경우 필요하지 않다.
사람들을 식별하는 식별 수단은 해당 기술 분야에서 잘 알려져 있으며, 일반적으로 걸음걸이와 같은 사람 고유의 임의의 특징들을 인식한다. 하나의 이러한 식별 수단은 1998년 겨울, 컴퓨터 비전 리서치 저널, Vol.1(2), pp. 1-32, J. J. Little 및 J. E. Boyd에 의해 쓰여진,Recognizing People by their Gait: The Shape of Motion에 기재되어 있다.
장치(200)는 포착된 영상 데이터에서 식별된 사람들에 기초하여 전시품(202)에 관한 관심을 평가하는 수단을 더 포함한다. 많은 상이한 기준이 포착된 영상 데이터에서(즉, 소정의 부근내에서) 사람들의 식별에 기초하여 이와 같은 평가를 하는데 사용될 수 있다.
제 1 양호한 구현예에서, 식별 수단(208)은 포착된 영상 데이터에서 다수의사람들을 식별하는 수단을 포함한다. 어떤 경우에, 평가하는 수단은 식별된 다수의 사람들에 기초하여 전시품(202)에 관한 관심을 평가한다. 이러한 구현예에서, 사람 각각의 식별시, 카운터는 증대되며 그 수는 메모리, 예를 들어 메모리(212)에 저장되는 것이 바람직하다. 평가 수단은 그 수가 입력되는 CPU(210)에 의해 제공되는 것이 바람직하며, 관심 정도를 출력하도록 조종된다. 가장 간단한 조작으로, CPU(210)는 단지 경과 시간당 식별된 사람들의 총수(예를 들어, 25 사람/분)를 출력한다. 제 1 구현예의 이면의 착상은 전시품(202) 근처에 사람들이 많을수록, 제품(202)에 대한 관심이 더 커진다는 것이다.
제 2 양호한 구현예에서는, 제 1 구현예의 명백한 결점들이 제기된다. 예를 들어, 상기된 제 1 구현예에서, 소정 부근내에서 식별된 사람들은 전시품(202)에 관심을 보여야 하며, 단순히 "지나가기"만 하면 안 된다고 가정한다. 따라서, 본 발명의 방법(100)의 제 2 양호한 구현예에서, 식별 모듈(208)은 포착된 영상 데이터에서 식별된 사람들의 거동을 인식하는 거동 인식 모듈(216)을 포함한다. 어떤 경우에, 평가 수단은 전체적으로 또는 부분적으로, 인식된 거동에 기초하여 전시품(202)에 관한 관심을 평가한다.
예를 들어, 거동 인식 모듈(216)은 전시품(202)의 소정 부근(206)에서 소요되는 평균 시간을 인식할 수 있다. 그러므로, 단지 "지나가는" 사람들은 전시품(202)에 관한 관심을 평가하는 결정에서 별도로 제거되거나 가중될 수 있다. 예를 들어, 소정 부근(206)의 거리 및 사람의 평균 보행 속도가 제공되면, 소정 부근(206)을 가로지는데 걸리는 평균 시간이 계산될 수 있다. 계산된 평균 시간 보다 소정 부근(206)에서 더 많은 시간을 보낸 식별된 사람들은 관심에 관한 평가에서 제거되거나 적게 가중될 것이다. CPU(210)는 또한 적절한 명령들과 입력들이 제공되면 이와 같은 평가를 할 수 있다.
거동의 다른 예로서, 거동 인식 모듈(216)은 전시품(202)을 보는데 소요되는 평균 시간을 인식한다. 예를 들어 200년 7월, IEEE Transactions on Neural Networks, Vol.11(4), pp. 948-960, S. Gutta, J. Huang, P. J. Philips 및 H. Wechsler에 의해 쓰여진,Mixture of Experts for Classification of Gender, Ethnic Origin and Pose of Human Faces에 기재된 바와 같이, 식별된 사람들의 "안면 두상 포즈(facial head pose)"를 인식하는 인식 수단은 해당 기술 분야에서 잘 알려져 있다.
이와 같은 경우, 소정 부근내에 있으면서 제품을 보지 않는 포착된 영상 데이터에서 식별된 사람들은 전시품(202)에 관한 관심의 평가시 제거되거나 적은 가중치로 제공된다. 게다가, 전시품(202)을 보는데 소요되는 시간 길이는 제품에 관한 관심을 평가할 때 가중 팩터로서 사용될 수 있다. 이 예의 이면의 착상은 충분한 양의 시간 동안 전시품(202)을 보는 사람들이 단지 단시간동안 제품에 가장 많이 몰리거나 전시품을 전혀 보지 않는 사람보다 제품에 더 관심이 있다는 것이다. 상술된 바와 같이, CPU(210)는 또한 적절한 명령들과 입력들이 제공되면 이와 같은 평가를 할 수 있다.
거동 인식 모듈(216)에 의해 인식될 수 있고, 관심 있는 제품을 평가하는데 사용될 수 있는 거동의 또 다른 예는 전시품(202)을 만지는데 소요되는 평균 시간이다. 다른 식별된 물건(즉, 전시품들)을 만지는 식별된 사람을 인식하는 인식 시스템들은 예를 들어 "접속 구성 요소 분석"을 사용하는, 해당 기술 분야에 잘 알려져 있다. 이와 같은 경우, 제품을 만지지 않는 포착된 영상 데이터에서 식별되는 사람들은 전시품(202)에 관한 관심의 평가시 제거되거나 적은 가중치로 제공된다.
게다가, 전시품(202)을 만지는데 소요되는 시간 길이(충분히 긴 시간)는 관심 있는 제품의 평가시 가중 팩터로서 사용될 수 있다. 이 예의 이면의 착상은 실제로 충분한 양의 시간 동안 전시품(202)을 만지거나 잡기 위해 멈춘 사람이 제품에 관심이 있다는 것이다. 상술된 바와 같이, CPU(210)는 또한 적절한 명령들과 입력들이 제공되면 이와 같은 평가를 할 수 있다.
거동 인식 모듈(216)에 의해 인식될 수 있고 관심 있는 제품의 평가시 사용될 수 있는 거동의 또 다른 예는 포착된 영상 데이터에서 식별되는 사람들의 얼굴 표정이다. 예를 들어 국제 특허 출원 WO 02/37401(대리인 번호 PHUS000258)에 기재된 바와 같이, 식별된 사람들의 얼굴 표정을 인식하는 인식 시스템들이 해당 기술 분야에서 알려져 있다. 이와 같은 경우에, 임의의 얼굴 표정들은 전시품(202)에 관한 관심 정도와 일치한다. 예를 들어, 놀란 얼굴 표정은 큰 관심과 일치하며, 미소는 작은 관심과 일치하고, 표정이 없는 얼굴 표정은 관심이 거의 없음과 일치한다. 상술된 바와 같이, CPU(210)는 또한 적절한 명령들과 입력들이 제공되면 이와 같은 평가를 할 수 있다.
도 3은 또한 상술된 바와 같이 식별 모듈(208) 및 거동 인식 모듈(216)과 조합하여 사용될 수 있는 전시품에 관한 관심을 평가하는 다른 실시예, 즉 제품에 관한 관심을 평가하는 단일 수단을 도시하고 있다. 장치(200)는 또한 적어도 하나의 적절하게 배치된 마이크로폰(222)을 통해 소정 부근(206)내에서 사람들의 음성을 인식하는 음성 인식 모듈(220)을 포함하는 것이 바람직하다. 단일 마이크로폰이 대부분의 예들에 적합하다 하더라도, 하나 보다 많은 마이크로폰이 사용될 수 있다. 음성 인식의 경우에, 소정 부근(206)은 적어도 하나의 마이크로폰(222)의 픽업 범위에서 결정되는 것이 바람직하다. 바람직하게, 인식된 음성은 CPU(210)에 의해 메모리(212)내의 공지된 음성 패턴들의 데이터 베이스 엔트리들과 비교된다. 각각의 공지된 음성 패턴들은 이와 연관된 관심의 정도를 갖는 것이 바람직하다. 인식된 음성 패턴이 데이터 베이스 엔트리와 부합하는 경우, 대응하는 관심 정도가 출력된다.
제품에 관한 관심을 평가하는 수단은 상술된 바와 같이 매우 간단할 수 있으며 또는 몇몇 인식된 거동들을 사용하고 제품에 관한 관심을 최종으로 평가하기 위해 서로에 대해 다른 조작 또는 가중 팩터를 할당함으로써 복잡하게 될 수 있다. 예를 들어, 평가 수단은 식별된 사람들의 수, 소요되는 평균 시간, 제품을 보는데 걸리는 평균 시간, 제품을 만지는데 소요되는 평균 시간, 그 평가에서 식별된 사람들의 얼굴 표정, 공지된 음성 패턴의 인식을 사용할 수 있으며, 전자에서 후자로 중요도에 따라 가중치를 증대시켜 할당한다. 기준이 사용될 때마다, 평가 수단은 그 다음 매우 관심이 있는, 관심이 있는, 그렇게 관심이 있지 않는, 또는 관심이 거의 없는 과 같은 제품에 관한 관심 정보를 출력할 수 있다. 대안적으로, 평가 수단은 예를 들어 0-100과 같은, 스케일과 비교될 수 있는, 90와 같은, 숫자로 된정도(number designation)를 출력할 수 있다. 평가 수단은 다른 잘 알려진 제품에 관한 관심 정도와 비교하여 사용될 수 있는 정도를 출력할 수 있다. 예를 들어, 제품의 초기 모델(earlier model) 또는 유사한 경쟁사의 모델의 관심 정도가 전시품의 관심 정도와 비교될 수 있다.
상술된 바와 같이, 본 발명의 방법에는 포착된 영상 데이터에서 식별된 사람들의 적어도 하나의 특성을 인식하는 특성 인식 모듈(218)이 부가될 수 있다. 또한 상술된 바와 같이, 포착된 영상 데이터에서 식별된 사람들의 특성의 인식은 독립적일 수 있으며, 전시품(202)에서 관심을 평가하는 시스템의 일부는 아니다.
특성 인식 모듈(218)에 의해 인식될 수 있는 특성들은 포착된 영상 데이터에서 식별된 사람들의 성별 및/또는 민족성을 포함한다. 머리색, 체형 등과 같은 다른 특성들은 또한 특성 인식 수단에 의해 인식될 수 있다. 이러한 특성들의 인식은 예를 들어 200년 7월, IEEE Transactions on Neural Networks, Vol.11(4), pp. 948-960, S. Gutta, J. Huang, P. J. Philips 및 H. Wechsler에 의해 쓰여진,Mixture of Experts for Classification of Gender, Ethnic Origin and Pose of Human Faces에 기재된 시스템에 의해 해당 기술 분야에서 잘 알려져 있다.
상술된 바와 같이, 특성 인식 모듈(218)에서 데이터는 데이터 베이스에 수집될 수 있고, 그 제품 마케팅시 제조업자들과 판매자들에 의해 사용될 수 있다. 예를 들어, 본 발명의 방법을 통해, 어떤 민족성의 사람들이 전시품에 관심이 있는지가 결정될 수 있다. 그 제품의 제조업자들 및/또는 판매자들은 그 다음 그들의 광고를 그 특정 민족성에 영향을 주도록 맞추어 만들지 결정할 수 있으며, 또는 그들의 광고를 다른 민족성의 사람들에게 관심을 주도록 맞출 수 있다.
식별 인식 모듈(208)을 가지며, 거동 및 특성 인식 모듈들(216, 218)은 포착된 영상 데이터에서 또는 바람직하게 CPU(210)를 통해서 직접 동작할 수 있으며, 그 CPU(210)는 메모리(212)에 저장된 포착된 영상 데이터에 액세스한다. 식별 인식 모듈(208), 거동 인식 모듈(216), 및 특성 인식 모듈(218) 모두는 또한 그 자신의 프로세서들 및 메모리를 가질 수 있으며, 또는 CPU(210)와 메모리(212)를 마찬가지로 공유할 수 있다. 이와 같이 도시되지 않았지만, CPU(210) 및 메모리(212)는 디스플레이, 입력 수단, 및 출력 수단을 갖는 컴퓨터 시스템의 일부인 것이 바람직하다. 메모리(212)는 본 발명의 방법(10)의 사람 식별, 거동 인식 및 특성 인식을 실행하는 프로그램 명령들을 포함하는 것이 바람직하다.
본 발명의 방법은 특히 컴퓨터 소프트웨어 프로그램에 의해 실행되는데 적합하며, 이와 같은 컴퓨터 소프트웨어 프로그램은 방법의 개별 단계에 대응하는 모듈들을 포함하는 것이 바람직하다. 이러한 소프트웨어는 물론 집적 칩 또는 주변 장치와 같은, 컴퓨터 판독 가능한 매체에서 구현될 수 있다.
도시되고 기술되어진 것은 본 발명의 양호한 실시예로 볼 수 있으며, 물론 다양한 수정예들과 변경예들이 형식상 또는 상세히 본 발명의 정신에서 벗어나지 않고 용이하게 행해질 수 있음을 알 수 있을 것이다. 그러므로, 본 발명은 기술되고 도시된 정확한 방식에 한정되지 않으며, 첨부된 청구항들의 범위내에 있을 수 있는 모든 수정예들을 커버하도록 구성된다.

Claims (10)

  1. 전시품에 관한 관심을 자동으로 평가하는 방법에 있어서, 상기 방법은,
    상기 전시품의 소정 부근내에서 영상 데이터를 포착하는 단계와,
    상기 포착된 영상 데이터에서 사람들을 식별하는 단계와,
    상기 식별된 사람들에 기초하여 상기 전시품에 관한 관심을 평가하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 식별하는 단계는 상기 포착된 영상 데이터에서 사람들의 수를 식별하고, 상기 평가하는 단계는 상기 식별된 사람들의 수에 기초하여 상기 전시품에 관한 관심을 평가하는, 방법.
  3. 제 1 항에 있어서, 상기 식별하는 단계는 상기 포착된 영상 데이터에서 상기 사람들의 거동을 인식하고, 상기 평가하는 단계는 상기 인식된 사람의 거동에 기초하여 전시품에 관한 관심을 평가하는, 방법.
  4. 제 3 항에 있어서, 상기 인식된 거동은 상기 전시품의 소정 부근에서 소요되는 평균 시간, 상기 전시품을 보는데 소요되는 평균 시간, 상기 전시품을 만지는데 소요되는 평균 시간, 및 상기 식별된 사람들의 얼굴 표정 중 적어도 하나인, 방법.
  5. 제 1 항에 있어서, 상기 포착된 영상 데이터에서 식별된 사람들의 적어도 하나의 특성을 인식하는 단계를 더 포함하는, 방법.
  6. 전시품에 관한 관심을 평가하는 장치에 있어서, 상기 장치는,
    상기 전시품의 소정 부근내에서 영상 데이터를 포착하는 적어도 하나의 카메라와,
    상기 포착된 영상 데이터에서 사람들을 식별하는 식별 수단과,
    상기 식별된 사람들에 기초하여 상기 전시품에 관한 관심을 평가하는 수단을 포함하는, 장치.
  7. 제 6 항에 있어서, 상기 식별 수단은 상기 포착된 영상 데이터에서 사람들의 수를 식별하는 수단을 포함하며, 상기 평가하는 수단은 상기 식별된 사람들의 수에 기초하여 상기 전시품에 관한 관심을 평가하는, 장치.
  8. 제 6 항에 있어서, 상기 식별 수단은 상기 포착된 영상 데이터에서 식별되는 사람의 거동을 인식하는 수단을 포함하며, 상기 평가하는 수단은 상기 인식된 거동에 기초하여 상기 전시품에 관한 관심을 평가하는, 장치.
  9. 제 6 항에 있어서, 상기 포착된 영상 데이터에서 식별된 사람들의 적어도 하나의 특성을 인식하는 인식 수단을 더 포함하는, 장치.
  10. 전시품에 관한 관심을 자동으로 평가하는 컴퓨터 판독 가능 매체에서 구현된 컴퓨터 프로그램 제품에 있어서, 상기 컴퓨터 프로그램 제품은,
    상기 전시품의 소정 부근내에서 영상 데이터를 포착하는 컴퓨터 판독 가능 프로그램 코드 수단과,
    상기 포착된 영상 데이터에서 사람들을 식별하는 컴퓨터 판독 가능 프로그램 코드 수단과,
    상기 식별된 사람들에 기초하여 상기 전시품에 관한 관심을 평가하는 컴퓨터 판독 가능 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.
KR10-2004-7002650A 2001-08-23 2002-08-02 전시품에 관한 관심을 평가하는 방법 및 장치 KR20040036730A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/935,883 2001-08-23
US09/935,883 US20030039379A1 (en) 2001-08-23 2001-08-23 Method and apparatus for automatically assessing interest in a displayed product
PCT/IB2002/003241 WO2003019440A1 (en) 2001-08-23 2002-08-02 Method and apparatus for assessing interest in a displayed product

Publications (1)

Publication Number Publication Date
KR20040036730A true KR20040036730A (ko) 2004-04-30

Family

ID=25467836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7002650A KR20040036730A (ko) 2001-08-23 2002-08-02 전시품에 관한 관심을 평가하는 방법 및 장치

Country Status (5)

Country Link
US (1) US20030039379A1 (ko)
EP (1) EP1419466A1 (ko)
JP (1) JP2005501348A (ko)
KR (1) KR20040036730A (ko)
WO (1) WO2003019440A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162337B1 (ko) * 2020-03-01 2020-10-06 장영민 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933797B2 (en) * 2001-05-15 2011-04-26 Shopper Scientist, Llc Purchase selection behavior analysis system and method
US8140378B2 (en) * 2004-07-09 2012-03-20 Shopper Scientist, Llc System and method for modeling shopping behavior
US7006982B2 (en) * 2001-05-15 2006-02-28 Sorensen Associates Inc. Purchase selection behavior analysis system and method utilizing a visibility measure
JP4603975B2 (ja) * 2005-12-28 2010-12-22 株式会社春光社 コンテンツ注目評価装置及び評価方法
JP4607797B2 (ja) * 2006-03-06 2011-01-05 株式会社東芝 行動判別装置、方法およびプログラム
US7930204B1 (en) * 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US7987111B1 (en) * 2006-10-30 2011-07-26 Videomining Corporation Method and system for characterizing physical retail spaces by determining the demographic composition of people in the physical retail spaces utilizing video image analysis
US8432449B2 (en) * 2007-08-13 2013-04-30 Fuji Xerox Co., Ltd. Hidden markov model for camera handoff
FR2927442B1 (fr) * 2008-02-12 2013-06-14 Cliris Procede pour determiner un taux de transformation local d'un objet d'interet.
FR2927444B1 (fr) * 2008-02-12 2013-06-14 Cliris Procede pour generer une image de densite d'une zone d'observation
US11151584B1 (en) 2008-07-21 2021-10-19 Videomining Corporation Method and system for collecting shopper response data tied to marketing and merchandising elements
US8831968B2 (en) * 2008-08-01 2014-09-09 Sony Computer Entertainment America, LLC Determining whether a commercial transaction has taken place
US9098839B2 (en) 2008-08-01 2015-08-04 Sony Computer Entertainment America, LLC Incentivizing commerce by regionally localized broadcast signal in conjunction with automatic feedback or filtering
US9747497B1 (en) 2009-04-21 2017-08-29 Videomining Corporation Method and system for rating in-store media elements
FR2945651A1 (fr) * 2009-05-15 2010-11-19 France Telecom Dispositif et procede de mise a jour d'un profil utilisateur
MY155537A (en) * 2010-12-04 2015-10-30 Mimos Berhad A method of detecting viewer attention
US20140040016A1 (en) * 2012-08-03 2014-02-06 Vanya Amla Real-time targeted dynamic advertising in moving vehicles
US20160110791A1 (en) 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10074009B2 (en) 2014-12-22 2018-09-11 International Business Machines Corporation Object popularity detection
US10586257B2 (en) 2016-06-07 2020-03-10 At&T Mobility Ii Llc Facilitation of real-time interactive feedback
US20190251600A1 (en) * 2018-02-10 2019-08-15 Andres Felipe Cabrera Vehicle-mounted directed advertisement system and method
CN110517094A (zh) * 2019-08-30 2019-11-29 软通动力信息技术有限公司 一种访客数据分析方法、装置、服务器和介质
CN110909702B (zh) * 2019-11-29 2023-09-22 侯莉佳 一种基于人工智能的幼儿敏感期方向分析方法
CN111310602A (zh) * 2020-01-20 2020-06-19 北京正和恒基滨水生态环境治理股份有限公司 一种基于情绪识别的展品关注度分析系统及分析方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5331544A (en) * 1992-04-23 1994-07-19 A. C. Nielsen Company Market research method and system for collecting retail store and shopper market research data
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
AU677847B2 (en) * 1993-05-14 1997-05-08 Rct Systems, Inc. Video traffic monitor for retail establishments and the like
US5835616A (en) * 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US5966696A (en) * 1998-04-14 1999-10-12 Infovation System for tracking consumer exposure and for exposing consumers to different advertisements
JP4159159B2 (ja) * 1999-01-20 2008-10-01 株式会社野村総合研究所 広告メディア評価装置
GB2348035B (en) * 1999-03-19 2003-05-28 Ibm Speech recognition system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102162337B1 (ko) * 2020-03-01 2020-10-06 장영민 관람객에 관한 데이터를 이용한 미술품 경매 시스템 및 이를 이용한 미술품 경매 방법

Also Published As

Publication number Publication date
WO2003019440A1 (en) 2003-03-06
EP1419466A1 (en) 2004-05-19
US20030039379A1 (en) 2003-02-27
JP2005501348A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
KR20040036730A (ko) 전시품에 관한 관심을 평가하는 방법 및 장치
US11769159B2 (en) System and method for human emotion and identity detection
US20190005359A1 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
US20190147228A1 (en) System and method for human emotion and identity detection
Su et al. Predicting behavioral competencies automatically from facial expressions in real-time video-recorded interviews
WO2004003802A2 (en) Measurement of content ratings through vision and speech recognition
CN105917305A (zh) 基于图像情感内容的过滤和快门拍摄
Micu et al. Assessing an on-site customer profiling and hyper-personalization system prototype based on a deep learning approach
JP2021192305A (ja) 映像アライメント方法及びその装置
KR102191044B1 (ko) 인공지능 얼굴인식 기술을 기반으로 광고 분석 및 추천을 통하여 광고를 제공하는 시스템
US20210233053A1 (en) Methods, systems, apparatuses, and devices for facilitating advertising of a product
CN109074498A (zh) 用于pos区域的访问者跟踪方法和系统
Wu et al. Hierarchical dynamic depth projected difference images–based action recognition in videos with convolutional neural networks
WO2015003287A1 (zh) 一种行为辨识及追踪系统及其运作方法
Dhamija et al. Exploring contextual engagement for trauma recovery
US20140365310A1 (en) Presentation of materials based on low level feature analysis
KR102261336B1 (ko) 인공지능 얼굴인식에 의한 광고 컨텐츠 매칭 및 이를 통한 광고 수익을 분배할 수 있는 광고 컨텐츠 공유 서비스 제공 시스템
TW201502999A (zh) 一種行為辨識及追蹤系統
WO2020174537A1 (ja) 情報処理システムおよび情報処理方法
Gutstein et al. Optical flow, positioning, and eye coordination: automating the annotation of physician-patient interactions
ViswanathReddy et al. Facial emotions over static facial images using deep learning techniques with hysterical interpretation
Kumar et al. Real Time Face Recognition using KNN
AU2021100211A4 (en) Predict Gender: Detect Faces and Predict their Gender, Age and Country Using Machine Learning Programming
Hassan et al. A Novel Approach to Front-on-to Recognition: Auto-Face Detection Using Deep Learning and Computer Vision
KR102239015B1 (ko) 영상 얼라인먼트 방법 및 그 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid