[Paper Review] Angle-Based Hierarchical Classification Using Exact Label Embedding

'Angle-Based Hierarchical Classification Using Exact Label Embedding' 논문 리뷰 글입니다.

Yiwei Fan, Xiaoling Lu, Yufeng Liu & Junlong Zhao (2022) Angle-Based Hierarchical Classification Using Exact Label Embedding, Journal of the American Statistical Association, 117:538, 704-717, DOI: 10.1080/01621459.2020.1801450

 

해당 논문은 JASA(Journal of the American Statistical Association)에 실린 논문으로,

계층적 분류(Hierarchical classification)를 위한 (1) 임베딩 방법과 (2) 선형 분류기를 제안합니다.

 

0. 요약

리뷰에 앞서 쉽게 요약해보자면, 다음과 같습니다.

• [문제] 계층적 분류 문제의 기존 방법들은 클래스 라벨 간의 계층적 정보를 완전히 활용하지 못한다!
• [해결] 논문에서 개발한 것
  1. 임베딩 방법: Exact Label Embedding
  2. 분류기: New Angle-Based Classifier
  3. 손실함수: New Weighted Linear Loss

이 중에서도 핵심은 Exact Label Embedding에 있습니다.

이때 두 가지의 목표를 두고 임베딩을 진행합니다. 즉,

• Hirarchical classfication 문제의 노드들을 점으로 임베딩하자! 단,
  1. Hierarchical information 유지
  2. 작은 Euclidean space의 점으로
• 도식화해보자면, 위의 두 목표 하에서 다음 프로세스를 거치는 것입니다.
  • 노드 -(임베딩)-> 점

1. 주제 소개 

1.1 계층적 분류; Hirarchical classfication

 

(1) 계층적 분류란?

계층적 분류, 처음 단어만 들었을 땐 다소 낯설 수 있습니다.

다만 예시를 들어보시면 바로 이해하실 겁니다. 주변에서 쉽게 찾아볼 수 있는 문제이기 때문입니다.

 

대표적인 예시는 위의 그림과 같은 동물의 종 분류입니다.

'애완동물 > 고양이 > 페르시안 고양이'와 같이 계층이 존재하는 트리 내의 클래스로 분류하는 문제를 말합니다.

쉽게 생각해서 트리 분류 문제가 계층적 분류 문제라고 할 수 있겠습니다.

 

동물의 종 분류 뿐만 아니라,

이미지 분류, 텍스트 카테고리 분류, 음악 장르 분류, 온라인 커머스 광고 분류 등

다양한 분야에서 활용되는 문제입니다.

 

 

(2) 기존 계층적 분류기의 문제점

 

기존 분류기들은 계층 구조를 완전히 활용하지 못하거나, 트리를 너무 큰 데이터 공간으로 임베딩한다는 한계점을 가지고 있습니다.

정리하자면, 다음과 같습니다.

• 계층 구조 활용 ❌ + 저차원 가설 공간 (ex. 리프 노드들로만 예측)
• 계층 구조 활용 ⭕ + 고차원 가설 공간 (ex. 루트 제외 노드 개수)

대표적인 예시로는 리프 노드들로만 예측하는 flat classifier가 있습니다.

페르시안 고양이, 푸들, 프렌치 불독과 같은 가장 하위 노드만을 가지고 예측하는 분류기입니다.

flat classifier는 리프 노드들만 가지고 예측하기 때문에 계층 구조를 활용하지 않고, 대신 저차원 데이터 공간으로 임베딩할 수 있다는 장점이 있습니다. 

하지만 계층 정보를 활용하지 않는 것은 큰 정보 손실이기 때문에, 정확한 계층적 분류를 위해서는 다른 분류기의 사용이 권장됩니다.

 

반대로, 계층 구조를 완전히 활용하지만 고차원 데이터 공간으로 임베딩하여 분류가 복잡해지는 분류기도 있습니다.

루트를 제외하고(모든 클래스가 애완동물에 속하기 때문에) 나머지 노드를 클래스로 가지고 분류하는 것입니다.

고양이, 페르시안 고양이, 강아지, 푸들, 프렌치 불독,... 이렇게 많은 클래스를 가지게 되면 

위의 flat classifier는 10차원 데이터 공간에 임베딩하는 것에 반해, 13차원 데이터 공간에 임베딩하게 됩니다.

위의 애완동물 분류 예시는 3-레이어 트리이기 때문에 차원 수가 많이 차이 나지 않지만,

깊은 트리의 분류 문제를 다룰 경우 차원의 크기가 매우 커지면서 문제가 많이 복잡해집니다.

 

위의 두 분류기의 한계를 모두 극복하기 위해, 해당 논문에서는

1. 계층 구조를 완전히 활용하고
2. 저차원의 가설 공간으로 임베딩

하고자 하는 목표를 지니고 있습니다.

 

 

논문에서 제시하는 방법은 이어서 포스팅하겠습니다~!

 

 

https://wistful-soap-d03.notion.site/Angle-based-hierarchical-classification-using-exact-label-embedding-662cb1bfe89f466dbc1c858a597d56c9?pvs=4

[혜연] Angle-based hierarchical classification using exact label embedding | Notion