지프(Zipf)의 법칙, 파레토(Pareto), 파워 로(Power-law) 그리고 80/20

세상은 본질적으로 불공평하다?

2001-3-24

대박은 소수다

인공적인 것, 자연적인 것을 불문하고 나타나는 흥미로운 현상이 한 가지 있습니다.

큰 건은 극단적으로 드물고 조그마한 것들은 매우 많이 나타납니다.

예를 들면, 거대한 지진은 매우 드물게 일어나지만 미약한 지진은 자주 발생한다거나, 초대형 도시가 소수 나타나고 소도시들이 여러 개 나타나는 현상입니다.

 

 

Valfredo Pareto

 

이것을 일찌감치 느낀 사람이 몇 명 있었습니다. 이들은 각자 자신의 분야에서 어떤 주제를 연구하면서 이와 같은 패턴이 나타남을 느꼈습니다. 80/20 원칙을 발견한 경제학자 파레토도 그 중 한 명입니다. 80/20 원칙은 두 데이타 셋(data set)을 비교할 때 한 쪽 데이타 집합의 소수가 다른 한 쪽의 대부분을 장악하는 현상을 의미합니다. 결과의 대부분을 좌우하는 소수와 별 효과를 미치지 못하는 다수로 나뉘는 것을 뜻합니다.

 

파레토는 경제학에 수학적 분석을 본격 도입한 사람 중 한 명이었습니다. 이 뛰어난 학자는 사람들의 수입을 조사해서 수학적으로 분석했습니다. 조사 결과, 거의 대부분의 사회는 시대를 불문하고 몇 몇 巨富와 보통 수준의 대부분으로 나뉜다는 것을 발견했습니다. 그는 이를 사회학적 관점에서 응용하며 후생경제학(Welfare Economics)의 기초를 놓습니다.

 

80/20 원칙은 이후 여러 형태로 응용되기도 했습니다. 은행 수익의 80%는 20%의 고객으로부터 비롯된다든지,

富의 80%는 20%의 소수계층이 차지한다는 얘기 등등..

이런 패턴이 여러 분야에 걸쳐 공통적으로 나타난다는 사실들이 속속 보고되었습니다.

 

언어학 쪽에서 이런 패턴을 느낀 사람이 하버드 대학 언어학 교수 지프(Zipf)입니다.
그는 사람들이 쓰는 단어들을 사용 횟수 별로 순위를 매겨 보았습니다. 

단어 사용 빈도를 기준으로 조사해보니 역시 극히 많이 쓰이는 소수의 단어와 가끔씩 사용되는 대다수의 단어로 나누어지는 것을 발견합니다. "and"나 "but"같은 단어는 매우 많이 쓰입니다. 그런데 이런 단어는 극소수에 불과합니다. 이것을 지프의 법칙(Zipf's law)이라고 합니다.

 

 

Zipf's law

 

위의 두 가지 법칙은 실증적으로 증명된 사실들입니다.
그리고 우리가 직감적으로 느끼는 사실이기도 합니다.

흥미롭게도 이런 패턴이 웹싸이트의 분포에서도 관찰되기 시작했습니다.

파워-로(Power-law) 분포와 수확체증의 법칙

전체 웹은 물론이고 특정 카테고리로 한정했을 때도 대부분의 트래픽을 끌어들이는 극소수의 웹싸이트와 보통의 무수한 웹 싸이트가 관찰됩니다. 바꿔 얘기하면 승자독식(Winner-take-all)적인 특징이 웹에서도 나타납니다. 이것을 보다 더 미시적인 수준에서 분석한 내용은 수확체증과 새로운 비즈니스 세계에 있습니다. 이  논문을 읽어보면 소위 신경제에 해당하는 시장은 종래와 같은 수확체감에 바탕을 둔 분석이 전혀 들어 맞지 않는다는 것을 알 수 있습니다.

수확체증은 다음과 같은 이유 때문에 나타납니다.

 

 1. 네트웍 효과를 통해서 규모가 큰 플레이어는 더욱 많은 신규 고객들을 더욱 쉽게 끌어 들입니다.

 2. 큰 규모의 선행투자 비용이 있어서 일단 쳐진 뒤에는 후발주자가 쫓아가기 힘듭니다.

 3. 첫 카피가 완성된 후부터는 사실상 0에 가까운 생산비로 대량 생산해 낼 수 있는 데다 그 작은 생산비조차 미리 확보된 거대한 기존 사용자층에 분산함으로써 더욱 강력한 원가 경쟁력을 갖게 됩니다.

 4. 대부분 학습을 통해서 배워야 하는 지식상품은 한 번 사용하면 계속해서 같은 기업의 제품을 쓰게 될 가능성이 커지는 고객 학습 효과를 갖습니다.

 

때문에 일등은 더욱 강력한 일등이 되고 나머지는 더욱 쇠퇴합니다.

시장은 소수의 회사로 불안정하게 기울고 이러한 경향은 더욱 증폭, 강화됩니다.

재미있게도 이런 패턴이 보다 거시적인 수준에서 관찰할 때도 분야를 불문하고 나타나고 있습니다.

심지어 자연 현상조차 그렇습니다.

 

제록스 PARC 연구소에서 이 내용을 웹싸이트 분석에 응용하여 전개한 논문을 내놓았습니다.

그 논문은 Power-law 분포를 통해 www의 특성을 잘 설명하고 있습니다. 논문 내용을 간단하게 요약해 보겠습니다. 다음은 어떤 싸이트가 몇 명의 유져를 끌어가느냐를 AOL 싸이트의 로그 파일을 이용해서 분석한 그래프입니다.

 

 

America OnLine LOG 파일 분석

그래프는, 사용자 수가 증가하면 증가할수록 대형 사이트의 갯수는 더욱 급속히 줄고, 특히 사용자 수가 매우 큰 사이트의 갯수는 갑자기 극단적으로 줄어드는 것을 보여줍니다. www이 대부분의 트래픽을 끌어가는 몇몇 대형 사이트와 비슷비슷한 수준의 작은 사이트 대부분으로 나뉜다는 의미입니다.

 

위의 그래프의 x축, y축을 로그로 바꾸어 놓으면 아래 그림과 같은 기울기가 마이너스인 선형 방정식이 된다는 것이 바로 Power-law입니다.

이렇게 아주 많은 트래픽이 몰려있는 소수의 센터격인 사이트가 있기 때문에 완벽하게 모든 정보가 링크되어 있지 않은 상태인 웹이 그 규모가 방대함에도 사실상 '좁은세계(Small World)'처럼 동작합니다. 몇 다리 건너지 않아도 원하는 문서로 접근할 수 있습니다. 이렇게 파워-로 분포와 스몰 월드 효과가 연관됩니다. 실제 검색엔진을 디자인 함에 있어서 트래픽이 몰리는 노드를 어떻게 취급할 것인가가 매우 중요합니다.

 

소수의 강력한 자와,
대다수의 그저 그런 자.

이것이 자연법칙이라면 함축하는 바가 작지 않은 것 같습니다.