태초에 야후가 있었다. 야후는 인터넷에 전화번호부 컨셉을 도입한 거의 최초의 서비스였다. 전화번호부처럼 인터넷 사이트의 링크를 색인별로 모아둔 사이트가 있다면 의미가 있을 것이라는 제리 양의 아이디어에서 나왔다.
한참 뒤에 나온 다음과 네이버의 컨셉도 한동안은 야후와 별반 다르지 않았다. 둘 다 야후처럼 전화번호부에 실어달라고 웹 사이트 관리자가 요청해야 하는 구세대 서비스였다. 그 외에도 ‘잘했어’라는 카피로 유명했던 라이코스나 익사이트 등의 서비스가 있었지만 전부 다 아이디어 자체는 고만고만했다.
나는 이 시절 초기 인터넷에 아주 큰 실망을 했는데, ‘society’라는 야후의 카테고리를 눌렀을 때 모든 서브 카테고리를 다 방문해 봐도 수십 개 사이트 정도밖에 나오지 않았고, 각 사이트가 가진 문서들도 각각 10개 미만 수준밖에 되지 않았기 때문에 하루면 다 볼 분량이었기 때문이다. 그대로였다면 웹은 아무런 의미가 없는 예쁜 쓰레기로 남았을 것이다.
이후 등장했던 것은 DEC사의 알타비스타. 세계에서 가장 빠른 CPU 알파칩을 만들던 회사가 검색엔진을 만들었다고 했다. 그들은 알파 칩의 홍보를 위해 알파 칩이 전세계 웹 문서를 모두 수집해서 보여주는 서비스를 만들었다.
알타비스타는 혁신적이었다. ‘Society’ 카테고리에 수십 개 사이트밖에 없던 야후 시대에서 어떤 키워드든 검색하면 수천 개씩 문서를 찾을 수 있는 시대가 되었다. 전화번호부 식의 검색엔진이 1세대라고 한다면, 수집 기 기반의 검색 엔진을 2세대라고 명명해도 큰 무리는 아니라고 생각한다. 드디어 인터넷은 정보의 바다가 되기 시작했다.
반면 명확한 문제도 있었다. 인터넷은 정보 쓰레기의 바다였다. 알타비스타는 수집만 해서 보여주는 도구였기 때문에 괜찮은 데이터를 보려면 5페이지 이상 심지어 10페이지 이상 페이지를 넘겨서 확인했어야 했다. 당시 이 문제를 해결할 방법으로는 ‘좀 더 나은 검색어’가 유행했다. 좀 더 전문적인 검색어를 쳐서 더 좋은 문서만 나오게 한다거나, 다른 검색어와 함께 쳐서 더 유용한 문서만 나오게 하자는 것이다.
알타비스타 이후에 야후를 비롯한 기성 검색 엔진들은 1세대와 2세대의 하이브리드 접근 방법을 택했다. 전화번호부 스타일의 검색 결과를 상단에 보여주고 하단에 수집된 결과를 보여주는 식이다. 수집된 결과는 알타비스타에 비해 훨씬 부족했으며 어느 업체도 수집기의 성능을 높이려고 하지 않았다. 래리 페이지와 세르게이 브린이 새로운 검색 엔진을 야후에게 팔려고 했을 때 검색 엔진의 퀄리티를 올리는 것은 의미가 없다고 거절했을 정도다.
하지만 수집기가 정보를 모아 그냥 보여주는 것에 의문을 가진 사람들이 있었다. 래리 페이지, 세르게이 브린, 리옌 홍이다. 전자의 둘은 구글을 창업했고 리옌 홍은 바이두를 창업했다. 페이지와 브린은 미국인이어서 미국에서 창업을 했고 리옌 홍은 미국의 회사를 그만두고 고향인 중국으로 돌아가 창업했다. 아마 리옌 홍이 이민 2세나 3세였다면 바이두는 미국 회사였을 것이다.
이들은 왜 수집된 정보를 의미 있는 순으로 보여주지 않느냐는 의문을 가졌다. 왜 사용자가 수십 페이지를 넘기거나 더 나은 키워드를 찾아야 하느냐는 것이다. 그보다는 검색엔진이 더 쓸모있는 문서를 먼저 보여주는 게 먼저라는 생각이었다. 나는 이들을 ‘3세대 검색엔진’이라고 부를 만 하다고 생각한다.
방법은 다르지만 구글과 바이두 모두 전 세계의 문서들을 점수 매기고 점수가 높은 문서를 먼져 보여준다. 구글의 경우에는 페이지 랭크란 알고리즘에 기반해서 더 좋은 문서를 보여준다. 원리는 간단하다.
- 다른 문서로부터 링크가 많이 걸린 문서는 인용도가 높기 때문에 더 훌륭한 문서라고 보는 것이다.
- 점수가 높은 문서에서 다른 문서로 링크를 걸 때 더 높은 점수를 부여한다.
예를 들어 ‘논어와 보이차’라는 문서가 10점짜리 문서라고 치자. 그리고 그 문서에서 링크를 건 문서가 4개라고 하면, 4개의 문서는 각각 2.5점씩 점수가 부여된다. (4 x 2.5 = 10) 그래서 그 문서들이 다른 링크가 전혀 없고 ‘논어와 보이차’에서만 연결되었다면 각 문서들은 2.5점짜리 문서가 된다. 만약에 여러 개의 링크를 받는 문서라면 더 높은 점수를 받게 될 것이다. 이렇게 구글은 전 세계의 모든 문서에 점수를 매긴다.
초기 구글 검색 엔진은 스탠포드 대학의 실험실에서 시작했던 프로젝트였다. 인터넷 문서 전체가 한 대학의 실험실에서 다 다둘 수 있을 정도의 규모였던 것이다. 래리 페이지와 세르게이 브린 두 사람이 할 수 있을 만한 규모였다.
하지만 구글 프로젝트가 알려지기 시작하고 양질의 문서가 사람들에게 발견되기 시작하자 큰 변화가 세상에 있었다. 사람들이 인터넷을 쓰기 시작했다. 이제 인터넷은 마니아들의 장난감이 아니라 누구나 의미 있는 자료를 찾거나 재미를 위해서 사용하는 공간이 되었다.
이제 전체 인터넷의 규모는 대학 실험실에서 다룰 수 없는 수준이 되었다. 구글 창시자 두 사람은 너무 바빠 스탠포드에서 학업을 마치는 게 불가능했다. 이제 구글은 더 이상 두 명의 천재가 할 수 있는 일이 아니었다.
그 상황에서도 래리 페이지와 세르게이 브린은 먼저 학업을 마치고 싶어 했다. 그래서 야후에게 컨택했지만, 야후는 검색이 의미가 없으며 그들이 이제 미디어 회사이고 미디어의 성장 폭에 비하면 검색은 아무런 의미가 없다며 거절했다.
출처: Handelzeitung
그 이후 야후는 내리막길을 모르는 채 추락 중이며 구글은 인터넷 세상의 거두가 되었다. 구글과 비슷한 시점에 비슷한 결정을 했던 리옌 홍의 바이두도 인터넷 세상의 거두가 되었음은 더 말할 것도 없다.
많은 사람들은 좋은 콘텐츠가 먼저 있어야 좋은 검색 엔진이 있는 것이 아니냐고 말하는데 (닭이 먼저냐 달걀이 먼저냐는 논쟁) 구글과 바이두는 좋은 검색 엔진이 좋은 환경을 유도해서 좋은 콘텐츠를 만들게 한 셈이다. 막말로 그들이 지금의 인터넷을 만들었다고 해도 과언이 아니다고 생각한다.
반면 한국에서는 “한국어로 된 의미 있는 글들이 있었더라면 우리도 검색 엔진을 제대로 만들었을 것”이라고 말하는 사람들이 시장을 장악했다. 그리고 지식인과 블로그, 카페란 형태로 지식을 가두리에 가두어서 양식하기 시작했다. 네이버의 지식은 네이버에서만, 다음의 지식은 다음에서만 잘 찾을 수 있게.
PS.
한 가지 흥미로운 점이 더 있다. 야후는 구글 이외에 페이스북도 품에 안을 기회가 있었다는 점이다. 안목 없기로 야후는 한결같은 것 같다. 가끔 알리바바 같은 실수도 있었지만…
하지만 알리바바는 어떻게 보면 야후의 입장에서는 독배 같다. 제리 양이 이끌던 야후는 알리바바에 대해 투자하면서 대박을 거두었지만, 알리바바의 주식 가치가 야후의 핵심 사업보다 더 컸기 때문에 결국 야후는 핵심 사업을 매각하면서 알리바바 수익 실현을 해야 했다. 야후는 그때 재기할 힘도 잃었다.
표지이미지 출처
