"Times New Roman", Times, serif; align="center">Craigslist 數據庫架構

Craigslist 絕對 互聯網 一個傳奇公司. 根據以前 一則報道：

每月超過 1000 萬人使用該站服務, 月瀏覽量超過 30 億次, (Craigslist每月新增 帖子近 10 億條??)網站 網頁數量在以每年近百倍 速度增長. Craigslist 至今卻只有 18 名員工(現在可能會多一些了).

Tim O'reilly 采訪了 Craigslist Eric Scheide , 于 通過這篇 Database War Stories #5: craigslist 我們能了解一下 Craigslist 數據庫架構以及數據量信息.

數據庫軟件使用 MySQL . 充分發揮 MySQL 能力, 數據庫都使用 64 位 Linux 服務器, 14 塊 本地磁盤(72*14=1T ?), 16G 內存.

不同 服務使用不同方式 數據庫集群.

論壇
1 主(master) 1 從(slave). Slave 大多用于備份. myIsam 表. 索引達到 17G. 大 表接近 4200 萬行.

分類信息
1 主 12 從. Slave 各有個 用途. 當前數據包括索引有 114 G , 大表有 5600 萬行(該表數據會定期歸檔). 使用 myIsam. 分類信息量有多大? "Craigslist每月新增 帖子近 10 億條", 這句話似乎似乎有些夸張, Eric Scheide 說昨日就超過 330000 條數據, 如果這樣估計 話, 每個月 新帖子信息大約在 1 億多一些.

歸檔數據庫
1 主 1 從. 放置所有超過 3 個月 帖子. 與分類信息庫結構相似但 更大, 數據有 238G, 大表有 9600 萬行. 大量使用 Merge 表, 便于管理.
搜索數據庫
4 個 集群用了 16 臺服務器. 活動 帖子根據 地區/種類劃分, 并使用 myIsam 全文索引, 每個只包含一個子集數據. 該索引方案目前還能撐住, 未來幾年恐怕就不成了.

Authdb
1 主 1 從, 很小.
目前 Craigslist 在 Alexa 上 排名 30, 上面 數據只 反映采訪當時(April 28, 2006) 情況, 畢竟, Craigslist 數據量還在每年 200% 速度增長.

Craigslist 采用 數據解決方案從軟硬件上來看還 低成本 . 優秀 MySQL 數據庫管理員對于 Web 2.0 項目 一個關鍵因素.