TiDB
![本頁使用了標題或全文手工轉換](http://images.weserv.nl/?url=//upload.wikimedia.org/wikipedia/commons/thumb/c/cd/Zh_conversion_icon_m.svg/35px-Zh_conversion_icon_m.svg.png)
開發者 | 北京平凱星辰科技發展有限公司(PingCAP) |
---|---|
首次發佈 | 2017年10月15日[1] |
目前版本 |
|
原始碼庫 | |
程式語言 | Go (TiDB), Rust (TiKV) |
語言 | 英文、中文 |
類型 | NewSQL |
許可協定 | Apache 2.0 |
網站 | pingcap![]() |
TiDB是一個開源的NewSQL資料庫,支援混合事務和分析處理(HTAP)工作負載[3]。它與MySQL相容,並且可以提供水平可延伸性、強一致性和高可用性。它主要由PingCAP公司開發和支援,並在Apache 2.0下授權。TiDB從Google的Spanner[4]和F1[5]論文中汲取了最初的設計靈感。[6]
TiDB被InfoWorld 2018 Bossie Award評選為最佳數據儲存和分析開源軟件之一。[7]
歷史
PingCAP Inc.是一家軟件公司,成立於2015年4月,成立後便開始開發TiDB。該公司是TiDB及其關聯的開源社區的主要開發人員,維護人員和驅動者。[8]
主要特性
水平可延伸性
TiDB可以通過添加新節點來擴充SQL處理和儲存容量。這使得基礎設施容量的擴充更加容易和靈活,而傳統的關聯式資料庫只能垂直擴充。
MySQL相容性
對於應用程式來說,TiDB的行為就如同一個MySQL 5.7伺服器。用戶可以繼續使用所有現有的MySQL客戶端庫。因為TiDB的SQL處理層是從頭開始構建的,而不是一個MySQL分支,所以它的相容性不是100%,[9]而且MySQL和TiDB之間存在已知的行為差異。[10]
具有強一致性的分散式事務
TiDB在內部基於範圍將表分片為的小塊,這些塊稱為「區域」。[11]每個區域的預設大小約為100 MB,TiDB在內部使用二階段提交來確保區域以事務上一致的方式進行維護。
雲原生
為了使部署、組態、操作和維護更加靈活,TiDB被設計成可在雲中工作。TiDB的儲存層稱為TiKV,於2018年8月成為雲原生計算基金會的沙盒級別專案。[12]TiDB平台的體系結構還允許分別獨立擴充SQL處理和儲存。
更精簡的ETL流程
TiDB可以支援連線事務處理(OLTP)和連線分析處理(OLAP)工作負載。這意味着,雖然用戶可能傳統上在MySQL上進行交易,然後將數據抽取、轉換和載入(ETL)到一個列儲存中進行分析處理,但這一步驟不再需要。
高可用性
TiDB使用Raft一致性演算法[13]確保數據在整個Raft組的儲存程序中高度可用和安全複製。在發生故障時,Raft組將自動為失敗的成員選擇一個新的領導者,並自我修復TiDB叢集,而不需要任何必要的人工干預。失敗和自愈操作對應用程式是透明的。
部署方法
Kubernetes Operator
可以使用TiDB Operator將TiDB部署到支援Kubernetes的雲環境中。[14]Operator是打包、部署和管理Kubernetes應用程式的方法。它是為執行有狀態工作負載而設計的,最早由CoreOS在2016年引入。[15]TiDB Operator[16]最初由PingCAP開發,並於2018年8月開源。[17]TiDB Operator可以用於在手提電腦[18]、Google Cloud Platform的Google Kubernetes引擎[19]和Amazon Web Services的Kubernetes彈性容器服務上部署TiDB。[20]
Ansible
通過使用TiDB-Ansible playbook,可以使用Ansible (軟件)部署TiDB。[21]
Docker
可以使用Docker在多個節點和多台機器上的容器化環境中部署TiDB,而Docker Compose可以使用單個命令部署TiDB以進行測試。[22]
工具
TiDB提供了一系列開源工具來幫助現有MySQL和MariaDB用戶進行數據複製和遷移。
Syncer與Data Migration
Syncer是一個工具,它支援從MySQL或MariaDB實例到TiDB叢集的完整數據遷移或增量數據複製。[23]Data Migration(DM)是 Syncer的第二代迭代,它適合將已分片的MySQL或MariaDB表中的數據複製到TiDB。[24]Syncer/DM的一個常見用例是將MySQL或MariaDB表連接到TiDB,幾乎將TiDB視為從屬,然後在該TiDB叢集上直接即時執行分析工作負載。
Lightning
Lightning是一個可將大型MySQL轉儲高速完全匯入到新的TiDB群集中的工具,它提供了比執行每個SQL陳述式更快的匯入體驗。該工具用於把大量數據快速填充到一個最初為空的TiDB叢集,以便加快測試或生產遷移。之所以能提升匯入速度,是因為TiDB通過將SQL陳述式解析為鍵值對,然後直接生成有序字串表(SSTable)檔案到RocksDB。[25]
TiDB-Binlog
TiDB-Binlog是一個用於收集對TiDB叢集所做邏輯更改的工具。它用於在兩個TiDB叢集之間或從一個TiDB叢集到另一個下游平台之間提供增量備份和複製。
它的功能類似於MySQL主從複製。主要的區別在於,由於TiDB是一個分散式資料庫檔案管理器,因此每個TiDB實例生成的binlog需要在被下游使用之前,根據事務提交的時間進行合併和排序。[26]
用戶案例
目前,已有近3000家公司在使用 TiDB,其中包括Mastercard、AirBNB、Square、Paypay、中國銀行、建設銀行、美團、Bilibili、Shopee[27]、BookMyShow[28]、小米[29]、知乎[30]、美團點評[31]、愛奇藝[32], 轉轉[33]、摩拜[34]、易果[35],以及猿輔導[36]。
參考文獻
- ^ 1.0 GA release notes.
- ^ 2.0 2.1 2.2 Release 8.3.0. 2024年8月22日 [2024年8月27日].
- ^ How TiDB combines OLTP and OLAP in a distributed database. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ Spanner: Google's Globally-Distributed Database. [2019-12-07]. (原始內容存檔於2018-12-30).
- ^ F1: A Distributed SQL Database That Scales. [2019-12-07]. (原始內容存檔於2019-12-02).
- ^ TiDB Brings Distributed Scalability to SQL. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ The best open source software for data storage and analytics. [2019-12-07]. (原始內容存檔於2019-09-02).
- ^ TiDB developer PingCAP wants to expand in North America after raising $50M Series C. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ Compatibility with MySQL. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ Meet TiDB: An open source NewSQL database. [2019-12-07]. (原始內容存檔於2019-07-31).
- ^ TiKV Architecture. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ CNCF to Host TiKV in the Sandbox. [2019-12-07]. (原始內容存檔於2019-09-03).
- ^ The Raft Consensus Algorithm. [2019-12-07]. (原始內容存檔於2018-01-20).
- ^ Database Operators Bring Stateful Workloads to Kubernetes. [2019-12-07]. (原始內容存檔於2019-12-29).
- ^ Introducing Operators: Putting Operational Knowledge into Software. [2019-12-07]. (原始內容存檔於2019-11-25).
- ^ TiDB Operator GitHub repo. [2019-12-07]. (原始內容存檔於2019-07-16).
- ^ Introducing the Kubernetes Operator for TiDB. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ Deploy TiDB to Kubernetes on Your Laptop. [2019-12-07]. (原始內容存檔於2018-08-17).
- ^ Deploy TiDB, a distributed MySQL compatible database, to Kubernetes on Google Cloud.
- ^ Deploy TiDB, a distributed MySQL compatible database, on Kubernetes via AWS EKS.
- ^ Ansible Playbook for TiDB. [2019-12-07]. (原始內容存檔於2020-08-25).
- ^ How to Spin Up an HTAP Database in 5 Minutes With TiDB + TiSpark. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ Syncer User Guide. [2019-12-07]. (原始內容存檔於2019-11-21).
- ^ DM GitHub Repo. [2019-12-07]. (原始內容存檔於2020-08-25).
- ^ Introducing TiDB Lightning. [2019-12-07]. (原始內容存檔於2019-05-08).
- ^ TiDB-Binlog Architecture Evolution and Implementation Principles. [2019-12-07]. (原始內容存檔於2019-06-16).
- ^ Shopping on Shopee, the TiDB Way - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ BookMyShow.com: More Uptime, 30% Less Operational Cost with TiDB - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ Powering the Xiaomi Mobile Lifestyle with TiDB - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ Lesson Learned from Queries over 1.3 Trillion Rows of Data Within Milliseconds of Response Time at Zhihu.com - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ TiDB, the Key to a Better Life for Meituan-Dianping’s 290 Million Monthly Users - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-21).
- ^ Always Fun, Always On: How TiDB Helps iQiyi Deliver Streaming Videos - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ Managing the Surging Data Volume of a Fast-Growing Marketplace with TiDB - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ Blitzscaling the Largest Dockless Bikesharing Platform with TiDB’s Help - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-05-02).
- ^ States, Austin TX United. The Hybrid Database Capturing Perishable Insights at Yiguo. Datanami. 2018-02-22 [2019-12-07]. (原始內容存檔於2019-11-06).
- ^ How TiDB tackles fast data growth and complex queries for yuanfudao.com - TiDB. pingcap.com. [2019-12-07]. (原始內容存檔於2019-11-06).