tidb數據庫nosql的簡單介紹

newsql和nosql的區別和聯系

在大數據時代,“多種架構支持多類應用”成為數據庫行業應對大數據的基本思路,數據庫行業出現互為補充的三大陣營,適用于事務處理應用的OldSQL、適用于數據分析應用的NewSQL和適用于互聯網應用的NoSQL。但在一些復雜的應用場景中,單一數據庫架構都不能完全滿足應用場景對海量結構化和非結構化數據的存儲管理、復雜分析、關聯查詢、實時性處理和控制建設成本等多方面的需要,因此不同架構數據庫混合部署應用成為滿足復雜應用的必然選擇。不同架構數據庫混合使用的模式可以概括為:OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個案例對不同架構數據庫的混合應用部署進行介紹。

創新互聯是一家專業提供庫車企業網站建設,專注與成都網站設計、做網站、成都外貿網站建設公司H5建站、小程序制作等業務。10年已為庫車眾多企業、政府機構等服務。創新互聯專業網站制作公司優惠進行中。

OldSQL+NewSQL 在數據中心類應用中混合部署

采用OldSQL+NewSQL模式構建數據中心,在充分發揮OldSQL數據庫的事務處理能力的同時,借助NewSQL在實時性、復雜分析、即席查詢等方面的獨特優勢,以及面對海量數據時較強的擴展能力,滿足數據中心對當前“熱”數據事務型處理和海量歷史“冷”數據分析兩方面的需求。OldSQL+NewSQL模式在數據中心類應用中的互補作用體現在,OldSQL彌補了NewSQL不適合事務處理的不足,NewSQL彌補了OldSQL在海量數據存儲能力和處理性能方面的缺陷。

商業銀行數據中心采用OldSQL+NewSQL混合部署方式搭建,OldSQL數據庫滿足各業務系統數據的歸檔備份和事務型應用,NewSQL MPP數據庫集群對即席查詢、多維分析等應用提供高性能支持,并且通過MPP集群架構實現應對海量數據存儲的擴展能力。

商業銀行數據中心存儲架構

與傳統的OldSQL模式相比,商業銀行數據中心采用OldSQL+NewSQL混合搭建模式,數據加載性能提升3倍以上,即席查詢和統計分析性能提升6倍以上。NewSQL MPP的高可擴展性能夠應對新的業務需求,可隨著數據量的增長采用集群方式構建存儲容量更大的數據中心。

OldSQL+NoSQL 在互聯網大數據應用中混合部署

在互聯網大數據應用中采用OldSQL+NoSQL混合模式,能夠很好的解決互聯網大數據應用對海量結構化和非結構化數據進行存儲和快速處理的需求。在諸如大型電子商務平臺、大型SNS平臺等互聯網大數據應用場景中,OldSQL在應用中負責高價值密度結構化數據的存儲和事務型處理,NoSQL在應用中負責存儲和處理海量非結構化的數據和低價值密度結構化數據。OldSQL+NoSQL模式在互聯網大數據應用中的互補作用體現在,OldSQL彌補了NoSQL在ACID特性和復雜關聯運算方面的不足,NoSQL彌補了OldSQL在海量數據存儲和非結構化數據處理方面的缺陷。

數據魔方是淘寶網的一款數據產品,主要提供行業數據分析、店鋪數據分析。淘寶數據產品在存儲層采用OldSQL+NoSQL混合模式,由基于MySQL的分布式關系型數據庫集群MyFOX和基于HBase的NoSQL存儲集群Prom組成。由于OldSQL強大的語義和關系表達能力,在應用中仍然占據著重要地位,目前存儲在MyFOX中的統計結果數據已經達到10TB,占據著數據魔方總數據量的95%以上。另一方面,NoSQL作為SQL的有益補充,解決了OldSQL數據庫無法解決的全屬性選擇器等問題。

淘寶海量數據產品技術架構

基于OldSQL+NoSQL混合架構的特點,數據魔方目前已經能夠提供壓縮前80TB的數據存儲空間,支持每天4000萬的查詢請求,平均響應時間在28毫秒,足以滿足未來一段時間內的業務增長需求。

NewSQL+NoSQL 在行業大數據應用中混合部署

行業大數據與互聯網大數據的區別在于行業大數據的價值密度更高,并且對結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等都比互聯網大數據有更高的要求。行業大數據應用場景主要是分析類應用,如:電信、金融、政務、能源等行業的決策輔助、預測預警、統計分析、經營分析等。

在行業大數據應用中采用NewSQL+NoSQL混合模式,充分利用NewSQL在結構化數據分析處理方面的優勢,以及NoSQL在非結構數據處理方面的優勢,實現NewSQL與NoSQL的功能互補,解決行業大數據應用對高價值結構化數據的實時處理、復雜的多表關聯分析、即席查詢、數據強一致性等要求,以及對海量非結構化數據存儲和精確查詢的要求。在應用中,NewSQL承擔高價值密度結構化數據的存儲和分析處理工作,NoSQL承擔存儲和處理海量非結構化數據和不需要關聯分析、Ad-hoc查詢較少的低價值密度結構化數據的工作。

當前電信運營商在集中化BI系統建設過程中面臨著數據規模大、數據處理類型多等問題,并且需要應對大量的固定應用,以及占統計總數80%以上的突發性臨時統計(ad-hoc)需求。在集中化BI系統的建設中采用NewSQL+NoSQL混搭的模式,充分利用NewSQL在復雜分析、即席查詢等方面處理性能的優勢,及NoSQL在非結構化數據處理和海量數據存儲方面的優勢,實現高效低成本。

集中化BI系統數據存儲架構

集中化BI系統按照數據類型和處理方式的不同,將結構化數據和非結構化數據分別存儲在不同的系統中:非結構化數據在Hadoop平臺上存儲與處理;結構化、不需要關聯分析、Ad-hoc查詢較少的數據保存在NoSQL數據庫或Hadoop平臺;結構化、需要關聯分析或經常ad-hoc查詢的數據,保存在NewSQL MPP數據庫中,短期高價值數據放在高性能平臺,中長期放在低成本產品中。

結語

當前信息化應用的多樣性、復雜性,以及三種數據庫架構各自所具有的優勢和局限性,造成任何一種架構的數據庫都不能完全滿足應用需求,因此不同架構數據庫混合使用,從而彌補其他架構的不足成為必然選擇。根據應用場景采用不同架構數據庫進行組合搭配,充分發揮每種架構數據庫的特點和優勢,并且與其他架構數據庫形成互補,完全涵蓋應用需求,保證數據資源的最優化利用,將成為未來一段時期內信息化應用主要采用的解決方式。

目前在國內市場上,OldSQL主要為Oracle、IBM等國外數據庫廠商所壟斷,達夢、金倉等國產廠商仍處于追趕狀態;南大通用憑借國產新型數據庫GBase 8a異軍突起,與EMC的Greenplum和HP的Vertica躋身NewSQL市場三強;NoSQL方面用戶則大多采用Hadoop開源方案。

tidb待遇

待遇不錯。

tidb和mysql幾乎完全兼容,所以我們的程序沒有任何改動就完成了數據庫從mysql到TiDb的轉換,TiDB 是一個分布式 NewSQL (SQL 、 NoSQL 和 NewSQL 的優缺點比較 )數據庫。它支持水平彈性擴展、ACID 事務、標準 SQL、MySQL 語法和 MySQL 協議,具有數據強一致的高可用特性,是一個不僅適合 OLTP 場景還適合 OLAP 場景的混合數據庫。

關于NewSQL數據庫對于CAP的再解釋

作者 石默研

關于CAP的討論已經很多,包括作者的另一篇文章“對CAP的初步解釋”,基本已經即定思維的理解就是:分布式系統必須遵循CAP,一個分布式系統的設計只能同時滿足其中兩個,不可能同時滿足;傳統關系數據庫選擇A與C,代表了互聯網新興技術的NoSQL數據庫則選擇A與P(或者C與P,雖然這種情況其實需要詳細討論)。

但是,近年來,新興的NewSQL數據庫(TiDB或者OceanBase),則是一種在分布式環境下,保證的ACID強事務特征的強一致性數據庫,并且很顯然,它同時也滿足了高可用性與優秀的分區可容忍性(很好的可擴展特性便是其一個層面的證明),似乎看起來,C、A、P都同時保證了,這不是違反了已經經過嚴格證明的CAP理論嗎?

這個問題初看起來,似乎是比較神奇,但仔細分析,其實答案是很明顯的。

首先,需要讀者區分“分布式”與CAP中所提到的分區可容忍性Paritition Tolerance并不是一回事。分區可容忍性P是指以下兩種分布式的情況:

. 同一份數據的多個副本的可分布性

. 有相互關聯的數據的可分布性(操作中表現為保證ACID的強分布式事務)

即使是分庫分表,如果不存在以上兩種情況,只是獨立數據在同一個節點上的情況,雖然也是分布式,但跟CAP中的P沒有半毛錢關系。

那么,還是回到上面的問題,NewSQL數據庫,確實也是在保證了同一份數據多副本的強讀寫一致性、以及強分布式事務特性這樣的C的情況下,同時保證了A與P呀!事實確實如此,但這還是要仔細分析:

無論是TiDB,還是OceanBase,其在保證數據多副本的強一致性時,都采用了Paxos協議或者Raft,它們簡單來講就是多數選舉的原則,即寫不需要全部副本都完成,就能保證讀的強一致性,反過來也是一樣。因此,其在分布式情況下,保證數據讀寫強一致性的效率還是很高的,就是說,在同一個數據中心的網絡環境下,雖然這種分布可容忍性的滿足理論上講也會比單節點多一點點效率損失,但實際上是可以忽略不計的。但需要指出的是,在跨數據中心、跨城市的分布式情況下,如果要保證數據多副本的強一致性,即保證分區可容忍性,對效率(實際上是可用性A)的影響那還是不可忽略的。因此,在這種情況下,CAP理論依然成立。

再來看相互關聯數據的可分布性,這就涉及到了分布式事務。現有的NewSQL數據庫,即使在同一數據中心,為了保證強的分布式事務,對效率的折衷都是不可忽略的,所謂的樂觀事務,只是因為客觀問題本身沖突就少,并不改變沖突很多時效率明顯受影響的現實。因此,NewSQL數據庫雖然提供強分布式事務的能力,但在現實應用中,都是提倡盡量避免大量的分布式事務出現。如果你所遇到的應用場景是確實需要大量的分布式事務執行,又不做應用優化全交給數據庫執行,那么,現有的NewSQL分布式數據庫,依然會遇到明顯的性能問題,其實就是可用性A降低了。同學仔細去研究應用中的實際情況就會發現,很多互聯網應用,當其所需要的QPS很高很高,而對讀寫一致性與強分布式事務的要求又不那很高時候,其實,NewSQL數據庫還是不能滿足他們的需求的,他們仍然需要根據自己的情況改造或者選用NoSQL數據庫,這也是CAP理論并沒有被NewSQL打破的現實證明。

因此,總結來講,NewSQL數據庫,也是遵循CAP理論的,只不過,在同中心數據多副本情況下,保證P的同時對A的影響微乎其微;而在分布式事務的情況下,又采用了與應用特性相關的策略(其實樂觀、悲觀事務本質上就有根本應用特性區分的意思)來保證性能而已。當然,隨著網絡與計算機性能的提高,CAP三個特征中,保證其中兩個,折衷另外一個,所帶來的影響也會逐漸變小,但其理論依然是正確的。

國內做分布式數據庫開發的現狀如何?

應該說,現在是國產分布式數據庫發展的利好時期。在討論發展前景前,首先要先看看分布式數據庫的發展方向。

大家把傳統關系型數據庫稱作oldSQL,給人感覺要被淘汰似的。但其實數據量不是很大或者事務處理的場景夏,關系型數據庫的還是占優的。

關系型數據庫的主要問題在于:

性能瓶頸,

單一模型(關系模型),只適合OLTP

應對業務的靈活性不夠,

彈性擴充能力不夠,

兩地三中心和雙活等問題上不足。

隨著互聯網和手機的飛速發展,無論從用戶規模、使用頻率、還是場景多樣性都使得這些問題浮出水面。其實Oracle在92年就開始嘗試轉向分布式,還當時引起了業界的巨大爭論,最后失敗。更何況過去CPU、內存、存儲、帶寬的高成本導致分布式數據庫的性價比并不高,只能停留在學術階段,限制了分布式的發展。

新分布式數據庫首先是要避免和傳統關系型數據庫的競爭,這是明智的選擇,能夠輕裝上陣。因此從幾個方面入手,應對海量數據處理、分析、緩存、流式處理、開發模式等等。相對應列式,KV,Document等多種存儲數據結構。

所有這些都被稱為NoSQL數據庫,放棄ACID和事務能力還換取性能。然而,NoSQL又收到了大量的批評反對意見,主要是說把數據庫應該處理的問題交還給了開發是種發展的倒退。這些問題包括,索引、版本、SQL支持、事務支持等等。市場上超過90%的開發員都需要SQL,而且SQL也是非常有效和成熟。于是大家無論底層是什么存儲結構又開始支持SQL,形成了NewSQL。

這里插一句題外話,在硅谷已經不再用SQL、NoSQL、NewSQL來劃分數據庫了。理由很簡單,SQL是一種語言,從來沒有SQL數據庫的說法,自然也不應該有NoSQL數據庫的說法。NewSQL數據庫就更不合理,用的SQL并非什么“New“的新東西。所以專業上用關系型和非關系型數據庫來劃分,分布式數據庫主要都是非關系型數據庫。

回過頭來看國內分布式數據庫市場需求,中小企業不滿足Mysql的性能,分庫分表又很難搞,也不徹底;大型企業被Oracle等壟斷支付高額成本,而且又不解決實際碰到的瓶頸問題。因此,用戶都在尋找新的解決方案。小型用戶、云計算的用戶、大型企業都需要對應的分布式數據庫產品。

再加上國產自主和去IOE浪潮,更加推動了國產分布式數據庫的發展利好。值得注意的是,數據庫研發是個嚴肅的事情,沒法短平快。

TiDB 的數據遷移工具現已開源

TiDB 是國內 PingCAP 團隊開發的一個分布式 SQL 數據庫,支持包括傳統 RDBMS 和 NoSQL 的特性。現已將 DM(data migration platform,該數據遷移工具)開源。

該數據遷移工具遵循 Apache-2.0 開源協議,允許用戶自由地使用及修改。

據介紹,DM (Data Migration) 是一體化數據同步任務管理平臺,支持從 MySQL/MariaDB 到 TiDB 的數據遷移、全量備份和 MariaDB/MySQL binlog 增量同步,有助于減少操作成本和簡化錯誤處理流程。架構圖如下所示:

從架構圖可以看到,DM 包括三大組件:DM-master、DM-worker 和 dmctl。其中,DM-master 管理和調度數據同步任務的操作、DM-worker 執行特定的數據同步任務、dmctl 則是控制 DM 集群的命令行工具。更詳細的組件功能介紹,可以查閱官方文檔。

2019數據架構選型必讀:1月數據庫產品技術解析

本期目錄

DB-Engines數據庫排行榜

新聞快訊

一、RDBMS家族

二、NoSQL家族

三、NewSQL家族

四、時間序列

五、大數據生態圈

六、國產數據庫概覽

七、云數據庫

八、推出dbaplus Newsletter的想法

九、感謝名單

為方便閱讀、重點呈現,本期Newsletter(2019年1月)將對各個板塊的內容進行精簡。需要閱讀全文的同學可點擊文末 【閱讀原文】 或登錄

進行下載。

DB-Engines數據庫排行榜

以下取自2019年1月的數據,具體信息可以參考,數據僅供參考。

DB-Engines排名的數據依據5個不同的因素:

新聞快訊

1、2018年9月24日,微軟公布了SQL Server2019預覽版,SQL Server 2019將結合Spark創建統一數據平臺。

2、2018年10月5日,ElasticSearch在美國紐約證券交易所上市。

3、亞馬遜放棄甲骨文數據庫軟件,導致最大倉庫之一在黃金時段宕機。受此消息影響,亞馬遜盤前股價小幅跳水,跌超2%。

4、2018年10月31日,Percona發布了Percona Server 8.0 RC版本,發布對MongoDB 4.0的支持,發布對XtraBackup測試第二個版本。

5、2018年10月31日,Gartner陸續發布了2018年的數據庫系列報告,包括《數據庫魔力象限》、《數據庫核心能力》以及《數據庫推薦報告》。

今年的總上榜數據庫產品達到了5家,分別來自:阿里云,華為,巨杉數據庫,騰訊云,星環 科技 。其中阿里云和巨杉數據庫已經連續兩年入選。

6、2018年11月初,Neo4j宣布完成E輪8000萬美元融資。11月15日,Neo4j宣布企業版徹底閉源:

7、2019年1月8日,阿里巴巴以1.033億美元(9000萬歐元)的價格收購了Apache Flink商業公司DataArtisans。

8、2019年1月11日早間消息,亞馬遜宣布推出云數據庫軟件,亞馬遜和MongoDB將會直接競爭。

RDBMS家族

Oracle 發布18.3版本

2018年7月,Oracle Database 18.3通用版開始提供下載。我們可以將Oracle Database 18c視為采用之前發布模式的Oracle Database 12c第2版的第一個補丁集。未來,客戶將不再需要等待多年才能用上最新版Oracle數據庫,而是每年都可以期待新數據庫特性和增強。Database 19c將于2019年Q1率先在Oracle cloud上發布云版本。

Oracle Database 18c及19c部分關鍵功能:

1、性能

2、多租戶,大量功能增強及改進,大幅節省成本和提高敏捷性

3、高可用

4、數據倉庫和大數據

MySQL發布8.0.13版本

1、賬戶管理

經過配置,修改密碼時,必須帶上原密碼。在之前的版本,用戶登錄之后,就可以修改自己的密碼。這種方式存在一定安全風險。比如用戶登錄上數據庫后,中途離開一段時間,那么非法用戶可能會修改密碼。由參數password_require_current控制。

2、配置

Innodb表必須有主鍵。在用戶沒有指定主鍵時,系統會生成一個默認的主鍵。但是在主從復制的場景下,默認的主鍵,會對叢庫應用速度帶來致命的影響。如果設置sql_require_primary_key,那么數據庫會強制用戶在創建表、修改表時,加上主鍵。

3、字段默認值

BLOB、TEXT、GEOMETRY和JSON字段可以指定默認值了。

4、優化器

1)Skip Scan

非前綴索引也可以用了。

之前的版本,任何沒有帶上f1字段的查詢,都沒法使用索引。在新的版本中,它可以忽略前面的字段,讓這個查詢使用到索引。其實現原理就是把(f1 = 1 AND f2 40) 和(f1 = 2 AND f2 40)的查詢結果合并。

2)函數索引

之前版本只能基于某個列或者多個列加索引,但是不允許在上面做計算,如今這個限制消除了。

5、SQL語法

GROUP BY ASC和GROUP BY DESC語法已經被廢棄,要想達到類似的效果,請使用GROUP BY ORDER BY ASC和GROUP BY ORDER BY DESC。

6、功能變化

1)設置用戶變量,請使用SET語句

如下類型語句將要被廢棄SELECT @var, @var:=@var+1。

2)新增innodb_fsync_threshold

該變量是控制文件刷新到磁盤的速率,防止磁盤在短時間內飽和。

3)新增會話級臨時表空間

在以往的版本中,當執行SQL時,產生的臨時表都在全局表空間ibtmp1中,及時執行結束,臨時表被釋放,空間不會被回收。新版本中,會為session從臨時表空間池中分配一個臨時表空間,當連接斷開時,臨時表空間的磁盤空間被回收。

4)在線切換Group Replication的狀態

5)新增了group_replication_member_expel_timeout

之前,如果某個節點被懷疑有問題,在5秒檢測期結束之后,那么就直接被驅逐出這個集群。即使該節點恢復正常時,也不會再被加入集群。那么,瞬時的故障,會把某些節點驅逐出集群。

group_replication_member_expel_timeout讓管理員能更好的依據自身的場景,做出最合適的配置(建議配置時間小于一個小時)。

MariaDB 10.3版本功能展示

1、MariaDB 10.3支持update多表ORDER BY and LIMIT

1)update連表更新,limit語句

update t1 join t2 on t1.id=t2.id set t1.name='hechunyang' limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

2)update連表更新,ORDER BY and LIMIT語句

update t1 join t2 on t1.id=t2.id set t1.name='HEchunyang' order by t1.id DESC limit 3;

MySQL 8.0直接報錯

MariaDB 10.3更新成功

參考:

2、MariaDB10.3增補AliSQL補丁——安全執行Online DDL

Online DDL從名字上看很容易誤導新手,以為不論什么情況,修改表結構都不會鎖表,理想很豐滿,現實很骨感,注意這個坑!

有以下兩種情況執行DDL操作會鎖表的,Waiting for table metadata lock(元數據表鎖):

針對第二種情況,MariaDB10.3增補AliSQL補丁-DDL FAST FAIL,讓其DDL操作快速失敗。

例:

如果線上有某個慢SQL對該表進行操作,可以使用WAIT n(以秒為單位設置等待)或NOWAIT在語句中顯式設置鎖等待超時,在這種情況下,如果無法獲取鎖,語句將立即失敗。 WAIT 0相當于NOWAIT。

參考:

3、MariaDB Window Functions窗口函數分組取TOP N記錄

窗口函數在MariaDB10.2版本里實現,其簡化了復雜SQL的撰寫,提高了可讀性。

參考:

Percona Server發布8.0 GA版本

2018年12月21日,Percona發布了Percona Server 8.0 GA版本。

在支持MySQL8.0社區的基礎版上,Percona Server for MySQL 8.0版本中帶來了許多新功能:

1、安全性和合規性

2、性能和可擴展性

3、可觀察性和可用性

Percona Server for MySQL 8.0中將要被廢用功能:

Percona Server for MySQL 8.0中刪除的功能:

RocksDB發布V5.17.2版本

2018年10月24日,RocksDB發布V5.17.2版本。

RocksDB是Facebook在LevelDB基礎上用C++寫的高效內嵌式K/V存儲引擎。相比LevelDB,RocksDB提供了Column-Family,TTL,Transaction,Merge等方面的支持。目前MyRocks,TiKV等底層的存儲都是基于RocksDB來構建。

PostgreSQL發布11版本

2018年10月18日,PostgreSQL 11發布。

1、PostgreSQL 11的重大增強

2、PostgreSQL 插件動態

1)分布式插件citus發布 8.1

citus是PostgreSQL的一款sharding插件,目前國內蘇寧、鐵總、探探有較大量使用案例。

2)地理信息插件postgis發布2.5.1

PostGIS是專業的時空數據庫插件,在測繪、航天、氣象、地震、國土資源、地圖等時空專業領域應用廣泛。同時在互聯網行業也得到了對GIS有性能、功能深度要求的客戶青睞,比如共享出行、外賣等客戶。

3)時序插件timescale發布1.1.1

timescale是PostgreSQL的一款時序數據庫插件,在IoT行業中有非常好的應用。github star數目前有5000多,是一個非常火爆的插件。

4)流計算插件 pipelinedb 正式插件化

Pipelinedb是PostgreSQL的一款流計算插件,使用這個創建可以對高速寫入的數據進行實時根據定義的聚合規則進行聚合(支持概率計算),實時根據定義的規則觸發事件(支持事件處理函數的自定義)。可用于IoT,監控,FEED實時計算等場景。

3、PostgreSQL衍生開源產品動態

1)agensgraph發布 2.0.0版本

agensgraph是兼容PostgreSQL、opencypher的專業圖數據庫,適合圖式關系的管理。

2)gpdb發布5.15

gpdb是兼容PostgreSQL的mpp數據庫,適合OLAP場景。近兩年,gpdb一直在追趕PostgreSQL的社區版本,預計很快會追上10的PostgreSQL,在TP方面的性能也會得到顯著提升。

3)antdb發布3.2

antdb是以Postgres-XC為基礎開發的一款PostgreSQL sharding數據庫,亞信主導開發,開源,目前主要服務于亞信自有客戶。

4)遷移工具MTK發布52版本

MTK是EDB提供的可以將Oracle、PostgreSQL、MySQL、MSSQL、Sybase數據庫遷移到PostgreSQL, PPAS的產品,遷移速度可以達到100萬行/s以上。

DB2發布 11.1.4.4版本

DB2最新發布Mod Pack 4 and Fix Pack 4,包含以下幾方面的改動及增強:

1、性能

2、高可用

3、管理視圖

4、應用開發方面

5、聯邦功能

6、pureScale

NoSQL家族

Redis發布5.0.3版本

MongoDB升級更新MongoDB Mobile和MongoDB Stitch

2018年11月21日,MongoDB升級更新MongoDB Mobile和MongoDB Stitch,助力開發人員提升工作效率。

MongoDB 公司日前發布了多項新產品功能,旨在更好地幫助開發人員在世界各地管理數據。通過利用存儲在移動設備和后臺數據庫的數據之間的實時、自動的同步特性,MongoDB Mobile通用版本助力開發人員構建更快捷、反應更迅速的應用程序。此前,這只能通過在移動應用內部安裝一個可供選擇或限定功能的數據庫來實現。

MongoDB Mobile在為客戶提供隨處運行的自由度方面更進了一步。用戶在iOS和安卓終端設備上可擁有MongoDB所有功能,將網絡邊界擴展到其物聯網資產范疇。應用系統還可以使用MongoDB Stitch的軟件開發包訪問移動客戶端或后臺數據,幫助開發人員通過他們希望的任意方式查詢移動終端數據和物聯網數據,包括本地讀寫、本地JSON存儲、索引和聚合。通過Stitch移動同步功能(現可提供beta版),用戶可以自動對保存在本地的數據以及后臺數據庫的數據進行同步。

本期新秀:Cassandra發布3.11.3版本

2018年8月11日,Cassandra發布正式版3.11.3。

Apache Cassandra是一款開源分布式NoSQL數據庫系統,使用了基于Google BigTable的數據模型,與面向行(row)的傳統關系型數據庫或鍵值存儲key-value數據庫不同,Cassandra使用的是寬列存儲模型(Wide Column Stores)。與BigTable和其模仿者HBase不同,數據并不存儲在分布式文件系統如GFS或HDFS中,而是直接存于本地。

Cassandra的系統架構與Amazon DynamoDB類似,是基于一致性哈希的完全P2P架構,每行數據通過哈希來決定應該存在哪個或哪些節點中。集群沒有master的概念,所有節點都是同樣的角色,徹底避免了整個系統的單點問題導致的不穩定性,集群間的狀態同步通過Gossip協議來進行P2P的通信。

3.11.3版本的一些bug fix和改進:

NewSQL家族

TiDB 發布2.1.2版本

2018 年 12 月 22 日,TiDB 發布 2.1.2 版,TiDB-Ansible 相應發布 2.1.2 版本。該版本在 2.1.1 版的基礎上,對系統兼容性、穩定性做出了改進。

TiDB 是一款定位于在線事務處理/在線分析處理( HTAP: Hybrid Transactional/Analytical Processing)的融合型數據庫產品。除了底層的 RocksDB 存儲引擎之外,分布式SQL層、分布式KV存儲引擎(TiKV)完全自主設計和研發。

TiDB 完全開源,兼容MySQL協議和語法,可以簡單理解為一個可以無限水平擴展的MySQL,并且提供分布式事務、跨節點 JOIN、吞吐和存儲容量水平擴展、故障自恢復、高可用等優異的特性;對業務沒有任何侵入性,簡化開發,利于維護和平滑遷移。

TiDB:

PD:

TiKV:

Tools:

1)TiDB-Lightning

2)TiDB-Binlog

EsgynDB發布R2.5版本

2018年12月22日,EsgynDB R2.5版本正式發布。

作為企業級產品,EsgynDB 2.5向前邁進了一大步,它擁有以下功能和改進:

CockroachDB發布2.1版本

2018年10月30日,CockroachDB正式發布2.1版本,其新增特性如下:

新增企業級特性:

新增SQL特性:

新增內核特性:

Admin UI增強:

時間序列

本期新秀:TimescaleDB發布1.0版本

10月底,TimescaleDB 1.0宣布正式推出,官方表示該版本已可用于生產環境,支持完整SQL和擴展。

TimescaleDB是基于PostgreSQL數據庫開發的一款時序數據庫,以插件化的形式打包提供,隨著PostgreSQL的版本升級而升級,不會因為另立分支帶來麻煩。

TimescaleDB架構:

數據自動按時間和空間分片(chunk)

更新亮點:

大數據生態圈

Hadoop發布2.9.2版本

2018年11月中旬,Hadoop在2.9分支上發布了新的2.9.2版本,該版本進行了204個大大小小的變更,主要變更如下:

Greenplum 發布5.15版本

Greenplum最新的5.15版本中發布了流式數據加載工具。

該版本中的Greenplum Streem Server組件已經集成了Kafka流式加載功能,并通過了Confluent官方的集成認證,其支持的主要功能如下:

國產數據庫概覽

K-DB發布數據庫一體機版

2018年11月7日,K-DB發布了數據庫一體機版。該版本更新情況如下:

OceanBase遷移服務發布1.0版本

1月4日,OceanBase 正式發布OMS遷移服務1.0版本。

以下內容包含 OceanBase 遷移服務的重要特性和功能:

SequoiaDB發布3.0.1新版本

1、架構

1)完整計算存儲分離架構,兼容MySQL協議、語法

計算存儲分離體系以松耦合的方式將計算與存儲層分別部署,通過標準接口或插件對各個模塊和組件進行無縫替換,在計算層與存儲層均可實現自由的彈性伸縮。

SequoiaDB巨杉數據庫“計算-存儲分離”架構詳細示意

用戶可以根據自身業務特征選擇面向交易的SQL解析器(例如MySQL或PGSQL)或面向統計分析的執行引擎(例如SparkSQL)。眾所周知,使用不同的SQL優化與執行方式,數據庫的訪問性能可能會存在上千上萬倍的差距。計算存儲分離的核心思想便是在數據存儲層面進行一體化存儲,在計算層面則利用每種執行引擎的特點針對不同業務場景進行選擇和優化,用戶可以在存儲層進行邏輯與物理的隔離,將面向高頻交易的前端業務與面向高吞吐量的統計分析使用不同的硬件進行存儲,確保在多類型數據訪問時互不干擾,以真正達到生產環境可用的多租戶與HTAP能力。

2、其他更新信息

1)接口變更:

2)主要特性:

云數據庫

本期新秀:騰訊發布數據庫CynosDB,開啟公測

1、News

1)騰訊云數據庫MySQL2018年重大更新:

2)騰訊云數據庫MongoDB2018年重大更新:

3)騰訊云數據庫Redis/CKV+2018年重大更新:

4)騰訊云數據庫CTSDB2018年重大更新:

2、Redis 4.0集群版商業化上線

2018年10月,騰訊云數據庫Redis 4.0集群版完成邀測、公測、商業化三個迭代,在廣州、上海、北京正式全量商業化上線。

產品特性:

使用場景:

官網文檔:

3、騰訊自研數據庫CynosDB發布,開啟公測

2018年11月22日,騰訊云召開新一代自研數據庫CynosDB發布會,業界第一款全面兼容市面上兩大最主流的開源數據庫MySQL和PostgreSQL的高性能企業級分布式云數據庫。

本期新秀:京東云DRDS發布1.0版本

12月24日,京東云分布式關系型數據庫DRDS正式發布1.0版本。

DRDS是京東云精心自研的數據庫中間件產品,獲得了2018年 ”可信云技術創新獎”。DRDS可實現海量數據下的自動分庫分表,具有高性能,分布式,彈性升級,兼容MySQL等優點,適用于高并發、大規模數據的在線交易, 歷史 數據查詢,自動數據分片等業務場景,歷經多次618,雙十一的考驗,已經在京東集團內大規模使用。

京東云DRDS產品有以下主要特性

1)自動分庫分表

通過簡單的定義即可自動實現分庫分表,將數據實際存放在多個MySQL實例的數據庫中,但呈現給應用程序的依舊是一張表,對業務透明,應用程序幾乎無需改動,實現了對數據庫存儲和處理能力的水平擴展。

2)分布式架構

基于分布式架構的集群方案,多個對等節點同時對外提供服務,不但可有效規避服務的單點故障,而且更加容易擴展。

3)超強性能

具有極高的處理能力,雙節點即可支持數萬QPS,滿足用戶超大規模處理能力的需求。

4)兼容MySQL

兼容絕大部分MySQL語法,包括MySQL語法、數據類型、索引、常用函數、排序、關聯等DDL,DML語句,使用成本低。

參考鏈接:

RadonDB發布1.0.3版本

2018年12月26日,MyNewSQL領域的RadonDB云數據庫發布1.0.3版本。

推出dbaplus Newsletter的想法

dbaplus Newsletter旨在向廣大技術愛好者提供數據庫行業的最新技術發展趨勢,為社區的技術發展提供一個統一的發聲平臺。為此,我們策劃了RDBMS、NoSQL、NewSQL、時間序列、大數據生態圈、國產數據庫、云數據庫等幾個版塊。

我們不以商業宣傳為目的,不接受任何商業廣告宣傳,嚴格審查信息源的可信度和準確性,力爭為大家提供一個純凈的技術學習環境,歡迎大家監督指正。

至于Newsletter發布的周期,目前計劃是每三個月左右會做一次跟進, 下期計劃時間是2019年4月14日~4月25日, 如果有相關的信息提供請發送至郵箱:newsletter@dbaplus.cn

感謝名單

最后要感謝那些提供寶貴信息和建議的專家朋友,排名不分先后。

往期回顧:

↓↓別忘了點這里下載 2019年1月 完整版Newsletter 哦~

分享文章:tidb數據庫nosql的簡單介紹
鏈接地址:http://m.kartarina.com/article30/hdohpo.html

成都網站建設公司_創新互聯,為您提供域名注冊網站排名網站營銷搜索引擎優化做網站

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

商城網站建設
主站蜘蛛池模板: 777爽死你无码免费看一二区| 亚洲av日韩av高潮潮喷无码| 亚洲av片不卡无码久久| 日韩精品久久无码人妻中文字幕| 亚洲爆乳无码精品AAA片蜜桃| 极品无码国模国产在线观看| 亚洲Av综合色区无码专区桃色 | 未满十八18禁止免费无码网站| 无码精品尤物一区二区三区| 中文字幕无码精品亚洲资源网| 婷婷四虎东京热无码群交双飞视频 | 婷婷四虎东京热无码群交双飞视频| 亚洲?v无码国产在丝袜线观看| 精品久久无码中文字幕| 国产成人精品一区二区三区无码| 无码熟妇人妻AV在线影院| 日韩精品无码AV成人观看| 国产在线观看无码免费视频 | 少妇人妻偷人精品无码AV| 国产激情无码一区二区app| 无码 免费 国产在线观看91| 亚洲性无码AV中文字幕| 久热中文字幕无码视频| 午夜亚洲AV日韩AV无码大全| 超清无码熟妇人妻AV在线电影| 黑人巨大无码中文字幕无码| 精品成在人线AV无码免费看| 色AV永久无码影院AV| 亚洲ⅴ国产v天堂a无码二区| 狠狠精品久久久无码中文字幕| 无码日韩AV一区二区三区| 国内精品久久久久久无码不卡| 无码人妻丰满熟妇啪啪网站牛牛| 亚洲AV无码无限在线观看不卡| 中文有码无码人妻在线| 亚洲成av人片天堂网无码】 | 免费无码作爱视频| 一本之道高清无码视频| 国产成人无码专区| 熟妇人妻系列aⅴ无码专区友真希| 麻豆人妻少妇精品无码专区|