nosql為什么這么重要,為什么使用NoSQL

衡量數(shù)據(jù)庫性能的重要指標(biāo)

具體來說，本文包括以下內(nèi)容:

專注于為中小企業(yè)提供網(wǎng)站設(shè)計(jì)、做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)上猶免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上千家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

事務(wù)

查詢性能

用戶和查詢沖突

容量

配置

NoSQL 數(shù)據(jù)庫

事務(wù)

事務(wù)可以觀察真實(shí)用戶的行為：能夠在應(yīng)用交互時(shí)捕獲實(shí)時(shí)性能。眾所周知，測(cè)量事務(wù)的性能包括獲取整個(gè)事務(wù)的響應(yīng)時(shí)間和組成事務(wù)的各個(gè)部分的響應(yīng)時(shí)間。通常我們可以用這些響應(yīng)時(shí)間與滿足事務(wù)需求的基線對(duì)比，來確定當(dāng)前事務(wù)是否處于正常狀態(tài)。

如果你只想衡量應(yīng)用的某個(gè)方面，那么可以評(píng)估事務(wù)的行為。所以，盡管容器指標(biāo)能夠提供更豐富的信息，并且?guī)椭銢Q定何時(shí)對(duì)當(dāng)前環(huán)境進(jìn)行自動(dòng)測(cè)量，但你的事務(wù)就足以確定應(yīng)用性能。無需向應(yīng)用程序服務(wù)器獲取 CPU 的使用情況，你更應(yīng)該關(guān)心用戶是否完成了事務(wù)，以及該事務(wù)是否得到了優(yōu)化。

補(bǔ)充一個(gè)小知識(shí)點(diǎn)，事務(wù)是由入口點(diǎn)決定的，通過該入口點(diǎn)可以啟動(dòng)事務(wù)與應(yīng)用進(jìn)行交互。

一旦定義了事務(wù)，會(huì)在整個(gè)應(yīng)用生態(tài)系統(tǒng)中對(duì)其性能進(jìn)行測(cè)量，并將每個(gè)事務(wù)與基線進(jìn)行比對(duì)。例如，我們可能會(huì)決定當(dāng)事務(wù)的響應(yīng)時(shí)間與基線相比，一旦慢于平均響應(yīng)時(shí)間的兩個(gè)標(biāo)準(zhǔn)差是否就應(yīng)該判定為異常，如圖1所示。

圖1-基于基線評(píng)估當(dāng)前事務(wù)響應(yīng)時(shí)間

用于評(píng)估事務(wù)的基線與正在進(jìn)行的事務(wù)活動(dòng)在時(shí)間上是一致的，但事務(wù)會(huì)由每個(gè)事務(wù)執(zhí)行來完善。例如，當(dāng)你選定一個(gè)基線，在當(dāng)前事務(wù)結(jié)束之后，將事務(wù)與平均響應(yīng)時(shí)間按每天的小時(shí)數(shù)和每周的天數(shù)進(jìn)行對(duì)比，所有在那段時(shí)間內(nèi)執(zhí)行的事務(wù)都將會(huì)被納入下周的基線中。通過這種機(jī)制，應(yīng)用程序可以隨時(shí)間而變化，而無需每次都重建原始基線；你可以將其看作是一個(gè)隨時(shí)間移動(dòng)的窗口。

總之，事務(wù)最能反映用戶體驗(yàn)的測(cè)量方法，所以也是衡量性能狀況最重要的指標(biāo)。

查詢性能?

最容易檢測(cè)到查詢性能是否正常的指標(biāo)就是查詢本身。由查詢引起的問題可能會(huì)導(dǎo)致時(shí)間太長(zhǎng)而無法識(shí)別所需數(shù)據(jù)或返回?cái)?shù)據(jù)。所以不妨在查詢中排查以下問題。

1. 選擇過多冗余數(shù)據(jù)

編寫查詢語句來返回適當(dāng)?shù)臄?shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的，很可能你的查詢語句會(huì)返回太多列，從而導(dǎo)致選擇行和檢索數(shù)據(jù)變得異常緩慢。所以，最好是列出所需的列，而不是直接用 SELECT*。當(dāng)需要在特定字段中查詢時(shí)，該計(jì)劃可能會(huì)確定一個(gè)覆蓋索引從而加快結(jié)果返回。覆蓋索引通常會(huì)包含查詢中使用的所有字段。這意味著數(shù)據(jù)庫可以僅從索引中產(chǎn)生結(jié)果，而不需要通過底層表來構(gòu)建。

另外，列出結(jié)果中所需的列不僅可以減少傳輸?shù)臄?shù)據(jù)，還能進(jìn)一步提高性能。

2. 表之間的低效聯(lián)接

聯(lián)接會(huì)導(dǎo)致數(shù)據(jù)庫將多組數(shù)據(jù)帶到內(nèi)存中進(jìn)行比較，這會(huì)產(chǎn)生多個(gè)數(shù)據(jù)庫讀取和大量 CPU。根據(jù)表的索引，聯(lián)接還可能需要掃描兩個(gè)表的所有行。如果寫不好兩個(gè)大型表之間的聯(lián)接，就需要對(duì)每個(gè)表進(jìn)行完整掃描，這樣的計(jì)算量將會(huì)非常大。其他會(huì)拖慢聯(lián)接的因素包括聯(lián)接列之間存在不同的數(shù)據(jù)類型、需要轉(zhuǎn)換或加入包含 LIKE 的條件，這樣就會(huì)阻止使用索引。另外，還需注意避免使用全外聯(lián)接；在恰當(dāng)?shù)臅r(shí)候使用內(nèi)部聯(lián)接只返回所需數(shù)據(jù)。

3. 索引過多或過少

如果查詢優(yōu)化沒有可用的索引時(shí)，數(shù)據(jù)庫會(huì)重新掃描表來產(chǎn)生查詢結(jié)果，這個(gè)過程會(huì)生成大量的磁盤輸入/輸出（I/O）。適當(dāng)?shù)乃饕梢詼p少排序結(jié)果的需要。雖然非唯一值的索引在生成結(jié)果時(shí)，不能像唯一索引那樣方便。如果鍵越大，索引也會(huì)變大，并通過它們創(chuàng)建更多的磁盤 I/O。大多數(shù)索引是為了提高數(shù)據(jù)檢索的性能，但也需要明白索引本身也會(huì)影響數(shù)據(jù)的插入和更新，因?yàn)樗邢嚓P(guān)聯(lián)的指標(biāo)都必須更新。

4. 太多的SQL導(dǎo)致爭(zhēng)用解析資源

任何 SQL 查詢?cè)趫?zhí)行之前都必須被解析，在生成執(zhí)行計(jì)劃之前需要對(duì)語法和權(quán)限進(jìn)行檢查。由于解析非常耗時(shí)，數(shù)據(jù)庫會(huì)保存已解析的 SQL 來重復(fù)利用，從而減少解析的耗時(shí)。因?yàn)?WHERE 語句不同，所以使用文本值的查詢語句不能被共享。這將導(dǎo)致每個(gè)查詢都會(huì)被解析并添加到共享池中，由于池的空間有限，一些已保存的查詢會(huì)被舍棄。當(dāng)這些查詢?cè)俅纬霈F(xiàn)時(shí)，則需要重新解析。

用戶和查詢沖突?

數(shù)據(jù)庫支持多用戶，但多用戶活動(dòng)也可能造成沖突。

1. 由慢查詢導(dǎo)致的頁/行鎖定

為了確保查詢產(chǎn)生精確的結(jié)果，數(shù)據(jù)庫必須鎖定表以防止在運(yùn)行讀取查詢時(shí)再發(fā)生其他的插入和更新行為。如果報(bào)告或查詢相當(dāng)緩慢，需要修改值的用戶可能需要等待至更新完成。鎖提示能幫助數(shù)據(jù)庫使用最小破壞性的鎖。從事務(wù)數(shù)據(jù)庫中分離報(bào)表也是一種可靠的解決方法。

2. 事務(wù)鎖和死鎖

當(dāng)兩個(gè)事務(wù)被阻塞時(shí)會(huì)出現(xiàn)死鎖，因?yàn)槊恳粋€(gè)都需要使用被另一個(gè)占用的資源。當(dāng)出現(xiàn)一個(gè)普通鎖時(shí)，事務(wù)會(huì)被阻塞直到資源被釋放。但卻沒有解決死鎖的方案。數(shù)據(jù)庫會(huì)監(jiān)控死鎖并選擇終止其中一個(gè)事務(wù)，釋放資源并允許該事務(wù)繼續(xù)進(jìn)行，而另一個(gè)事務(wù)則回滾。

3. 批處理操作造成資源爭(zhēng)奪

批處理過程通常會(huì)執(zhí)行批量操作，如大量的數(shù)據(jù)加載或生成復(fù)雜的分析報(bào)告。這些操作是資源密集型的，但可能影響在線用戶的訪問應(yīng)用的性能。針對(duì)此問題最好的解決辦法是確保批處理在系統(tǒng)使用率較低時(shí)運(yùn)行，比如晚上，或用單獨(dú)的數(shù)據(jù)庫進(jìn)行事務(wù)處理和分析報(bào)告。

容量?

并不是所有的數(shù)據(jù)庫性能問題都是數(shù)據(jù)庫問題。有些問題也是硬件不合適造成的。

1. CPU 不足或 CPU 速度太慢

更多 CPU 可以分擔(dān)服務(wù)器負(fù)載，進(jìn)一步提高性能。數(shù)據(jù)庫的性能不僅是數(shù)據(jù)庫的原因，還受到服務(wù)器上運(yùn)行其他進(jìn)程的影響。因此，對(duì)數(shù)據(jù)庫負(fù)載及使用進(jìn)行審查也是必不可少的。由于 CPU 的利用率時(shí)時(shí)在變，在低使用率、平均使用率和峰值使用率的時(shí)間段分別檢查該指標(biāo)可以更好地評(píng)估增加額外的 CPU 資源是否有益。

2. IOPS 不足的慢磁盤

磁盤性能通常以每秒輸入/輸出操作（IOPS）來計(jì)。結(jié)合 I/O 大小，該指標(biāo)可以衡量每秒的磁盤吞吐量是多少兆。同時(shí)，吞吐量也受磁盤的延遲影響，比如需要多久才能完成請(qǐng)求，這些指標(biāo)主要是針對(duì)磁盤存儲(chǔ)技術(shù)而言。傳統(tǒng)的硬盤驅(qū)動(dòng)器（HDD）有一個(gè)旋轉(zhuǎn)磁盤，通常比固態(tài)硬盤（SSD）或閃存更慢。直到近期，SSD 雖然仍比 HDD 貴，但成本已經(jīng)降了下來，所以在市場(chǎng)上也更具競(jìng)爭(zhēng)力。

3. 全部或錯(cuò)誤配置的磁盤

眾所周知，數(shù)據(jù)庫會(huì)被大量磁盤訪問，所以不正確配置的磁盤可能帶來嚴(yán)重的性能缺陷。磁盤應(yīng)該適當(dāng)分區(qū)，將系統(tǒng)數(shù)據(jù)目錄和用戶數(shù)據(jù)日志分開。高度活躍的表應(yīng)該區(qū)分以避免爭(zhēng)用，通過在不同磁盤上存放數(shù)據(jù)庫和索引增加并行放置，但不要將操作系統(tǒng)和數(shù)據(jù)庫交換空間放置在同一磁盤上。

4. 內(nèi)存不足

有限或不恰當(dāng)?shù)奈锢韮?nèi)存分配會(huì)影響數(shù)據(jù)庫性能。通常我們認(rèn)為可用的內(nèi)存更多，性能就越好。監(jiān)控分頁和交換,在多個(gè)非繁忙磁盤中建立多頁面空間，進(jìn)一步確保分頁空間分配足夠滿足數(shù)據(jù)庫要求；每個(gè)數(shù)據(jù)庫供應(yīng)商也可以在這個(gè)問題上提供指導(dǎo)。

5. 網(wǎng)速慢

網(wǎng)絡(luò)速度會(huì)影響到如何快速檢索數(shù)據(jù)并返回給終端用戶或調(diào)用過程。使用寬帶連接到遠(yuǎn)程數(shù)據(jù)庫。在某些情況下，選擇 TCP/IP 協(xié)議而不是命名管道可顯著提高數(shù)據(jù)庫性能。

配置

每個(gè)數(shù)據(jù)庫都需設(shè)置大量的配置項(xiàng)。通常情況下，默認(rèn)值可能不足以滿足數(shù)據(jù)庫所需的性能。所以，檢查所有的參數(shù)設(shè)置，包括以下問題。

1. 緩沖區(qū)緩存太小

通過將數(shù)據(jù)存儲(chǔ)在內(nèi)核內(nèi)存，緩沖區(qū)緩存可以進(jìn)一步提高性能同時(shí)減少磁盤 I/O。當(dāng)緩存太小時(shí)，緩存中的數(shù)據(jù)會(huì)更頻繁地刷新。如果它再次被請(qǐng)求，就必須從磁盤重讀。除了磁盤讀取緩慢之外，還給 I/O 設(shè)備增添了負(fù)擔(dān)從而成為瓶頸。除了給緩沖區(qū)緩存分配足夠的空間，調(diào)優(yōu) SQL 查詢可以幫助其更有效地利用緩沖區(qū)緩存。

2. 沒有查詢緩存

查詢緩存會(huì)存儲(chǔ)數(shù)據(jù)庫查詢和結(jié)果集。當(dāng)執(zhí)行相同的查詢時(shí)，數(shù)據(jù)會(huì)在緩存中被迅速檢索，而不需要再次執(zhí)行查詢。數(shù)據(jù)會(huì)更新失效結(jié)果，所以查詢緩存是唯一有效的靜態(tài)數(shù)據(jù)。但在某些情況下，查詢緩存卻可能成為性能瓶頸。比如當(dāng)鎖定為更新時(shí)，巨大的緩存可能導(dǎo)致爭(zhēng)用沖突。

3. 磁盤上臨時(shí)表創(chuàng)建導(dǎo)致的 I/O 爭(zhēng)用

在執(zhí)行特定的查詢操作時(shí)，數(shù)據(jù)庫需要?jiǎng)?chuàng)建臨時(shí)表，如執(zhí)行一個(gè) GROUP BY 子句。如果可能，在內(nèi)存中創(chuàng)建臨時(shí)表。但是，在某些情況下，在內(nèi)存中創(chuàng)建臨時(shí)表并不可行，比如當(dāng)數(shù)據(jù)包含 BLOB 或 TEXT 對(duì)象時(shí)。在這些情況下，會(huì)在磁盤上創(chuàng)建臨時(shí)表。大量的磁盤 I / O 都需要?jiǎng)?chuàng)建臨時(shí)表、填充記錄、從表中選擇所需數(shù)據(jù)并在查詢完成后舍棄。為了避免影響性能，臨時(shí)數(shù)據(jù)庫應(yīng)該從主數(shù)據(jù)庫中分離出來。重寫查詢還可以通過創(chuàng)建派生表來減少對(duì)臨時(shí)表的需求。使用派生表直接從另一個(gè) SELECT 語句的結(jié)果中選擇，允許將數(shù)據(jù)加到內(nèi)存中而不是當(dāng)前磁盤上。

NoSQL 數(shù)據(jù)庫

NoSQL 的優(yōu)勢(shì)在于它處理大數(shù)據(jù)的能力非常迅速。但是在實(shí)際使用中，也應(yīng)該綜合參考 NoSQL 的缺點(diǎn)，從而決定是否適合你的用例場(chǎng)景。這就是為什么NoSQL通常被理解為 「不僅僅是 SQL」，說明了 NoSQL 并不總是正確的解決方案，也沒必要完全取代 SQL，以下分別列舉出五大主要原因。

1. 挑剔事務(wù)

難以保持 NoSQL 條目的一致性。當(dāng)訪問結(jié)構(gòu)化數(shù)據(jù)時(shí)，它并不能完全確保同一時(shí)間對(duì)不同表的更改都生效。如果某個(gè)過程發(fā)生崩潰，表可能會(huì)不一致。一致事務(wù)的典型代表是復(fù)式記賬法。相應(yīng)的信貸必須平衡每個(gè)借方，反之亦然。如果雙方數(shù)據(jù)不一致則不能輸入。NoSQL 則可能無法保證「收支平衡」。

2. 復(fù)雜數(shù)據(jù)庫

NoSQL 的支持者往往以高效代碼、簡(jiǎn)單性和 NoSQL 的速度為傲。當(dāng)數(shù)據(jù)庫任務(wù)很簡(jiǎn)單時(shí)，所有這些因素都是優(yōu)勢(shì)。但當(dāng)數(shù)據(jù)庫變得復(fù)雜，NoSQL 會(huì)開始分解。此時(shí)，SQL 則比 NoSQL 更好地處理復(fù)雜需求，因?yàn)?SQL 已經(jīng)成熟，有符合行業(yè)標(biāo)準(zhǔn)的接口。而每個(gè) NoSQL 設(shè)置都有一個(gè)唯一的接口。

3. 一致聯(lián)接

當(dāng)執(zhí)行 SQL 的聯(lián)接時(shí)，由于系統(tǒng)必須從不同的表中提取數(shù)據(jù)進(jìn)行鍵對(duì)齊，所以有一個(gè)巨大的開銷。而 NoSQL 似乎是一個(gè)空想，因?yàn)槿狈β?lián)接功能。所有的數(shù)據(jù)都在同一個(gè)表的一個(gè)地方。當(dāng)檢索數(shù)據(jù)時(shí)，它會(huì)同時(shí)提取所有的鍵值對(duì)。問題在于這會(huì)創(chuàng)建同一數(shù)據(jù)的多個(gè)副本。這些副本也必須更新，而這種情況下，NoSQL 沒有功能來確保更新。

4. Schema設(shè)計(jì)的靈活性

由于 NoSQL 不需要 schema，所以在某些情況下也是獨(dú)一無二的。在以前的數(shù)據(jù)庫模型中，程序員必須考慮所有需要的列能夠擴(kuò)展，能夠適應(yīng)每行的數(shù)據(jù)條目。在 NoSQL 下，條目可以有多種字符串或者完全沒有。這種靈活性允許程序員迅速增加數(shù)據(jù)。但是，也可能存在問題，比如當(dāng)有多個(gè)團(tuán)體在同一項(xiàng)目上工作時(shí)，或者新的開發(fā)團(tuán)隊(duì)接手一個(gè)項(xiàng)目時(shí)。開發(fā)人員能夠自由地修改數(shù)據(jù)庫，也可能會(huì)不斷實(shí)現(xiàn)各種各樣的密鑰對(duì)。

5. 資源密集型

NoSQL 數(shù)據(jù)庫通常比關(guān)系數(shù)據(jù)庫更加資源密集。他們需要更多的 CPU 儲(chǔ)備和 RAM 分配。出于這個(gè)原因，大多數(shù)共享主機(jī)公司都不提供 NoSQL。你必須注冊(cè)一個(gè) VPS 或運(yùn)行自己的專用服務(wù)器。另一方面，SQL 主要是在服務(wù)器上運(yùn)行。初期的工作都很順利，但隨著數(shù)據(jù)庫需求的增加，硬件必須擴(kuò)大。單個(gè)大型服務(wù)器比多個(gè)小型服務(wù)器昂貴得多，價(jià)格呈指數(shù)增長(zhǎng)。所以在這種企業(yè)計(jì)算場(chǎng)景下，使用 NoSQL 更為劃算，例如那些由谷歌和 Facebook 使用的服務(wù)器。

newsql和nosql的區(qū)別和聯(lián)系

在大數(shù)據(jù)時(shí)代，“多種架構(gòu)支持多類應(yīng)用”成為數(shù)據(jù)庫行業(yè)應(yīng)對(duì)大數(shù)據(jù)的基本思路，數(shù)據(jù)庫行業(yè)出現(xiàn)互為補(bǔ)充的三大陣營(yíng)，適用于事務(wù)處理應(yīng)用的OldSQL、適用于數(shù)據(jù)分析應(yīng)用的NewSQL和適用于互聯(lián)網(wǎng)應(yīng)用的NoSQL。但在一些復(fù)雜的應(yīng)用場(chǎng)景中，單一數(shù)據(jù)庫架構(gòu)都不能完全滿足應(yīng)用場(chǎng)景對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)管理、復(fù)雜分析、關(guān)聯(lián)查詢、實(shí)時(shí)性處理和控制建設(shè)成本等多方面的需要，因此不同架構(gòu)數(shù)據(jù)庫混合部署應(yīng)用成為滿足復(fù)雜應(yīng)用的必然選擇。不同架構(gòu)數(shù)據(jù)庫混合使用的模式可以概括為：OldSQL+NewSQL、OldSQL+NoSQL、NewSQL+NoSQL三種主要模式。下面通過三個(gè)案例對(duì)不同架構(gòu)數(shù)據(jù)庫的混合應(yīng)用部署進(jìn)行介紹。

OldSQL+NewSQL 在數(shù)據(jù)中心類應(yīng)用中混合部署

采用OldSQL+NewSQL模式構(gòu)建數(shù)據(jù)中心，在充分發(fā)揮OldSQL數(shù)據(jù)庫的事務(wù)處理能力的同時(shí)，借助NewSQL在實(shí)時(shí)性、復(fù)雜分析、即席查詢等方面的獨(dú)特優(yōu)勢(shì)，以及面對(duì)海量數(shù)據(jù)時(shí)較強(qiáng)的擴(kuò)展能力，滿足數(shù)據(jù)中心對(duì)當(dāng)前“熱”數(shù)據(jù)事務(wù)型處理和海量歷史“冷”數(shù)據(jù)分析兩方面的需求。OldSQL+NewSQL模式在數(shù)據(jù)中心類應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NewSQL不適合事務(wù)處理的不足，NewSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)能力和處理性能方面的缺陷。

商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合部署方式搭建，OldSQL數(shù)據(jù)庫滿足各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸檔備份和事務(wù)型應(yīng)用，NewSQL MPP數(shù)據(jù)庫集群對(duì)即席查詢、多維分析等應(yīng)用提供高性能支持，并且通過MPP集群架構(gòu)實(shí)現(xiàn)應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)的擴(kuò)展能力。

商業(yè)銀行數(shù)據(jù)中心存儲(chǔ)架構(gòu)

與傳統(tǒng)的OldSQL模式相比，商業(yè)銀行數(shù)據(jù)中心采用OldSQL+NewSQL混合搭建模式，數(shù)據(jù)加載性能提升3倍以上，即席查詢和統(tǒng)計(jì)分析性能提升6倍以上。NewSQL MPP的高可擴(kuò)展性能夠應(yīng)對(duì)新的業(yè)務(wù)需求，可隨著數(shù)據(jù)量的增長(zhǎng)采用集群方式構(gòu)建存儲(chǔ)容量更大的數(shù)據(jù)中心。

OldSQL+NoSQL 在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中混合部署

在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中采用OldSQL+NoSQL混合模式，能夠很好的解決互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用對(duì)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)和快速處理的需求。在諸如大型電子商務(wù)平臺(tái)、大型SNS平臺(tái)等互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用場(chǎng)景中，OldSQL在應(yīng)用中負(fù)責(zé)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和事務(wù)型處理，NoSQL在應(yīng)用中負(fù)責(zé)存儲(chǔ)和處理海量非結(jié)構(gòu)化的數(shù)據(jù)和低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)。OldSQL+NoSQL模式在互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用中的互補(bǔ)作用體現(xiàn)在，OldSQL彌補(bǔ)了NoSQL在ACID特性和復(fù)雜關(guān)聯(lián)運(yùn)算方面的不足，NoSQL彌補(bǔ)了OldSQL在海量數(shù)據(jù)存儲(chǔ)和非結(jié)構(gòu)化數(shù)據(jù)處理方面的缺陷。

數(shù)據(jù)魔方是淘寶網(wǎng)的一款數(shù)據(jù)產(chǎn)品，主要提供行業(yè)數(shù)據(jù)分析、店鋪數(shù)據(jù)分析。淘寶數(shù)據(jù)產(chǎn)品在存儲(chǔ)層采用OldSQL+NoSQL混合模式，由基于MySQL的分布式關(guān)系型數(shù)據(jù)庫集群MyFOX和基于HBase的NoSQL存儲(chǔ)集群Prom組成。由于OldSQL強(qiáng)大的語義和關(guān)系表達(dá)能力，在應(yīng)用中仍然占據(jù)著重要地位，目前存儲(chǔ)在MyFOX中的統(tǒng)計(jì)結(jié)果數(shù)據(jù)已經(jīng)達(dá)到10TB，占據(jù)著數(shù)據(jù)魔方總數(shù)據(jù)量的95%以上。另一方面，NoSQL作為SQL的有益補(bǔ)充，解決了OldSQL數(shù)據(jù)庫無法解決的全屬性選擇器等問題。

淘寶海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)

基于OldSQL+NoSQL混合架構(gòu)的特點(diǎn)，數(shù)據(jù)魔方目前已經(jīng)能夠提供壓縮前80TB的數(shù)據(jù)存儲(chǔ)空間，支持每天4000萬的查詢請(qǐng)求，平均響應(yīng)時(shí)間在28毫秒，足以滿足未來一段時(shí)間內(nèi)的業(yè)務(wù)增長(zhǎng)需求。

NewSQL+NoSQL 在行業(yè)大數(shù)據(jù)應(yīng)用中混合部署

行業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)的區(qū)別在于行業(yè)大數(shù)據(jù)的價(jià)值密度更高，并且對(duì)結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等都比互聯(lián)網(wǎng)大數(shù)據(jù)有更高的要求。行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景主要是分析類應(yīng)用，如：電信、金融、政務(wù)、能源等行業(yè)的決策輔助、預(yù)測(cè)預(yù)警、統(tǒng)計(jì)分析、經(jīng)營(yíng)分析等。

在行業(yè)大數(shù)據(jù)應(yīng)用中采用NewSQL+NoSQL混合模式，充分利用NewSQL在結(jié)構(gòu)化數(shù)據(jù)分析處理方面的優(yōu)勢(shì)，以及NoSQL在非結(jié)構(gòu)數(shù)據(jù)處理方面的優(yōu)勢(shì)，實(shí)現(xiàn)NewSQL與NoSQL的功能互補(bǔ)，解決行業(yè)大數(shù)據(jù)應(yīng)用對(duì)高價(jià)值結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)處理、復(fù)雜的多表關(guān)聯(lián)分析、即席查詢、數(shù)據(jù)強(qiáng)一致性等要求，以及對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和精確查詢的要求。在應(yīng)用中，NewSQL承擔(dān)高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析處理工作，NoSQL承擔(dān)存儲(chǔ)和處理海量非結(jié)構(gòu)化數(shù)據(jù)和不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的低價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)的工作。

當(dāng)前電信運(yùn)營(yíng)商在集中化BI系統(tǒng)建設(shè)過程中面臨著數(shù)據(jù)規(guī)模大、數(shù)據(jù)處理類型多等問題，并且需要應(yīng)對(duì)大量的固定應(yīng)用，以及占統(tǒng)計(jì)總數(shù)80%以上的突發(fā)性臨時(shí)統(tǒng)計(jì)(ad-hoc)需求。在集中化BI系統(tǒng)的建設(shè)中采用NewSQL+NoSQL混搭的模式，充分利用NewSQL在復(fù)雜分析、即席查詢等方面處理性能的優(yōu)勢(shì)，及NoSQL在非結(jié)構(gòu)化數(shù)據(jù)處理和海量數(shù)據(jù)存儲(chǔ)方面的優(yōu)勢(shì)，實(shí)現(xiàn)高效低成本。

集中化BI系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)

集中化BI系統(tǒng)按照數(shù)據(jù)類型和處理方式的不同，將結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)分別存儲(chǔ)在不同的系統(tǒng)中：非結(jié)構(gòu)化數(shù)據(jù)在Hadoop平臺(tái)上存儲(chǔ)與處理;結(jié)構(gòu)化、不需要關(guān)聯(lián)分析、Ad-hoc查詢較少的數(shù)據(jù)保存在NoSQL數(shù)據(jù)庫或Hadoop平臺(tái);結(jié)構(gòu)化、需要關(guān)聯(lián)分析或經(jīng)常ad-hoc查詢的數(shù)據(jù)，保存在NewSQL MPP數(shù)據(jù)庫中，短期高價(jià)值數(shù)據(jù)放在高性能平臺(tái)，中長(zhǎng)期放在低成本產(chǎn)品中。

結(jié)語

當(dāng)前信息化應(yīng)用的多樣性、復(fù)雜性，以及三種數(shù)據(jù)庫架構(gòu)各自所具有的優(yōu)勢(shì)和局限性，造成任何一種架構(gòu)的數(shù)據(jù)庫都不能完全滿足應(yīng)用需求，因此不同架構(gòu)數(shù)據(jù)庫混合使用，從而彌補(bǔ)其他架構(gòu)的不足成為必然選擇。根據(jù)應(yīng)用場(chǎng)景采用不同架構(gòu)數(shù)據(jù)庫進(jìn)行組合搭配，充分發(fā)揮每種架構(gòu)數(shù)據(jù)庫的特點(diǎn)和優(yōu)勢(shì)，并且與其他架構(gòu)數(shù)據(jù)庫形成互補(bǔ)，完全涵蓋應(yīng)用需求，保證數(shù)據(jù)資源的最優(yōu)化利用，將成為未來一段時(shí)期內(nèi)信息化應(yīng)用主要采用的解決方式。

目前在國內(nèi)市場(chǎng)上，OldSQL主要為Oracle、IBM等國外數(shù)據(jù)庫廠商所壟斷，達(dá)夢(mèng)、金倉等國產(chǎn)廠商仍處于追趕狀態(tài);南大通用憑借國產(chǎn)新型數(shù)據(jù)庫GBase 8a異軍突起，與EMC的Greenplum和HP的Vertica躋身NewSQL市場(chǎng)三強(qiáng);NoSQL方面用戶則大多采用Hadoop開源方案。

什么是NoSQL數(shù)據(jù)庫？

2. 什么是NoSQL？

2.1 NoSQL 概述

NoSQL(NoSQL = Not Only SQL )，意即“不僅僅是SQL”，

泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)web2.0網(wǎng)站的興起，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付web2.0網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的web2.0純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問題，而非關(guān)系型的數(shù)據(jù)庫則由于其本身的特點(diǎn)得到了非常迅速的發(fā)展。NoSQL數(shù)據(jù)庫的產(chǎn)生就是為了解決大規(guī)模數(shù)據(jù)集合多重?cái)?shù)據(jù)種類帶來的挑戰(zhàn)，尤其是大數(shù)據(jù)應(yīng)用難題，包括超大規(guī)模數(shù)據(jù)的存儲(chǔ)。

（例如谷歌或Facebook每天為他們的用戶收集萬億比特的數(shù)據(jù)）。這些類型的數(shù)據(jù)存儲(chǔ)不需要固定的模式，無需多余操作就可以橫向擴(kuò)展。

2.2 NoSQL代表

MongDB、 Redis、Memcache

3. 關(guān)系型數(shù)據(jù)庫與NoSQL的區(qū)別？

3.1 RDBMS

高度組織化結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化查詢語言（SQL）

數(shù)據(jù)和關(guān)系都存儲(chǔ)在單獨(dú)的表中。

數(shù)據(jù)操縱語言，數(shù)據(jù)定義語言

嚴(yán)格的一致性

基礎(chǔ)事務(wù)

ACID

關(guān)系型數(shù)據(jù)庫遵循ACID規(guī)則

事務(wù)在英文中是transaction，和現(xiàn)實(shí)世界中的交易很類似，它有如下四個(gè)特性：

A (Atomicity) 原子性

原子性很容易理解，也就是說事務(wù)里的所有操作要么全部做完，要么都不做，事務(wù)成功的條件是事務(wù)里的所有操作都成功，只要有一個(gè)操作失敗，整個(gè)事務(wù)就失敗，需要回滾。比如銀行轉(zhuǎn)賬，從A賬戶轉(zhuǎn)100元至B賬戶，分為兩個(gè)步驟：1）從A賬戶取100元；2）存入100元至B賬戶。這兩步要么一起完成，要么一起不完成，如果只完成第一步，第二步失敗，錢會(huì)莫名其妙少了100元。

C (Consistency) 一致性

一致性也比較容易理解，也就是說數(shù)據(jù)庫要一直處于一致的狀態(tài)，事務(wù)的運(yùn)行不會(huì)改變數(shù)據(jù)庫原本的一致性約束。

I (Isolation) 獨(dú)立性

所謂的獨(dú)立性是指并發(fā)的事務(wù)之間不會(huì)互相影響，如果一個(gè)事務(wù)要訪問的數(shù)據(jù)正在被另外一個(gè)事務(wù)修改，只要另外一個(gè)事務(wù)未提交，它所訪問的數(shù)據(jù)就不受未提交事務(wù)的影響。比如現(xiàn)有有個(gè)交易是從A賬戶轉(zhuǎn)100元至B賬戶，在這個(gè)交易還未完成的情況下，如果此時(shí)B查詢自己的賬戶，是看不到新增加的100元的

D (Durability) 持久性

持久性是指一旦事務(wù)提交后，它所做的修改將會(huì)永久的保存在數(shù)據(jù)庫上，即使出現(xiàn)宕機(jī)也不會(huì)丟失。

3.2 NoSQL

代表著不僅僅是SQL

沒有聲明性查詢語言

沒有預(yù)定義的模式

鍵 - 值對(duì)存儲(chǔ)，列存儲(chǔ)，文檔存儲(chǔ)，圖形數(shù)據(jù)庫

最終一致性，而非ACID屬性

非結(jié)構(gòu)化和不可預(yù)知的數(shù)據(jù)

CAP定理

高性能，高可用性和可伸縮性

分布式數(shù)據(jù)庫中的CAP原理(了解)

CAP定理：

Consistency(一致性), 數(shù)據(jù)一致更新，所有數(shù)據(jù)變動(dòng)都是同步的

Availability(可用性), 好的響應(yīng)性能

Partition tolerance(分區(qū)容錯(cuò)性) 可靠性

P: 系統(tǒng)中任意信息的丟失或失敗不會(huì)影響系統(tǒng)的繼續(xù)運(yùn)作。

定理：任何分布式系統(tǒng)只可同時(shí)滿足二點(diǎn)，沒法三者兼顧。

CAP理論的核心是：一個(gè)分布式系統(tǒng)不可能同時(shí)很好的滿足一致性，可用性和分區(qū)容錯(cuò)性這三個(gè)需求，

因此，根據(jù) CAP 原理將 NoSQL 數(shù)據(jù)庫分成了滿足 CA 原則、滿足 CP 原則和滿足 AP 原則三 大類：

CA - 單點(diǎn)集群，滿足一致性，可用性的系統(tǒng)，通常在可擴(kuò)展性上不太強(qiáng)大。

CP - 滿足一致性，分區(qū)容忍性的系統(tǒng)，通常性能不是特別高。

AP - 滿足可用性，分區(qū)容忍性的系統(tǒng)，通常可能對(duì)一致性要求低一些。

CAP理論就是說在分布式存儲(chǔ)系統(tǒng)中，最多只能實(shí)現(xiàn)上面的兩點(diǎn)。

而由于當(dāng)前的網(wǎng)絡(luò)硬件肯定會(huì)出現(xiàn)延遲丟包等問題，所以分區(qū)容忍性是我們必須需要實(shí)現(xiàn)的。

所以我們只能在一致性和可用性之間進(jìn)行權(quán)衡，沒有NoSQL系統(tǒng)能同時(shí)保證這三點(diǎn)。

說明：C：強(qiáng)一致性 A：高可用性 P：分布式容忍性

舉例：

CA：傳統(tǒng)Oracle數(shù)據(jù)庫

AP：大多數(shù)網(wǎng)站架構(gòu)的選擇

CP：Redis、Mongodb

注意：分布式架構(gòu)的時(shí)候必須做出取舍。

一致性和可用性之間取一個(gè)平衡。多余大多數(shù)web應(yīng)用，其實(shí)并不需要強(qiáng)一致性。

因此犧牲C換取P，這是目前分布式數(shù)據(jù)庫產(chǎn)品的方向。

4. 當(dāng)下NoSQL的經(jīng)典應(yīng)用

當(dāng)下的應(yīng)用是 SQL 與 NoSQL 一起使用的。

代表項(xiàng)目：阿里巴巴商品信息的存放。

去 IOE 化。

ps：I 是指 IBM 的小型機(jī)，很貴的，好像好幾萬一臺(tái)；O 是指 Oracle 數(shù)據(jù)庫，也很貴的，好幾萬呢；M 是指 EMC 的存儲(chǔ)設(shè)備，也很貴的。

難點(diǎn)：

數(shù)據(jù)類型多樣性。

數(shù)據(jù)源多樣性和變化重構(gòu)。

數(shù)據(jù)源改造而服務(wù)平臺(tái)不需要大面積重構(gòu)。

什么是nosql數(shù)據(jù)庫？nosql和rdbms有什么區(qū)別

1 理解ACID與BASE的區(qū)別（ACID是關(guān)系型數(shù)據(jù)庫強(qiáng)一致性的四個(gè)要求，而BASE是NoSQL數(shù)據(jù)庫通常對(duì)可用性及一致性的弱要求原則，它們的意思分別是，ACID：atomicity, consistency, isolation, durability;BASE：Basically Available, Soft-state, Eventually Consistent。同時(shí)有意思的是ACID在英語里意為酸，BASE意思為堿）

2 理解持久化與非持久化的區(qū)別。這么說是因?yàn)橛械腘oSQL系統(tǒng)是純內(nèi)存存儲(chǔ)的。

3 你必須意識(shí)到傳統(tǒng)有關(guān)系型數(shù)據(jù)庫與NoSQL系統(tǒng)在數(shù)據(jù)結(jié)構(gòu)上的本質(zhì)區(qū)別。傳統(tǒng)關(guān)系型數(shù)據(jù)庫通常是基于行的表格型存儲(chǔ)，而NoSQL系統(tǒng)包括了列式存儲(chǔ)（Cassandra）、key/value存儲(chǔ)（Memcached）、文檔型存儲(chǔ)（CouchDB）以及圖結(jié)構(gòu)存儲(chǔ)（Neo4j）

4與傳統(tǒng)關(guān)系數(shù)據(jù)庫有統(tǒng)一的SQL語言操作接口不同，NoSQL系統(tǒng)通常有自己特有的API接口。

5 在架構(gòu)上，你必須搞清楚，NoSQL系統(tǒng)是被設(shè)計(jì)用于成百上千臺(tái)機(jī)器的集群中的，而非共享型數(shù)據(jù)庫系統(tǒng)的架構(gòu)。

6在NoSQL系統(tǒng)中，可能你得習(xí)慣一下不知道你的數(shù)據(jù)具體存在何處的情況。

7 在NoSQL系統(tǒng)中，你最好習(xí)慣它的弱一致性。”eventually consistent”(最終一致性)正是BASE原則中的重要一項(xiàng)。比如在Twitter，你在Followers列表中經(jīng)常會(huì)感受到數(shù)據(jù)的延遲。

8 在NoSQL系統(tǒng)中，你要理解，很多時(shí)候數(shù)據(jù)并不總是可用的。

9 你得理解，有的方案是擁有分區(qū)容忍性的，有的方案不一定有。

nosql數(shù)據(jù)庫是什么 具有代表性以key-value的形式存儲(chǔ)的

什么是NoSQL

大家有沒有聽說過“NoSQL”呢?近年，這個(gè)詞極受關(guān)注。看到“NoSQL”這個(gè)詞，大家可能會(huì)誤以為是“No!SQL”的縮寫，并深感憤怒：“SQL怎么會(huì)沒有必要了呢?”但實(shí)際上，它是“Not Only SQL”的縮寫。它的意義是：適用關(guān)系型數(shù)據(jù)庫的時(shí)候就使用關(guān)系型數(shù)據(jù)庫，不適用的時(shí)候也沒有必要非使用關(guān)系型數(shù)據(jù)庫不可，可以考慮使用更加合適的數(shù)據(jù)存儲(chǔ)。

為彌補(bǔ)關(guān)系型數(shù)據(jù)庫的不足，各種各樣的NoSQL數(shù)據(jù)庫應(yīng)運(yùn)而生。

為了更好地了解本書所介紹的NoSQL數(shù)據(jù)庫，對(duì)關(guān)系型數(shù)據(jù)庫的理解是必不可少的。那么，就讓我們先來看一看關(guān)系型數(shù)據(jù)庫的歷史、分類和特征吧。

關(guān)系型數(shù)據(jù)庫簡(jiǎn)史

1969年，埃德加?6?1弗蘭克?6?1科德(Edgar Frank Codd)發(fā)表了劃時(shí)代的論文，首次提出了關(guān)系數(shù)據(jù)模型的概念。但可惜的是，刊登論文的《IBM Research Report》只是IBM公司的內(nèi)部刊物，因此論文反響平平。1970年，他再次在刊物《Communication of the ACM》上發(fā)表了題為“A Relational Model of Data for Large Shared Data banks”(大型共享數(shù)據(jù)庫的關(guān)系模型)的論文，終于引起了大家的關(guān)注。

科德所提出的關(guān)系數(shù)據(jù)模型的概念成為了現(xiàn)今關(guān)系型數(shù)據(jù)庫的基礎(chǔ)。當(dāng)時(shí)的關(guān)系型數(shù)據(jù)庫由于硬件性能低劣、處理速度過慢而遲遲沒有得到實(shí)際應(yīng)用。但之后隨著硬件性能的提升，加之使用簡(jiǎn)單、性能優(yōu)越等優(yōu)點(diǎn)，關(guān)系型數(shù)據(jù)庫得到了廣泛的應(yīng)用。

通用性及高性能

雖然本書是講解NoSQL數(shù)據(jù)庫的，但有一個(gè)重要的大前提，請(qǐng)大家一定不要誤解。這個(gè)大前提就是“關(guān)系型數(shù)據(jù)庫的性能絕對(duì)不低，它具有非常好的通用性和非常高的性能”。毫無疑問，對(duì)于絕大多數(shù)的應(yīng)用來說它都是最有效的解決方案。

突出的優(yōu)勢(shì)

關(guān)系型數(shù)據(jù)庫作為應(yīng)用廣泛的通用型數(shù)據(jù)庫，它的突出優(yōu)勢(shì)主要有以下幾點(diǎn):

保持?jǐn)?shù)據(jù)的一致性(事務(wù)處理)

由于以標(biāo)準(zhǔn)化為前提，數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)

可以進(jìn)行JOIN等復(fù)雜查詢

存在很多實(shí)際成果和專業(yè)技術(shù)信息(成熟的技術(shù))

這其中，能夠保持?jǐn)?shù)據(jù)的一致性是關(guān)系型數(shù)據(jù)庫的最大優(yōu)勢(shì)。在需要嚴(yán)格保證數(shù)據(jù)一致性和處理完整性的情況下，用關(guān)系型數(shù)據(jù)庫是肯定沒有錯(cuò)的。但是有些情況不需要JOIN，對(duì)上述關(guān)系型數(shù)據(jù)庫的優(yōu)點(diǎn)也沒有什么特別需要，這時(shí)似乎也就沒有必要拘泥于關(guān)系型數(shù)據(jù)庫了。

關(guān)系型數(shù)據(jù)庫的不足

不擅長(zhǎng)的處理

就像之前提到的那樣，關(guān)系型數(shù)據(jù)庫的性能非常高。但是它畢竟是一個(gè)通用型的數(shù)據(jù)庫，并不能完全適應(yīng)所有的用途。具體來說它并不擅長(zhǎng)以下處理：

大量數(shù)據(jù)的寫入處理

為有數(shù)據(jù)更新的表做索引或表結(jié)構(gòu)(schema)變更

字段不固定時(shí)應(yīng)用

對(duì)簡(jiǎn)單查詢需要快速返回結(jié)果的處理

。。。。。。

NoSQL數(shù)據(jù)庫

為了彌補(bǔ)關(guān)系型數(shù)據(jù)庫的不足(特別是最近幾年)，NoSQL數(shù)據(jù)庫出現(xiàn)了。關(guān)系型數(shù)據(jù)庫應(yīng)用廣泛，能進(jìn)行事務(wù)處理和JOIN等復(fù)雜處理。相對(duì)地，NoSQL數(shù)據(jù)庫只應(yīng)用在特定領(lǐng)域，基本上不進(jìn)行復(fù)雜的處理，但它恰恰彌補(bǔ)了之前所列舉的關(guān)系型數(shù)據(jù)庫的不足之處。

易于數(shù)據(jù)的分散

如前所述，關(guān)系型數(shù)據(jù)庫并不擅長(zhǎng)大量數(shù)據(jù)的寫入處理。原本關(guān)系型數(shù)據(jù)庫就是以JOIN為前提的，就是說，各個(gè)數(shù)據(jù)之間存在關(guān)聯(lián)是關(guān)系型數(shù)據(jù)庫得名的主要原因。為了進(jìn)行JOIN處理，關(guān)系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲(chǔ)在同一個(gè)服務(wù)器內(nèi)，這不利于數(shù)據(jù)的分散。相反，NoSQL數(shù)據(jù)庫原本就不支持JOIN處理，各個(gè)數(shù)據(jù)都是獨(dú)立設(shè)計(jì)的，很容易把數(shù)據(jù)分散到多個(gè)服務(wù)器上。由于數(shù)據(jù)被分散到了多個(gè)服務(wù)器上，減少了每個(gè)服務(wù)器上的數(shù)據(jù)量，即使要進(jìn)行大量數(shù)據(jù)的寫入操作，處理起來也更加容易。同理，數(shù)據(jù)的讀入操作當(dāng)然也同樣容易。

提升性能和增大規(guī)模

下面說一點(diǎn)題外話，如果想要使服務(wù)器能夠輕松地處理更大量的數(shù)據(jù)，那么只有兩個(gè)選擇：一是提升性能，二是增大規(guī)模。下面我們來整理一下這兩者的不同。

首先，提升性能指的就是通過提升現(xiàn)行服務(wù)器自身的性能來提高處理能力。這是非常簡(jiǎn)單的方法，程序方面也不需要進(jìn)行變更，但需要一些費(fèi)用。若要購買性能翻倍的服務(wù)器，需要花費(fèi)的資金往往不只是原來的2倍，可能需要多達(dá)5到10倍。這種方法雖然簡(jiǎn)單，但是成本較高。

另一方面，增大規(guī)模指的是使用多臺(tái)廉價(jià)的服務(wù)器來提高處理能力。它需要對(duì)程序進(jìn)行變更，但由于使用廉價(jià)的服務(wù)器，可以控制成本。另外，以后只要依葫蘆畫瓢增加廉價(jià)服務(wù)器的數(shù)量就可以了。

不對(duì)大量數(shù)據(jù)進(jìn)行處理的話就沒有使用的必要嗎？

NoSQL數(shù)據(jù)庫基本上來說為了“使大量數(shù)據(jù)的寫入處理更加容易(讓增加服務(wù)器數(shù)量更容易)”而設(shè)計(jì)的。但如果不是對(duì)大量數(shù)據(jù)進(jìn)行操作的話，NoSQL數(shù)據(jù)庫的應(yīng)用就沒有意義嗎?

答案是否定的。的確，它在處理大量數(shù)據(jù)方面很有優(yōu)勢(shì)。但實(shí)際上NoSQL數(shù)據(jù)庫還有各種各樣的特點(diǎn)，如果能夠恰當(dāng)?shù)乩眠@些特點(diǎn)將會(huì)是非常有幫助。具體的例子將會(huì)在第2章和第3章進(jìn)行介紹，這些用途將會(huì)讓你感受到利用NoSQL的好處。

希望順暢地對(duì)數(shù)據(jù)進(jìn)行緩存(Cache)處理

希望對(duì)數(shù)組類型的數(shù)據(jù)進(jìn)行高速處理

希望進(jìn)行全部保存

多樣的NoSQL數(shù)據(jù)庫

NoSQL數(shù)據(jù)庫存在著“key-value存儲(chǔ)”、“文檔型數(shù)據(jù)庫”、“列存儲(chǔ)數(shù)據(jù)庫”等各種各樣的種類，每種數(shù)據(jù)庫又包含各自的特點(diǎn)。下一節(jié)讓我們一起來了解一下NoSQL數(shù)據(jù)庫的種類和特點(diǎn)。

NoSQL數(shù)據(jù)庫是什么

NoSQL說起來簡(jiǎn)單，但實(shí)際上到底有多少種呢?我在提筆的時(shí)候，到NoSQL的官方網(wǎng)站上確認(rèn)了一下，竟然已經(jīng)有122種了。另外官方網(wǎng)站上也介紹了本書沒有涉及到的圖形數(shù)據(jù)庫和對(duì)象數(shù)據(jù)庫等各個(gè)類別。不知不覺間，原來已經(jīng)出現(xiàn)了這么多的NoSQL數(shù)據(jù)庫啊。

本節(jié)將為大家介紹具有代表性的NoSQL數(shù)據(jù)庫。

key-value存儲(chǔ)

這是最常見的NoSQL數(shù)據(jù)庫，它的數(shù)據(jù)是以key-value的形式存儲(chǔ)的。雖然它的處理速度非常快，但是基本上只能通過key的完全一致查詢獲取數(shù)據(jù)。根據(jù)數(shù)據(jù)的保存方式可以分為臨時(shí)性、永久性和兩者兼具三種。

臨時(shí)性

memcached屬于這種類型。所謂臨時(shí)性就是 “數(shù)據(jù)有可能丟失”的意思。memcached把所有數(shù)據(jù)都保存在內(nèi)存中，這樣保存和讀取的速度非常快，但是當(dāng)memcached停止的時(shí)候，數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內(nèi)存中，所以無法操作超出內(nèi)存容量的數(shù)據(jù)(舊數(shù)據(jù)會(huì)丟失)。

在內(nèi)存中保存數(shù)據(jù)

可以進(jìn)行非常快速的保存和讀取處理

數(shù)據(jù)有可能丟失

永久性

Tokyo Tyrant、Flare、ROMA等屬于這種類型。和臨時(shí)性相反，所謂永久性就是“數(shù)據(jù)不會(huì)丟失”的意思。這里的key-value存儲(chǔ)不像memcached那樣在內(nèi)存中保存數(shù)據(jù)，而是把數(shù)據(jù)保存在硬盤上。與memcached在內(nèi)存中處理數(shù)據(jù)比起來，由于必然要發(fā)生對(duì)硬盤的IO操作，所以性能上還是有差距的。但數(shù)據(jù)不會(huì)丟失是它最大的優(yōu)勢(shì)。

在硬盤上保存數(shù)據(jù)

可以進(jìn)行非常快速的保存和讀取處理(但無法與memcached相比)

數(shù)據(jù)不會(huì)丟失

兩者兼具

Redis屬于這種類型。Redis有些特殊，臨時(shí)性和永久性兼具，且集合了臨時(shí)性key-value存儲(chǔ)和永久性key-value存儲(chǔ)的優(yōu)點(diǎn)。Redis首先把數(shù)據(jù)保存到內(nèi)存中，在滿足特定條件(默認(rèn)是15分鐘一次以上，5分鐘內(nèi)10個(gè)以上，1分鐘內(nèi)10000個(gè)以上的key發(fā)生變更)的時(shí)候?qū)?shù)據(jù)寫入到硬盤中。這樣既確保了內(nèi)存中數(shù)據(jù)的處理速度，又可以通過寫入硬盤來保證數(shù)據(jù)的永久性。這種類型的數(shù)據(jù)庫特別適合于處理數(shù)組類型的數(shù)據(jù)。

同時(shí)在內(nèi)存和硬盤上保存數(shù)據(jù)

可以進(jìn)行非常快速的保存和讀取處理

保存在硬盤上的數(shù)據(jù)不會(huì)消失(可以恢復(fù))

適合于處理數(shù)組類型的數(shù)據(jù)

面向文檔的數(shù)據(jù)庫

MongoDB、CouchDB屬于這種類型。它們屬于NoSQL數(shù)據(jù)庫，但與key-value存儲(chǔ)相異。

不定義表結(jié)構(gòu)

面向文檔的數(shù)據(jù)庫具有以下特征：即使不定義表結(jié)構(gòu)，也可以像定義了表結(jié)構(gòu)一樣使用。關(guān)系型數(shù)據(jù)庫在變更表結(jié)構(gòu)時(shí)比較費(fèi)事，而且為了保持一致性還需修改程序。然而NoSQL數(shù)據(jù)庫則可省去這些麻煩(通常程序都是正確的)，確實(shí)是方便快捷。

可以使用復(fù)雜的查詢條件

跟key-value存儲(chǔ)不同的是，面向文檔的數(shù)據(jù)庫可以通過復(fù)雜的查詢條件來獲取數(shù)據(jù)。雖然不具備事務(wù)處理和JOIN這些關(guān)系型數(shù)據(jù)庫所具有的處理能力，但除此以外的其他處理基本上都能實(shí)現(xiàn)。這是非常容易使用的NoSQL數(shù)據(jù)庫。

不需要定義表結(jié)構(gòu)

可以利用復(fù)雜的查詢條件

面向列的數(shù)據(jù)庫

Cassandra、Hbase、HyperTable屬于這種類型。由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長(zhǎng)，這種類型的NoSQL數(shù)據(jù)庫尤其引人注目。

面向行的數(shù)據(jù)庫和面向列的數(shù)據(jù)庫

普通的關(guān)系型數(shù)據(jù)庫都是以行為單位來存儲(chǔ)數(shù)據(jù)的，擅長(zhǎng)進(jìn)行以行為單位的讀入處理，比如特定條件數(shù)據(jù)的獲取。因此，關(guān)系型數(shù)據(jù)庫也被稱為面向行的數(shù)據(jù)庫。相反，面向列的數(shù)據(jù)庫是以列為單位來存儲(chǔ)數(shù)據(jù)的，擅長(zhǎng)以列為單位讀入數(shù)據(jù)。

高擴(kuò)展性

面向列的數(shù)據(jù)庫具有高擴(kuò)展性，即使數(shù)據(jù)增加也不會(huì)降低相應(yīng)的處理速度(特別是寫入速度)，所以它主要應(yīng)用于需要處理大量數(shù)據(jù)的情況。另外，利用面向列的數(shù)據(jù)庫的優(yōu)勢(shì)，把它作為批處理程序的存儲(chǔ)器來對(duì)大量數(shù)據(jù)進(jìn)行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲(chǔ)的思維方式有很大不同，應(yīng)用起來十分困難。

高擴(kuò)展性(特別是寫入處理)

應(yīng)用十分困難

最近，像Twitter和Facebook這樣需要對(duì)大量數(shù)據(jù)進(jìn)行更新和查詢的網(wǎng)絡(luò)服務(wù)不斷增加，面向列的數(shù)據(jù)庫的優(yōu)勢(shì)對(duì)其中一些服務(wù)是非常有用的，但是由于這與本書所要介紹的內(nèi)容關(guān)系不大，就不進(jìn)行詳細(xì)介紹了。

總結(jié)：

NoSQL并不是No-SQL，而是指Not Only SQL。

NoSQL的出現(xiàn)是為了彌補(bǔ)SQL數(shù)據(jù)庫因?yàn)槭聞?wù)等機(jī)制帶來的對(duì)海量數(shù)據(jù)、高并發(fā)請(qǐng)求的處理的性能上的欠缺。

NoSQL不是為了替代SQL而出現(xiàn)的，它是一種替補(bǔ)方案，而不是解決方案的首選。

絕大多數(shù)的NoSQL產(chǎn)品都是基于大內(nèi)存和高性能隨機(jī)讀寫的（比如具有更高性能的固態(tài)硬盤陣列），一般的小型企業(yè)在選擇NoSQL時(shí)一定要慎重！不要為了NoSQL而NoSQL，可能會(huì)導(dǎo)致花了冤枉錢又耽擱了項(xiàng)目進(jìn)程。

NoSQL不是萬能的，但在大型項(xiàng)目中，你往往需要它！

當(dāng)前名稱：nosql為什么這么重要,為什么使用NoSQL
文章轉(zhuǎn)載：http://m.kartarina.com/article42/dseejec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供面包屑導(dǎo)航、網(wǎng)站內(nèi)鏈、網(wǎng)站改版、微信小程序、網(wǎng)站營(yíng)銷、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)