大數(shù)據(jù)測(cè)試需要掌握哪些知識(shí)？

1.什么是大數(shù)據(jù)？

大數(shù)據(jù)是一個(gè)龐大的數(shù)據(jù)集，傳統(tǒng)計(jì)算技術(shù)無法處理。這些數(shù)據(jù)集的測(cè)試需要使用各種工具、技術(shù)和框架來處理。大數(shù)據(jù)涉及數(shù)據(jù)創(chuàng)建、存儲(chǔ)、檢索和分析，在數(shù)量、多樣性和速度方面都很出色。它是一種海量、高增長、多元化的信息資產(chǎn)，需要新的處理模式來擁有更強(qiáng)的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。

2.大數(shù)據(jù)測(cè)試類型

測(cè)試大數(shù)據(jù)應(yīng)用更多的是驗(yàn)證其數(shù)據(jù)處理，而不是測(cè)試軟件產(chǎn)品的單個(gè)功能。說到大數(shù)據(jù)測(cè)試，性能和功能測(cè)試是關(guān)鍵。處理有三種類型:

一批

實(shí)時(shí)

交互在測(cè)試一個(gè)應(yīng)用之前，需要檢查數(shù)據(jù)的質(zhì)量，并將其作為數(shù)據(jù)庫測(cè)試的一部分。它涉及檢查各種字段，如一致性、準(zhǔn)確性、重復(fù)性、一致性、有效性、數(shù)據(jù)完整性等等。

3.容錯(cuò)測(cè)試

它可以從部分故障中自動(dòng)恢復(fù)，整體性能不會(huì)受到驗(yàn)證的影響。特別是當(dāng)出現(xiàn)故障時(shí)，大數(shù)據(jù)分析系統(tǒng)在恢復(fù)的同時(shí)要繼續(xù)以可接受的運(yùn)行，在出現(xiàn)錯(cuò)誤時(shí)也能在一定程度上繼續(xù)運(yùn)行。需要根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)解決方案和具體部署，然后手動(dòng)測(cè)試。

4.可用性測(cè)試

高可用性是大數(shù)據(jù)分析不可或缺的特性之一，從而保證了數(shù)據(jù)應(yīng)用業(yè)務(wù)的連續(xù)性。大數(shù)據(jù)的高可用性對(duì)于很多應(yīng)用來說非常關(guān)鍵，需要嚴(yán)格的測(cè)試和驗(yàn)證，主要是人工測(cè)試。

5.延展性測(cè)試

彈性可擴(kuò)展性對(duì)于大數(shù)據(jù)時(shí)代的文件系統(tǒng)尤為重要。文件系統(tǒng)的可伸縮性測(cè)試主要包括測(cè)試系統(tǒng)的彈性可伸縮性(擴(kuò)展/收縮)和擴(kuò)展系統(tǒng)帶來的性能影響，驗(yàn)證是否具有線性可伸縮性，主要通過手工測(cè)試。

6.穩(wěn)定性試驗(yàn)

大數(shù)據(jù)分析系統(tǒng)通常是長時(shí)間連續(xù)運(yùn)行的，穩(wěn)定性的重要性不言而喻。穩(wěn)定性測(cè)試主要驗(yàn)證系統(tǒng)在長時(shí)間(7/30/180/365*24)后是否還能正常運(yùn)行，功能是否正常。穩(wěn)定性測(cè)試通常以自動(dòng)化的進(jìn)行，LTP、10ZON

SQLServer主從數(shù)據(jù)同步，如何解決延時(shí)？

SQLServer中的高可用性功能在工作中使用SQLServer的高可用性功能的場(chǎng)景是數(shù)據(jù)庫主從復(fù)制。有三種功能可以使用:復(fù)制、鏡像和日志傳輸。復(fù)制(發(fā)布-訂閱模式):

嚴(yán)格來說，復(fù)制不是為高可用性而設(shè)計(jì)的功能，但它可以應(yīng)用于高可用性。復(fù)制在數(shù)據(jù)庫對(duì)象級(jí)別提供保護(hù)。復(fù)制使用發(fā)布-訂閱模式，即主服務(wù)器(稱為發(fā)布服務(wù)器)將數(shù)據(jù)發(fā)布到一個(gè)或多個(gè)輔助服務(wù)器或訂閱服務(wù)器。這些服務(wù)中提供復(fù)制功能。服務(wù)器提供實(shí)時(shí)可用性和可伸縮性。它支持為訂閱者提供數(shù)據(jù)子集的篩選，還支持分區(qū)更新。訂閱者是聯(lián)機(jī)的，可以用于報(bào)表或其他功能，而無需查詢恢復(fù)。

SQLServer提供四種類型的復(fù)制:快照復(fù)制、事務(wù)復(fù)制、對(duì)等復(fù)制和合并復(fù)制。

我們一般選擇快照復(fù)制或者事務(wù)復(fù)制。兩者的概念介紹如下:

快照復(fù)制

1.概念快照復(fù)制是完全根據(jù)數(shù)據(jù)和數(shù)據(jù)庫對(duì)象出現(xiàn)時(shí)的狀態(tài)來復(fù)制和分發(fā)數(shù)據(jù)和數(shù)據(jù)庫對(duì)象的過程?？煺諒?fù)制不需要持續(xù)監(jiān)視數(shù)據(jù)更改，因?yàn)榘l(fā)布的數(shù)據(jù)更改不會(huì)以增量傳播到訂閱服務(wù)器，而是定期復(fù)制一次。

2.適用性數(shù)據(jù)主要是靜態(tài)的，比如將一個(gè)數(shù)據(jù)倉庫復(fù)制到一個(gè)數(shù)據(jù)集市中，這允許在一段時(shí)間內(nèi)使用過時(shí)的數(shù)據(jù)副本。小批量數(shù)據(jù)站點(diǎn)通常是斷開的，可以接受高延遲。

事務(wù)復(fù)制

1.該概念使用事務(wù)復(fù)制，初始快照數(shù)據(jù)將傳播到訂閱服務(wù)器，因此訂閱服務(wù)器有所謂的初始加載，即可以啟動(dòng)的內(nèi)容。當(dāng)發(fā)布服務(wù)器上發(fā)生數(shù)據(jù)修改時(shí)，這些單獨(dú)的事務(wù)將被及時(shí)捕獲并復(fù)制到訂閱服務(wù)器。并保持交易邊界。當(dāng)所有更改都傳播后，所有訂閱服務(wù)器都將具有與傳播服務(wù)器相同的值。

2.在適用的情況下，數(shù)據(jù)修改通常會(huì)在發(fā)生后的幾秒鐘內(nèi)傳播到訂閱服務(wù)器，其事務(wù)是原子事務(wù)的訂閱服務(wù)器需要?jiǎng)?chuàng)建一個(gè)發(fā)布-訂閱數(shù)據(jù)庫服務(wù)器，該服務(wù)器的名稱不能是IP，而只能是特定的服務(wù)器名稱，例如: