1. I/O優(yōu)化
-
增加緩存,減少磁盤的訪問次數(shù)。
-
優(yōu)化磁盤的管理系統(tǒng),設(shè)計(jì)優(yōu)的磁盤方式策略,以及磁盤的尋址策略,這是在底層操作系統(tǒng)層面考慮的。
-
設(shè)計(jì)合理的磁盤存儲(chǔ)數(shù)據(jù)塊,以及訪問這些數(shù)據(jù)庫的策略,這是在應(yīng)用層面考慮的。例如,我們可以給存放的數(shù)據(jù)設(shè)計(jì)索引,通過尋址索引來加快和減少磁盤的訪問量,還可以采用異步和非阻塞的方式加快磁盤的訪問速度。
-
應(yīng)用合理的RAID策略提升磁盤I/O。
2. Web前端調(diào)優(yōu)
-
減少網(wǎng)絡(luò)交互的次數(shù)(多次請(qǐng)求合并)
-
減少網(wǎng)絡(luò)傳輸數(shù)據(jù)量的大小(壓縮)
-
盡量減少編碼(盡量提前將字符轉(zhuǎn)化為字節(jié),或者減少從字符到字節(jié)的轉(zhuǎn)化過程。)
-
使用瀏覽器緩存
-
減少Cookie傳輸
-
合理布局頁面
-
使用頁面壓縮
-
延遲加載頁面
-
CSS在上面,JS在下面
-
CDN
-
反向代理
-
頁面靜態(tài)化
-
異地部署
3.服務(wù)降級(jí)(自動(dòng)優(yōu)雅降級(jí))
拒絕服務(wù)和關(guān)閉服務(wù)
4.冪等性設(shè)計(jì)
有些服務(wù)天然具有冪等性,比如講用戶性別設(shè)置為男性,不管設(shè)置多少次,結(jié)果都一樣。但是對(duì)轉(zhuǎn)賬交易等操作,問題就會(huì)比較復(fù)雜,需要通過交易編號(hào)等信息進(jìn)行服務(wù)調(diào)用有效性校驗(yàn),只有有效的操作才能繼續(xù)執(zhí)行。
(注:冪等性是系統(tǒng)的接口對(duì)外一種承諾(而不是實(shí)現(xiàn)), 承諾只要調(diào)用接口成功, 外部多次調(diào)用對(duì)系統(tǒng)的影響是一致的. 聲明為冪等的接口會(huì)認(rèn)為外部調(diào)用失敗是常態(tài), 并且失敗之后必然會(huì)有重試.)
5.失效轉(zhuǎn)移
若數(shù)據(jù)服務(wù)器集群中任何一臺(tái)服務(wù)器宕機(jī),那么應(yīng)用程序針對(duì)這臺(tái)服務(wù)器的所有讀寫操作都需要重新路由到其他服務(wù)器,保證數(shù)據(jù)訪問不會(huì)失敗,這個(gè)過程叫失效轉(zhuǎn)移。
失效轉(zhuǎn)移包括:失效確認(rèn)(心跳檢測(cè)和應(yīng)用程序訪問失敗報(bào)告)、訪問轉(zhuǎn)移、數(shù)據(jù)恢復(fù)。
失效轉(zhuǎn)移保證當(dāng)一個(gè)數(shù)據(jù)副本不可訪問時(shí),可以快速切換訪問數(shù)據(jù)的其他副本,保證系統(tǒng)可用。
6.性能優(yōu)化
根據(jù)網(wǎng)站分層架構(gòu),性能優(yōu)化可分為:web前端性能優(yōu)化、應(yīng)用服務(wù)器性能優(yōu)化、存儲(chǔ)服務(wù)器性能優(yōu)化。
-
web前端性能優(yōu)化
-
瀏覽器訪問優(yōu)化:減少http請(qǐng)求;使用瀏覽器緩存;啟用壓縮;css放在頁面上面、javaScript放在頁面下面;減少Cookie傳輸
-
CDN加速
-
反向代理
-
應(yīng)用服務(wù)器性能優(yōu)化
-
分布式緩存(Redis等)
-
異步操作(消息隊(duì)列)
-
使用集群(負(fù)載均衡)
-
代碼優(yōu)化
-
存儲(chǔ)性能優(yōu)化
-
機(jī)械硬盤vs固態(tài)硬盤
-
B+樹 vs LSM樹
-
RAID vs HDFS
7. 代碼優(yōu)化
-
多線程(Q:怎么確保線程安全?無鎖機(jī)制有哪些?)
-
資源復(fù)用(單例模式,連接池,線程池)
-
數(shù)據(jù)結(jié)構(gòu)
-
垃圾回收
8. 負(fù)載均衡
-
HTTP重定向負(fù)載均衡
當(dāng)用戶發(fā)來請(qǐng)求的時(shí)候,Web服務(wù)器通過修改HTTP響應(yīng)頭中的Location標(biāo)記來返回一個(gè)新的url,然后瀏覽器再繼續(xù)請(qǐng)求這個(gè)新url,實(shí)際上就是頁面重定向。通過重定向,來達(dá)到“負(fù)載均衡”的目標(biāo)。例如,我們?cè)谙螺dPHP源碼包的時(shí)候,點(diǎn)擊下載鏈接時(shí),為了解決不同國家和地域下載速度的問題,它會(huì)返回一個(gè)離我們近的下載地址。重定向的HTTP返回碼是302。
優(yōu)點(diǎn):比較簡單。
缺點(diǎn):瀏覽器需要兩次請(qǐng)求服務(wù)器才能完成一次訪問,性能較差。重定向服務(wù)自身的處理能力有可能成為瓶頸,整個(gè)集群的伸縮性國模有限;使用HTTP302響應(yīng)碼重定向,有可能使搜索引擎判斷為SEO作弊,降低搜索排名。
-
DNS域名解析負(fù)載均衡
DNS(Domain Name System)負(fù)責(zé)域名解析的服務(wù),域名url實(shí)際上是服務(wù)器的別名,實(shí)際映射是一個(gè)IP地址,解析過程,就是DNS完成域名到IP的映射。而一個(gè)域名是可以配置成對(duì)應(yīng)多個(gè)IP的。因此,DNS也就可以作為負(fù)載均衡服務(wù)。
事實(shí)上,大型網(wǎng)站總是部分使用DNS域名解析,利用域名解析作為級(jí)負(fù)載均衡手段,即域名解析得到的一組服務(wù)器并不是實(shí)際提供Web服務(wù)的物理服務(wù)器,而是同樣提供負(fù)載均衡服務(wù)的內(nèi)部服務(wù)器,這組內(nèi)部負(fù)載均衡服務(wù)器再進(jìn)行負(fù)載均衡,將請(qǐng)求分發(fā)到真是的Web服務(wù)器上。
優(yōu)點(diǎn):將負(fù)載均衡的工作轉(zhuǎn)交給DNS,省掉了網(wǎng)站管理維護(hù)負(fù)載均衡服務(wù)器的麻煩,同時(shí)許多DNS還支持基于地理位置的域名解析,即會(huì)將域名解析成舉例用戶地理近的一個(gè)服務(wù)器地址,這樣可以加快用戶訪問速度,改善性能。
缺點(diǎn):不能自由定義規(guī)則,而且變更被映射的IP或者機(jī)器故障時(shí)很麻煩,還存在DNS生效延遲的問題。而且DNS負(fù)載均衡的控制權(quán)在域名服務(wù)商那里,網(wǎng)站無法對(duì)其做更多改善和更強(qiáng)大的管理。
-
反向代理負(fù)載均衡
反向代理服務(wù)可以緩存資源以改善網(wǎng)站性能。實(shí)際上,在部署位置上,反向代理服務(wù)器處于Web服務(wù)器前面(這樣才可能緩存Web相應(yīng),加速訪問),這個(gè)位置也正好是負(fù)載均衡服務(wù)器的位置,所以大多數(shù)反向代理服務(wù)器同時(shí)提供負(fù)載均衡的功能,管理一組Web服務(wù)器,將請(qǐng)求根據(jù)負(fù)載均衡算法轉(zhuǎn)發(fā)到不同的Web服務(wù)器上。Web服務(wù)器處理完成的響應(yīng)也需要通過反向代理服務(wù)器返回給用戶。由于web服務(wù)器不直接對(duì)外提供訪問,因此Web服務(wù)器不需要使用外部ip地址,而反向代理服務(wù)器則需要配置雙網(wǎng)卡和內(nèi)部外部兩套IP地址。
優(yōu)點(diǎn):和反向代理服務(wù)器功能集成在一起,部署簡單。
缺點(diǎn):反向代理服務(wù)器是所有請(qǐng)求和響應(yīng)的中轉(zhuǎn)站,其性能可能會(huì)成為瓶頸。
-
LVS-NAT:修改IP地址
-
LVS-TUN: 一個(gè)IP報(bào)文封裝在另一個(gè)IP報(bào)文的技術(shù)。
-
LVS-DR:將數(shù)據(jù)幀的MAC地址改為選出服務(wù)器的MAC地址,再將修改后的數(shù)據(jù)幀在與服務(wù)器組的局域網(wǎng)上發(fā)送。
9.緩存
緩存就是將數(shù)據(jù)存放在距離計(jì)算近的位置以加快處理速度。緩存是改善軟件性能的手段,現(xiàn)在CPU越來越快的一個(gè)重要因素就是使用了更多的緩存,在復(fù)雜的軟件設(shè)計(jì)中,緩存幾乎無處不在。大型網(wǎng)站架構(gòu)設(shè)計(jì)在很多方面都使用了緩存設(shè)計(jì)。
-
CDN: 及內(nèi)容分發(fā)網(wǎng)絡(luò),部署在距離終端用戶近的網(wǎng)絡(luò)服務(wù)商,用戶的網(wǎng)絡(luò)請(qǐng)求總是先到達(dá)他的網(wǎng)絡(luò)服務(wù)商哪里,在這里緩存網(wǎng)站的一些靜態(tài)資源(較少變化的數(shù)據(jù)),可以就近以快速度返回給用戶,如視頻網(wǎng)站和門戶網(wǎng)站會(huì)將用戶訪問量大的熱點(diǎn)內(nèi)容緩存在CDN中。
-
反向代理:反向代理屬于網(wǎng)站前端架構(gòu)的一部分,部署在網(wǎng)站的前端,當(dāng)用戶請(qǐng)求到達(dá)網(wǎng)站的數(shù)據(jù)中心時(shí),先訪問到的就是反向代理服務(wù)器,這里緩存網(wǎng)站的靜態(tài)資源,無需將請(qǐng)求繼續(xù)轉(zhuǎn)發(fā)給應(yīng)用服務(wù)器就能返回給用戶。
-
本地緩存:在應(yīng)用服務(wù)器本地緩存著熱點(diǎn)數(shù)據(jù),應(yīng)用程序可以在本機(jī)內(nèi)存中直接訪問數(shù)據(jù),而無需訪問數(shù)據(jù)庫。
-
分布式緩存:大型網(wǎng)站的數(shù)據(jù)量非常龐大,即使只緩存一小部分,需要的內(nèi)存空間也不是單機(jī)能承受的,所以除了本地緩存,還需要分布式緩存,將數(shù)據(jù)緩存在一個(gè)專門的分布式緩存集群中,應(yīng)用程序通過網(wǎng)絡(luò)通信訪問緩存數(shù)據(jù)。
使用緩存有兩個(gè)前提條件,一是數(shù)據(jù)訪問熱點(diǎn)不均衡,某些數(shù)據(jù)會(huì)被更頻繁的訪問,這些數(shù)據(jù)應(yīng)該放在緩存中;二是數(shù)據(jù)在某個(gè)時(shí)間段內(nèi)有效,不會(huì)很快過期,否則緩存的數(shù)據(jù)就會(huì)因已經(jīng)失效而產(chǎn)生臟讀,影響結(jié)果的正確性。網(wǎng)站應(yīng)用中,緩存處理可以加快數(shù)據(jù)訪問速度,還可以減輕后端應(yīng)用和數(shù)據(jù)存儲(chǔ)的負(fù)載壓力,這一點(diǎn)對(duì)網(wǎng)站數(shù)據(jù)庫架構(gòu)至關(guān)重要,網(wǎng)站數(shù)據(jù)庫幾乎都是按照有緩存的前提進(jìn)行負(fù)載能力設(shè)計(jì)的。
10. 負(fù)載均衡算法
輪詢 Round Robin
加強(qiáng)輪詢 Weight Round Robin
隨機(jī) Random
加強(qiáng)隨機(jī) Weight Random
少連接 Least Connections
加強(qiáng)少連接
源地址散列 Hash
其他算法
-
快算法(Fastest):傳遞連接給那些響應(yīng)快的服務(wù)器。當(dāng)其中某個(gè)服務(wù)器發(fā)生第二到第7 層的故障,BIG-IP 就把其從服務(wù)器隊(duì)列中拿出,不參加下一次的用戶請(qǐng)求的分配,直到其恢復(fù)正常。
-
觀察算法(Observed):連接數(shù)目和響應(yīng)時(shí)間以這兩項(xiàng)的佳平衡為依據(jù)為新的請(qǐng)求選擇服務(wù)器。當(dāng)其中某個(gè)服務(wù)器發(fā)生第二到第7 層的故障,BIG-IP就把其從服務(wù)器隊(duì)列中拿出,不參加下一次的用戶請(qǐng)求的分配,直到其恢復(fù)正常。
-
預(yù)測(cè)算法(Predictive):BIG-IP利用收集到的服務(wù)器當(dāng)前的性能指標(biāo),進(jìn)行預(yù)測(cè)分析,選擇一臺(tái)服務(wù)器在下一個(gè)時(shí)間片內(nèi),其性能將達(dá)到佳的服務(wù)器相應(yīng)用戶的請(qǐng)求。(被BIG-IP 進(jìn)行檢測(cè))
-
動(dòng)態(tài)性能分配算法(Dynamic Ratio-APM):BIG-IP 收集到的應(yīng)用程序和應(yīng)用服務(wù)器的各項(xiàng)性能參數(shù),動(dòng)態(tài)調(diào)整流量分配。
-
動(dòng)態(tài)服務(wù)器補(bǔ)充算法(Dynamic Server Act.):當(dāng)主服務(wù)器群中因故障導(dǎo)致數(shù)量減少時(shí),動(dòng)態(tài)地將備份服務(wù)器補(bǔ)充至主服務(wù)器群。
-
服務(wù)質(zhì)量算法(QoS):按不同的優(yōu)先級(jí)對(duì)數(shù)據(jù)流進(jìn)行分配。
-
服務(wù)類型算法(ToS): 按不同的服務(wù)類型(在Type of Field中標(biāo)識(shí))負(fù)載均衡對(duì)數(shù)據(jù)流進(jìn)行分配。
-
規(guī)則模式算法:針對(duì)不同的數(shù)據(jù)流設(shè)置導(dǎo)向規(guī)則,用戶可自行
11. 擴(kuò)展性和伸縮性的區(qū)別
擴(kuò)展性:指對(duì)現(xiàn)有系統(tǒng)影響小的情況下,系統(tǒng)功能可持續(xù)擴(kuò)展或替身的能力。表現(xiàn)在系統(tǒng)基礎(chǔ)設(shè)施穩(wěn)定不需要經(jīng)常變更,應(yīng)用之間較少依賴和耦合,對(duì)需求變更可以敏捷響應(yīng)。它是系統(tǒng)架構(gòu)設(shè)計(jì)層面的開閉原則(對(duì)擴(kuò)展開放,對(duì)修改關(guān)閉),架構(gòu)設(shè)計(jì)考慮未來功能擴(kuò)展,當(dāng)系統(tǒng)增加新功能時(shí),不需要對(duì)現(xiàn)有系統(tǒng)的結(jié)構(gòu)和代碼進(jìn)行修改。
衡量網(wǎng)站架構(gòu)擴(kuò)展性好壞的主要標(biāo)準(zhǔn)就是在網(wǎng)站增加新的業(yè)務(wù)產(chǎn)品時(shí),是否可以實(shí)現(xiàn)對(duì)現(xiàn)有產(chǎn)品透明無影響,不需要任何改動(dòng)或者很少改動(dòng)既有業(yè)務(wù)功能就可以上線新產(chǎn)品。不同產(chǎn)品之間是否很少耦合,一個(gè)產(chǎn)品改動(dòng)對(duì)其他產(chǎn)品無影響,其他產(chǎn)品和功能不需要受牽連進(jìn)行改動(dòng)。
伸縮性:所謂網(wǎng)站的伸縮性指是不需要改變網(wǎng)站的軟硬件設(shè)計(jì),僅僅通過改變部署的服務(wù)器數(shù)量就可以擴(kuò)大或者縮小網(wǎng)站的服務(wù)處理能力。
指系統(tǒng)能夠增加(減少)自身資源規(guī)模的方式增強(qiáng)(減少)自己計(jì)算處理事務(wù)的能力。如果這種增減是成比例的,就被稱作線性伸縮性。在網(wǎng)站架構(gòu)中,通常指利用集群的方式增加服務(wù)器數(shù)量、提高系統(tǒng)的整體事務(wù)吞吐能力。
衡量架構(gòu)伸縮性的主要標(biāo)準(zhǔn)就是可以用多臺(tái)服務(wù)器構(gòu)建集群,是否容易向集群中添加新的服務(wù)器。加入新的服務(wù)器后是否可以提供和原來服務(wù)無差別的服務(wù)、集群中的可容納的總的服務(wù)器數(shù)量是否有限制。
12.分布式緩存的一致性hash
具體算法過程:先構(gòu)造一個(gè)長度為2^32的整數(shù)環(huán)(這個(gè)環(huán)被稱作一致性Hash環(huán))根據(jù)節(jié)點(diǎn)名稱的Hash值(其分布范圍為[0,2^32 - 1])將緩存服務(wù)器階段設(shè)置在這個(gè)Hash環(huán)上。然后根據(jù)需要緩存的數(shù)據(jù)的Key值計(jì)算得到Hash值(其分布范圍也同樣為[0,2^32 - 1]),然后在Hash環(huán)上順時(shí)針查找舉例這個(gè)KEY的hash值近的緩存服務(wù)器節(jié)點(diǎn),完成KEY到服務(wù)器的Hash映射查找。
優(yōu)化策略:將每臺(tái)物理服務(wù)器虛擬為一組虛擬緩存服務(wù)器,將虛擬服務(wù)器的Hash值放置在Hash環(huán)上,key在換上先找到虛擬服務(wù)器節(jié)點(diǎn),再得到物理服務(wù)器的信息。
一臺(tái)物理服務(wù)器設(shè)置多少個(gè)虛擬服務(wù)器節(jié)點(diǎn)合適呢?經(jīng)驗(yàn)值:150。
13. 網(wǎng)絡(luò)安全
-
XSS攻擊
跨站點(diǎn)腳本攻擊(Cross Site Script),指黑客通過篡改網(wǎng)頁,注入惡意的HTML腳本,在用戶瀏覽網(wǎng)頁時(shí),控制用戶瀏覽器進(jìn)行惡意操作的一種攻擊方式。
防范手段:消毒(XSS攻擊者一般都是通過在請(qǐng)求中嵌入惡意腳本大道攻擊的目的,這些腳本是一般用戶輸入中不使用的,如果進(jìn)行過濾和消毒處理,即對(duì)某些html危險(xiǎn)字符轉(zhuǎn)移,如“>”轉(zhuǎn)譯為“& gt;”);HttpOnly(防止XSS攻擊者竊取Cookie).
-
注入攻擊:SQL注入和OS注入
SQL防范:預(yù)編譯語句PreparedStatement; ORM;避免密碼明文存放;處理好相應(yīng)的異常。
-
CSRF(Cross Site Request Forgery,跨站點(diǎn)請(qǐng)求偽造)。聽起來與XSS有點(diǎn)相似,事實(shí)上兩者區(qū)別很大,XSS利用的是站內(nèi)的信任用戶,而CSRF則是通過偽裝來自受信任用戶的請(qǐng)求來利用受信任的網(wǎng)站。
防范:httpOnly;增加token;通過Referer識(shí)別。
-
文件上傳漏洞
-
DDos攻擊
14. 加密技術(shù)
-
摘要加密:MD5, SHA
-
對(duì)稱加密:DES算法,RC算法, AES
-
非對(duì)稱加密:RSA
非對(duì)稱加密技術(shù)通常用在信息安全傳輸,數(shù)字簽名等場(chǎng)合。
HTTPS傳輸中瀏覽器使用的數(shù)字證書實(shí)質(zhì)上是經(jīng)過權(quán)威機(jī)構(gòu)認(rèn)證的非對(duì)稱加密的公鑰。
15. 流控(流量控制)
-
流量丟棄
-
通過單機(jī)內(nèi)存隊(duì)列來進(jìn)行有限的等待,直接丟棄用戶請(qǐng)求的處理方式顯得簡單而粗暴,并且如果是I/O密集型應(yīng)用(包括網(wǎng)絡(luò)I/O和磁盤I/O),瓶頸一般不再CPU和內(nèi)存。因此,適當(dāng)?shù)牡却?,既能夠替身用戶體驗(yàn),又能夠提高資源利用率。
-
通過分布式消息隊(duì)列來將用戶的請(qǐng)求異步化。
-
本站文章版權(quán)歸原作者及原出處所有 。內(nèi)容為作者個(gè)人觀點(diǎn), 并不代表本站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。本站是一個(gè)個(gè)人學(xué)習(xí)交流的平臺(tái),網(wǎng)站上部分文章為轉(zhuǎn)載,并不用于任何商業(yè)目的,我們已經(jīng)盡可能的對(duì)作者和來源進(jìn)行了通告,但是能力有限或疏忽,造成漏登,請(qǐng)及時(shí)聯(lián)系我們,我們將根據(jù)著作權(quán)人的要求,立即更正或者刪除有關(guān)內(nèi)容。本站擁有對(duì)此聲明的最終解釋權(quán)。