替換目前五台機器中的所有硬碟

[chia7712]

see #130 (comment)

目前使用的硬碟硬碟*2: 美光Mincron Crucial P2 1TB/M.2 PCIe 2280/讀:2400M/寫1800M/3D QLC顆粒在大量資料存取下會有效能低落的問題 (相關報導 https://www.pcworld.com/article/399100/crucial-p2-nmve-ssd-review.html/amp)

我們需要更換新的硬碟以便支撐大量的資料測試

[chia7712]

我現在的想法如下：

1. 先使用壓縮演算法和避免自己灌自己資料，先完成一個階段的效能驗證 (@wycccccc @chinghongfang )
2. 同時，我需要有一個人來幫忙調查一下市面上的nvme ssd有哪一顆比較適合
3. 承上，調查完後我們先買一顆來安裝並測試，以免又遇到一樣的狀況
4. 測試完後我們在大量採購替換所有硬碟

這邊要麻煩有人接手上述的2和3

[chia7712]

另外，我們也討論一下替換後的硬碟可以拿來做啥？

[wycccccc]

我翻了一下那個人的文章同時結合原價屋的價格進行了下比較。
發現在pcie3.0規格下似乎變慢是一種常態，幾乎同一價位的都會存在長時間的讀寫導致速率變慢的問題。

在綜合比較了後，xpg-sx8200從他的數據上來看似乎還比較符合實際。（長時間運行降到1G狀況還算是比較好的）
https://www.pcworld.com/article/402963/adata-xpg-sx8200-pro-nvme-ssd-review.html

一些其他參考對比的硬碟：
http://reviewcentralme.com/review-kingston-1tb-kc2500-nvme-ssd-drive/
https://www.pcworld.com/article/398516/wd-blue-sn550-nvme-ssd-review.html
https://www.pcworld.com/article/394173/samsung-980-nvme-ssd-review.html
https://www.pcworld.com/article/608860/wd-black-sn770-nvme-ssd-review-an-affordable-pcie-4-performer.html

[chia7712]

發現在pcie3.0規格下似乎變慢是一種常態，幾乎同一價位的都會存在長時間的讀寫導致速率變慢的問題。

變慢這可以接受，不過幾乎歸0就有點不太好 哈哈哈

在綜合比較了後，xpg-sx8200從他的數據上來看似乎還比較符合實際。（長時間運行降到1G狀況還算是比較好的）

看數字還可以接受，不過再找一顆來比較一下，至少二選一

[wycccccc]

WD BLACK SN750SE 看上去也還不錯
使用了pcie4.0規格，從圖中表現來看略優於sx8200。不過價格也同樣略優於它。

The 2TB model features a static 36GB write cache (22GB more than the 1TB model)

圖中測試爲2TB規格，1TB的速率可能會差一點（圖中xs8200 2TB 大概在1200MB/s,之前那個人寫的文章xs8200 1TB大概在0.98GB/s），不過如果還是按照之前的來買兩張的話這個點應該可以忽略。
網上找不到750SE的測試結果，基本上都是750。750SE相對於750似乎只有一點點小的提升。所以我認爲可以參照750的測試數據結果。

參考文章：
https://www.tomshardware.com/reviews/wd-black-sn750-ssd,5957-2.html

https://www.pcworld.com/article/403257/wd-black-sn750-nvme-ssd-review.html

[chia7712]

使用了pcie4.0規格

pcie4倒是可以先不用考慮，那個太快了，留給顯卡用就好

圖中測試爲2TB規格，1TB的速率可能會差一點（圖中xs8200 2TB 大概在1200MB/s,之前那個人寫的文章xs8200 1TB大概在0.98GB/s），不過如果還是按照之前的來買兩張的話這個點應該可以忽略。

理想上平均要能撐住1GB，尤其在大量資料下

[wycccccc]

那似乎目前我看到的只有xs8200了，它符合要求且cp值不錯。
pcie3.0的其他的速率掉的都有點誇張。

[chia7712]

那似乎目前我看到的只有xs8200了，它符合要求且cp值不錯。
pcie3.0的其他的速率掉的都有點誇張。

我們先以原價屋的清單來看，可否確認都沒其他選擇了？

[wycccccc]

沒錯 我就是按照這張圖來找的。
我確認了威剛 WD 金士頓 intel 美光 三星，剩下的幾個似乎都有點小眾。壓根沒什麼人測。

[chia7712]

威剛 WD 金士頓 intel 美光 三星

不好意思，就針對這幾個總結一下可以嘛？就根據網路上查到的資料，謝謝

[wycccccc]

三星Samsung980 1TB

Below you can see the actual drop-off point during the 450GB write on the 980 (empty drive), plus an odd slow start that we rarely see. TurboWrite 2.0. Hmm.

980 依赖于系统DRAM作为它的主要缓存，在長時間寫入中一旦DRAM用完就會速度開始下降。測試中的475MB/s，很難說一定能滿足實際測試需求。

https://www.pcworld.com/article/394173/samsung-980-nvme-ssd-review.html

金士頓KC2500

Write speed when DRAM runs out

與980一樣的問題，長時間的讀寫一旦耗盡了DRAM，速率就開始下落，590MB/s也談不上多美麗的數據。
http://reviewcentralme.com/review-kingston-1tb-kc2500-nvme-ssd-drive/

WD SN570

它只能短暫達到約 1,840MB/s 速度，作用容量區間僅 25GB 左右，而後滑落至 840MB/s 上下跳動。

840MB/s比上兩款好一些但是只有在一開始25GB短暫達到1840MB/s。掉的有點太早了。
https://benchlife.info/western-digital-wd-blue-sn570-nvme-ssd-review/

intel660P

In HDTune we were able to write over 130GB of data before the drive’s write speed tanked. At that point, it averaged just 100MB/s of throughput.

只剩下100MB/s了，太慘了實在。
https://www.thessdreview.com/featured/intel-ssd-660p-m-2-nvme-ssd-review-1tb/6/

xpg-sx8200

Though the SX8200 slows down at about the 30% mark of a 500GB transfer, the slower 1GBps transfer rate will still get copies done in a hurry.

相較之下，在面對大資料的情況下。它的效能依然能保持在1GBps左右。對比其他同價位的產品來看，數據上確實十分優秀。

在其他人的測試中也有類似的實驗結果。（杜絕寫軟文的情況）

https://www.pcworld.com/article/402963/adata-xpg-sx8200-pro-nvme-ssd-review.html

[chia7712]

@wycccccc 感謝如此詳細的分享。

xpg-sx8200

我去弄一顆1TB的來給你們試試看

[wycccccc]

fio測試中的sx8200的情況

可以看到圖中速率在4350MB/s,且各項指標看上去沒太大問題。多次測試後結果基本上保持一致。

Kafka單硬碟資料傳輸情況對比（record.size 10KiB,time 10 min）：
美光只剩下400MB/s了，且還在持續下降

sx8200還有700MB/s，且速率趨於穩定。

[chia7712]

美光只剩下400MB/s了，且還在持續下降

[chia7712]

@wycccccc 這個議題就留給你了，麻煩換完硬碟並且測試完後關閉它

[wycccccc]

測試數據：
record.size 100KiB
producer 5
comsumer 10

一台機器使用Default partitioner向整個集群發送資料。分別測試了3次15min，和1次30min。測試的結果throughput平均都能保證在1GB/s以上。更換硬碟的結果目前看來還是很不錯的。