並行計算工具的選擇

並行計算是未來的發展趨勢,如何選擇並行的架構是個重要的問題。

首先要發揮集群計算的能力,用MPI是個不二的選擇。

其次為了充分利用cpu和gpu的多核計算能力,有一系列的庫可以選擇,openMP openACC CUDA OpenCL ,openMP openACC是同一層次的接口,是share memory並行,openACC比openMP有所擴展,主要是在GPU的方面,這一層的實現比較簡單,如果這一層已經足夠了,不要刻意把問題複雜化使用更復雜的調用接口,CUDA OpenCL差不多是一層,openCL的優勢在於擴展行強,他只是一個通用的標準,和MPI一樣有很多實現,所以對於不同的多核硬件都可以很好的支持,但是Cuda是Nvidia的特別實現,效率上會比openCL略勝一籌,然後還有一個參考是基於前面架構有沒有一些現成的庫可以使用,比如fft blas等等。


  • CUDA: 貌似上面的前輩們都已經總結了優缺點了,再敘述一遍吧。N家的多線程計算平臺和API,支持GPU。
    • 關鍵詞: 既有平臺又是API
    • 語言支持: C/C++, Fortran
    • 優點:版本更行快,社區活躍, 支持GPU
    • 缺點:只支持N卡
  • OpenCL: 不是很瞭解,搬運下wiki的內容吧。看這wiki的內容,感覺不明覺厲啊。異構平臺,支持CPU,GPU, DSPs, FPGAs 等。在多進程方面使用 task-based 和 data-based parallelism。
    • 關鍵詞: 平臺 + API
    • 語言支持: C/C++
    • 優點: 跨好多平臺啊
    • 缺點:版本更新慢
  • OpenMP: 這是directive-based parallelism。在寫完一般的代碼後,轉成多線程需要改動的地方不是很大,但只能支持shared memory(共享存儲?),是一個管理線程級別的庫。
    • 關鍵詞: API
    • 語言支持: C/C++, Fortran
    • 優點:移植改動少,支持普遍(普通的gcc都支持)
    • 缺點:只支持shared memory
  • OpenACC: 支持CPU/GPU工作,從名字Accelerator就可以推斷出,主要用於CPU代碼向GPU的移植(?有待考證,我在課程中主要是這麼用的。。。),更新方面其實也不快,需要注意編程技巧,否則代碼會變慢。
    • 關鍵詞: API
    • 語言支持: C/C++, Fortran
    • 優點: 移植簡單
    • 缺點: 編譯器啊,支持PGI,看計劃有支持GCC,但還不知道什麼時候才能發佈
  • OpenMPI: 消息傳遞接口庫。支持分佈式存儲,適合大規模集群服務器。另外,需要手動管理數據的分佈和消息的傳遞,需要重新修改代碼。
    • 關鍵詞: API
    • 語言支持: C/C++
    • 優點: 支持共享存儲和分佈式存儲
    • 缺點: 模型複雜,需要重構代碼。