Gökhan Sandalcı
Avnet Türkiye Citrix Teknik Danışmanı
Merhabalar,
Bu yazımda sizlere HP DL380 G9 sunucusu üzerine yaklaşık 1 ay önce yayınlanan Xenserver 6.5 ve Nvidia Grid K2 kurulumunu nasıl yapacağımızı anlatacağım.
Xenserver 6.5 artık daha performanslı bir hypervisor katmanı oldu. Dynamic Memory Controlün Xenserver 6.5’ta problemlerinin giderilmesi ile üzerinde çalıştırılan sanal desktopların daha performanslı ve kaynakların daha düzenli kullanmasını sağlıyor. Önceki sürümde (Xenserver 6.2) DMC aktif edildiği zaman bazı durumlarda mavi ekrana düştüğünü görüyordum. Ama şimdi çok stabil.
Krulumu yapacağımız sunucu süper;
HP DL380 Gen9 model sunucu, İntelin yeni E5 v3 Haswell EP işlemcileri ve DDR4 memorylari üzerinde barındırıyor. Üzerine eski modeldeki gibi 2 adet Grid K2 kartı takılabiliyor.
Kurulumu anlatmadan önce NVIDIA GRID içn Xenserver 6.2 ve 6.5 arasındaki farklılıkları belirtmek istiyorum.
Kurulumda HP DL380 Gen9 üzerinde Xendesktop 7.6 ile test edeceğim. Bu sunucuda şu anda 2 adet GRID K2 veya K1 kartı bulunabilir.
Eğer BU YAPIDA bir sunucu oluşturmak isterseniz, HP ve Nvidia ikilisi için aşağıdaki listeyi size referans olarak sunabilirim.
HP Part Number | Quantity | Description |
719064-B21 | 1 | HP DL380 GEN9 8SFF CTO SERVER |
652497-B21 | 1 | HP ETHERNET 1GB 2P 361T ADPTR |
665243-B21 | 1 | HP ETHERNET 10GB 2P 560FLR-SFP+ ADPTR |
719064-B21 #ABA | 1 | HP DL380 GEN9 8-SFF CTO SERVER |
719073-B21 | 1 | HP DL380 GEN9 SECONDARY 3 SLOT RISER KIT |
719076-B21 | 1 | HP DL380 GEN9 PRIMARY 2 SLOT RISER KIT |
719079-B21 | 1 | HP DL380 GEN9 HIGH PERF TEMP FAN KIT |
719082-B21 | 1 | HP DL380 GEN9 GRAPHICS ENABLEMENT KIT |
720620-B21 | 2 | HP 1400W FS PLAT PL HT PLG PWR SPPLY KIT |
726719-B21 | 16 | HP 16GB 2RX4 PC4-2133P-R KIT |
733660-B21 | 1 | HP 2U SFF EASY INSTALL RAIL KIT |
734360-B21 | 2 | HP 80GB 6G SATA VE 2.5IN SC EB SSD |
749974-B21 | 1 | HP SMART ARRAY P440AR/2G FIO CONTROLLER |
753958-B21 | 2 | NVIDIA GRID K2 RAF PCIE GPU KIT |
762768-B21 | 1 | HP DL380 GEN9 E5-2687WV3 KIT |
762768-L21 | 1 | HP DL380 GEN9 E5-2687WV3 FIO KIT |
455883-B21 | 2 | HP BLC 10GB SR SFP+ OPT |
Kurulumda bazı uyumsuzluklar buldum. Bunlar;
- Citrixin yeni Hypervisoru Xenserver 6.5 Xendesktop 7.1’i desteklemiyor. Yaptığımız testlerde XenDesktop 7.1 üzerinde Host bağlantısında başarısız oldu. Xenserver 6.5 üzerinde sadece Xendesktop 7.5 ve 7.6 stabil bir şekilde çalışmaktadır.
- HP’nin yayınladığı bir bilgi olarak artık DL380 Gen9 modelleri sadece 64bit İşletimleri için tasarlanmıştır.Bu değişiklik ile 32 bit Dom0 olan Xenserver’ın Gen9 sunucu modelinin Raid sürücülerini destekleyemez duruma getirdi.
- Xenserver 6.5 sadece 11.12.1 version Lisans Server ile lisanslanabiliyor. Xenserver 6.5 lisanslama ekranında lisanslama modellerinde farklılıklar var. Bunlar Xenserver Desktop ve Xenserver Desktop + seçenekleri ile dikkati çekiyor.
- Artık Xenserver Standart sürümü ve ücretsiz sürümü ile Vgpu özelliğini kullanamıyorsunuz.
Xenserver Lisanslaması için;
http://support.citrix.com/article/CTX141511
Aşağıda gösterildiği gibi normalde lisaslanmış bir Xenserver 6.5 ile XenCenter üzerinde “GPU” sekmesini görüntüler. Bu sekme yoksa, XenServer lisansını kontrol etmeniz gerekir. XenServer vGPU desteklemek için yeterli lisansa sahip değilseniz, bu sekme görünmeyecektir.
Yetersiz lisansa sahip olan Xenserverda başka belirtide aşağıdaki ekranda görebilirsiniz. Herhangi bir sanal makina özelliğine girip GPU tabından sadece bu typeleri görüyorsanız . GPU özelliğini kullanmak için lisasınız yeterli değil anlamına gelecektir.
Doğru Lisanslandırılmış bir Xenserverda GPU profillerini görebileceksiniz.
Xenserver 6.5 UEFI BIOS desteklememektedir. Sürüm hakkında detaylı bilgileri aşağıdaki linkte bulabilirsiniz.
(http://support.citrix.com/servlet/KbServlet/download/38334-102-714582/XenServer-6.5.0-releasenotes.pdf)
Destek çıkana kadar Gen9 dışında bir donanım önermenizi tavsiye ederim.
Aşağıda iki ekran DL380 Gen 9 Eski BIOS Modu EUFI gelen değişikliği göstermektedir.
Xenserver 6.5 üzerinde NVIDIA Grid kartları için 340.57 ve 341.08 sürücüleri desteklenmektedir. Aşağıdaki linkten görebilirsiniz
http://support.citrix.com/article/CTX140263
Sürücüler için, aşağıdaki linki ziyaret edin.
http://www.nvidia.com/Download/index.aspx?lang=en-us
Bir başka farklılıkta cpu tanımlamalarında olmuş. Xenserver 6.2 sürümünde cpu ayarları doğru tanımlanmazdı. Bu Xenserver 6.5 ta düzeltilmiş.
Xenserver konsolunda komut ekranından aşağıdaki komutlarlada cpu ayarlarını yapmanız mümkün.
xe vm-param-set platform:cores-per-socket=X uuid=<VM UUID>
xe vm-param-set VCPUs-max=<Maximum number of cores> uuid=<VM-UUID>
xe vm-param-set VCPUs-at-startup=<Number of VCPUs> uuid=<VM-UUID>
Örnek vermek gerekirse;
xe vm-param-set platform:cores-per-socket=3 uuid=698dc430-d9eb-8c59-ea32-783010dde169
xe vm-param-set VCPUs-max=6 uuid=698dc430-d9eb-8c59-ea32-783010dde169
xe vm-param-set VCPUs-at-startup=6 uuid=698dc430-d9eb-8c59-ea32-783010dde169
Kurulum Aşaması
Şimdi kurulum için donanımı nasıl yapılandırmamız gerektiğini ve kurulumu anlatmaya çalışacağım.
Aşağıdaki ekranlarda Gen 9 üzerine Xenserver 6.5’in performanslı ve stabil çalışması için gerekli yapılandırmaları göreceğiz.
HP’nin ILO bağlantısını kullanarak, sunucunun konsolunu görüntülemek mümküm, sunucu boot ekranında iken sistem configuration ekranına gitmek için F9 tuşuna basın.
Sonra aşağıdaki ekranda görüldüğü gibi BIOS /Platform Configuration (RBSU) seçin.
Gelen ekranda System Option seçip Enter’a basın.
System Option ekranında Processor Option’u seçin.
Intel Hyperthreading ayarını enable etmek için Virtualzation Option’u seçin
Gelen ekranda Virtualazation Technology ve Intel VT-d ayarlarının enable olmasına emin olun.
Ekranda ana menüye dönüp Power Management ekranına girelim.
Bu ekranda HP Power profile ayarını Maximum Performace’a set edelim. Bu işlem için yapıya uygun bir ayar yapmak için aşağıdaki citrix dokümanını okumanızı tavsiye ederim.
http://support.citrix.com/article/CTX200390
Dokumandaki bilgilere göre power management ekranında c-state ayarlarını yapınıza göre değiştirebilirsiniz.
Geri ekrana gelmek için Esc tuşuna basalım.
Performans option ekranına girelim.
Turbo Boost Technology’i enable edelim. Bu ekranda gizli bir service ayarları menüsü bulunmaktadır. Ctrl –A tuşuna basıp bu ekrana girebilirsiniz.
Servis Seçenekleri menüsünden, “PCI Express 64-Bit BAR Desteği” seçeneğini seçin ve “disabled” olarak ayarlayın.
F10’a basıp yapılan değişiklikleri kaydedelim.
Esc tuşuna basarak bir önceki menüye geri dönelim.
Xenserver 6.5 UEFI BIOS desteği olmadığı için, Legacy BIOS Mode’u seçelim.
Bu durum RAID bir yapı oluşturmaya müsade etmeyecektir. Xenserver kısa bir süre içinde bu uyumsuzluğu girecektir.
Sıra kuruluma geldi. ILO üzerinde Xenserver 6.5 ISO dosyasını gösterip sunucunun bu iso ile boot etmesini sağlayalım.
Xenserver 6.5 kurulum ekranı 6.2 kurulumu ile aynı,
Lisans anlşamasını kabul edelim.
İşletim sisteminin çalışacağı dik alanını seçelim. Xendesktop storage optimizasyou için, Thin Provisioningi enable edelim. OK ile sonraki ekrana geçelim.
Kurulumu hangi medyadan yapıyorsak o alanı seçelim. Ben local medyayı seçiyorum.
Supplemental Packs kurulumuna gerek yok. No diyerek bu ekranı geçiyorum.
Bu ekranda verification yaptırabilirsiniz. Kurulumun çabuk bitmesi için Skip edip devam ediyorum.
Password belirliyorum. Buarada minimum 6 karakterli bir şifre olmasına dikkat edelim. Bu şifre Xencer bağlantıs için gerekli olacaktır
Management için Kullanacağım ethernet adaptörünu seçiyorum.
Networking ekranında static kısmını seçerek xenserver’in ip bilgilerini giriyorum.
Hostname ve dns bilgilerini giriyorum.
Region ayarlarını girip ok diyorum.
Time zone alanı seçiyorum
NTP server var ise Using NTP seçiyorum. Yok ise manual zaman ayarlarını yapıyorum.
Ayarları yaptıktan sonra gelen ekran da İnstall Xenserver ‘ı tıklayarak kuruluma devam ediyorum.
Kurulum başarılı bir şekilde bitti. Ok tuşuna basıyorum.
Xenserver cpu performans modunu ayarlama için aşağıdaki komutları kullanabilirsiniz. Deskte için şu linkten bilgi alabilirsiniz.
http://support.citrix.com/article/CTX200390
Command to set the frequency governor to performance mode:
/opt/xensource/libexec/xen-cmdline –set-xen cpufreq=xen:performance
Command to query the current setting of the frequency governor:
/opt/xensource/libexec/xen-cmdline –get-xen cpufreq
Kendi makinamıza Xencenter kurulumu yaparak Xenserver’a bağlantı yapalım. Bağlantı kurduktan sonra lisans ayarlarını yapılandıralım.
Lisnans ekranını xencenter içinde Tools > Licensce Manager ekranına girerek, lisans sunucunuzu buradan gösterebilirsiniz.
Burada tekrar bir hatırlatma yapayım.
Xenserver 6.5 için lisans server sürümü 11.12.1 olması gerekmektedir.
vGPU desteği için Desktop ve Desktop + lisansı girmeniz gerekmektedir.
Lisansınız aktif ettikten sonra xencenter üzerinden update işlemlerinide yapabiliyor hale geliyorsunuz. Check for update ekranından updateleri görüp xenserveri update edebilirsiniz.
vGPU için NDVIDIA Grid kartlarının 340.57 veya 341.08 sürücülerini indirmemiz gerekiyor.
Aşağıdaki linkten nvidia sürücülerini indirebilirsiniz.
http://www.nvidia.com/Download/index.aspx?lang=en-us
İndirdiğiniz sürülerden rpm uzantılı file’ı xenserver 6.5 üzerine root kısmına kopyalamak için ssh bağlantısı yapı kopyalayabilirsiniz.Putty veay WinScp uygulamalarını kullanabilirsiniz.
Sürücüyü kopyaladıktan sonra xsconsole üzerinden aşağıdaki komutu çalıştıralım.
rpm -iv /install/NVIDIA-vgx-xenserver-6.5-340.57.x86_64.rpm
Kurulum bittikten sonra shutdown –r ile xenserverı restart edelim.
Sunucumuz açıldı. Sürücü kontrolünü yapmak için;
rpm –q NVIDIA-vgx-xenserver
Komutunu girelim. Sürücünün kurulduğuna emin olalım.
GPU kartının sistem surumunu görmek için;
nvidia-smi yazalım. Gelen ekran kartın anlık durumunu gösterecektir.
Artık Xenserver 6.5 kurulumumuz tamamlandı. Bir sonraki bölümde Xendesktop 7.6 kurulumunu yapıp vgpu destekli sanal destektoplar oluşturacağız.
Kurulum sırasında bir farklılık ve bir problem ile karşılaşırsanız bizden destek alabilirsiniz.