Gæluverkefni - Proxmox + DO Ansible server + Wireguard

[Hjaltiatla]

Sælir/Sælar

Ákvað að byrja á litlu verkefni við að sjálfvirknivæða allar mínar uppsetningar heima.

Hafði hugsað mér að hafa uppsettann Wireguard/Ansible server hýstan hjá Digital ocean þar sem allt deployment mun fara fram (miðlægt) og tengist við umhverfið heima.

Ekki mikill vélbúnaður á bakvið þetta umhverfi Intel Nuc skullcandy og 1 fartölva og munu báðar keyra Proxmox.
Terraform býður uppá support fyrir Proxmox ,Ansible module-ar eru einnig í boði á móti proxmox og einnig Cloud init support.

Ef þið hafið einhverjar almennilegar leiðbeiningar hvernig maður setur upp Wireguard á Raspberry pi þá myndi ég þiggja þær leiðbeiningar (hef sett upp wireguard á Digital ocean droplet og það er mjög lítið mál) en það eru soldið misvísandi upplýsingar hvernig er best að gera þetta á RPI.
Vill helst komast hjá því að keyra Wireguard serverinn á sama vélbúnaði og proxmox vélanar.

Þetta er algjört fiktverkefni þannig að ef þið hafið einhverjar gáfulegar hugmyndir sem gætu hentað í mína uppsetningu þá endilega látið þær flakka.

Ef þetta gengur mjög vel þá gæti maður hugsanlega reynt að tengja umhverfið einnig við Azure og fara í flóknari Mesh network uppsetningu:
https://github.com/slackhq/nebula

[Hjaltiatla]

Virðist virka að setja upp wireguard á ubuntu á rpi:https://ubuntu.com/download/raspberry-pi
Fór eftir þessum leiðbeiningum: https://dnns.no/wireguard-vpn-on-ubuntu-18.04.html

Get núna tengst frá digital ocean vél inná networkið mitt heima

Edit: prófaði að setja upp x2go server (þar sem wireguard er uppsett) á rpi 3b+ en það var ekki að ganga næginlega vel. Hafði hugsað mér að uppfæra úr rpi3b+ yfir í rpi4 4gb útgáfuna. Ætti þá að geta notað búnaðinn sem jumpbox inná networkið hvort sem ég þarf að ssh-a mig inn eða nota GUI. Þarf einfaldlega að setja upp Ubuntu-Desktop á rpi4 og get þá tengst með x2go client + wireguard frá fartölvu eða digital ocean.

[Hjaltiatla]

Búinn að setja upp proxmox cluser (Intel nuc vél og x230 fartölva) - Get þá einfaldlega bætt við fartölvu í clusterið ef ég þarf á meira af resourc-um að halda í framtíðinni.








Það heyrist ekki hátt í þessu og það var eiginlega takmarkið með þessu. Þarf reyndar að versla mér auka NVME disk fyrir Intel nuc vélina og bæta við vinnsluminni í fartölvuna en þetta er allt í vinnslu.

Update 20.12.2019: Sýnist Hetzner bjóða uppá þá hýsingu sem ég var að leitast eftir, get sett upp pfsense router - Windows servera - linux servera og þeir eru með alls konar image/s í boði og eru ódýrari og með betur spekkaða vps-a en Digital ocean í það sem ég er að gera.
Verkefni fer í smá biðstöðu því ég þarf að versla mér pfsense box sem ég set upp heima og get þá í kjölfarið sett upp Site-to-Site vpn milli heimilis og hetzner. Þá ætti Hetzner að geta verið miðlægur staður sem ég set upp servera og nota þá serverana heima frekar í vinnslur sem henta betur þar (edge computing). Svona gerist þegar maður fiktar þá breytast hlutinir stundum:)

[textmate]

nice

[textmate]

Ertu enn að nota þetta? Væri alveg til í X230

[Hjaltiatla]

Ertu enn að nota þetta? Væri alveg til í X230

Maður selur ekki börnin sín , jú ég er ennþá að nota þetta.

Er reyndar með þetta project á hold meðan ég á eftir að uppfæra hardware heima (en maður er svo sem aldrei búinn í selfhosted/homelab verkefnum).
Er akkúrat núna einfadlega að prufa mig áfram með Github + TravisCI + Amazon ECS og setja upp React web app í multi container umhverfi (þarf ekki að henda pening í það því ég er að nota free-tier í AWS).

[textmate]

Hahaha ég skil þig alveg, er að nota X200 hún er að byrja eldast en samt rosa góð vél

[textmate]

Ertu með barnið þitt corebooted/heads/tails ?

[Hjaltiatla]

Ertu með barnið þitt corebooted/heads/tails ?

Nei bara basic Proxmox setup.

Er reyndar með eina x220 sem ég nota annað slagið og er með uppsett Ubuntu 19.10 á henni
Notaði þennan resource við að fínstilla vélina: http://x220.mcdonnelltech.com/ubuntu/

[textmate]

Ah nice

[Hjaltiatla]

Update:

Jæja, helsta hryggjastykkið er komið upp innanhúss þ.e reverse proxy svo allar nafnafyrirspurnir virki. Eins og staðan er í dag er wireguard eingöngu sett upp heima og nota ég KVM - Libvirt - QEMU sem VM stack (keyri reyndar allt aðallega í containerum).

Næsta skref er að útbúa ansible playbooks og tengja við einhvern netþjón hjá Hetzner eða Digital ocean (config management til að geta deployað þaðan).
Fer síðan að henda upp Home assistant og þess háttar.

[Hjaltiatla]

Eftir mikla vangaveltur þá er ég aftur byrjaður að nota Proxmox , Komst að því að þegar maður vill setja upp nokkrar vélar í Cluster og nota shared VM storage uppsett á Freenas þá hentar Proxmox best (get þá migrate-að vélar milli hosta eftir þörfum). Ekki flókin Freenas uppsetning sem sér um backend storage fyrir sýndavélanar 2 stk 500 gb ssd diskar í mirror usb tengdir við fartölvu. Algjör snilld að geta nýtt sér innbyggða backup og snapshot fídusinn í Proxmox (virkar mjög vel þegar ég afrita yfir á nfs backup server með usb tengdum flakkara).


Þá er það næsta skref að fikta með Terraform og Ansible Proxmo Module-a og reyna að einfalda sér lífið.

Edit: Sýnist þetta vera leiðin til að tengja saman Digital ocean umhverfið mitt við netkerfið heima, þ.e setja upp VPC og nota droplet sem internet gateway og nota Wireguard til að tengjast við netkerfið heima.
https://www.digitalocean.com/docs/networking/vpc/resources/droplet-as-gateway/

[Hjaltiatla]

Allt á réttri leið, kominn með tengingu frá Hetzner (er með Wireguard client uppsettan þar) og tengist við Wireguard server heima.
Get núna pullað allan kóða frá Github og deployað umhverfinu heima að miklu leiti frá VPS server hjá hetzner (virkar á 2,5 evru ubuntu vps)

Var að prófa að setja upp Apache,php , mariadb,samba og terraform client á nokkrar vélar heima með einfaldri Ansible scriptu.
Verður miklu þæginlegra að setja upp umhverfi heima í kjölfarið
Yrði mjög hressandi ef ég byrja að nota Terraform og Packer til að ganga skrefinu lengra

[Hjaltiatla]

Ef ykkur leiðist um jólin og eruð að nota Proxmox þá er þetta skemmtilegt verkefni ef þið kunnið undirstöðunar í að nota Terraform.
https://github.com/Telmate/terraform-provider-proxmox

Svínvirkaði hjá mér að skilgreina virtual umhverfið í kóða


Næsta skref er að setja upp jenkins server til að sjálfvirknivæða Ansible config-in mín af Github(þá pullar Jenkins serverinn öll nýjustu committin t.d og deployar stöffi fyrir mig).

Er kominn á þann stað að reikna með að tengja heimaumhverfið á móti AWS umhverfinu mínu og notast við Managed VPN hjá þeim ( get þá verið að nota SNS,lambda og alls konar fínerí) og notað hugmyndaflugið hvað ég vill gera.

Edit: Búinn að fínpússa smá

1)Hérna er ég að setja upp 5 stk Ubuntu server sýndarvélar í Proxmox sýndarvélaumhverfinu heima (Proxmox er svipað umhverfi og Vmware) og skilgreini í kóða og notast við Terraform.

2) Þegar Terraform er búið að stofna sýndarvélar þá notast ég við Ansible (Configuration management) til að setja upp Docker og Docker-compose á allar 5 sýndavélanar sem Terraform stofnaði og er sú uppsetning einnig skilgreind í kóða sem sprautast inná sýndarvélanar.

3) Hérna er ég búinn að tenggjast inná eina sýndarvélina og get byrjað að nota docker (Docker er núna uppsett á þessum 5 sýndarvélum).

[Hjaltiatla]

Alltaf er maður að breyta
Búinn að setja upp Site-To-Site vpn frá Heimili að Vultr. , ákvað að setja upp pfsense eldvegg hjá Vultr (þeir bjóða uppá custom iso upload eða velja iso skrár frá þeirra library). Einnig getur maður sett upp Windows server 2016 með löglegu leyfi ef maður þarf. Aðeins meira pro en Hetzner og vélar kosta svipað og hjá Digital ocean. Get núna sett upp vélar hjá Vultr á private neti sem ég get tengst heiman frá án þess að opna aðgang á Vultr vélar útá public internetið.
Notaði þessar leiðbeiningar til að setja upp pfsense server hjá Vultr:
https://www.vultr.com/docs/installing-pfsense-on-a-vultr-cloud-server
Og þessar leiðbeiningar til að setja upp ipsec tunnel á móti pfsense router á Edgerouter X routernum heima:
https://www.youtube.com/watch?v=qNWjqTdDyHU&t=706s


Virkar fínt


FYI: Maður þarf að hrærar í eldveggjastillingum bæði á routernum heima og pfsense routernum (kemur ekki fram í leiðbeiningum) þegar maður er búinn að setja upp Ipsec tunnel