commit a160e39d447bc5cd8d34804753c82deca50d6db7 Author: shnee Date: Tue Mar 15 20:37:28 2022 -0400 In-memory cache working. - in-memory cache using the builtin cache for haproxy is working. diff --git a/certs.yml b/certs.yml new file mode 100644 index 0000000..98afe6b --- /dev/null +++ b/certs.yml @@ -0,0 +1,192 @@ +$ANSIBLE_VAULT;1.1;AES256 +36386336326665613333393236353139363931363236626433376132663039343861656263336565 +3233633865396536623032383533316239626338313931640a623664333763353462653064663736 +61366338323761353665363764313663346561346539656561313938316463373236393236333233 +6336613233656536380a643733306163613538326634343962643832376366616162346632623334 +39633862613861656264623837646665343832363562386438663332333863343434363939303635 +32646366363734653632383261636637376665623563303832316134633838636439316162386230 +62643639336237356134393434363630656430663064383365663137646337343661613561343362 +35393766633964373431633835376664346162313134646632663064306330633437636563356166 +63636239626332656464393632626361373865616435316539323637303839396136393036656234 +62363438656132633833653533643834306165373337376631363934303064333165383131366131 +30376434313364306164613337396161643662626330646132626134396566316437303137396330 +31386235613564343862653765303738396164653531303130326336303839636535356564313036 +37626663623335663166323966623231336134313636616436373638633832356565333337383030 +33393465336430636462653866376463353835386164393766303361356265623539396666343964 +65643163306534323035303631666530366133313630343933623461313166383165323837303339 +61666137623731383862386361306532343362363939653464343962653632363235363936356437 +39666333653561356564663432363530396535356530343830613566613664633266336130616634 +32323862313763646461356265396265336362326166613230653732623766663561366539356131 +32366530663237633731633464383163326463303834316163303366316163646533323730346265 +32646639373466663164346437313534376563386139653263363666323136663665663430306662 +66363461666666353838653733646632396266326665343362646434646231656535376563666533 +39326665636463343831356561326133666337643234353132363138346635613230303730326237 +38363561616164613466366564376561316130626438623264343561616130663862346233346536 +63663366326238376237386332656336336231373862376462303435373732633935643061613137 +61363561326134633563633134376230663630633331386466343563393731316536353365616238 +63386639323631376530666532393235326565613031336538386636326336323738636262636633 +31333363333930643761623362613830626436643633356638383030313863336230663038373237 +36346663613433643563356432373963323630323966653033346430633634643134653433393234 +61393435333634313637613230623266653566363433333062363561323465313261306632366635 +36343230663034636538346561333964333362396637643732373130396365393438653362343261 +66666539303466306532663631373838643336623762373064366165333863663838633334363861 +32613437333638343463313662663831626336303430666233643735396161343239663335346438 +65393437643438653832633238303433663630366233323135643466623238643037343335333266 +66376130376266376166353964663838313033636663663264313565333032303865353961396433 +33386130396631643434356661306536656230363339313138616563626361626561373134396563 +37313365323539386636656565333937313733386536656338303463373932613065323463333962 +65343236623361346233663233623264333161303566396665326362333362333262616137616331 +31626365643863353335663663303865336166666531306134663031303765363837336339393733 +32323064656235616631363932376337316363613935663338663235633565666236646137343461 +64383937353064323163376265386238633137346330653433636465346533656464636465343064 +36646430623732393761326363666238383031326432343838353839663863346334376265663833 +64353463643863643335393862343339323666663761356562353335643631336461323532323133 +35626266373131356565386339306461623039396163343364663937633531626133616130636131 +63653464653235366161656439346161613962336166323866376164653337653136393063313632 +65343164373030643938666436633231363661363966316231373636323362313739326462326234 +39656463313536346433623562623038373938316361653032663630306232346339306636663439 +38646632636530306265356432623865313233646638623938363461653865633862363439306632 +39363939353231636636643731633565383735623462383333393762336565363162386635646462 +64396265623264663531333130636137313932653931373638343538663937383235633633313430 +36353163306464316663653164326131373763326432336566343062646333646333366334353736 +34386565343837373432393831363632326166333465643562323064396138633563373636356636 +37633934373330623561383062663536343635363138333632633630643865613465666236356565 +64353937326263613133623166363731643833643233303961643430613330623834633830346631 +31346135383333323832633531313764353362633764313431636337356134393837326663316232 +37363939323963323031353936623935313665646232356138383936613732356433363761353933 +37356165383734646239336532353764313464333536383932343166666533376336656136633762 +39623536306530363538666264346136363664656163656265373939326134623934393865633538 +62356137386162363765323737336532373436663939303036653266633234393330646236393432 +37313137336561316233643534323433393238626230323534643865633065336337346537656464 +37393465313131636633393363633363313230323134323633376430643633633464313438653762 +63666536303162306439353766653433353839336366363164386134653939346665343838633032 +35336465613163393530653464363330376264613932353339666466616363306663323962636661 +63333939653731626536396533343965323235396635653765396639356232326364643932653631 +31653664656332633137666139623533306239646566643135356436353130306338326565656532 +30613061363133636165383536383531383034613834646532346138326335613735393931323066 +37393138613031393132646330376432326265343661663834663235646666386165613261393230 +30323461653436376534653865353763616636623763613938663666376138303737663062616561 +65333931366136383130303637633336363336343638616532613764316133663131373636363334 +61336432663766396136656532353766643762633266353935356539356339626435306634393536 +38663736633063353762366663323538653338363063323634396633316339616464613838663731 +31323535353435663033623232633838323937326165373131353835666564636339653239323038 +62653065653564653830663063663366323931656563313266326462303335646263313538636330 +30326332386332373936316236666332633736636230373436383735383636373533666364636638 +39323462373038653633313739323238343566316261353764313037663939306637616331643130 +66343634616366376336636539326434393065613737313764643034313163333836633261303636 +37376339343666663432363264653139626364356133333361633666656239333438643764333165 +31666533356530306361343632613739666665373666613332356266323830303330363534336363 +34656337643631343362386362653062343933653165626132363038396665373832623365643538 +63353465373236653964343932656331643262376431353165616161623661303238356438343862 +34346331643163633637363736643430346534663763366438633261356637333033303461623537 +36303965353931626334663134646365633761353065346437333331623361303636646665376364 +66623136353532616464323262616666323731396338316238653838616536326230636435316362 +39313366623534653265663566626461356266363838633736663465643066646361663166323431 +34653731636334363939613739366266303438646661376366396264643434323161316231333032 +61313531616236353164656461613831313035353736613164303330383532336461393839316435 +33356433323632313934363465306661636331303438623464653563363963646564346130346566 +32653831656163656432376664346231313937383834636662383366373336386662303438363632 +39323732333563343563363562396663646530353133376633313934373963333766656438646365 +65336135373830633962326464303361633565623031636330663538313530646631366361653936 +32326461336539353837653465613333356531633335643765386439366161656234393962343138 +39373034666162623832346565353639303765393632376430353732383031306235343337363535 +30333436363834303430323262353932373338303438316161303561303734313935343638343736 +31333232333166393031653137646537336265393064383939356332383731303465666338663838 +39626362653165316136323937326666336533316135643731616637373439663935303264333332 +63313262303162303166333331326131303838386634656138333464346566636339323931333139 +36383034383462643736623035656434383838643339663833636439656131616362613566373434 +37303238376261363738343932626131666138636565626665333331323061306636376166373935 +34346432643039653339333438666162643964376262343130656434326439646231313161366130 +31323531313564623031393635633263626437653236623235653430336431303866383334333363 +62326564373063313836313261376632656338373337366366346132323865366536383765636133 +37616662313035353035396132366164666438343138653935613666636234323666646661613332 +39643331626438646166323930643535613235313666396631313861316664633066633930333163 +32646135363833393338643866343238383764353032636430386530323662386630336135626566 +39626362653563643439343635356632353032636166393963653165323338663365623434326631 +34396431363965343962333236666132653466306661343139336234626231653137303864626465 +32303961383061323966363134633437323230336432343661396231393533313637363265613132 +63333931363434643762613438306532366437356638633435383730343763616664343465616632 +39383031376335623732663931386331663765653563616136653138396437646431663139323662 +64366136333136623136336630626537363664343730366630356565366132363664616134363937 +33623532383964623961366634616536633562666337303264333735326437613862366661373766 +61383537353666633461366239333531663537363931653234343233663736636565623964393530 +62373462393063613735373135326330316363393037313361323161396266333937636262353132 +37663861366136316233336466333236643933363531303135646632623030626561343639306536 +38616561656530306631383961623861613061633537383130373561313335383430663033303236 +32643732663735306131613233363530343161386461313430393634366238393737646636343736 +62626238643634373133633331623131396633363135636131653833616136616230386639333064 +38633138383764323137623439323637663562613464353335396133323561346264643665666337 +30326139306263386138323537616637633134653334333834353735656162653035383831323630 +64653437366535643537393736333737663763313061623737353562636161646466303562626136 +63323030333233393930663330303438306137373733316137323366663232333437666431656139 +65626333373963393363653864373834363336373564373763336139346530333237326439363765 +63356437393130616138623038386365336463386230666466616331383538356466333732303030 +34626463623163323561336337336330663130303037623837323832666333626135346633626531 +66373463616334316237633861306135363762393131396635323932613161653134393963343131 +32303365643662663533633631643536663632376462396234303330376538613861366132383535 +64356565383431663036343363333835346630323435343262313433303266643266306236373733 +31303237626565306630353838356135393339353836333365373935623033346336613032373766 +65643434313139363962633639353735633930363566396434313933386633363138636137643861 +33306364343362643738353138373236613635663939623933626233326366326236623365636662 +33643135326663333030633134643965613332356364653933613065383164336638633062303536 +66613737376563333063633530643433373861343235343132333338383263346432313039663762 +66326531373634643335346532623666386666636564316237616132663332363262356462636337 +32333638653635353135356639373362383061343130323630303963333235626562656337353365 +61373162653339356261656232383332366234393239313162366262626338333430346136303264 +39386532323237326435356338356663376531323132646633383039333539626461303330386533 +65396661333831386364336265316634316365346364663861373266323066646266363533316332 +38656531306439626662306636343566363035336231313962656530626235613338663862326532 +61333038376136613732336236306230336266633833303935316362336361353034313731396236 +33633237343063373938386638363633313539313464303534326638306639363237653933643931 +39316135386139633139316463356565646534633338343065643435363939333536343263376436 +39643663666561303435373539323131323139383165623332623832316262306432303737346335 +38613964623666353834353638353935663261653933633938376439626432376439323461343465 +66653363393731303239373465653561386335366136633838313037383231316665646465343439 +34343866303832373030306563326466366336363866363964303935343665376566386266313435 +61656432353234623439623563656133376464313164323539356435333237613566626231633831 +62633231363035303435366637313833633236303662356633373930336634363930633363626334 +62353239333161623239326230393534613639326238646161393562663162616331303062383730 +63353436623033666634326135636239323534343131616661396639323935313336316164663635 +35343061393037626263376539303962316263643936336164376537343266343162386132393365 +35333532363835643237333831653932303135386264313166616634643834336334353331343764 +36336335356163613339383036336238333935346462363866373937643937303366623966646162 +30623638303237613135303866376231613464356231663434636638653737636465623530303235 +34653836333832623533616665353366386263363235393037626433636364653834633736626564 +63623230663839386535313034656561316131373139366237616134313339383532326265613266 +30643733383861383535323631356434376634646134323437306265393164316566353266333136 +65363934333534336637343966353637626530373065303064316266663537643064343538306437 +32656530656364363335656231393634383038343762323530383462643865656537666633613538 +35663261376238333234396466326537333464366536636338636632306263356265393663303761 +66653464323066653164653930383935363534306564383065303139663436393838383034623836 +36653364643764663030313233303239636263636639306236666134346466626134306237393038 +39306363323034306535646564363533613663313932356236363565353936383232653631636331 +37346232393531633761386639396237373531623336656137353931623262666465633735326432 +63613763646662613836363737383535366139643563653134653863366663326265626139643764 +61633334333436356136373466336463376263643266613461316432323063666633363437383762 +37653965333034393631353864336230333639353063353063633431303939336166333237653665 +38376263653237653637333430626132333235363532613064333831623663636465313034643335 +38323330396338373739393536313765653630323661313462653435623235386531343264623033 +66643166373433396632663633306233383730323762373233336435393062363966613035643962 +62636634623439663663383239343165313061643035363132383538333934396330616334333332 +61336132353164336538666364393237376161383861663463643166326334396633353563613961 +62386334626231613762303532336239623436343934383961346364633132323835393564333134 +66633261313539643661613062633638643433396431646330656139336563353063373036656537 +64383330626233666132366563353330373833383632306134663236356432363961336561646165 +66323364666332343362656262626633653462386666366465626665376132383134373130316666 +33613330376534663738646564306162383631343233306265393933353862616136393866343063 +33316261326430393961386266626434663964653631643661326232353464316230343962303666 +39323563666537646163653536363336356632623061613166323932623537373234663161323734 +64666663353136373935316134636565393939366136613136613963656538333064613161343634 +61376361343136316537363932666165646261313961353437356535636365383635653464393765 +37303436653632613939623966383333663937323165356530653263393861396632393931613464 +34376633613435383061333938363837343364393933346338383564373336386630356637373866 +65383932633733353061663537333665306262636465643966363466646238306463373966613338 +36356632643166356333333763663539613134613265346331376537366630323334623933386231 +61623038323935393833653862633435373966386666643162353033343861343863613533333132 +30633063626365623938646164356531386233343338313639373430623133396366326638363734 +35336162303631653633353230666530396266653534323037306230323661363636643363346638 +66396462373538313266643463663961366335383261663532626263636434306666636434353565 +32366163353231353862613239376664616164616631303131653735373539626264323632336534 +34623235313339666434643138326634383430356635306130633232306532663238623931356164 +31393133656166396531636432636466323032653737333939303862396337396238376163333735 +326264343939383265616436323163656634 diff --git a/pkg-cache.yml b/pkg-cache.yml new file mode 100644 index 0000000..199fa62 --- /dev/null +++ b/pkg-cache.yml @@ -0,0 +1,75 @@ +--- +- name: Install a package cache. + # TODO REM this should be all, come up with a solution. + hosts: all + + vars: + install_docker: false + # This object represents the uid/gid for the haproxy user/group in the + # haproxy container. + haproxy_user: + # uid: 1003 + # gid: 1007 + uid: &haproxy_uid 99 + gid: &haproxy_gid 99 + persistent_data_directory: /media1/srv/pkg-cache + host_cert_file: "{{ persistent_data_directory }}/{{ cert_name }}" + host_config_file: "{{ persistent_data_directory }}/haproxy.cfg" + permissions: &persistent_data_permissions + # owner: gert + # group: gert + owner: *haproxy_uid + group: *haproxy_gid + mode: '0640' + cert_name: pkg-cache-shnee-net-key-cert.pem + container_cert_file: "/etc/ssl/certs/{{ cert_name }}" + vars_files: ./certs.yml + + tasks: + + - name: Install docker. + ansible.builtin.include_role: + name: install_docker + when: install_docker + + - name: Create hosts directory for data. + ansible.builtin.file: + path: "{{ persistent_data_directory }}" + state: directory + <<: *persistent_data_permissions + mode: '0750' + become: true + + - name: Create haproxy config file. + ansible.builtin.template: + src: templates/haproxy.cfg.j2 + dest: "{{ host_config_file }}" + <<: *persistent_data_permissions + become: true + + - name: Copy over SSL cert. + ansible.builtin.copy: + dest: "{{ host_cert_file }}" + content: "{{ pkg_cache_shnee_net_key_cert_pem }}" + <<: *persistent_data_permissions + mode: '0600' + become: true + + - name: Start the haproxy container. + community.docker.docker_container: + image: haproxy + name: pkg-cache + state: started + restart: true + network_mode: default + # TODO REM this shouldn't be needed becuase of the proxy. + # published_ports: + # - 4433:4433 + volumes: + - "{{ host_config_file }}:/usr/local/etc/haproxy/haproxy.cfg" + - "{{ host_cert_file }}:{{ container_cert_file }}" + env: + VIRTUAL_HOST: pkg.shnee.net + VIRTAUL_PORT: "8080" + NETWORK_ACCESS: internal + restart_policy: unless-stopped diff --git a/templates/haproxy.cfg.j2 b/templates/haproxy.cfg.j2 new file mode 100644 index 0000000..5a66b6c --- /dev/null +++ b/templates/haproxy.cfg.j2 @@ -0,0 +1,29 @@ +global + log stdout format raw local0 + # uid {{ haproxy_user.uid }} + # gid {{ haproxy_user.gid }} + +defaults + log global + mode http + option httplog + timeout client 10s + timeout connect 5s + timeout server 10s + timeout http-request 10s + +cache pkg_cache + total-max-size 4095 + max-object-size 524288000 + +frontend http_frontend + # bind *:4433 ssl crt {{ container_cert_file }} + bind *:8080 + default_backend pkg_repo + +backend pkg_repo + http-request cache-use pkg_cache + http-response cache-store pkg_cache + option forwardfor + server server1 mirrors.gigenet.com:443 ssl +