Duotld или BASH trimming

Имам скрипт, с който правя пълен lookup на един домейн. А е много забавно да тримваш URL-и с BASH. Впрочем, лесно е, с изключение на факта, че разликата между събдомайнът gunter.babali.ga & babaliga.co.nz може да се сведе до последните два сегмента, тоест двубуквените .co.nz. Защо режа събдомейна? Защото не можеш да WHOIS-ваш събдомейни.

Мислех си, че двубуквената проверка ще е решението, ама не.
След като се оказа, че има .africa.com и прочие, реших ръчно да ги търся и обознача. HONK-HONK! WRONG! Ник’во наръка…въпреки че работ(и)еше няколко месеца с т’ва решение.

Снощи рисърчвах откъде мога да открадна списък със всички съставни gTLD-та, понеже в IANA има само top level-и. Чудничко – Мозила имат публичен списък. Режа списъка; даже го съкращавам (още не съм приключил) и файла при мене си. Скриптът го фечва колкото често се налага.

Тримването работи с повече от един събдомейн, между другото, понеже работи отзад-напред. Да имаш sub1.sub2.saddam.news.africa.com, ако последните два сегмента попадат в публичния лист, значи мейнът има три сегмента – news.africa.com; ако не попада, има два – africa.com, или при sub1.sub2.zerg.abj.bg, мейнът би бил abj.bg.

Bottom line – нуждата от това stem-ва от проблемът с .gov.uk, .sch.uk и други юкей парафилии, дето хем нямаш възможност да WHOIS-ваш, хем като цяло няма нужда.

Приключвам, като разказвам процеса на тримване: вадим $trimmed_domain от

protocol://subdomains.go.here.main.com/strawberryjam/2/lol.php?param=”poltergeist”

Почулаваме subdomains.go.here.main.com; След това проверяваме последните 2 сегмента; имаме само main.com. Cool.
Другият триминг е свързан с имейли и прави неща с gunter@antacids.africa.nz, но за това – друг път.

Duotld list from https://wiki.mozilla.org/Gecko:Effective_TLD_List