Dans ce cas, il faut envisager de te monter toi-même un PC "livré en pièces détachées" (à assembler).
L'immense majorité des PC "prêts à cliquer", vendus sous une marque, est livrée avec la licence Windows incluse... qui visiblement ne t'intéresse pas,... et que tu n'as donc aucune raison de payer en plus.
Sauf qu'il est quasiment impossible d'acheter un PC de marque (HP, Dell, Asus, Lenovo et les autres) sans la licence Windows. Et qu'il te faudra donc choisir et acheter chaque composant de ton futur PC, puis les monter toi-même.
Mais je suppose que, si tu choisis Linux, c'est que tu n'as pas peur de mettre les mains dans le cambouis.
Au pire, il existe des assembleurs professionnels, qui pourront à la fois te conseiller sur le choix des composants, en te garantissant leur compatibilité, et faire le montage, mais bien entendu ce service est payant, le prix des composants étant majoré.
Ta config ne coûtera finalement pas moins cher (ou, probablement, coûtera plus cher) qu'un PC pré-assemblé malgré l'absence d'OS payant, car tu auras très vraisemblablement choisi des solutions haut-de-gamme plus coûteuses.