Vedle látek nutričně významných mohou za určitých okolností hlízy brambor obsahovat i látky škodlivé. Dlužno dodat, že za normálních okolností se s nimi nesetkáváme. Mezi hlavní obsahové látky brambor, které mají antinutriční charakter, můžeme zařadit glykoalkaloidy, zatímco ostatní nežádoucí látky jsou látkami cizorodými (těžké kovy, dusičnany, rezidua pesticidů) nebo látky vznikající tepelnou úpravou, např. akrylamid. Obsah těchto látek je daný mnohými vnějšími i vnitřními faktory, například s vyšším obsahem glykoalkaloidů se setkáme jen v případě silného osvětlení hlíz, které mají výrazně zelenou barvu – nesmí se konzumovat. Těžké kovy by do hlíz mohly přejít v případě pěstování na silně kontaminovaných půdách, rezidua pesticidů při jejich nadměrné aplikaci a dusičnany při silném přehnojení dusíkem. Všechny tyto látky jsou kontrolovány Státní zemědělskou a potravinářskou inspekcí (SZPI) a je potěšitelné, že vzorky jsou až na výjimky negativní.
V bramborách jsou obsaženy toxické hořké glykoalkaloidy, které se vyskytují téměř ve všech tkáních. Jsou to především alfa-chaconin a alfa-solanin, které představují asi 90–95 % celkového obsahu glykoalkaloidů. V hlízách brambor se jejich obsah pohybuje v rozmezí 2–10 mg/100 g čerstvé hmoty, nejvyšší koncentrace je pod slupkou (slupka, která představuje 2–3 % hmotnosti hlíz, obsahuje 30–80 % celkových glykoalkaloidů) a v okolí oček na hlíze nebo v blízkosti poranění hlízy, resp. klíčcích brambor. Glykoalkaloidy jsou většinou zastoupeny v poměru 40 (alfa-solanin) ku 50 (alfa-chaconin), i když celkový obsah glykoalkaloidů je značně závislý na odrůdě. Úroveň glykoalkaloidů je významně závislá nejenom na stanovišti, ročníku a odrůdě, ale rovněž jsou významné interakce odrůda × stanoviště a odrůda × ročník. Glykoalkaloidy brambor mohou ve zvýšených dávkách působit řadu zažívacích obtíží a slabších střevních onemocnění. Způsob loupání hlíz a jejich další zpracování jsou pro obsah glykoalkaloidů v hlízách rozhodující, neboť podstatně jejich obsah snižují. Nerozkládají se vařením, pařením, pečením ani mikrovlnným ohřevem. Jak již bylo uvedeno, významným znakem vyššího obsahu glykoalkaloidů je zelená barva hlíz, a proto takové hlízy nekonzumujeme.
Dalším rizikem brambor je akrylamid vytvářený při smažení, grilování, pečení nebo fritování brambor při vysokých teplotách. Je to potenciálně mutagenní látka, za jejíž hlavní zdroj pro lidský organismus byla donedávna považována voda a kouření. V r. 2002 byl zjištěn výskyt akrylamidu v pečených a smažených výrobcích z brambor, což vyvolalo značný zájem o výskyt tohoto kontaminantu, který se vytváří při silném ohřevu (smažení, pečení, pražení) potravin bohatých na polysacharidy (např. škroby), jako jsou brambory či obilné výrobky. Akrylamid je vedlejším produktem „hnědnutí“, vzniká ze sacharidů (především glukózy) a aminokyseliny asparaginu Maillardovou reakcí, a vytvořené množství závisí na výši teploty, délce jejího působení a koncentraci redukujících sacharidů. Akrylamid vzniká především při zahřívání potravin s obsahem fruktózy či glukózy a asparaginu nad 120 °C. Jeho průměrný obsah v bramborách je 1,135 mg/kg, 0,067–2,713 mg/kg v bramborových lupíncích, v hranolcích průměrně 0,055 mg/kg. Profesionálně vyrobené lupínky nebo hranolky jako polotovar jsou pod přísnou laboratorní kontrolou, problém by mohl nastat při domácí výrobě lupínků nebo hranolků (včetně dosmažení polotovaru), rozlišovacím prvkem je opět barva a platí, že smažíme pouze „dozlatova“, hnědé zbarvení už je nejen z hlediska obsahu akrylamidu nebezpečné.
V souvislosti s kontaminací životního prostředí se většinou hovoří o skupině těžkých kovů, které mohou být považovány za rizikové. Často jsou definovány jako kovy, jejichž specifická hmotnost je větší než 5 g/cm3. Při nižších koncentracích nejsou pro rostliny toxické, ale mohou být dále zapojovány do potravního řetězce a tím se pro svoji toxicitu a karcinogenitu stávají nebezpečnými i pro živočišné organismy. Mezi nejnebezpečnější patří kadmium, olovo, rtuť, dále zinek, nikl, měď, chrom, arsen, molybden, kobalt, cín a také potenciálně toxické prvky vanad, berylium, thorium. Převážná část těchto přijatých prvků rostlinami brambor se kumuluje v nadzemní části rostliny. Ke kontaminaci hlíz dochází v závislosti na citlivosti rostliny bramboru k příslušnému prvku, odrůdě a lokalitě pěstování. Dominujícím faktorem jsou však podmínky stanoviště. Největším potenciálním zdrojem znečištění půd těžkými kovy (a tedy i brambor, které tyto těžké kovy akumulují mezi plodinami průměrně) jsou kaly z čistíren odpadních vod a průmyslově vyráběné komposty.
Dusičnany patří mezi přirozené látky, které mohou v nadměrných koncentracích působit vážné zdravotní problémy. Brambory patří mezi plodiny, které se umisťují svým obsahem dusičnanů ve středu hodnot, tj. s mírným obsahem nitrátů. Obsah dusičnanů v hlízách bramboru není vysoký, představuje zhruba 4 % celkového dusíku. Faktorů, které významně ovlivňují akumulaci a obsah dusičnanů v hlízách, je celá řada – odrůda, prostředí, hnojení dusíkatými hnojivy, skladování, přerušení přísunu dusičnanů a dále vlivy kuchyňské a potravinářské úpravy – loupání, vaření, sterilace, smažení, sušení, kterými lze obsah dusičnanů snížit.
Po aplikaci pesticidů se lze setkat jen v ojedinělých případech s rezidui pesticidů u brambor. Při konvenčním způsobu pěstování brambor se moderní pesticidy rychle rozkládají, nesmí se však používat levnější zastaralé, nebo dokonce zakázané pesticidy, ty se rozkládají dlouho a jsou širokospektrální, dále je nutné přesně dodržovat lhůty a dávky postřiků. S rezidui pesticidů se samozřejmě nesetkáme u brambor pěstovaných ekologicky, avšak pokud se moderní pesticidy aplikují správně, v plodinách nezůstávají a v životním prostředí se postupně přirozenou cestou rozkládají působením světla, tepla, vzdušného kyslíku a vlhkosti v průběhu ochranné lhůty, tedy určitou dobu před sklizní. Nemůže tak docházet ke kumulaci jejich reziduí v rostlinách nebo v potravním řetězci.
Obsah těžkých kovů, dusičnanů a reziduí pesticidů je pravidelně kontrolován SZPI a za poslední dva roky nebyl zaznamenán jediný případ, kdy byl překročen jejich přípustný limit.