Da würde ich erst einmal gesondert in 2D und 3D urteilen.
Der schwerste 2D-Teil ist für mich tatsächlich TLoZ, also der erste. Adventure of Link ist auch biestig und hat viele Tücken, von unlogischen hinweislosen "Rätseln" über ein Game Over-System mit nur einem Rücksetzpunkt (EXP werden dann ja auch einfach eiskalt wieder auf Null gesetzt, so wird leveln zur höllischen Angelegenheit) bis hin zu fiesen Passagen wie dem Weg zum Großen Palast, aber ich war irgendwie in der Lage, es vor zwei Jahren zum ersten Mal durchzuspielen. Sogar mit Genuss. Beim Vorgänger ist mir das nicht gelungen. Spätestens im fünften (?) Dungeon, wo die blauen Magier plötzlich in Massen auftauchen und vormalige Bossgegner mal eben so in die Räume eingestreut werden, bin ich echt gescheitert. Vielleicht auch zu schlecht ausgerüstet oder so, aber auf der Oberwelt nach Boni zu suchen ist echt das Nadel-Heuhaufen-Prinzip. Beizeiten muss ich's mal wieder versuchen.
ALttP war zwar auch längst nicht der einfachste Teil (zumindest kenne ich ihn im Gegensatz zu LA oder den Oracle-Teilen nicht so gut wie auswendig, hinzu kommen Bosse wie diese VERFLUCHTE MOTTE), aber da spielten sich die Tempel halt teilweise einfach recht zäh, sodass man oft an denselben penetranten Gegner vorbei musste. Da lobe ich mir die vielen Abkürzungen in SS (welches auch seine kniffligen Momente hatte, doch dazu gleich noch mehr).
In 3D müsste ich mich für meinen Lieblingsteil Majora's Mask entscheiden, wenn ich mal danach urteile, wie einem der Teil beim ersten Durchspielen vorkam. Im Gegensatz zum sehr durchstrukturierten und klar verlaufenden OoT konnte man in MM nach dem ersten Drei-Tage-Zyklus sehr viel machen... aber halt auch sehr viel falsch. Die vier Tempel gehören mit zu den besten und durchdachtesten der Zelda-Geschichte (neben den Oracles) und die massive Anzahl an Sidequests für Masken und Herzteile war wirklich nicht von schlechten Eltern. Im ersten Durchlauf überfordert dieses Spiel ganz bewusst ein wenig, bietet dafür aber auch umso mehr Inhalt und spielerische Tiefe.
Zudem haben Monster wie Gyorg, Gomess und der Endkampf gegen Majora (als kleiner Link mit Kokiri-Schwert...) mir als Kind echt das Herz in die Hose rutschen lassen. Ich habe lange gebraucht, bis ich den Teil nochmal angefasst und versucht habe, ihn zu 100% zu komplettieren.
Skyward Sword hat seine Tücken vor allem in der Oberwelt, die Dungeons sind eher einfach gehalten. Master Quest ist einfach sehr langwierig designt (wie ALttP halt), aber nicht unbedingt schwieriger. TP war extrem leicht. Sogar die Drillhöhle kann man mit einem roten Trank locker schaffen, wenn man sich konzentriert. Qualifizieren sich also alle nicht so wirklich.
Am Ende gewinnt insgesamt natürlich TLoZ, ganz klar. Finde ich echt hart.