Zelda II se présente comme un jeu d'action/plate-forme en vue de profil avec des éléments propres aux RPG. Une carte du monde est présente en vue de dessus, où Link se déplace pour se rendre dans les différents lieux à visiter. Le terrain est composé de différents reliefs (marais, hautes herbes, forêts, désert…) où des symboles de monstres apparaissent et se déplacent aussi. Lorsque Link croise un de ces symboles, un combat commence dans l'environnement correspondant, sauf sur la route où aucun combat n'a lieu. Certains endroits semblent normaux mais déclenchent une rencontre lorsque Link marche dessus: il peut y trouver des objets cachés (vie ou magie maximale en plus, expérience, vies) , des personnages non-joueur ou des ennemis.

Le reste du jeu se déroule en vue de profil (comme un jeu de plate-forme) où Link peut pour une fois sauter. Il possède aussi un bouclier, qui le protège automatiquement de certains coups et projectiles arrivant dessus. La hauteur des attaques jouent par conséquent un grand rôle dans les combats: de nombreux ennemis possèdent aussi un bouclier et Link doit se baisser ou se lever pour attaquer ou parer les coups. En visitant les villages du jeu, Link apprend de nouvelles techniques (attaquer vers le haut ou le bas en sautant) mais aussi de nombreux pouvoirs magiques. Il peut ainsi se régénérer, sauter plus haut, augmenter sa défense, lancer des boules de feu ou se transformer en fée.

Le côté exploration de The Legend of Zelda est encore partiellement présent, entre les donjons non-linéaires, les passages secrets et les lieux et objets cachés sur la carte du monde. Link doit aussi rendre service à certains villageois pour avancer dans sa quête ou apprendre de nouvelles techniques, en allant chercher des objets ou en sauvant quelqu'un pour eux.

Link gagne des niveaux au fil du jeu, en tuant des monstres, en ramassant des sacs d'expérience ou en finissant un donjon. Il peut à chaque fois choisir d'augmenter sa résistance, son attaque ou de réduire le coût de magie de ses sorts. Les 3 caractéristiques possèdent un niveau indépendant allant jusqu'à 8, et requièrent chacun un nombre de points d'expérience différent, qui augmente à chaque niveau.

Link commence chaque partie au château d'Hyrule avec 3 vies. Après les avoir toutes perdues, la partie est finie et Ganon ressuscite. Link perd tous ses points d'expériences (mais pas les niveaux acquis) et il est possible de sauvegarder. Dans la version japonaise, les niveaux de Link reviennent tous à la valeur de la caractéristique la plus basse.