O Project64 sempre foi minha escolha para emular nintendo 64, usei demais a versão 1.6 do emulador que é bem simples e estável, desde que você não fique movendo demais os saves de lugar srsrsr aprendi isso da forma ruim srsrs.
A mais atual 2.3 conta com opções para dar um upscailing e melhorar o gráfico de jogos, tudo isso já meio que pré configurado no emulador.
aqui uma comparação dele com o retroarch

Essa primeira é do Retroarch sem reconfigurar nada.

Essa segunda é Project64 tbm sem reconfigurar nada.
Percebam que o serrilhado é muito maior na primeira imagem. Então se não quer mexer muito com configurações gráficas recomendo pegar de cara o project64
https://www.pj64-emu.com/
Agora se você prefere que tudo fique em um lugar só e as facilidades do retroarch tem uma forma bem simples de deixar o jogo bem melhor (visualmente).
Primeiramente eu estou supondo que você sabe instalar ou tenha ele instalado e rodando, se tiver em dúvida esse tutorial aqui é recente e passo a passo
Bom agora vamos dar uma olha em como 'melhorar' um jogo aqui um exemplo de como ele vem padrão:

(a resolução do alva não ajuda muito, mas da pra ver vários serrilhados e a resolução do jogo está bem baixa)
Com o jogo aberto entre no menu do retroarch, pra mim que jogo no controle é o botão home dele, no teclado é a tecla F1.
Nesse menu vá em opções, la dentro nós podemos ajustar o gráfico do jogo, recomendo mudar o Aspect ratio de 4:3 para 16:9 a resolução do 19:9 para a uma mais adequada a sua maquina (eu coloquei em 4k rsrsrs mas 1900X1080 fica muito bom). Só isso já ajuda, mas vai ter tanto serrilhado que vai parecer que alguém construiu o Mario no Minecraft.
Agora pra resolver isso e deixar um pouquinho mais bonito nós ajustamos o MSAA eu coloquei em 8, mas dependendo da maquina isso pode lagar o jogo, a minha por exemplo no 16 parecia que estava jogando no Bullet time, então recomendo testes, experimentação de qual funciona melhor.
Depois temos os filtros de textura e melhorias de textura, não é nada como aqueles mods, mas quebra um galho. no texture filter eu coloquei o Smooth 4 e no enhancement eu coloquei o HQ2XS, de novo nessas configurações o legal é testar, se o Smooth 4 laga sua maquina tente o 2.
Depois de configurar é necessário fechar o retroarch e abrir de novo para que as alterações funcionem
Por fim o resultado foi esse aqui

Testei tbm em Zelda OoC e o resultado foi ótimo

Bom então é isso ai, você usa alguma configuração pra melhorar seus jogos de Nintendo 64? sabe alguma configuração diferente do que eu fiz e que funciona bem? ta com dúvida em algumna coisa? deixa ai nos comentários que eu vou acrescentando na postagem
É... Eu também não sei se troco o meu RetroArch aqui todo configuradinho já por uma versão da Steam. Talvez a vantagem seja a atualização automática do emulador...