Partirei do princípio que Virt-manager já está instalado, que o seu usuário está no grupo libvirt, libvirt-qemu e kvm.
Ao tentar criar um conexão ssh para conectar em outro host, é exibido um erro que não foi possível e que deve ser instalado o pacote openssh-askpass ou similar e nos detalhes é gerado um log de erros de permissões.
Se procurarmos por esse pacote no repositório do Debian Jessie, iremos encontrar o Razor-qt (razorqt-openssh-askpass), no entanto, apenas instalar esse pacote não é o suficiente se você estiver utilizando o Debian e Gnome, continuará gerando o mesmo erro. No Ubuntu, se não me engano, isso é um pouco diferente e o pacote openssh-askpass existe e resolve o problema.
Para que a conexão funcione corretamente, instale também os seguintes pacotes:
openssh-known-hosts
ssh-askpass-gnome
openssh-sftp-server
