No painel de controle do site acesse: Aparência > OPÇÕES do TEMA
Em General Settings, procure o campo Logo
Clique no botão Upload
Clique na aba Enviar Arquivo
Clique em Selecionar Arquivos
Selecione o arquivo em seu computador.
Espere carregar.
Clique no botão azul Selecionar
Clique em Save Changes no final da página.
Acesse seu site e aperte CTRL+F5 no seu teclado e veja a alteração.