Sekiz ay kamu gözetimi altında tutulma cezasının Urfa yerine Diyarbakır olarak değiştirilmesini sağlayarak kız kardeşinin öğretmenlik yaptğı Diyarbakır'a gitti, bir tuğla ve kiremit fabrikasında katip olarak çalıştı.[6] Kamu gözetimi cezasını tamamladıktan sonra Ankara'ya döndü. 1954-1959 arasında platonik aşkı Leyla Erbil'e mektuplar yazdı.

Yükseköğrenimini tamamlama imkanı bulamayan Ahmed Arif, 1956’dan itibaren Medeniyet, Öncü ve son olarak da Halkçı gazetelerinde redaktör olarak çalıştı. 1967 yılında Ankara'da tanıştığı Aynur Hanım'la evlendi, 1972 yılında oğlu Filinta dünyaya geldi.[11][12] Uzun süre TKP Ankara il komitesi için çalıştı.

1960'larda Fikret Otyam'ın röportajlarına Ahmet Arif’in şiirlerinden bölümler eklemesiyle ünü yayıldı.[13] Şiirlerinin toplandığı tek kitabı Hasretinden Prangalar Eskittim 1968'de yayımlandı. Şairin tek kitabı olan bu eser, çok yoğun bir ilgiyle karşılandı; altmıştan fazla basımı yapılarak Türkiye'de en çok baskısı yapılan şiir kitapları arasına girdi.[10] Ahmet Kaya, Cem Karaca gibi sanatçılarca birçok şiiri bestelendi. Doğduğu ve büyüdüğü bölge olan Güneydoğu Anadolu insanını şiirlerine aktaran Ahmet Arif bu yönünden dolayı da halk arasında sevilen bir kişi oldu.[13] Hasretinden Prangalar Eskittim'den sonra hiç şiir yayımlamadı, hatta yazmadı.

Ahmed Arif, 1977 yılında gazetecilikten emekli olduktan sonra yaşamını Ankara'da sürdürdü.[14][15] Cemal Süreya, Canip Yıldırım, Cemalettin Ünlü, Muzaffer Erdost, Nedret Gürcan, Adnan Binyazar ve aile yakınları dışında kimse ile görüşmedi.[6] Ölümünden kısa süre önce yakınlarına, ikinci bir kitap basımı için şiirlerinin hazır olduğunu, İstanbul'a giderek dikte ettireceğini ve yeni kitabının basılacağını söylediği bilinir.[16] Fakat bu gerçekleşemedi. Yıllar boyu gazete ya da dergilere demeç vermeyen, açıklama bulunmayan Ahmet Arif, 1989'da şair ve gazeteci Refik Durbaş ile mülakat yaptı. Bu söyleşi, önce Cumhuriyet gazetesinde yayımlandı, sonra kitap haline geldi. Daha önce ikinci şiir kitabının adı olacağını duyurduğu Kalbim Dinamit Kuyusu, bu söyleşi kitabının adı oldu. Şair, Ankara'daki evinde 2 Haziran 1991 tarihinde geçirdiği kalp krizi sonucu yaşamını yitirdi.[17]

Ahmed Arif’in Cemal Süreya’ya yazdığı mektuplar, 1992 yılında kitap olarak yayımlandı.[18] Şairin, Hasretinden Prangalar Eskittim'e almadığı şiirleri, 2003 yılında Yurdum Benim Şahdamarım başlıklı kitapta toplandı. Leyla Erbil'e yazdığı aşk mektupları, 2013 yılında Leylim Leylim başlığıyla kitaplaştırıldı.