Hicretten kırk yıl önce Mekke'de doğdu. Türkiye'de yayımlanan bazı ansiklopedilerdeki 571'de Kudüs'te doğduğuna dair kayıt gerçeğe uymamaktadır. Hz. Peygamber'in onuncu dedesi olan Fihr'de Resûlullah ile soyları birleşir. Benî Hâris kabilesinden olan Ebû Ubeyde, Câhiliye devrinde Mekke'de okuma yazma bilen birkaç kişiden biri olduğu için Kureyşliler kendisine değer verirdi. Ebû Ubeyde, Hz. Peygamber'in İslâm'a davete başladığı ve henüz Dârülerkam'a girmediği günlerde Hz. Ebû Bekir vasıtasıyla müslüman oldu. İslâmiyet'in yayılması için büyük çaba gösterdi ve bu sebeple Kureyşlilerin ağır baskılarına mâruz kaldı. İşkenceler dayanılmaz hale gelince 616 yılında yapılan İkinci Habeşistan Hicretine katıldı. Ancak bir müddet sonra Mekke'ye döndü. Daha sonra Medine'ye hicret etti. Hz. Peygamber onunla Sa'd b. Muâz arasında kardeşlik bağı (muâhât) kurdu. Muhammed b. Mesleme veya Ebû Talha el-Ensârî ile kardeş yapıldığı da söylenmektedir. Ebû Ubeyde Medine döneminde İslâmiyet'in tebliğ edilmesinde ve idarî işlerde önemli görevler aldı. Hz. Peygamber'in sancak vererek gönderdiği ilk seriyyeye Hz. Hamza'nın kumanda ettiği bilinmekle beraber bu görevin Ebû Ubeyde Ye verildiği de rivayet edilmiştir. Hz. Peygamber ile birlikte bütün gazvelere iştirak etti. Bedir Gazvesinde düşman saflarında bulunan babasını, özellikle kendisine hücum etmesi üzerine öldürmek zorunda kaldığı ve babaları, oğulları, kardeşleri ve akrabaları da olsa müminlerin kâfirleri dost edilmeyeceğini belirten âyetin (el-Mücâdile 5822) bundan dolayı nâzil olduğu rivayet edilmektedir. Babasını Bedir'de değil Uhud Gazvesinde öldürdüğüne dair Hâzin'in râvi adı vermeden naklettiği rivayete itibar edilmediği anlaşılmaktadır. Diğer taraftan siyer kitaplarında Bedir ve Uhud gazvelerinde öldürülen müşrikler arasında babasının adı geçmektedir. Ebû Ubeyde Uhud Gazvesinde de yiğitlik gösterdi. İslâm ordusu dağıldığı zaman Resûlullah'ın etrafından ayrılmayan on dört kişi arasında o da vardı. İkinci Zülkassa ve Sîfülbahr (Habat) (8629) seferlerine kumandan tayin edildi. Zâtüsselâsil Seriyyesinde arkadan gönderilen yardımcı kuvvetlere de Ebû Ubeyde kumanda etti . Aynı yıl Mekke fethinde Hz. Peygamber'in önünde şehre girdi. Beytülmâlde görev yaptı; Hudeybiye Antlaşması başta olmak üzere bazı vesikalara şahit olarak adı yazıldı. Medine'ye gelen Yemenliler'e İslâmiyet'i öğretmek üzere görevlendirildi. Hz. Peygamber'le din konusunda tartışan ve hıristiyan kalıp cizye vermeyi kabul eden Necranlılar, cizye tahsili için güvenilir birinin kendileriyle gönderilmesini istedikleri zaman Resûl-i Ekrem, "Her ümmetin bir emini vardır; bu ümmetin emini de Ebû Ubeyde b. Cerrâh'tır" diyerek onu Necran'a gönderdi. Ondan sonra "Emînü'l-ümme" lakabıyla anılan Ebû Ubeyde bu bölgedeki insanlara İslâmiyet'i de öğretti. Müzeyne, Hüzeyl ve Kinâne kabilelerinin vergilerini toplama görevi