Tommy Angelo era un taxista cualquiera que intentaba ganarse la vida en las calles de Lost Heaven hasta que un día un encuentro inesperado cambió su vida para siempre. Dos hombres suben a su taxi y le dicen que conduzca lo más rápido que pueda. Las balas comienzan a impactar en la cabina y un automóvil con perseguidores armados se acerca. Apenas escapando de una muerte violenta, Tommy obedece las instrucciones de los dos hombres y los lleva a un bar de su elección.
Impresionados con sus habilidades de conducción, los hombres le pagan y le ofrecen un trabajo en la mafia. Al día siguiente, mientras Tommy se toma un café, dos mafiosos rivales destrozan su taxi. Luego de esto, recuerda la proposición de ayer y, sin dudarlo mucho, se une a la familia Salieri, dando sus primeros pasos en el camino del crimen organizado. Mientras realiza misiones para Salieri, Tommy gradualmente comienza a arrepentirse de su elección. Sin embargo, resulta que unirse a la mafia fue mucho más fácil que dejarla.
Mafia es un juego de acción y conducción ambientado en la década de 1930 en Lost Heaven, una ciudad ficticia en los EE. UU. inspirada en Nueva York y Chicago de la Era de la Prohibición. Similar a los juegos de GTA, consiste en deambular libremente (conduciendo oa pie) en una gran ciudad, completando misiones para avanzar en la narrativa. Las misiones a menudo incluyen conducir a varios lugares, persecuciones de automóviles y una carrera; sin embargo, la mayoría de ellos están estructurados como niveles de disparos en tercera persona bastante grandes y largos.
El jugador tendrá la oportunidad de conducir más de sesenta vehículos que recuerdan al período de 1930. Cada automóvil lo maneja de manera diferente, con varios grados de daño. Es posible romper ventanas, destruir parachoques, luces y espejos, abollar el automóvil, disparar las llantas o disparar tanto que las llantas se caen. Para aumentar el realismo, si se perfora el tanque de gasolina del automóvil, la gasolina se escapará lentamente hasta que el automóvil se vacíe por completo. Hay estaciones de servicio repartidas por toda la ciudad, lo que permite al jugador repostar. Con estos vehículos, el jugador puede explorar doce millas cuadradas de la ciudad, visitando áreas como Central Island, Chinatown y el distrito Downtown.
Como complemento de los vehículos hay una variedad de armas, como pistolas, metralletas, escopetas, explosivos, bates de béisbol y palancas. Mientras conduce un automóvil, Tommy puede realizar un drive-by, sacando la mano por la ventana y disparando. Tratando de impedírselo está la policía; actuarán ante cualquier cosa sospechosa. Si ven a Tommy con un arma, intentarán arrestarlo. Superar el límite de velocidad, saltarse los semáforos en rojo, chocar contra edificios, automóviles u objetos dará lugar a multas.
Tommy a menudo recibe autos nuevos para usar durante las misiones, generalmente provistos por Ralph, el mecánico de la familia Salieri. El jugador también puede salvar autos secuestrados en el patio trasero del bar que pertenece a Salieri. Vincenzo, el traficante de armas local, puede adquirir armas al comienzo de una misión.