Вопрос о происхождении Паллавов является одной из нерешенных проблем древней истории Индии. Теория, согласно которой они были иноземными захватчиками, связанными с пахлавами или парфянами из Северо-Западной Индии, основана только на сходстве имен и может быть с уверенностью отвергнута. Согласно другой теории, Паллавы происходили из племен чола-нага и были уроженцами Дальнего Юга и Цейлона. Однако традиционная враждебность Паллавов к Чолам и явно северный характер их культуры не могут быть увязаны с э'гой теорией. Паллавы пользовались пракритом в своих ранних документах, поощряли изучение санскрита и совершали жертвоприношение ашвамедка. Эти факты наряду с претензией Паллавов на то, что они являются потомками брахманов, поврадимому, показывают, что они были действительно северянами брахманского происхождения.
Ранние документы Паллавов относят к III и IV векам н. э. Первым крупным правителем этой династии был Шива-Скапда-Варман, который правил обширной страной и совершал ашвамедка и другие ведические жертвоприношения. Столицей Паллавов была Канчи (Кондживерам). Когда Самудрагупта вторгся в Южную Индию, Вишнугопа, паллавский правитель Канчи, потерпел поражение и вынужден был признать суверенитет Гупты. История Паллавов в течение V и VI веков н. э. весьма туманна. Некоторые санскритские документы называют имена нескольких правителей, но об их деятельности известно очень мало.