Auch in der Römerzeit (25v. – 476n.Chr.) und in der Merowingerzeit (480 – 720n.Chr.) war der Burgberg besiedelt und bot der Bevölkerung Schutz bei Angriffen. Vermutlich schon im 9. Jahrhundert entstand 350 Meter östlich der heutigen Burgruine die Burg Skiva.
Die Skiva hat sich aus einem fränkischen Gehöft entwickelt und war eine Turmhügelburg. Der Aushub eines ovalförmigen Grabens wurde zu einem Turmhügel aufgeschüttet, auf dem wohl ein Holzturm mit massivem Steinunterbau stand. Nach Nordwesten schloss sich eine Vorburg mit den Wirtschaftsgebäuden an. Skiva wurde im Jahr 1016 im Verlauf der Moselfehde durch Erzbischof Poppo vollständig zerstört.