Por mi experiencia yo te diría que a ver, los tíos son bastante simples en pensamiento. No digo tontos, que nadie se ofenda. Pero cuando una tía les dice de quedar o pide atención por redes pues no suelen ver problema. El problema que podemos ver muchas por aquí, pero hay problema realmente?
Existen las relaciones entre compañeros de trabajo, no hay nada que una más que rajar del jefe o de esos años pasados, pq son muchas horas con los compañeros y quieras que no, une. Por lo que pasar 6 horas pues creo que sí, puede pasar porque lo he vivido. Puede que la otra persona sea muy demandante (también hay mucha pava que necesita un hombro al que llorar pq precisamente sus amistades saben que es una pava y ha encontrado a un tonto que le hace casito).
Que tu chico esté tan ofendido o molesto a mi me hace pensar que realmente él no iba con esas intenciones de ir a más con esa chica y puede que realmente esté dolido y se esté rallando pq ya has dudado de él.
Lo que yo quiero decir es que a mi me cuadra la actitud tuya pero también la de tu chico, pero como decía, los tíos son así, no son tan suspicaces.
Yo os aconsejo que os habléis claro, si tu no quieres estar así con él se lo dices claro y le transmites lo que fueron para ti esas tardes que compartía con una desconocida.
Nadie es perfecto y los roces existen, pero a ver, si estáis juntos debe ser por algo más, no creo que estos fantasmas lo desmonten todo.
Os aconsejo comunicación sincera. Empezando con que no le decías nada para no parecer tóxica. Y si él no es muy de palabras por lo que se ve, pues plantea tu el "enunciado". Dile directamente cómo te sientes y que quieres arreglar la situación (entre los 2 sin culpables).