Me había olvidado de esta pregunta... pero Michael Turutanov ha dado una respuesta muy sólida sobre Ren'Py, y estoy de acuerdo en que es, de hecho, una alternativa válida y fácil de usar para proyectos de tamaño medio, especialmente en Occidente.
Más allá de eso... bueno, en caso de que estés buscando más bien algo como un estándar de la industria - el único motor extendido, popular y profesional que se me ocurre en el mundo de la Novela Visual sería el framework KiriKiri.
Es la base de una parte considerable del mercado de la novela visual en general, y se utiliza tanto para las pequeñas obras de aficionados (juegos Doujin de un solo hombre), así como los productos comerciales de más alto perfil. Por ejemplo, el estudio August lo utilizó para YoakeMae, Eustia y otros títulos (en términos de presupuesto, no hay nada más grande que eso). La licencia base es GNU y libre, pero si quieres ponerte fino y modificarlo, necesitarás una licencia comercial.
Dicho esto, desafortunadamente viene con una serie de retos adjuntos. Para empezar, es un software claramente japonés y no está bien adaptado para su uso en máquinas Windows occidentales - por no hablar del hecho de que toda la documentación y el apoyo está en japonés.