【数据技术】医院如何提升床位资源配置效率？高级数据分析师这样说

作者/张北（高级数据分析师）
文章来源/厚立医视野
目前医院在病床使用上存在较大提升空间，同一病区中有的医疗小组收纳患者较多却床位资源缺乏，有的医疗小组空床较多，造成病床资源浪费。

文章图片
图源：厚立医视野
上图绘制了某医院病区主诊医生接收患者的在院量趋势，可以看到，患者在院量波动较大，即某些时间段病区病床闲置较多，某些时间段可能病床不足。
如何有效提升病床使用效率呢？
病床的配置就是资源的分配，哪里不足分配哪里。然而每天患者的入出院是动态的，受多种因素影响（例如：季节、节假日），如何才能精确地配置病床？这里引入了强化学习算法。
1
强化学习算法介绍
强化学习RL算法是一种模拟生活趋利避害行为的一种学习方式，能够在无指导的情况下自主学习并能够根据当前的环境实时地调整最优策略，在解决序列决策问题上有很大的优势。
智能体首先观察环境获得相应的状态信息S ，然后根据策略函数选择并执行当前状态对应的动作A ，该动作会改变环境当前的状态，并得到一个对动作好坏程度做出评价的奖赏R 。智能体可以利用得到的奖赏对以后的行为进行优化，通过与环境不断的交互学习可以逐步获得最优策略，在整个过程中，智能体的目标是最大化累计奖赏，公式如下所示。

文章图片
图源：厚立医视野
说明白一点，强化学习的过程就是训练智能体的过程。举个例子——小孩做选择题，这里可以把智能体看成小孩，做题的过程看做环境，选择答案就是动作（A,B,C,D），小孩选择错了要受到老师打（惩罚），做对了老师就奖励小孩，小孩为了获得更多的奖励，需要不断地尝试（试错），经过大量地做题，小孩越来越聪明（每次都可以选择正确），那么小孩就成功了（智能体训练完成）。
2
基于强化学习的病床资源优化
病床数量决定接纳患者的数量，病床不足会造成患者无床可住，病床过剩又会导致资源浪费，因此病床的合理配置是关键。病床配置受多种因素影响，例如每天入出院患者量、节假日、病情、住院时长、医生调岗等，需要在复杂的医疗环境中决策出合理的病床配置。
简单的资源优化算法很难实现资源合理配置，因此提出强化学习算法优化病区病床资源。强化学习通过复杂的状态空间模拟真实的医疗场景，智能体依据当前状态作出合理的病床分配动作，以最大化奖励值实现病床的合理配置。
【【数据技术】医院如何提升床位资源配置效率？高级数据分析师这样说】1.模型创建及训练
①创建环境
State=[n0,n1,n2,...,nm,b0,b1,b2,...,bm,i0,i1,i2,...,im,o0,o1,o2,...,om,e0,e1,...,em ， L ， S ， W ， H ， F ， h ， d].
其中m表示医疗小组数量， n表示在院数量， b表示病床量， i表示当日入院量， o表示当日出院量， e表示住院天数超标患者量， L表示剩余病床， S表示共享病床， W表示星期， H表示是否节假日， F表示季节， h表示调岗医生， d表示在岗天数。
Action={...,-2,-1,0,1,2,...} ，智能体动作加床或者减床。
Reward=A*新患者的费用-B*病床成本-C*没住院的患者损失-D*超标出院损失，奖励函数根据实际需求设置。
②搭建模型：DQL模型
③模型训练：根据数据量设置合适参数
④模型质控：接收率（acc）=每天住院数量/每天入院数量