仓储管理中的图像中间件设计与实现

现阶段的仓储管理系统中, RFID射频识别技术以其非接触、可重复使用、快速扫描、读取方便快捷、数据容量大、使用寿命长等优点在物流仓储行业获得越来越多的应用[1]。但是由于RFID电子标签价格偏高, 除了少数附加值较高的产品外, 绝大多数产品难以承受其带来的高成本, 这将会限制RFID应用的推广。仓储管理系统的发展趋势将会是多种技术的综合应用。

图像技术广义上讲是各种与图像相关技术的总称[2]。图像技术比较形象灵活, 图像采集实时快速。和RFID技术类似, 图像技术能够以非接触和无损的方式对产品进行质量检测[2]。经过多年的研究与实际应用的积累, 图像技术的发展已经比较成熟, 在不同领域得到了广泛的应用。

本文通过分析图像识别与图像分析等技术, 设计了一种三层模块化结构的图像中间件, 实现了对底层硬件设备操作、图像处理流程以及与用户系统交互的封装。图像中间件集成于某石化公司的仓储管理系统中, 在RFID设备与短信报警设备辅助下实现对出/入仓库货物的监测、检测与计量。

中间件是介于平台 (硬件与操作系统) 和应用之间的具有标准程序接口与协议的通用服务。中间件可以在多种硬件与操作系统平台上运行, 可以提供跨网络、硬件及操作系统平台的透明性应用, 并且支持分布式计算。中间件的程序接口定义了一个相对稳定的上层应用环境, 针对底层不同的硬件设备及操作系统环境的变更, 只要重新定义中间件的业务逻辑并保持其对外的接口定义不变, 则上层应用软件几乎不需任何修改, 这样有利于企业应用软件的维护与扩展。中间件实现对底层设备的精确控制, 实时采集原始数据, 对数据进行过滤, 并在其中封装典型的应用逻辑, 使系统接口简单透明, 从而达到系统的协调工作[3]。

一个典型的图像采集系统的组成应该包括图像采集器、图像采集卡以及操作应用软件。

仓库环境如图1所示, 在仓库的出/入库门上安装摄像头、RFID天线与阅读器, 它们通过各自的线路与控制中心的控制台连接, 控制台是一台装有图像采集卡与仓储管理系统的PC机。在每辆叉车上粘贴RFID电子标签。在集成仓储管理系统中, RFID设备辅助图像中间件对出/入库的叉车进行图像抓取、识别与分析, 将分析结果传给管理系统进行相应操作, 实现货物的自动检测计量。每次出/入库的详细信息 (包括图片与视频信息) 会被绑定为一条记录保存到数据库中。

图像中间件应用软件结构如图2所示。图像采集设备处于底层硬件设备层, 其将获取到的图像原始数据传送到图像中间件进行处理。图像中间件划分为三层:设备管理层、图像处理层、事件处理层。图像中间件具有图像数据缓冲机制, 缓冲队列中的图像经过图像处理, 结果会被传送到事件处理层解析成应用层所理解的方式, 为应用层系统所用。

如图3所示, 图像中间件包括设备层接口、图像处理层、事件处理层。通透性是整个应用的关键, 正确抓取数据, 确保数据读取的可靠性, 以及有效地将数据传送到后端系统都是必须考虑的问题[4]。设备管理层提供设备层接口, 屏蔽不同设备间差异, 协调不同设备间通信, 将不同设备采集的数据进行整流与处理。处理结果由事件处理层按照业务规则进行解析与事件类型判断, 将不同类型所表示的语义通过订阅机制发布到应用层用。

设备层接口实现了硬件底层对应用上层的透明。通过设备层接口可以实现对底层设备的精确控制, 可以方便地完成设备配置、数据采集、图片保存、视频保存等操作。

不同图像采集设备厂商所提供的设备接口和设备所使用的协议可能各不相同, 为了屏蔽不同图像采集设备之间存在的差异, 设备接口层采用分布式代理模式, 每一个图像采集设备都将会配置一个代理。代理负责控制图像采集设备的驱动、数据采集与保存等工作, 将不同设备传进来的数据转换成标准化格式。代理之间通过UDP / IP上的XML消息来交流信息[5], 增强了中间件的可扩展性。

每个设备都对应一份设备配置文件, 配置文件通过设备层的管理引擎进行组合。不同摄像头与视频卡传送的图像数据流经由代理发送到设备层的管理引擎。代理可以实现设备驱动的调用事件。主要的UML类图如图4所示。

图像处理层是图像中间件的核心层, 其实时对原始数据进一步处理, 检测识别货物并封装了图片保存、视频保存等操作。

图像处理层接收到事件处理层解析后的上层的图像或视频保存命令, 从下层采集的原始数据中提取当前场景的数据流保存为图片信息或视频信息。每次叉车运载货物出/入库时, 中间件自动调用图像与视频保存功能, 可以保存出/入库图片以及具有一定持续时间的视频。

图像与视频的保存操作分别在单独的线程中进行, 有效地保证了图像数据的快速、实时处理。

货物检测过程是通过对缓冲队列中图像进行运动检测、识别、匹配、分析等操作后得到出/入库货物的数量。货物检测流程如图5所示。

模块功能如下:

(1) 图像缓冲 设备层传送到中间件的原始图像数据量大, 且对于货物检测来说很多属于无用数据。图像缓冲机制将大量原始数据按照一定的规则进行筛选缓冲, 去除冗余数据, 将符合条件的图像数据存放于待处理队列中, 等待进一步处理调用。图像缓冲操作是在单独的线程中进行的。

(2) 获取运动区域 本文采用帧差法来实现运动目标的检测。在图像缓冲队列中获取相邻的两帧图像, 将他们的差分图像进行二值化处理, 通过像素值变化与阈值大小的比较来判断像素是背景像素还是前景像素, 利用标记的像素区域确定运动目标在图像中的运动区域。为去除期间噪声的影响, 采用在差分图中寻找基于块生长的连通区域, 将面积小于一定阈值的区域抛弃。

(3) 货物识别 货物识别的实现主要使用了Harr分类器。利用大量样本的Harr特征进行分类器训练, 得到一个级联分类器。级联分类器是指最终的分类器是由几个简单分类器级联组成。Harr训练流程如图6所示。训练样本分为正例样本和反例样本。正例样本采用的是叉车上不同层数的货物, 反例样本是指车间内除货物外各种变化的场景, 如空车、行人、灯光等。

在图像检测中, 被检窗口依次通过每一级分类器, 这样在前面几层的检测中大部分的候选区域就被排除了, 全部通过每一级分类器检测的区域即为目标区域。目标运动检测的运动区域可能是人、空车或载有货物的叉车等情况, 通过货物识别可以去除人和空车等对运动区域的影响。

(4) 背景消除 仓储管理系统中采用RFID技术实现一种背景更新机制。叉车经过RFID的感应区域, 系统会读取到叉车上的RFID信号并激活背景更新引擎。当RFID信号消失时间持续一定值时, 系统会调用中间件提供的背景更新接口进行背景更新。天气或时间等因素的变化可能会造成的场景的明显变化, 不利于图像检测与识别。RFID的使用可以保证仓库中场景背景短时间内的持续更新, 能够在很大程度上消除上述情况的影响。

将货物运动区域图像与当前更新背景图像进行差减, 以达到消除背景的效果, 保留下图像中的货物运动区域。

(5) 模板匹配 根据已知模式 (模板图) , 到另一幅图中搜索相匹配的子图像的过程, 称为模板匹配。它是一种基于像素灰度值的相关算法。

我们采用归一化交叉相关 (Normalized Cross Correlation) 算法简称NCC, 来度量模板图像T和图像中搜索子图S的相似程度, 相关系数定义如下:

R(i,j)=∑m,n|Si,j(m,n)−E(Si,j)||T(m,n)−E(T)|∑m,n(Si,j(m,n)−E(Si,j))2∑m,n(T(m,n)−E(T))2√R(i,j)=∑m,n|Si,j(m,n)-E(Si,j)||Τ(m,n)-E(Τ)|∑m,n(Si,j(m,n)-E(Si,j))2∑m,n(Τ(m,n)-E(Τ))2

其中, E (Si, j) 与E (T) 分别是搜索子图Si, j与模板图T的灰度平均值, R (i, j) 为在坐标 (i, j) 处模板图与搜索子图的相关系数。通过模板匹配技术, 我们得到了相关系数最大的点也就是最佳匹配点O (i, j) 。

该方法简单易行, 其数学统计模型以及收敛速度、定位精度、误差估计等均有定量的分析和研究结果。

(6) 区域生长 区域生长方法是从图像的一个像素出发, 逐步增加像素数进行区域增长。对由这些像素组成的区域使用某种均匀测度度量测试其均匀性。若为真则继续扩大区域, 直到均匀测度为假。对于“均匀测度度量Rm”可以抽象为如下数学关系:

Rm={True if(max|f(x,y)−Measure|<Threshold)False   othersRm={Τrue if(max|f(x,y)-Μeasure|<Τhreshold)False   others

其中Measure=Average (f (x, y) ) 表示区域R的均值。Threshold为一阈值。

我们将模板匹配技术与区域生长技术相结合, 以模板匹配找出的最佳匹配点O (i, j) 作为生长的种子点, 按照灰度差准则在运动区域内进行区域生长, 最终将目标物分割出来。

对货物分割出来的区域, 采用基于轮廓的分析方法进行最后筛选, 得到的正常生长结果可以用来判断货物数量。

事件处理层为应用系统提供访问接口, 应用系统通过接口发送服务命令, 中间件将相应的处理结果转换为应用系统所理解格式反馈给上层应用系统。事件处理模块分为三个子模块。

主要对图像采集设备的物理配置信息进行管理, 保证设备的正常运转并提供异常处理措施。

图像处理结果可能含有不同的语义信息, 事件类型模块按照上层定义的业务规则对处理结果进行分析与分类, 判断事件类型。本文中事件类型主要有如下三种类型:

正常出/入库事件 叉车载货进行正常的出库或入库事件。

返库事件 生产入库作业时, 叉车载货由仓库到生产车间的事件 (正常应该是叉车载货由生产车间到仓库) ;出库作业时, 叉车载货返回仓库的事件 (正常应该是叉车载货出仓库) 。

非满事件 出/入库时叉车载货不满的事件。

应用层接口实现了应用层系统对图像中间件的访问。本文采用订阅与解析机制。订阅/解析器使得系统有着更好的可扩展性和可移植性。在原始数据采集层, 代理兼容了不同的设备接口, 使中间件与设备无关。而解析机制则将上层系统发来的定义文件转化为中间件可以理解的方式[6]。应用系统通过订阅机制可以订阅感兴趣的事件, 一旦这些事件被触发, 则会被发送到指定的位置。

上述图像中间件被集成在某石化公司的仓储视觉计量与监控系统中, 通过实际测试可以实现实时监控货物出入库情况, 对货物进行准确检测与计量, 支持历史图像与视频查询, 对数据进行有效采集、传输和记录, 整体提高了工作效率和生产安全性。

客户应用程序可以调用图像中间件提供的视频监控接口, 实现对各工作场景的多路实时监控, 可以随时截取任意场景的实时图像, 录制视频。

载有货物的叉车经过出/入库门时, 图像中间件可以快速分析叉车的运动方向 (进门还是出门) 以及运载货物的数量, 并将这些信息记录保存到数据库, 更新应用系统的出/入库记录的实时显示。图7为现场出库记录。

图像中间件的自动检测与计量过程不需要工作人员的参与, 同时也省去了在货物上贴电子标签的费用, 针对出库与非满的情况, 应用系统能够进行报警提示, 提高生产过程的安全性。

系统可以实时显示货物每次出/入库所对应的详细记录信息, 用户可以调看每条记录中的图像与视频。应用程序也支持对历史出/入库记录的详细查询, 调用历史图像与视频, 保证每次出/入库记录有证可依。图8为用户调看记录视频。

传统的RFID在仓储管理系统中的应用是在每件货物上贴标签, 通过读取大量标签信息进行货物计量管理。图像中间件的仓储管理系统, 则使用图像处理技术取代大量标签, 只需在叉车上贴少量标签。

以某石化公司一间生产仓库为例, 对使用两种不同设计方法的仓储管理系统在应用中的一年成本投入进行比较, 如表1所示。

该仓库生产线每天约生产300吨货物 (每袋货物25KG, 即每天总共生产12000袋货物) , 每个标签约2元, 叉车100辆, 贴在叉车上的标签的年折损率为10%, 一年大约生产340天。通过表1对比结果, 很明显采用图像中间件的仓储管理系统会为该企业节省很大成本投入。

本文提出了一种应用于仓储管理系统中的图像中间件的设计模式。这种图像中间件结构能很好地屏蔽低端各种物理设备的信息, 按照封装的业务逻辑对图像数据进行处理, 将结果上传给需要的应用程序;应用代理和订阅/解析技术, 使系统有良好的可扩展性和移植性;通过应用图像采集系统实现了对出/入库货物的检测与计量, 提高了生产效率和安全性。图像中间件技术的应用使图像数据采集、分析和处理与应用程序相分离, 可适用于不同的图像采集卡与应用系统。图像中间件采用模块化结构, 允许企业根据不同的需求对功能模块进行添加和裁剪, 可以广泛推广到其他商业领域中。