字符串匹配KMP算法

Contents
  1. 朴素的模式匹配算法
    1. 算法思想
    2. ruby代码实现
  2. KMP算法
    1. 算法思想
    2. 部分匹配表

字符串匹配是计算机的基本任务之一。

朴素的模式匹配算法

算法思想

举例来说,有一个字符串”BBC ABCDAB ABCDABCDABDE”,我想知道,里面是否包含另一个字符串”ABCDABD”?

BBC ABCDAB ABCDABCDABDE
x
ABCDABD

首先,字符串”BBC ABCDAB ABCDABCDABDE”的第一个字符与搜索词”ABCDABD”的第一个字符,进行比较。因为B与A不匹配,所以搜索词后移一位。

BBC ABCDAB ABCDABCDABDE
 x
 ABCDABD

因为B与A不匹配,搜索词再往后移。

BBC ABCDAB ABCDABCDABDE
    |
    ABCDABD

就这样,直到字符串有一个字符,与搜索词的第一个字符相同为止。

BBC ABCDAB ABCDABCDABDE
    ||
    ABCDABD

接着比较字符串和搜索词的下一个字符,还是相同。

BBC ABCDAB ABCDABCDABDE
    ||||||x
    ABCDABD

直到字符串有一个字符,与搜索词对应的字符不相同为止。

BBC ABCDAB ABCDABCDABDE
     x
     ABCDABD

这时,最自然的反应是,将搜索词整个后移一位,再从头逐个比较。这样做虽然可行,但是效率很差,因为你要把”搜索位置”移到已经比较过的位置,重比一遍。

ruby代码实现

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
def index(s, t)
i, j = 0, 0
while i < s.size && j < t.size
if s[i] == t[j] # 两字母相等则继续
i, j = i + 1, j + 1
else # 指针后退重新开始匹配
i = i - j + 1 # i退回到上次匹配首位的下一位
j = 0
end
end
if j == t.size
return i - j
else
return -1
end
end

KMP算法

算法思想

我们基于上面的阐述,继续来看这个字符串匹配问题。

BBC ABCDAB ABCDABCDABDE
    ||||||x
    ABCDABD

一个基本事实是,当空格与D不匹配时,你其实知道前面六个字符是”ABCDAB”。KMP算法的想法是,设法利用这个已知信息,不要把”搜索位置”移回已经比较过的位置,继续把它向后移,这样就提高了效率。

搜索词 A B C D A B D
部分匹配值 0 0 0 0 1 2 0

怎么做到这一点呢?可以针对搜索词,算出一张《部分匹配表》(Partial Match Table)。这张表是如何产生的,后面再介绍,这里只要会用就可以了

BBC ABCDAB ABCDABCDABDE
    ||||||x
    ABCDABD

已知空格与D不匹配时,前面六个字符”ABCDAB”是匹配的。查表可知,最后一个匹配字符B对应的”部分匹配值”为2,因此按照下面的公式算出向后移动的位数:

移动位数 = 已匹配的字符数 - 对应的部分匹配值

因为 6 - 2 等于4,所以将搜索词向后移动4位。

BBC ABCDAB ABCDABCDABDE
        ||x
        ABCDABD

因为空格与C不匹配,搜索词还要继续往后移。这时,已匹配的字符数为2(”AB”),对应的”部分匹配值”为0。所以,移动位数 = 2 - 0,结果为 2,于是将搜索词向后移2位。

BBC ABCDAB ABCDABCDABDE
          x
          ABCDABD

因为空格与A不匹配,继续后移一位。

BBC ABCDAB ABCDABCDABDE
           ||||||x
           ABCDABD

逐位比较,直到发现C与D不匹配。于是,移动位数 = 6 - 2,继续将搜索词向后移动4位。

BBC ABCDAB ABCDABCDABDE
               |||||||
               ABCDABD

逐位比较,直到搜索词的最后一位,发现完全匹配,于是搜索完成。如果还要继续搜索(即找出全部匹配),移动位数 = 7 - 0,再将搜索词向后移动7位,这里就不再重复了。

部分匹配表

下面介绍《部分匹配表》是如何产生的。
首先,要了解两个概念:”前缀”和”后缀”。 “前缀”指除了最后一个字符以外,一个字符串的全部头部组合;”后缀”指除了第一个字符以外,一个字符串的全部尾部组合。

字符串:"bread"
前缀:b, br, bre, brea
后缀:read, ead, ad, d
搜索词 A B C D A B D
部分匹配值 0 0 0 0 1 2 0

“部分匹配值”就是”前缀”和”后缀”的最长的共有元素的长度。以”ABCDABD”为例:

  • “A”的前缀和后缀都为空集,共有元素的长度为0;
  • “AB”的前缀为[A],后缀为[B],共有元素的长度为0;
  • “ABC”的前缀为[A, AB],后缀为[BC, C],共有元素的长度0;
  • “ABCD”的前缀为[A, AB, ABC],后缀为[BCD, CD, D],共有元素的长度为0;
  • “ABCDA”的前缀为[A, AB, ABC, ABCD],后缀为[BCDA, CDA, DA, A],共有元素为”A”,长度为1;
  • “ABCDAB”的前缀为[A, AB, ABC, ABCD, ABCDA],后缀为[BCDAB, CDAB, DAB, AB, B],共有元素为”AB”,长度为2;
  • “ABCDABD”的前缀为[A, AB, ABC, ABCD, ABCDA, ABCDAB],后缀为[BCDABD, CDABD, DABD, ABD, BD, D],共有元素的长度为0。
BBC ABCDAB ABCDABCDABDE
           ||||||x
           ABCDABD

“部分匹配”的实质是,有时候,字符串头部和尾部会有重复。比如,”ABCDAB”之中有两个”AB”,那么它的”部分匹配值”就是2(”AB”的长度)。搜索词移动的时候,第一个”AB”向后移动4位(字符串长度-部分匹配值),就可以来到第二个”AB”的位置。

Python实现代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
def pmt(s):
"""
PartialMatchTable
"""
prefix = [s[:i+1] for i in range(len(s) - 1)]
postfix = [s[i+1:] for i in range(len(s) - 1)]
intersection = list(set(prefix) & set(postfix))
if intersection:
return len(intersection[0])
return 0
def kmp(s, target):
i = 0
while i < len(s) - len(target) + 1:
match = True
for j in range(len(target)):
if s[i + j] != target[j]:
match = False
break
if match:
return True
# 移动位数 = 已匹配的字符数 - 对应的部分匹配值
if j:
i += j - pmt(target[:j])
else:
i += 1
return False

注:参考阮一峰老师《字符串匹配KMP算法》