分类 数据库 下的文章

mysql的字符串函数

时常想一句sql完成某个需求,不想写脚本,总是想'咦,mysql中有没有类似php的这个函数',遂一次总结好,平常多看看,省的每次都临时去查
特别说明:mysql中对于针对字符串位置的操作,总是从1开始,程序猿通病喜欢从0开始的注意了

  • ASCII(str)

返回字符串str的最左面字符的ASCII代码值。如果str是空字符串,返回0。如果str是NULL,返回NULL。

mysql> select ASCII('2');
        -> 50
mysql> select ASCII(2);
        -> 50
mysql> select ASCII('dx');
        -> 100

也可参见ORD()函数。

  • ORD(str)

如果字符串str最左面字符是一个多字节字符,通过以格式((first byte ASCII code)256+(second byte ASCII code))[256+third byte ASCII code...]返回字符的ASCII代码值来返回多字节字符代码。如果最左面的字符不是一个多字节字符。返回与ASCII()函数返回的相同值。

mysql> select ORD('2');
        -> 50
  • CONV(N,from_base,to_base)

在不同的数字基之间变换数字。返回数字N的字符串数字,从from_base基变换为to_base基,如果任何参数是NULL,返回NULL。参数N解释为一个整数,但是可以指定为一个整数或一个字符串。最小基是2且最大的基是36。如果to_base是一个负数,N被认为是一个有符号数,否则,N被当作无符号数。CONV以64位点精度工作。

mysql> select CONV("a",16,2);
        -> '1010'
mysql> select CONV("6E",18,8);
        -> '172'
mysql> select CONV(-17,10,-18);
        -> '-H'
mysql> select CONV(10+"10"+'10'+0xa,10,10);
        -> '40'
  • BIN(N)
    返回二进制值N的一个字符串表示,在此N是一个长整数(BIGINT)数字,这等价于CONV(N,10,2)。如果N是NULL,返回NULL。
mysql> select BIN(12);
        -> '1100'
  • OCT(N)
    返回八进制值N的一个字符串的表示,在此N是一个长整型数字,这等价于CONV(N,10,8)。如果N是NULL,返回NULL。
mysql> select OCT(12);
        -> '14'
  • HEX(N)
    返回十六进制值N一个字符串的表示,在此N是一个长整型(BIGINT)数字,这等价于CONV(N,10,16)。如果N是NULL,返回NULL。
mysql> select HEX(255);
        -> 'FF'
  • CHAR(N,...)
    CHAR()将参数解释为整数并且返回由这些整数的ASCII代码字符组成的一个字符串。NULL值被跳过。
mysql> select CHAR(77,121,83,81,'76');
        -> 'MySQL'
mysql> select CHAR(77,77.3,'77.3');
        -> 'MMM'
  • CONCAT(str1,str2,...)
    返回来自于参数连结的字符串。如果任何参数是NULL,返回NULL。可以有超过2个的参数。一个数字参数被变换为等价的字符串形式。
mysql> select CONCAT('My', 'S', 'QL');
        -> 'MySQL'
mysql> select CONCAT('My', NULL, 'QL');
        -> NULL
mysql> select CONCAT(14.3);
        -> '14.3'
  • LENGTH(str)
     
  • OCTET_LENGTH(str)
     
  • CHAR_LENGTH(str)
     
  • CHARACTER_LENGTH(str)
    返回字符串str的长度。
mysql> select LENGTH('text');
        -> 4
mysql> select OCTET_LENGTH('text');
        -> 4

注意,对于多字节字符,其CHAR_LENGTH()仅计算一次。

  • LOCATE(substr,str)
     
  • POSITION(substr IN str)
    返回子串substr在字符串str第一个出现的位置,如果substr不是在str里面,返回0.
mysql> select LOCATE('bar', 'foobarbar');
        -> 4
mysql> select LOCATE('xbar', 'foobar');
        -> 0

该函数是多字节可靠的。

  • LOCATE(substr,str,pos)
    返回子串substr在字符串str第一个出现的位置,从位置pos开始。如果substr不是在str里面,返回0。
mysql> select LOCATE('bar', 'foobarbar',5);
        -> 7

这函数是多字节可靠的。

  • INSTR(str,substr)
    返回子串substr在字符串str中的第一个出现的位置。这与有2个参数形式的LOCATE()相同,除了参数被颠倒。
mysql> select INSTR('foobarbar', 'bar');
        -> 4
mysql> select INSTR('xbar', 'foobar');
        -> 0

这函数是多字节可靠的。

  • LPAD(str,len,padstr)
    返回字符串str,左面用字符串padstr填补直到str是len个字符长。
mysql> select LPAD('hi',4,'??');
        -> '??hi'
  • RPAD(str,len,padstr)
    返回字符串str,右面用字符串padstr填补直到str是len个字符长。
mysql> select RPAD('hi',5,'?');
        -> 'hi???'
  • LEFT(str,len)
    返回字符串str的最左面len个字符。
mysql> select LEFT('foobarbar', 5);
        -> 'fooba'

该函数是多字节可靠的。

  • RIGHT(str,len)
    返回字符串str的最右面len个字符。
mysql> select RIGHT('foobarbar', 4);
        -> 'rbar'

该函数是多字节可靠的。

  • SUBSTRING(str,pos,len)
     
  • SUBSTRING(str FROM pos FOR len)
     
  • MID(str,pos,len)
    从字符串str返回一个len个字符的子串,从位置pos开始。使用FROM的变种形式是ANSI SQL92语法。
mysql> select SUBSTRING('Quadratically',5,6);
        -> 'ratica'

该函数是多字节可靠的。

  • SUBSTRING(str,pos)
     
  • SUBSTRING(str FROM pos)
    从字符串str的起始位置pos返回一个子串。
mysql> select SUBSTRING('Quadratically',5);
        -> 'ratically'
mysql> select SUBSTRING('foobarbar' FROM 4);
        -> 'barbar'

该函数是多字节可靠的。

  • SUBSTRING_INDEX(str,delim,count)
    返回从字符串str的第count个出现的分隔符delim之后的子串。如果count是正数,返回最后的分隔符到左边(从左边数) 的所有字符。如果count是负数,返回最后的分隔符到右边的所有字符(从右边数)。
mysql> select SUBSTRING_INDEX('www.mysql.com', '.', 2);
        -> 'www.mysql'
mysql> select SUBSTRING_INDEX('www.mysql.com', '.', -2);
        -> 'mysql.com'

该函数对多字节是可靠的。

  • LTRIM(str)
    返回删除了其前置空格字符的字符串str。
mysql> select LTRIM('  barbar');
        -> 'barbar'
  • RTRIM(str)
    返回删除了其拖后空格字符的字符串str。
mysql> select RTRIM('barbar   ');
        -> 'barbar'

该函数对多字节是可靠的。

  • TRIM([[BOTH | LEADING | TRAILING] [remstr] FROM] str)
    返回字符串str,其所有remstr前缀或后缀被删除了。如果没有修饰符BOTH、LEADING或TRAILING给出,BOTH被假定。如果remstr没被指定,空格被删除。
mysql> select TRIM('  bar   ');
        -> 'bar'
mysql> select TRIM(LEADING 'x' FROM 'xxxbarxxx');
        -> 'barxxx'
mysql> select TRIM(BOTH 'x' FROM 'xxxbarxxx');
        -> 'bar'
mysql> select TRIM(TRAILING 'xyz' FROM 'barxxyz');
        -> 'barx'

该函数对多字节是可靠的。

  • SOUNDEX(str)
    返回str的一个同音字符串。听起来“大致相同”的2个字符串应该有相同的同音字符串。一个“标准”的同音字符串长是4个字符,但是SOUNDEX()函数返回一个任意长的字符串。你可以在结果上使用SUBSTRING()得到一个“标准”的 同音串。所有非数字字母字符在给定的字符串中被忽略。所有在A-Z之外的字符国际字母被当作元音。
mysql> select SOUNDEX('Hello');
        -> 'H400'
mysql> select SOUNDEX('Quadratically');
        -> 'Q36324'
  • SPACE(N)
    返回由N个空格字符组成的一个字符串。
mysql> select SPACE(6);
        -> '      '
  • REPLACE(str,from_str,to_str)
    返回字符串str,其字符串from_str的所有出现由字符串to_str代替。
mysql> select REPLACE('www.mysql.com', 'w', 'Ww');
        -> 'WwWwWw.mysql.com'

该函数对多字节是可靠的。

  • REPEAT(str,count)
    返回由重复countTimes次的字符串str组成的一个字符串。如果count <= 0,返回一个空字符串。如果str或count是NULL,返回NULL。
mysql> select REPEAT('MySQL', 3);
        -> 'MySQLMySQLMySQL'
  • REVERSE(str)
    返回颠倒字符顺序的字符串str。
mysql> select REVERSE('abc');
        -> 'cba'

该函数对多字节可靠的。

  • INSERT(str,pos,len,newstr)
    返回字符串str,在位置pos起始的子串且len个字符长得子串由字符串newstr代替。
mysql> select INSERT('Quadratic', 3, 4, 'What');
        -> 'QuWhattic'

该函数对多字节是可靠的。

  • ELT(N,str1,str2,str3,...)
    如果N= 1,返回str1,如果N= 2,返回str2,等等。如果N小于1或大于参数个数,返回NULL。ELT()是FIELD()反运算。
mysql> select ELT(1, 'ej', 'Heja', 'hej', 'foo');
        -> 'ej'
mysql> select ELT(4, 'ej', 'Heja', 'hej', 'foo');
        -> 'foo'
  • FIELD(str,str1,str2,str3,...)
    返回str在str1, str2, str3, ...清单的索引。如果str没找到,返回0。FIELD()是ELT()反运算。
mysql> select FIELD('ej', 'Hej', 'ej', 'Heja', 'hej', 'foo');
        -> 2
mysql> select FIELD('fo', 'Hej', 'ej', 'Heja', 'hej', 'foo');
        -> 0
  • FIND_IN_SET(str,strlist)
    如果字符串str在由N子串组成的表strlist之中,返回一个1到N的值。一个字符串表是被“,”分隔的子串组成的一个字符串。如果第一个参数是一个常数字符串并且第二个参数是一种类型为SET的列,FIND_IN_SET()函数被优化而使用位运算!如果str不是在strlist里面或如果strlist是空字符串,返回0。如果任何一个参数是NULL,返回NULL。如果第一个参数包含一个“,”,该函数将工作不正常。
mysql> SELECT FIND_IN_SET('b','a,b,c,d');
        -> 2
  • MAKE_SET(bits,str1,str2,...)
    返回一个集合 (包含由“,”字符分隔的子串组成的一个字符串),由相应的位在bits集合中的的字符串组成。str1对应于位0,str2对应位1,等等。在str1, str2, ...中的NULL串不添加到结果中。
mysql> SELECT MAKE_SET(1,'a','b','c');
        -> 'a'
mysql> SELECT MAKE_SET(1 | 4,'hello','nice','world');
        -> 'hello,world'
mysql> SELECT MAKE_SET(0,'a','b','c');
        -> ''
  • EXPORT_SET(bits,on,off,[separator,[number_of_bits]])
    返回一个字符串,在这里对于在“bits”中设定每一位,你得到一个“on”字符串,并且对于每个复位(reset)的位,你得到一个“off”字符串。每个字符串用“separator”分隔(缺省“,”),并且只有“bits”的“number_of_bits” (缺省64)位被使用。
mysql> select EXPORT_SET(5,'Y','N',',',4)
        -> Y,N,Y,N 
  • LCASE(str)
     
  • LOWER(str)
    返回字符串str,根据当前字符集映射(缺省是ISO-8859-1 Latin1)把所有的字符改变成小写。该函数对多字节是可靠的。
mysql> select LCASE('QUADRATICALLY');
        -> 'quadratically'
  • UCASE(str)
     
  • UPPER(str)
    返回字符串str,根据当前字符集映射(缺省是ISO-8859-1 Latin1)把所有的字符改变成大写。该函数对多字节是可靠的。
mysql> select UCASE('Hej');
        -> 'HEJ'

该函数对多字节是可靠的。

  • LOAD_FILE(file_name)
    读入文件并且作为一个字符串返回文件内容。文件必须在服务器上,你必须指定到文件的完整路径名,而且你必须有file权限。文件必须所有内容都是可读的并且小于max_allowed_packet。如果文件不存在或由于上面原因之一不能被读出,函数返回NULL。
mysql> UPDATE table_name
           SET blob_column=LOAD_FILE("/tmp/picture")
           WHERE id=1;

MySQL必要时自动变换数字为字符串,并且反过来也如此:

mysql> SELECT 1+"1";
        -> 2
mysql> SELECT CONCAT(2,' test');
        -> '2 test'

如果你想要明确地变换一个数字到一个字符串,把它作为参数传递到CONCAT()
如果字符串函数提供一个二进制字符串作为参数,结果字符串也是一个二进制字符串。被变换到一个字符串的数字被当作是一个二进制字符串。这仅影响比较。

原文出自http://www.cnblogs.com/xiaochaohuashengmi/archive/2010/12/13/1904330.html

MySQL中的concat和trim

向表中某字段后追加一段字符串:

update table_name set field=CONCAT(field,'',str);

向表中某字段前加字符串

update table_name set field=CONCAT('str',field);

干掉两侧指定字符串 并更新

  • 给每个字段的尾部加上字母w,用|链接
  • 在连接后干掉左右多余的|连接符,避免字段是空时多与的连接符
  • 省了用代码把数据取出来拆分数组再拼回去的步骤
update test2 set name=trim(BOTH '|' FROM CONCAT(name,'|','w'));

MySQL导入大数据load data infile的总结

需求


经常为了测试某个功能,需要大量数据测试

步骤


  • 先用python跑出一个纯sql语句的脚本

    • phpmyadmin导入,文件太大,需要修改apache(如果没有权限呢)
    • mysql命令行导入,会报错行数太多,需要修改配置(万一又没有权限呢)
INSERT INTO `_statsstandard` (`ID`, `day`, `typename`, `typeid`, `Location`, `shows`, `clicks`, `uniqueshows`, `uniqueclicks`) VALUES
(2766484, '2013-01-01', 'C', 100101, '', 405, 278, 37, 7),
(2766485, '2013-01-02', 'C', 100101, '', 291, 180, 41, 10),
(2766486, '2013-01-03', 'C', 100101, '', 462, 128, 76, 15),
(2766487, '2013-01-04', 'C', 100101, '', 472, 307, 76, 70)
....
  • 需要把sql文件数据批量改一下

    • infile,顾名思义就是基于文件的,所以文件后缀是不是sql都无所谓
    • 删除第一行insert intosql语句
    • 批量替换掉每行末尾的逗号分号
    • 同样因为这是基于文件导入的,要去掉所有的引号'",不能像我们在代码中习惯对字符串等类型加引号,否则引号也会被入库
    • 去掉数值前后的空格,否则字符串类型会把空格也入库,数值和日期类型无所谓(mysql会自动转换,最好也去掉稳妥)
    • 说明: 如果第一列的ID为自增,则为空就好(用NULL代替我测试有中文乱码问题,有知道的朋友可以评论中告知解决办法)
2766484, 2013-01-01, C, 100101, , 405, 278, 37, 7
2766485, 2013-01-02, C, 100101, , 291, 180, 41, 10
2766486, 2013-01-03, C, 100101, , 462, 128, 76, 15
2766487, 2013-01-04, C, 100101, , 472, 307, 76, 70
2766488, 2013-01-05, C, 100101, , 279, 251, 91, 45
  • 借助mysql的命令load data infile

    • 数据顺序和表中字段顺序对应
    • 按换行符\r\n分割对sql每行插入一条记录
    • 数据按照逗号,分割
    • 需要先在命令行进入mysqluse database_name后执行
    • 测试20万行的数据,1秒钟搞定
load data infile '~/sql_insert.sql' into table _statsstandard  fields terminated by ','  optionally enclosed by "'"  lines terminated by '\r\n';

注意事项(吃过的亏)


  • 没有去掉日期类型的前后引号,日期在数据库中的类型是date,所以导致导入后全是0000-00-00
  • 没有去掉字符串前后的引号,把引号也入库了,由于写代码中字符串带习惯了,愣是半天没发现这个细节
  • 没有去掉字符串前后的空格,把空格也都导入了,一般很难发现